Saat layanan mati, tekanan waktu mendorong orang membuka log secara acak. Hasilnya adalah sepuluh menit membaca baris yang tidak relevan sementara pengguna tetap tidak dapat mengakses layanan.
Pendekatan yang lebih baik adalah bergerak dari lapisan terluar ke dalam, memastikan setiap lapisan berfungsi sebelum memeriksa yang berikutnya.
Urutan pemeriksaan
- Apakah layanan dapat dijangkau dari luar?
- Apakah proses berjalan?
- Apakah proses mendengarkan port yang benar?
- Apakah ada galat di log aplikasi?
- Apakah sumber daya sistem mencukupi?
- Apakah dependensi eksternal berfungsi?
Langkah 1 — Dari luar
# Apakah port terbuka dari mesin lain
nc -zv host-anda 443
# Apakah ada jawaban HTTP
curl -sI -m 10 https://host-anda/ | head -5
# Ikuti rantai redirect
curl -sIL -m 15 https://host-anda/ | grep -E "^HTTP|^location"
Bila langkah ini gagal tetapi langkah 2 berhasil, masalahnya ada di jaringan atau reverse proxy, bukan di aplikasi.
Langkah 2 — Status proses
systemctl status nama-layanan --no-pager
# Bila gagal, lihat 50 baris terakhir log
journalctl -u nama-layanan -n 50 --no-pager
# Filter hanya galat
journalctl -u nama-layanan -p err --since "30 min ago" --no-pager
Perhatikan waktu berhenti. Bila proses berhenti tepat setelah pembaruan, penyebabnya hampir pasti terkait pembaruan tersebut.
Langkah 3 — Port yang didengarkan
ss -tlnp | grep -E ":(80|443|8080)"
# Bandingkan dengan proses yang berjalan
ps aux | grep -E "nginx|node|python" | grep -v grep
Kasus umum: proses berjalan tetapi mendengarkan pada 127.0.0.1 padahal seharusnya 0.0.0.0, atau sebaliknya.
Langkah 4 — Log aplikasi
# Nginx: lihat galat terbaru
sudo tail -100 /var/log/nginx/error.log
# Hitung status code dalam satu jam terakhir
sudo awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -rn
# Cari permintaan yang lambat
sudo awk '$NF > 3 {print $7, $NF}' /var/log/nginx/access.log | sort -k2 -rn | head -20
Distribusi status code memberi gambaran cepat: lonjakan 502 berarti masalah di hulu (upstream), lonjakan 499 berarti klien memutus koneksi.
Langkah 5 — Sumber daya
# Memori dan swap
free -h
# Disk
df -h
# Proses yang paling banyak memakai CPU dan memori
ps aux --sort=-%cpu | head -8
ps aux --sort=-%mem | head -8
# Beban sistem
uptime
Disk penuh adalah penyebab yang sangat sering dan mudah diperiksa. Log yang menumpuk atau berkas sementara yang tidak dibersihkan dapat menghabiskan ruang tanpa terlihat.
Langkah 6 — Dependensi eksternal
# Basis data
pg_isready -h db-host -p 5432
# Redis
redis-cli -h cache-host ping
# Konektivitas umum
curl -s -o /dev/null -w "%{http_code} %{time_total}s\n" https://api-pihak-ketiga.com/health
Mencari pola, bukan satu baris
Satu baris galat sering menyesatkan. Yang berguna adalah pola.
# Pesan galat yang paling sering muncul
journalctl -u nama-layanan --since "1 hour ago" --no-pager \
| grep -iE "error|fail|exception" \
| sed -E 's/[0-9]{2}:[0-9]{2}:[0-9]{2}//' \
| awk '{$1=""; print}' \
| sort | uniq -c | sort -rn | head -15
Perintah ini mengelompokkan pesan serupa sehingga penyebab utama terlihat jelas.
Selama insiden berlangsung
Yang perlu dilakukan:
- Catat waktu setiap tindakan — berguna untuk analisis setelahnya
- Ubah satu hal pada satu waktu, lalu uji
- Jangan menghapus log sebelum masalah selesai
- Bila ada jalur mundur (rollback), gunakan sebelum mencoba perbaikan rumit
Setelah insiden
Analisis setelah kejadian jauh lebih berharga daripada kecepatan saat kejadian. Tuliskan: apa yang terjadi, kapan terdeteksi, berapa lama pemulihan, apa penyebab langsung, dan apa yang mencegah deteksi lebih awal.
Kesimpulan
Membaca log secara sistematis mengubah insiden dari panik menjadi proses. Urutan dari luar ke dalam memastikan Anda tidak menghabiskan waktu pada lapisan yang sebenarnya berfungsi normal.