Cara Mengatasi Search Console Server Error (5xx) Halaman Tidak Terindeks

Anda membuka Search Console > Pages dan melihat deretan URL berstatus “Server error (5xx)” di kolom “Why pages aren't indexed”. Panik itu wajar — tetapi sebelum menyalahkan SEO, pahami dulu: 5xx bukan vonis atas konten Anda, melainkan laporan bahwa server Anda gagal saat Googlebot meminta halaman itu.

Jawaban Singkat

Beberapa baris 5xx yang tersebar setelah deploy atau lonjakan trafik biasanya hanya noise sesaat — Google akan mencoba lagi sendiri. Tetapi pola yang persisten (banyak URL, URL yang sama berulang, atau lonjakan di Crawl Stats) berarti ada masalah infrastruktur: server overload, template rusak, deploy bermasalah, atau firewall yang memblokir Googlebot. Perbaikannya adalah perbaikan server, bukan perbaikan konten: temukan pola di log server pada waktu yang dilaporkan Google, perbaiki penyebabnya, lalu minta Google memvalidasi lewat Validate Fix.

Membedakan Noise dan Pola Bermasalah

PolaPenilaianTindakan
Beberapa URL, sekali, setelah deployNoise sesaatPantau; biasanya hilang sendiri
URL yang sama berulang kaliMasalah spesifik halaman/template ituUji URL itu dengan live test dan log
Banyak URL sekaligus di waktu yang samaServer down/overload saat ituPeriksa log server dan kapasitas
Lonjakan di Crawl Stats + 'Host had problems'Masalah host yang lebih luasPeriksa hosting dan pemantauan server

Persiapan

  • Buka Search Console > Indexing > Pages > Server error (5xx) dan ekspor daftar URL-nya.
  • Prioritaskan URL yang ada di sitemap dan URL yang penting bagi trafik Anda.
  • Siapkan akses ke log server (Nginx/Apache, PHP-FPM) dan ke Crawl Stats (Settings > Crawl Stats).

Langkah 1: Uji URL yang Dilaporkan dengan Live Test

Di Search Console, klik satu URL yang terdampak > Inspect URL > Test Live URL. Live test mengikuti pengalihan dan menunjukkan respons HTTP serta halaman yang dirender. Bila live test kini mengembalikan 200, kemungkinan errornya sudah berlalu — Anda bisa langsung meminta pengindeksan ulang untuk URL penting. Bila live test masih 5xx, lanjut ke langkah berikutnya dengan URL yang sudah pasti bermasalah.

Langkah 2: Cocokkan Waktu dengan Log Server

Search Console memberi perkiraan waktu error. Cari di log server pada rentang waktu itu, dengan fokus pada permintaan Googlebot:

sudo grep -i googlebot /var/log/nginx/access.log | grep " 5[0-9][0-9] "
sudo grep " 5[0-9][0-9] " /var/log/nginx/error.log | tail -n 100

Perhatikan pola: apakah 5xx terjadi di jam sibuk (overload), setelah waktu deploy (kode bermasalah), atau hanya untuk pola URL tertentu (template/kueri bermasalah). Bila log menunjukkan Googlebot diblokir (403 dari firewall sebelum mencapai 5xx), periksa aturan firewall/CDN: Googlebot yang terverifikasi tidak boleh diblokir oleh aturan bot-protection.

Langkah 3: Perbaiki Penyebab Servernya

  • Overload saat crawl: optimalkan cache, kurangi beban halaman, atau naikkan kapasitas; Googlebot yang datang bersamaan dengan trafik puncak bisa mendorong server yang sudah di batasnya.
  • Deploy bermasalah: rollback perubahan terakhir dan uji ulang URL yang terdampak sebelum deploy ulang.
  • Template/kueri bermasalah: perbaiki halaman yang konsisten 5xx — sering kali satu template atau satu kueri berat menjadi sumber seluruh kelompok URL.
  • Firewall/CDN memblokir Googlebot: izinkan permintaan Googlebot yang terverifikasi dan uji lagi dengan live test.
  • Periode maintenance: bila server memang sengaja down sementara, layani 503 dengan header Retry-After agar Google tahu untuk mencoba lagi nanti, bukan menganggap halaman rusak.

Langkah 4: Minta Validasi dan Pantau

Setelah perbaikan, kembali ke laporan Server error (5xx) dan klik Validate Fix. Google akan merayapi ulang URL yang terdampak selama beberapa hari hingga minggu. Pantau Crawl Stats: persentase 5xx harus turun menuju normal, dan pesan “Host had problems” harus hilang. Jangan meminta pengindeksan satu per satu untuk ratusan URL — Validate Fix dirancang untuk kelompok ini.

Verifikasi Hasil

Perbaikan berhasil bila live test URL penting mengembalikan 200, log server tidak lagi mencatat 5xx untuk Googlebot pada URL itu, Crawl Stats kembali normal, dan status validasi di Search Console berubah menjadi lulus. Bila satu kelompok URL tetap 5xx setelah validasi, ulangi dari Langkah 2 dengan kelompok itu saja — penyebabnya mungkin berbeda dari kelompok pertama.

Troubleshooting Lanjutan

SituasiLangkah berikutnya
Live test 200 tetapi status tetap 5xxTunggu siklus validasi; Google memakai data crawl, bukan hanya live test
5xx hanya untuk Googlebot, bukan pengunjungCurigai aturan firewall/CDN khusus bot
5xx muncul setelah migrasiPeriksa pengalihan dan konfigurasi server baru; URL lama tanpa 301 yang benar bisa memicu error berantai
Validasi gagal untuk sebagian URLPisahkan kelompok yang gagal dan diagnosis ulang — jangan ulangi Validate Fix membabi buta

FAQ

Apakah 5xx menurunkan peringkat saya?

Secara langsung, 5xx membuat halaman tidak bisa diindeks selama error berlangsung. Bila persisten dan meluas, Google bisa menurunkan frekuensi crawl ke situs Anda karena menganggapnya tidak stabil.

Apakah saya harus menghapus URL 5xx dari sitemap?

Tidak, bila URL itu memang seharusnya ada dan sudah diperbaiki. Menghapusnya dari sitemap tidak memperbaiki server; Validate Fix adalah jalurnya.

Berapa lama validasi Search Console?

Bervariasi dari beberapa hari hingga beberapa minggu tergantung jumlah URL dan frekuensi crawl situs Anda. Pantau status validasi, bukan sekadar menunggu.

Kesimpulan

Server error (5xx) di Search Console adalah laporan infrastruktur, bukan laporan kualitas konten. Bedakan noise sesaat dari pola persisten, cocokkan waktu error dengan log server, perbaiki penyebab servernya, dan minta validasi. Situs yang stabil saat dirayapi adalah prasyarat — baru setelah itu optimasi konten bisa bekerja.

Referensi

Cookie Consent