Belakangan ini banyak sekali orang yang mengeluhkan Google menjadi semakin lama untuk melakukan crawl dan indexing terhadap website mereka setelah update algoritma beberapa hari yang lalu. Hal ini membuat URL baru lebih lama untuk terindeks dan beberapa artikel yang sudah Page One menghilang di pencarian, sebenarnya ini adalah sesuatu yang sering umum terjadi ketika Google memperbarui algoritma.
John Mueller dari Google menulis penjelasan yang sangat rinci dan jujur tentang mengapa Google dan alat SEO pihak ketiga tidak merayapi dan mengindeks setiap URL atau tautan di web. Hal ini karena crawling itu sangat mahal, dan dapat menjadi tidak efisien. Selain itu, website di seluruh dunia ini selalu berubah-ubah pada waktu yang sama, terdapat banyak spam dan sampah yang harus ditangani oleh Google agar dapat diabaikan.
Secara teoritis tidak mungkin untuk merayapi semuanya, karena jumlah URL aktual secara efektif tidak terbatas. Karena tidak ada yang mampu menyimpan URL dalam jumlah tak terbatas dalam database, semua perayap web membuat asumsi, penyederhanaan, dan tebakan tentang apa yang layak dirayapi secara realistis.
Dan meskipun demikian, untuk tujuan praktis, Anda tidak dapat merayapi semua itu sepanjang waktu, internet tidak memiliki konektivitas & bandwidth yang cukup untuk itu, dan membutuhkan banyak uang jika Anda ingin mengakses banyak halaman secara teratur (untuk perayap, dan untuk pemilik situs).
Setelah itu, beberapa halaman berubah dengan cepat, yang lain tidak berubah selama 10 tahun -- jadi perayap mencoba menghemat tenaga dengan lebih fokus pada halaman yang mereka harapkan untuk diubah, daripada halaman yang mereka harapkan tidak akan berubah.
Dan kemudian, kami menyentuh bagian di mana perayap mencoba mencari tahu halaman mana yang benar-benar berguna. Web dipenuhi dengan sampah yang tidak dipedulikan siapa pun, halaman yang telah di-spam menjadi tidak berguna. Halaman-halaman ini mungkin masih berubah secara teratur, mereka mungkin memiliki URL yang masuk akal, tetapi mereka hanya ditujukan untuk tempat pembuangan sampah, dan mesin pencari apa pun yang peduli dengan pengguna mereka akan mengabaikannya. Kadang-kadang bukan hanya sampah yang jelas juga. More & more, situs secara teknis baik-baik saja, tetapi jangan mencapai "bilah" dari sudut pandang kualitas agar pantas dirayapi lebih banyak.
Oleh karena itu, semua perayap (termasuk alat SEO) bekerja pada kumpulan URL yang sangat disederhanakan, mereka harus mengetahui seberapa sering perayapan, URL mana yang lebih sering dirayapi, dan bagian web mana yang diabaikan. Tidak ada aturan tetap untuk semua ini, jadi setiap alat harus membuat keputusan sendiri di sepanjang jalan. Itu sebabnya mesin pencari memiliki konten yang diindeks berbeda, mengapa alat SEO mencantumkan tautan yang berbeda, mengapa metrik apa pun yang dibangun di atas ini sangat berbeda.