Bugün sizlere bir süredir kafamda dönen bir konudan bahsedeceğim. Son zamanlarda React ya da Next.js ile yapılmış, gayet şık görünen sitelerin sahiplerinden şu cümleyi duyuyorum: "Google'da fena değiliz ama ChatGPT'ye sorunca sitemizi hiç bilmiyor." Sebeplerden biri çoğu zaman çok basit. Siteyi açan tarayıcınız sayfayı JavaScript ile sonradan dolduruyor, yapay zekâ botu ise sayfanın o ilk boş hâlini görüp gidiyor.
Ham HTML ile render edilmiş sayfa arasındaki fark
Bir sayfayı açtığınızda sunucu tarayıcıya önce bir HTML belgesi gönderiyor, buna ham HTML diyelim. Klasik bir WordPress ya da Blogger sitesinde yazının metni zaten bu belgenin içinde geliyor. Tek sayfa uygulaması (SPA) dediğimiz, tamamen tarayıcıda çalışan React sitelerinde ise ham HTML çoğu zaman neredeyse boş: bir iki script etiketi, bir de içi boş bir kutu. Metin, ürünler, fiyatlar, hepsi JavaScript çalıştıktan sonra o kutunun içine yazılıyor. Bu ikinci hâle render edilmiş sayfa deniyor.
Siz ekranda ikinci hâli görüyorsunuz. Hangi botun hangisini gördüğü ise botun JavaScript çalıştırıp çalıştırmadığına bağlı.
Peki botlar JavaScript çalıştırıyor mu?
Googlebot çalıştırıyor. Google Search Central'daki JavaScript dokümanı süreci üç adımda anlatıyor: tarama, render ve dizine ekleme. Sayfa önce taranıyor, sonra kaynaklar elverdiğinde başsız bir Chromium sayfayı açıp JavaScript'i çalıştırıyor ve Google dizine eklerken bu render edilmiş HTML'i kullanıyor. Yalnız aynı doküman sunucu tarafında ya da önceden render etmenin hâlâ iyi bir fikir olduğunu, çünkü "her botun JavaScript çalıştıramadığını" da yazıyor.
Yapay zekâ botlarına gelince, bu konuda en çok atıf yapılan ölçüm Vercel'in Aralık 2024'te yayımladığı çalışma. Vercel kendi ağındaki trafiğe bakıp büyük yapay zekâ tarayıcılarının hiçbirinin JavaScript render etmediğini yazdı. Listede OpenAI'ın GPTBot, OAI-SearchBot ve ChatGPT-User botları, Anthropic'in ClaudeBot'u, Meta, ByteDance ve Perplexity'nin tarayıcıları var. İlginç ayrıntı şu: ChatGPT ve Claude botları JavaScript dosyalarını indiriyor ama çalıştırmıyor. İstisnalar Google'ın Gemini'si (Googlebot altyapısını kullandığı için) ve tarayıcı tabanlı çalışan AppleBot.
Bu ölçüm 2024 sonuna ait, botların davranışı zamanla değişebilir. Ama ben bir sitenin görünürlüğünü "bot belki bir gün JavaScript çalıştırır" ihtimaline bırakmam. Önemli metin ham HTML'de olursa her bot görür, mesele kapanır.
Kendi sitenizde nasıl kontrol edersiniz
Bunun için yazılımcı olmanız gerekmiyor:
- Sayfayı tarayıcıda açın, Ctrl+U ile sayfa kaynağını görüntüleyin. Bu ekran ham HTML'i gösteriyor. Ctrl+F ile sayfada gördüğünüz bir cümleyi, bir ürün adını ya da fiyatı arayın. Kaynakta yoksa JavaScript çalışmayan bir bot da onu görmüyor.
- Sağ tıklayıp "İncele" dediğinizde açılan Elements paneli ise render edilmiş hâli gösteriyor, karşılaştırmayı bu ikisi arasında yapın. İnsanların en sık düştüğü hata, İncele'de metni görüp "var işte" demek.
- Terminal kullanmaktan çekinmiyorsanız curl -A "GPTBot" https://alanadiniz.com/sayfa komutu sayfanın bot kimliğiyle gelen ham hâlini döker. Siteniz Cloudflare arkasındaysa ve yapay zekâ botlarını engellediyseniz burada 403 görebilirsiniz, o ayrı bir konu.
- Google tarafı için Search Console'da URL Denetleme aracında canlı URL'yi test edip taranan sayfanın HTML'ine bakabilirsiniz. Orada Google'ın render sonrası gördüğü kod çıkıyor.
React ve Next.js sitelerde çözüm: SSR ve SSG
Çözüm, metni tarayıcıya bırakmak yerine sunucuda hazırlayıp ham HTML'in içine koymak. Bunun iki yaygın yolu var:
- SSR (sunucu tarafında render): Her istek geldiğinde sayfa sunucuda oluşturulup dolu HTML olarak gönderiliyor. Stok, fiyat gibi sık değişen içerik için uygun.
- SSG (statik üretim): Sayfalar yayına alınırken bir kere üretilip hazır HTML dosyası olarak duruyor. Blog yazısı, hizmet sayfası, hakkımızda gibi pek değişmeyen sayfalar için en hızlısı.
Next.js ikisini de destekliyor ve App Router'da bileşenler varsayılan olarak sunucuda çalışıyor. Yani Next.js ile yapılmış bir site kendiliğinden sorunlu değil. Sorun çıkan yer şu: geliştirici içeriği sayfa tarayıcıda açıldıktan sonra bir API'den çekecek şekilde yazmışsa (React'teki useEffect içinde veri çekmek gibi), o metin yine ham HTML'de olmuyor. Saf React ile, Create React App ya da Vite ile kurulmuş klasik bir SPA'da ise varsayılan olarak her şey tarayıcıda oluşuyor; burada ya Next.js gibi sunucu render eden bir yapıya geçmek ya da sayfaları önceden render eden bir çözüm kullanmak gerekiyor.
Bence ayrımı şöyle yapmak işe yarıyor: botun okuması gereken her şey (başlıklar, açıklamalar, ürün bilgisi, fiyat, iletişim bilgisi, sık sorulan sorular) sunucuda gelsin. Canlı destek kutusu, görüntülenme sayacı, sosyal medya akışı gibi süs kısımlar tarayıcıda yüklenebilir, onları bir bot görmese de bir şey kaybetmezsiniz. Vercel'in yazısındaki tavsiye de aşağı yukarı bu.
Sekme ve akordeon içindeki metinler
Ürün sayfalarındaki "Özellikler / Kargo / Yorumlar" sekmeleri, hizmet sayfalarındaki açılır kapanır soru cevaplar... Bunlar görünmüyor diye sorun mu? Burada iki durum birbirinden çok farklı.
Metin ham HTML'de duruyor, sadece CSS ile gizlenip tıklayınca gösteriliyorsa bot onu okuyabiliyor, çünkü metin belgenin içinde. Google da mobil öncelikli dizine ekleme dokümanında mobilde yer kazanmak için içeriği akordeon ya da sekmelere taşıyabileceğinizi, yeter ki içeriğin masaüstüyle eşdeğer olmasını söylüyor.
Ama metin tıklayınca sunucudan çekiliyorsa iş değişiyor. Google aynı dokümanda kaydırma, tıklama ya da yazma gibi bir kullanıcı etkileşimi gerektiren içeriği yüklemeyeceğini açıkça yazıyor. JavaScript çalıştırmayan bir yapay zekâ botu ise zaten o tıklamayı hiç yapamıyor. Kısacası sekmeye basınca beliren yorumlar, "devamını oku" düğmesiyle gelen açıklama ya da kaydırdıkça yüklenen ürün listesi ham HTML'de yoksa yok sayılıyor. Kontrolü yine Ctrl+U ile yapıyorsunuz: kapalı sekmenin içindeki cümle kaynakta çıkıyorsa rahat olun.
Bir not daha: menüdeki ve sayfa içindeki bağlantılar da gerçek bağlantı olmalı. Google yalnızca href özelliği olan a etiketlerini bağlantı olarak takip ettiğini söylüyor; tıklama olayıyla sayfa değiştiren düğmeler botlar için bir yere çıkmıyor.
Benim sitem Blogger üzerinde ve Blogger yazıları zaten sunucudan dolu HTML olarak gönderdiği için bu dert bende yok. Ama yeni bir site yaptıracaksanız ajansa ya da yazılımcıya "içerik ham HTML'de geliyor mu?" diye sorun, cevabı net değilse yukarıdaki Ctrl+U testini kendiniz yapın. Siteyi baştan bu gözle kurmak isterseniz web tasarım sayfasında nasıl çalıştığımı anlattım.
Bu yazı hakkında söylemek istedikleriniz için bana yazın.
