Yapay Zekâ Tarayıcıları, robots.txt ve llms.txt: Hangi Botlara İzin Verilmeli?

Yapay zekâ tarayıcıları nedir, klasik arama botlarından farkı ne?

Yapay zekâ tarayıcıları, web sayfalarını bir dil modelini eğitmek, yapay zekâ destekli bir arama ürününün dizinini beslemek ya da bir kullanıcının sohbet sırasında istediği sayfayı anlık olarak okumak için çeken otomatik istemcilerdir. Klasik arama botu sayfayı bir sonuç listesinde göstermek için tarar; yapay zekâ tarayıcısı ise içeriği bir cevabın ya da bir modelin hammaddesi olarak kullanabilir.

Teknik açıdan aralarında büyük fark yok: ikisi de sayfayı bir HTTP isteğiyle ister, kendini bir user-agent adıyla tanıtır ve kurallara uyanlar önce robots.txt dosyasını okur. Asıl fark, içeriğin nereye gittiğinde. Aynı şirket çoğu zaman farklı amaçlar için ayrı botlar işletiyor ve robots.txt’de her birine ayrı bir adla (user-agent belirteci) seslenmek gerekiyor. “Yapay zekâya kapat” türünden tek bir kural bu yüzden çoğu zaman istenmeyen sonuç doğuruyor.

Konu Türkiye’deki siteler için de artık doğrudan güncel: Google, AI Modu ve AI Bakışı (AI Overviews) özelliklerini 18 Şubat 2026’da Türkiye’de kullanıma sunmaya başladığını duyurdu. Google’a göre bu özelliklerde destekleyici bağlantı olarak gösterilmenin ön koşulu, sayfanın Arama’da dizine eklenmiş ve snippet’le gösterilebilir olması. Bu özelliklerin nasıl çalıştığını AI Overviews ve AI Mode rehberimizde, cevaplarda kaynak olmanın içerik tarafını ise GEO nedir yazımızda anlattık.

Eğitim, arama ve kullanıcı isteği botları arasındaki fark nedir?

Eğitim botları içeriği gelecekteki modellerin eğitim verisi için toplar; arama botları yapay zekâ destekli arama ürünlerinin dizinini besler ve cevaplarda kaynak bağlantısı gösterilmesini sağlar; kullanıcı isteği botları ise bir kullanıcı sohbet sırasında bir sayfayı istediğinde o sayfayı anlık olarak getirir. Görünürlük açısından en kritik olanlar arama ve kullanıcı isteği botlarıdır.

Aşağıdaki tablo, sağlayıcıların Eylül 2026 itibarıyla yayımladığı belgelere dayanıyor. Bot adları ve görevleri zaman zaman değişiyor ya da yeni botlar ekleniyor; kural yazmadan önce ilgili belgeyi yeniden kontrol etmek gerekir.

Tablodaki iki ayrıntı pratikte en çok karıştırılan noktalar. Birincisi, kullanıcı isteği botlarının bir kısmı robots.txt’ye bağlı değil: OpenAI, ChatGPT-User için robots.txt kurallarının uygulanmayabileceğini, Perplexity de Perplexity-User’ın bu kuralları genellikle yok saydığını belirtiyor. Google’ın kullanıcı tetiklemeli getiricileri için de aynı durum geçerli. Bunları durdurmanın yolu robots.txt değil, sunucu ya da CDN kuralıdır; ama bu botlar kullanıcının açıkça istediği sayfayı getirdiği için engellemek, markanızın sorulduğu bir sohbette sayfanızın okunamaması anlamına gelir.

İkincisi, CCBot’un topladığı arşiv kamuya açık yayımlanıyor. Bu arşive giren içeriğin daha sonra kimin tarafından, hangi amaçla kullanılacağı sitenin kontrolünde değildir; eğitim kullanımına kapalı durmak isteyen bir site için CCBot kararı en az GPTBot kararı kadar önemlidir.

robots.txt ile hangi botlara izin verilmeli, hangileri engellenebilir?

Yapay zekâ cevaplarında kaynak olarak görünmek isteyen bir site arama botlarına izin vermelidir; eğitim botlarını engellemek ise görünürlüğü doğrudan kesmeyen, içerik politikasına bağlı bir karardır. OpenAI’ın belgesine göre iki ayar birbirinden bağımsız çalışır: GPTBot’u engelleyip OAI-SearchBot’a izin veren bir site ChatGPT arama sonuçlarında görünmeye devam edebilir.

Unutulmaması gereken nokta, robots.txt’nin bir kilit değil bir rica olması. Standardı tanımlayan RFC 9309 (Eylül 2022), bu kuralların bir erişim yetkilendirmesi olmadığını ve tarayıcılardan bunlara uymalarının istendiğini açıkça yazıyor. Kurallara uymayan ya da kimliğini gizleyen botlar için sunucu, güvenlik duvarı veya CDN düzeyinde engel gerekir. Aynı standart, tarayıcıların dosyanın önbellekteki kopyasını, dosyaya ulaşılamadığı durumlar dışında, 24 saatten uzun kullanmamasını öneriyor; yaptığınız değişikliğin etkisi bu yüzden anında görünmeyebilir.

1. Hedefi yazın. Cevaplarda kaynak olmak mı, içeriği model eğitiminden uzak tutmak mı, yoksa ikisi birden mi isteniyor? Bu karar teknik ekibin değil, içerik ve iş tarafının kararıdır.
2. Arama botlarını açık tutun. Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot ve PerplexityBot kapatıldığında ilgili arama ürünlerindeki görünürlük de daralır.
3. Eğitim kullanımına ayrı karar verin. GPTBot, ClaudeBot ve CCBot ile kontrol belirteçleri Google-Extended ve Applebot-Extended bu gruptadır. Bunları engellemek arama görünürlüğünü kapatmaz; içeriğinizin bu modellerin eğitiminde kullanılmasını istemediğinizi bildirir.
4. Kuralı bot adıyla yazın. User-agent: GPTBot satırının altına Disallow: / yazmak yalnızca bu botu kapatır. Kendine ait bir grubu olmayan botlar ise User-agent: * grubuna bakar; oradaki geniş bir Disallow arama botlarını da kapsayabilir.
5. Özel alanları robots.txt’ye bırakmayın. Üye paneli, sepet ya da müşteri belgeleri gibi alanlar kimlik doğrulamayla korunmalı; robots.txt’de listelenen bir yol herkes tarafından okunabilir.

WordPress sitelerde bu dosya çoğu zaman bir eklenti ya da WordPress’in kendisi tarafından üretilir; nerede düzenlendiğini WordPress SEO rehberimizde anlattık. robots.txt’nin tarama ve dizine ekleme üzerindeki genel etkisi teknik SEO nedir yazımızda, yanlışlıkla bütün siteyi kapatan kurallar gibi sık görülen sorunlar ise SEO hataları yazımızda yer alıyor.

Google-Extended neyi kontrol eder, neyi etmez?

Google-Extended ayrı bir tarayıcı değil, robots.txt’de kullanılan bir kontrol belirtecidir: Google’ın mevcut botlarıyla taranan içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI’daki grounding (cevabı kaynağa dayandırma) özelliklerinde kullanılıp kullanılmayacağını belirler. Google’a göre sitenin Google Arama’ya dahil olmasını etkilemez ve Arama’da sıralama sinyali olarak kullanılmaz.

Bu yüzden Google-Extended’ı engellemek, sayfanın AI Overviews ya da AI Mode’da görünmesini engellemez; bu özellikler Arama’nın parçasıdır. Google, bu özelliklerde sayfadan gösterilen bilgiyi sınırlamak için Arama’nın önizleme kontrollerini işaret ediyor.

• Google-Extended ile yönetilir: Gemini modellerinin eğitimi; Gemini uygulamalarında ve Vertex AI’da Google Arama ile grounding.
• Google-Extended ile yönetilmez: Google Arama’da yer alma, sıralama, AI Overviews ve AI Mode’daki gösterim.
• AI Overviews ve AI Mode için kontroller: nosnippet, data-nosnippet, max-snippet ve noindex. Bunlar klasik arama snippet’ini de etkiler; yapay zekâ özetini kısıtlarken normal sonuçtaki açıklamayı da kısıtlamış olursunuz.

Apple ve Microsoft’ta da benzer bir ayrım var. Apple’ın belgesine göre Applebot-Extended hiçbir sayfayı taramaz; yalnızca Applebot’un topladığı verinin Apple’ın temel modellerinin eğitiminde kullanılıp kullanılmayacağını belirler ve engellendiğinde içerik Spotlight, Siri ve Safari’de keşfedilebilir kalır. Microsoft ise Eylül 2023’te, noarchive meta etiketi taşıyan içeriğin Bing Chat (bugünkü Copilot) cevaplarına alınmayacağını ve modellerin eğitiminde kullanılmayacağını, nocache taşıyan içerikten ise yalnızca URL, başlık ve snippet kullanılacağını duyurdu; iki etiket de sayfanın Bing arama sonuçlarında yer almasını engellemiyor.

llms.txt dosyası nedir, gerekli mi?

llms.txt, genellikle sitenin kök dizinine konan ve sitenin en önemli sayfalarını dil modelleri ile yapay zekâ ajanları için Markdown biçiminde özetleyen bir dosya önerisidir; zorunlu değildir ve robots.txt gibi bir erişim kuralı içermez. Google, AI Overviews ve AI Mode’da görünmek için yeni makine okunur dosyalara ya da yapay zekâya özel metin dosyalarına gerek olmadığını açıkça belirtiyor.

Öneri, Jeremy Howard tarafından Eylül 2024’te llmstxt.org’da yayımlandı; Ağustos 2026’da iki yıllık kullanım deneyimine göre güncellenen ikinci sürümü çıktı. Tanıma göre dosyanın tek zorunlu parçası site ya da proje adını taşıyan bir H1 başlığıdır; ardından alıntı bloğu biçiminde kısa bir özet, isteğe bağlı açıklamalar ve H2 başlıkları altında bağlantı listeleri gelir. Öneri, sayfaların temiz Markdown sürümlerinin de aynı adresin sonuna .md eklenerek ya da uzantı .md ile değiştirilerek sunulmasını tavsiye ediyor.

• Anlamlı olabildiği durumlar: Yazılım dokümantasyonu, API referansları ve geliştiricilerin kod asistanlarıyla okuduğu teknik içerik gibi, yapısı net ve sık başvurulan kaynaklar.
• Beklenmemesi gereken etki: Google’da sıralama artışı ya da yapay zekâ cevaplarında kendiliğinden kaynak gösterilme. Bu sonuçları erişim, dizine ekleme ve içeriğin kendisi belirler.
• Dikkat edilmesi gereken risk: Dosya güncellenmezse sitedeki bilgiyle çelişir. Fiyat, hizmet kapsamı ya da iletişim bilgisi gibi değişken verileri buraya kopyalamak yerine ilgili sayfaya bağlantı vermek daha güvenlidir.

Kendi pratiğimizde llms.txt’yi düşük maliyetli, isteğe bağlı bir ek olarak görüyoruz; robots.txt’nin, XML site haritasının ya da dizine eklenebilirliğin yerine koymuyoruz. Eklenecekse sitede gerçekten yayımlanan bilgiden başka bir şey içermemeli.

Bot erişimi sunucu kayıtlarında nasıl doğrulanır?

Bir botun gerçekten iddia ettiği şirkete ait olup olmadığı user-agent adına değil, IP adresine bakılarak doğrulanır: IP için ters DNS ve ardından ileri DNS sorgusu yapılır ya da IP, botu işleten şirketin yayımladığı IP aralıkları listesiyle karşılaştırılır. User-agent dizesi kolayca taklit edilebilir; Common Crawl, kendini sahte biçimde CCBot olarak tanıtan tarayıcılar olduğunu kendisi belirtiyor.

1. Kayıtları bot adına göre ayırın. Sunucu erişim kayıtlarında GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot gibi adları filtreleyin; hangi adresleri, hangi sıklıkla ve hangi durum koduyla aldıklarını çıkarın.
2. Ters ve ileri DNS ile doğrulayın. Google için ters DNS sonucu googlebot.com, google.com ya da googleusercontent.com ile bitmeli ve ileri sorgu aynı IP’ye dönmeli; Bingbot için alan adı search.msn.com, Applebot için applebot.apple.com olmalı.
3. Yayımlanan IP listeleriyle karşılaştırın. OpenAI her botu için ayrı bir JSON dosyası (gptbot.json, searchbot.json, chatgpt-user.json) yayımlıyor; Perplexity, Anthropic, Common Crawl, Apple ve Google da IP aralıklarını JSON olarak paylaşıyor.
4. Durum kodlarını okuyun. Doğrulanmış bir arama botuna 403, 429 ya da bir doğrulama sayfası dönüyorsa engel robots.txt’de değil; sunucu, güvenlik eklentisi ya da CDN katmanındadır.
5. Değişiklikten sonra tekrar bakın. Kuralı değiştirdikten sonra aynı filtreyle kayıtları yeniden inceleyin; robots.txt önbelleği nedeniyle etki hemen görünmeyebilir.

CDN ve güvenlik duvarı ayarları bu işin en sık gözden kaçan katmanı. Örneğin Cloudflare, Temmuz 2025’ten beri yeni alan adlarına kurulum sırasında yapay zekâ tarayıcılarına izin verilip verilmeyeceğini soruyor ve başlangıç ayarını engelleme olarak kuruyor; Temmuz 2026’da ise bu kontrolleri arama, ajan ve eğitim olarak üç sınıfa ayırdı ve yeni alan adlarında arama sınıfını varsayılan olarak açık bıraktı. Yine de geniş tutulmuş bir bot engeli ya da elle yazılmış bir güvenlik duvarı kuralı, robots.txt’de hiçbir iz bırakmadan arama botlarını da durdurabilir. Bing tarafındaki tarama verisi ve IndexNow için Google Search Console rehberimize bakabilirsiniz.

Sitenizin robots.txt, CDN ve sunucu katmanında hangi botlara açık olduğunu görmek için ücretsiz SEO ve GEO analizi iyi bir başlangıç noktası; llms.txt ve yapay zekâ botu erişimi ise SEO paketlerimizin GEO maddeleri arasında yer alıyor.