Robots.txt Oluşturucu ve Test Aracı
Arama ve yapay zekâ botları için izin ve engel, kural kural test.
16 bot·Adres testi·Kayıt gerektirmez
robots.txt
Adres testi
| Bot | Sonuç | Eşleşen kural |
|---|
- GPTBot ve ClaudeBot
- Google-Extended
- Sitemap satırı
- robots.txt indirme
Robots.txt nedir, yapay zekâ botları neden önemli?
robots.txt, sitenin kök dizininde duran ve tarayıcı botlara hangi adresleri tarayabileceklerini söyleyen düz metin dosyasıdır. Dosya bir güvenlik önlemi değil, bir izin listesidir: kurallara uyan botlar (Googlebot, Bingbot ve büyük yapay zekâ şirketlerinin botları) onu okur ve uygular.
Yapay zekâ ile birlikte tek bir soru ikiye ayrıldı: içeriğiniz model eğitimine girsin mi, ve yapay zekâ aramalarında kaynak olarak görünsün mü? GPTBot, ClaudeBot ve Google-Extended gibi eğitim botlarını kapatıp OAI-SearchBot ve PerplexityBot gibi arama botlarını açık bırakmak mümkündür. Hangi botların sitenize erişebildiğini llms.txt Oluşturucu da canlı olarak denetler.
Hangi bot ne için gelir?
Yapay zekâ şirketlerinin botları üç işe ayrılır. Eğitim botları içeriği model eğitimi için toplar; arama botları yapay zekâ aramasının dizinini kurar; kullanıcı isteği botları bir kişi sohbet içinde bir adresi açtığında gelir.
Google-Extended ve Applebot-Extended ayrı bir bot değil, izin belirtecidir: Googlebot ve Applebot siteyi yine tarar, bu satırlar yalnız içeriğin yapay zekâ eğitiminde kullanılmasını belirler. Google araması ve AI Overviews görünürlüğü Googlebot’a bağlıdır.
| Bot | Şirket | Görev |
|---|---|---|
OAI-SearchBot | OpenAI | YZ arama |
Claude-SearchBot | Anthropic | YZ arama |
PerplexityBot | Perplexity | YZ arama |
ChatGPT-User | OpenAI | kullanıcı isteği |
Claude-User | Anthropic | kullanıcı isteği |
Perplexity-User | Perplexity | kullanıcı isteği |
GPTBot | OpenAI | eğitim |
ClaudeBot | Anthropic | eğitim |
Google-Extended | eğitim | |
Applebot-Extended | Apple | eğitim |
CCBot | Common Crawl | eğitim |
meta-externalagent | Meta | eğitim |
Bytespider | ByteDance | eğitim |
Robots.txt’te altı yaygın hata.
- 01
Tüm siteyi kapatan tek satır
Yayına alınırken unutulan “User-agent: * / Disallow: /” satırı sitenin aramadan düşmesine yol açar. Yayın sonrası ilk denetim budur.
- 02
CSS ve JS dosyalarını engellemek
Google sayfayı bir tarayıcı gibi çizer; stil ve betik dosyaları kapalıysa sayfa eksik değerlendirilir.
- 03
Gizli sayfayı robots.txt ile saklamak
robots.txt herkese açıktır ve dizinden çıkarmaz; dizine girmemesi gereken sayfaya noindex, gizli sayfaya parola gerekir.
- 04
Eğitim ile aramayı karıştırmak
Bütün yapay zekâ botlarını kapatmak, ChatGPT ve Perplexity aramalarında kaynak gösterilme ihtimalini de kapatır.
- 05
Büyük-küçük harf ve sondaki eğik çizgi
Yollar büyük-küçük harfe duyarlıdır; “/Blog” ile “/blog” farklı adreslerdir, “/blog” kuralı “/blog-yazisi” adresini de kapsar.
- 06
Site haritasını bildirmemek
Sitemap satırı bütün botların site haritasını bulmasını sağlar; Search Console’a da ayrıca eklenir.
Diğer ücretsiz araçlarımız.
- SEO AnalizSEO + GEO Hazırlık Skoru, 303 kural
- Google Sıra BulucuSıra ve adres, ilk 100
- Anahtar Kelime AnaliziHacim, zorluk, öneri ve paket
- Yapay Zekâ Görünürlük TestiChatGPT, Gemini ve Claude cevaplarında marka
- Schema KontrolJSON-LD eksikleri, tür bazında
- llms.txt OluşturucuYapay zekâ botları ve llms.txt taslağı
- DA PA SorgulamaDA, PA ve Spam Score
- SERP ÖnizlemeBaşlık ve açıklama, piksel genişliğiyle
- Meta Etiket OluşturucuTitle, description, Open Graph ve X
- Schema OluşturucuSSS, kurum, yerel işletme, makale, iz
- Yapay Zekâ Bot AnaliziSunucu günlüğünde GPTBot, ClaudeBot ve diğerleri
- Kelime SayacıKelime, karakter, okuma süresi, okunabilirlik
- Anahtar Kelime YoğunluğuTek, iki ve üç kelimelik öbekler
- UTM OluşturucuKampanya linki, GA4 uyumlu
- KDV HesaplamaKDV dahil, hariç, matrah ve tevkifat
- İndirim HesaplamaYüzde indirim, oran, ters ve zincirleme iskonto
- Yüzde HesaplamaYüzdesi, yüzde kaçı, artış ve zam
- SEO ROI HesaplamaKendi rakamlarınızla yatırım getirisi senaryosu
- ROAS HesaplamaROAS, CPA, CPC, CTR ve dönüşüm oranı
- WhatsApp Link OluşturmaMesajlı wa.me linki ve QR kod
Botlar içeride. Sıra, alıntılanmakta.
Yapay zekâ botlarına kapıyı açmak ilk adımdır; cevaplarda kaynak gösterilmek için içeriğin, yapısal verinin ve otoritenin birlikte çalışması gerekir. SEO paketlerimizde GEO çalışması her pakette yer alır.
- Teknik SEO denetimi
- Yapay zekâ erişimi ve llms.txt
- GEO her pakette
Robots.txt merak edilenler.
Yapay zekâ botlarını engelleme, test etme ve dosyanın yeri hakkında en çok sorulanlar.
Araca DönSitenin kök dizinine, alanadi.com/robots.txt adresinden açılacak biçimde yüklenir. Alt klasördeki robots.txt dosyası dikkate alınmaz; her alt alan adının kendi dosyası olur.
“User-agent: GPTBot” satırının altına “Disallow: /” yazılır. Bu yalnız OpenAI’nin eğitim botunu kapatır; ChatGPT aramasının botu OAI-SearchBot’tur ve ayrı yönetilir.
Eğitim botlarını (GPTBot, ClaudeBot, Google-Extended) engellemek Google sıralamasını etkilemez. Yapay zekâ arama botlarını engellemek ise ChatGPT, Claude ve Perplexity cevaplarında kaynak gösterilme ihtimalini düşürür.
Hayır. Engellenen bir adres başka sitelerden bağlantı alıyorsa açıklamasız biçimde dizinde kalabilir. Bir sayfayı dizinden çıkarmak için sayfa taranabilir kalmalı ve noindex etiketi taşımalıdır.
Google en uzun, yani en özel eşleşen kuralı uygular; eşit uzunlukta Allow kazanır. Araçtaki adres testi aynı yöntemle hangi kuralın geçerli olduğunu bot bot gösterir.
Hayır. Dosya oluşturma ve test tamamen tarayıcınızda yapılır; içerik sunucumuza gönderilmez.
Yardıma mı ihtiyacınız var?
Bize ulaşın, 7/24 buradayız.
Sorularınız, projeniz ya da fikirleriniz için uzman ekibimiz 7/24 yanınızda. Talebinizi ilgili ekip değerlendirip size dönüş yapar.