Ibrahim Furkan OzcelikSEO
EN
Ücretsiz Araç · TürkçeAI Crawler DestekliKayıt Yok

Ücretsiz robots.txt test aracı

robots.txt dosyanızı yapıştırın, bir URL girin, botları seçin — hangi botun URL’yi tarayabildiğini ve engellendiyse hangi kuralın engellediğini görün. Googlebot ve GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot dahil modern AI crawler’lar için tam destek. Tamamen tarayıcınızda çalışır; dosyanız sunucuya gönderilmez.

Hızlı şablon:
Bot(lar)
Klasik Search
AI Training
AI Retrieval
01 — Nasıl kullanılır

Kısa kullanım

robots.txt dosyanızı sol tarafa yapıştırın (veya yukarıdaki şablonlardan birini yükleyin) → test edilecek URL’yi girin → botları seçin → Test et. Sonuç panelinde her seçili bot için URL’nin engelli mi izinli mi olduğu, hangi kural nedeniyle bu sonucun ortaya çıktığı ve satır numarası gösterilir. Sözdizim uyarıları varsa (tanınmayan yönergeler, wildcard hataları, göreceli sitemap URL’leri gibi) uyarı bölümünde listelenir.

02 — Kapsam

Bu araçla ne test edebilirsiniz?

  • Belirli bir URL’nin belirli bir bot için engelli mi izinli mi olduğu
  • Sözdizim hataları ve tanınmayan yönergeler
  • AI crawler’ların (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended vb.) durumu
  • Wildcard kullanım hataları (*, $)
  • Sitemap declaration yolu doğru mu (mutlak URL vs. göreceli)
  • Crawl-delay direktifinin hangi botlar için geçerli olduğu
03 — AI Crawler Testi

Neden AI crawler’ları ayrıca test etmelisiniz?

Klasik robots.txt test araçları Googlebot merkezlidir. Ama 2026’da robots.txt yönetimi klasik search crawler’larıyla sınırlı değil.

Örnek: GPTBot ve OAI-SearchBot iki farklı bottur. GPTBot yalnızca OpenAI’nin gelecek model eğitim veri havuzuna içerik derler; engellemek sitenizi eğitim havuzundan çıkarır ama ChatGPT’nin gerçek zamanlı arama özelliğini (OAI-SearchBot ile beslenir) etkilemez. Çoğu Türkiye’deki site blanket bir disallow kuralıyla iki botu birden engelliyor ve bunun farkında değil. Bu tool bu ayrımı Türkçe olarak test etmenize izin verir.

Aracımız üç kategoride 11 botu destekler: klasik search (Googlebot, Bingbot, YandexBot), AI training (GPTBot, ClaudeBot, Google-Extended, CCBot) ve AI retrieval (OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User). Tam AI crawler taksonomisi için robots.txt rehberimizin AI crawler bölümüne bakabilirsiniz.

04 — Sıkça Sorulan Sorular

SSS

S · 01

Aracı kullanmak için hesap açmam gerekiyor mu?

Hayır. Kayıt, giriş veya site verification yok. Sayfayı açın, dosyanızı yapıştırın, URL girin, test edin. Tamamen ücretsiz.

S · 02

robots.txt dosyam saklanıyor mu?

Hayır. Bu araç tamamen tarayıcınızda (client-side) çalışır. Dosya içeriğiniz sunucumuza gönderilmez, hiçbir yerde saklanmaz, analytics'e bile geçmez. Sekmeyi kapattığınızda her şey silinir.

S · 03

Google Search Console'un kendi test aracıyla farkı ne?

Üç fark: (1) Bizim aracımız site verification istemez — herhangi bir robots.txt içeriğini test edebilirsiniz, kendi siteniz olması şart değil. (2) AI crawler desteği: GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot ve diğer modern AI botları explicit olarak test edilebilir; Google Search Console sadece Google botlarını destekler. (3) Türkçe UI ve Türkçe açıklama.

S · 04

Bu araç RFC 9309 uyumlu mu?

Evet. Allow/Disallow değerlendirmesi Google'ın açık kaynaklı robots.txt parser mantığına dayalı robots-parser npm kütüphanesiyle yapılır. Kütüphane RFC 9309 taslak spesifikasyonu ile uyumludur. Eşleşen kural gösterimi bilgilendirme amaçlı manuel bir taramadır; nihai davranış her botun kendi parser uygulamasına bağlıdır.

05 — Devam Okuma

İlgili yazılar

06 — Kaynaklar