robots.txt nedir? Oluşturma, örnek ve AI çağı rehberi
robots.txt, arama motoru botlarına tarama talimatları veren metin dosyasıdır. URL’yi Google’dan gizlemez — bunu noindex yapar. Bu rehberde tam syntax, örnek dosyalar, WordPress ve Shopify ile İkas ve Ideasoft için notlar, GPTBot ve OAI-SearchBot dahil AI crawler yönetimi ve yaygın hatalar var.
robots.txt, sitenizin kök dizinindeki bir metin dosyasıdır ve arama motoru botlarına hangi URL’leri tarayabilecekleri konusunda talimatlar verir. robots.txt yasaklama değil, tarama tercihidir — Google engelli bir URL’yi tarayamaz ama başka yerlerden link almışsa yine SERP’te gösterebilir. URL’yi gerçekten gizlemek için noindex meta etiketi gerekir. Bu sayfa: syntax, örnek, oluşturma, platform (WordPress, Shopify, İkas, Ideasoft), AI crawler’lar (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended) ve yaygın hatalar.
robots.txt nedir?
robots.txt, sitenizin kök dizininde (example.com/robots.txt) bulunan düz metin dosyasıdır. Arama motoru botlarına hangi URL’leri tarayabileceklerini bildirir.
Protokolün adı Robots Exclusion Protocol (Robot Dışlama Protokolü). Kavram ilk olarak 1994’te Martijn Koster tarafından önerildi; uzun yıllar “facto standart” olarak kaldı ve nihayet Eylül 2022’de RFC 9309 olarak resmi bir IETF standardı haline getirildi. Bugünkü tarayıcılar (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Google-Extended vb.) bu standarda uyar — en azından uyduklarını iddia ederler.
Dosya zorunlu değil: robots.txt’si olmayan siteler varsayılan olarak tüm botlar için “tarayabilirsin” anlamındadır. Zorunluluk değil bir tercih ifade aracı. Ayrıca public bir dosyadır — herkes tarayıcıda açıp okuyabilir. Güvenlik amaçlı kullanmayın; robots.txt gizli URL saklamak için değildir.
robots.txt’nin yapmadığı şeyler
robots.txt hakkındaki en yaygın yanlış anlamalar burada. Bu bölümü atlarsanız sitenizin SEO’suna zarar verme olasılığınız yüksek.
- 01
URL’yi arama sonuçlarından gizlemez
En büyük yanlış anlama. robots.txt ile engellenmiş bir URL yine SERP’te görünebilir.
Google Search Central'ın kendi belgelerine göre robots.txt ile engellenmiş bir URL, başka sitelerden link alıyorsa yine Google arama sonuçlarında görünebilir — URL adresi ve public metadata ile birlikte. Google sayfanın içeriğini görmez ama URL'nin var olduğunu bilir. URL'yi arama sonuçlarından gerçekten çıkarmak için noindex meta etiketi (aşağıda Bölüm 08) gerekir.
- 02
Güvenlik aracı değildir
robots.txt public bir dosyadır — herkes okuyabilir.
example.com/robots.txt URL'i tarayıcıda açıldığında dosyanın içeriğini herkes görebilir. Sitenizdeki hangi klasörleri engellediğinizi robots.txt'e yazdığınızda o klasörlerin varlığını duyurmuş olursunuz — kötü niyetli biri için harita çıkarmış olursunuz. Admin panelleri, private API endpoint'ler, kullanıcı verileri gibi sayfaları asla robots.txt ile korumaya çalışmayın; bunlar için kimlik doğrulama ve sunucu tarafı erişim kontrolü kullanın.
- 03
Zorlayıcı değildir
Saygılı botlar uyar, kötü niyetli scraper'lar uymayabilir.
Googlebot, GPTBot, PerplexityBot gibi mainstream botlar robots.txt kurallarına uyarlar. Ancak spam scraper'ları, veri kazıma botları, kötü niyetli aktörler robots.txt'yi görmezden gelebilir. Bir URL'yi gerçekten korumak istiyorsanız IP bazlı rate limiting, kimlik doğrulama veya WAF (Web Application Firewall) kullanın.
- 04
Zaten indekslenmiş sayfaları çıkarmaz
Google’ın halihazırda indekslediği bir URL’yi robots.txt Disallow ile çıkaramazsınız.
URL zaten SERP'te ise ve siz sonradan Disallow eklerseniz: Google sayfayı taramayı bırakır ama indeks kaydını hemen silmez. URL SERP'te görünmeye devam eder (belki güncellenmemiş bir başlıkla veya hiç başlık olmadan). Doğru silme yolu: önce sayfaya noindex meta ekleyin → Google indeksten düşmesini bekleyin → sonra Disallow ekleyebilirsiniz. Aciliyet varsa Google Search Console'un URL Kaldırma aracını kullanın.
- 05
Doğru araç: noindex meta etiketi
URL’yi Google’dan gizlemek istiyorsanız kullanmanız gereken araç budur.
HTML sayfanın <head> etiketine <meta name="robots" content="noindex" /> ekleyin. Sayfa HTML olmayan bir dosyaysa (PDF vb.) HTTP header ile: X-Robots-Tag: noindex. Google sayfayı taradıktan sonra indeksinden çıkarır. Bölüm 08'de tam ayrım tablosu var.
Tam syntax referansı
robots.txt beş temel yönergeden oluşur. Aşağıdaki tablo tümünü kapsar.
Joker karakterler
* — herhangi karakter dizisini eşler. Örnek: Disallow: /*?filter= “?filter=” içeren tüm URL’leri engeller.
$ — URL’nin sonunu işaret eder. Örnek: Disallow: /*.pdf$ .pdf ile bitenURL’leri engeller (Disallow: /*.pdf — $ olmadan — içinde .pdf geçen her URL’yi engellerdi, örneğin /raporlar/2024.pdf.html gibi istenmeyen eşleşmeler yaparak).
Kural önceliği
Aynı URL için birden fazla kural eşleşirse en spesifik olan kazanır. Örnek: Disallow: /admin/ ve Allow: /admin/public/ ikisi de /admin/public/dashboard için eşleşir; Allow daha spesifik olduğundan URL erişilebilir kalır.
Path’ler case-sensitive’dir: /Admin/ ve /admin/ iki farklı path. Yorumlar için satır başına # koyabilirsiniz.
Gerçek dünya örnekleri
Yedi yaygın senaryoyu koda dökülmüş şablonlarla veriyoruz. Her birinin altında ne yaptığının açıklaması var.
Örnek 01 — Herkes her şeyi tarayabilir (default)
User-agent: *
Disallow:Tüm botlar için tüm URL'ler açık. En yaygın default. Disallow satırının boş olması 'hiçbir şey engellenmedi' anlamına gelir.
Örnek 02 — Hiçbir bot hiçbir şeyi tarayamasın (staging site)
User-agent: *
Disallow: /Tüm siteyi tüm botlara engeller. Staging (test) siteleri için doğru. Canlı sitede yanlışlıkla eklenmesi felaket — Google günler içinde tüm indeksinizi düşürür.
Örnek 03 — Belirli klasörleri engelle (e-ticaret örneği)
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /hesabim/Yönetim paneli, sepet ve checkout gibi indekslenmesi anlamsız sayfaları engeller. Klasik e-ticaret setup'ı. crawl budget'ı korur.
Örnek 04 — URL parametrelerini engelle
User-agent: *
Disallow: /*?filter=
Disallow: /*?sort=
Disallow: /*?utm_source=Filtre, sıralama ve UTM parametreli URL'leri engeller. Duplicate content sorununu azaltır. * joker karakteri path'ten sonraki her şeyi eşler.
Örnek 05 — Bir botu tamamen engelle, diğerlerine izin ver
User-agent: BadBot
Disallow: /
User-agent: *
Disallow:BadBot adlı botu tümüyle engeller, diğer herkese izin verir. Sırlama önemli: BadBot bloğu önce, sonra genel * kuralı.
Örnek 06 — Allow istisnası
User-agent: *
Disallow: /admin/
Allow: /admin/public//admin/ altındaki her şey engelli ama /admin/public/ istisnası açık. En spesifik kural kazanır — /admin/public/dashboard erişilebilir olur.
Örnek 07 — Sitemap declaration ile birlikte
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-posts.xmlSitemap satırları User-agent'tan bağımsızdır ve tüm crawler'lar tarafından okunur. Birden fazla sitemap için ayrı satırlar. Mutlak URL şart.
robots.txt nasıl oluşturulur
Manuel oluşturma beş adım. Platform bazlı yöntemler bir sonraki bölümde.
- 01
Metin editörü açın
Notepad, TextEdit veya VS Code. Word gibi zengin metin editörleri kullanmayın.
Word veya Google Docs gibi zengin metin editörleri gizli biçimlendirme karakterleri ekler ve robots.txt'yi bozar. Sadece düz metin destekleyen bir editör kullanın. Karakter kodlaması UTF-8 olmalı.
- 02
User-agent ve kural yazın
İlk satır bot hedefi, sonraki satırlar kurallar, en sona sitemap.
Örnek 03 (yukarıda) çoğu site için iyi bir başlangıç şablonudur. Bilmediğiniz bir kural yerine hiçbir şey yazmamak daha güvenli — default 'her şey açık'tır ve yaygın senaryolarda doğru davranıştır.
- 03
Dosyayı robots.txt olarak kaydedin
Tam olarak robots.txt (küçük harf) — .txt uzantısı ile.
Dosya adı büyük/küçük harf duyarlıdır. Robots.txt, ROBOTS.TXT veya robots.TXT çalışmaz — sadece robots.txt (hepsi küçük). UTF-8 kodlaması kullanın; Notepad'de 'Save As' > 'Encoding: UTF-8'.
- 04
Kök dizine yükleyin
FTP, cPanel veya hosting paneli ile public_html/ veya www/ klasörüne.
Dosya sitenizin en üst dizinine gitmeli — example.com/robots.txt olarak erişilebilir olmalı. Alt klasöre koyulmuş robots.txt (example.com/blog/robots.txt gibi) çalışmaz.
- 05
Test edin
Google Search Console robots.txt raporu veya online test araçları.
Yayına aldıktan sonra Google Search Console'da robots.txt raporunu kontrol edin. Ücretsiz online seçenekler: technicalseo.com/tools/robots-txt/, robotstxt.com/tester. AI crawler'ları (GPTBot, ClaudeBot, PerplexityBot) da ayrıca test etmek için yakında yayına alacağımız /tr/robots-txt-tester aracımıza bakabilirsiniz.
CMS-specific: WordPress, Shopify, İkas, Ideasoft, Blogger
Türkiye pazarında en yaygın platformlar için doğrulanmış yollar. Her platform kendi paneli üzerinden robots.txt’yi yönetiyor; manuel FTP yükleme genellikle gerekmez.
WordPress
Yol: SEO eklentisi kullanıyorsanız: Yoast SEO'da 'Yoast SEO > Araçlar > Dosya Düzenleyici'; Rank Math'te 'Rank Math > Genel Ayarlar > robots.txt Düzenle'; All in One SEO'da 'All in One SEO > Araçlar > robots.txt Düzenleyici'.
WordPress varsayılan olarak dinamik bir robots.txt üretir. Kök dizine fiziksel robots.txt dosyası koyarsanız her zaman öncelik onda olur — dinamik olan yok sayılır. İki dosya olması karışıklık yaratır; ya birini ya öbürünü kullanın.
Shopify
Yol: Shopify Admin > Online Store > Themes > Actions > Edit code > Templates > robots.txt.liquid.
Shopify robots.txt yönetimini theme'in Liquid template'i üzerinden yapar. Doğrudan text değil, dinamik bir template. Değişiklik yapmadan önce theme yedeği alın. Detaylı belgeler için shopify.dev üzerindeki robots.txt.liquid dokümantasyonuna bakın.
İkas
Yol: İkas panelinde 'Satış Kanalı B2C > SEO ve Alan Adı' menüsüne gidin, sayfayı aşağı kaydırın ve 'robots.txt' bölümünde 'robots.txt Düzenle' butonuna tıklayın.
Dosya varsayılan olarak salt okunur açılır — değiştirmek için sağ üstteki checkbox'ı işaretlemeniz gerekir. İkas trafiğe katkı sağlamayan sayfaları default'ta zaten engeller — crawl budget'ı korumak için. Default konfigürasyonu değiştirmiyorsanız hiçbir şey yapmanıza gerek yok. (Kaynak: İkas Yardım Merkezi, doğrulama: Temmuz 2026)
Ideasoft
Yol: Ideasoft panelinde 'Ayarlar > Genel Ayarlar > SEO Ayarları > Robots.txt' menüsüne gidin ve içeriği düzenleyin.
E-ticaret için tipik engellenmesi önerilen yollar: yönetim paneli path'leri, filtre ve sıralama URL parametreleri, sepet ve ödeme sayfaları. Değişikliklerden sonra Google Search Console'daki robots.txt raporundan doğrulama yapın. (Kaynak: Ideasoft resmi belgeleri, doğrulama: Temmuz 2026)
Blogger
Yol: Blogger > Ayarlar > Tarama motorları ve indeksleme > 'Özel robots.txt’yi etkinleştir' anahtarını aç, ardından dosya içeriğini yazın.
Blogger varsayılan robots.txt'yi otomatik üretir. Özel robots.txt yalnızca özel bir yapılandırma gerekiyorsa açın. Yanlış özel robots.txt tüm blog trafiğinizi kaybettirebilir.
Statik / özel site
Yol: robots.txt dosyanızı sitenizin kök dizinine yükleyin (public_html/, www/, htdocs/ veya build klasörünüz). Next.js gibi framework'lerde public/robots.txt olarak koyulur.
Framework bazlı bir siteniz varsa (Next.js, Astro, Nuxt) framework'ün belgelerini kontrol edin — bazıları dinamik robots.txt route'u tanımlamanıza izin verir (Next.js'te app/robots.ts gibi).
AI çağında robots.txt — yeni bot taksonomisi
2026 itibarıyla robots.txt yönetimi klasik search crawler’larıyla sınırlı değil. Üç kategori bot var ve hepsinin ayrı yönetim mantığı gerekiyor.
Klasik search crawler = Googlebot, Bingbot vb. → SERP görünürlüğü.
AI training crawler = GPTBot, ClaudeBot, Google-Extended → LLM eğitim veri seti.
AI retrieval crawler = OAI-SearchBot, PerplexityBot, ChatGPT-User → cevap motoru gerçek zamanlı arama.
Klasik search crawler’lar
AI training crawler’lar
AI retrieval / citation crawler’lar
Pratik AI crawler şablonları
Şablon 1: AI’a tamamen açık (default) — sitenizde hiçbir AI kısıtı olmasın; tüm crawler’lar tararayabilir, alıntılayabilir, eğitim verisine dahil edebilir.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xmlŞablon 2: AI training engelli, retrieval açık — LLM eğitim veri setine dahil olmak istemiyorsunuz ama ChatGPT Search ve Perplexity’de alıntılanmak istiyorsunuz.
# Training crawler'ları engelle
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Retrieval crawler'ları ve klasik search açık kalsın
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xmlŞablon 3: Herşey engelli (staging site) — hiçbir crawler taramasın. Sadece test siteleri için.
User-agent: *
Disallow: /İngilizce derin dalış için GPTBot ve OpenAI crawler ekosistemi rehberim var: /writing/gptbot.
robots.txt vs noindex — hangisi ne zaman?
En yaygın hata: URL’yi Google’dan çıkarmak istiyorum diye Disallow yazmak. Çalışmaz. Kesin ayrım aşağıdaki tabloda.
Klasik hata:URL’yi hem Disallow hem noindex ile işaretlemek. Sonuç: Google noindex’i göremez çünkü sayfayı taramaz. URL yine SERP’te görünmeye devam eder.
Doğru workflow:URL’yi Google’dan çıkarmak istiyorsanız (1) sayfaya noindex ekleyin, (2) sayfa taranabilir kalsın, (3) Google indeksten düşmesini bekleyin (birkaç gün ile birkaç hafta arası), (4) o zaman isterseniz Disallow ile crawl budget’ı da koruyabilirsiniz.
En sık yapılan 6 hata
- 01
Disallow: / yayında bırakmak
Staging site için doğru olan kural yanlışlıkla canlıya kopyalanmış — klasik felaket.
Disallow: / tüm siteyi tüm botlara engeller. Google birkaç gün içinde indeksinizi düşürür. Staging'den canlıya migration'da robots.txt'yi kontrol etmek şart. En basit önlem: sitenizin robots.txt'sini haftada bir manuel kontrol edin.
- 02
robots.txt ile private URL saklamaya çalışmak
Public bir dosyada 'saklamak istediğim' URL'i yazmak — tam tersine harita çıkarır.
example.com/robots.txt herkese açık. Disallow: /admin-panel-supersecret/ yazdığınızda o path'in varlığını duyurmuş oluyorsunuz. Private URL'ler için robots.txt değil, sunucu tarafı kimlik doğrulama kullanın.
- 03
Wildcard yanlış kullanımı
$ olmadan uzantı bloklamak istemeden fazla URL engeller.
Disallow: /*.pdf yazarsanız /raporlar/2024.pdf.html gibi URL'ler de engellenir. Doğrusu Disallow: /*.pdf$ — $ URL sonunu belirtir. Wildcard'ları test etmeden yayına almayın.
- 04
AI botlarını blanket ile engellemek
User-agent: * / Disallow: / kuralı GPTBot ve OAI-SearchBot'u da engeller — bunu bilerek mi yapıyorsunuz?
Turkiye'deki sitelerin önemli bir kısmı yıllar önce yazılmış bir robots.txt taşıyor ve o dosya artık modern AI crawler'ları da farkında olmadan engelliyor. AI botlarınızın ne durumda olduğunu bilerek karar verin. Şablon 2 (yukarıda) muhtemelen aradığınız denge — eğitime hayır, alıntılamaya evet.
- 05
Sitemap declaration yanlış path
Sitemap satırında göreceli yol veya yanlış URL — Google atlar.
Sitemap: /sitemap.xml (göreceli) çalışmaz. Sitemap: https://example.com/sitemap.xml (mutlak) çalışır. Ayrıca sitemap URL'i gerçekten var olmalı ve XML formatında olmalı — 404 veya HTML sayfası dönerse Google sizden vazgeçer.
- 06
Test etmeden yayına almak
Daha önce çalışan robots.txt'yi bozan tek karakter — genelde en pahalı ders.
Her düzenlemeden sonra iki test yapın: (1) example.com/robots.txt tarayıcıda açılıyor mu ve doğru içerikte mi? (2) technicalseo.com/tools/robots-txt/ veya Google Search Console'un robots.txt raporunda beklediğiniz URL'ler için beklediğiniz sonuçları alıyor musunuz? Yakında yayına alacağımız /tr/robots-txt-tester AI crawler'lar dahil ücretsiz test sunacak.
SSS
robots.txt nedir, ne işe yarar?
robots.txt, sitenizin kök dizininde (example.com/robots.txt) bulunan düz metin dosyasıdır. Arama motoru botlarına (Googlebot, GPTBot, PerplexityBot vb.) hangi URL'leri tarayabileceklerini bildirir. Robots Exclusion Protocol adı verilen 1994 yılında Martijn Koster tarafından önerilen ve 2022'de RFC 9309 ile resmi standarda dönüştürülen protokol tarafından tanımlanır. robots.txt yasaklama değil, tarama tercihidir — saygılı botlar uyar, kötü niyetli scraper'lar uymayabilir.
robots.txt olmadan site çalışır mı?
Evet. robots.txt zorunlu değildir. Dosya yoksa botlar sitenin tamamını tarama izni olduğu varsayımıyla hareket eder. Ancak sitede tarama trafiğini yönetmek, admin panellerini veya filtre URL'lerini indekslemeden korumak istiyorsanız — özellikle e-ticaret sitelerinde crawl budget yönetimi için — robots.txt eklemek iyi bir pratiktir.
robots.txt Google'dan bir URL'yi gizler mi?
Hayır — en yaygın yanlış anlama budur. Google Search Central'ın kendi belgelerine göre robots.txt ile engellenmiş bir URL, başka sitelerden link alıyorsa yine Google arama sonuçlarında görünebilir (URL adresi ve public bilgilerle). URL'yi arama sonuçlarından gerçekten çıkarmak için sayfaya noindex meta etiketi veya X-Robots-Tag HTTP header eklenmeli, ve sayfa taranabilir olmalı ki Google noindex direktifini görebilsin. robots.txt = tarama kontrolü; noindex = indeks kontrolü. İkisi farklı katmanlardır.
GPTBot'u engellersem ne olur?
GPTBot yalnızca OpenAI'nin gelecek model eğitim veri havuzu için içerik derler. Engellemek sitenizi bu eğitim havuzundan çıkarır. ChatGPT'nin gerçek zamanlı arama özelliğini besleyen OAI-SearchBot ise ayrı bir bottur — GPTBot engellemesi onu etkilemez. Yani sitenizi GPTBot'a kapatıp OAI-SearchBot'a açık bırakabilirsiniz; bu yaygın bir tercih: eğitim verisine katkı vermeyip ChatGPT Search görünürlüğünü korumak. Ancak Türkiye'deki sitelerin önemli bir kısmı blanket bir disallow kuralıyla her iki botu birden engelliyor ve bunun farkında değil.
WordPress'te robots.txt nasıl düzenlenir?
İki yol var. (1) WordPress'in ürettiği dinamik robots.txt: Yoast SEO, Rank Math veya All in One SEO eklentilerinden herhangi biri kuruluysa panel üzerinden düzenlenebilir (SEO > Araçlar > Dosya Düzenleyici). (2) Fiziksel robots.txt dosyası: FTP veya cPanel ile sitenizin kök dizinine (public_html/) robots.txt adında düz metin dosyası yükleyin — fiziksel dosya her zaman dinamik olana önceliklidir. Değişikliklerden sonra Google Search Console'un robots.txt raporunu kontrol edin.
robots.txt ile noindex arasındaki fark nedir?
robots.txt tarama tercihi verir — botun URL'yi ziyaret edip etmeyeceğine karar verir. noindex meta etiketi indeks tercihi verir — botun URL'yi ziyaret edip içeriği okuduktan sonra arama sonuçlarına eklememesini söyler. Kritik yan etki: bir URL hem Disallow hem noindex ile işaretlenmişse Google noindex'i göremez çünkü sayfayı tarayamaz — sonuç: URL yine SERP'te görünebilir. Doğru workflow: URL'yi Google'dan çıkarmak istiyorsanız önce noindex ekleyin → indeksten düşmesini bekleyin → sonra Disallow ekleyebilirsiniz.
Sitemap'i robots.txt'e nasıl eklerim?
robots.txt dosyasına şu satırı ekleyin: Sitemap: https://example.com/sitemap.xml — tam URL (mutlak yol) kullanın, göreceli değil. Birden fazla sitemap varsa her biri için ayrı satır ekleyin (Sitemap: https://example.com/sitemap-posts.xml gibi). Sitemap satırı dosyanın herhangi bir yerine gelebilir — genelde en üste veya en alta yazılır. User-agent kurallarından bağımsız çalışır ve tüm crawler'lar tarafından okunur.
robots.txt yazdıktan sonra nasıl test ederim?
Üç yöntem: (1) Google Search Console'un robots.txt raporu — sitesi doğrulanmış property'ler için Google'ın kendi test aracı, mevcut robots.txt'nizi çeker ve hataları bildirir. (2) Ücretsiz online test araçları — technicalseo.com/tools/robots-txt/, robotstxt.com/tester ve rankmath.com/tools/robots-txt/ paste-and-test seçenekleri sunar. (3) Manuel kontrol: robots.txt dosyanızı tarayıcıda açın (example.com/robots.txt), URL'nizi test edilecek user-agent için değerlendirin. AI crawler'ları da (GPTBot, ClaudeBot, PerplexityBot vb.) test etmek istiyorsanız yakında yayına alacağımız /tr/robots-txt-tester sayfamıza bakabilirsiniz.
İlgili yazılar
- Ücretsiz robots.txt test aracı (AI crawler desteğiyle) — yakında/tr/robots-txt-tester →
- GEO, AEO ve Yapay Zeka SEO Nedir? — Türkçe rehber/tr/geo-seo-nedir →
- Yapay Zeka SEO Nedir? — İki disiplinin dürüst rehberi/tr/yapay-zeka-seo →
- AEO Nedir? — Answer Engine Optimization Türkçe rehberi/tr/aeo-nedir →
- GPTBot Explained: OpenAI’s Four Crawlers (EN)/writing/gptbot →
- llms.txt — What It Is and Who Uses It (EN)/writing/llms-txt →
- RFC 9309 — Robots Exclusion Protocol (IETF, 2022)datatracker.ietf.org →
- Google Search Central — robots.txt Introduction and Guidedevelopers.google.com →
- Google Search Central — robots.txt specificationdevelopers.google.com →
- OpenAI — Overview of OpenAI Crawlers (GPTBot, OAI-SearchBot, ChatGPT-User)platform.openai.com →
- Anthropic — Does Anthropic crawl data from the web? (ClaudeBot)anthropic.com →
- Google Search Central — Google-Extended crawlerdevelopers.google.com →
- Martijn Koster — Original robots.txt specification (1994)robotstxt.org →
- İkas — How to Edit the robots.txt File (resmi belgeler)support.ikas.com →
- Wikipedia — Robot engelleme standardıtr.wikipedia.org →
- technicalseo.com — Ücretsiz robots.txt Validator ve Testertechnicalseo.com →
GEO ve AEO çalışmalarında robots.txt denetimi ilk teknik adımdır — hatalı bir kural en iyi içeriği bile görünmez kılar. Bağımsız audit, sprint veya sürekli rehberlik için doğrudan yazabilirsiniz: ibrmfrkn01@gmail.com. Türkçe ve İngilizce çalışıyorum, İstanbul ve uzaktan hizmet veriyorum.