# Yapay Zeka Botlarına robots.txt ile İzin

> Hangi yapay zeka botlarına izin vermeli: OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot. Kopyalanabilir robots.txt ve Cloudflare kontrolü.

Kaynak: https://geoasked.com/tr/rehber/yapay-zeka-botlarina-izin-ver/ · Güncelleme: 2026-10-26 · GEO Asked

## Kısaca

- AI cevaplarında görünüp görünemeyeceğine arama botları karar verir. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot ve Googlebot'a izin ver.
- Eğitim botları (GPTBot, ClaudeBot, Google-Extended) ayrı bir tercih. Onları engellemek seni aramadan çıkarmaz.
- Cloudflare'i ve WAF'ını kontrol et: robots.txt izin verse bile tarayıcılara 403 dönebilirler.

## Üç tür AI botu

AI şirketleri farklı işler için farklı botlar çalıştırır. Hangisinin ne olduğunu bilmek, yanlış olanı engellemeni önler.

![AI tarayıcı erişimi: arama ve kullanıcı botlarına izin ver; eğitim botları senin tercihin](https://geoasked.com/img/tr/crawlers.svg)

| Bot | Şirket | Görevi | Engellersen |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Siteleri ChatGPT aramasında gösterir | ChatGPT arama cevaplarında gösterilmezsin[^oai-bots] |
| ChatGPT-User | OpenAI | Kullanıcı isteyince sayfayı getirir | robots.txt kuralları geçerli olmayabilir[^oai-bots] |
| GPTBot | OpenAI | Eğitim | İçeriğin eğitimde kullanılmaz[^oai-bots] |
| Claude-SearchBot | Anthropic | Arama sonuç kalitesi | Claude arama sonuçlarındaki görünürlüğün azalabilir[^anth-bots] |
| Claude-User | Anthropic | Kullanıcı sorguları için sayfa getirir | Claude sayfanı kullanıcı için getiremez[^anth-bots] |
| ClaudeBot | Anthropic | Eğitim | Gelecekteki içeriğin eğitim dışı kalır[^anth-bots] |
| PerplexityBot | Perplexity | Siteleri Perplexity sonuçlarında gösterir (eğitim değil) | Perplexity'de gösterilmezsin[^pplx] |
| Perplexity-User | Perplexity | Kullanıcı istekleri için sayfa getirir | Genelde robots.txt'i yok sayar[^pplx] |
| Google-Extended | Google | Gemini eğitimi ve grounding | Google Arama'ya etkisi yok[^g-crawlers] |

## AI aramasına kapıyı açan bir robots.txt

```text
User-agent: *
Allow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Bingbot
User-agent: Googlebot
Allow: /

Sitemap: https://senin-siten.com/sitemap.xml
```

Eğitim botlarına (GPTBot, ClaudeBot, Google-Extended) da izin verip vermemek bir iş kararı. Aramada görünüp görünmemeni değiştirmez.

## Cloudflare ve güvenlik duvarları

robots.txt işin yarısı. OpenAI, Cloudflare gibi CDN'lerin, WAF'ların, CAPTCHA'ların ve JavaScript kontrollerinin tarayıcılarını 403 ile engelleyebileceği konusunda uyarıyor ve izin verebilmen için arama botunun IP listesini yayınlıyor.[^oai-guide]

Cloudflare'de:

- AI trafiği **Search, Agent ve Training** olarak gruplanır. 15 Eylül 2026'dan beri yeni alan adlarında Training ve Agent botları yalnızca reklam gösteren sayfalarda engelleniyor; Search açık kalıyor.[^cf-traffic]
- **AI Crawl Control** hangi AI servislerinin sitene eriştiğini gösterir ve her tarayıcıya izin vermeni ya da engellemeni sağlar. Tüm planlarda var.[^cf-acc]
- **Yönetilen robots.txt** GPTBot, ClaudeBot ve Google-Extended gibi eğitim botlarını engeller; arama botları o listede yok.[^cf-robots]

Kurulumdan sonra AI Crawl Control'ü aç; Search kategorisine ve asistanların istek üzerine sayfa getirmesini istiyorsan Agent'a izin verildiğinden emin ol.

## JavaScript: gizli engel

Vercel'in tarayıcı verisine göre büyük AI tarayıcılarının çoğu (OAI-SearchBot, ChatGPT-User, GPTBot, ClaudeBot ve PerplexityBot dahil) JavaScript çalıştırmıyor; Gemini ve AppleBot çalıştırıyor.[^vercel] Ana metnin ancak JavaScript çalışınca görünüyorsa, birçok AI tarayıcısı boş bir sayfa görür. Önemli içeriği HTML olarak sun.

## Peki llms.txt?

llms.txt, Jeremy Howard'ın (2024) önerdiği, yapay zekaya sitenin temiz bir özetini veren bir Markdown dosyası.[^llmstxt] Bir standart değil, öneri. Google, Arama'nın llms.txt dosyalarını yok saydığını söylüyor;[^g-geo] büyük AI sağlayıcılarından okuduğunu resmi olarak söyleyen yok.

Biz yine de [bir tane](https://geoasked.com/llms.txt) yayınlıyoruz: onu çeken ajanlar rehberlerimizin temiz bir haritasını alıyor. Eklemesi kolay, ama taranabilir sayfaların ve iyi içeriğin yerini tutmaz. Ayrıntısı: [llms.txt nedir, işe yarar mı?](https://geoasked.com/tr/rehber/llms-txt-nedir/)

[^oai-bots]: OpenAI, [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots).
[^anth-bots]: Claude Help Center, [Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler), Nisan 2026.
[^pplx]: Perplexity, [Perplexity Crawlers](https://docs.perplexity.ai/guides/bots).
[^g-crawlers]: Google, [Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), Ekim 2026.
[^oai-guide]: OpenAI Help Center, [Advertiser Guidance for Allowing OpenAI Web Crawlers](https://help.openai.com/en/articles/20001243-advertiser-guidance-for-allowing-openai-web-crawlers), Ekim 2026.
[^cf-traffic]: Cloudflare Changelog, [New options to manage AI traffic](https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/), 1 Temmuz 2026.
[^cf-acc]: Cloudflare Docs, [AI Crawl Control](https://developers.cloudflare.com/ai-crawl-control/), Ağustos 2026.
[^cf-robots]: Cloudflare Docs, [Managed robots.txt](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/), Ekim 2026.
[^vercel]: Vercel, [The rise of the AI crawler](https://vercel.com/blog/the-rise-of-the-ai-crawler), 17 Aralık 2024.
[^llmstxt]: Jeremy Howard, [The /llms.txt file](https://llmstxt.org/), 3 Eylül 2024.
[^g-geo]: Google Search Central, [Optimizing your website for generative AI features on Google Search](https://developers.google.com/search/docs/fundamentals/ai-optimization-guide), 10 Temmuz 2026.

## Sık sorulanlar

### GPTBot'u engellersem ChatGPT'den kaybolur muyum?

Hayır. OpenAI'a göre GPTBot eğitim içindir; siteleri ChatGPT aramasında gösteren OAI-SearchBot'tur. OAI-SearchBot'u engellersen ChatGPT arama cevaplarında gösterilmezsin.

### Google-Extended'ı engellemek beni AI Overviews'dan çıkarır mı?

Hayır. Google-Extended, Gemini eğitimi ve grounding kullanımını kontrol eder; Google Arama'daki görünürlüğü etkilemez. AI Overviews'da görünmek normal Google Arama dizinine bağlıdır.

### llms.txt eklemeli miyim?

Zararı yok, ama sıralamayı değiştirmesini bekleme. Google, Arama'nın bu dosyayı yok saydığını söylüyor ve büyük sağlayıcılardan okuduğunu söyleyen yok. Biz ekliyoruz çünkü onu çeken ajanlar sitemizin temiz bir haritasını alıyor.