Arama Mühendisliği
llms.txt Nedir, Nasıl Hazırlanır? Yapay Zeka Botları Erişim Rehberi
Yapay zeka motorları web sitenizi insan ziyaretçiler gibi görsel menülerle gezmez; temiz metin, net varlık (entity) tanımları ve engelsiz HTTP erişimi arar. Bu teknik rehberde kök dizinde yayınlanan llms.txt standardını, robots.txt politikasını ve CDN güvenlik duvarlarının yol açtığı görünmez bot engellerini mühendislik perspektifiyle inceliyoruz.
llms.txt Nedir?
llms.txt, bir web sitesinin kök dizininde (örneğin https://mayayazilim.org/llms.txt) düz Markdown formatında yayınlanan; şirketin kimliğini, resmi iletişim/adres bilgilerini, sunduğu hizmetleri, güncel fiyatlarını ve en önemli kanonik sayfa bağlantılarını reklam veya navigasyon gürültüsü olmadan tek sayfada özetleyen makine-okunur bağlam dosyasıdır. Büyük dil modelleri (LLM) ve çıkarım anında web araması yapan ajanlar, karmaşık HTML DOM ağaçlarını ayrıştırmak yerine doğruluk oranı yüksek bu özet dosyadan markanızı hatasız okuyabilir.
robots.txt, sitemap.xml ve llms.txt Arasındaki Fark
/robots.txt/sitemap.xml/llms.txtÖrnek Kurumsal llms.txt ve robots.txt Yapısı
Etkili bir llms.txt dosyası H1 başlığında resmi marka adını, hemen altında tek paragraflık net bir özet alıntısını (blockquote) ve ardından Kurumsal Künye, Hizmetler, Şeffaf Fiyatlandırma ve Teknik Rehberler bölümlerini içermelidir. Canlı bir referans olarak Maya Yazılım'ın kendi /llms.txt dosyasını inceleyebilirsiniz. HTML sayfalarınızın <head> bölümüne de keşif etiketi eklemeniz önerilir:
Sık Yapılan Hata: Cloudflare ve CDN Seviyesindeki Görünmez Engel
robots.txt Açık Olsa Bile 403 Dönebilir
Cloudflare ve benzeri CDN sağlayıcıları, varsayılan "AI Scrapers & Crawlers" veya "Bot Fight Mode" kurallarıyla yapay zeka botlarına HTML yerine JavaScript doğrulama ekranı (403 Challenge) döndürebilir.
Eğitim Botu ile Arama Botu Ayrımı
OpenAI tarafında GPTBot model eğitimi için veri toplarken, OAI-SearchBot ve ChatGPT-User canlı ChatGPT aramalarında kaynak göstermek için sitenizi ziyaret eder. Arama görünürlüğü için bu tarayıcıların açık olması şarttır.
Soft-404 ve Yanlış Yönlendirmeler
Tek sayfa uygulamalarından (SPA) kalan hatalı .htaccess kuralları tüm alt URL'lerde ana sayfa kopyası döndürdüğünde botlar site mimarisini çözemez; her sayfa gerçek HTTP durum kodu üretmelidir.
HTML ile llms.txt Çelişkisi
llms.txt içine yazdığınız fiyat, adres veya hizmet kapsamı güncel web sayfalarınızla ve JSON-LD şemanızla birebir tutarlı olmalıdır; çelişen veriler güven puanını düşürür.
Sıkça Sorulan Sorular
llms.txt eklemek tek başına ChatGPT'de çıkmak için yeterli mi?
Tek başına yeterli değildir ancak güçlü bir teknik hızlandırıcıdır. Yapay zeka motorları birincil olarak canlı arama dizinlerini (Bing, Google), sayfa içi semantik HTML'i, Schema.org verisini ve üçüncü taraf marka bahislerini birlikte değerlendirir; llms.txt bu bilginin hatasız özetlenmesini sağlar.
Yapay zeka botlarına izin vermek sitemin güvenliğini zayıflatır mı?
Hayır. Yalnızca kamuya açık sayfalarınızı (ürünler, hizmetler, rehberler) taramalarına izin verirsiniz. /api/, yönetim paneli ve müşteri verisi içeren özel dizinler hem sunucu yetki kontrolüyle korunmalı hem de robots.txt içinde Disallow edilmelidir.
llms.txt dosyasını hangi sıklıkla güncellemeliyiz?
Yeni bir hizmet, fiyat değişikliği, yeni bir ürün veya kapsamlı bir rehber makale yayınladığınızda sitemap.xml ile eş zamanlı olarak llms.txt dosyasını da güncellemeniz en doğru pratiktir.
Sitemde yapay zeka botlarının engellenip engellenmediğini nasıl test edersiniz?
Teknik denetimimizin ilk adımında hem robots.txt kurallarını hem de sunucunuza GPTBot, OAI-SearchBot, ClaudeBot ve PerplexityBot User-Agent başlıklarıyla yapılan gerçek HTTP isteklerinin durum kodlarını ve WAF davranışını test ediyoruz.
Sitenizin AI bot erişimini ve teknik şemasını denetleyelim.
Yazılım mühendisliği ekibimizle Cloudflare/sunucu ayarlarınızdan llms.txt ve Schema.org mimarinize kadar uçtan uca kurulum yapıyoruz.