Az eszköz betöltése…
Állítsd be, mit járhatnak be a keresők, és döntsd el botonként, hogy a válaszmotorok (ChatGPT-keresés, Perplexity) és a modelltanító adatgyűjtők láthatják-e a tartalmad. A tesztelő megmutatja, melyik szabály dönt.
Lépésről lépésre
Válassz előbeállítást (minden szabad, WordPress, webshop, mindent tilt), vagy olvasd be a mostani robots.txt-det.
Botonként döntsd el: mint mindenki, tiltva vagy mindent szabad. A tanító botok egy kattintással tilthatók.
Saját User-agent csoportok Allow / Disallow útvonalakkal, Crawl-delay-jel és Sitemap-sorral.
Nézd meg, bejárhat-e egy bot egy útvonalat, majd másold ki vagy töltsd le a robots.txt-t.
GYIK
Igen, ingyenes, és regisztráció nélkül is használhatod. Belépve elmentheted a beállításaidat, és később folytathatod, akár másik gépen is.
A Googlebot és a Bingbot a hagyományos találati listát építi – ezeket szinte soha ne tiltsd. A válaszmotorok keresőbotjai (pl. OAI-SearchBot, PerplexityBot, Claude-SearchBot) valós időben keresnek, és forrásként linkelnek rád; ha tiltod őket, ott nem jelensz meg. A tanító botok (pl. GPTBot, ClaudeBot, CCBot, Google-Extended) nyelvi modellek tanításához gyűjtenek; tiltásuk nem rontja a keresőhelyezést.
A nagy cégek botjai (Google, Microsoft, OpenAI, Anthropic, Apple, Perplexity) a saját leírásuk szerint igen. A robots.txt viszont kérés, nem zár: aki rosszat akar, figyelmen kívül hagyhatja. Bizalmas tartalmat jelszóval védj, ne robots.txt-vel.
Nem feltétlenül: a tiltott oldal címe más oldalak linkjei alapján megjelenhet a találatok között, csak leírás nélkül. Ha egy oldalt ki akarsz venni a találatok közül, engedd a bejárását, és tegyél rá noindex meta taget (a Meta tag generátorral).
Az RFC 9309 szabvány szerint a legspecifikusabb, vagyis a leghosszabb egyező útvonal; ha egy Allow és egy Disallow ugyanolyan hosszú, az Allow. A tesztelő pontosan ezt számolja, és kiírja, melyik sor döntött.
A megadott weboldalról egyetlen kéréssel lekéri a /robots.txt fájlt (legfeljebb 500 KB), és betölti a szerkesztőbe. Más oldalt nem nyitunk meg, és a fájlt csak rövid ideig tartjuk gyorsítótárban.
Eszközök
Válassz előbeállítást, vagy olvasd be a weboldalad mostani robots.txt-jét.
Csak a /robots.txt fájlt kérjük le (egyetlen kérés). A címet az előbeállítások a Sitemap-sorhoz is használják.
A Google és a Bing találati listája. Ha tiltod, az oldalad kiesik a keresőből – ezt szinte soha nem érdemes.
Googlebot · Google
A Google keresőjének fő bejárója.
Bingbot · Microsoft
A Bing (és a DuckDuckGo, Ecosia egy része) bejárója.
Applebot · Apple
A Siri, a Spotlight és a Safari javaslatainak bejárója.
Valós idejű keresést végez a válaszokhoz (pl. ChatGPT-keresés, Perplexity), és linkkel hivatkozik rád. Ha tiltod, ott nem jelensz meg forrásként.
OAI-SearchBot · OpenAI
A ChatGPT keresésének találatai; ha tiltod, nem hivatkozik rád forrásként.
Claude-SearchBot · Anthropic
A Claude keresési találataihoz indexel.
PerplexityBot · Perplexity
A Perplexity keresőjének indexelője; forrásként linkel.
Amazonbot · Amazon
Az Alexa válaszaihoz és az Amazon szolgáltatásaihoz jár.
DuckAssistBot · DuckDuckGo
A DuckDuckGo összefoglaló válaszaihoz gyűjt forrást.
Akkor jön, amikor egy felhasználó kifejezetten a te oldaladat kéri meg (pl. „foglald össze ezt a linket”). Nem tömeges bejárás.
ChatGPT-User · OpenAI
Akkor nyitja meg az oldalt, amikor egy ChatGPT-felhasználó kéri.
Claude-User · Anthropic
Akkor jön, amikor egy Claude-felhasználó kéri az oldalt.
Perplexity-User · Perplexity
Felhasználói kérésre nyitja meg az oldalt.
Meta-ExternalFetcher · Meta
Felhasználói kérésre (pl. Meta-asszisztens) nyit meg linket.
MistralAI-User · Mistral
A Le Chat felhasználói kérésére nyit meg oldalt.
Nyelvi modellek tanításához vagy adatbázisokhoz gyűjt. Tiltása nem ront a keresőhelyezésen; ízlés és üzleti döntés kérdése.
GPTBot · OpenAI
Az OpenAI modelljeinek tanításához gyűjt.
ClaudeBot · Anthropic
Az Anthropic modelljeinek tanításához gyűjt.
anthropic-ai · Anthropic
Régebbi Anthropic-jelölés; a biztonság kedvéért érdemes a ClaudeBottal együtt kezelni.
Google-Extended · Google
Nem külön bot, hanem jelölés: tiltása kizárja a tartalmad a Gemini tanításából, a Google-keresést nem érinti.
Applebot-Extended · Apple
Jelölés: tiltása kizár az Apple modelljeinek tanításából; a Siri- és Spotlight-találatokat (Applebot) nem érinti.
CCBot · Common Crawl
Nyílt webarchívum, amiből sok nyelvi modellt tanítanak.
Bytespider · ByteDance
A TikTok tulajdonosának adatgyűjtője; sokszor agresszívan jár.
Meta-ExternalAgent · Meta
A Meta modelljeinek tanításához gyűjt.
cohere-ai · Cohere
A Cohere modelljeinek adatgyűjtője.
Diffbot · Diffbot
Tudásgráfot és tanítóadatot épít a webből.
Timpibot · Timpi
Indexet és tanítóadatot gyűjt.
# robots.txt – készült: https://kodvena.hu/eszkozok/robots-txt-generator
User-agent: *
Disallow:
Bejárhatja-e az adott bot ezt az útvonalat a fenti fájl szerint?