odprava_robots.txt_napake_v_google_search_console
This is an old revision of the document!
Table of Contents
Odprava robots.txt napake v Google Search Console
(WordPress + Cloudflare + AI crawlerji)
🎯 Namen dokumenta
Ta dokument opisuje:
- zakaj pride do napake robots.txt is not valid / Unknown directive v Google Search Console,
- kako pravilno upravljati robots.txt, kadar uporabljaš Cloudflare + WordPress,
- kako blokirati AI crawlerje, ne da bi poškodoval SEO,
- kako preprečiti ponovitev iste napake v prihodnje.
Napaka je bila zaznana ob dodajanju domene v orodje:
Velja za
- WordPress
- Cloudflare (proxy / CDN)
- Google Search Console
- spletne strani, ki želijo:
- ohraniti SEO indeksacijo,
- omejiti AI crawlerje.
🧠 Povzetek problema (TL;DR)
Če uporabljaš:
- WordPress
- Cloudflare
- Google Search Console
lahko Google poroča, da je robots.txt neveljaven, tudi če je datoteka na strežniku videti pravilna.
Razlog je v tem, da Cloudflare prepiše robots.txt in vanj doda nestandardno direktivo, ki je Google ne podpira.
🔍 Root cause (kaj je bilo v resnici narobe)
Cloudflare ima možnost samodejnega upravljanja robots.txt, ki v datoteko doda direktivo:
odprava_robots.txt_napake_v_google_search_console.1767539942.txt.gz · Last modified: by sistemc