Cloudflare blokira Googlebot: ukrepaj pred 15. septembrom

V istem tednu so se na mizah tržnikov znašli dva navidezno nepovezana problema: Cloudflare bo od 15. septembra 2026 začel samodejno blokirati Googlebot kot AI pajka, Google pa je hkrati v Search Console uvedel prvo namensko poročilo o vtisih AI. Oba spremenita način razmišljanja o tehnični dostopnosti spletnega mesta in merjenju vidnosti v AI.

Ključne ugotovitve

• Od 15. septembra 2026 Cloudflare uvršča Googlebot in Bingbot med bote z mešano rabo, kar pomeni, da lahko blokada treniranja AI Googlovemu pajku vrača napake 403.
• Novo poročilo GSC sledi vtisom AI v AI Overviews, AI Mode in Discover, a trenutno ne vsebuje podatkov o klikih, CTR ali poizvedbah.
• Vtisi AI in organski kliki so nezdružljive metrike. Nikoli jih ne združuj v en sam KPI.
• Vidnost v AI iskanju je v veliki meri odvisna od zunanjih signalov: omemb, ocen, nagrad, YouTuba, Reddita.
• Dosledna komunikacija blagovne znamke v verodostojnih virih je novo NAP za priporočila AI.

Cloudflare in Googlebot: konkretno tveganje s konkretnim rokom

Cloudflare je uvedel kategorijo botov z mešano rabo, torej pajkov, ki hkrati indeksirajo splet za iskalnike in zbirajo podatke za treniranje AI modelov. Googlebot in Bingbot sta zdaj uvrščena v to kategorijo. Če imaš v nadzorni plošči vklopljeno blokado treniranja AI ali Bot Fight Mode, lahko te nastavitve od 15. septembra začnejo vračati odgovore HTTP 403 legitimnemu Googlovemu pajku, vključno z dostopom do tvoje karte spletnega mesta. Uporabnik Reddita je potrdil, da sta Googlebot in Bingbot v razdelku AI Crawlers prikazana kot samodejno blokirana. Googlov John Mueller je za podrobnosti zaprosil, da bi zadevo preiskal (Search Engine Journal).

Kaj storiti zdaj, po tem vrstnem redu:

1. Prijavi se v nadzorno ploščo Cloudflare in odpri razdelek AI Crawlers. Preveri, ali sta Googlebot ali Bingbot označena kot blokirana.
2. V Google Search Console zaženi test pridobivanja kot Googlebot, zlasti za karto spletnega mesta.
3. Če želiš ohraniti polno indeksiranje, se odjavi iz novih privzetih nastavitev pred 15. septembrom.
4. Če želiš blokirati določene AI scraperje (OpenAI, Anthropic, Common Crawl), uporabi ciljana pravila robots.txt za te specifične user-agente, namesto da uporabiš široko blokado, ki ogroža tvoje SEO.

Po 15. septembru spremljaj strežniške dnevnike za porast odgovorov HTTP 403 za user-agent Googlebot. Če se začnejo pojavljati, imaš jasen diagnostični signal.

Kako brati novo poročilo o vtisih AI v GSC

Google je 3. junija 2026 uvedel namensko poročilo Search Console za AI Overviews, AI Mode in Discover. Podatki se začnejo 18. maja 2026, brez zgodovinskega dopolnjevanja (Neil Patel). Poročilo trenutno prikazuje samo vtise. Brez klikov, brez CTR, brez poizvedb.

Tu je ključna podrobnost, ki jo bo večina spregledala: logika štetja vtisov se razlikuje glede na kontekst. V AI Overviews se povezava šteje kot vtis šele potem, ko jo uporabnik odkrije z drsenjem ali razširitvijo plošče. V AI Mode vsako naslednje vprašanje ustvari nove vtise. Skupni seštevek na ravni lastnosti pa ni enak vsoti podatkov na ravni posameznih strani (Search Engine Journal). Prav zato bo mešanje vtisov AI z organskimi kliki v enem poročilu dalo neuporabne številke.

Praktičen delovni tok analize:

• Izvozi URL-je, vidne v AI, v daljšem časovnem oknu.
• Za iste URL-je pridobi organske podatke iz standardnega poročila Učinkovitost.
• Razvrsti strani v segmente: visok AI + visoko organsko (prednostna vsebina), visok AI + nizko organsko (preveri pot konverzije, dodaj CTA), nizek AI + visoko organsko (izvedi revizijo ranljivosti, preden se AI Overviews še bolj razširijo).
• Za strani z nizko vidnostjo AI preveri, ali so ključne informacije v berljivem HTML ali skrite v JavaScriptu, zavihkih ali slikah.

Možnost odjave obstaja, a jo uporabi samo z določenim razlogom. Brez strateške utemeljitve (vsebina za plačilnim zidom, licenčni model) se odpoveduješ vse pomembnejšemu kanalu vidnosti brez kakršne koli koristi.

Zakaj AI priporoča tvojo konkurenco in kaj storiti glede tega

Cloudflare in poročilo GSC sta tehnična problema. Obstaja pa še tretja plast, ki jo večina ekip spregleda: to, kar druge spletne strani povedo o tebi.

Po besedah Krisa Jonesa iz LSEO je 70-80% optimizacije za AI iskanje še vedno klasična SEO praksa. Preostalih 20-30% prihaja iz zunanjih signalov: omemb na forumih, ocen, nagrad, citatov na verodostojnih spletnih mestih (Search Engine Journal). AI sistemi ne ustvarjajo seznama rezultatov, temveč priporočilo. Priporočila pa izhajajo iz celotnega spleta, ne le iz tvojih dobro optimiziranih strani.

En konkreten primer: šole so izgubile konverzije, ker je Google AI Overview potegnil 10 let staro ceno z Reddita, ki je bila za 30% nižja od dejanske trenutne cene. En sam star zapis lahko škodi konverzijam bolj kot slabo tehnično SEO.

Kaj to pomeni v praksi:

• Izvedi revizijo blagovne znamke v AI: vprašaj ChatGPT, Google AI in druge asistente za priporočila v svoji kategoriji, nato preveri, kaj povedo o tvoji blagovni znamki.
• Poskrbi, da so informacije o izdelkih, cenah in pozicioniranju dosledne v vseh verodostojnih virih.
• Vlož v prisotnost na Redditu in YouTubu. AI odgovori citirajo Reddit približno 40-krat pogosteje kot klasične organske rezultate, YouTube pa je drugi najpogosteje citirani vir v AI Overviews (WordStream).
• Pridobi ustrezne panožne nagrade in uvrstitve. LLM-i dajejo prednost tem virom pri generiranju priporočil.

Vse tri elemente v en okvir poročanja

Tri stvari, ki so se spremenile ta teden, so neposredno povezane. Če Cloudflare blokira Googlebot, izgubiš indeksiranje, brez indeksiranja pa nimaš vtisov AI. Če imaš vtise AI, a napačno razumeš njihovo logiko, sprejemljaš slabe odločitve o vsebini. In če je tvoja vsebina kakovostna, a zanemariš zunanje signale, te AI preprosto ne bo priporočil.

Charlie pomaga tržniškim ekipam in agencijam slediti vidnosti AI kot ločenemu kanalu poleg organskega in plačanega. Če šele zdaj gradiš infrastrukturo poročanja za vtise AI, je čas zdaj: izhodiščni podatki v GSC so na voljo od 18. maja 2026, čakanje pa pomeni izgubo zgodovinske primerjalne točke.

Praktična prioriteta za ta teden: preveri nastavitve Cloudflare, vzpostavi ločeno nadzorno ploščo za vtise AI in izvedi revizijo blagovne znamke v AI. V tem vrstnem redu.