Cos'è il file robots.txt?

Il robots.txt è un file di testo nella root del sito che indica ai crawler dei motori di ricerca quali pagine possono scansionare e quali no. Non blocca l'indicizzazione ma il crawling.

Il robots.txt è obbligatorio?

No, non è obbligatorio. Se assente, i crawler scansionano tutto il sito. È però consigliato per escludere aree private, pannelli admin e file di sistema.

Come testo il mio robots.txt?

Usa il Tester robots.txt in Google Search Console per verificare che le regole funzionino correttamente e non blocchino pagine importanti.

// Tool gratuito

GENERATORE
ROBOTS.TXT

Configura le regole, aggiungi i percorsi da bloccare e ottieni un robots.txt pronto da caricare nella root del tuo sito.

Configurazione

URL Sitemap

Regole generali

Permetti a tutti i crawler di scansionare il sito Blocca cartella /admin/ Blocca /cgi-bin/ Blocca cartella /private/ Blocca /tmp/ e file temporanei

AI Crawlers

Permetti llms.txt (AI citability) Blocca GPTBot (OpenAI) Blocca CCBot (Common Crawl)

Percorsi Disallow personalizzati

GENERATOREROBOTS.TXT

Configurazione

Gestisci preferenze cookie

GENERATORE
ROBOTS.TXT