Robots.txt

Robots.txt-filen er en vanlig tekstfil plassert i rotkatalogen på et nettsted som brukes til å spesifisere regler for søkemotorers roboter. Den instruerer boter om hvilke deler av nettstedet de har eller ikke har lov til å gjennomsøke. Hovedfunksjonen er å administrere et nettsteds Crawl Budget, slik at viktige sider blir oppdaget og indeksert effektivt, mens mindre viktige eller private deler holdes utilgjengelige.

Hvorfor det betyr noe

I AI-æraen har robots.txt fått ny betydning som den primære metoden for å tillate eller blokkere AI-treningsboter (som GPTBot, CCBot eller ClaudeBot). Hvis du blokkerer disse botene, vil ikke innholdet ditt bli inkludert i treningsdataene for fremtidige AI-modeller, noe som potensielt gjør merkevaren din usynlig i generative svar. Noen utgivere blokkerer dem likevel for å beskytte åndsverk.

Hvordan vi bruker det hos Soprano

Hvis du ønsker maksimal synlighet, kan du la robots.txt være urørt, slik vi gjør. Men vi anbefaler å blokkere admin-sider, innloggede sider eller parametere for duplisert innhold for å bevare crawl-budsjettet.