Robots.txt beskytter ikke mod indekseringen af URL'en. Der skal du bruge et noindex tag som beskrevet på Wiki. Se eksempelvis Aminos robots.txt, den har disallow på /error.htm, men URL'en er stadigvæk indekseret, omend der ikke er crawlet noget indhold:
Robots.txt beskytter ikke mod indekseringen af URL'en. Der skal du bruge et noindex tag som beskrevet på Wiki. Se eksempelvis Aminos robots.txt, den har disallow på /error.htm, men URL'en er stadigvæk indekseret, omend der ikke er crawlet noget indhold:
Det er generelt svært at give et konkret svar, når jeg ikke kan se selve siden. Det kan være der går lidt længere tid før Google få crawlet dine URL'er, og dermed får smidt indholdet i indekset, end hvad der ellers ville have gjort.