Magento Duplicate Content - er dette en god måde at løse problemet på?

Thomas Rosenstand:

Jesper Jørgensen:

Den bedste måde at undgå DC på er ved ikke at linke til det.

Jesper - har du røget af vandlåsen? Er du sikker på, du mener det svar?

 

Hej Thomas

Hvad anbefaler du da i stedet? Hvis man linker til duplicate content og derefter udelukker det fra indeksering med robots.txt, så sender man PageRank / linkjuice til sider som aldrig kan findes i søgemaskinerne. Kun ved at undlade at linke til DC kan man undgå at spilde PageRank (undtaget hvis man bruger rel="canonical" tagget)

Robots.txt bør kun være en nødløsning til at fjerne DC.

Mvh Jesper

Hej Thomas

Jeg håber du tager mod en udfordring. Jeg sætter nendeståend Santoku i 3 lags lamineret stål (værdi 599,-) på højkant, hvis du kan sende mig et link til et site du har optimeret på, og hvor jeg IKKE kan linke til en URL der forårsager indekserbart DC. Jeg kan godt lide god vin hvis du selv vil sætte noget på højkant.

Jeg kan ikke se af dit indlæg, om du mener at det er OK (optimalt) at linke til DC, (fx ?sortorder=size) så længe det ikke kan indekseres. Hvis det er tilfældet, er vi lodret uenige. Den "link dilution" man giver køb på, vil for langt de fleste være at langt større problem, end hvis nogen skulle få lavet et eksternt link til en DC side.

Udelukker man sider med robots,txt så mister man også den PageRank man ellers ville have fået når nogen linker til en DC side. Hvis det endelig er så hellere bruge NOINDEX, FOLLOW (dette viderefører PageRank) på siderne, eller rel="canonical".

/Jesper

Undskyld Jesper - men jeg kan kun se to forklaringer:

1. Du forstår ikke, hvad jeg skriver
2. Du vil bare være på tværs

Jeg antager, der er tale om nr. 1. Jeg reagerede på, at du skrev, at den bedste måde at undgå DC på er at undlade at linke til det. Så dermed siger du, at hvis du f.eks har et site, der svarer på både domæne.dk og domæne.dk/index.html, er det godt nok at undlade at linke til /index.html - og så er den ged barberet. Og det er altså stadig vrøvl. En anden (i ond mening f.eks.) kan jo aligevel linke udefra til /index.html - og der må jeg indrømme, at mine evner slet ikke står mål med dine, for det ville jeg ikke kunne forhindre - men det kan du åbenbart. Sejt nok.

Det bedste er at sikre så meget, det er teknisk muligt mod at DC kan opstå - og styre resten med  301 eller i sidste ende med robots.txt

Jeg kan ikke forstå dine indgangsvinkler. Hvorfor er det, vi skal vædde og jeg skal vise dig et site, hvor du ikke kan fremprovokere DC? Hvad skulle der opnås med det?

Den bedste måde at undgå en ildebrand er ikke ved at undlade at opdage den - men ved at brandsikre.  Det er nu engang sådan, jeg rådgiver mine kunder - og du rådgiver så anderledes. Fint med det.

For klarhedens skyld: Nej - det smarteste er at undgå at linke til f.eks. ?sortorder=size. Nogle shops forsøger at løse netop den problemstilling med en nofollow - men det er jo værdiløst i samme øjeblik, en kunde i en shop begejstres over den URL og blogger om den. Så nej - jeg fastholder, at den bedste løsning mod DC er at undgå at skabe det.

Jeg synes, jeg har fået svar på, om vandlåsen har været i brug - så lad os undgå yderligere hijacking af tråden.

Hej Thomas

Pointen er at du skrev at det er bedst at: "bygge et system hvor det (DC) ikke er muligt". JEG ved at det er næsten umuligt at lave sådan et system. Mikkels "Catch All" model vil kunne gøre det, men han erkender selv at det ikke er problemløst, og for 99 ud af 100 vil det ikke være et realistisk alternativ. Mit "væddemål" var derfor mere et middel til at komme frem tiol en erkendelse af at"et system hvor det (DC) ikke er muligt", i praksis ikke eksisterer.

Men lad os lige rulle filmen tilbage en gang. Vi befinder os i en tråd hvor der diskuteres hvordan DC undgås i Magento, med en robots.txt fil. Jeg skriver at det er bedre slet IKKE at linke til DC (underforstået end at linke til det og derefter eksludere fra indeksering via robots.txt). I betragtning af den kontekst er det et rigtigt godt råd, men skal der absolut gå flueknepper iden, så ja, så kan der ikke argumenteres mod det optimale mod et system der både sikrer at der ikke linkes internt til DC OG i videst muligt omfang håndterer uønskede url'er med 301 redirects eller lignende.

Men har man et system der linker internt til DC, og man derfor er nødt til at eksludere det via robots.txt, så vil man være bedre stedt ved slet IKKE at linke til det. Så kan man for min skyld bruge sin kreativitet til at gætte på hvad søgemaskiner og bloggere kan finde på at linke til at DC, og så udelukke DET indhold fra indeksering.

Jeg vil lade andre vurdere om det gør Thomas og jeg enige eller uenige, men jeg håber at alle har en forståelse for problemerne med "link dilution" hvis man linker til DC (uanset om det er eksluderet fra indeksering eller ej), samt det problematiske i at al linkværdi fra blog-links til fx domæne.dk/kaffemaskiner.html?sortorder=size går tabt, fordi Google ikke må crawle den pågælde side hvis den er udelukket via robots.txt.

robots.txt og NOINDEX-tags er absolutte nødløsninger i forhold til at reducere DC.

/manden med vandlåsen

Jeg har fået den opfattelse at man skal snakke så entydigt som muligt med googlebot og dens venner men nu kommer jeg lidt i tvivl om jeg bruger for mange livremme og seler ved både at benytte canonical URL og blokere for Magentos filtre med robots.txt. Det kan illustreres således:

Kategorien har følgende URL: http://www.domain.dk/kaffemaskine.html (canonical)

Filtreret kan kategorien have følgende følgende URL: http://www.domain.dk/kaffemaskine.html?size=10 men har samme canonical URL som den ufiltrerede kategori: http://www.domain.dk/kaffemaskine.html

/*?size= er blokeret med et disallow i robots.txt. Er det generelt for voldsomt i forhold til DC med denne blokering i robots.txt når kategorisiden også har et canonical tag?

Det med den ene procent tog jeg ud af luften. Det jeg mener er at rigtigt mange kører på et CMS / Shopsystem, hvor det vil være problematisk at lave en "catch all" løsning. Kontakter man en kyndig SEO om at få udarbejdet sådan en løsning vil de fleste med fordel kunne køre sådan en løsning.

Thomas (VJ): Hvis du har udelukket http://www.domain.dk/kaffemaskine.html?size=10 via robots.txt, så fortæller du faktisk søgemaskinen at den slet ikke må kigge på siden. Dette vil sige at de IKKE kan se det rel="canonical" tag du har lagt på siden, og det dermed er effektløst.

Umiddelbart vil jeg mene at det er bedre for dig, at fjerne eksluderingen via robots.txt, så Google kan udnytte dit canonical-tag. Skulle der så opstå problemer med det, må du genoverveje strategien som Mikkel er inde på. 

Mvh Jesper Jørgensen