Debat
|
2 spørgsmål vedr. en crawler: 2. Hvad koster det ca. at lave sådan en fætter, som f.eks. den på www.boligportal.dk Dbh fra Jørgen |
|
1) Den læser en side som en browser men så skal man lære den hvilke tags der er vigtige for at den skal kunne læse teksten. Det der tager længst tid med en crawler er at lære den de forskellige sites at kende. 2) Det er umuligt at svare på uden at lave en analyse af det den skal hente. |
|
Hej Jørgen. Betingelserne er ikke så store, ud over de oplysninger du ønsker at hente ikke må være flash og skal bare forekomme i kildekoden i en form for ensrettet måde. Alle sider er stortset bygget forskelligt op, selv 2 magento webshops kan have forskellig design struktur. Mvh. |
|
1. Okay, så der ligger en del tilpasning heri på hvert enkelt site, når først "Motoren" er lavet? Det drejer sig om ca 180 sites der skal trækkes data ud fra og ja, gerne mere eller mindre hver dag, eller hver uge. |
|
Det man gør er at man laver en basiscrawler hvor der er nogle ting man SKAL have ud. Så kigger man på kilden og fortælller crawleren hvad den skal kigge efter på det pågældende site. Jeg kan ikke give en ca. pris fordi mit skud er lige så nøjagtigt som andres. |
|
Nu skal du jo også lige huske på det juridiske aspekt i denne sammenhæng. Hvis du vil hente data fra andre hjemmesider og udgive på din egen, så skal du jo have tilladelse til dette fra de enkelte ejere. |
Kom til tops i Google med effektiv søgemaskineoptimering fra KJMedia.dk
|
Okay. |
Nej, ikke nødvendigvis. Det er relativt simpelt at sætte en enkelt crawler/et enkelt script op til at lede efter indhold i predefinerede HTML-elementer - udfordringen består i at indsamle og vedligeholde en database med de HTML-mønstre, som crawleren skal lede efter, for at finde indholdet.
Her er jeg til gengæld enig i, at opsætning og vedligeholdelse kan være (igen, relativt) dyrt eller tidskrævende, hvis man selv gør det. |
Ja ja, men jeg skal ikke udgive data på mit eget site - i hvert fald ikke i første omgang og desuden er det ikke i DK. Jeg skal bare have data smidt ind i en database... |
Ja deromkring. Det er bedre med et højere bud og så blive positivt overrasket over at det blev billigere end at du bliver spist af med en lav pris der viser sig at blive dyrer. Skulle jeg skrive sådan en crawler så vil jeg ikke lave den til bare ét site men skrive et helt system hvor du kan tilføje site og prøve at få den til at lære dem at kende. Så rammer vi nok omkring 50-60k |
Bliv gratis medlem
Opret bruger