Hov. Du er ikke logget ind.
DU SKAL VÆRE LOGGET IND, FOR AT INTERAGERE PÅ DENNE SIDE

Screen Scraping af sites. Hvad siger loven?

Side 2 ud af 2 (16 indlæg)
Fra Aalborg
Tilmeldt 2. Jan 06
Indlæg ialt: 834
Skrevet kl. 08:54
Hvor mange stjerner giver du? :

 Mikkel>>

Den med google havde jeg slet ikke tænkt på, men det er jo mere eller mindre det de bygger deres forretning på, og ja det er forretning så de udnytter jo dataene på en måde så de kan tjene på det. Der følger dog - i de fleste tilfælde - formentligt flere fordele end ulemper med når det er google fremviser dataene, og dermed vil meget få brokke sig over at deres indhold præsenteres.

Det burde være det samme som hvis et specialiseret site bruger metoden til kun at trække data fra specielle sites, der er vel ingen forskel. Forskellen fra Google og til et specialiseret site som boliga, må jo være den ekstra data som fremvises og måden det fremvises på, samt de ekstra features det giver med den ekstra data, derudover er der vel ingen forskel?

Og som Simon siger så kan der være et stort problem i at lave en screen scraping fra sites som ikke ønsker det og dermed kan ændre meget lidt og så lægger det hele din screen scraping engine ned, indtil du har rettet problemet, og så kan de gøre det igen, osv indtil man ikke gider mere.

Jeg tror dog virkeligt at man skal fremvise nogle utroligt store fordele til de site ownere som du vil lave screen scraping fra, især når der er tale om de store sites, hvis vi tager bilbasen, så har de en betydelig del af deres indtjening på annoncemarkedet(banner o.lign) derved kunne de tabe en del omsætning ved at man laver et site med samme indhold. 

Fra Lyngby
Tilmeldt 26. Mar 05
Indlæg ialt: 9714
Fra  DEMIB HOLDINGS ApS Waimea Digital Skrevet kl. 11:16
Hvor mange stjerner giver du? :

> Derudover er Screen Scraping er generelt ikke en god idé rent teknisk,

Så er det fordi du ikke laver det godt nok! :)

Fra Randers
Tilmeldt 13. Nov 05
Indlæg ialt: 117
Skrevet kl. 03:45
Hvor mange stjerner giver du? :

Mikkel deMib Svendsen:

> Derudover er Screen Scraping er generelt ikke en god idé rent teknisk,

Så er det fordi du ikke laver det godt nok! :)

Det er meget muligt - jeg er bestemt ikke ekspert på det område :), men der er lige nogle ting jeg ikke kan få til at hænge sammen:

Lad os sige du ejer et website (vi kalder det website 1), på det website ønsker du at hente en nyhedsoversigt fra website 2.
Det ville være hamrende nemt, hvis website 2 havde et RSS-feed, som de udgav i forbindelse med deres nyheder. Men i dette scenarie har de ikke. Du er derfor nødt til at screen scrape. Du går herefter i gang med at skrive en mængde kode som skal hente lige præcis det indhold ind. I din research finder du ud af, at website 2 indeholder nogle markeringer for, hvor nyhedsteksterne går til og fra (det kan enten være divs med et id eller noget helt andet). Disse markeringer beslutter du dig for at bruge i din kode og alt fungerer efter hensigten - piece of cake.

Men så går der 1½ år. Folkene bag website 2 hyrer et nyt webbureau til at kreere et nyt website, det medfører nogle omstruktureringer på nyhedsdelen. Lige netop her vil det i mit hoved gå galt. Dit screen scraper-script kan jo på ingen måde vide, hvorfra og hvortil det skal læse indhold, medmindre det har en form for markering at gå efter - her starter teksten og her slutter teksten. I realiteten kan du komme til at læse lidt over 4 mio linjer markup kode, hvis du er uheldig (okay, vildt overdrevet)

Du ville naturligvis reagere på at du ikke længere ville få det rigtige output fra website 2 og skrive dit script om så det passer igen, men alt det bøvl kan med garanti undgåes med de rette aftaler og med et ordentligt dataudvekslingsformat. Et andet aspekt er ydelsen på de to servere - din og modpartens, ifm. screen scraping, men det er en anden diskussion.

Summa summarum.. Jeg holder stadig på at Screen Scraping ikke er særlig en god idé. :)

Fortsat god dag/nat

Fra Eden
Tilmeldt 21. Jun 07
Indlæg ialt: 667
Skrevet kl. 08:01
Hvor mange stjerner giver du? :

Tobias G:
Bare et lille sidespørgsmål; må man ikke den slags, eller må man ikke OFFENTLIGGØRE den slags? Jeg tænkte på et scenarie hvor man laver data scraping til internt brug i en virksomhed for at lave strategiske beslutninger...
 

Brugsretten til siden kan indeholden en klausul om at du ikke må foretage automatiserede opslag/søgninger.

Tobias G:
Har du nogle erfaringer med værktøjer til screen scraping?

Kapow Technologies laver så vidt jeg ved det mest avancerede software til den slags.

Fra Lyngby
Tilmeldt 26. Mar 05
Indlæg ialt: 9714
Fra  DEMIB HOLDINGS ApS Waimea Digital Skrevet kl. 10:37
Hvor mange stjerner giver du? :

> Jeg holder stadig på at Screen Scraping ikke er særlig en god idé. :)

Det er muligt, men i 99% af de situationer, hvor jeg eller mine kunder har skulle bruge data andre steder fra har screen scraping været den eneste mulighed. Og det fungerer fint for både mig og flere MEGET store kunder jeg har. Så jeg ved, at i praksis kan det fungere fint.

Den praktiske mulighed er som regel enten at lave screen scraping eller at droppe projektet. Jeg er selv af den type, der heller gør noget ved sagen, frem for at sidde og snakke teoretisk om hvad der ville være bedst, når det nu alligevel ikke kan lade sig gøre i praksis. Og det at bede en masse, måske tusindvis, af andre sites om at standardisere deres formater er en drøm, som jeg i hvert fald ikke gider at vente på går i opfyldelse :)

Tilmeldt 20. Apr 07
Indlæg ialt: 16014
30% af profil udfyldt
Skrevet kl. 11:30
Hvor mange stjerner giver du? :

Simon J jeg må give dig ret i at screen scraping er en grim løsning.
Men som deMib siger, så er det i de fleste tilfælde den eneste løsning. Det må automatisk gøre den grimme løsning, ret god Smile

 

Udvikler: Tak jeg kigger på det.

Side 2 ud af 2 (16 indlæg)