Semalt-expert over het schrapen van websitegegevens - goede en slechte bots

Webscraping bestaat al heel lang en wordt als nuttig beschouwd voor webmasters, journalisten, freelancers, programmeurs, niet-programmeurs, marketingonderzoekers, wetenschappers en experts op het gebied van sociale media. Er zijn twee soorten bots: goede bots en slechte bots. De goede bots stellen de zoekmachines in staat de webcontent te indexeren en krijgen veel voorkeur van de marktdeskundigen en digitale marketeers. De slechte bots daarentegen zijn nutteloos en hebben tot doel de positie van de zoekmachine in een site te schaden. De legaliteit van webscraping hangt af van het type bots dat u heeft gebruikt.

Als u bijvoorbeeld de slechte bots gebruikt die de inhoud van verschillende webpagina's ophalen met de bedoeling deze illegaal te gebruiken, kan webschrapen schadelijk zijn. Maar als u gebruik maakt van de goede bots en de schadelijke activiteiten vermijdt, waaronder het weigeren van service-aanvallen, online fraude, concurrerende dataminingstrategieën, gegevensdiefstal, accountkapingen, ongeautoriseerde kwetsbaarheidsscan, digitale advertentiefraude en diefstal van intellectuele eigendommen, dan is de procedure voor webschrapen goed en nuttig om uw bedrijf op internet te laten groeien.

Helaas houden de meeste freelancers en startups van slechte bots omdat ze een goedkope, krachtige en uitgebreide manier zijn om gegevens te verzamelen zonder dat een partnerschap nodig is. Grote bedrijven gebruiken echter de legale webschrapers voor hun winst en willen hun reputatie op het internet niet verpesten met illegale webschrapers. De algemene meningen over de wettigheid van webscraping lijken niet van belang te zijn, omdat het de afgelopen maanden duidelijk is geworden dat de federale rechtbanken steeds meer illegale webscraping-strategieën hard aanpakken.

Webschrapen begon in 2000 als een illegaal proces, toen het gebruik van bots en spiders om websites te schrapen als onzin werd beschouwd. Er zijn niet veel praktijken aangepast om te voorkomen dat deze procedure zich op het internet zou verspreiden tot 2010. eBay diende eerst de voorlopige bevelen in tegen Bieder's Edge en beweerde dat het gebruik van bots op de website de wetten op het overtreden van de regels van Chattels had geschonden. De rechtbank gaf al snel de bevelen omdat de gebruikers de algemene voorwaarden van de site moesten overeenkomen en een groot aantal bots werd gedeactiveerd omdat ze destructief konden zijn voor de computermachines van eBay. De rechtszaak werd snel buiten de rechtbank beslecht en eBay weerhield iedereen ervan bots te gebruiken voor webscraping, ongeacht of ze goed of slecht waren.

In 2001 had een reisbureau de concurrenten aangeklaagd die de inhoud van de website hadden gehaald met behulp van schadelijke spinnen en slechte bots. De rechters namen opnieuw maatregelen tegen de misdaad en gaven de voorkeur aan de slachtoffers, waarbij ze zeiden dat zowel webscraping als het gebruik van bots verschillende online bedrijven zouden kunnen schaden.

Tegenwoordig vertrouwen veel mensen voor academische, particuliere en informatie-aggregatie op eerlijke procedures voor webschrapen, en in dit opzicht zijn er veel tools voor webschrapen ontwikkeld. Nu zeggen de ambtenaren dat niet al deze tools betrouwbaar zijn, maar degenen die in betaalde of premium-versies worden geleverd, zijn beter dan de gratis webschrapers .

In 2016 had het congres de eerste wetgeving aangenomen die gericht was op de slechte bots en de goede bots bevoordeelde. De Better Online Ticket Sales (BOTS) Act werd opgericht die het gebruik van illegale software verbood die de websites zou kunnen targeten, waardoor de rangen van hun zoekmachines zouden worden beschadigd en hun bedrijven zouden worden vernietigd. Er zijn zaken van eerlijkheid. Zo heeft LinkedIn veel geld uitgegeven aan de tools die slechte bots blokkeren of elimineren en goede bots aanmoedigen. Aangezien de rechtbanken hebben geprobeerd de wettigheid van webscraping te bepalen, worden de gegevens van de bedrijven gestolen.

mass gmail