Suche

Anzeige

Mit gemieteten Suchrobotern Marktforschung im Netz machen

Die Informationsmenge im Internet ist für Normalsterbliche kaum noch zu bewältigen. Das Start-up-Unternehmen 80legs aus dem texanischen Houston hat daher eine recht pfiffige Lösung entwickelt, um Schneisen in den Datendschungel zu schlagen: Die Firma vermietet Suchroboter, die nach persönlichen Vorgaben Teile des Web durchkämmen. Riesige Server-Farmen, wie sie bei Google und Co. stehen, sollen dafür nicht mehr nötig sein; stattdessen wird verteilte PC-Technik eingesetzt.

Anzeige

„Suchroboter, auch Spider oder Crawler genannt, sind Programme, die automatisch Seiten im Web aufsuchen und diese dann in einen Index aufnehmen. Das Problem: Die Größe, die das Web inzwischen angenommen hat, macht es zunehmend schwierig, alle Seiten in ihrer Gesamtheit abzusuchen – das kostet schlicht zu viel Rechenleistung. Genau deshalb muss etwa Google seine Infrastruktur ständig ausbauen“, schreibt die Technology Review-Bloggerin Erica Naone bei Heise.

Mit dem 80legs-System kann man einen anderen Weg einschlagen. So müssen Firmen nur dafür zahlen, was der Crawler tatsächlich leistet. Bei 80legs erwartet man sich neben Nutzern, die sich für Suchverfahren und Web-Semantik interessieren, auch technische Laien. Marktforscher könnten 80legs beispielsweise einsetzen, um die Erwähnung bestimmter Firmen und Themen im Web zu untersuchen – und zwar viel schneller als bei Google.

Den gewünschten Crawl-Durchgang kann man über ein Web-Interface einleiten. „Dort lassen sich Parameter einstellen oder auch eigener Programmcode hochladen, der dann bestimmt, wie der Suchroboter vorgeht. Beispielsweise könnte jemand 80legs benutzen, um auf die Jagd nach urheberrechtlich geschützten Bildern zu gehen. Dann würde der Crawler alle gefundenen Aufnahmen gegen eine Datenbank mit Copyright-Informationen checken“, so Naone.

Nach Angaben von 80legs-Vorstandschef Shion Deysarkar könne die Technik der Firma bis zu zwei Milliarden Seiten am Tag bearbeiten. Dabei werden für jede Million gecrawlter Seiten zwei Dollar fällig, plus drei Cent pro Stunde für die abgerufene Rechenleistung. „Statt ein Rechenzentrum einzusetzen, wird eine Software verwendet, die auf einem verteilten Netzwerk aus einzelnen PCs läuft, ähnlich wie man es vom SETI@home-Projekt zur Jagd nach außerirdischen Signalen kennt“, schreibt Naone.

Ein Dienst wie 80legs könnte auch für universitäre Forscher spannend sein. „Im großen Stil zu crawlen, ist eine teure Hürde, wenn es um experimentelle Suchprojekte im akademischen Bereich geht „, meint Kevin Chang, Dozent für Computerwissenschaften an der University of Illinois. Es fehle an der Infrastruktur. Er ist der Auffassung, dass der verteilte Ansatz von 80legs eine „interessante Richtung“ sei. Die Idee könne die Kosten für Crawling-Durchgänge verringern. gs

www.80legs.com, www.heise.de

Kommunikation

Nach zweitem Datenleck steht Google Plus kurz vor dem Ende: 52,5 Millionen Nutzer betroffen

Das Online-Netzwerk Google Plus wird für Verbraucher deutlich früher als geplant dichtgemacht, nachdem der Internet-Konzern eine neue Datenpanne entdeckt hat. 52,5 Millionen Nutzer sind davon betroffen, gab das US-Unternehmen nun bekannt. Google Plus soll statt im August 2019 nun bereits im April kommenden Jahres offline genommen werden. mehr…

Anzeige

Absatzwirtschaft Newsletter

absatzwirtschaft Newsletter schon abonniert?

Newsticker

Nach zweitem Datenleck steht Google Plus kurz vor dem Ende: 52,5 Millionen Nutzer betroffen

Das Online-Netzwerk Google Plus wird für Verbraucher deutlich früher als geplant dichtgemacht, nachdem…

Apple Pay in Deutschland: Was Sie zum Start über den mobilen Bezahldienst wissen müssen

Vier Jahre nach dem Start von Apple Pay in den USA ist der…

Snapshot-Umfrage: Wie sich die Budgets für Online- und Offline-Kommunikation in 2019 entwickeln

Wie viel Geld planen Marketer für digitale und analoge Kommunikationsmaßnahmen im nächsten Jahr…

Anzeige

Das könnte Sie auch interessieren

Dein Kommentar

Deine E-Mailadresse wird nicht veröffentlicht.

*

Anzeige