IT-Support

Scraping – Vorteile und Stolpersteine

Web-Scraping kann Urheberrechte verletzen

von 05.08.2020
scraping
Scraping kann nützlich für SEO-Aktivitäten sein. Bild: Picabay/FirmBee

Scraping ist in Zeiten des harten Wettbewerbs um die besten Platzierungen in den Google-Ergebnissen eine durchaus beliebte Methode für Webseiten-Betreiber und SEO-Experten. Jedoch gilt auch hier, dass jede Medaille zwei Seiten hat.
Lesen Sie bei uns, was Scraping überhaupt ist und welche Aspekte dabei beachtet werden sollten.

scraping

Scraping kann nützlich für SEO-Aktivitäten sein. Bild: Picabay/FirmBee

Scraping – Extraktion von Webinhalten für die weitere Verwendung

Experten sprechen zumeist von Web-Scraping oder Screen-Scraping. Gemeint ist damit das „Schürfen“ von Web-Inhalten, die dann in ähnlicher oder anderer Form weitere Verwendung finden. Die Extraktion dieser Inhalte kann manuell erfolgen, wird aber zumeist mit spezieller Software oder Bots realisiert, die in kürzester Zeit eine Vielzahl von Seiten durchsuchen können.
Scraping kann für Webseiten-Betreiber viele Vorteile generieren und dabei helfen, die eigene Plattform relevanter zu gestalten und so das eigene Ranking bei Google und Co. zu verbessern. Content, der nicht erst einmal aufwändig recherchiert und erstellt werden muss, sondern quasi „kopiert“ wird, spart natürlich Ressourcen und damit auch Geld.
Aber genau dieses Kopieren kann den engagierten Schürfern auch zum Verhängnis werden. Denn Urheberrechte sind natürlich immer zu wahren. Und davon ganz abgesehen, mag der Google-Algorithmus stumpfes Kopieren überhaupt nicht.

Scraping-Techniken

Die einfachste Möglichkeit, Scraping erfolgreich anzuwenden, sind so genannte Scraping-Tools. Dabei handelt es sich um spezielle Software, die nicht nur Inhalte, sondern auch komplette Seitenstrukturen oder gar Funktionalitäten kopieren kann. Eine andere Methode ist die http-Manipulation, mit der der Web-Content via http-Request kopiert wird.
Zu guter Letzt kann Data Mining zum Einsatz kommen. Ein Algorithmus identifiziert den Inhalt anhand des Templates und Scripts, in das er eingebettet ist. Die geschürften Daten lassen sich dann mit Hilfe eines so genannten Wrappers umwandeln und für andere Seiten zur Verfügung stellen. Data Mining findet grundsätzlich häufig im Rahmen von KI und Big Data statt und verfügt im Gegensatz zu den anderen Scraping-Methoden über eine hochkomplexe technologische Basis, die weit über das Kopieren von Web-Inhalten hinaus gehen kann.
Wer technisch weniger versiert ist oder die Investition in Tools und smarte Programmierer scheut, kopiert einfach selbst. Ganz klassisch über die Shortcuts Strg+C und Strg+V.

google onebox basierend auf scraping

Google selbst nutzt Scraping für seine OneBox. Bild: Screenshot Google

Positive Anwendungsfälle

Wie eingangs erwähnt wird Web-Scraping häufig genutzt, um gute, fremde Inhalte zu finden, zu kopieren und für die Optimierung der eigenen Webseite zu nutzen. Das ist allerdings weder im Sinne der Urheber noch in dem von Google. Im Jahr 2012 wurde der Suchmaschinen-Riese diesbezüglich auch erstmals aktiv und sperrte bestimmte Dienste.
Tatsächlich nutzt Google aber mittlerweile auch selbst die Kopier-Methode. Beispielsweise für seine eigene Flug-Suche. Anhand der Daten der Deutschen Bahn und denen von Airlines kann der Google-Nutzer direkt über die Suchmaschine nach passenden Angeboten suchen und seine Reise planen. Zwar erfolgt die finale Buchung dann doch über die Anbieter selbst, die ersten Klicks, die die Anbieter vor Einführung dieser Funktion einheimsen konnten, gehen jedoch verloren. Gleiches gilt für die sogenannte OneBox, von SEOs häufig auch als „Platz 0“ bezeichnet. Statt die beste und relevanteste Seite zur Suchanfrage ganz oben anzuzeigen, liefert Google selbst die Antwort auf die Frage innerhalb einer kleinen Box über den weiteren Suchergebnissen.
Unter dem Strich sind das aber alles Beispiele, bei denen Scraping legal und nutzerfreundlich Anwendung findet. Anders sieht es aus, wenn Urheberrechte verletzt werden.

Negative Anwendungsfälle für Web-Scraping

Kopieren augenscheinlich findige Webseiten-Betreiber die Inhalte von „guten“ Seiten, die bessere Rankings erzielen, und veröffentlichen sie ungefragt und ohne Quellenangabe 1:1 auf ihrer eigenen Plattform, droht mächtig Ärger. Denn in diesem Fall verletzt der Kopierer die Urheberrechte. Häufig zu beobachten ist diese Praxis bei Seiten, die eine Art Lexikon oder Glossar beinhalten und sich der Einfachheit halber stumpf bei Wikipedia bedienen. Oder aber auch bei Online-Shops, die die Produktbeschreibungen der Konkurrenz einfach für sich selbst nutzen.
In diesem Fall drohen folgende Konsequenzen:

  • Abmahnungen wegen Urheberrechtsverletzungen, Anzeigen, Bußgelder, etc.
  • Herabstufung der eigenen Webseite durch Google, sobald der Algorithmus den „Duplicate Content“ erkennt

Zum letzten Punkt: Wenn Google eines nicht mag, dann doppelte Inhalte. Für ein gutes Ranking ist es unerlässlich, „einzigartigen Content“ bereitzustellen. Klar, der macht mehr Arbeit, aber anders geht es nicht.

Screen-Scraping der eigenen Webseite verhindern

Wenn Sie verhindern möchten, dass sich Dritte Ihre sorgfältig erstellten Inhalte zunutze machen, können Sie Maßnahmen ergreifen, die zumindest das maschinelle Web-Scraping verhindern. Hier führen gleich mehrere Wege nach Rom – beispielsweise die Einbindung von Captcha-Abfragen, eine Verstärkung der Firewall oder eine Bot-Blockade über die robots.txt.
Sie verstehen an dieser Stelle nur Bahnhof? Sie haben keine Ahnung, wie sich so etwas umsetzen lässt? Kein Problem! Für solche spezifischen Aufgaben gibt es glücklicherweise Fachleute. Sie finden solche Profis sicherlich auch unter den Experten aus dem IT-SERVICE.NETWORK. nehmen Sie Kontakt auf und lassen sich zu den verschiedenen Möglichkeiten beraten. Wir freuen uns auf Sie!

Geschrieben von

Lena Klaus arbeitet seit 2018 als freie Autorin und SEO-Expertin für das IT-SERVICE.NETWORK. Besonders die Themen rund um den digitalen Wandel und New Work haben es ihr angetan. Darüber hinaus ist die erfahrene Texterin immer wieder fasziniert davon, welche neue Methoden und Tricks Hackern und Cyberkriminellen einfallen. Seit 2013 kennt Lena Klaus die IT-Branche und… Weiterlesen

Fragen zum Artikel? Frag den Autor
0 Kommentare

Schreiben Sie einen Kommentar

Ihre E-Mail Adresse wird nicht veröffentlicht.


* = Pflichtfelder
Bitte beachten Sie unsere Datenschutzerklärung

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Aktuelle Themen zum Thema IT-Support

IT-Support

Wie lange kann man Office 2016 noch nutzen?

End-of-Life am 14. Oktober 2025

von • 29.04.2024

Sie sind noch der Business-Suite Microsoft Office 2016 treu? Dann sollten Sie langsam daran denken, diese Beziehung zu beenden. Denn: Das Support-Ende naht. Wie lange kann man Office 2016 noch nutzen?...

Weiterlesen
IT-Support

Wie lange kann man Office 2019 noch nutzen?

Support-Ende ist am 14. Oktober 2025

von • 22.04.2024

Sie nutzen aktuell Office 2019, wissen aber, dass irgendwann in nicht allzu ferner Zukunft das offizielle Support-Ende ansteht? Dann stellen Sie sich vielleicht die Frage: Wie lange kann man Office 20...

Weiterlesen
IT-Support

Digitales Aufräumen

So bringen Sie Ordnung auf Laptop, Tablet & Smartphone

von • 27.03.2024

Dateien, Dateien und noch mehr Dateien. Um nicht im Chaos zu versinken, sollten Unternehmen wie Privatleute auf Laptop, Tablet, Smartphone und Co. für Ordnung sorgen – durch digitales Aufräumen! ...

Weiterlesen