Die größte Sammlung von Tutorials und Referenzen

Web-scraping

Wie scrape ich mehrere Seiten einer Website mit Python?

Web Scraping ist eine Methode, um mithilfe von Computerprogrammen nützliche Daten von einer Website zu extrahieren, ohne dies manuell tun zu müssen. Diese Daten können dann exportiert und für verschiedene Zwecke kategorisiert werden. Einige gängige Orte, an denen Web Scraping Verwendung findet, sind Marktforschungs- und Analyse-Websites, Preisvergleichstools, Suchmaschinen, Datenerfassung für KI/ML-Projekte usw. Lassen Sie uns tief tauchen und....

Was ist Web Scraping und wie wird es verwendet?

Angenommen, Sie möchten Informationen von einer Website? Sagen wir einen Absatz über Donald Trump! Wie geht's? Nun, Sie können die Informationen aus Wikipedia kopieren und in Ihre eigene Datei einfügen. Was aber, wenn Sie möglichst schnell große Mengen an Informationen von einer Website abrufen möchten? Zum Beispiel große Datenmengen von einer Website, um einen Machine-Learning - Algorithmus....

Scraping von Reddit mit Python

In diesem Artikel werden wir sehen, wie man Reddit mit Python kratzt, hier werden wir das PRAW-Modul (Python Reddit API Wrapper) von Python verwenden, um die Daten zu kratzen. Praw ist ein Akronym Python Reddit API-Wrapper, der die Reddit-API über Python-Skripte ermöglicht. Installation Führen Sie zur Installation von PRAW die folgenden Befehle an der Eingabeaufforderung aus: pip install praw Erstellen einer....

User-Agent Switcher – Browsererweiterung für Web Engineer

User-Agent Switcher ist ein einfaches, aber sehr leistungsfähiges Add-On, mit dem Sie viel einfacher im Internet surfen können, unabhängig davon, welches Betriebssystem oder welchen Browser Sie bevorzugen. Es bietet eine Symbolleistenschaltfläche, mit der man zwischen verschiedenen häufig verwendeten User-Agent-Strings umschalten kann. Mit einfachen Worten, es ist die einfachste Möglichkeit, zwischen Benutzeragenten in Ihrem Browser zu wechseln. Was ist....

Web Scraping mit lxml und XPath in Python

Voraussetzungen: Einführung in Web Scrapping In diesem Artikel besprechen wir die lxml-Python-Bibliothek zum Scrapen von Daten von einer Webseite, die auf der  in C geschriebenen libxml2 -  XML-Parsing-Bibliothek aufbaut. Im Vergleich zu anderen Python-Web-Scraping-Bibliotheken wie  BeautifulSoup  und  Seleniumium bietet das  lxml  -Paket ein Vorteil in Bezug auf die Leistung. Das Lesen und Schreiben großer XML-Dateien nimmt unmerklich viel....