1 Frage zu Paginate

Um in Python mit BeautifulSoup auf die nächste Seite einer Website zu navigieren, musst du in der Regel den Link zur nächsten Seite extrahieren und dann eine neue Anfrage an diese URL senden. Hier ist ein allgemeines Beispiel, wie das gemacht werden kann: 1. Installiere die benötigten Bibliotheken, falls noch nicht geschehen: ```bash pip install requests beautifulsoup4 ``` 2. Verwende `requests`, um die Seite zu laden, und `BeautifulSoup`, um den Link zur nächsten Seite zu finden und zu extrahieren. Hier ist ein Beispielcode: ```python import requests from bs4 import BeautifulSoup # URL der ersten Seite url = 'https://example.com/page1' while url: # Lade die Seite response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') # Verarbeite die Seite (z.B. extrahiere Daten) # Hier ein Beispiel, wie man alle Links auf der Seite ausgibt for link in soup.find_all('a'): print(link.get('href')) # Finde den Link zur nächsten Seite next_page = soup.find('a', {'rel': 'next'}) if next_page: url = next_page.get('href') else: url = None ``` In diesem Beispiel: - `url` ist die URL der aktuellen Seite. - `requests.get(url)` lädt die Seite. - `BeautifulSoup(response.content, 'html.parser')` analysiert den HTML-Inhalt der Seite. - `soup.find('a', {'rel': 'next'})` sucht nach dem Link zur nächsten Seite. Dies ist ein Beispiel und kann je nach Website unterschiedlich sein. Manchmal wird der Link zur nächsten Seite durch andere Attribute oder Klassen identifiziert. Stelle sicher, dass du die spezifischen HTML-Strukturen und Attribute der Website, die du scrapen möchtest, überprüfst und anpasst.