Webseiten als Markdown umwandeln
AGPL-3.0-only
Liest und schreibtWas der Baustein im Konto darf
Der webclaw-MCP-Server wandelt Webseiten in sauberes Markdown, Text oder JSON um, durchläuft Websites und vergleicht Seitenstände. Der Kern läuft lokal ohne Konto.
Was der Server kann
- Extrahiert eine URL als Markdown, Text, JSON, LLM-Format oder HTML.
- Folgt Links derselben Domain und extrahiert die gefundenen Seiten oder entdeckt nur die URLs.
- Verarbeitet mehrere URLs parallel.
- Wandelt Seiteninhalt in strukturierte Daten um und fasst Seiten zusammen; dafür braucht es ein lokales oder konfiguriertes Sprachmodell.
- Vergleicht Seitenstände miteinander, etwa Preisseiten über die Zeit.
- Liest Farben, Schriften, Logos und Metadaten einer Website aus.
- Bietet über die gehostete API zusätzlich Websuche und einen Multi-Quellen-Rechercheablauf.
Einsatz in Marketing und Vertrieb
- Vertrieb
- Der Assistent ruft die Preisseiten mehrerer Wettbewerber per batch ab und fasst die Unterschiede zusammen.
- SEO
- Der Assistent erfasst eine Preisseite als Snapshot und vergleicht sie später per diff mit dem aktuellen Stand, um Änderungen zu melden.
- Content
- Per brand liest der Assistent Farben, Schriften und Logos der Website eines Kunden aus, um sie in ein Briefing zu übernehmen.
Einrichtung
- Für Zero-Install in der MCP-Konfiguration den Befehl `npx` mit den Argumenten `-y` und `@webclaw/mcp` eintragen.
- Alternativ `npx create-webclaw` ausführen; das Programm erkennt unterstützte Clients und trägt den Server ein.
- Für geschützte oder per JavaScript gerenderte Seiten die Variable `WEBCLAW_API_KEY` mit einem Key der gehosteten API setzen.
Grenzen
- search und research laufen nur über die gehostete API.
- Bei geschützten Seiten ohne API-Key kann ein Abruf scheitern, das README nennt dafür die gehostete Variante.
- extract und summarize funktionieren nur mit einem verfügbaren Sprachmodell.
Einordnung der Redaktion
Aufgaben: Wettbewerb beobachten. Allgemein nutzbar, etwa für Büro, Daten und Dokumente.
Beschreibung des Anbieters
Fast, local-first web content extraction for LLMs. Scrape, crawl, extract structured data — all from Rust. CLI, REST API, and MCP server.
Eckdaten
- Maintainer
- 0xMassi
- Repository-Lizenz
- AGPL-3.0-only
- Dienstanbieter
- Offizielle Dienstherkunft nicht belegt
- Dienste
- —
- Bereiche
- Analyse
- Plattformen
- —
- Release
- v0.6.23
- Repository-Themen
- ai-agents, cli, llm, markdown, mcp, rust, self-hosted, web-extraction, web-scraping, web-crawler
- Homepage
- Homepage des Anbieters
Werkzeuge
scrapeExtrahiert eine URL in einem wählbaren Format.
crawlFolgt Links derselben Domain und extrahiert die Seiten.
mapEntdeckt URLs, ohne jede Seite zu extrahieren.
batchRuft mehrere URLs parallel ab.
extractWandelt Seiteninhalt in strukturierte Daten um.
summarizeFasst eine Seite zusammen.
diffVergleicht Inhaltsstände einer Seite.
brandLiest Farben, Schriften, Logos und Metadaten aus.
searchDurchsucht das Web und ruft Treffer ab; läuft über die gehostete API.
researchRechercheablauf über mehrere Quellen; läuft über die gehostete API.
Rechte
- 1 von 10 Werkzeugen legen Daten an oder ändern sie, etwa batch.
Verbinde zuerst ein Testkonto oder eine Sandbox und lass Änderungen einzeln bestätigen, bevor der Baustein mit echten Daten arbeitet.
Für den Kern der Extraktion ist laut README kein Konto nötig. Für search, research, geschützte Seiten und JavaScript-Rendering braucht es die gehostete webclaw-API mit WEBCLAW_API_KEY. extract und summarize nutzen ein lokales oder über Variablen wie OLLAMA_HOST oder OPENAI_API_KEY konfiguriertes Sprachmodell. Die Werkzeuge lesen Webseiten.
- Zugriffe laut Paketangaben
- —
- Authentifizierung
- —
- Transport
- —
- Technische Prüfung
- Ungeprüft
Quellen (4)
- 1
- 2
- 3
- 4
- Abgerufen und Felder geprüft: 2026-10-05; technische Prüfung: ungeprüft