
Bienvenue dans Firecrawl
Comment l’utiliser ?
- API : Documentation
- SDKs : Python, Node
- Frameworks LLM : LangChain (Python), LangChain (JS), LlamaIndex, Crew.ai, Composio, PraisonAI, Superinterface, Vectorize
- Frameworks low-code : Dify, Langflow, Flowise AI, Cargo, Pipedream
- SDKs communautaires : Go, Rust (v1)
- Autres : Zapier, Pabbly Connect
- Auto-hébergement : Pour l’auto-hébergement, consultez le guide ici.
Clé API
Fonctionnalités
- Scrape : récupère une URL et renvoie son contenu dans un format prêt pour les LLM (markdown, résumé, données structurées via le mode JSON, capture d’écran, HTML)
- Crawl : explore toutes les URL d’une page web et renvoie le contenu dans un format prêt pour les LLM
- Map : indiquez un site web et obtenez toutes les URL du site — extrêmement rapide
- Search : recherchez sur le web et obtenez le contenu complet des résultats
- Extract : extrayez des données structurées à partir d’une page, de plusieurs pages ou de sites entiers avec l’IA.
Capacités avancées
- Formats prêts pour les LLM : Markdown, résumé, données structurées, capture d’écran, HTML, liens, métadonnées
- Les cas difficiles : proxys, mécanismes anti-bot, contenu dynamique (rendu JS), analyse de sortie, orchestration
- Ultra-rapide : obtenez des résultats en quelques secondes — conçu pour la vitesse et les cas d’usage à haut débit.
- Personnalisation : exclure des balises, explorer derrière des murs d’authentification avec des en-têtes personnalisés, profondeur d’exploration maximale, etc.
- Analyse des médias : PDF, DOCX, images.
- Fiabilité avant tout : conçu pour obtenir les données dont vous avez besoin — quelle que soit la difficulté.
- Actions : cliquer, faire défiler, saisir, attendre et plus encore avant d’extraire des données
Installer Firecrawl
Scraping
scrape
. Elle prend l’URL en paramètre et renvoie les données récupérées sous forme de dictionnaire.
Réponse
Exploration
Utilisation
start crawl
dans les SDK, un ID
sera renvoyé que vous pourrez utiliser pour vérifier l’état du crawl.
Obtenir l’état d’un crawl
Réponse
next
est fourni. Vous devez requêter cette URL pour récupérer les 10 Mo suivants de données. Si le paramètre next
est absent, cela indique la fin des données du crawl.
Mode JSON
JSON
Recherche
- Choisissez des formats de sortie spécifiques (Markdown, HTML, liens, captures d’écran)
- Choisissez des sources spécifiques (web, actualités, images)
- Recherchez sur le web avec des paramètres personnalisables (localisation, etc.)
Réponse
JSON
Extraction sans schéma
prompt
au point de terminaison. Le LLM détermine la structure des données.
JSON
Interagir avec une page à l’aide des actions
wait
avant et/ou après les autres actions afin de laisser à la page le temps de se charger.
Exemple
Résultat
Open Source vs Cloud
