BackFetchDeep CrawlEmpieza con una URL.Recopila el sitio.
Descubre las páginas enlazadas desde una URL de partida y recopila su contenido. BackFetch Deep Crawl prepara fuentes para tu buscador, base de conocimiento o agente de IA.
Deep CrawlRespuesta de ejemplo
client.crawl("https://example.com/docs"){
"start_url": "https://example.com/docs",
"pages": [
{
"url": "https://example.com/docs",
"markdown": "# Documentación\nPrimeros pasos."
},
{
"url": "https://example.com/docs/setup",
"markdown": "# Instalación\nConfigura tu proyecto."
}
]
}Vista previa del SDK · Datos ilustrativos
Ve más allá de la página que ya conoces.
Descubre contenido enlazado
Empieza por una página de documentación o una categoría. Sigue sus enlaces para encontrar el resto del contenido que necesitas.
Mantén el contenido vinculado a su fuente
Conserva la URL de cada página junto a su contenido. Tu aplicación podrá consultar la página original de cada resultado.
Una colección que tu aplicación puede leer.
- Preparar documentación para una base de conocimiento
- Recopilar páginas para un índice de búsqueda
- Reunir contenido de un catálogo de productos