Prepara PDF per a IA

Segueix l'esquema de documents de LlamaIndex: un document per pàgina amb el text i els camps de metadades d'aquesta pàgina. Es genera amb la integració de LlamaIndex de PyMuPDF, de manera que es pot carregar directament a LlamaIndex o a qualsevol sistema que accepti text per pàgina amb metadades.

PDF a text ofereix un únic flux de text pla, i PDF a Markdown conserva els encapçalaments i l'estructura per llegir-lo. Aquesta eina divideix el contingut pàgina per pàgina i l'empaqueta en un JSON estructurat amb metadades, que és el que necessiten els sistemes de recuperació per fragmentar el contingut i citar-ne les fonts.

Només si ja tenen una capa de text. Les imatges escanejades donen una sortida buida o gairebé buida, així que passa-les primer per OCR PDF i després extreu-ne el contingut.

Sí. Puja diversos fitxers i obtindràs pdf-for-ai.zip amb un yourfile_llm.json per cada PDF; un sol fitxer es baixa directament com a yourfile_llm.json. Si un fitxer del lot falla, els altres es completen igualment i el resum t'indica quants han fallat.

No. No hi ha opcions; cada pàgina s'extreu amb tot el seu text i les metadades. Fes la divisió en blocs al teu propi flux, on pots triar mides que s'ajustin al teu model d'incrustació, i descarta-hi les pàgines que no necessitis.

Sí. Si un fitxer està xifrat, te'n demana la contrasenya abans de començar l'extracció, i el text s'extreu de la còpia desxifrada.

No. Malgrat el nom, no s'envia res a cap proveïdor d'IA ni a cap servidor; l'extracció s'executa amb PyMuPDF compilat a WebAssembly dins del navegador. Tu decideixes després on va el JSON.

Fes-lo servir en un sistema RAG, per crear una base de coneixement per a un xatbot, per analitzar informes amb LLM o per convertir una col·lecció de PDF en dades d'entrenament. Com que el contingut es divideix per pàgines amb metadades, les respostes poden remetre a la pàgina d'on provenen.