Prepara PDF per IA

Segue lo schema di documento di LlamaIndex: un documento per pagina con il testo e i campi di metadati di quella pagina. È prodotto dall'integrazione LlamaIndex di PyMuPDF, quindi può essere caricato direttamente in LlamaIndex o in qualsiasi pipeline che accetti testo per pagina con metadati.

PDF in testo dà un unico flusso di testo semplice, e PDF in Markdown mantiene titoli e struttura per la lettura. Questo strumento divide il contenuto pagina per pagina e lo racchiude in un JSON strutturato con metadati, ciò di cui le pipeline di recupero hanno bisogno per suddividere in blocchi e citare le fonti.

Solo se hanno già un livello di testo. Le immagini scansionate producono un output vuoto o quasi, quindi passale prima da OCR PDF e poi estrai.

Sì. Carica più file e ottieni pdf-for-ai.zip con un yourfile_llm.json per ogni PDF; un singolo file viene scaricato direttamente come yourfile_llm.json. Se un file del gruppo fallisce, gli altri vengono comunque completati e il riepilogo ti dice quanti sono falliti.

No. Non ci sono opzioni; ogni pagina viene estratta con tutto il testo e i metadati. Fai la suddivisione in blocchi nella tua pipeline, dove puoi scegliere dimensioni adatte al tuo modello di embedding, ed elimina lì le pagine che non ti servono.

Sì. Se un file è cifrato, ti viene chiesta la password prima dell'inizio dell'estrazione e il testo viene estratto dalla copia decifrata.

No. Nonostante il nome, nulla viene inviato a un fornitore di IA o a un server; l'estrazione viene eseguita con PyMuPDF compilato in WebAssembly nel tuo browser. Sei tu a decidere poi dove va il JSON.

Daglielo in pasto a una pipeline RAG, costruisci una base di conoscenza per un chatbot, esegui analisi LLM su relazioni o trasforma una raccolta di PDF in dati di addestramento. Poiché il contenuto è diviso per pagina con metadati, le risposte possono rimandare alla pagina da cui provengono.