Pripraviť PDF pre AI

Nasleduje schému dokumentov LlamaIndex: jeden dokument na stranu s textom strany a poľami metadát. Vytvára ho integrácia LlamaIndex v PyMuPDF, takže sa dá načítať priamo do LlamaIndex alebo do akéhokoľvek pipeline, ktorý prijíma text po stranách s metadátami.

PDF do textu poskytuje jeden obyčajný textový tok a PDF do Markdownu zachováva nadpisy a štruktúru na čítanie. Tento nástroj rozdelí obsah po stranách a zabalí ho do štruktúrovaného JSON s metadátami, čo potrebujú vyhľadávacie pipeline na rozdeľovanie na bloky a citovanie zdrojov.

Iba ak už majú textovú vrstvu. Naskenované obrázky dávajú prázdny alebo takmer prázdny výstup, preto ich najprv spracujte nástrojom OCR PDF a potom extrahujte.

Áno. Nahrajte viac súborov a dostanete pdf-for-ai.zip obsahujúci jeden yourfile_llm.json na PDF; jeden súbor sa stiahne priamo ako yourfile_llm.json. Ak jeden súbor v dávke zlyhá, ostatné sa stále dokončia a súhrn povie, koľko zlyhalo.

Nie. Nie sú tu žiadne možnosti; každá strana sa extrahuje s úplným textom a metadátami. Rozdeľovanie na bloky robte vo vlastnom pipeline, kde môžete zvoliť veľkosti, ktoré vyhovujú vášmu modelu vkladania, a tam aj vynechať nepotrebné strany.

Áno. Ak je súbor šifrovaný, pred začiatkom extrakcie sa vás nástroj opýta na heslo a text sa získava z dešifrovanej kópie.

Nie. Napriek názvu sa nič neodosiela poskytovateľovi AI ani na žiadny server; extrakcia beží s PyMuPDF skompilovaným do WebAssembly vo vašom prehliadači. Kam JSON pôjde, rozhodnete až potom.

Vložte ho do pipeline RAG, vytvorte znalostnú bázu pre chatbota, spustite analýzu LLM nad správami alebo premeňte zbierku PDF na trénovacie údaje. Keďže je obsah rozdelený po stranách s metadátami, odpovede môžu odkazovať na stranu, z ktorej pochádzajú.