Падрыхтаваць PDF для ШI

Ён адпавядае схеме дакументаў LlamaIndex: адзін дакумент на старонку з тэкстам гэтай старонкі і палямі метаданых. Яго ствараюць праз інтэграцыю PyMuPDF з LlamaIndex, таму яго можна загрузіць наўпрост у LlamaIndex або ў любы канвеер, які прымае тэкст па старонках з метаданымі.

PDF у тэкст дае адзіны струмень простага тэксту, а PDF у Markdown захоўвае загалоўкі і структуру для чытання. Гэты інструмент дзеліць змест па старонках і загортвае яго ў структураваны JSON з метаданымі, што і патрэбна канвееры пошуку для падзелу на фрагменты і цытавання крыніц.

Толькі калі ў іх ужо ёсць тэкставы слой. Адсканіраваныя выявы даюць пусты або амаль пусты вынік, таму спачатку прапусціце іх праз OCR PDF, а потым здабывайце тэкст.

Так. Запампуйце некалькі файлаў, і вы атрымаеце pdf-for-ai.zip з адным yourfile_llm.json для кожнага PDF; адзін файл спампоўваецца наўпрост як yourfile_llm.json. Калі які-небудзь файл у пакеце не апрацуецца, астатнія ўсё роўна будуць гатовыя, а ў зводцы вы ўбачыце, колькі файлаў завяршылася памылкай.

Не. Параметраў няма; кожная старонка вымаецца з поўным тэкстам і метаданымі. Дзяленне на часткі рабіце ў сваім канвееры, дзе можна выбраць памеры, што падыходзяць вашай мадэлі эмбэдынгаў, і там жа адкідваць непатрэбныя старонкі.

Так. Калі файл зашыфраваны, перад пачаткам вымання запытваецца пароль, і тэкст бярэцца з расшыфраванай копіі.

Не. Нягледзячы на назву, нічога не адпраўляецца пастаўшчыку ШІ або на любы сервер; выманне выконваецца праз PyMuPDF, скампіляваны ў WebAssembly, унутры вашага браўзера. Вы самі потым вырашаеце, куды дзець JSON.

Падайце яго ў канвеер RAG, стварыце базу ведаў для чат-бота, правядзіце аналіз справаздач з дапамогай LLM або ператварыце калекцыю PDF у навучальныя даныя. Паколькі змест падзелены па старонках і мае метаданыя, адказы могуць спасылацца на старонку, адкуль яны ўзяты.