Подготовка PDF для ИИ

Он следует схеме документов LlamaIndex: один документ на страницу с текстом страницы и полями метаданных. Результат создаёт интеграция PyMuPDF с LlamaIndex, поэтому его можно загружать прямо в LlamaIndex или любой конвейер, принимающий постраничный текст с метаданными.

PDF в текст даёт один сплошной простой текст, а PDF в Markdown сохраняет заголовки и структуру для чтения. Этот инструмент делит содержимое по страницам и оборачивает его в структурированный JSON с метаданными, что и нужно конвейерам поиска для разбиения на фрагменты и цитирования источников.

Только если в них уже есть текстовый слой. Отсканированные изображения дают пустой или почти пустой результат, поэтому сначала пропустите их через OCR PDF, а затем извлекайте.

Да. Загрузите несколько файлов, и вы получите pdf-for-ai.zip с одним yourfile_llm.json на каждый PDF; один файл скачивается сразу как yourfile_llm.json. Если один файл в пакете не обработан, остальные всё равно завершаются, а в сводке указано, сколько не удалось.

Нет. Параметров нет; каждая страница извлекается с полным текстом и метаданными. Разбиение на фрагменты делайте в собственном конвейере, где можно выбрать размеры под вашу модель эмбеддингов и отбросить ненужные страницы.

Да. Если файл зашифрован, пароль запрашивается до начала извлечения, а текст берётся из расшифрованной копии.

Нет. Несмотря на название, ничего не отправляется ни ИИ-провайдеру, ни на какой-либо сервер; извлечение выполняется PyMuPDF, скомпилированным в WebAssembly, внутри вашего браузера. Куда отправить JSON потом, решаете вы.

Подайте его в конвейер RAG, создайте базу знаний для чат-бота, проведите анализ отчётов с помощью LLM или превратите коллекцию PDF в обучающие данные. Поскольку содержимое разделено по страницам и снабжено метаданными, ответы могут ссылаться на страницу, откуда они взяты.