Підготовка PDF для AI

Він відповідає схемі документів LlamaIndex: один документ на сторінку з текстом цієї сторінки та полями метаданих. Його створює інтеграція LlamaIndex у PyMuPDF, тож його можна завантажувати безпосередньо в LlamaIndex або будь-який конвеєр, що приймає текст за сторінками з метаданими.

PDF у текст дає один потік звичайного тексту, а PDF у Markdown зберігає заголовки й структуру для читання. Цей інструмент ділить вміст за сторінками й загортає його у структурований JSON із метаданими, що й потрібно конвеєрам пошуку для розбиття на частини та цитування джерел.

Лише якщо в них уже є текстовий шар. Скановані зображення дають порожній або майже порожній результат, тож спершу пропустіть їх через OCR PDF, а потім видобувайте.

Так. Завантажте кілька файлів, і ви отримаєте pdf-for-ai.zip з одним yourfile_llm.json на PDF; один файл завантажується напряму як yourfile_llm.json. Якщо один файл у пакеті не вдався, решта все одно завершується, а підсумок повідомляє, скільки не вдалося.

Ні. Параметрів немає; кожна сторінка видобувається з повним текстом і метаданими. Розбиття на частини робіть у власному конвеєрі, де можна вибрати розміри, що підходять вашій моделі вбудовування, і там же відкидайте непотрібні сторінки.

Так. Якщо файл зашифровано, пароль запитується перед початком видобування, а текст береться з розшифрованої копії.

Ні. Попри назву, нічого не надсилається постачальнику ШІ чи будь-якому серверу; видобування виконує PyMuPDF, скомпільований у WebAssembly, у вашому браузері. Куди піде JSON, ви вирішуєте самі після цього.

Подайте його в конвеєр RAG, створіть базу знань для чат-бота, запустіть аналіз звітів за допомогою LLM або перетворіть колекцію PDF на навчальні дані. Оскільки вміст розбито за сторінками з метаданими, відповіді можуть вказувати на сторінку, з якої вони походять.