Przygotuj PDF dla AI

Korzysta ze schematu dokumentów LlamaIndex: jeden dokument na stronę, z tekstem tej strony i polami metadanych. Jest tworzony przez integrację PyMuPDF z LlamaIndex, więc można go wczytać bezpośrednio do LlamaIndex lub dowolnego potoku, który przyjmuje tekst stron z metadanymi.

PDF na tekst daje jeden ciągły strumień zwykłego tekstu, a PDF na Markdown zachowuje nagłówki i strukturę na potrzeby czytania. To narzędzie dzieli zawartość strona po stronie i pakuje ją w uporządkowany JSON z metadanymi, czego potrzebują potoki wyszukiwania do dzielenia na fragmenty i cytowania źródeł.

Tylko jeśli mają już warstwę tekstową. Zeskanowane obrazy dają puste lub prawie puste wyniki, więc najpierw użyj OCR PDF, a potem wyodrębnij tekst.

Tak. Wgraj kilka plików, a otrzymasz pdf-for-ai.zip zawierający po jednym pliku yourfile_llm.json dla każdego PDF. Pojedynczy plik pobiera się bezpośrednio jako yourfile_llm.json. Jeśli jeden plik z partii się nie powiedzie, pozostałe i tak zostaną przetworzone, a podsumowanie pokaże, ile się nie udało.

Nie. Nie ma opcji, każda strona jest wyodrębniana z pełnym tekstem i metadanymi. Dziel na fragmenty we własnym potoku, gdzie możesz wybrać rozmiary pasujące do modelu embeddingów, i tam odrzucaj niepotrzebne strony.

Tak. Jeśli plik jest zaszyfrowany, przed rozpoczęciem wyodrębniania pojawia się prośba o hasło, a tekst jest pobierany z odszyfrowanej kopii.

Nie. Mimo nazwy nic nie jest wysyłane do dostawcy AI ani na żaden serwer. Wyodrębnianie działa z PyMuPDF skompilowanym do WebAssembly w przeglądarce. Później sam decydujesz, dokąd trafi JSON.

Użyj go w potoku RAG, zbuduj bazę wiedzy dla chatbota, uruchom analizę raportów przez LLM albo zamień kolekcję PDF-ów w dane treningowe. Ponieważ treść jest podzielona na strony wraz z metadanymi, odpowiedzi mogą wskazywać stronę, z której pochodzą.