AI用のPDFを準備する

LlamaIndexのドキュメントスキーマに従い、1ページにつき1つのドキュメントで、そのページのテキストとメタデータのフィールドを持ちます。PyMuPDFのLlamaIndex連携で生成されるため、LlamaIndexや、ページごとのテキストとメタデータを受け付けるパイプラインにそのまま読み込めます。

PDFをテキストに変換は1本のプレーンテキストを出力し、PDFをMarkdownに変換は見出しや構造を保って読みやすくします。このツールは内容をページごとに分け、メタデータ付きの構造化JSONにまとめます。これは、検索パイプラインがチャンク分割や出典の引用に必要とする形式です。

すでにテキストレイヤーがある場合のみです。スキャンした画像は空に近い出力になるため、まずOCR PDFを実行してから抽出してください。

はい。複数のファイルをアップロードすると、PDFごとにyourfile_llm.jsonを1つずつ含むpdf-for-ai.zipが作られ、1つのファイルならyourfile_llm.jsonとして直接ダウンロードされます。バッチ内の1つのファイルが失敗しても残りは完了し、概要に失敗した数が表示されます。

いいえ。オプションはなく、すべてのページが全文とメタデータ付きで抽出されます。チャンク分割はご自身のパイプラインで行い、埋め込みモデルに合ったサイズを選び、不要なページもそこで除外してください。

はい。ファイルが暗号化されている場合は、抽出を始める前にパスワードの入力を求められ、復号したコピーからテキストが取り出されます。

いいえ。名前とは違い、AIプロバイダーやサーバーには何も送信されません。抽出はブラウザ内でWebAssemblyにコンパイルされたPyMuPDFが行います。JSONをどこで使うかは、その後でご自身が決められます。

RAGパイプラインへの入力、チャットボット用のナレッジベースの構築、レポートに対するLLM分析、PDFコレクションの学習データ化などに使えます。内容がメタデータ付きでページごとに分かれているため、回答が元のページを指し示せます。