آماده‌سازی PDF برای هوش مصنوعی

از طرح‌واره سند LlamaIndex پیروی می‌کند: برای هر صفحه یک سند، با متن همان صفحه و فیلدهای فراداده. خروجی توسط یکپارچه‌سازی LlamaIndex در PyMuPDF تولید می‌شود، پس می‌توان آن را مستقیم در LlamaIndex یا هر خط‌لوله‌ای که متن هر صفحه را همراه با فراداده می‌پذیرد بارگذاری کرد.

PDF به متن یک جریان متن ساده می‌دهد و PDF به Markdown سرتیترها و ساختار را برای مطالعه حفظ می‌کند. این ابزار محتوا را صفحه‌به‌صفحه جدا می‌کند و آن را همراه با فراداده در JSON ساختاریافته قرار می‌دهد؛ همان چیزی که خط‌لولهٔ بازیابی برای تکه‌تکه کردن و ارجاع به منبع لازم دارد.

فقط اگر لایهٔ متنی داشته باشند. تصاویر اسکن‌شده خروجی خالی یا تقریباً خالی می‌دهند، پس ابتدا آن‌ها را با OCR PDF پردازش کنید و سپس استخراج کنید.

بله. چند فایل بارگذاری کنید تا pdf-for-ai.zip را دریافت کنید که برای هر PDF یک فایل yourfile_llm.json دارد؛ یک فایل تکی مستقیم به‌صورت yourfile_llm.json دانلود می‌شود. اگر یکی از فایل‌های گروه ناموفق باشد، بقیه کامل می‌شوند و خلاصه می‌گوید چند فایل ناموفق بوده است.

خیر. گزینه‌ای وجود ندارد؛ هر صفحه با متن کامل و فراداده‌اش استخراج می‌شود. تکه‌تکه کردن را در خط لولهٔ خودتان انجام دهید، جایی که می‌توانید اندازه‌هایی متناسب با مدل embedding خود انتخاب کنید و صفحه‌های غیرضروری را حذف کنید.

بله. اگر فایل رمزگذاری شده باشد، پیش از شروع استخراج گذرواژه از شما پرسیده می‌شود و متن از نسخهٔ رمزگشایی‌شده برداشته می‌شود.

خیر. با وجود نام، چیزی به ارائه‌دهندهٔ هوش مصنوعی یا هیچ سروری ارسال نمی‌شود؛ استخراج با PyMuPDF کامپایل‌شده به WebAssembly داخل مرورگر شما اجرا می‌شود. بعداً خودتان تصمیم می‌گیرید JSON کجا برود.

آن را به یک خط‌لولهٔ RAG بدهید، پایگاه دانش برای چت‌بات بسازید، تحلیل LLM روی گزارش‌ها انجام دهید یا مجموعه‌ای از PDFها را به داده‌های آموزشی تبدیل کنید. چون محتوا همراه با فراداده صفحه‌به‌صفحه جدا می‌شود، پاسخ‌ها می‌توانند به صفحه‌ای که از آن آمده‌اند اشاره کنند.