pdf-inspector 完全ガイド：Firecrawl 発の高性能 Rust PDF パースエンジン

[dependencies]
pdf-inspector = "0.2"

cargo add pdf-inspector

pip install maturin
git clone https://github.com/firecrawl/pdf-inspector.git
cd pdf-inspector
maturin develop --release

npm install @firecrawl/pdf-inspector

npm install @firecrawl/pdf-inspector-wasm

import pdf_inspector

# 単一PDFファイルを処理
result = pdf_inspector.process_pdf("document.pdf")

# PDFタイプの分類を確認
print(f"PDF タイプ: {result.pdf_type}")
# 出力: "text_based", "scanned", "image_based", または "mixed"

# Markdown 出力を取得
if result.markdown:
    print(result.markdown)

const { processPdf } = require('@firecrawl/pdf-inspector');
const fs = require('fs');

async function analyzePdf(filePath) {
  const pdfBuffer = fs.readFileSync(filePath);
  const result = await processPdf(pdfBuffer);

  console.log('PDF タイプ:', result.pdfType);
  console.log('信頼度:', result.confidence);
  console.log('--- Markdown 出力 ---');
  console.log(result.markdown);
}

analyzePdf('report.pdf');

use pdf_inspector::{PdfInspector, ProcessPdfResult};

fn main() -> Result<(), Box<dyn std::error::Error>> {
    let inspector = PdfInspector::new();
    let result: ProcessPdfResult = inspector.process_pdf_path("document.pdf")?;

    println!("PDF タイプ: {:?}", result.pdf_type);
    println!("信頼度: {:.2}", result.confidence);

    if let Some(markdown) = result.markdown {
        println!("Markdown:\n{}", markdown);
    }

    Ok(())
}

import pdf_inspector
# 独自の OCR 関数がある前提
def smart_pdf_pipeline(pdf_path, ocr_function):
    result = pdf_inspector.process_pdf(pdf_path)

    if result.pdf_type == "text_based":
        # ネイティブテキスト、直接抽出——高速、無料、正確
        print("✅ ネイティブテキストPDF、直接抽出")
        return result.markdown

    elif result.pdf_type == "scanned":
        # スキャン済み、OCR を呼び出し
        print("🔍 スキャン済みPDF、OCR を呼び出し")
        return ocr_function(pdf_path)

    elif result.pdf_type == "mixed":
        # 混合型——ページ単位で処理
        print("📄 混合型PDF、ページ単位でルーティング")
        pages = []
        for page_info in result.page_results:
            if page_info.needs_ocr:
                pages.append(ocr_function_for_page(pdf_path, page_info.page_number))
            else:
                pages.append(page_info.markdown)
        return "\n\n".join(pages)

    else:
        # 純画像型、テキスト抽出不可
        print("❌ 画像型PDF、テキスト抽出不可")
        return None

# Deep Learning Approaches for Natural Language Processing

## 1. Introduction

Natural language processing (NLP) has seen remarkable progress in recent years...

### 1.1 Background

The transformer architecture, introduced by Vaswani et al., has become...

## 2. Methodology

| Model | BLEU Score | Training Time |
|-------|-----------|---------------|
| Transformer | 38.2 | 12 hours |
| BERT | 41.0 | 24 hours |
| GPT-4 | 45.7 | 72 hours |

## 3. Results

The experimental results demonstrate...

> **Note:** All experiments were conducted on...

result = pdf_inspector.process_pdf("newspaper.pdf")

# pdf-inspector が 2カラム/3カラムレイアウトを自動検出
# 上から下、左から右の正しい順序で出力
print(result.markdown)

# pdf_service.py
import os
import json
from datetime import datetime
import pdf_inspector

class PdfProcessingService:
    def __init__(self, output_dir="./processed"):
        self.output_dir = output_dir
        os.makedirs(output_dir, exist_ok=True)

    def process_batch(self, pdf_files):
        """PDF ファイルを一括処理"""
        results = []
        for pdf_path in pdf_files:
            result = self.process_single(pdf_path)
            results.append(result)
        return results

    def process_single(self, pdf_path):
        """単一 PDF ファイルを処理"""
        filename = os.path.basename(pdf_path)
        pdf_result = pdf_inspector.process_pdf(pdf_path)

        # メタ情報を抽出
        metadata = {
            "filename": filename,
            "pdf_type": pdf_result.pdf_type,
            "confidence": pdf_result.confidence,
            "processed_at": datetime.now().isoformat(),
            "pages_count": len(pdf_result.page_results) if hasattr(pdf_result, 'page_results') else 0,
            "needs_ocr": pdf_result.pdf_type in ("scanned", "image_based"),
        }

        # Markdown 出力を保存
        if pdf_result.markdown:
            md_filename = filename.replace(".pdf", ".md")
            md_path = os.path.join(self.output_dir, md_filename)
            with open(md_path, "w", encoding="utf-8") as f:
                f.write(pdf_result.markdown)
            metadata["markdown_path"] = md_path

        # メタ情報を保存
        meta_path = os.path.join(
            self.output_dir,
            filename.replace(".pdf", ".meta.json")
        )
        with open(meta_path, "w", encoding="utf-8") as f:
            json.dump(metadata, f, ensure_ascii=False, indent=2)

        return metadata

# 使用例
service = PdfProcessingService(output_dir="./output")

# 一括処理
pdf_files = [
    "contracts/contract_2026_001.pdf",
    "invoices/invoice_aug_2026.pdf",
    "reports/q2_financial_report.pdf",
]

results = service.process_batch(pdf_files)
for r in results:
    status = "OCR 必要" if r["needs_ocr"] else "直接抽出済み"
    print(f"{r['filename']}: {r['pdf_type']} ({status})")

import pdf_inspector
# OpenAI 互換 API を使用すると仮定
from openai import OpenAI

def analyze_pdf_with_llm(pdf_path, prompt="このドキュメントの主要内容をまとめて"):
    """LLM で PDF コンテンツを分析"""
    # 1. pdf-inspector で Markdown を抽出
    result = pdf_inspector.process_pdf(pdf_path)

    if not result.markdown:
        return "テキストコンテンツを抽出できませんでした。OCR が必要な可能性があります"

    # 2. ドキュメントが長い場合、最初の 8000 文字に切り取り
    markdown_content = result.markdown[:8000]

    # 3. LLM を呼び出して分析
    client = OpenAI(api_key="YOUR_API_KEY")
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": "あなたはドキュメント分析アシスタントです。"},
            {"role": "user", "content": f"以下のドキュメントコンテンツに基づいて{prompt}：\n\n{markdown_content}"}
        ]
    )

    return response.choices[0].message.content

# 使用例
summary = analyze_pdf_with_llm("annual_report.pdf", "主要な財務指標を抽出して")
print(summary)