OpenDataLoader 简介
OpenDataLoader 是一个面向 AI 文档处理的开源 PDF 解析工具（由 Hancom 相关团队开源维护）。它的核心使命是将 PDF 等非结构化文档，精准地转换为最适合大语言模型（LLM）和 RAG（检索增强生成）系统读取的结构化数据（如 Markdown、JSON、HTML）。
核心定位：
Markdown / JSON$\rightarrow$RAG 知识库 / AI Agent 输入
为什么选择 OpenDataLoader？
传统 PDF 转文本工具（或普通 OCR）常常会遇到以下痛点，而 OpenDataLoader 针对这些场景进行了深度优化：
- 多栏排版错乱：自动识别双栏或多栏论文、报纸，保持正确的阅读顺序，避免左右内容混在一起。
- 表格信息丢失：支持精准解析普通表格、复杂表格及无边框表格，并将其完美还原为 Markdown 表格。
- 坐标信息缺失：输出元素类型、页码的同时，附带精确的坐标位置（Bounding Box），方便 AI 引用溯源。
- 扫描件支持：内置强大的 OCR 技术，支持多语言扫描版 PDF 的文字提取。
核心功能特性
1. 高质量 PDF 转 Markdown
将 PDF 的标题层级、正文、列表、代码块等完美转化为标准的 Markdown 语法，方便直接喂给 ChatGPT、Claude 或向量数据库。
2. 结构化 JSON 输出
这是 OpenDataLoader 区别于传统工具的核心优势。它可以输出包含元素类型、页码、坐标坐标的 JSON 数据：
JSON
{
"type": "table",
"page": 3,
"bbox": [100, 200, 500, 600],
"text": "..."
}
3. 完美的 RAG 流程适配
在构建企业知识库时，它的工作流如下：
PDF 文件⟶OpenDataLoader (解析)⟶Markdown / JSON⟶Embedding (向量化)⟶向量数据库⟶AI 问答
工具对比：OpenDataLoader vs Marker
| 特性 / 指标 | OpenDataLoader | Marker |
|---|---|---|
| PDF 转 Markdown | ✅ 支持极佳 | ✅ 支持极佳 |
| 表格恢复能力 | ✅ 极其出色 | ✅ 表现良好 |
| OCR 扫描支持 | ✅ 支持 | ✅ 支持 |
| JSON 结构化 | ⭐⭐⭐⭐⭐ (原生支持良好) | ⭐⭐⭐ (相对有限) |
| 坐标信息 (BBox) | ✅ 精确提供 | ⚠️ 较为有限 |
| RAG 场景适配度 | ⭐⭐⭐⭐⭐ (极佳) | ⭐⭐⭐⭐ (优秀) |
| 本地运行 | ✅ 支持 | ✅ 支持 |
| 核心开发语言 | Java (核心) / Python (包装) | Python |
| 开源协议 | Apache 2.0 (商业友好) | GPL / 其他协议 |
快速上手与安装
OpenDataLoader 提供了简单易用的 Python 接口：
安装命令
Bash
pip install opendataloader-pdf
Python 使用示例
Python
import opendataloader_pdf
# 一键转换 PDF 为 Markdown 和 JSON
opendataloader_pdf.convert(
input_path=["test.pdf"],
output_dir="output/",
format="markdown,json"
)
输出目录结构：
Plaintext
output/
├── test.md # 转换后的 Markdown 文件
├── test.json # 包含结构与坐标的 JSON 文件
└── images/ # 提取出的图片目录
适用场景
- 企业 AI 知识库构建：批量处理合同、产品手册、财务报告、技术规范，为 RAG 系统提供高质量语料。
- 学术论文整理：解析双栏 arXiv 论文、技术白皮书，保持严谨的阅读顺序与公式/表格结构。
- 内容创作与博客迁移：将现有的 PDF 资料一键转换为 Markdown，便于二次编辑与网络发布。
使用说明
解压zip，双击start.bat
等待终端启动，等待加载完成
自动打开浏览器webui
选择自己的pdf文件，或者示例pdf文件，点击转换
输出的结果，可以在网页右侧查看和复制，也可以在output文件夹查看
Tips
点击此处 网盘下载
和Marker一样，也是解析pdf为md之类，也是cpu可用，同样的github star也不错，据ai整理对比，相对比Marker更有优势
我简单使用官方的示例pdf以及解析为md，json，html测试了以下
首先文字基本都能正常解析，但是图片的引用有问题，没有正常引用到md，其次代码和公式，解析好像比较错乱，不知道是md查看的问题，还是md解析的问题，表格也是一样，没有达到预期的效果