olmOCR是由 Allen Institute for AI 开发的开源工具,旨在高效、准确地将PDF文档转换为结构化的纯文本格式。它结合了文档锚定(document-anchoring)技术和先进的视觉语言模型(VLM),能够处理多种类型的PDF文档,包括学术论文、书籍、表格、图表和手写内容。
olmOCR功能特点:
1、高效文档转换:
olmOCR 能够将 PDF 文档转换为干净的结构化纯文本,同时保留文档的结构化内容,如章节、表格、列表和公式。
2、支持多种文档类型:
适用于不同领域的 PDF 文档,包括学术论文、法律文件、宣传册、图表和扫描文档。
3、文档锚定技术:
通过提取文档中的文本块和图像位置信息,与原始文本结合形成提示(prompt),显著提高内容提取的准确性和结构化信息的保留。
4、大规模处理能力:
优化了推理流程,支持从单个文档到百万级页面的批量处理,处理成本极低(每百万页仅需 190 美元),远低于其他商业解决方案。
5、开源与可扩展性:
所有组件(包括模型权重、数据和训练代码)均已开源,支持多种推理框架(如 vLLM 和 SGLang),便于用户扩展和定制。
6、鲁棒性增强:
自动处理提取失败或重复生成的问题,自动检测页面方向并进行旋转校正,确保内容正确提取。
7、低成本与高性能:
olmOCR 的处理成本仅为 GPT-4o 的 1/32,并且在大规模并行处理时表现出色,能够灵活扩展到不同硬件配置。
olmOCR项目github网址:
GitHub仓库地址:https://github.com/allenai/olmocr