背景
PDF(Portable Document Format)是一种广泛用于文档交换的文件格式,由Adobe Systems开发。它具有跨平台性、固定布局和易于打印等特点,因此在商业、学术和个人领域广泛应用。然而,PDF文件的解析一直是一个具有挑战性的问题,因为其内部结构的复杂性和多样性,使得提取其中的文本、图片和表格等内容并不是一件容易的事情。
技术方案
在目前的PDF文件解析领域中,我们可以将其大致分为以下几类技术方案:
- LLM/视觉大模型解析:LLM(Large Language Model)大型语言模型在近年来的发展中,展现出了强大的语言理解和生成能力。通过训练大规模的神经网络,可以实现对PDF文件中文字内容的理解和提取,这种方法尤其适用于那些布局复杂、内容丰富的PDF文件。
- OCR模型:光学字符识别(OCR)模型专门设计用于将PDF文件中的图像转换为可编辑的文本。这种技术在处理扫描版或图像化的PDF文档时尤其有用。
- 传统规则提取:传统的PDF解析方式可能包括基于规则的文本提取、图像处理和表格识别等方法。虽然这些方法可能不如深度学习模型那样灵活,但在某些情况下仍然是有效的选择。
各个解决方案目前可能需要配合使用,因为PDF格式本身的复杂程度,一项技术方案可能是无法100%满足业务需求的,这里面需要考虑的是:
- 文档提取还原度:通过技术手段,能够完整的提取PDF中的各项元素,包括文本、表格、图片、链接、图形、目录等等信息
- 高效/💰成本:在RAG知识库问答的产品中,考虑到文本还需要Embedding的过程,因此在提取过程中如何更高效,成本更低也是需要着重考虑到事项。
- 稳定/幂等:我们知道大模型可能是出现幻觉的,如果用大模型来提取PDF中的内容,是否能足够保证稳定性。
当我们处理解析PDF时,我们需要可以讲每一项的难点都进行拆分,从需求出发,逐一进行攻破,找到解决方案。
其实我觉得技术人员如果能通过技术手段确定PDF中的Block(块)以及阅读顺序,按Block(块)进行输出转换(Markdown/Html等),这里面包括的Block块元素:文本、图片、表格等等。那么这个提取的效果就会达到我们的最优。
而这个目标是我们接下来要重点讨论的。
技术难点
在考虑解析PDF文件时,我们需要根据当前的技术栈发展情况,并结合实际的业务诉求,综合考量这其中的技术难点,因为每一项技术难点所涉及的技术方案都会需要一个算法/或者技术手段去突破。
而开发者从解析的效果去考虑,可以从简单的做起,逐步突破难点,这对于开发人员自身的自信心提升也是一种正向的导向。在整个PDF解析过程中,我觉得以下几项是比较难处理的:
- 布局解析困难:PDF文件的布局可能会因为不同的作者、工具或用途而有所不同,因此解析其布局是一个具有挑战性的任务。
- 格式错综复杂:PDF文件中可能包含各种格式的内容,包括文字、图像、表格等,因此解析其内容需要考虑到这种多样性和复杂性。
- 复合表格:纵向/横向合并的复杂表格,在PDF中进行抽象还原是最难处理的问题之一
- 文本、图片、表格顺序提取:提取PDF文件中的文本、图片和表格,并确保它们的顺序正确性,是一个需要解决的重要问题。
- 文档结构还原:还原PDF文件的文档结构,包括标题、目录等信息,是实现自动化文档处理和理解的关键步骤之一。
- 元素重叠:从PDF100%效果还原的角度考虑,图片/文本之间的重叠,图片合并,合并后不失真等,也是需要考虑的事项之一
- 元数据提取:在PDF中隐藏的元数据信息是RAG产品的关键数据,比如链接、目录、字体等等
- 扫描件:PDF中如果是扫描件,依靠OCR模型可能是无法有效的提取,这里面包含了清晰度、模型的稳定性等等问题
- Latex公式提取:在一些特殊领域,PDF文本中包含了Latex等数学公式。通过完整的提取和转换是对RAG问答的有效补充
技术可行性
我们从解析PDF的技术可行性角度,考虑哪些方面值得我们重点关注和突破:
- 文字提取能力,逐行提取:确保能够准确地提取PDF文件中的文字内容,并按照正确的顺序进行排列和输出,避免文字乱码(字体)。
- 简单/复杂表格完整提取:对PDF文件中的表格进行完整提取,包括表格内的内容和格式。
- 图片提取/合并:提取PDF文件中的图片,并保留其原始质量和格式。
- 文档布局(Block块的标识)识别:识别PDF文件的布局,包括页面的排列方式、文本和图片的位置等信息。
- 文档结构识别(标题、目录),内容顺序输出:识别PDF文件的结构,包括标题、目录等信息,并确保输出内容的顺序正确。
- 转换为Markdown格式:将解析后的PDF文件内容转换为Markdown格式,以便于后续的处理和分享。
开源技术方案
结合上面的技术难点/方案及可行性上去分析,我们可以看看目前开源的技术组件中,有哪些是我们可以考虑进行结合的。
因为目前TorchV系统主要以Java+Python双语作为底层的应用开发语言,接下来我们可以看看在这两个编程语言中,有哪些开源的方案可以使用。
Java生态
在Java生态中,对于PDF组件处理的开源方案不多见,Apache PDFBOX是当前最强的,也是最好的
名称 | 地址 | 说明 |
---|---|---|
Apache PDFBox | https://github.com/apache/pdfbox | 提供开箱即用的文本、图片内容提取方式,并且可以基于Stream接口重写各项元素的解析实现,并能输出元素的坐标信息。开发者可以根据元素的坐标信息结合算法进行内容的高度还原。唯一的缺点是没有表格组件提取的API供开发人员使用。 |
tabula-java | https://github.com/tabulapdf/tabula-java | 基于Apache PDFBOx组件的表格提取实现 |
Python生态
Python生态的PDF提取组件还是蛮多的,不过也是有不同的侧重,比如pdfplumber、camelot等都专注在表格的提取上,提供了开箱即用的方案。
名称 | 地址 | 说明 |
---|---|---|
pypdf | https://github.com/py-pdf/pypdf | 一个纯Python PDF库,能够分割、合并、裁剪和转换PDF文件的页面 |
PyMuPDF(AGPL) | https://github.com/pymupdf/PyMuPDF | 高性能 Python 库,用于 PDF(和其他)文档的数据提取、分析、转换和操作。 |
pdfplumber(MIT) | https://github.com/jsvine/pdfplumber | 查看 PDF 以获取有关每个字符、矩形、线条等的详细信息,并轻松提取文本和表格。 |
camelot(MIT) | https://github.com/camelot-dev/camelot | 专注于PDF中表格的提取,包括复杂的表格 |
OCR生态/大模型
在上面Python和Java生态库的开源组件,基本都是针对文字的PDF处理为主,当我们的PDF是扫描件时,那上面的组件统统失效,都提取不出来文本信息。
此时就需要用到OCR的模型进行提取。
考虑到如果是OCR提取,那么最终的目的是将PDF文件Page页码内容提取出完成的图片Image,所以本质上是对图片内容的理解
可以考虑的开源组件如下:
名称 | 地址 | 说明 |
---|---|---|
marker(GPL) | https://github.com/VikParuchuri/marker | 基于模型将PDF文件内容提取为Markdown格式 |
surya(GPL) | https://github.com/VikParuchuri/surya | OCR、布局分析、阅读顺序、线条检测(支持90 多种语言) |
tesseract(Apache 2) | https://github.com/tesseract-ocr/tesseract | 老牌OCR组件,支持100多种语言 |
RapidOCR(Apache) | https://github.com/RapidAI/RapidOCR | 基于 ONNXRuntime、OpenVION 和 PaddlePaddle 的出色 OCR 多种编程语言工具包。 |
PaddleOCR(Apache) | https://github.com/PaddlePaddle/PaddleOCR | 基于飞桨的出色多语言OCR工具包(实用的超轻量级OCR系统,支持80+语言识别) |
EasyOCR(Apache ) | https://github.com/JaidedAI/EasyOCR | Python\C++开发,支持80多种语言OCR识别 |
技术准备/细节
在解析PDF时,我们也会有一些其他方面的知识储备,以便我们快速应对不同的业务需求及应用产品形态。
1、图形类API:不管是Java还是Python里面,对于处理PDF中间件的部分,都需要对图形类的API/算法熟悉和掌握,这里面包含图形的转换、缩放、矩阵坐标、截取等等,都会在PDF提取的过程中使用到。
2、PDF标准:在处理PDF中,结合开源的技术中间件,对于PDF的ISO标准,我们也是需要了解的,这样更加有利于开发人员理解中间件的代码写法及含义。
3、边/线/矩阵算法等:对于文本/边框的聚类算法等,在根据元素坐标高效还原时,利用高效的算法可以提高解析速度以及内容还原度
4、OCR/LLM模型等:了解学习在用OCR/LLM模型分析布局、边界检测等等技术上的一些算法及数据工程上的实践
5、PDF页面旋转:有时候原PDF可能会有旋转(0、90、180、270度),需先校正后,再次提取内容
6、字体/乱码:系统/服务器中缺失PDF中的字体,导致文本提取乱码
最后
本文从大的方面简单概括了在PDF解析处理过程中的技术方案/难点/开源技术方案等内容,后面我会从一些细节方面来逐一分享我们在构建TorchV产品时,解析PDF文件过程中的一些问题及技术实践,包括对表格的提取,感兴趣的可以关注我们😁。
另外,我们团队提供了一个PDF解析的Demo地址,针对文本类的PDF(暂时不支持扫描件),可以进行试用体验。