工作要效率，大数据时代，获取信息也要效率，只用不断的造轮子，才能不断的提高效率，今天介绍一下一款可以直接从pdf格式的文档中提取表格中数据的工具，Camelot！！！
一、Camelot的介绍和安装
1. Camelot介绍
Camelot: 一个友好的PDF表格数据抽取工具
一个python命令行工具，使任何人都能很轻松的从PDF文件中抽取表格数据。
使用Camelot从PDF文档提取数据非常简单
Camelot允许你通过调整设置项来精确控制数据的提取过程
可以根据空白和精度指标来判断坏的表格，并丢弃，而不必手动检查
每一个表格数据是一个panda的dataframe，从而可以很方便的集成到ETL和数据分析工作流中
可以把数据导出为各种不同的格式比如CSV、JSON、EXCEL、HTML
2. Camelot的安装
camelot有三种安装方式：
pip 安装
conda安装
源码安装
pip 安装
pip install camelot-py[cv]
conda安装
conda install -c conda-forge camelot-py
源码安装
git clone https://www.github.com/socialcopsdev/camelot cd camelot pip install ".[cv]"
注意：
如果后面导入camelot库包的时候，出现错误，可能是缺少Ghostscript包，用pip 安装即可。
3. 其他
源码参考文档： https://github.com/socialcopsdev/camelot 使用文档： https://camelot-py.readthedocs.io/en/master/
二、Camelot的使用
1. 快速入门使用
从一个pdf文件中提取出表格：
>>> import camelot>>> tables = camelot.read_pdf('foo.pdf')>>> tables<TableList n=1>>>> tables.export('foo.csv', f='csv', compress=True) # json, excel, html>>> tables[0]<Table shape=(7, 7)>>>> tables[0].parsing_report{ 'accuracy': 99.02, 'whitespace': 12.24, 'order': 1, 'page': 1}>>> tables[0].to_csv('foo.csv') # 也可以提取成其他格式 to_json, to_excel, to_html>>> tables[0].df # 获取一个pandas DataFrame!2. 详细说明
上面的例子的说明： 1、创建一个表格对象
>>> tables = camelot.read_pdf('foo.pdf')>>> tables<TableList n=1> # 只检测到一个表格默认情况下，Camelot仅使用PDF的第一页来提取表。要指定多个页面，可以使用pages关键字参数：
>>> camelot.read_pdf('your.pdf', pages='1,2,3')也可以使用命令行执行相同的操作
camelot --pages 1,2,3 lattice your.pdf
该pages关键字参数接受页面页码的逗号分隔的字符串。还可以指定页面范围 - 例如，pages=1,4-10,20-30或pages=1,4-10,20-end。
注意：
如果pdf文件是加密的表格，需要加入password参数，值为解密密码
>>> tables = camelot.read_pdf('foo.pdf', password='userpass')>>>tables<TableList n=1>命令行：
camelot --password userpass lattice foo.pdf
目前，Camelot仅支持使用ASCII密码和算法代码1或2加密的PDF 。如果无法读取PDF，则抛出异常。这可能是由于未提供密码，密码不正确或加密算法不受支持。
2、查看表的形状（行和列），通过表格索引查看 我们可以使用其索引访问每个表。从上面的代码片段中，我们可以看到该tables对象只有一个表，因为n=1。让我们使用索引访问该表0并查看它shape。
>>> tables[0]<Table shape=(7, 7)>
3、打印解析报告。
>>> print tables[0].parsing_report{ 'accuracy': 99.02, 'whitespace': 12.24, 'order': 1, 'page': 1}从解析的参数的评价标准可以得出，其准确性是很好的，空白较少，这意味着表格最有可能被正确提取。可以使用table对象的df属性将表作为pandas DataFrame访问。
4、打印出提取表格中的内容 数据格式是pandas DataFrane，因此用df访问
>>> tables[0].df
5、导出表格中的内容 可以使用其to_csv()方法将表导出为CSV文件。或者可以使用to_json()，或方法表分别导出为JSON格式，Excel，HTML文件或SQLite数据库。方法如下：
to_csv()
to_json()
to_excel()
to_html()
to_sqlite()
>>> tables[0].to_csv('foo.csv')上面的1~5 步骤都可以通过命令行直接完成。
>>> tables = camelot.read_pdf('foo.pdf')>>> tables<TableList n=1> # 只检测到一个表格0使用的pdf例子的传送门：-->here
3. camelot两种表格解析（提取）方法
1、流解析（stream）
Stream可用于解析在单元格之间具有空格的表，以模拟表结构。它建立在PDFMiner的功能之上，即使用边距将页面上的字符分组为单词和句子。
PDF页面上的单词根据其y轴重叠分组为文本行。
计算文本，然后用于猜测PDF页面上有趣的表区域。您可以阅读Anssi Nurminen的硕士论文，以了解有关此表检测技术的更多信息。[见第20,35和40页]
然后猜测每个表区域内的列数。这是通过计算每个文本行中的单词数模式来完成的。基于此模式，选择每个文本行中的单词以计算列x范围的列表。
然后使用位于当前列x范围内/外的单词来扩展当前列列表。
最后，使用文本行的y范围和列x范围形成表格，并且页面上找到的单词基于其x和y坐标分配给表格的单元格。
2、格子解析（lattice）
格子本质上更具有确定性，并且它不依赖于猜测。它可用于解析在单元格之间划分了行的表，并且它可以自动解析页面上存在的多个表。
它首先使用ghostscript将PDF页面转换为图像，然后通过使用OpenCV应用一组形态变换（侵蚀和膨胀）来处理它以获得水平和垂直线段。
下面介绍处理的步骤： 1、检测分割线段
2、通过重叠检测到的线段并叠加"和"它们像素强度来检测线的交叉点。
3、通过再次重叠检测到的线段来计算表边界，这次是“或”它们的像素强度。
4、由于PDF页面的尺寸及其图像不同，因此检测到的表格边界，线条交叉点和线段将缩放并转换为PDF页面的坐标空间，并创建表格的表示。
5、使用线段和线交叉检测生成单元。 6、最后，页面上找到的单词将根据其x和y坐标分配给表格的单元格
三、高级使用
1. 处理背景线
1. 处理背景线
2. 可视调试
3. 指定表区域
4. 指定列表分隔符
5. 沿分隔符拆分文本
6. 标记上标和下表
7. 从文本中删除字符
8. 改善猜测的表区域
9. 改进猜测的表行
10. 检测短线
11. 在生成单元格中移动文本
12. 复制跨越单元格中的文本
13. 调整布局生成
四、命令行的使用
用 camelot --help 查看Camelot 参数使用:
参数说明：
原文：https://juejin.cn/post/7095558424003346439