这项由阿联酋东说念主工智能大学（MBZUAI）与IBM筹商院接续开展的筹商，以预印本面容于2026年5月12日发布在arXiv平台，论文编号为arXiv:2605.12623。有利思意思深入了解的读者可通过该编号查阅好意思满论文。

**一、 故事从一说念"翻译难题"提及**

假定你手边有一份泰语的法律合同、一份阿拉伯语的学术文告、再加上一份用缅甸文写成的医疗记载。你想让电脑帮你把这些文献里的翰墨、表格、图表全部准确索取出来，最佳连版面结构也一并保留。听起来不难？执行上，这恰是面前东说念主工智能领域最辣手的问题之一。

现存的文档剖析系统在英语上进展绝顶出色，但一朝碰到资源匮乏的小语种，准确率就会断崖式下降——就怕以致跌去40%到60%。变成这一逆境的根柢原因，在于老练数据严重短缺。莫得豪阔的标注数据，再聪慧的模子也无从学起。

更辣手的是，现存的数据制作方式自身就存在恶性轮回：要么靠东说念主工标注，费时劳苦，根柢无法笼罩几十种言语；要么靠已有的AI模子自动打标签，但这些模子自身就对英语有偏见，它们给出的标注相通带着偏见，用这些数据老练出来的下一代模子，偏见只会有增无减。这就好比一个只读过华文牍的老诚，你让他去教养生认日文，他教出来的学生当然也只会华文。

恰是为了冲破这个死轮回，阿联酋东说念主工智能大学和IBM筹商院的接续团队冷落了DocAtlas——一套全新的多言语文档剖析框架，想法是让机器信得过读懂来自宇宙各地的文献，笼罩82种言语、9种不同任务。

**二、 传统作念法的三条死巷子**

要剖析DocAtlas的价值，得先搞明晰前东说念主是如何作念的，以及为什么作念不下去。

第一种作念法是东说念主工标注。筹商东说念主员把文档打印出来（大约在屏幕上），然后东说念主工框出每一段翰墨、每一张表格、每一个标题，告诉机器"这是段落""那是表格"。这种方式质地最高，但代价极其兴奋。一个东说念主一天能标注若干页？一个团队能笼罩若干种言语？FUNSD这个经典数据集只好199份文档，只相沿一种言语，XFUND扩张到7种言语，也只好1300份。关于82种言语来说，东说念主工标注根柢是杯水舆薪。

第二种作念法是合成生成。既然真实文档难以标注，那就我方造文档吧——把翰墨放在预设好的位置上，位置自身即是标注。这种方式省去了东说念主工，但造出来的文档太"假"，缺少嵌套表格、混排图文这些真实宇宙里常见的复杂结构，老练出来的模子一碰到真实文献就懵了。

第三种作念法是让AI模子自动打标签。用一个已有的布局检测模子，扫描文档图片，框出各个区域，再贴上标签。这看似省事，却引入了前边说的恶性轮回——模子的偏见成功玷辱了标注数据。DocBank即是这样作念的，领有50万份文档，但标注质地受制于检测模子的才智上限。

筹商团队还提到了另一条路：渲染驱动的标注要领。已有的WordScape名目就沿着这个想法走，从Common Crawl（一个笼罩全球网页内容的超大型数据库）里合手取Word文档，通过给文档里的不同组件染色来识别它们的位置。这个想路没错，但奉行上存在几个显着破绽：用LibreOffice把Word文档转成PDF时，会因为字体替换和翰墨重排产生"渲染漂移"，也即是说营救前后相通的翰墨可能出现在不同位置；翰墨索取和位置框对不上，莫得几何对王人保证；关于阿拉伯语、希伯来语这类从右向左书写的翰墨，十足莫得相沿；图表被当作不透明的图片一概解决，内容无从索取。

DocAtlas的中枢孝顺，恰是在接管了渲染驱动这条路的合理内核之后，把上述每一个破绽都堵上了。

**三、 "差值渲染"：像影相机找不兼并样精笃定位**

DocAtlas的第一条数据出产活水线，解决的是真实的Word文档（.docx阵势），数据来源相通是Common Crawl这个公开的网页归档库。

通盘经由不错用一个平常的比喻来剖析：假定你在一张空缺画布上画了一幅画，现在你想知说念画里每一个元素的精准位置。最笨的想法是让东说念主肉眼去框。聪慧的想法是：先拍一张原版像片，再把某个你感意思意思的元素（比如太空）涂成鲜红色，再拍第二张像片，然后把两张像片叠在一王人作念减法——何处出现了红色，何处即是太空。

DocAtlas即是这样干的，只不外操作对象是Word文档。团队先从OpenXML阵势（Word文档的里面代码阵势）里识别出文档里的各样组件——标题、正文、表格、图片、页眉等等——然后通过Word的姿色属性，给不同类型的组件注入不同的面容代码。接着用微软官方的Word引擎（持重，不是LibreOffice）分别渲染出"染色版"和"原版"两份PDF，再用图像解决用具（OpenCV）对两张图作念逐像素相减。何处有面容各异，何处即是被标注的组件，况且不错通过面容成功判断是哪类组件。

这种"差值渲染"要领有一个相等环节的上风：它能离别"注入的面容"和"文档里本来就有的面容"。往时的单次染色法作念不到这少许——淌若文档本来就有红色布景，那注入的红色标记就混进去了，根分内不清。差值法律解释十足绕过了这个问题，因为只好在两次渲染之间发生变化的像素，才被手脚标注闭幕。

位置框笃定之后，还需要把翰墨内容和位置对应起来。团队同期从OpenXML里索取文档级别的翰墨，再用Docling用具（一个基于章程的PDF解析器，不是神经鸠合模子）从PDF里索取页面级别的翰墨和位置，然后用交并比（IoU，一种揣测两个区域叠加进度的计算）把每个词语匹配到对应的组件区域里。当多个组件区域有叠加时，系统会凭证姿色置信度来决定优先级，确保结构映射的一致性。

所有这些信息最终被序列化成一种叫作念DocTag的合股阵势。DocTag是一种肖似XML的标记言语，每个标签同期包含组件类型、几何位置和翰墨内容。这种阵势比HTML更好，因为HTML不保存位置信息；比Markdown更好，因为Markdown会把端倪结构压扁。有了DocTag，一张页面就变成了一个扁平的标签序列，每个标签告诉模子"这里有什么、在何处、写的是什么"，从而杀青版面检测、阅读方法回应、内容索取的多任务接续老练。

在数据质地限度上，团队还作念了两轮筛选。第一轮用fastText展望文档言语，再用5-gram Kneser-Ney言语模子策画困惑度（困惑度不错剖析为"模子对这段翰墨有多困惑"，困惑度越高确认翰墨质地越差），开拓阈值为120，过滤掉38%的低质地页面，保留94%以上的高质地数据。第二轮策画"标注可靠性分数"，揣测通过原生XML信号（而非启发式章程）见效标注的字符比例，低于0.6分的页面成功剔除，最终约有15%的页面因视觉相当信号（如多数空缺、渲染造作）被过滤。

在遵循上，整条活水线在一台鄙俗的苹果M2 Pro札记本上运行（莫得GPU加快，莫得散播式策画），每天能解决10万张以上的标注页面，100万个样本不到72小时就能跑完。

**四、 为"从右往左"的翰墨特地开辟第二条路**

阿拉伯语、希伯来语、波斯语、乌尔都语，都是从右向左书写的言语。这类言语在现存PDF解析用具里宽广存在双向文本解析失败的问题——用具把从右往左的翰墨方法搞反，大约十足无法识别段落结构。因此，仅靠真实Word文档的活水线，无法笼罩这类言语。

筹商团队为此特地联想了第二条活水线，用合成生成的方式来补足这个缺口。这条活水线的输入是结构化的电子书和网页文献（EPUB、HTML、XML阵势），先用解析用具把内容营救成程序的Docling JSON阵势，给每个内容元素打上标签并赋予初步的位置框，然后通过205个基于LuaTeX（一种专科排版引擎）的模板，把这些内容渲染成精准排版的PDF文档。

这些模板每一个都针对特定言语的排版范例联想：字体接受顺从各言语的书写传统（阿拉伯语用Amiri、Scheherazade等字体；希伯来语用David、Narkisim等；波斯语用Nazanin、Lotus等；乌尔都语用Nastaliq、Naskh等），版面参数涵盖页面想法、列数（1到3列）、字号（9到14磅）、面容、边距、页眉页脚姿色，以及环节的双向翰墨限度原语。

在渲染过程中，系统通过三次编译来保证位置精度：第一次编译笃定初步版面，第二次编译把每个元素的精准坐标写入.pos文献，第三次编译生成最终的PDF并考证位置。坐标经过系统性营救，从LaTeX的缩放点（sp）到PDF的点（pt）再到图像的像素（px），确保最终标注框与执行渲染位置十足吻合。整条活水线在单核CPU上能达到每分钟183页的蒙眬量。

质地筛选过滤掉了三类问题页面：编译前后坐标漂移卓绝2pt的页面（占原始输出的15.2%）、模板排版错位（如元素叠加或翰墨溢出，占8.9%）、字体渲染失败（如字形缺失或字形庞杂，占2.1%）。最终这条活水线生成了9036份文档共19.5万张页面，笼罩阿拉伯语、希伯来语、波斯语、乌尔都语四种右向左书写的言语。

**五、 数据总量与组成：一个笼罩82种言语的巨型语料库**

两条活水线合并之后，原始语料库包含101万份文档，548万张页面，进步136种言语。其中第一条活水线（真实Word文档）孝顺了100万份文档、529万张页面，第二条活水线（合成右向左文档）孝顺了9036份文档、19.5万张页面。

数据散播呈典型的长尾形态：英语、俄语、西班牙语占据高频区间，约占总页数的60%；希伯来语、泰语、缅甸语、高棉语等中低资源言语，每种也孝顺了卓绝5万张页面，确保了在千般言语类型上的灵验笼罩。经过质地筛选和难度感知采样，最终老练语料库包含36万张页面，笼罩82种言语、31类结构组件、25个以上内容领域（包括医疗、法律与政府、金融、科学等）。

在标注组件类型上，高频标签包括鄙俗文本、表格、一级标题，低频但伏击的标签包括数学公式、表单字段、参考文献列表，后者为老练模子识别冷落但环节的文档元素提供了监督信号。

通盘语料库来自公开鸠合内容，均使用CC-BY 4.0、CC0或全球领域等宽松许可合同。筹商团队还部署了自动化的个东说念主秘密信息（PII）检测经由，使用Microsoft Presidio用具，勾通spaCy定名实体识别和自界说正则抒发式，识别并过滤了包含三条及以上个东说念主信息（如姓名、电话、政府证件号、地址、金融标志符）的文档，共移除94.2万份文档（占运转鸠合量的5.15%）。东说念主工抽查1000份保留文档，漏检率仅为0.1%。

**六、 一把测量多国文档剖析才智的"量尺"**

有了老练数据还不够，还需要一套严格的测试程序，才能知说念哪个模子的确横暴、哪个模子仅仅在本言语上刷了高分。DocAtlas同期构建了一个多言语基准测试集，包含5862张页面，笼罩82种言语、9项评测任务。

页面中式顺从"难度分层"原则：用ResNet-50（一种图像特征索取鸠合）索取每张页面的视觉特征，再用FAISS聚类算法把相似页面聚在一王人，然后在每个聚类里面按难度（详细酌量表格占比、公式密度、图表数目、字体千般性、图片比例等要素）分红浅易、中等、艰苦三档，开运中国官方网站从中均匀采样，每种言语最多取100张页面，共5575个样本。此外，团队还手工挑选了201份含有高难度公式的PDF，额外增多144个公技俩本。

图表数据是单独生成的：先用Qwen3-VL模子生成多言语主题，再用Matplotlib或Plotly渲染成柱状图、折线图、饼图等多种图表类型，经GPT-4o初步筛选后，由三位领域大家交叉考证结构好意思满性、LaTeX公式对王人、右向左阅读方法，达到94.2%的标注一致率（Cohen's κ=0.89）。

9项评测任务分别是：端到端全页面解析（把一张页面好意思满营救为Markdown或DocTag阵势）、翰墨识别、表格索取、公式转录、图表解析、阅读方法回应，以及三项阵势营救子任务（图表→HTML、公式→LaTeX、表格→HTML）。评测计算笼罩归一化编著距离（揣测展望翰墨与真实翰墨的相似度）、TEDS（树编著距离相似度，特地评估表格结构的准确性）、CDM（字符检测匹配，用于公式评估）和图表分数（将图表先转成HTML表格再用TEDS评估）。

**七、 16个模子的大考：谁是多言语文档剖析的信得过铁汉？**

筹商团队在这套基准上评测了16个现时起头进的模子，按照定位分为三类。

第一类是通用多模态大言语模子，包括Gemini-2.0-Pro、GPT-4o、Qwen3-VL（3B参数版）、Qwen2.5-VL（2B版）和InternVL3.5（2B版）。这类模子自身莫得特地针对文档版面作念过老练，绝顶于"全科生"选手。

第二类是大家文档模子，包括SmolDocling（2.56亿参数）、Granite-Docling（2.58亿参数）和DotsOCR（3B参数）。这类模子体量较小，但特地针对文档版面解析作念了老练，属于"专科生"。

第三类是OCR专项系统，包括PaddleOCR-VL（1B参数）、DeepseekOCR（3B参数）、MonkeyOCR-pro（1.2B参数）、Dolphin（4亿参数）、Nanonets-OCR-s（4B参数）、Nanonets-OCR2（3B参数）、Chandra（9B参数）和MinerU2.5（1.2B参数），以及DocAtlas团队微调过的DocAtlas-DeepSeek（3B参数）。

评测闭幕呈现出几个剖析的律例。在总体分数上，DocAtlas-DeepSeek以83.37%位居第一，DeepseekOCR以81.66%紧随后来——要知说念DeepseekOCR只好3B参数，能达到这个收货绝顶令东说念主惊诧，确认在文档剖析这个任务上，参数目大不等于性能强。GPT-4o的总分是75.30%，远不如这些专科OCR系统。

翰墨识别和结构化内容索取之间存在弘远鸿沟。顶尖模子的翰墨编著距离在0.068到0.095之间（越低越好），确认翰墨识别还是绝顶准确；但表格TEDS分数宽广停留在71%到73%，况且无论言语如何变化，这个天花板险些依样葫芦。这意味着表格的空间推理才智，而非翰墨辩别才智，才是现时文档剖析的信得过瓶颈。

高资源言语和低资源言语之间的落差摄人心魄。英语、俄语、西班牙语等主坏话语的准确率结确凿80%到95%，波动很小；而低资源言语的准确率区间是20%到85%，中位数往往低于40%。换句话说，关于那些老练数据匮乏的言语，即使是起头进的模子，也往往只可答对不到一半。

从言语眷属维度看，印欧语系和基里尔字母（俄语、乌克兰语等）言语进展最佳，准确率在80%到87%之间；日语眷属（26.9%到70.5%）和南亚语系（Austroasiatic）进展最差，即使是最顶级的模子也举步维艰。团队觉得，这确认形态复杂的言语和表意翰墨体系，深远了现存视觉特征学习的根人性劣势。

在图表索取这项任务上，专科OCR系统和通用多模态大模子之间出现了戏剧性的分化。Gemini-2.5-Flash在15种言语上平均得分61.82%，跨言语一致性最佳；而DeepseekOCR在英语图表上得分87%，到了泰语、阿拉伯语、意大利语就跌到8%到17%。SmolDocling在折线图上的准确率接近于零（0.038），确认仅靠翰墨索取根柢叮属不了图表剖析，这项任务需要信得过的视觉推理才智。

同期，筹商团队系统分析了16个模子在5345份文档上犯的88036个造作，归纳出12种造作类型，其中最主要的四种分别是：表格跨行跨列造作（占15.7%，表格里的合并单位格解决分歧）、阵势造作（14.6%，粗体斜体标签弄错、破折号字符混用）、字符编码造作（13.2%，Unicode归一化问题，比如概略号用了不同的Unicode字符）、内容遗漏（13.2%，带连字符的词语和列表分隔符被丢失）。

**八、 如何让模子学会新言语而不健忘旧言语？**

老练数据和测试基准都有了，接下来最环节的问题是：怎么把这些数据用起来，让已有的OCR模子信得过学会新言语，同期又不把往时学过的英语等言语忘掉？

这就像教一个还是闪耀英语的东说念主学华文——淌若学习方式分歧，他学会华文的同期可能把英语忘了，这叫"不痛快性渐忘"。团队系统比较了三种老练政策。

第一种政策是全页面监督微调（Full-Page SFT）：把每张页面的图片和对应的DocTag/Markdown翰墨配对，成功老练模子在看到页面图瞬息生成正确的结构化翰墨。这是最成功的要领，绝顶于让学生反复作念整卷熟习题。

第二种政策是组件级监督微调（Component-level SFT）：把页面剪辑成一个个小区域（段落、表格、图表、公式），针对每个组件单独老练。这绝顶于把整卷题目拆成一说念说念单题来练。

第三种政策是成功偏好优化（DPO）：这是一种不同于鄙俗微调的老练范式。它的中枢想路是：关于兼并张页面图片，给模子看两个谜底——一个是由渲染驱动的标注系统生成的正确谜底（作为"正样本"），一个是模子我方底本给出的回答（作为"负样本"）——然后老练模子偏好正确谜底。这绝顶于不成功告诉学生"背这个谜底"，而是让学生在两个谜底里辨别哪个更好，从而培养判断力。

除了接受哪种老练政策，团队还筹商了另一个变量：老练哪些参数。全量微调（所有参数都更新）遵循最猛，但反作用最大；LoRA（低秩相宜）是一种参数高效的要领，绝顶于在模子里插入一个小"适配器"，只更新这个适配器，原模子参数基本不动，从而大幅减少渐忘。LoRA又有几个变体：更新全部层、只更新MLP层、只更新MLP的门控和下投影、更新所有QKV层、只更新QKV层。

详细评测闭幕剖析地揭示了一个律例。全量SFT在新言语高涨幅最大（表格TEDS升迁13.6个百分点），但基础言语性能下降幅度也最大（–12.1个百分点）。组件级SFT的新言语增益更大，但基础言语渐忘也更严重，严重时下降卓绝21个百分点——意味着模子把往时学的东西险些全忘光了。

只更新QKV层的LoRA变体达到了最优的收益-渐忘均衡：新言语翰墨编著距离改善0.021，基础言语不降反升，改善0.011个百分点。团队对此的解释是：QKV参数限度的是"持重力路由"，即模子在解决一段翰墨时决定把持重力放在何处，营救这部分参数能匡助模子学会跨言语的持重力分拨，而不会阻难MLP层（谨慎输出词汇散播），是以不会导致渐忘。

DPO政策在四个被评测的模子上（Qwen2.5-VL、Nanonets-OCR、DotsOCR、DeepseekOCR）都进展出了相通的律例：在域内言语（老练时见过的言语）升迁约1.8%到1.9%，在域外言语（老练时没见过的言语）也升迁约1.4%到1.8%，基础言语降幅低于3%。这是唯独一种能同期改善新言语和基础言语性能的要领，冲破了"学新忘旧"的律例，因为把模子我方的造作谜底作为负样本，绝顶于给模子保留了对原有才智的挂念锚点。

更进一步，团队还特地比较了DPO用不同正样本的遵循：用渲染驱动的真实标注作为正样本，和用GPT-4o的输出作为正样本，闭幕各异显耀。GPT-4o蒸馏带来的域内增益只好0.4个百分点，域外性能反而下降了0.7个百分点。原因在于，GPT-4o自身对低资源言语也存在系统性偏见：会在某些言语里产生造作的变音记号、把从右往左的列方法搞反。这些造作通过蒸馏传递给了被老练的模子，玷辱了跨言语泛化才智。这一闭幕讲解，驱动DPO遵循的根柢不是DPO算法自身，而是背后那套模子无关的标注活水线。

DocAtlas-DeepSeek在两个外部测试集（DocPTBench和OmniDocBench，均以英文文档为主，包含拍摄或扫描的文档，老练时十足没见过）上也展示了搬动泛化才智：编著距离分别从22.1%降到20.7%、从0.137降到0.122。这确认通过DPO学到的跨言语持重力路由，不仅在老练见过的言语上有用，在老练域以外也能施展作用。

从言语眷属维度看DPO的增益，不错发现道理的散播律例：汉藏语系、日语眷属、南亚语系获益最大（汉藏语系翰墨增益高达40%），可能是因为这些言语的视觉特征之间存在分享结构，有助于学问搬动；印欧语系和乌拉尔语系增益较小（低于5%），确认这些言语在老练前还是被模子学得比较好；基里尔字母言语的增益主要体现在表格而非翰墨，确认结构化内容的搬动比纯翰墨更容易。

说到底，DocAtlas这套职责回答了一个对通盘文档AI领域都道理深远的问题：机器能不成在不借助任何已有AI模子的情况下，我方学会读懂来自宇宙各地的文献？谜底是投降的，况且通过差值渲染这个近似"影相机找不同"的方式，还能作念到绝顶高的精度和绝顶广的言语笼罩。关于资源匮乏的言语社区来说，这意味着畴昔土产货言语的文档数字化、法律合同分析、医疗记载索取，都有望得到与英语用户同等质地的用具相沿。

虽然，这套系统也有显着局限：它依赖文档源文献（Word或结构化标记阵势），关于扫描件、像片拍摄的文档十足窝囊为力，因为这类文档根柢没特等字翰墨层不错索取。筹商团队坦承，将DocAtlas的监督信号与传统的OCR技艺勾通，针对扫描文档作念进一步延长，是一个当然的后续想法。另外，表格TEDS在71%到73%近邻的天花板问题，确认空间推理才智仍然是通盘领域尚待突破的中枢难题。

关于有利思意思进一步探索的读者，不错通过arXiv编号2605.12623查阅好意思满论文，数据集和代码则托管在论文封面所标注的GitHub仓库地址下。

---

**Q&A**

Q1：DocAtlas的"差值渲染"和鄙俗的文档标注要领有什么执行区别？

A：鄙俗的文档标注要么靠东说念主工框选，要么靠已有AI模子自动识别，两者都有上限：东说念主工太慢、AI有偏见。差值渲染则十足绕开了这两条路——它先给Word文档里的不同组件染上不同面容，用微软Word引擎渲染出染色版和原版两份PDF，再逐像素相减，何处有面容各异就确认何处有标注组件。通盘过程不需要任何已有的AI模子参与中枢标注，标注质地不受现存模子才智的收尾。

Q2：DPO老练为什么能幸免"学新言语忘旧言语"这个问题？

A：传统微调（SFT）成功让模子记取新的输入输出对，更新幅度大，容易把旧学问笼罩掉。DPO的作念法不同：它给模子同期展示正确谜底（渲染驱动的真实标注）和模子原来给出的回答，老练模子学会"偏好"正确谜底。把模子我方原来的输出作为负样本，绝顶于给模子保留了对旧才智的挂念锚点，是以能在学会新言语的同期保管旧言语的性能。

Q3：DocAtlas基准测试和之前的多言语文档测试集比较，上风在何处？

A：笼罩范围和任务深度都有显耀扩张。之前最佳的多言语文档基准READOC笼罩27种言语开运(中国)官方IOS|Android手机app下载，不相沿图表解析；OmniDocBench只笼罩2种言语；DocAtlas笼罩82种言语，同期相沿9项任务（端到端页面解析、翰墨识别、表格索取、公式转录、图表解析、阅读方法回应，以及图表→HTML、公式→LaTeX、表格→HTML三项阵势营救），是眼绪言语笼罩最广、任务最全的文档剖析基准。