国学与AI

古籍数字化:从扫描件到可计算的知识

把书拍成图片只是第一步。真正难的,是让字、词、人、地、事件变成机器能理解、能追溯的结构——那才叫基础设施。

约 3 分钟812 字

很多人以为古籍数字化就是扫描:把线装书摊平、拍照、上传,任务完成。但从研究者的角度看,扫描件只是把“纸上的孤本”变成了“屏幕上的孤本”——看得见,用不上。

一条完整的加工链

2026 年学界对这条链的讨论已经相当具体:影像获取与预处理、文字识别、文本切分、异体字处理、断句标点、分卷整理、实体标引、知识抽取、校勘比对、分析展示。每一步都会产生新的数据,也都会引入新的错误。

难点集中在古文字本身。异体字、俗字、避讳字让通用 OCR 准确率大幅下降;不同版本的同一段文字可能存在实质差异;没有标点的原文,机器断句很容易把句意切坏。近年针对多种古文字的专用识别模型正在缓解第一部分瓶颈,但后面的结构化仍然要靠人机协同。

什么是“可计算”

所谓可计算,至少要做到三件事:

  • 字符层面:能建立“字形—异体字—音义”的关系,而不是把异体当成乱码。
  • 文本层面:能对字词句边界做标注,让段落与篇章结构可被机器识别。
  • 知识层面:能标出人物、事件、地点、制度及其相互关系,形成知识库或知识图谱。
2026 年的相关讨论里,“数据可流转、过程可记录、结果可复现、错误可反馈、专家可介入”被反复强调。这五个“可”,比模型参数更决定古籍数字化的质量。

为什么“数据孤岛”是最大浪费

不少机构都建过数据库,但标准不一、技术路线分散,彼此无法互认。结果就是同一部书被反复扫描、反复标注、反复出错。对研究者来说,最高效的资源不是某个“大而全”的平台,而是能被调用、能追溯来源、能互相印证的网络。

对普通读者意味着什么

也许你会问:这些和我读《论语》有什么关系?关系很大。当古籍被结构化之后,检索不再只是“找含有某个词的页面”,而是能回答:“这个人在这部书里出现过几次?他和谁有关联?这个说法在不同版本里怎么写?”

这种能力正在把阅读从“精读单本”推向“远读看脉络、近读究个案”。工具变了,但出发点没变——还是那个老问题:这句话,究竟是什么意思。