初始归档:健康管理资料库(大医网/药膳/体质监测/中医理论等12个资料集,7712个文件)
This commit is contained in:
commit
80ae3811cf
7712 files changed
+4628547
No files matched your search
@@ -0,0 +1,159 @@
|
||||
# 中医入门.md OCR 清洗报告
|
||||
|
||||
> 清洗日期: 2026-09-07(含二次审计补修)
|
||||
> 源文件: 01_来源数据/中医入门_MinerU_OCR_2026-09-07.md(224,843 字节,1,829 行)
|
||||
> 输出文件: 02_加工数据/中医入门.md(224,419 字节)
|
||||
> 核对清单: 04_分析报告/人工核对清单.md(按行号列出全部修正点与截断处,供人工复核)
|
||||
|
||||
## 一、书籍识别
|
||||
|
||||
《中医入门》体例(理论之部 / 法则之部 / 方剂之部 / 药物之部四章),秦伯未著作的章节结构。原书为繁体竖排影印,MinerU OCR 输出为繁简混杂文本。
|
||||
|
||||
## 二、处理概况
|
||||
|
||||
| 步骤 | 处理内容 | 数量 |
|
||||
|------|----------|------|
|
||||
| 全文繁转简 | OpenCC t2s(~/venvs/crawl4ai) | 全文 78,154 字 |
|
||||
| 定向错字修正 | 繁体字形阶段匹配 | 39 处 |
|
||||
| 传/傅辨析 | 傅→传(保留"相傅"宰相义 1 处) | 63 处 |
|
||||
| 辩/辯→辨 | 辩症/辯症/辯証 统一为 辨症 | 10 处 |
|
||||
| 结构重建 | 标题层级统一(章## 节### 小节####) | 58 个标题 |
|
||||
| 图片移除 | MinerU CDN 页面截图(中断正文) | 2 处 |
|
||||
| 排版清理 | 章间分隔线、空行归一 | 全文 |
|
||||
| 残留繁体字 | 转换后全文扫描 | 0 处 ✅ |
|
||||
|
||||
## 三、错字修正规则表(逐处上下文核对)
|
||||
|
||||
### 3.1 标题与篇目
|
||||
|
||||
| 原文 | 修正 | 依据 |
|
||||
|------|------|------|
|
||||
| 一、留診 | 一、望診 | 望聞問切四診之首,下文即望诊内容 |
|
||||
| ## 等等。 | 二十八脉的主症 | OCR 残句误为标题,实为脉象主症汇总 |
|
||||
| 第二節 隊識 | 第二節 意識 | 隊→意 形近 |
|
||||
| 早期治疗,隊識到 | 认識到 | 同上 |
|
||||
|
||||
### 3.2 病机与引文
|
||||
|
||||
| 原文 | 修正 | 依据 |
|
||||
|------|------|------|
|
||||
| 己所胜怪而侮之 | 己所胜而侮之 | 《内经》五行乘侮原文 |
|
||||
| 水郁达之 | 木郁达之 | 《内经》五郁: 木郁达之/火郁发之/土郁夺之/金郁泄之/水郁折之 |
|
||||
| 我国幅目广阔 | 幅员广阔 | 目→员 |
|
||||
| 中著,也叫中喝 | 中暑,也叫中暍 | 伤暑证治名词(暍=中暑古称) |
|
||||
| 热煉而成 | 热燔而成 | 痰的生成: 湿聚/热燔 |
|
||||
|
||||
### 3.3 诊法与脉学
|
||||
|
||||
| 原文 | 修正 | 依据 |
|
||||
|------|------|------|
|
||||
| 戰接痿 | 战摇痿 | 舌象动态: 战(颤抖)/痿(软弱) |
|
||||
| 胀癥 | 胀瘪 | 与"胖肿"对文 |
|
||||
| 極細而奐 | 极细而奂 | 微脉: 极细而奂(奂=柔美细软) |
|
||||
| 細而較微有力 | 细而较濡有力 | 对照濡脉定义"浮而细软" |
|
||||
| 革:浮而极有力 | 革:浮而极无力 | 革脉外强中空,与濡脉同列浮位无力 |
|
||||
| 日哺 | 日晡 | 日晡潮热(申时) |
|
||||
| 阳豚/豚象 | 阳脉/脉象 | 豚→脉 形近 |
|
||||
| 如殘雷之下 | 如殘漏之下 | 屋漏脉"良久一滴"喻 |
|
||||
| 其串在 | 其贯串在 | OCR 丢字 |
|
||||
|
||||
### 3.4 症状与治法
|
||||
|
||||
| 原文 | 修正 | 依据 |
|
||||
|------|------|------|
|
||||
| 殘廉 | 残废 | 廉→废 形近 |
|
||||
| 波輻 | 波幅 | 輻→幅 |
|
||||
| 巨期阙 | 巨阙 | 任脉穴名 |
|
||||
| 而倘未到里 | 而尚未到里 | 倘→尚 形近 |
|
||||
| 比較輕,前者如乌头 | 比較重,前者如乌头 | 气味雄厚者用量大,与平淡者对文 |
|
||||
|
||||
### 3.5 方药
|
||||
|
||||
| 原文 | 修正 | 依据 |
|
||||
|------|------|------|
|
||||
| 荔子核 | 荔枝核 | 疝气常用药 |
|
||||
| 沉香麵 | 沉香曲 | 处方药名(理气药) |
|
||||
| 黄莲 | 黄连 | 莲→连 |
|
||||
| 神麴 | 神曲 | 统一用曲(消食药) |
|
||||
| 丹叁 | 丹参 | 叁→参 |
|
||||
|
||||
### 3.6 传/傅辨析(重点)
|
||||
|
||||
原书"傅"字两义并存:
|
||||
- **传**(传递、传变):传化之府、传经、传变、传染 → 全部改"传",共 63 处
|
||||
- **傅**(宰相义):仅 1 处"肺脏称作相傅"保留(相傅=辅佐君主的官职)
|
||||
|
||||
### 3.7 二次审计补修(简体字形漏网错字)
|
||||
|
||||
首轮按繁体字形匹配的规则,对 OCR 原文中恰好呈简体字形的错字未触发;事后逐规则审计(原文命中→终文残留→新值出现三段验证)发现并补修 5 处:
|
||||
|
||||
| 原文 | 修正 | 依据 |
|
||||
|------|------|------|
|
||||
| 早期治疗,队识到 | 认识到 | 队→认 形近 |
|
||||
| 战接痿 | 战摇痿 | 舌象动态: 战(颤抖)/痿(软弱),下文"战为颤动…痿为软不能动"即分释二字 |
|
||||
| 残廉 | 残废 | 廉→废 形近("病去而元气大伤…或带来后遗症"语境) |
|
||||
| 痿健 | 痿躄 | 痿躄=肌肉萎缩、足不能行,与痉病、劳嗽并列 |
|
||||
| 症为瘦缩 | 瘪为瘦缩 | 与同段"胀为胖肿"对文(胀瘪词条的解释位) |
|
||||
|
||||
教训:简体字形错字需在 t2s 转换后的文本上再做一轮规则匹配;繁体阶段规则 + 简体阶段规则双轮覆盖方能闭环。
|
||||
|
||||
### 3.8 简化字统一(表内)
|
||||
|
||||
五行归类表 HTML 表格内繁体一并转换(雞→鸡、徵→征 等)。
|
||||
|
||||
### 3.9 三次补修(2026-09-08 初步分析前扫描发现)
|
||||
|
||||
初步分析前的例行错字扫描发现 5 组漏网(8 处),共性教训:**药名错字多以"方名正确 + 组成行错误"形态漏网**(如"诃子散"方名正确、组成行作"阿子"),后续清洗应对方名与组成行交叉验证:
|
||||
|
||||
| 原文 | 修正 | 处数 | 行号 | 依据 |
|
||||
|------|------|-----:|------|------|
|
||||
| 瓜蔓仁 | 瓜蒌仁 | 3 | 1016, 1393, 1469 | 润下药(麻仁、郁李仁并列),蔓/蒌形近 |
|
||||
| 阿子 | 诃子 | 2 | 1014, 1465 | 涩肠药;29.诃子散组成行(方名 1212 已正确) |
|
||||
| 止遣溺 | 止遗溺 | 1 | 1477 | 功效动词,下文"遗尿不禁"用"遗" |
|
||||
| 淡菓蓉 | 淡苁蓉 | 1 | 1469 | 润肠药(苁蓉咸温润肠),菓/苁形近 |
|
||||
| 石草→石韦(仅通淋药行) | 石韦 | 1 | 1475 | 利尿通淋药(瞿麦、萹蓄并列)。⚠️ 本草纲目草部九类分类处"石草"为原书正名**已保留**(白木耳式保护:规则限定"通淋——"行内) |
|
||||
|
||||
验证:错误形式全文残留 0;正确形式就位;本草部类"石草"1 处正确保留。
|
||||
|
||||
### 3.10 四次补修(2026-09-08 关联融合阶段,理论层内容)
|
||||
|
||||
反向标注工程提取十八反/十九畏/妊娠禁忌等理论锚点时发现 12 处漏网,特征是**歌诀与名录类内容**——无散文上下文可依托,首轮逐处人工核对时未触及:
|
||||
|
||||
| 原文 | 修正 | 依据 |
|
||||
|------|------|------|
|
||||
| 十八反歌"半、蔓、贝、薮、芨攻乌" | 半、蒌、贝、蔹、及攻乌 | 通行歌诀+书内散文自证 |
|
||||
| "藻、戟、遂、芜俱战草" | 遂、芫 | 散文"甘遂、芫花";芜荑(正确药名)已保护 |
|
||||
| 散文"瓜蔓"(十八反段) | 瓜蒌 | 散文自证 |
|
||||
| 散文"白芨" | 白及 | 正字 |
|
||||
| "川岛、草岛畏犀角"(十九畏散文) | 川乌、草乌 | 歌诀"川乌、草乌不顺犀"自证 |
|
||||
| "内轻所说" | 内经 | 全书"内经"58处 |
|
||||
| "积术丸" | 枳术丸 | 消导剂举例(枳实+白术) |
|
||||
| "虫虫"×2 | 虻虫 | 妊娠禁忌/破瘀药列 |
|
||||
| "腐虫" | 地鳖虫 | 书内他处3处用"地鳖虫" |
|
||||
| "济阴网目" | 济阴纲目 | 武之望妇科专书 |
|
||||
| "没病" | 没药 | 活血药列 |
|
||||
| "破瘀血一/止血一/杀虫一/消食一"(4处) | —— | OCR破折号丢字;"浮兰"→泽兰 |
|
||||
|
||||
**教训:歌诀/名录类 OCR 错字危害最大(十八反直接关系配伍安全),修复需依赖通行版本 + 书内散文自证,不能只靠上下文通顺。**
|
||||
|
||||
### 3.11 匹配算法陷阱:土人参问题(白木耳陷阱的镜像)
|
||||
|
||||
反向标注的炮制前缀归一表若含产地/品质限定词(土/川/广/云/怀/杭/紫/白等),会把**独立民间药名**剥成核心药名造成假阳性:翻白草的合法别名"土人参"被剥成"人参"误命中人参锚点。规则:**候选侧只剥炮制前缀(炙/炒/煨/煅/法/霜/焦/制等),产地品质限定词一律不剥**(土茯苓/土鳖虫/川贝母是独立药名)。修复后消除 31 个假阳性命中。
|
||||
|
||||
## 四、保留原状事项(存疑标注)
|
||||
|
||||
1. **"雷福亭曾说"**(方剂篇引文):疑为"俞昌"或"雷丰"之误,但无版本依据,保留原文,不作臆改。
|
||||
2. **17 处页边界截断**:OCR 逐页转换导致的段中丢句(如 35、49 行段末无终结标点),属源文件信息缺失,如实保留,后续如获完整版本可补。
|
||||
3. **"三因括约"**(病因篇标题):原文如此,未改。
|
||||
4. 短行脉名条目(浮/革/濡等)保持原列表格式,未强行合并。
|
||||
|
||||
## 五、防错机制
|
||||
|
||||
- 全部替换规则先经上下文核对(逐行定位),不做无上下文全局替换
|
||||
- "相傅"采用占位符保护后再全局替换"傅",避免误伤
|
||||
- OpenCC 转换后全文繁体字残留扫描 = 0
|
||||
- 二次审计:逐规则"原文命中→终文残留→新值出现"三段验证(/tmp/audit_final.py 逻辑),已知错字残留 = 0;审计发现简体字形漏网 5 处并已补修(见 3.7)
|
||||
|
||||
## 六、可复用性
|
||||
|
||||
本规则表可复用于秦伯未《中医入门》同版本其他 OCR 文件;通用部分(傳→传、辩→辨、豚→脉、日哺→日晡等)可复用于同类繁体中医教材 OCR 清洗。
|
||||
File diff suppressed because it is too large.
Load diff
File diff suppressed because it is too large.
Load diff
Reference in new issue
Block a user