OCR/文本杂质清洗报告
数据目录: /home/songyi/Documents/ai_agent_scraper_study/data/大医网/01_来源数据
子目录: 疾病/ 方剂/ 中药材/ 针灸穴位/ 症状/ 术语/ 药膳食疗
清洗时间: 2026-06-26 13:31–13:32
清洗轮次: 2轮(首轮全量清洗 + 次轮键名残留修复)
一、汇总统计
| 数据集名 |
总文件数 |
清洗文件数 |
总修正处 |
错误类型分布 |
| 疾病库 |
998 |
38 |
53 |
全角空格→半角: 26; 枣仁→酸枣仁: 8; 白木→白术: 6; 苡仁→薏苡仁: 6; 零宽字符删除: 3; 多空格合并: 3; 当妇→当归: 1 |
| 方剂库 |
1000 |
30 |
41 |
枣仁→酸枣仁: 18; 苡仁→薏苡仁: 14; 多空格合并: 5; 零宽字符删除: 2; 构杞→枸杞: 2 |
| 中药材库 |
1000 |
22 |
58 |
白木→白术: 23; 枝子→栀子: 14; 枣仁→酸枣仁: 10; 零宽字符删除: 6; 苡仁→薏苡仁: 4; 构杞→枸杞: 1 |
| 针灸穴位库 |
1000 |
2 |
3 |
零宽字符删除: 3 |
| 症状库 |
993 |
11 |
23 |
零宽字符删除: 20; 枣仁→酸枣仁: 3 |
| 术语库 |
1001 |
14 |
48 |
零宽字符删除: 37; 多空格合并: 4; 枣仁→酸枣仁: 4; 全角空格→半角: 3 |
| 药膳食疗库 |
1000 |
8 |
23 |
枣仁→酸枣仁: 12; 白木→白术: 7; 苡仁→薏苡仁: 4 |
| 合计 |
6992 |
125 |
249 |
零宽字符删除: 71; 枣仁→酸枣仁: 55; 白木→白术: 36; 全角空格→半角: 29; 苡仁→薏苡仁: 28; 枝子→栀子: 14; 多空格合并: 12; 构杞→枸杞: 3; 当妇→当归: 1 |
二、清洗规则详情
| 优先级 |
规则 |
模式 |
替换为 |
修正次数 |
| 1 |
枣仁→酸枣仁 |
(?<!酸)枣仁 |
酸枣仁 |
55 |
| 2 |
白木→白术 |
白木 |
白术 |
36 |
| 3 |
苡仁→薏苡仁 |
(?<!薏)苡仁 |
薏苡仁 |
28 |
| 4 |
枝子→栀子 |
枝子 |
栀子 |
14 |
| 5 |
构杞→枸杞 |
构杞 |
枸杞 |
3 |
| 6 |
构杞子→枸杞子 |
构杞子 |
枸杞子 |
0 |
| 7 |
当妇→当归 |
当妇 |
当归 |
1 |
| 8 |
意苡仁→薏苡仁 |
意苡仁 |
薏苡仁 |
0 |
| 9 |
获苓→茯苓 |
获苓 |
茯苓 |
0 |
| 10 |
川萼→川芎 |
川萼 |
川芎 |
0 |
| 11 |
黄茂→黄芪 |
黄茂 |
黄芪 |
0 |
| 12 |
甘革→甘草 |
甘革 |
甘草 |
0 |
| 13 |
灵艺→灵芝 |
灵艺 |
灵芝 |
0 |
| 14 |
大赉→大枣 |
大赉 |
大枣 |
0 |
| 15 |
干娈→干姜 |
干娈 |
干姜 |
0 |
| 16 |
全角空格→半角 |
\u3000 |
|
29 |
| 17 |
零宽字符删除 |
[\u200b\u200c\u200d\ufeff] |
(删除) |
71 |
| 18 |
多空格合并 |
+ |
|
12 |
三、清洗后验证
验证结果:零残留 ✓ — 两轮清洗后所有规则均已正确应用,无未处理的匹配项。
二次验证独立确认:
- OCR形近错字 14 种 → 0 残留 ✓
- 全角空格
\u3000 → 0 残留 ✓
- 零宽字符
[\u200b\u200c\u200d\ufeff] → 0 残留 ✓
- 负向零宽断言无误改(未出现"酸酸枣仁"、"薏薏苡仁") ✓
四、错误类型分布(全部)
| 错误类型 |
修正次数 |
占比 |
| 零宽字符删除 |
71 |
28.5% |
| 枣仁→酸枣仁 |
55 |
22.1% |
| 白木→白术 |
36 |
14.5% |
| 全角空格→半角 |
29 |
11.6% |
| 苡仁→薏苡仁 |
28 |
11.2% |
| 枝子→栀子 |
14 |
5.6% |
| 多空格合并 |
12 |
4.8% |
| 构杞→枸杞 |
3 |
1.2% |
| 当妇→当归 |
1 |
0.4% |
| 总计 |
249 |
100% |
五、被修改文件列表
共 125 个文件被修改:
疾病库(38 个文件)
| 文件名 |
修正总数 |
修正详情 |
| 700078_胆瘅.json |
4 |
全角空格→半角: 2; 多空格合并: 2 |
| 700168_经行头痛.json |
3 |
全角空格→半角: 3 |
| 1026991_肺动脉高压.json |
2 |
零宽字符删除: 2 |
| 700014_薄厥.json |
2 |
苡仁→薏苡仁: 2 |
| 700039_产后小便淋痛.json |
2 |
全角空格→半角: 2 |
| 700081_胆胀.json |
2 |
枣仁→酸枣仁: 2 |
| 700167_经行身痛.json |
2 |
全角空格→半角: 2 |
| 700181_烂疔.json |
2 |
全角空格→半角: 1; 多空格合并: 1 |
| 700216_缺乳.json |
2 |
当妇→当归: 1; 全角空格→半角: 1 |
| 700262_胎漏、胎动不安.json |
2 |
全角空格→半角: 2 |
| 700315_阴疮.json |
2 |
全角空格→半角: 2 |
| 700331_月经后期.json |
2 |
全角空格→半角: 2 |
| 1010116_失音.json |
1 |
白木→白术: 1 |
| 1119969_前列腺炎.json |
1 |
白木→白术: 1 |
| 1141234_扁平疣.json |
1 |
苡仁→薏苡仁: 1 |
| 1148588_胆囊炎.json |
1 |
零宽字符删除: 1 |
| 1155689_心肾不交.json |
1 |
枣仁→酸枣仁: 1 |
| 1155724_肾精亏虚.json |
1 |
枣仁→酸枣仁: 1 |
| 1155732_血虚.json |
1 |
枣仁→酸枣仁: 1 |
| 1160556_皮肤瘙痒.json |
1 |
枣仁→酸枣仁: 1 |
| 1161022_胃阴不足.json |
1 |
白木→白术: 1 |
| 1161188_口舌生疮.json |
1 |
白木→白术: 1 |
| 700031_产后恶露不绝.json |
1 |
全角空格→半角: 1 |
| 700037_产后身痛.json |
1 |
全角空格→半角: 1 |
| 700046_产后血晕.json |
1 |
全角空格→半角: 1 |
| 700053_赤虫病.json |
1 |
苡仁→薏苡仁: 1 |
| 700094_多发性抽动症.json |
1 |
枣仁→酸枣仁: 1 |
| 700135_腘窝痈.json |
1 |
苡仁→薏苡仁: 1 |
| 700145_混合痔.json |
1 |
全角空格→半角: 1 |
| 700160_经行发热.json |
1 |
全角空格→半角: 1 |
| 700172_经期延长.json |
1 |
全角空格→半角: 1 |
| 700200_内痔.json |
1 |
全角空格→半角: 1 |
| 700205_皮痹.json |
1 |
苡仁→薏苡仁: 1 |
| 700220_妊娠腹痛.json |
1 |
全角空格→半角: 1 |
| 700228_乳头破碎.json |
1 |
白木→白术: 1 |
| 700276_脱囊.json |
1 |
白木→白术: 1 |
| 700307_阳痿.json |
1 |
枣仁→酸枣仁: 1 |
| 700359_痿证.json |
1 |
全角空格→半角: 1 |
方剂库(30 个文件)
| 文件名 |
修正总数 |
修正详情 |
| 1096769_调经饮《景岳全书》.json |
3 |
多空格合并: 3 |
| 1119155_宣痹汤.json |
3 |
苡仁→薏苡仁: 3 |
| 901951_酸枣仁汤.json |
3 |
枣仁→酸枣仁: 3 |
| 1027333_高枕无忧散.json |
2 |
枣仁→酸枣仁: 2 |
| 1083662_河车大造丸.json |
2 |
构杞→枸杞: 1; 枣仁→酸枣仁: 1 |
| 1120568_五痿汤.json |
2 |
苡仁→薏苡仁: 2 |
| 1121189_秘元煎.json |
2 |
枣仁→酸枣仁: 2 |
| 901285_赤豆薏苡仁汤.json |
2 |
苡仁→薏苡仁: 2 |
| 1028757_接骨散.json |
1 |
零宽字符删除: 1 |
| 1032586_二精丸.json |
1 |
构杞→枸杞: 1 |
| 1038334_大补阴丸.json |
1 |
多空格合并: 1 |
| 1042877_五福饮.json |
1 |
枣仁→酸枣仁: 1 |
| 1050626_甘草小麦大枣汤《金匮要略》.json |
1 |
枣仁→酸枣仁: 1 |
| 1051841_龙齿壮胆汤《辨证录》.json |
1 |
枣仁→酸枣仁: 1 |
| 1052073_归脾丸.json |
1 |
枣仁→酸枣仁: 1 |
| 1063820_连理汤《症因脉治》.json |
1 |
零宽字符删除: 1 |
| 1073026_当归贝母苦参丸.json |
1 |
苡仁→薏苡仁: 1 |
| 1097363_海藻玉壶汤.json |
1 |
多空格合并: 1 |
| 1121217_七福饮.json |
1 |
枣仁→酸枣仁: 1 |
| 1125497_坤厚资生丸.json |
1 |
枣仁→酸枣仁: 1 |
| 900651_茯苓导水汤.json |
1 |
苡仁→薏苡仁: 1 |
| 900774_柴胡四物汤.json |
1 |
苡仁→薏苡仁: 1 |
| 901045_柴独苍术汤.json |
1 |
苡仁→薏苡仁: 1 |
| 901115_保金汤.json |
1 |
苡仁→薏苡仁: 1 |
| 901354_百合地黄汤.json |
1 |
枣仁→酸枣仁: 1 |
| 901520_安神补心汤.json |
1 |
枣仁→酸枣仁: 1 |
| 901656_麻黄汤.json |
1 |
苡仁→薏苡仁: 1 |
| 901827_二妙散.json |
1 |
苡仁→薏苡仁: 1 |
| 901832_归脾汤.json |
1 |
枣仁→酸枣仁: 1 |
| 901948_天王补心丹.json |
1 |
枣仁→酸枣仁: 1 |
中药材库(22 个文件)
| 文件名 |
修正总数 |
修正详情 |
| 300174_沉香.json |
12 |
白木→白术: 12 |
| 302268_美丽胡枝子花.json |
7 |
枝子→栀子: 7 |
| 1155669_银耳.json |
5 |
白木→白术: 5 |
| 1113592_补骨脂.json |
4 |
零宽字符删除: 4 |
| 1155967_炒酸枣仁.json |
4 |
枣仁→酸枣仁: 4 |
| 302437_木通.json |
4 |
白木→白术: 4 |
| 303115_三叶青.json |
4 |
枝子→栀子: 4 |
| 1115571_酸枣仁.json |
3 |
枣仁→酸枣仁: 3 |
| 305427_薏苡仁.json |
2 |
苡仁→薏苡仁: 2 |
| 1114680_救必应.json |
1 |
白木→白术: 1 |
| 1115608_天麻.json |
1 |
枣仁→酸枣仁: 1 |
| 1116187_远志.json |
1 |
枣仁→酸枣仁: 1 |
| 1117839_羊骨.json |
1 |
构杞→枸杞: 1 |
| 1117966_鹅管石.json |
1 |
苡仁→薏苡仁: 1 |
| 1155701_黄栀子.json |
1 |
枝子→栀子: 1 |
| 1155963_炒薏苡仁.json |
1 |
苡仁→薏苡仁: 1 |
| 1156147_金丝皇菊.json |
1 |
零宽字符删除: 1 |
| 1156252_醋五味子.json |
1 |
枣仁→酸枣仁: 1 |
| 300131_白首乌.json |
1 |
白木→白术: 1 |
| 302039_马棘.json |
1 |
枝子→栀子: 1 |
| 305834_栀子.json |
1 |
枝子→栀子: 1 |
| 306234_牛膝.json |
1 |
零宽字符删除: 1 |
针灸穴位库(2 个文件)
| 文件名 |
修正总数 |
修正详情 |
| 1000751_小儿食痫穴.json |
2 |
零宽字符删除: 2 |
| 1000049_耳背臀耳穴.json |
1 |
零宽字符删除: 1 |
症状库(11 个文件)
| 文件名 |
修正总数 |
修正详情 |
| 1143337_手脚冰凉.json |
5 |
零宽字符删除: 5 |
| 1008533_发绀.json |
4 |
零宽字符删除: 4 |
| 1153014_嘴唇发紫.json |
4 |
零宽字符删除: 4 |
| 1152374_胃萎缩.json |
3 |
零宽字符删除: 3 |
| 1143027_血糖高.json |
1 |
零宽字符删除: 1 |
| 1144937_左腹疼痛.json |
1 |
零宽字符删除: 1 |
| 1152407_肝结节.json |
1 |
零宽字符删除: 1 |
| 1153095_实性肺结节.json |
1 |
零宽字符删除: 1 |
| 600106_肝阴不足证.json |
1 |
枣仁→酸枣仁: 1 |
| 600137_惊恐伤神证.json |
1 |
枣仁→酸枣仁: 1 |
| 600368_心脾两虚证.json |
1 |
枣仁→酸枣仁: 1 |
术语库(14 个文件)
| 文件名 |
修正总数 |
修正详情 |
| 1144031_鼻涕.json |
11 |
零宽字符删除: 11(含1处键名修复) |
| 1144020_蠕动.json |
8 |
零宽字符删除: 8 |
| 1144083_家族史.json |
7 |
零宽字符删除: 7 |
| 1144057_主诉.json |
4 |
零宽字符删除: 4 |
| 1144068_体征.json |
4 |
零宽字符删除: 4 |
| 800075_止观.json |
4 |
多空格合并: 4 |
| 1144027_翼点.json |
2 |
零宽字符删除: 2 |
| 800085_淡渗利湿.json |
2 |
全角空格→半角: 2 |
| 800342_气功纠偏.json |
2 |
枣仁→酸枣仁: 2 |
| 1144070_发病率.json |
1 |
零宽字符删除: 1 |
| 800020_止惊.json |
1 |
全角空格→半角: 1 |
| 800369_五劳.json |
1 |
枣仁→酸枣仁: 1 |
| 800489_气厥.json |
1 |
枣仁→酸枣仁: 1 |
药膳食疗库(8 个文件)
| 文件名 |
修正总数 |
修正详情 |
| 1009271_白木耳粥.json |
5 |
白木→白术: 5 |
| 1009073_龙眼枣仁煲牛肉.json |
3 |
枣仁→酸枣仁: 3 |
| 1009094_枣仁百合烧乌鸡.json |
3 |
枣仁→酸枣仁: 3 |
| 1009132_桂圆枣仁花生露.json |
3 |
枣仁→酸枣仁: 3 |
| 1010003_猪心枣仁汤.json |
3 |
枣仁→酸枣仁: 3 |
| 1009451_红枣糯米粥.json |
2 |
苡仁→薏苡仁: 2 |
| 1009717_双耳海螺.json |
2 |
白木→白术: 2 |
| 1009797_牛筋汤.json |
2 |
苡仁→薏苡仁: 2 |