512song/health
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
80ae3811cf7b83a9bd1adf41ff1949d85e975aac
health/大医网/04_分析报告/数据质量/OCR清洗报告.md
T

233 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# OCR/文本杂质清洗报告
**数据目录：** `/home/songyi/Documents/ai_agent_scraper_study/data/大医网/01_来源数据`
**子目录：** 疾病/ 方剂/ 中药材/ 针灸穴位/ 症状/ 术语/ 药膳食疗
**清洗时间：** 2026-06-26 13:31–13:32
**清洗轮次：** 2轮（首轮全量清洗 + 次轮键名残留修复）
---
## 一、汇总统计
| 数据集名 | 总文件数 | 清洗文件数 | 总修正处 | 错误类型分布 |
|----------|----------|------------|----------|--------------|
| 疾病库 | 998 | 38 | 53 | 全角空格→半角: 26; 枣仁→酸枣仁: 8; 白木→白术: 6; 苡仁→薏苡仁: 6; 零宽字符删除: 3; 多空格合并: 3; 当妇→当归: 1 |
| 方剂库 | 1000 | 30 | 41 | 枣仁→酸枣仁: 18; 苡仁→薏苡仁: 14; 多空格合并: 5; 零宽字符删除: 2; 构杞→枸杞: 2 |
| 中药材库 | 1000 | 22 | 58 | 白木→白术: 23; 枝子→栀子: 14; 枣仁→酸枣仁: 10; 零宽字符删除: 6; 苡仁→薏苡仁: 4; 构杞→枸杞: 1 |
| 针灸穴位库 | 1000 | 2 | 3 | 零宽字符删除: 3 |
| 症状库 | 993 | 11 | 23 | 零宽字符删除: 20; 枣仁→酸枣仁: 3 |
| 术语库 | 1001 | 14 | 48 | 零宽字符删除: 37; 多空格合并: 4; 枣仁→酸枣仁: 4; 全角空格→半角: 3 |
| 药膳食疗库 | 1000 | 8 | 23 | 枣仁→酸枣仁: 12; 白木→白术: 7; 苡仁→薏苡仁: 4 |
| **合计** | **6992** | **125** | **249** | **零宽字符删除: 71; 枣仁→酸枣仁: 55; 白木→白术: 36; 全角空格→半角: 29; 苡仁→薏苡仁: 28; 枝子→栀子: 14; 多空格合并: 12; 构杞→枸杞: 3; 当妇→当归: 1** |
## 二、清洗规则详情
| 优先级 | 规则 | 模式 | 替换为 | 修正次数 |
|--------|------|------|--------|----------|
| 1 | 枣仁→酸枣仁 | `(?<!酸)枣仁` | `酸枣仁` | 55 |
| 2 | 白木→白术 | `白木` | `白术` | 36 |
| 3 | 苡仁→薏苡仁 | `(?<!薏)苡仁` | `薏苡仁` | 28 |
| 4 | 枝子→栀子 | `枝子` | `栀子` | 14 |
| 5 | 构杞→枸杞 | `构杞` | `枸杞` | 3 |
| 6 | 构杞子→枸杞子 | `构杞子` | `枸杞子` | 0 |
| 7 | 当妇→当归 | `当妇` | `当归` | 1 |
| 8 | 意苡仁→薏苡仁 | `意苡仁` | `薏苡仁` | 0 |
| 9 | 获苓→茯苓 | `获苓` | `茯苓` | 0 |
| 10 | 川萼→川芎 | `川萼` | `川芎` | 0 |
| 11 | 黄茂→黄芪 | `黄茂` | `黄芪` | 0 |
| 12 | 甘革→甘草 | `甘革` | `甘草` | 0 |
| 13 | 灵艺→灵芝 | `灵艺` | `灵芝` | 0 |
| 14 | 大赉→大枣 | `大赉` | `大枣` | 0 |
| 15 | 干娈→干姜 | `干娈` | `干姜` | 0 |
| 16 | 全角空格→半角 | `\u3000` | ` ` | 29 |
| 17 | 零宽字符删除 | `[\u200b\u200c\u200d\ufeff]` | （删除） | 71 |
| 18 | 多空格合并 | ` +` | ` ` | 12 |
## 三、清洗后验证
**验证结果：零残留 ✓** — 两轮清洗后所有规则均已正确应用，无未处理的匹配项。
二次验证独立确认：
- OCR形近错字 14 种 → 0 残留 ✓
- 全角空格 `\u3000` → 0 残留 ✓
- 零宽字符 `[\u200b\u200c\u200d\ufeff]` → 0 残留 ✓
- 负向零宽断言无误改（未出现"酸酸枣仁"、"薏薏苡仁"） ✓
## 四、错误类型分布（全部）
| 错误类型 | 修正次数 | 占比 |
|----------|----------|------|
| 零宽字符删除 | 71 | 28.5% |
| 枣仁→酸枣仁 | 55 | 22.1% |
| 白木→白术 | 36 | 14.5% |
| 全角空格→半角 | 29 | 11.6% |
| 苡仁→薏苡仁 | 28 | 11.2% |
| 枝子→栀子 | 14 | 5.6% |
| 多空格合并 | 12 | 4.8% |
| 构杞→枸杞 | 3 | 1.2% |
| 当妇→当归 | 1 | 0.4% |
| **总计** | **249** | **100%** |
## 五、被修改文件列表
共 125 个文件被修改：
### 疾病库（38 个文件）
| 文件名 | 修正总数 | 修正详情 |
|--------|----------|----------|
| 700078_胆瘅.json | 4 | 全角空格→半角: 2; 多空格合并: 2 |
| 700168_经行头痛.json | 3 | 全角空格→半角: 3 |
| 1026991_肺动脉高压.json | 2 | 零宽字符删除: 2 |
| 700014_薄厥.json | 2 | 苡仁→薏苡仁: 2 |
| 700039_产后小便淋痛.json | 2 | 全角空格→半角: 2 |
| 700081_胆胀.json | 2 | 枣仁→酸枣仁: 2 |
| 700167_经行身痛.json | 2 | 全角空格→半角: 2 |
| 700181_烂疔.json | 2 | 全角空格→半角: 1; 多空格合并: 1 |
| 700216_缺乳.json | 2 | 当妇→当归: 1; 全角空格→半角: 1 |
| 700262_胎漏、胎动不安.json | 2 | 全角空格→半角: 2 |
| 700315_阴疮.json | 2 | 全角空格→半角: 2 |
| 700331_月经后期.json | 2 | 全角空格→半角: 2 |
| 1010116_失音.json | 1 | 白木→白术: 1 |
| 1119969_前列腺炎.json | 1 | 白木→白术: 1 |
| 1141234_扁平疣.json | 1 | 苡仁→薏苡仁: 1 |
| 1148588_胆囊炎.json | 1 | 零宽字符删除: 1 |
| 1155689_心肾不交.json | 1 | 枣仁→酸枣仁: 1 |
| 1155724_肾精亏虚.json | 1 | 枣仁→酸枣仁: 1 |
| 1155732_血虚.json | 1 | 枣仁→酸枣仁: 1 |
| 1160556_皮肤瘙痒.json | 1 | 枣仁→酸枣仁: 1 |
| 1161022_胃阴不足.json | 1 | 白木→白术: 1 |
| 1161188_口舌生疮.json | 1 | 白木→白术: 1 |
| 700031_产后恶露不绝.json | 1 | 全角空格→半角: 1 |
| 700037_产后身痛.json | 1 | 全角空格→半角: 1 |
| 700046_产后血晕.json | 1 | 全角空格→半角: 1 |
| 700053_赤虫病.json | 1 | 苡仁→薏苡仁: 1 |
| 700094_多发性抽动症.json | 1 | 枣仁→酸枣仁: 1 |
| 700135_腘窝痈.json | 1 | 苡仁→薏苡仁: 1 |
| 700145_混合痔.json | 1 | 全角空格→半角: 1 |
| 700160_经行发热.json | 1 | 全角空格→半角: 1 |
| 700172_经期延长.json | 1 | 全角空格→半角: 1 |
| 700200_内痔.json | 1 | 全角空格→半角: 1 |
| 700205_皮痹.json | 1 | 苡仁→薏苡仁: 1 |
| 700220_妊娠腹痛.json | 1 | 全角空格→半角: 1 |
| 700228_乳头破碎.json | 1 | 白木→白术: 1 |
| 700276_脱囊.json | 1 | 白木→白术: 1 |
| 700307_阳痿.json | 1 | 枣仁→酸枣仁: 1 |
| 700359_痿证.json | 1 | 全角空格→半角: 1 |
### 方剂库（30 个文件）
| 文件名 | 修正总数 | 修正详情 |
|--------|----------|----------|
| 1096769_调经饮《景岳全书》.json | 3 | 多空格合并: 3 |
| 1119155_宣痹汤.json | 3 | 苡仁→薏苡仁: 3 |
| 901951_酸枣仁汤.json | 3 | 枣仁→酸枣仁: 3 |
| 1027333_高枕无忧散.json | 2 | 枣仁→酸枣仁: 2 |
| 1083662_河车大造丸.json | 2 | 构杞→枸杞: 1; 枣仁→酸枣仁: 1 |
| 1120568_五痿汤.json | 2 | 苡仁→薏苡仁: 2 |
| 1121189_秘元煎.json | 2 | 枣仁→酸枣仁: 2 |
| 901285_赤豆薏苡仁汤.json | 2 | 苡仁→薏苡仁: 2 |
| 1028757_接骨散.json | 1 | 零宽字符删除: 1 |
| 1032586_二精丸.json | 1 | 构杞→枸杞: 1 |
| 1038334_大补阴丸.json | 1 | 多空格合并: 1 |
| 1042877_五福饮.json | 1 | 枣仁→酸枣仁: 1 |
| 1050626_甘草小麦大枣汤《金匮要略》.json | 1 | 枣仁→酸枣仁: 1 |
| 1051841_龙齿壮胆汤《辨证录》.json | 1 | 枣仁→酸枣仁: 1 |
| 1052073_归脾丸.json | 1 | 枣仁→酸枣仁: 1 |
| 1063820_连理汤《症因脉治》.json | 1 | 零宽字符删除: 1 |
| 1073026_当归贝母苦参丸.json | 1 | 苡仁→薏苡仁: 1 |
| 1097363_海藻玉壶汤.json | 1 | 多空格合并: 1 |
| 1121217_七福饮.json | 1 | 枣仁→酸枣仁: 1 |
| 1125497_坤厚资生丸.json | 1 | 枣仁→酸枣仁: 1 |
| 900651_茯苓导水汤.json | 1 | 苡仁→薏苡仁: 1 |
| 900774_柴胡四物汤.json | 1 | 苡仁→薏苡仁: 1 |
| 901045_柴独苍术汤.json | 1 | 苡仁→薏苡仁: 1 |
| 901115_保金汤.json | 1 | 苡仁→薏苡仁: 1 |
| 901354_百合地黄汤.json | 1 | 枣仁→酸枣仁: 1 |
| 901520_安神补心汤.json | 1 | 枣仁→酸枣仁: 1 |
| 901656_麻黄汤.json | 1 | 苡仁→薏苡仁: 1 |
| 901827_二妙散.json | 1 | 苡仁→薏苡仁: 1 |
| 901832_归脾汤.json | 1 | 枣仁→酸枣仁: 1 |
| 901948_天王补心丹.json | 1 | 枣仁→酸枣仁: 1 |
### 中药材库（22 个文件）
| 文件名 | 修正总数 | 修正详情 |
|--------|----------|----------|
| 300174_沉香.json | 12 | 白木→白术: 12 |
| 302268_美丽胡枝子花.json | 7 | 枝子→栀子: 7 |
| 1155669_银耳.json | 5 | 白木→白术: 5 |
| 1113592_补骨脂.json | 4 | 零宽字符删除: 4 |
| 1155967_炒酸枣仁.json | 4 | 枣仁→酸枣仁: 4 |
| 302437_木通.json | 4 | 白木→白术: 4 |
| 303115_三叶青.json | 4 | 枝子→栀子: 4 |
| 1115571_酸枣仁.json | 3 | 枣仁→酸枣仁: 3 |
| 305427_薏苡仁.json | 2 | 苡仁→薏苡仁: 2 |
| 1114680_救必应.json | 1 | 白木→白术: 1 |
| 1115608_天麻.json | 1 | 枣仁→酸枣仁: 1 |
| 1116187_远志.json | 1 | 枣仁→酸枣仁: 1 |
| 1117839_羊骨.json | 1 | 构杞→枸杞: 1 |
| 1117966_鹅管石.json | 1 | 苡仁→薏苡仁: 1 |
| 1155701_黄栀子.json | 1 | 枝子→栀子: 1 |
| 1155963_炒薏苡仁.json | 1 | 苡仁→薏苡仁: 1 |
| 1156147_金丝皇菊.json | 1 | 零宽字符删除: 1 |
| 1156252_醋五味子.json | 1 | 枣仁→酸枣仁: 1 |
| 300131_白首乌.json | 1 | 白木→白术: 1 |
| 302039_马棘.json | 1 | 枝子→栀子: 1 |
| 305834_栀子.json | 1 | 枝子→栀子: 1 |
| 306234_牛膝.json | 1 | 零宽字符删除: 1 |
### 针灸穴位库（2 个文件）
| 文件名 | 修正总数 | 修正详情 |
|--------|----------|----------|
| 1000751_小儿食痫穴.json | 2 | 零宽字符删除: 2 |
| 1000049_耳背臀耳穴.json | 1 | 零宽字符删除: 1 |
### 症状库（11 个文件）
| 文件名 | 修正总数 | 修正详情 |
|--------|----------|----------|
| 1143337_手脚冰凉.json | 5 | 零宽字符删除: 5 |
| 1008533_发绀.json | 4 | 零宽字符删除: 4 |
| 1153014_嘴唇发紫.json | 4 | 零宽字符删除: 4 |
| 1152374_胃萎缩.json | 3 | 零宽字符删除: 3 |
| 1143027_血糖高.json | 1 | 零宽字符删除: 1 |
| 1144937_左腹疼痛.json | 1 | 零宽字符删除: 1 |
| 1152407_肝结节.json | 1 | 零宽字符删除: 1 |
| 1153095_实性肺结节.json | 1 | 零宽字符删除: 1 |
| 600106_肝阴不足证.json | 1 | 枣仁→酸枣仁: 1 |
| 600137_惊恐伤神证.json | 1 | 枣仁→酸枣仁: 1 |
| 600368_心脾两虚证.json | 1 | 枣仁→酸枣仁: 1 |
### 术语库（14 个文件）
| 文件名 | 修正总数 | 修正详情 |
|--------|----------|----------|
| 1144031_鼻涕.json | 11 | 零宽字符删除: 11（含1处键名修复） |
| 1144020_蠕动.json | 8 | 零宽字符删除: 8 |
| 1144083_家族史.json | 7 | 零宽字符删除: 7 |
| 1144057_主诉.json | 4 | 零宽字符删除: 4 |
| 1144068_体征.json | 4 | 零宽字符删除: 4 |
| 800075_止观.json | 4 | 多空格合并: 4 |
| 1144027_翼点.json | 2 | 零宽字符删除: 2 |
| 800085_淡渗利湿.json | 2 | 全角空格→半角: 2 |
| 800342_气功纠偏.json | 2 | 枣仁→酸枣仁: 2 |
| 1144070_发病率.json | 1 | 零宽字符删除: 1 |
| 800020_止惊.json | 1 | 全角空格→半角: 1 |
| 800369_五劳.json | 1 | 枣仁→酸枣仁: 1 |
| 800489_气厥.json | 1 | 枣仁→酸枣仁: 1 |
### 药膳食疗库（8 个文件）
| 文件名 | 修正总数 | 修正详情 |
|--------|----------|----------|
| 1009271_白木耳粥.json | 5 | 白木→白术: 5 |
| 1009073_龙眼枣仁煲牛肉.json | 3 | 枣仁→酸枣仁: 3 |
| 1009094_枣仁百合烧乌鸡.json | 3 | 枣仁→酸枣仁: 3 |
| 1009132_桂圆枣仁花生露.json | 3 | 枣仁→酸枣仁: 3 |
| 1010003_猪心枣仁汤.json | 3 | 枣仁→酸枣仁: 3 |
| 1009451_红枣糯米粥.json | 2 | 苡仁→薏苡仁: 2 |
| 1009717_双耳海螺.json | 2 | 白木→白术: 2 |
| 1009797_牛筋汤.json | 2 | 苡仁→薏苡仁: 2 |
Reference in new issue View Git Blame Copy Permalink