145 lines
5.0 KiB
JSON
145 lines
5.0 KiB
JSON
# 针灸穴位数据采集归档报告
|
||
|
||
## 📊 数据概览
|
||
|
||
| 指标 | 数值 |
|
||
|------|------|
|
||
| 总页面数 | 1000 页 |
|
||
| 成功采集 | 1000/1000 (100%) |
|
||
| 生成文件数 | 1002 个（含索引文件） |
|
||
| 平均字段数 | 17.0/文件 |
|
||
| 唯一字段名 | 82 个 |
|
||
|
||
## 📁 存储路径
|
||
|
||
```
|
||
/home/songyi/Documents/ai_agent_scraper_study/data/大医网/
|
||
├── 针灸穴位/ ← 存储 1002 个 JSON 文件
|
||
├── 针灸穴位_urls.txt ← URL 列表源文件
|
||
├── 针灸穴位_report.json ← 本归档报告
|
||
└── ... ← 其他数据类型
|
||
```
|
||
|
||
## 📋 字段覆盖率统计
|
||
|
||
### 高覆盖率字段 (>80%)
|
||
|
||
| 字段 | 覆盖数 | 覆盖率 | 说明 |
|
||
|------|--------|--------|------|
|
||
| url | 1000/1002 | 99.8% | 页面URL |
|
||
| 名称 | 1000/1002 | 99.8% | 穴位名称 |
|
||
| 认证者 | 1000/1002 | 99.8% | 审核认证 |
|
||
| 简介 | 1000/1002 | 99.8% | 概述 |
|
||
| 位置 | 1000/1002 | 99.8% | 定位描述 |
|
||
| 详细主治 | 1000/1002 | 99.8% | 主治详述 |
|
||
| 隶属 | 999/1002 | 99.7% | 所属经络 |
|
||
| 主治 | 998/1002 | 99.6% | 主治病症 |
|
||
| 详细操作 | 995/1002 | 99.3% | 操作方法 |
|
||
| 定位 | 984/1002 | 98.2% | 定位详述 |
|
||
| 功能作用 | 849/1002 | 84.7% | 功能详述 |
|
||
| 功能 | 844/1002 | 84.2% | 功能 |
|
||
| 相关论述 | 826/1002 | 82.4% | 参考文献 |
|
||
|
||
### 中等覆盖率字段 (40-80%)
|
||
|
||
| 字段 | 覆盖数 | 覆盖率 | 说明 |
|
||
|------|--------|--------|------|
|
||
| 出处 | 741/1002 | 74.0% | 文献出处 |
|
||
| 解剖 | 634/1002 | 63.3% | 解剖位置 |
|
||
| 配伍 | 626/1002 | 62.5% | 配伍详述 |
|
||
| 临床运用 | 575/1002 | 57.4% | 临床应用 |
|
||
| 主要配伍 | 532/1002 | 53.1% | 主要配伍 |
|
||
| 别名 | 465/1002 | 46.4% | 别名/异名 |
|
||
| 附注 | 432/1002 | 43.1% | 补充说明 |
|
||
| 名词释义 | 432/1002 | 43.1% | 释义 |
|
||
|
||
### 低覆盖率字段 (<43%)
|
||
|
||
| 字段 | 覆盖数 | 覆盖率 | 说明 |
|
||
|------|--------|--------|------|
|
||
| 头痛 | 1/1002 | 0.1% | 个别穴位字段名异常 |
|
||
| 眩晕 | 1/1002 | 0.1% | 个别穴位字段名异常 |
|
||
| ... | ... | ... | 共 32 个单例字段 |
|
||
|
||
## 🏛 穴位类型分布（按隶属经络）
|
||
|
||
| 穴位类型 | 数量 | 占比 |
|
||
|---------|------|------|
|
||
| 经外奇穴 | 373 | 37.2% |
|
||
| 耳穴 | 186 | 18.6% |
|
||
| 足太阳膀胱经 | 64 | 6.4% |
|
||
| 足阳明胃经 | 44 | 4.4% |
|
||
| 足少阳胆经 | 41 | 4.1% |
|
||
| 组合穴 | 31 | 3.1% |
|
||
| 手针穴 | 28 | 2.8% |
|
||
| 督脉 | 28 | 2.8% |
|
||
| 足少阴肾经 | 25 | 2.5% |
|
||
| 任脉 | 24 | 2.4% |
|
||
| 推拿穴位 | 23 | 2.3% |
|
||
| 手少阳三焦经 | 22 | 2.2% |
|
||
| 足太阴脾经 | 21 | 2.1% |
|
||
| 手太阳小肠经 | 19 | 1.9% |
|
||
| 手阳明大肠经 | 18 | 1.8% |
|
||
| 其他经络 | 155 | 15.5% |
|
||
|
||
## 📦 数据字段说明
|
||
|
||
### el-card__body 元数据字段
|
||
|
||
| 字段名 | 说明 | 提取位置 |
|
||
|--------|------|---------|
|
||
| 名称 | 穴位名称 | h1.title |
|
||
| 认证者 | 审核认证信息 | div.renzheng |
|
||
| 简介 | 穴位概述 | div.intro |
|
||
| 隶属 | 所属经络 | top-container |
|
||
| 位置 | 定位描述 | top-container |
|
||
| 主治 | 主治病症 | top-container |
|
||
| 功能 | 功能作用 | top-container |
|
||
| 主要配伍 | 主要配伍 | top-container |
|
||
| 别名 | 别名/异名 | top-container |
|
||
| 出处 | 文献出处 | top-container |
|
||
|
||
### long-container 章节字段
|
||
|
||
| 字段名 | 说明 | 提取方式 |
|
||
|--------|------|---------|
|
||
| 名词释义 | 穴名释义 | field-container h2 |
|
||
| 功能作用 | 功能详述 | field-container h2 |
|
||
| 定位 | 定位详述 | field-container h2 |
|
||
| 解剖 | 解剖位置 | field-container h2 |
|
||
| 详细主治 | 主治详述 | field-container h2 |
|
||
| 详细操作 | 操作方法 | field-container h2 |
|
||
| 临床运用 | 现代临床应用 | field-container h2 |
|
||
| 配伍 | 配伍详述 | field-container h2 |
|
||
| 附注 | 补充说明 | field-container h2 |
|
||
| 相关论述 | 参考文献 | field-container h2 |
|
||
|
||
## 🔧 技术说明
|
||
|
||
### 采集规则
|
||
|
||
- **源地址**: `https://www.dayi.org.cn/list/9` (第1页) + `/list/9/{n}` (第2-100页)
|
||
- **数据提取范围**: `article > el-card__body` + `article > long-container`
|
||
- **HTML处理**: 所有HTML标签已去除，仅保留纯文本
|
||
- **输出格式**: JSON，UTF-8编码，缩进2空格
|
||
- **文件命名**: `{ID}_{名称}.json` 格式
|
||
- **延时策略**: 每页间隔 10 秒
|
||
- **错误处理**: 3次重试机制
|
||
|
||
### 数据质量
|
||
|
||
- **成功率**: 100% (1000/1000)
|
||
- **数据完整性**: 核心字段（名称、隶属、主治、简介）覆盖率 >99%
|
||
- **字段异常**: 32 个单例字段（覆盖率 0.1%），为个别页面 h2 标签异常导致
|
||
|
||
## 📝 备注
|
||
|
||
1. 1002 个文件中 2 个为索引文件（索引_穴位-症候关联.json、索引_经脉分类.json），不属于穴位数据
|
||
2. 部分穴位页面的 h2 标签缺失或字段名与病症名冲突，属于源页面数据质量问题
|
||
3. 所有数据已归档至 `/home/songyi/Documents/ai_agent_scraper_study/data/大医网/针灸穴位/`
|
||
|
||
---
|
||
**报告生成时间**: 2024-04-30
|
||
**数据来源**: 大医网 (dayi.org.cn)
|
||
**采集工具**: Python + BeautifulSoup + requests
|