初始归档：健康管理资料库（大医网/药膳/体质监测/中医理论等12个资料集，7712个文件）
This commit is contained in:
512song committed
commit
80ae3811cf
7712 files changed
+4628547
No files matched your search
@@ -0,0 +1,151 @@
|
||||
# 针灸穴位数据采集归档报告
|
||||
|
||||
## 一、数据采集概况
|
||||
|
||||
| 指标 | 数值 |
|
||||
|------|------|
|
||||
| 数据源 | https://www.dayi.org.cn/list/9 |
|
||||
| 总页面数 | 1000 |
|
||||
| 成功采集 | 1000 (100%) |
|
||||
| 失败页面 | 0 |
|
||||
| 存储位置 | `/home/songyi/Documents/ai_agent_scraper_study/data/大医网/针灸穴位/` |
|
||||
| 文件总数 | 1000 个 JSON |
|
||||
| 总大小 | 2157 KB |
|
||||
| 采集脚本 | `src/crawl_acupuncture.py` |
|
||||
|
||||
## 二、存储目录结构
|
||||
|
||||
```
|
||||
home/songyi/Documents/ai_agent_scraper_study/data/大医网/
|
||||
├── 针灸穴位/ ← 仅保存 1000 个穴位 JSON 文件
|
||||
│ ├── 1000001_胰胆耳穴.json
|
||||
│ ├── 1000002_趾耳穴.json
|
||||
│ ├── ...
|
||||
│ └── 1000900_天聪穴.json
|
||||
├── 针灸穴位_urls.txt ← URL 列表
|
||||
├── 针灸穴位_report.md ← 本归档报告（当前文件）
|
||||
└── 其他数据类型...
|
||||
```
|
||||
|
||||
## 三、JSON 文件结构
|
||||
|
||||
每个 JSON 文件包含以下字段：
|
||||
|
||||
### 3.1 el-card__body 元数据（顶部信息）
|
||||
|
||||
| 字段名 | 说明 | 说明 |
|
||||
|--------|------|------|
|
||||
| 名称 | 穴位名称 |
|
||||
| url | 原页面URL |
|
||||
| 认证者 | 审核认证信息 |
|
||||
| 简介 | 概述 |
|
||||
| 隶属 | 所属经络 |
|
||||
| 位置 | 定位描述 |
|
||||
| 主治 | 主治病症 |
|
||||
| 功能 | 功能 |
|
||||
| 主要配伍 | 主要配伍 |
|
||||
| 别名 | 别名 |
|
||||
| 出处 | 出处 |
|
||||
|
||||
### 3.2 long-container 章节（正文内容）
|
||||
|
||||
| 字段名 | 说明 |
|
||||
|--------|------|
|
||||
| 名词释义 | 穴名释义 |
|
||||
| 功能作用 | 功能详述 |
|
||||
| 定位 | 定位详述 |
|
||||
| 解剖 | 解剖结构 |
|
||||
| 详细主治 | 主治详述 |
|
||||
| 详细操作 | 操作说明 |
|
||||
| 临床运用 | 临床应用 |
|
||||
| 配伍 | 配伍说明 |
|
||||
| 附注 | 补充说明 |
|
||||
| 相关论述 | 相关论述 |
|
||||
|
||||
## 四、穴位类型分布
|
||||
|
||||
| 穴位类型 | 数量 | 占比 |
|
||||
|---------|--|----|
|
||||
| 经外奇穴 | 373 | 37.3% |
|
||||
| 耳穴 | 186 | 18.6% |
|
||||
| 足太阳膀胱经 | 64 | 6.4% |
|
||||
| 足阳明胃经 | 44 | 4.4% |
|
||||
| 足少阳胆经 | 41 | 4.1% |
|
||||
| 组合穴 | 31 | 3.1% |
|
||||
| 手针穴 | 28 | 2.8% |
|
||||
| 督脉 | 28 | 2.8% |
|
||||
| 足少阴肾经 | 25 | 2.5% |
|
||||
| 任脉 | 24 | 2.4% |
|
||||
| 推拿穴位 | 23 | 2.3% |
|
||||
| 手少阳三焦经 | 22 | 2.2% |
|
||||
| 足太阴脾经 | 21 | 2.1% |
|
||||
| 手太阳小肠经 | 19 | 1.9% |
|
||||
| 手阳明大肠经 | 18 | 1.8% |
|
||||
| 其他 | 155 | 15.5% |
|
||||
|
||||
## 五、字段统计
|
||||
|
||||
### 5.1 高覆盖率字段 (>50%)
|
||||
|
||||
| 字段 | 覆盖率 | 说明 |
|
||||
|------|--------|------|
|
||||
| 名称 | 100% | 穴位名称 |
|
||||
| url | 100% | 页面地址 |
|
||||
| 认证者 | 100% | 审核认证 |
|
||||
| 简介 | 100% | 简介 |
|
||||
| 位置 | 100% | 位置 |
|
||||
| 详细主治 | 99.8% | 详细主治 |
|
||||
| 主治 | 99.8% | 主治 |
|
||||
| 隶属 | 99.7% | 隶属 |
|
||||
| 详细操作 | 99.5% | 详细操作 |
|
||||
| 定位 | 98.4% | 定位 |
|
||||
| 功能作用 | 84.9% | 功能作用 |
|
||||
| 功能 | 84.4% | 功能 |
|
||||
| 相关论述 | 82.4% | 相关论述 |
|
||||
| 出处 | 74.1% | 出处 |
|
||||
| 解剖 | 63.4% | 解剖 |
|
||||
| 配伍 | 62.5% | 配伍 |
|
||||
| 临床运用 | 57.4% | 临床运用 |
|
||||
| 主要配伍 | 53.1% | 主要配伍 |
|
||||
|
||||
### 5.2 低覆盖率字段 (<50%)
|
||||
|
||||
| 字段 | 覆盖率 | 说明 |
|
||||
|------|--------|------|
|
||||
| 别名 | 46.4% | 别名 |
|
||||
| 附注 | 43.1% | 附注 |
|
||||
| 名词释义 | 43.1% | 名词释义 |
|
||||
|
||||
## 六、文件命名规范
|
||||
|
||||
| 格式 | 示例 |
|
||||
|------|------|
|
||||
| {ID}_{名称}.json | 1000168_膻中穴.json |
|
||||
| {ID}_{名称}.json | 1000442_涌泉穴.json |
|
||||
|
||||
## 七、数据质量
|
||||
|
||||
- **成功率**: 100% (1000/1000)
|
||||
- **字段平均数**: 17/文件
|
||||
- **唯一字段数**: 82
|
||||
- **数据完整性**: 高（核心字段覆盖率均 >98%）
|
||||
|
||||
## 八、注意事项
|
||||
|
||||
1. 部分穴位页面因源数据问题，个别字段（如别名、附注）存在缺失，属于源页面数据问题。
|
||||
2. 穴位类型统计中的 "其他" 包括：手厥阴心包经、足厥阴肝经等未在前15中出现的经络。
|
||||
3. 本归档报告保存地址: `/home/songyi/Documents/ai_agent_scraper_study/data/大医网/针灸穴位_report.md`
|
||||
|
||||
## 九、附录
|
||||
|
||||
### 9.1 采集命令参考
|
||||
|
||||
```bash
|
||||
~/venvs/crawl4ai/bin/python3 /home/songyi/Documents/ai_agent_scraper_study/src/crawl_acupuncture.py
|
||||
```
|
||||
|
||||
### 9.2 URL 列表文件
|
||||
|
||||
```
|
||||
/home/songyi/Documents/ai_agent_scraper_study/data/大医网/针灸穴位_urls.txt
|
||||
```共 1000 条URL
|
||||
Reference in new issue
Block a user