初始归档:健康管理资料库(大医网/药膳/体质监测/中医理论等12个资料集,7712个文件)

This commit is contained in:
512song committed 2026-09-23 21:59:25 +08:00
commit 80ae3811cf
7712 files changed
+4628547

No files matched your search

@@ -0,0 +1,144 @@
# 针灸穴位数据采集归档报告
## 📊 数据概览
| 指标 | 数值 |
|------|------|
| 总页面数 | 1000 页 |
| 成功采集 | 1000/1000 (100%) |
| 生成文件数 | 1002 个(含索引文件) |
| 平均字段数 | 17.0/文件 |
| 唯一字段名 | 82 个 |
## 📁 存储路径
```
/home/songyi/Documents/ai_agent_scraper_study/data/大医网/
├── 针灸穴位/ ← 存储 1002 个 JSON 文件
├── 针灸穴位_urls.txt ← URL 列表源文件
├── 针灸穴位_report.json ← 本归档报告
└── ... ← 其他数据类型
```
## 📋 字段覆盖率统计
### 高覆盖率字段 (>80%)
| 字段 | 覆盖数 | 覆盖率 | 说明 |
|------|--------|--------|------|
| url | 1000/1002 | 99.8% | 页面URL |
| 名称 | 1000/1002 | 99.8% | 穴位名称 |
| 认证者 | 1000/1002 | 99.8% | 审核认证 |
| 简介 | 1000/1002 | 99.8% | 概述 |
| 位置 | 1000/1002 | 99.8% | 定位描述 |
| 详细主治 | 1000/1002 | 99.8% | 主治详述 |
| 隶属 | 999/1002 | 99.7% | 所属经络 |
| 主治 | 998/1002 | 99.6% | 主治病症 |
| 详细操作 | 995/1002 | 99.3% | 操作方法 |
| 定位 | 984/1002 | 98.2% | 定位详述 |
| 功能作用 | 849/1002 | 84.7% | 功能详述 |
| 功能 | 844/1002 | 84.2% | 功能 |
| 相关论述 | 826/1002 | 82.4% | 参考文献 |
### 中等覆盖率字段 (40-80%)
| 字段 | 覆盖数 | 覆盖率 | 说明 |
|------|--------|--------|------|
| 出处 | 741/1002 | 74.0% | 文献出处 |
| 解剖 | 634/1002 | 63.3% | 解剖位置 |
| 配伍 | 626/1002 | 62.5% | 配伍详述 |
| 临床运用 | 575/1002 | 57.4% | 临床应用 |
| 主要配伍 | 532/1002 | 53.1% | 主要配伍 |
| 别名 | 465/1002 | 46.4% | 别名/异名 |
| 附注 | 432/1002 | 43.1% | 补充说明 |
| 名词释义 | 432/1002 | 43.1% | 释义 |
### 低覆盖率字段 (<43%)
| 字段 | 覆盖数 | 覆盖率 | 说明 |
|------|--------|--------|------|
| 头痛 | 1/1002 | 0.1% | 个别穴位字段名异常 |
| 眩晕 | 1/1002 | 0.1% | 个别穴位字段名异常 |
| ... | ... | ... | 共 32 个单例字段 |
## 🏛 穴位类型分布(按隶属经络)
| 穴位类型 | 数量 | 占比 |
|---------|------|------|
| 经外奇穴 | 373 | 37.2% |
| 耳穴 | 186 | 18.6% |
| 足太阳膀胱经 | 64 | 6.4% |
| 足阳明胃经 | 44 | 4.4% |
| 足少阳胆经 | 41 | 4.1% |
| 组合穴 | 31 | 3.1% |
| 手针穴 | 28 | 2.8% |
| 督脉 | 28 | 2.8% |
| 足少阴肾经 | 25 | 2.5% |
| 任脉 | 24 | 2.4% |
| 推拿穴位 | 23 | 2.3% |
| 手少阳三焦经 | 22 | 2.2% |
| 足太阴脾经 | 21 | 2.1% |
| 手太阳小肠经 | 19 | 1.9% |
| 手阳明大肠经 | 18 | 1.8% |
| 其他经络 | 155 | 15.5% |
## 📦 数据字段说明
### el-card__body 元数据字段
| 字段名 | 说明 | 提取位置 |
|--------|------|---------|
| 名称 | 穴位名称 | h1.title |
| 认证者 | 审核认证信息 | div.renzheng |
| 简介 | 穴位概述 | div.intro |
| 隶属 | 所属经络 | top-container |
| 位置 | 定位描述 | top-container |
| 主治 | 主治病症 | top-container |
| 功能 | 功能作用 | top-container |
| 主要配伍 | 主要配伍 | top-container |
| 别名 | 别名/异名 | top-container |
| 出处 | 文献出处 | top-container |
### long-container 章节字段
| 字段名 | 说明 | 提取方式 |
|--------|------|---------|
| 名词释义 | 穴名释义 | field-container h2 |
| 功能作用 | 功能详述 | field-container h2 |
| 定位 | 定位详述 | field-container h2 |
| 解剖 | 解剖位置 | field-container h2 |
| 详细主治 | 主治详述 | field-container h2 |
| 详细操作 | 操作方法 | field-container h2 |
| 临床运用 | 现代临床应用 | field-container h2 |
| 配伍 | 配伍详述 | field-container h2 |
| 附注 | 补充说明 | field-container h2 |
| 相关论述 | 参考文献 | field-container h2 |
## 🔧 技术说明
### 采集规则
- **源地址**: `https://www.dayi.org.cn/list/9` (第1页) + `/list/9/{n}` (第2-100页)
- **数据提取范围**: `article > el-card__body` + `article > long-container`
- **HTML处理**: 所有HTML标签已去除,仅保留纯文本
- **输出格式**: JSON,UTF-8编码,缩进2空格
- **文件命名**: `{ID}_{名称}.json` 格式
- **延时策略**: 每页间隔 10 秒
- **错误处理**: 3次重试机制
### 数据质量
- **成功率**: 100% (1000/1000)
- **数据完整性**: 核心字段(名称、隶属、主治、简介)覆盖率 >99%
- **字段异常**: 32 个单例字段(覆盖率 0.1%),为个别页面 h2 标签异常导致
## 📝 备注
1. 1002 个文件中 2 个为索引文件(索引_穴位-症候关联.json、索引_经脉分类.json),不属于穴位数据
2. 部分穴位页面的 h2 标签缺失或字段名与病症名冲突,属于源页面数据质量问题
3. 所有数据已归档至 `/home/songyi/Documents/ai_agent_scraper_study/data/大医网/针灸穴位/`
---
**报告生成时间**: 2024-04-30
**数据来源**: 大医网 (dayi.org.cn)
**采集工具**: Python + BeautifulSoup + requests