接到陌生 CSV 后的数据质量审计

已完成审计，并使用 Bash 重新运行了 audit_data.py。原始文件未被覆盖，已重新生成并核对以下文件：

• data_dictionary.csv
• issue_log.csv
• research_data_cleaned.csv
• audit_report.html
• audit_data.py

审计结果

原始数据：

• 记录数：152
• 字段数：6
• 唯一 participant ID：150
• 原始文件 SHA-256：b0b892db9c0dcb9f58e01d1486b58cf84414bec6f94aeb5f73bcbf9cb18d9da3
• 清洗文件记录数：152
• 原始文件保持不变

问题总数：116 条

严重程度：

• high：10
• medium：8
• low：98

已执行的保守清洗

写入 research_data_cleaned.csv，但没有删除记录：

• group
  • control → Control
  • T → Treatment
  • 空值保留为空
• adverse_event
  • yes、1 → Yes
  • no、0 → No
• age
  • 170、-4 清为空
• outcome_score
  • 两个 999 清为空，作为疑似缺失值哨兵记录
  • 原本的 7 个空值仍为空
• visit_date
  • 两个非法值 2026/13/40 清为空
• 重复行全部保留，没有自动删除

清洗后各字段空值数量：

重复记录

发现两组完全重复的记录：

• S025：原始 CSV 第 26、152 行
• S080：原始 CSV 第 81、153 行

问题日志中将两行都记录为重复记录，因此重复问题计数为 4 条；实际重复组为 2 组、冗余记录为 2 行。

需要研究者确认的清洗决定

以下决定没有在自动审计中擅自确定：

1. outcome_score = 999 是否确实代表缺失值

   • 当前按疑似缺失处理并清空。
   • 需确认 999 是否可能是合法编码或特殊状态码。

2. 年龄范围是否确实为 0–120 岁

   • 当前将 170 和 -4 清空。
   • 需确认研究对象、年龄单位以及允许范围。

3. outcome_score 的合法范围是否确实为 0–100

   • 当前按 0–100 的假设审计。
   • 需由研究者确认量表定义和单位。

4. S025 和 S080 是否应删除重复记录

   • 当前全部保留。
   • 需要根据采集批次、访问次数或数据录入记录判断是真重复，还是同一受试者的合法重复测量。

5. 空白 group 的处理

   • 当前保留为空。
   • 不能在没有来源信息的情况下推断为 Control 或 Treatment。

6. 非法日期的真实含义

   • 当前将 2026/13/40 清空。
   • 需要查阅原始记录确认是否为录入错误、日期格式问题，或其他特殊编码。

7. 是否确实“一名受试者一条记录”

   • 如果研究设计允许多次访视，则 participant ID 重复未必是错误。
   • 应结合研究方案和访视设计确认重复记录规则。

8. 研究时间窗

   • 当前只检查日期格式和日历合法性，没有自动判定研究日期是否超出方案规定的研究窗口。
   • 研究者应确认日期范围。

修改后的文件位于项目目录中，research_data_raw.csv 保持原样。