测量方法论 v0.1
1. 测什么
一个测量单元是 模型版本 × 硬件 × 精度（fp16 / int8 …）× 批大小 = 1 × 输入分辨率 × 动作块长度。指标：单步推理延迟 p50 / p95（毫秒）、首动作延迟、吞吐（每秒动作块数）、显存峰值（GB）、功耗（可选）。
2. 怎么跑
- 先预热至少 20 步再计时；计时至少 200 步。
- 固定输入分辨率与动作块长度，两者都写进
config。 - 记录硬件指纹：GPU 型号、驱动、CUDA、CPU、内存、操作系统、电源模式。
- 报告 p50 和 p95。单次结果不能当“延迟”。
3. 来源与标签
每个数字旁边永远带三种来源标签之一：文献值（论文或官方文档）、维护者实测（司南实验室跑的）、众包上传（CLI 上传）。同一配置至少 3 个独立贡献者或维护者复测一致，才标“已验证”。
4. 展示规则
- 样本少于 3 条：带 初步（样本<3） 徽标。
- 偏离中位数超过 3σ 的值隔离待审，不展示。
- 没核实的字段显示 待核实，绝不用默认值填。
5. 成本口径
每千次推理成本（元）= 延迟 p50 ÷ 1000 × 小时租价（元）÷ 3600 × 1000。租价取该卡在 Sinan Compute 价格库里的公开按需小时价，来源和日期一并显示。任一输入缺失，格子显示“—”并写明原因。
6. 我们不说什么
我们只陈述测量值和条件，不给模型排优劣。合不合用取决于你的任务，判断权在你。
7. 众包 CLI（规划中）
sinan-bench hw # 采集硬件指纹 sinan-bench run --model gr00t-n1.7 --steps 200 --precision fp16 sinan-bench report --last # 本地 JSON / Markdown 报告 sinan-bench upload --last # 只传指标和硬件指纹，不传图像、数据、密钥
上传只含指标与硬件指纹。同一指纹、同一配置 24 小时内去重。