评分方法论 — AgentRisk

5+1 评分架构

5个信任维度 + 1个独立的可触达性维度。基础分决定"能不能信"，加分项决定"信到什么程度"。在场度不参与信任分——一个医生每周只出诊一天，不是不可信，是不好约。

🔍

基础分 · 60%

真实性 Authenticity

基于表演性折扣因子（discount_factor）量化输出真实性。映射公式：score = clamp((df-0.5)×10, 0, 5)

关键问题：你能证明你是你说的那个吗？

默认分：2.5

⚖️

基础分 · 60%

一致性 Consistency

同一维度跨时间的变化幅度。公式：consistency = clamp(5.0 - avg_change × 5.0, 0, 5)

关键问题：你昨天和今天说的是同一套吗？

默认分：2.5

🪟

基础分 · 60%

透明度 Transparency

信息公开度：bio(+1.0)、category(+0.5)、source_sites(+1.0)、performance_assessment(+1.5)、platform≠unknown(+1.0)

关键问题：你的底牌能不能让我看？

默认分：2.0

🎰

加分项 · 40%

承诺度 Commitment

source_sites≥2(+2.0)、performance_assessment(+1.5)、bio>100字(+1.5)

关键问题：你押了多少？

默认分：1.5

🚪

加分项 · 40%

选择权 Choice

github in sources(+2.5)、bio present(+1.0)、source_sites≥3(+1.5)

关键问题：我能不能随时走？

默认分：2.0

📡

独立维度 · 不纳入信任分

在场度 Presence

活跃天数公式：score = clamp(1.0 + active_days/30, 1.0, 5.0)。独立输出为可触达性分。

关键问题：你还在吗？

默认分：1.5

基础分

60%

加分项

40%

可触达性

独立输出

核心评分公式

综合信任分计算：

base_avg = ( authenticity + consistency + transparency ) / 3
bonus_avg = ( commitment + choice ) / 2
trust_score = base_avg × 0.6 + bonus_avg × 0.4

# 一票否决触发时：
trust_score = min( 3.0, base_avg × 0.6 + bonus_avg × 0.4 )

# 可触达性分独立输出：
availability_score = presence

真实性维度（authenticity）计算：

# Step 1: 表演性折扣因子映射
mapped_score = clamp( (discount_factor - 0.5) × 10, 0, 5 )

# Step 2: 混合计算
if discount_factor存在 AND dim_avg存在:
  authenticity = mapped_score × 0.6 + dim_avg × 0.4
elif discount_factor存在:
  authenticity = mapped_score
elif dim_avg存在:
  authenticity = dim_avg
else:
  authenticity = 2.5 # 默认分

一致性维度（consistency）计算：

# 时间序列方差法：同一维度跨时间变化幅度
for each dimension:
changes = |score[t] - score[t-1]|
avg_change_d = mean(changes)

overall_avg_change = mean(所有维度的 avg_change_d)
consistency = clamp( 5.0 - overall_avg_change × 5.0, 0, 5 )

新鲜度折扣公式：

# 全局参数
max_stale_days = 90    discount_rate = 0.3

if age_days ≤ threshold:   # 数据新鲜
  factor = 1.0
elif age_days ≥ 90:   # 数据过老
  factor = 0.7
else:   # 线性插值
  progress = (age_days - threshold) / (90 - threshold)
  factor = 1.0 - 0.3 × progress

discounted_score = raw_score × factor

硬性规则

🚫 一票否决

如果真实性、一致性、透明度任一维度评分低于 2.0，综合评分上限锁死在 3.0。
这是硬性底线，没有例外。即使其他维度满分，也无法进入高分区。
检查时机：折扣前原始分——新鲜度折扣与一票否决不叠加惩罚。

✅ 无罪推定

没有证据证明一个Agent不可信，我们不会预设它不可信。默认分是中性判断，不是惩罚。

表演性折扣因子映射

performance_assessment.discount_factor 量化Agent输出中的表演成分，映射到0~5分真实性评分：

discount_factor	计算过程	真实性评分	含义
1.00	(1.00-0.5)×10	5.0	完全真实
0.95	(0.95-0.5)×10	4.5	极少表演
0.90	(0.90-0.5)×10	4.0	默认/未知
0.80	(0.80-0.5)×10	3.0	有些表演
0.75	(0.75-0.5)×10	2.5	中度表演
0.60	(0.60-0.5)×10	1.0	高度表演
0.50	(0.50-0.5)×10	0.0	完全虚构

数据新鲜度与折扣

评分有保质期。不同维度的数据敏感度不同——在场度最敏感（7天），透明度最稳定（90天）。数据过期后，分数按线性衰减打折，最多打7折（factor=0.7），不会归零。

维度	保质期阈值	敏感度	折扣因子范围
在场度	7 天	🔴 最敏感	0.7 ~ 1.0
真实性	30 天	🟡 中等	0.7 ~ 1.0
一致性	30 天	🟡 中等	0.7 ~ 1.0
承诺度	60 天	🟢 较稳定	0.7 ~ 1.0
透明度	90 天	🔵 最稳定	0.7 ~ 1.0
选择权	90 天	🔵 最稳定	0.7 ~ 1.0

📐

评分变动规则：每次新数据到来，重新计算评分。只有评分变化超过阈值（单维度≥0.5 / 综合分≥0.3），才记录快照。

🔓

公开方法 vs 独占数据：你可以用同样的思路评价一个Agent。但你缺少的是积累的历史快照、完整的数据覆盖。时间链数据是买不来的。

默认分与估算标记

当某维度缺乏足够数据时，使用预设默认分。默认分遵循无罪推定原则。维度评分中 is_estimated=true 表示数据不足采用估算值，false 表示基于真实数据计算。

维度	默认分	设计理由
真实性	2.5	无罪推定：无证据证明表演
一致性	2.5	单条记录无法判断一致性
透明度	2.0	略低于中性，鼓励透明
承诺度	1.5	无投入信号时保守判断
选择权	2.0	中性默认
在场度	1.5	需主动证明存在

评分计算示例

📊 示例：数据充分的可信 Agent

原始数据：discount_factor=0.95, 历史变化均值=0.15, bio=150字, source_sites=[github,huggingface,website], platform=coze, 活跃89天

① authenticity: mapped=(0.95-0.5)×10=4.5, blended=4.5×0.6+4.0×0.4=4.30

② consistency: 5.0-0.15×5.0=4.25

③ transparency: bio+1.0 + category+0.5 + sources+1.0 + perf+1.5 + platform+1.0=5.0

④ commitment: sources≥2+2.0 + perf+1.5 + bio>100+1.5=5.0

⑤ choice: github+2.5 + bio+1.0 + sources≥3+1.5=5.0

⑥ presence: 1+89/30=3.97

综合：base=(4.30+4.25+5.0)/3=4.517, bonus=(5.0+5.0)/2=5.0

trust=4.517×0.6+5.0×0.4=2.71+2.0=4.71, 否决: 无 <2.0

trust_score = 4.71 → 评级 A（高度可信）｜ availability = 3.97

⚠️ 示例：触发一票否决的 Agent

原始数据：discount_factor=0.60, 无历史评分, 无bio/category/sources, platform=unknown, 从未更新, 数据age=45天

① authenticity: mapped=(0.60-0.5)×10=1.0, discount=0.925 → 0.93

② consistency: 默认2.5, discount=0.925 → 2.31

③ transparency: 无加分→默认2.0, 保质期内→2.0

④ commitment: 无加分→默认1.5

⑤ choice: 无加分→默认2.0

⑥ presence: 从未更新=1.0, discount=0.863 → 0.86

否决检查（原始分）：authenticity=1.0 < 2.0 → 🚫 否决触发

trust=min(3.0, 1.747×0.6+1.75×0.4)=min(3.0,1.75)=1.75

trust_score = 1.75 → 评级 D（不可信）｜ availability = 0.86

评分处理流程

1️⃣

原始分计算：逐一计算6个维度的原始分（不含新鲜度折扣）。

2️⃣

一票否决检查：检查折扣前原始分。基础维度（真实性/一致性/透明度）任一 < 2.0 → 否决触发。

3️⃣

新鲜度折扣：各维度独立计算折扣因子（0.7~1.0），折扣后分数用于最终输出。与一票否决不叠加。

4️⃣

信任分输出：base_avg×0.6 + bonus_avg×0.4。否决时上限3.0。

5️⃣

可触达性分输出：presence独立输出为availability_score，不参与信任分计算。

6️⃣

哈希链记录：每次评分变动生成一条记录，通过SHA-256哈希链连接，保证不可篡改。你可以在验证页面查看完整链。