LLM 会议纪要生成能力评测
会议纪要生成是 LLM 最接地气的企业应用之一——几乎每个公司都有整理会议记录的痛点,而转录文本的质量往往参差不齐。本文聚焦”从转录稿到规范纪要”这一具体任务,测试几个主流模型在实际场景下的表现差异。
测试说明:使用真实脱敏的企业内部会议转录(时长 45–60 分钟),涵盖产品评审、项目周会、客户沟通三类场景。评分为主观估分,不代表客观排名,具体结果以实际使用为准。
一、会议纪要任务的特殊挑战
相比普通文章摘要(参见 LLM 摘要质量横评),会议转录稿有几个独特难点:
1. 多说话人混杂 转录稿通常包含多个发言人的混合意见,同一议题可能跨越十几段发言。模型需要归并同类观点、识别分歧。
2. 口语化表达多 “就是那个……你知道的……”、“反正先这样吧”这类口语片段如果原封不动保留,纪要会读起来很混乱。模型需要提炼核心意思而非直接复述。
3. Action Item 分散埋藏 “小王你负责跟进一下”、“下周二之前要给结论”这类行动项往往穿插在讨论中,没有明确标记。能不能准确提取这些关键信息,是区分模型能力的重要维度。
4. 中文会议的语义密度 中文会议转录比英文更容易出现歧义(同音词、省略主语、隐含上下文),模型的中文理解能力直接影响纪要准确性。
二、评测维度设计
| 维度 | 权重 | 说明 |
|---|---|---|
| 结构完整性 | 25% | 纪要是否包含:会议基本信息、主要议题、讨论要点、决议事项、待办清单 |
| Action Item 提取准确率 | 25% | 人工标注的 Action Item 中,模型能识别多少比例;有无幻构的 Action Item |
| 事实准确性 | 20% | 纪要中的数字、时间节点、责任人是否与转录稿一致 |
| 表达可读性 | 15% | 语言是否流畅、专业;口语化内容是否已提炼 |
| 关键决策还原 | 15% | 会议最终拍板的决策是否被清晰呈现(而非被讨论过程稀释) |
三、Prompt 模板:可直接复用
以下是测试中使用的 Prompt,实践中可根据公司规范调整:
你是一位专业的会议纪要整理者。请根据以下会议转录稿,生成规范的会议纪要。
【输出格式要求】
# 会议纪要
**会议时间**:(从转录稿推断或由用户提供)
**参会人员**:(列出所有发言人)
**主持人**:(如可识别)
## 一、会议议题
(分点列出本次会议讨论的主要议题)
## 二、讨论要点
(按议题分组,归纳各方观点,保留关键数字和时间节点)
## 三、决议事项
(明确列出本次会议达成的决定,用"已决定:……"开头)
## 四、待办事项(Action Items)
| 责任人 | 任务描述 | 截止时间 |
|--------|---------|---------|
| (从转录稿提取,格式:姓名/角色) | (具体任务) | (如有提及) |
## 五、下次会议
(如有提及)
【注意事项】
- 保留所有具体数字、日期、金额(不要替换为模糊表述)
- 决议事项只写已明确拍板的内容,讨论中的意见放在讨论要点
- 如有信息不确定,用"【待确认】"标注,不要猜测
- 使用正式书面语言,去除口语化表达
---
会议转录稿:
[粘贴转录内容]
四、各模型表现对比
GPT-4o
Action Item 提取:表现较好,能识别约 80%(估算)的明确 Action Item,但对隐含的行动项(没有明确说”你来负责”但上下文隐含责任归属)识别率偏低。
结构输出:严格按照 Prompt 的格式输出,不会自作主张调整结构。
事实准确性:数字、时间节点基本准确。在转录稿较长(超过 1 万字)时,偶有遗漏后半段的决议。
中文表达:书面化程度高,口语提炼到位。
主要缺点:当会议讨论内容较为发散时,会议纪要的”决议事项”部分容易混入讨论意见而非最终结论。
Claude Sonnet 4.6
Action Item 提取:在三类场景中 Action Item 提取率最高(估算约 85%),尤其擅长识别”软性承诺”(“我回去研究一下”这类不算正式承诺但有后续期望的内容),会用【待确认】标注而非强行写为 Action Item。
结构输出:倾向于在标准结构外加入”补充背景”或”风险提示”小节,有时比需要的更详细。可以在 Prompt 中加”严格按照格式,不要增加额外章节”来限制。
事实准确性:最强——在测试中没有发现数字或时间节点的错误,同时会在不确定内容旁加注。
中文表达:最自然,行文接近人工整理的正式纪要。
主要缺点:生成时间比 GPT-4o 略长;在极长转录稿(1.5 万字以上)时,token 用量较高。
Gemini 1.5 Pro
Action Item 提取:识别率中等(约 70%),但偶发”幻构”——识别出转录稿中并不存在的 Action Item,在事实核查维度扣分明显。
结构输出:格式较为灵活,有时自动合并了某些议题,结构不如另外两者严谨。
事实准确性:数字准确率略低,在含有大量专有名词(产品代号、人名缩写)的转录稿中表现较差。
中文表达:可以接受,但偶有翻译腔(推测为底层多语言训练的影响)。
主要优点:对话轮次多的长转录稿处理速度最快,成本较低,适合对质量要求不高的内部会议快速生成初稿。
汇总评分(主观估算)
| 维度 | GPT-4o | Claude Sonnet 4.6 | Gemini 1.5 Pro |
|---|---|---|---|
| 结构完整性 | ★★★★☆ | ★★★★★ | ★★★☆☆ |
| Action Item 提取 | ★★★★☆ | ★★★★★ | ★★★☆☆ |
| 事实准确性 | ★★★★☆ | ★★★★★ | ★★★☆☆ |
| 表达可读性 | ★★★★★ | ★★★★★ | ★★★★☆ |
| 关键决策还原 | ★★★☆☆ | ★★★★☆ | ★★★☆☆ |
| 综合 | 4.0 | 4.6 | 3.2 |
以上为主观估分,不构成选型依据。不同行业、会议类型的结果可能有差异。
五、提升输出质量的实用技巧
技巧 1:分段处理超长转录稿
超过 1 万字的转录稿,可以按议题切分后分别总结,最后合并。这样比一次性投喂效果更稳定:
[先发第一段转录稿]
这是会议前半段,请提取:1. 讨论的议题列表 2. 每个议题的主要观点 3. Action Items(如有)
[再发第二段]
这是会议后半段,继续提取上述三类信息。
[最后]
基于我提供的两段总结,生成完整纪要。
技巧 2:提供说话人身份背景
在 Prompt 中加入参会人角色说明,可以帮助模型更准确判断谁的发言有决策权:
参会人身份:
- 张总(CEO,最终决策者)
- 李经理(产品负责人)
- 王工(技术负责人)
技巧 3:使用结构化 JSON 输出
如果纪要要进入 OA 系统,可以要求输出 JSON 格式,方便程序化处理:
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
response_format={"type": "json_object"}
)
JSON 结构建议:
{
"meeting_date": "",
"attendees": [],
"topics": [{"title": "", "key_points": []}],
"decisions": [],
"action_items": [{"owner": "", "task": "", "deadline": ""}],
"next_meeting": ""
}
技巧 4:后处理校验关键字段
Action Item 是纪要中最容易出错的部分,建议写一个简单的校验脚本,对比原转录稿中提到的责任人名字,检查纪要中是否都已对应:
# 简单示例:验证 Action Item 责任人是否出现在转录稿中
attendee_names = ["张总", "李经理", "王工"]
for item in action_items:
if item["owner"] not in attendee_names:
print(f"警告:责任人 {item['owner']} 未在参会人列表中")
六、工程落地:接入 Whisper + LLM 全流程
如果想做成自动化工具(录音 → 转录 → 纪要),典型架构:
会议录音(MP3/WAV)
↓
Whisper API(语音转文字,含说话人分离)
↓
LLM(会议纪要生成,使用上述 Prompt)
↓
输出(Markdown / JSON)
↓
发送到企业微信 / 飞书 / 邮件
Whisper 转录 1 小时录音费用约 $0.36(按官方定价估算),加上 LLM 生成纪要的 token 费,全流程成本约 $0.5–1.5/小时会议,远低于人工整理成本。
七、相关阅读
想低成本批量调用 GPT-4o 和 Claude 处理会议转录任务?YoTradeApi 支持按量计费、多模型统一接口,适合构建企业内部会议纪要自动化工具。