主要做法
01结合搜索意图、首位结果和答案证据，评估用户的问题是否得到解决。
项目档案 07搜索质量2016.12 - 2020.05字节跳动 · 搜索业务
搜索质量评估与问答式搜索探索
制定视频搜索评估标准，参与内容引入、排序优化和问答式结果探索
我负责的部分
我负责视频搜索内容引入策略和满足度评估标准，并和算法同事一起改进结果排序，探索问答式结果的首位命中和答案质量。
项目重点
结合搜索意图、首位结果和答案证据，评估用户的问题是否得到解决。
Search Satisfaction满足度评估搜索词 IntentEvaluation Standard答案质量评估Direct AnswerBERT Exploration首位结果 HitResult Quality
搜索质量与问答式搜索 · 一页看懂
用户搜完以后，问题解决了吗？
01
搜索不是推荐
搜索用户带着明确需求进入，核心不是多分发内容，而是快速判断需求是否被满足。
02
相关不等于满足
视频结果可能相关，但不一定能解决问题；点击高，也可能只是用户反复试错。
03
当时的技术起点
当时团队也尝试过 BERT / Transformer。我主要负责内容引入和评估标准，并与算法同事协作。
核心口径
搜索满足度四问：理解需求、定义好结果、命中首位、验证答案
用户到底要什么？
搜索词是找事实、找教程、找视频、找事件，还是在问一个可以被直接回答的问题。
什么结果算满足？
不是有结果就够了，还要看相关、可消费、质量稳定、时效合适、能不能少让用户二次搜索。
首位结果是否真的命中？
很多搜索体验的差距，就发生在第一条结果：它是答案，还是只是看起来相关。
能否直接给出答案？
对于适合问答的需求，要判断答案是否准确、可信、可验证，而不是只看生成形态。
内容引入 × 评估标准 × 排序调优
视频搜索质量
- 定义哪些视频内容适合进入搜索供给
- 建立相关性、可消费性、质量和时效评估口径
- 用竞品对标和人工评估校准搜索体验
- 与算法同事一起改进候选内容、排序和结果质量
可回答需求 × 首位命中 × 答案可信
问答式搜索探索
- 识别适合直接回答的搜索需求
- 把首位结果精准命中作为核心体验目标，而不是只看列表整体相关性
- 评估答案是否完整、可信、可验证
- 用覆盖率判断问答式结果对搜索满足度的增量
策略链路
从搜索词到满足度的质量链路
1
搜索词分型
→
2
内容供给
→
3
评估标准
→
4
排序调优
→
5
首位结果命中
→
6
效果复盘
AI 辅助方案示例
搜索满足度评估示例
下面用示例说明如何检查搜索意图、首位结果和答案证据，以及哪些情况需要人工复核。这是方案展示，尚未接入实际评估流程。
需要人工确认
AI 可以做初筛、归因和证据检查；但满足标准、直接答案边界、高风险证据要求，仍然必须由产品和评估团队定义。
什么叫满足哪些搜索词适合直接回答高风险答案证据要求是否影响排序或答案曝光模型判断和人工标准冲突时怎么处理
1
判断搜索意图
先区分用户是在找事实、教程、视频、比较，还是涉及高风险建议。不同意图对应不同满足方式。
2
检查首位结果是否命中
首位结果不能只看相关。它要真的减少用户成本，否则只是把用户带进下一轮试错。
3
评估答案证据
如果出现直接答案，就要检查来源、时效、完整性和风险，不因为答案流畅就默认满足。
4
分析问题样本
把问题归到意图理解、供给、排序、答案生成、证据或人工标准，而不是笼统说搜索质量不好。
示例问题
高风险问题需人工复核视频消费意图理解 / 排序
周杰伦 晴天 现场版
文字百科结果相关，但没有满足“现场版视频”需求。
高风险建议风险规范 / 证据
布洛芬和感冒药能一起吃吗
不能用论坛经验或无来源答案直接满足，需要权威来源和人工审核。
多结果比较答案生成 / 人工评估
新手买咖啡机还是手冲
不应该被压成单边推荐，要保留预算、清洁、学习成本等比较维度。
质量评估
头条 / 西瓜 / 抖音视频搜索体验
—
问答式结果覆盖搜索需求
准确性评估
头条搜索结果准确性
我主要负责搜索满足度评估和内容引入标准，和算法同事一起改进搜索结果与问答式结果的质量。
项目说明
方案和验证
这里记录了主要做法、评估依据，以及后续需要观察的情况。
评估时注意
02同时检查相关性、结果质量、首位命中和答案可信度。
证据来源
03人工评估、竞品对标、线上反馈，以及问答式结果的需求覆盖评估。
后续观察
04持续观察首位命中和答案质量，出现问题时调整答案覆盖范围和结果策略。
AI 相关想法
可以尝试用 AI 辅助评估搜索结果
AI 可以帮什么
输入搜索词、首位结果和候选答案，让 AI 整理意图、答案完整度和证据问题。
需要人工确认
满足度标准、可直接回答的场景和高风险内容的证据要求，需要由评估团队确定。
验证时要看什么
先和人工评估结果对照，检查 AI 容易漏掉的意图、时效和证据问题。
业务指标的具体数值不公开。