自营直播应用技术团队负责的业务中，淘宝买菜的直播业务起步较晚，业务发展压力较大，业务上也就有了期望能够对一些二方的标杆直播间进行学习，并将其优点应用到自己直播间的需求。

最初 - 人海战术，学习PK

业务侧最直接的想法是发动人海战术，通过人工的方式去观看各个直播间，提炼其中的优点，进行互动分享：

运营TL提出的要求：

运营小二人工学习的范本：

效果不错。但是人工学习需要大量的人力保障，就会导致运营基本每天都花费大量的时间在看直播间，学习直播间了，没有更多的时间去做真正的“运营”的事情了。熟悉LLM的小伙伴就会发现，这些运营总结的内容怎么看上去那么像LLM总结的？或者换句话说，基于LLM生成的总结是不是可以达到类似的效果？

既然现在各个文本网站都提供了类似于速看的功能，我们也自然而然的想到，是不是可以用LLM对标杆直播间进行学习总结，把运营解放出来，让运营回到真正的“运营”的事情上。

整体方案分为三步：

1. 通过ffmpeg将m3u8类型的直播回放视频音频下载到本地 

2. 通过集团内部的听悟工具将音频转化成文本 

3. 通过文本大模型抽取文本中的亮点，并进行多个直播间横向对比。通过图片大模型抽取布景中的亮点，并进行多个直播间横向对比。

▐  Step1：基于FFMPEG下载视频 & 音频

为什么想到用FFMPEG呢？来自于GPT：

FFMPEG下载视频 & 音频主要包括两类核心命令：

1. 视频下载：火箭赛事预测

2. 音频下载：

详细的语法大家咨询GPT即可，不再做赘述（PS：GPT用来解决编程类问题真的很好用）。

▐  Step2：将音频转换成文本

傻瓜式上传MP3文件即可，等待一会就能够转化成解析好的台本了。之后可以再以srt、docx、pdf等文件格式导出：

▐  Step3：基于大模型对文本进行概要总结

PROMPT、LLM输出的总结内容Demo如下：

▐  1. 视频截断

由于录播的时长有时候会很长，实操过程中经常会遇到视频音频过大、过长导致无法上传的情况。这种时候一般有两种解决方案：

方案一：通过ffmpeg对音频码率进行压缩。在不影响效果的情况下压缩文件大小(最终使用方案)：

方案二：使用一些开源的视频剪辑软件，对视频进行剪辑，拆分成多个片段进行上传。

▐  2. Prompt调优

要达到好的总结效果，一段好的Prompt至关重要。Prompt调优虽然有一些原则，但整体上还是一件偏玄学的事情，需要多次尝试。以下是我们经过多次尝试后的Prompt：

调优后的Prompt:

在我们进行Prompt调优过程中，有几个经验可以分享(很多技巧在其他文章中也有分享，这里更偏向我们的实践经验)：

1. Step By Step拆解：这一步确实至关重要，让大模型能够按照我们期望的格式与思路输出；

2. 简明扼要具体：具体并且简明扼要的描述能够让模型更快的抓住重点，输出的内容也能更贴合我们想要的主题；

3. 给出可以参考的示例：给出参考示例后，确实能够让模型回答的不那么天马行空。但是相应的也会导致模型被约束只会讲我们提到的参考的点，并且会产生一些和原有文本不符合的幻觉；

4. 角色带入：实践后发现，明确输出对象的角色(产品经理、直播运营、主播)后的效果比不明确输出对象要好很多。也尝试了让大模型假设自己的角色，效果没那么好，可能是类似于“数据分析师”这样的角色对于大模型来说过于抽象；

5. 人工优质文本示例：这个也做了尝试，但是效果不如不给运营的文本示例，所以被剪枝掉了。并且会导致模型回答上产生比较大的幻觉，比如回答的内容和人工优质文本一致，和当前给的输入台本无关。

模型选择上，实践尝试了各个大语言模型，实际效果上确实还是GPT-4o效果最好。

▐  3. 评论分析

基于前述的思路，也做了评论分析的功能。同样是抓取到直播间的用户评论，构建合适的Prompt提示词丢给大模型分析。这里不做赘述了。

上线后效果

基本链路搭建完成后，同样也配套搭建了工程的链路，确保运营配置好想要学习的直播间后，能够由LLM输出学习总结，产品做简单审核加工后，每天自动在群里输出。示例效果如下：

话术学习示例输出：

布局学习示例输出：

评论分析示例输出：

可以看到LLM分析的内容已经可以达到运营学习的标准了，并且能做到言之有物，也能输出一些后续能够在运营、产品、技术侧实践的有效策略。

同步获得了业务侧的点赞。基于LLM学习总结挖掘的一些新的玩法：优惠券自动推送、商品智能推荐等也在后续以产品化的方式落地，取得了不错的效果。台本的闪光点沉淀到了运营标准话术台本里，评论挖掘的内容沉淀到选品侧为后续选品提供了参考。

未来展望

经过前述的实践，我们体验到了LLM结合具体业务场景带来的切实有效的提升效果，但同时也体会到LLM在一些方面的不足（总结过于宽泛面面俱到、推理洞察能力不足、在不调参的情况下自迭代困难等）。后续重点我们会放在以下方面：

1. 继续优化Prompt，让学习总结的输出能够更加言之有物，给到运营产品更大的参考价值

2. 学习总结叠加实时流量因子，知道哪些是真正带来场观提升的话术片段，从而能够明确出后续发力的重点

3. 将LLM和直播应用做更多方面的结合，比如基于LLM做选品Copilot、结合Alive组件做更多创新互动的玩法、流量分析等

期待后续LLM结合直播应用给业务带来更多效果上的改变。

团队介绍

我们是淘天集团-自营技术-消费技术直播应用团队，致力于构建一套智能化专业化的自营业务直播运营体系，通过产品创新和AI应用为用户提供独特新颖的直播消费体验，提供一套从B端到C端的自营业务特色的直播生态产品解决方案，为业务创造新的商业机会。

¤ 拓展阅读 ¤

3DXR技术 | 终端技术 | 音视频技术

服务端技术 | 技术质量 | 数据算法