AIGC 兴起，在各行各业得到应用。广告作为用户增长的有效手段，经久不衰，日益增长的广告创意素材素材需求与设计师人工制作素材产能不足的矛盾问题凸显，AIGC 技术的应用能够在多模态素材上发挥作用，为广告投放业务赋能。

趣丸科技资深研发工程师 阮陈贵 作为 WOT 全球技术创新大会的演讲嘉宾，在 AIGC 赋能业务专场上进行了《AIGC 在趣丸科技广告素材场景下赋能业务的探索实践》的主题分享。分享从趣丸科技核心产品（TT 语音、麦可等）的广告业务场景出发，阐述相关 AIGC 技术在广告短文案、广告长文案、广告图片及广告视频等素材内容上的应用，过程中遇到的挑战与问题，也涉及到广告效果数据与素材内容结合的方案思考。

本文大纲

1. 行业背景介绍

2. 趣丸科技的程序化广告投放与素材特点介绍

3. 基于 AIGC 技术的广告素材生成产品方案

4. 广告文案、图片及视频生成技术应用

5. 挑战及未来规划

AIGC兴起，在各行各业得到应用，同时广告作为用户增长的有效手段，经久不衰，日益增长的广告创意素材需求与设计师人工制作素材产能不足的矛盾问题凸显，AIGC技术的应用能够在多模态素材上发挥作用，为广告投放业务赋能。

如今，无处不在的在线程序化广告，包括 Banner、文字链、开屏、插屏、信息流、搜索等广告。投放渠道众多，如头条、快手、广点通等。无论渠道和样式如何，广告创意素材是关键，直接影响投放效率和效果。

广告投放效果受多个因素影响，如创意素材质量、投放策略准确性等。创意素材质量对效果有重要影响，好的创意能吸引用户并形成转化。不同用户对产品或服务的观点不同，传统广告的单一创意不适合程序化广告。信息流广告和新媒体广告对创意素材有不同需求。

从广告形式角度，分为效果广告和品牌广告，效果广告为信息流广告，品牌广告为新媒体，都使用文本、图片和视频作为推广载体。

2.1 信息流与新媒体广告案例

信息流广告以图文、视频+封面+文本方式在流量媒体投放，文案简短，图片视频抽象泛化，不针对特定内容。

新媒体广告以达人内容推广文章，包括软文种草、直播，长文案为主，内容深入分析，并与用户通过具体内容达到共情。

2.2 广告生命周期与素材特点

人们总是对新鲜及符合自己兴趣的事物充满好奇心，广告素材的更新迭代就非常有必要，所以每天会有各种各样的新广告素材产生，为了让增长稳定保持，不完全重复的素材也必然需要被生产，对负责素材生产的设计师们提出了更高要求，广告投放优化师也一样，需要稳定大量的素材上新平衡素材获量衰退。

广告跑量的素材影响

广告素材起量

非重复优质素材集中搭建

观感优质素材

广告素材掉量

自然掉量：素材吸引力达到上限，用户审美疲劳

突然掉量：相同素材重复使用，内卷挤占

符合能跑量的素材特点

所以，为了能够让广告更好的跑量，需要让素材本身具备以下特点：

不重复

感观优质

原生弱营销

卖点突出，字幕贴纸凸显

配乐和谐

情节饱满，脚本创新

AIGC 技术能够对多模态内容进行创作，包括文本、图片、视频及音频内容，并通过一系列的内容处理技术提升广告素材有创意且批量生成，提升广告制作、试验、优化调整以及规模化等方面的效率，降本增效，提供广告效果。

增效

1、AI 能自动化生产固定范式的内容，提升效率；

2、AI 可在人工收集基础素材后丰富其素材，提高收集效率；

3、AI 在素材创作上能辅助创意延展，提升效率，但不能完全取代人工。

降本

1、AIGC 多渠道实时投放,丰富互动形式，降低成本；

2、AI 自动监测数据,无需人工调试，减少管理成本。

3.1 基于业务工作流组合的批量生成器

提升素材创作效率，深入了解工艺流程。广告创作与拍摄电影相似，包括创意文案、剧本、拍摄、后期处理，最终合成广告元素为视频。

在分镜 AI 推荐部分，可进行优化分镜选择，在镜头级别理解内容。通过 ASR 和 OCR 识别音频、画面，提取关键信息。结合 LLM 标签和人工标记，形成视频内容并存储到向量数据库。推荐时，根据脚本信息检索最合适片段，提高素材质量和效率。

基于业务工作流组合的批量生成器，包括视频和图片两项功能。视频工作流从选择符合营销目标的脚本开始，每个分镜选择多个元素进行级联组合，经过特效处理生成可直接使用的视频素材。图片工作流依赖丰富的模板库，选择Logo、背景、模特、花字等元素，匹配适合的模板进行叠加，生成成品图片素材。

3.2 独立拆分的AIGC及素材处理工具箱

我们希望每个环节效率都能在线管理，同时利用 AIGC 提升大部分关键环节效率，我们设计了文案库、脚本库、背景库、模特库、分镜库、Logo 库和花字库等元素库，并引入AIGC 技术进行内容创作、背景元素生成、模特图片生成和模特置换。所有元素库都可插件化，形成工作流程。所有的元素库 AIGC 能力底层独立划分，根据需要以插件化的方式形成工作流。

3.3 可信AI及赋能业务

通过 AIGC 产出的广告文案在投广告计划覆盖达到50%以上，通过工作流产出的视频及图片素材覆盖在投广告计划60%以上。研发完成初期，整体项目 ROI 大于2。

可信 AI 方面，使用T盾/T网内容审核服务进行机器审核，过滤敏感不可信内容。经过人工筛选后，选择高质量内容用于生产。

当前，AIGC 素材能力辅助设计师创作，与人工素材混合创作，提供便捷的元素加工。将 AIGC 优势融入到设计师、优化师的日常工作中，同时串联广告素材的需求、生产和消费，提升广告营销效果。接下来广告内容就能与素材及AIGC 结合，赋能业务提升。

4.1 基于LLM的广告文案自动生成 

prompt 设定、打分专家应用及知识库的应用

文生文技术应用在 ChatGPT 中广受期待，特别在广告创意脚本、小红书软文和广告创意短文案场景。应用过程经历了无结构设定、精细化结构设定和辅助测评 & 知识库应用三个阶段，通过高效的 promp t输入形成更准确的输出。

第一阶段

无结构设定阶段

通过口语化的方式与ChatGPT进行交互，在“密室”场景，将剧本内容提取摘要作为输入，让ChatGPT进行输出“小红书”相关的推广文章。效果不好，输出内容格式与小红书文章格式不一致，个性不够鲜明，缺少营销气息，话术也比较老，不符合年轻人，风格比较文邹邹等等问题，不满足业务预期不能投产。

第二阶段

精细结构设定阶段

通过prompt规范输出内容的风格、样式，并通过人工标记优秀文案或文章，提取关键词形成文章骨架，作为prompt的一部分，输入到LLM中，这个过程可以减少大量文本输入LLM时Tokens不足的情况，同时能够让输出内容更加精准。

第三阶段

辅助测评&知识库阶段

大模型的参数巨大，在具体约束的情况下，每次输出的内容不会一直都符合预期，人工判断的过程费时费力。所以需要有第三方机器测评，打分专家的模式应用起来，通过几个prompt加入优秀文章学习，掌握信息后，对生成的目标文章进行评估，输出评测结果以及优化建议，这些优化建议在加入目标文章源prompt再次进行生成。如此多次，可以得到更加精准的内容。

另外，因为每次的需求不尽相同，如何更精准找到与当前期望相似的内容，以解决“幻觉”问题？我们引入了知识库，将历史小红书推广软文、广告文案通过向量模型进行数据向量化并存储到向量数据库，再通过向量模型进行检索，最后将搜索结果作为规则提示替换到prompt中，提交给LLM模型。

第三阶段以实验项目的方式引入了CoT的思想，通过一系列中间的推理步骤，让LLM学会相同思路的思考方式，并用相同思考思路推理出最终我们需要的答案。广告文案文生文场景中，CoT的思想应用生成文案的“涉黄”敏感检测评分并置换敏感词操作，是上文提到的打分专家模式之一。这类工作能够在趣丸科技T盾、T网这类内容审核平台中过滤验证，使用CoT能够尽可能快速的在文案生成环节更精准输出，而后在送审处置，提高效率。

向下滑动查看所有内容

4.2 基于SD的广告图片元素生成 

 背景、模特、人像Lora模型训练及推理

背景图片的生成主要使用2种模式，分别是预训练 LORA 及使用 stabilityai/stable-diffusion-2-1-unclip 模型进行图像变体，并根据需要进行提示词生成细节内容。

背景

基于预训练的LORA模型生成图片场景下，因为“背景”没有复杂的元素，所以相对好实现。第一行是设计原图，第二行是基于LORA生成的风格化图片。

图片变体

原图

变体后

拥有复杂元素的背景图片，需要产生类似的图片，我们更多的使用unclip模型进行变体，保证整体结构不变的同时，图片内的元素能够较好的保持。

图片变体原理

CLIP 通过对比学习4亿图文对数据，得到一个图像编码器和一个文本编码器。在使用 CLIP 时，成对的图像和文本经过对应模态的编码器后，得到的特征会更接近。利用 CLIP 的图像编码器提取图像表征，并通过扩散模型解码器生成变体图像。这个过程被称为 unCLIP。

sd-unclip-examples 图片来源：

https://huggingface.co/stabilityai/

stable-diffusion-2-1-unclip

CLIP原理示意 图片来源：

https://github.com/openai/CLIP

unCLIP 原理示意 图片来源：

https://arxiv.org/abs/2204.06125

5. 未来规划

广告素材内容智能化生产才刚刚开始，未来我们将从模型元素丰富、智能自动化素材制作、数据洞察等方向进行建设，满足业务需求的前提下，不断迭代。

模型元素丰富：游戏&社交场景下的信息流和新媒体推广素材需要更多针对性的元素。业务产品的发展和主题紧密相关的推广需要大量与业务产品契合的元素，如谜境APP中的密室剧本宣传。通过对元素的收集，将建立起一个元素知识库来满足这些需求。

智能自动化素材制作：对元素进行分类，配置针对性脚本实现一键生成工作流。素材内容程序化理解、人工标记并分类存储。配置脚本圈选范围并通过LLM进行泛化润色。按脚本设定进行编排，实现一键输出素材元素生产、标签打印、分类、圈选、泛化、编排、配乐、贴纸等全流程。

数据洞察：借助趣丸科技庞大的投放效果数据基础，对素材进行拆解，深入洞察每个素材每个元素的效果衡量，分析并对素材进行分层，作为数据指导输入模型训练及自动化素材制作流程。