从灵感、剧本、分镜、角色设定到视频生成、自动剪辑与最终交付。本文不是“输入一句话就出大片”的神话,而是一套可反复使用、可审计、能控制预算的 AI 视频生产方法。
适合人群:独立创作者、短视频团队、产品宣传视频制作者,以及希望把 AI 视频生产流程自动化的开发者。
涉及工具:Claude Code(或其他具备工具调用能力的编程 Agent)、Codex/图像生成工具、Seedance、FFmpeg、Python。
阅读提示:各模型的具体版本、额度、价格与 API 参数可能调整;正式制作前请以官方文档和自己的账户实际权限为准。
为什么你的 AI 视频总要反复“抽卡”?
很多人第一次接触 AI 视频,会把所有期望装进一句提示词:一位少年在雨中奔跑,镜头推进,远处的女孩回头,电影感、流畅、高清。视频生成完成后却发现:女孩变了脸,雨伞凭空出现,人物跑向反方向,最后两秒画风突然变了。
这未必是模型“不会画”。更常见的原因是制作过程缺少明确的视觉约束:角色没有固定设定,镜头没有拆分,动作缺少时间顺序,场景中的道具没有生命周期,首尾两帧也无法对应。
解决办法不是无限增加提示词,而是把一个模糊任务拆成几类能够单独检查的产物。核心原则可以概括为:把尽可能多的错误留在便宜的阶段解决,把昂贵的视频生成放到最后。
一、先搭好“导演—画师—动画师—剪辑师”的协作结构
这套工作流并不是要求所有人购买同一组工具,而是让各模型各司其职。
角色 | 推荐工具 | 核心职责 | 交付结果 |
|---|---|---|---|
创意负责人 | 你自己 | 决定主题、受众、画幅、预算和审美,批准关键版本 | 创作简报、最终确认 |
制作导演 | Claude Code 或同类 Agent | 剧本、分镜、提示词、文件组织、协调工具、跟踪版本 | 故事脚本、分镜表、任务清单 |
视觉设计 | Codex 配合可用图像工具,或其他图像模型 | 人物设定、场景参考、镜头关键帧 | 设定图、首尾帧 |
视频生成 | Seedance | 将文字、图像参考转化成运动镜头 | 分镜视频片段 |
后期与质检 | FFmpeg + Python + Agent | 转码、剪接、音频、字幕、抽帧校验、成片导出 | 最终 MP4、质检记录 |
这里有两个容易被忽略的前提。第一,Codex 是否能直接生成图片取决于所用客户端及可用工具,不能假设安装一个命令行就一定具备生图能力。第二,所谓“导演 Agent 自动调用其他模型”需要本地工具、API 凭证及调用权限已经接通,不是模型之间天然互联。
给 Agent 的控制权也要分层:读取文件和生成建议可以自动执行;花费视频额度、覆盖已有文件、对外发布必须有明确的规则。预算不足时应停止生成,而不是自行充值。
二、制作之前,先写一张“项目契约”
建议每个视频项目先确定以下七项,而不是马上写一千字提示词:
主题与一句话表达:观众看完以后,希望记住什么?
观看场景:横屏广告、竖屏短视频、课程演示,还是故事短片?
目标规格:例如 9:16、40 秒、24 fps、最终 1080p。
视觉风格:写实、黏土、二维手绘或低多边形,最多选一种主风格。
角色与场景数量:预算有限时,优先一到两名主角、少量固定场景。
声音策略:是否有旁白、对白、音乐、字幕;素材版权是否允许发布?
费用上限:单镜重试次数、总预算,以及超限后的处理方式。
不妨把这些信息保存为 brief.md。无论换成 Claude Code、Codex 或其他 Agent,都从同一份项目契约开始,减少反复解释和遗忘。
三、把想法变成能拍出来的故事
试举一个原创练习案例:《一封迟到的信》。40 秒竖屏动画,一个年轻人整理旧书时发现一封未寄出的信,最终把信交给多年未见的老师。
这类故事适合练手,因为它有清楚的视觉线索:旧书、信封、照片、门口相遇,而且可以用少量角色和镜头完成。
写故事时,应要求 Agent 同时检查三件事:
情节是否成立。信从哪里来?为何现在才发现?年轻人凭什么找到老师?一个动作是否有足够时间完成?
观众是否看得懂。即使关闭声音,也能不能通过画面理解“发现—追寻—交付”的关系?如果必须靠大段旁白解释,就该重新设计镜头。
模型是否容易实现。尽量避免同一镜头里多人交叉、快速换装、镜中倒影、手指精细操作、突然出现的道具、繁复可读文字。复杂动作可以拆镜头:不必真的拍完整的开信、抽纸、展开、阅读动作,只展示“拿起信封”和“看见熟悉落款”两个画面,叙事同样成立。
确定剧本后,交给没有参与讨论的新审核 Agent复述一遍它看到的故事。审核者的任务是暴露理解歧义,不是夸赞创意。
四、先做分镜表,再去生成图片
对于 40 秒短片,可以先设计五镜;这只是示例,具体长度还要根据所用模型允许的生成时长安排:
镜头 | 叙事功能 | 时长示意 | 画面 | 运动重点 |
|---|---|---|---|---|
01 | 建立悬念 | 6 秒 | 清晨桌面,一封旧信滑出书页 | 缓慢推近 |
02 | 展示线索 | 8 秒 | 青年拾起信封,注意到熟悉的名字 | 手部动作、视线变化 |
03 | 时间推进 | 8 秒 | 城市街道,青年带着信快步前行 | 侧向跟拍 |
04 | 情绪蓄积 | 8 秒 | 老师站在门口,看见远处来人 | 由远及近、轻微停顿 |
05 | 完成故事 | 10 秒 | 信件交到老师手中,两人相视而笑 | 交接动作、表情反应 |
每个镜头要进一步明确:画面左侧还是右侧、相机是否移动、角色从哪里入画、背景是什么、有哪些可见道具、最后停在哪个状态。
不是每个镜头都需要复杂运镜。让镜头运动服务叙事,而不是为了展示模型能力不停旋转、缩放。全片混用远景、中景和特写,通常比每一镜都大幅运动更自然。
五、用“视觉圣经”锁住角色和画风
视频模型最常见的连续性问题之一,是同一个人到了下一镜头就像换了演员。因此,先做一份简洁的 style-guide.md:
主角设定:年龄段、发型、衣着主色、身高比例和明确的固定特征。
场景设定:室内材质、光源方向、一天中的时间、主要家具布局。
画面语言:构图偏好、景深、线条或材质特征、主色与辅助色。
不可变化元素:同一个信封始终为米黄色,角落有红色邮戳;主角外套始终是深蓝色。
建议先生成一张角色正面/侧面参考、一张场景样帧,确认后再批量制作镜头,不必一开始就生成几十张图。针对首尾帧,尽量从同一画面基础进行变体编辑,而不是从零随机抽取两张外观相近的图。
首尾帧审查重点不是“好不好看”,而是能否形成可信的连续过程:人物位置、衣物、道具数量、背景结构、光线方向是否一致;镜头需要移动时,首尾帧是否体现相应构图变化;画幅与尺寸是否匹配。
六、把每个镜头变成可检验的生成任务
与其堆砌“电影感、史诗感、超高清”这样的形容词,不如为每一镜准备一个结构化任务单。以下模板为本站重新设计,可以直接改写使用:
任务编号:shot_03
目标:青年携带米黄色信封穿过清晨街道
时长:按当前模型能力设置
风格:简洁二维动画,柔和自然光,和 style-guide.md 一致
角色:同一名深蓝外套青年,发型、身形不变
场景:街道从画面右下方延伸至左上方,背景建筑保持稳定
摄像机:中景侧面跟拍,稳定水平移动
动作顺序:
A. 青年从画面右侧进入,左手握住信封
B. 向画面左侧连续行走,步幅自然
C. 结束时靠近画面左侧,仍握住同一信封
声音:暂不依赖模型生成音乐,后期统一处理
硬性约束:只有一名主角;信封不消失、不复制;不出现可读文字和水印
输入资料:角色设定图、场景参考、已检查的首尾帧
验收条件:人物连续、信封稳定、运动方向正确、无突兀切镜
Seedance 的火山方舟接口目前提供首帧图生视频、首尾帧图生视频等不同模式。它们并非可以任意混合;例如首尾帧模式应按当前 API 文档给两张图片标记 first_frame 与 last_frame。不同模型对画幅、时长和参考素材的支持并不相同,实际调用前务必核对官方说明。
不要把“模型接受了提示词”当成“模型会精确执行每一秒”。时序文本是控制意图,实际动作仍需通过输出视频验收;尤其要留出剪辑余量。
七、比生成更重要:建立三道质量闸门
闸门一:脚本检查
在任何付费调用之前,核对角色数量、剧情逻辑、镜头长度、道具来源,以及是否有超出模型能力的动作。问题越早发现,成本越低。
闸门二:首尾帧检查
对比首尾帧:同一角色的五官和服装有无变化?信封是否从一封变成两封?门框、窗户、道路透视是否发生不合理跳变?给动作留的空间够不够?如果关键帧不合格,就先改图,不提交视频生成。
闸门三:独立提交审核
让另一个 Agent 只读地检查分镜、提示词、设定图与图片,输出 PASS 或 BLOCK,列出明确的证据和问题。主导演负责制作,审核 Agent 负责找错,不能让同一模型在同一轮对话里只给自己的工作打满分。
可以把每个镜头保存为一个状态记录:draft → visual_review → prompt_review → approved → rendering → inspected → accepted。任何镜头未通过前两个检查,不能进入 rendering。正式付费提交还应要求用户批准,或者使用用户事先明确授权的预算规则。
八、预算怎么管:别只看“每秒多少钱”
视频预算不应只乘最终片长。更合理的是按照每个镜头实际提交的时长、模型单价和重试次数累计估算。
预计生成成本 = Σ(镜头生成秒数 × 所选模型当前单价 × 预计生成次数)
总预算 = 预计生成成本 + 图片/API等其他费用 + 预留缓冲
例如目标成片只有 40 秒,但你为每镜多生成了剪辑余量,又重试了几次,计费时长就可能明显高于 40 秒。任何标称价格都可能随版本、分辨率、音视频模式和计费策略改变,不能拿过往经验当实时账单。
实操建议是:先在正式镜头中挑一两个难度较高、最容易暴露风格问题的片段验证流程;遇到局部瑕疵,优先判断能否裁掉坏帧、延长稳定帧、重新裁图或改变剪辑,而不是毫无修改地重复生成。重拍时必须记录“这次改了什么”。否则很难判断成本到底花在了哪里。
还要保留旧镜头版本:新生成的不一定比旧版本更好,保存版本和审查记录能帮助回退。
九、用 FFmpeg 完成可复现的后期
视频片段生成后,需要统一规格再拼接。最容易导致拼接异常的是分辨率、帧率、色彩元数据、编码参数或音轨格式不一致。先检查源文件:
ffprobe -v error -select_streams v:0 \
-show_entries stream=width,height,avg_frame_rate,color_space,color_transfer,color_primaries \
-of default=noprint_wrappers=1 shot01.mp4
不要假设所有 Seedance MP4 都是某一种固定色彩标准。应根据实际视频元数据、平台文档和画面检查决定转换方式,避免未经核实就强制按 BT.601 解读。下面展示一个无音轨、统一成 1080p/24fps 的基础转码示例:
ffmpeg -i shot01.mp4 \
-vf "scale=1920:1080:flags=lanczos,fps=24,format=yuv420p" \
-an -c:v libx264 -preset medium -crf 18 shot01_ready.mp4
其余片段用相同参数规范化,再写入 clips.txt:
file 'shot01_ready.mp4'
file 'shot02_ready.mp4'
file 'shot03_ready.mp4'
file 'shot04_ready.mp4'
file 'shot05_ready.mp4'
ffmpeg -f concat -safe 0 -i clips.txt -c copy video_noaudio.mp4
ffmpeg -i video_noaudio.mp4 -i music.wav \
-map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -b:a 192k \
-shortest final.mp4
注意:concat 直接流复制适用于编码及流参数兼容的片段;更复杂的跨格式剪辑要使用滤镜或非线性编辑流程。720p → 1080p 的缩放可以统一交付尺寸,不能凭空恢复原始不存在的画面细节。如果需要专业调色、降噪和字幕,宜单独建立后期步骤,不要把所有处理塞进一条命令。
声音建议作为独立生产阶段:旁白、环境音、音乐分别管理轨道,并确认音乐、音效、角色素材与参考图的使用授权。生成片段自带音频也需要人工试听,不能只靠静态帧确认。
十、把工作流变成能反复运行的项目,而不是一次性的聊天
最有价值的“自动化”,是让每一步都留下能追溯的文件:
ai-video-project/
├── brief.md # 创作目标和硬性限制
├── style-guide.md # 角色、场景、色彩规则
├── storyboard.csv # 分镜与时长
├── prompts/ # 每镜提示词
├── references/ # 角色图、场景图、首尾帧
├── renders/ # 各次模型输出,不覆盖旧版
├── reviews/ # 审核报告和问题清单
├── edit/ # 转码片段、字幕、音轨
├── costs.csv # 调用费用和重试记录
└── exports/final.mp4 # 最终交付
如果准备进一步工程化,可以由一个任务调度器管理状态,把视频 API 调用封装成独立服务;用对象存储保存素材;用数据库记录镜头、版本、审批状态与账单;为失败任务设置重试上限,而不是无限循环。对于熟悉 .NET 的团队,这些完全可以由 ASP.NET Core API + Hangfire + FFmpeg Worker 实现,AI Agent 主要负责规划、生成提示词和辅助审核。
但请保留一个现实边界:Agent 能高效检查静态图与结构化数据,不代表它可靠地“看懂”所有动态细节,更不能假装听过没有播放或分析的声音。最后一轮必须由真人观看、试听并确认。
十一、一个可以直接复用的“总导演”提示词
以下是面向实际交付重新编写的提示词,与某个模型的命令行实现解耦。
你现在担任 AI 视频项目的制作导演,但不拥有无限制的消费或发布权限。
项目目标:[一句话]
目标观众:[人群]
画幅与片长:[如 9:16,40 秒]
画风:[风格]
总预算:[金额及币种]
可用工具:[逐项列出]
请按阶段推进:
1. 整理 brief.md,确认缺失的关键约束。
2. 写三幕式故事梗概与逐镜头分镜表,评估每个镜头的制作难度。
3. 待我确认故事与风格后,创建统一的角色与场景参考。
4. 为每镜创建首尾帧及结构化视频提示词。
5. 请独立审核者检查叙事逻辑、画面连续性、素材一致性。
6. 只有审核通过且符合预算授权,才可调用视频生成。
7. 逐镜验收,优先使用裁切或后期解决小问题;必须重拍时写明原因。
8. 用 FFmpeg 统一素材规格,制作粗剪和配音版本。
9. 输出完整成片、费用记录、版本记录和待人工检查清单。
规则:
- 每阶段输出实际文件路径和完成结果,不把“计划完成”等同于“实际完成”。
- 任何失败都要记录输入参数、错误和下一步处理;禁止无限重试。
- 不暴露 API Key,不自主充值,不突破已授权预算,不覆盖旧文件。
- 不声称已经观察或听取未实际检查的视频音频。
- 不对外发布,除非收到针对本次成片的明确授权。
结语:AI 视频制作的竞争力正在从“会用模型”转向“会设计流程”
当文生视频与图生视频变得越来越容易,真正决定成片质量的,反而是创作判断、镜头拆解、视觉连续性、审核纪律和成本意识。多模型协作并不是把三个工具连起来就结束了,而是建立一条每一步都有输入、输出、检查与退出条件的生产线。
从一个 30—40 秒的短片开始,先把五个镜头跑通,再逐步增加时长、角色和复杂动作,比一开始追求五分钟全自动大片更有价值。
来源与说明:本文为独立整理和实践导向的扩展教程,受到 Eian(@EianLu)2026 年 11 月 5 日发布的《Claude code/Codex+Seedance AI视频:从一个想法到成片的全流程》启发,重新组织结构并增加原创示例、工程化项目组织、预算公式、FFmpeg 命令及 API 使用边界。不是原作者全文转载,也不代表已实际完成上述示例的生成测试。
一起聊聊
留下你的想法,评论审核通过后展示。