AI 视频生成实战:分镜、水印与模型的能力边界

用 AI 生成一段 15 秒的动画短片,流程看起来很简单:写提示词、生成关键帧、图生视频、合成。实际做下来,提示词结构、台词时长、水印去除、模型能力边界每一环都有明确的坑,而且大多数不是”调参能解决”的。

这篇按两轮重制的实际过程记一遍,结论都可以直接拿去用。

一、成本策略:两帧锁定 + 单次成片

生成视频按条计费,720P 15 秒大约 150–300 积分/条,图像约 5–10 积分/张。多试几版的成本很快就超过素材本身。

所以策略定成 两帧锁定 + 单次成片:

  1. 先生成首帧和尾帧两张关键图(不满意就重画图,比重跑视频便宜一个数量级);
  2. 两张图都确认无误后,做一次图生视频;
  3. 不做多版本重试,分镜问题靠提示词解决。

这个顺序的好处是:把不确定性前移到便宜的环节。图可以改十次,视频只跑一次。

二、提示词结构:四段分镜 vs 一镜到底

同一段 15 秒内容,试了三种结构:

版本 字符数 结构 台词
精简版(六分区) 994 画风/角色/背景/分镜/音效配乐/硬性要求 6 句
10 秒一镜到底 964 无时间锚点,单设「运镜」段 4 句
15 秒四段分镜 1017 镜头N|时间段|景别与运镜 + 台词 5 句

四段分镜的结构:

1
2
3
4
5
镜头一|0–3s|工地中景,缓慢推近
(画面描述 + 该镜头台词)

镜头二|3–6s|快切到门口,手持感
...

一镜到底的关键:删掉所有时间锚点,用分号串联动作链,并单独写一段「运镜」明确「无硬切」。

两种结构各有一个坑:

  • 写 0–3s / 3–6s 式时间锚点,模型会机械地按段落硬切,即使你想要连贯长镜头;
  • 完全不写时间,模型又可能把 4 个动作挤在前 5 秒。

结论:要分镜就用「镜头 + 时间段」显式写;要长镜头就彻底删掉时间锚点,用运镜段约束。不要混着写。

三、台词与时间:为什么会抢话

10 秒塞 5 句中文台词,实际需要 13 秒以上——模型只能加速、吞字或者直接覆盖。

  • 原稿 5 句,压到 4 句后仍然紧;
  • 删掉的那句(”最好还能无限续碗!”)语义已经由「两人各抱空碗急敲门」的动作承担,能用画面表达的不要用台词;
  • 15 秒内 4 句三人对白,模型无法保证普通话发音准确,实际音轨大概率是环境音与模糊人声——需要后期 TTS 重配。

经验值:中文台词按 每秒 3–4 字 估算,10 秒最多 3 句短句。

四、水印:三种去法的代价

平台会在画面角落打「AI 生成」标识。三种去法都试过:

方法 效果 代价
delogo 渐变背景上留偏亮方块 水印压着器物边缘时,插值会留下放大 5 倍可见的竖条带
removelogo + mask 天空背景尚可 室内木梁背景糊出大片斑块,比水印更显眼
crop + 放大 去得最干净 切掉画面边缘,特写镜头里左右两人各少一点

真正的解法在生成阶段:在提示词里要求「右下角约五分之一区域保持干净木纹桌面,不放碗碟、筷子、手部」,再对这块纯色区域做 delogo,基本无痕。

如果只能后期处理,crop 最稳,但要提前在构图时给边缘留余量。

另外,水印坐标不要靠目测:

1
2
# 放大叠网格,分步标定
ffmpeg -i frame.png -vf "crop=200:120:1380:760,scale=800:-1,drawgrid=w=20:h=20:t=1:c=red@0.5" probe.png

五、模型的能力边界

这一轮明确撞到两个边界:

  • 瞬间情绪反转做不出来:要求「两人同时停筷、表情凝固震惊」,生成结果仍是吃饭/微笑。当前视频模型对「同一镜头内的情绪突变」普遍无力。可行的补救是从尾帧裁 0.8 秒定格静帧,硬接到 14.2 秒处再出字幕;
  • 长中文台词崩字:超过 12 字容易毛糙,镜头推动时重绘更会把文字弄坏。台词压到 8 字以内、字幕放深色背景区、尽量固定机位。

还有一个容易忽略的:提示词有 2500 字符上限。接近上限时先压结构(合并同类禁令、删总结句),不要删角色特征或硬性要求——后者删了,角色一致性立刻崩。

六、母版与素材管理

  • 母版不能放 /tmp:带水印的原片放在 /tmp,重启后被系统清掉;后续想换去水印方式只能重新花钱生成。母版必须放工作区;
  • 删重复副本前先 md5sum:frames/、keyframes/、videos/ 与根目录保留版往往是三对同内容文件,直接 rm -rf 有删掉唯一一份的风险;
  • 工作区按「成片 + 两张关键帧 + 提示词」保留,中间帧和分段视频可以清,这三样不能丢。

总结

AI 视频生成的产出质量,很大程度上取决于你把多少工作放在了生成之前:

  • 关键帧先锁定,视频只跑一次;
  • 台词按时长估算,能画面表达的不用台词;
  • 水印在生成阶段规避,不要指望后期硬抹;
  • 模型的能力边界(情绪反转、长台词、文字重绘)要提前知道,别把「模型做不到」当成「提示词没写好」。

最后一句:分镜是提示词里最值得花时间的部分,它决定了模型是”按你的意图演”还是”自己发挥”。