照亮星星的人们 » 日志
我的AIGC技术与动画行业探索之路(1)

------------------今日随笔------------------


前几天主要了解了一下现在国内的AIGC和动画制作的现状。已经能看到一些小的创新公司，比如无界AI，开始探路。资本方面也有像光线传媒这样的大山加入到这场比赛，不过对新技术的态度比较理智，这是一个好的信号。降本增效是AI技术对于企业而言的价值核心，之前面试唯品会的时候就提到这点，现在许多设计方面的内容都可以使用模型替代人工，不仅能够节约支出成本还能够提高出图的速度。


AI提速动画生产
AI辅助动画场景制作 -- 只要保证版权没问题，这个技术应该是现阶段最成熟最基础的应用，但是对于场景的绘制不能仅依靠prompt实现。在同一场景下，场景具有光线，明暗，色调上的一致性(内容一致性)，有的时候会根据前景人物的动作发生相对变化(逻辑变化)，对于大部分场景，背景应确保随镜头视角的切换保持一致(空间一致性)。仅凭prompt不能做到准确表达画面，同时通过文字表达的空间也过于狭窄。此外，对于特有形式的表达，比如勇者透视，路飞的夸张手臂，用natural language描述显然不现实，因此Control Net, Img2img更promising一些。
- 现有的prompt-genrated image synthesis方式不能直接与作业流程挂钩。
- 训练模型不能交由传统画师来做，传统画师的角色应该参考医院研究人员与科院校，企业合作的模式。动画公司提供原画，色稿，训练集和需求，AI技术公司提供训练模型，软件产品。
- 日本不少企业仍采用纸上作画流程，在AIGC普及后数量肯定会进一步减少hhhh。

这里按照从Anitama那里了解到的
日本动画行业制作流程(来源: Anitama)来看，说的应该是摄影和中割方面的问题，文中提高的中割例图看起来像原画，差异也太大了。按之前了解到的国内某锡动画基地训练新人用中割的说法，中割应该是一个比较好解决的问题。瞬步那种横向纵向残影的特殊效果应该是在原画的时候处理的，这个目前还没有什么想法。光线这种摄影问题在昨天看到的AnimeRun中好像看到了单独处理的方法？也没什么想法。目前比较好的点子可能集中在线稿和上色部分。
1. 一原 -> 二原的线稿优化: 生成式模型
2. 中割的绘制: 生成式模型
3. 连续序列中的色彩推理(cut-wise)


可能存在的两个最大问题(某种意义上两者是一个)
1. 数据集问题
2. 版权问题
AnimeRun提供了一个退而求其次的方法: 从open source的3D视频片段中获得线稿，optical flow, segment matching等，其具体效果有待调查。
最好获得数据集的方法就是和国内的动画制作公司合作，从动画师那里直接拿到原稿，中割，上色等一系列数据，找一下国内目前有没有已经在做的厂子。或者是否有其他形式的合作方式？原稿应该是属于知识产权保护法的范围，也是公司资产，应该很难找到open source的数据，再了解一下吧。此外，AIGC和动画行业相关的查一下论文，看看有没有已经有的工作。搞不好可以发篇综述。


最近比较出名的AIGC的片子

アニメ・クリエイターズ・ベース アニメ「犬と少年」本編映像 - Netflix

ANIME ROCK, PAPER, SCISSORS


今天主要是把前两年的内容整理一下写个开头，所以写的比较完善。如没有阶段性进展皆以简要汇报和记录为主。

-------------------------------------------------------------
AIGC，能再造一个《大圣》或《深海》吗？
https://baijiahao.baidu.com/s?id=1764943107990274122&wfr=spider&for=pc
AI技术可以加持的职位

用AIGC制作动画片，如何解决画面抖动问题
https://www.bilibili.com/read/cv22498095