照亮星星的人们 » 日志
【AI动画技术研究】日志更新(138)

今日工作总结

1. 了解目前从剧本生成分镜的应用。因为漫画、动画和真人影视中都会使用所谓的分镜，这里并没有限制在动画分镜。分镜本身也有文字分镜和故事板分镜两种形式。

就目前看来，使用的比较多的工作流是，从剧本生成分镜这一步交由LLM来做，如chatGPT, Claude等等。如果需要进一步生成故事板，则需要继续让LLM生成一些供LVM使用的prompts，然后用LVM生成。中途使用LoRA(SD)或者参考图(MJ)保持人物的一致性。

总体而言这个工作流简陋粗糙，生成的结果和常规的故事板(文字分镜不了解)出入较大，构图角度不具有艺术美感且难以精细控制，这并非完全是模型数据的问题，和语言模态本身的信息量有限有很大关系。但是这个流仍有一定的使用潜力，如下面这个视频中的最终成品。

史上最强的漫画助手来了！使用 Midjourney 建立角色 + 分镜设计 ? 同场加映 Pica Labs AI 动画！| bilibili@PAPAYA电脑教室
https://www.bilibili.com/video/BV13u4y1r75u/?vd_source=f9be4fc18e7a5523eaa864b3603331f2

2. 给proposal作图。