照亮星星的人们2023-7-2 23:33 /
---今日工作总结---
1. 训练LCMFTN网络，验证网络模型效果。对网络不能正确进行analogy的原因进行了分析和讨论。LCMFTN代码已经打包放在了github上: https://github.com/ZhenglinPan/LCMFTN-pytorch
经过这一个多星期断断续续的复现工作，自己独自完成了全部的网络搭建工作和数据集制作，虽然网络最后的效果还是存在问题，不能正确对线稿进行上色，有一点可惜，但是在这个过程中还是能学到不少。这个项目先暂时停止下来，继续推进学习工作，等后面再回来看也许能解决这个问题或者找到真正原因。
2. 阅读dragGAN和dragDiffusion论文两篇。这段时间非常火的论文，dragGAN关于motion supervision的loss funtion里面有一个shifted patch loss，这个loss function里关于使用L1 loss的那部分很有意思，通过往目标方向求loss就能控制图像方向生成的控制，网上暂时还没有关于这个loss的详细解析。dragDiffusion的关键部分，Motion Supervision和 Point Tracking和dragGAN中的别无二致，不过使用了LoRA限定object和DDIM加速推理。
3. 目前可以解决动画自动上色问题的一些思想和技术，提供参考(from LCMFTN + AnimeRun)
- Image Analogy
- Warp Matrix / Correlation Matrix
- Optical Flow
- Region Similarity
4. 更新了信息汇总: Zhenglin的AIGC技术与动画行业探索之路
1. 训练LCMFTN网络，验证网络模型效果。对网络不能正确进行analogy的原因进行了分析和讨论。LCMFTN代码已经打包放在了github上: https://github.com/ZhenglinPan/LCMFTN-pytorch
经过这一个多星期断断续续的复现工作，自己独自完成了全部的网络搭建工作和数据集制作，虽然网络最后的效果还是存在问题，不能正确对线稿进行上色，有一点可惜，但是在这个过程中还是能学到不少。这个项目先暂时停止下来，继续推进学习工作，等后面再回来看也许能解决这个问题或者找到真正原因。
2. 阅读dragGAN和dragDiffusion论文两篇。这段时间非常火的论文，dragGAN关于motion supervision的loss funtion里面有一个shifted patch loss，这个loss function里关于使用L1 loss的那部分很有意思，通过往目标方向求loss就能控制图像方向生成的控制，网上暂时还没有关于这个loss的详细解析。dragDiffusion的关键部分，Motion Supervision和 Point Tracking和dragGAN中的别无二致，不过使用了LoRA限定object和DDIM加速推理。
3. 目前可以解决动画自动上色问题的一些思想和技术，提供参考(from LCMFTN + AnimeRun)
- Image Analogy
- Warp Matrix / Correlation Matrix
- Optical Flow
- Region Similarity
4. 更新了信息汇总: Zhenglin的AIGC技术与动画行业探索之路