#1 - 2019-3-27 21:44
尤鱼哥
是有点标题党的成分？其实这是一篇非常正经的论文啦，只是实验中的数据集用了一个动漫头像的。

=============
3.29 更新： 其实论文是偏研究和探索性质的，重心是在超稀疏信息输入的还原重建上，并非自动绘画…… Demo其实也仅仅给手残党（比如我）试玩，远远还没到辅助专业人士画图的程度（相比众多已商用的自动上色软件），让大家失望了。目前这个领域内还有非常长的路要走（可能都走不完）。
=============

更多细节在GitHub和论文里~ 欢迎star！
Github开源地址
arXiv论文

PI-REC模型在超稀疏输入还原逼真细节上折服了所有人：


简单几笔，老婆诞生！
效果超越以往的自动上色，现在每个手残党画几笔线条就能生成媲美大触的动漫头像啦~同时模型也会非常遵循你的绘画输入，短发就是短发，长发就是长发，涂啥色出来就是啥色！


全色域支持，颜色随心所欲！


真人转动漫也不在话下！（这是论文的附加品）


Github开源地址
arXiv论文
#2 - 2019-3-27 21:52
冰狩怜 (愿你耳畔常有阳光，直至夕阳西下)
gal福音？可以自己做黄油了(bgm38)
我记得之前好像也有类似的诶
#2-1 - 2019-3-27 22:08
尤鱼哥
说明一下，以前的大多是线稿自动上色，或者给定标签生成头像。但是要真的从随便画几笔的线条，涂几笔的颜色，就能生成细致的纹理，可能以前的方法都不太合适。超稀疏信息图像重建领域还在起步。具体可以看论文里的related works~
#2-2 - 2019-3-28 10:32
冰狩怜
尤鱼哥 说: 说明一下，以前的大多是线稿自动上色，或者给定标签生成头像。但是要真的从随便画几笔的线条，涂几笔的颜色，就能生成细致的纹理，可能以前的方法都不太合适。超稀疏信息图像重建领域还在起步。具体可以看论文里的r...
挺好奇这样版权算是谁的，自己的吗？
#3 - 2019-3-27 22:02
Cedar (｡´-д-)
哇 你是作者之一嘛
#3-1 - 2019-3-27 22:11
尤鱼哥
我是一作，前排说一下：AI图像翻译前沿领域，在顶会上基本是被UC伯克利和英伟达统领的。非常希望能看到，并推动国内大学在此领域获得更大突破~ 如果能激发各位的兴趣，想从事相关研究，那就达到我的目的啦~
#3-2 - 2019-3-31 21:17
满舰饰假子
尤鱼哥 说: 我是一作，前排说一下：AI图像翻译前沿领域，在顶会上基本是被UC伯克利和英伟达统领的。非常希望能看到，并推动国内大学在此领域获得更大突破~ 如果能激发各位的兴趣，想从事相关研究，那就达到我的目的啦~
有不有这样一个软件好直接下载的?(bgm38)饭来伸手。。。(bgm38)
#4 - 2019-3-27 22:41
Kcrescent
(bgm38)对于画画来说，找准形也是很重要的啊，能画出五官的标准位置就已经不是绘画经验少的0基础者能做到的了
#5 - 2019-3-27 23:06
海盗丸子
诶……我觉得他们还是先从线稿开始入手吧，有些地方还是错的离谱，一上来就要求上色绘图显然还是难度太高。
#6 - 2019-3-27 23:48
Nightwing (SHAFT系動畫小組 →https://bgm.tv/group/shaft)
mark
#7 - 2019-3-28 00:37
W
realtime 演示太酷了、 求一個 iOS demo App
#8 - 2019-3-28 01:16
MousHu (miaow~~~)
标题党还好啦 hhh 现在看到这种标题基本也就能知道个大概了 ~ hhh
尤其是之前先看过老黄家他们的一些新演示之后吧 ...
更主要的是 前几年拖条勾选交互用的也是类似的标题 hhh
有宽松度上的突破 推广用的标题多想想会更好嘛 hhh
比如之前是手残党福音 ... 现在这明显拯救的就不是手残党了 ~
怕不是 ~ 更有梦想的手残党了 hhh
这样的 ~ (bgm47)

向这个方向上的提升 ... 自己首先想到更贴近消费应用的还是服饰家具定制呀之类的 ...
更娱乐化一点想到的可能是 一些特效相机能有更好玩的 更具交互性玩具了什么的 ~

其它的一些减轻大批量“各类”“设计”压力等等的应用 也一直在这个方向上有受益 ...
也不只是画呀景呀头像呀什么 ...
有你们在前面 开拓呀 优化呀 或者说 分兴趣点分享示例呀 挺好的 ~ (bgm81)

像去年CVPR的另一方面的某篇 ... 自己这边 看着 ...
先是眼前一亮 感觉的确是给出了很有趣的希望 ...
（在整体效果方面 强的 ... 某几个我关注的具体方面效果真的好 ... 无论怎么看都相当爽 ...）
但之后 距离之前没这篇时的期望呢 觉得可能还是需要GAN向这边 也可能是应用结合向 ...
可能更多（共同与分别）的努力 ...
（其它有些方面 难搞的点即便在他们的范畴内还是头疼 ......
有的看起来按这个方法或思路再多堆些量什么的可能还有点希望 ...
有的看起来也不是堆量或者小碎步优化能解决的 头疼呀头疼 hhh）

只能说 ... 共勉吧 ... (bgm72)
#8-1 - 2019-3-28 09:41
尤鱼哥
共勉。无论是之前大炒的自动上色，图像翻译，手绘转真图，还是一些高清图像生成，超分辨率等等，目前看来离最终形态的AI自动绘画还是有一段距离的，我估计七八年左右英伟达可能可以第一个搞出来雏形。国内大多觉得没有商用价值不会特意去研究（感谢导师支持我）。
不过这论文里的两个输入：稀疏的边缘决定content，和大范围色块决定style，可能是最接近理想中的AI全自动绘画的输入了。输入再简陋就条件信息太少了，输入再丰富一般人也不好画……
#8-2 - 2019-3-28 12:50
MousHu
尤鱼哥 说: 共勉。无论是之前大炒的自动上色，图像翻译，手绘转真图，还是一些高清图像生成，超分辨率等等，目前看来离最终形态的AI自动绘画还是有一段距离的，我估计七八年左右英伟达可能可以第一个搞出来雏形。国内大多觉得...
我反正感觉很难去想七八年这样的尺度 ...
指不定三四年就卡壳退热了 ...
指不定两三年又有些什么其它有趣的希望出来了 ......
感觉都难说 ... 只能说一步步做 一步步看吧 ~
#9 - 2019-3-28 03:52
Kane (この勝利を、近所のおばさんに捧げる！)
咦不是GAN？
#9-1 - 2019-3-28 09:32
尤鱼哥
当然用到啦~
#10 - 2019-3-28 10:25
CoColate (不存在的)
哇这个真有点产业方向的实用性了
只要构图，粗略上个色调，就能自动细化成作品
省了99%的时间，是业界福音！
#11 - 2019-3-28 10:46
阳奈在我身上喘 (You are not brave. Men are brave.)
Mark
#12 - 2019-3-28 11:30
狂犬榨汁姬艾莉丝 (いつでも微笑みを)
这样画出来是没有灵魂的(bgm38)
#12-1 - 2019-3-28 11:40
Genius🌟小乖💯
更准确地说，只是借用了别人的灵魂，然后装作是自己的。
#12-2 - 2019-3-28 11:45
A.one
Genius、小乖 说: 更准确地说，只是借用了别人的灵魂，然后装作是自己的。
如果是从素材库里找匹配然后拼出来的 不会侵权么(bgm39) 当然做个头像不产生商业利益是没问题
#12-3 - 2019-3-28 12:11
Genius🌟小乖💯
A.one 说: 如果是从素材库里找匹配然后拼出来的 不会侵权么 当然做个头像不产生商业利益是没问题
当然会。训练数据必须合规。
#12-4 - 2019-3-29 10:22
尤鱼哥
良好的训练数据集，还有版权是非常重要的。这也是我们没有开放动漫头像数据集下载的原因（虽然有别人开了）
#13 - 2019-3-28 12:03
A.one (https://bgm.tv/subject/467354)
我觉得这个想法 比起给手残去生成头像  
给职业画师做助手性质的软件会更有商业价值和生产性

如果可以用某个画师大量作品为基础素材分析 生成一套这个画师画风的加工流程
然后他自己画一个草稿之后的部分都可以自动完成的话 确实会很实用  
就算不能完全模仿 最后再自己修正一下 也已经省掉很多时间 非常实用了

站在画师的角度来说 画完线稿草稿 想好光影 （有些“画师”每张图光影都是一样的）
之后基本都是重复的无脑单纯作业 我都可以一边看着动画一边完成

顺便 这个软件能分图层吗？  画师交稿都是要给分层PSD的  否则收稿的AD那边没法修改
#13-1 - 2019-3-28 12:43
MousHu
可以去看看阿里的 鹿班 那边的相关的一些报导评价什么的 ...
同样也许能一定程度地解答#12-2的问题 ~
#13-2 - 2019-3-29 10:20
尤鱼哥
正文里更新了一下说明你可以看下。
目前自动上色是比较成熟的，但是别的方向都……
#14 - 2019-3-28 21:17
花与香辛料 (www~)
mark
#15 - 2019-3-28 21:32
牛马
学渣默默地问一句，南大是哪个，南开，南京，南昌？(bgm38)
#15-1 - 2019-3-28 21:53
yo-u-zazazai✨
南京大学啦，楼主github主页有写
#16 - 2019-3-31 06:04
Rivers (Don't feel. Think.)
图都崩了啊(bgm38)
#17 - 2019-3-31 12:01
Cedar (｡´-д-)
有什么自动上色软件是已经商用的了?
效果超越以往的自动上色为什么还不能商用呢..
#17-1 - 2019-4-5 09:20
尤鱼哥
自动上色软件搜一下一大堆……这个和自动上色colorize不是同领域，自动上色是需要画师画出优秀线稿的。
而PI-REC只需要你提供非常稀疏的edge和color domain，它会自己生成出很多的细节部分，可以说随便涂几笔就行了。
#18 - 2019-3-31 20:38
事实是柿子 - ⭐️VIP3 (xD)
你是一作，我先跪下了(bgm38)
#19 - 2019-4-7 23:28
浅海
悉数表达的算法对硬件要求还是挺高的
#19-1 - 2019-4-7 23:29
浅海
稀疏
#19-2 - 2019-4-12 09:08
尤鱼哥
浅海 说: 稀疏
论文里的稀疏sparse input仅仅指的是输入信息少量的意思，并不是说矩阵稀疏啦~~~
#20 - 2019-4-15 21:37
战王 (15年宅史，战无不胜)
等技术再成熟点就好了