照亮星星的人们2023-12-8 16:35 /
今日工作总结
1. 产品调研：琢磨CELSYS组织架构、产品生态、IR、PR、财报。
随便做的笔记
熟悉市场，向优秀产品学习... 还没看完
2. 阅读《从0到1》。
预期收获：关于创业、创投和商业市场相关的启蒙知识。
3. 了解AI-Native的产品未来发展趋势
几篇文章推荐：
AI绘画领域的未来发展 | 知乎@WeThinkIn
https://zhuanlan.zhihu.com/p/643420260
从AI上色谈起，动漫行业离创作智能化还有多远？| 知乎@都叫兽
https://zhuanlan.zhihu.com/p/36733117
这篇文章之前好像推荐过
AIGC引发的科技浪潮，给了我们什么启示 | 知乎@WeThinkIn
https://zhuanlan.zhihu.com/p/620558266
4. 阅读论文Masked Autoencoders Are Scalable Vision Learners.
大名鼎鼎的MAE, 将BERT中的mask迁移到了CV领域，为大模型提供了新的自监督方法。大道至简 -- 简到几乎只要一张图就可以解释全部思路。
Encoder和Decoder采用了asymmetric结构，即Encoder(ViT)比Decoder大10倍，这么大的参数，计算的效率是通过在Encoder端去除masked token保证的。
这篇论文的思路非常简单，一个问题出现在我的脑海：如果这篇论文不是Kaiming He提出的，而是一位名不见经传的研究学者，这篇论文是否还会有这么大的影响力？
此外，还尝试阅读了最近比较火的LCM，这篇刚好和MAE完全相反，涉及到许多ODE相关的内容数学推理。只大概了解了一下核心思路：把DM中常微分求解变成了一步到位的过程，有点像flow-based methods. 虽然两者并不一样
参考文章:
https://zhuanlan.zhihu.com/p/666948855 | 知乎@机器之心
此外还有日常吹水、逛github和google scholar.. 下周就能结束考试了
1. 产品调研：琢磨CELSYS组织架构、产品生态、IR、PR、财报。
随便做的笔记
熟悉市场，向优秀产品学习... 还没看完
2. 阅读《从0到1》。
预期收获：关于创业、创投和商业市场相关的启蒙知识。
3. 了解AI-Native的产品未来发展趋势
几篇文章推荐：
AI绘画领域的未来发展 | 知乎@WeThinkIn
https://zhuanlan.zhihu.com/p/643420260
从AI上色谈起，动漫行业离创作智能化还有多远？| 知乎@都叫兽
https://zhuanlan.zhihu.com/p/36733117
这篇文章之前好像推荐过
AIGC引发的科技浪潮，给了我们什么启示 | 知乎@WeThinkIn
https://zhuanlan.zhihu.com/p/620558266
4. 阅读论文Masked Autoencoders Are Scalable Vision Learners.
大名鼎鼎的MAE, 将BERT中的mask迁移到了CV领域，为大模型提供了新的自监督方法。大道至简 -- 简到几乎只要一张图就可以解释全部思路。
Encoder和Decoder采用了asymmetric结构，即Encoder(ViT)比Decoder大10倍，这么大的参数，计算的效率是通过在Encoder端去除masked token保证的。
这篇论文的思路非常简单，一个问题出现在我的脑海：如果这篇论文不是Kaiming He提出的，而是一位名不见经传的研究学者，这篇论文是否还会有这么大的影响力？
此外，还尝试阅读了最近比较火的LCM，这篇刚好和MAE完全相反，涉及到许多ODE相关的内容数学推理。只大概了解了一下核心思路：把DM中常微分求解变成了一步到位的过程，有点像flow-based methods. 虽然两者并不一样
参考文章:
https://zhuanlan.zhihu.com/p/666948855 | 知乎@机器之心
此外还有日常吹水、逛github和google scholar.. 下周就能结束考试了