照亮星星的人们2024-3-1 15:07 /
今日工作总结
1. 继续推进项目。最后一次优化prompt，对input query进行优化，以降低token的总输入数量。使用的方法有:
(1) 根据输入不同，对instruct本身进行调整。比如输入本身没什么信息，prompt也就没有必要大费周章了，直接简化就好。
(2) 动态调整prompt细节，根据输入的复杂度动态优化output的输入粒度和长度。
(3) 动态调整输入的长度，根据输入的长度控制采样的间隔。
(4) overlapping tags处理、conflicts tags和trash tags的去除。
优化后降低了50%左右的单轮tokens，感觉还是非常不错的。
2. 测试一些相对廉价的API Providers，重点看Billing/Pricing和Rate Limits，Anyscale, Cohere的实际单价并不如OpenAI便宜，并且同为Mixtral-8x7B感觉效果上有差异? 值得注意的是由于各家对tokens的计算并不相同，所以看起来单价便宜的Providers最终收取的费用反而很高！
3. 推进代码工作，完成prompts读写框架的构建和上机测试。进行简单的Prompts/Tokens统计和可视化。
4. 按照既定目标，配置环境，开始跑模型。
1. 继续推进项目。最后一次优化prompt，对input query进行优化，以降低token的总输入数量。使用的方法有:
(1) 根据输入不同，对instruct本身进行调整。比如输入本身没什么信息，prompt也就没有必要大费周章了，直接简化就好。
(2) 动态调整prompt细节，根据输入的复杂度动态优化output的输入粒度和长度。
(3) 动态调整输入的长度，根据输入的长度控制采样的间隔。
(4) overlapping tags处理、conflicts tags和trash tags的去除。
优化后降低了50%左右的单轮tokens，感觉还是非常不错的。
2. 测试一些相对廉价的API Providers，重点看Billing/Pricing和Rate Limits，Anyscale, Cohere的实际单价并不如OpenAI便宜，并且同为Mixtral-8x7B感觉效果上有差异? 值得注意的是由于各家对tokens的计算并不相同，所以看起来单价便宜的Providers最终收取的费用反而很高！
3. 推进代码工作，完成prompts读写框架的构建和上机测试。进行简单的Prompts/Tokens统计和可视化。
4. 按照既定目标，配置环境，开始跑模型。