第一次尝试：失败，过拟合。 CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train True \ --model_name_or_path model/Baichuan2-13B-Base \ --adapter_name_or_path saves/Ba…

接着上一篇文章CapAI炼丹记（1）：训练一个简单的对话模型1 - FWERKOR博客，继续进行本地训练。 CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --do_train True \ --model_name_or_path model/Baichuan2-13…

CapAI是一个多模态AI项目，旨在开发一个“自由”的模型系列。 接下来将训练CapAI对话模型第二代，计划使用Baichuan2-13B-Base作为基座进行微调。 本人高二学生，只有一张P40显卡。为了实现更好的效果，在腾讯云租一台带V100的服务器用于本次训练。这货还是蛮吃显存的。 腾讯云竞价实例还是比较便宜的......吧...... 宽带…

CapAI共有以下参数可以设置。 max_length: 模型的总token限制，包括输入和输出的tokens temperature: 模型的温度。温度只是调整单词的概率分布。其最终的宏观效果是，在较低的温度下，我们的模型更具确定性，而在较高的温度下，则不那么确定。 top_p: 模型采样策略参数。在每一步只从累积概率超过某个阈值 p 的最小单词…