Llama2-Chinese项目:2.1-Atom-7B预训练 – 扫地升 – 博客园

来源: Llama2-Chinese项目:2.1-Atom-7B预训练 - 扫地升 - 博客园 虽然Llama2的预训练数据相对于第一代LLaMA扩大了一倍,但是中文预训练数据的比例依然非常少,仅占0.13%,这也导致了原始Llama2的中文能力较弱。为了能够提升模型的中文能力,可以采用微调和预训练两种路径,其中: 微调需要的算力资源少,能够快速实现一个中文Llama的雏形。但缺点也显而易见,只能
Llama2-Chinese项目:2.1-Atom-7B预训练 – 扫地升 – 博客园