TigerBot

这个项目的核心优势、应用场景和相关项目：
– **核心优势**：
– 采用了GQA、flash-attn、RoPE等技术提高了模型的性能和效率。
– 使用了holistic-training（全局训练）方法在预训练中直接使模型具有九成的指令完成能力。
– 基于TigerBot-7B-base用20M涵盖多任务的数据进行指令微调（sft）和拒绝采样对齐（rs-hil）。
– 在10+项基准评测中中英文综合能力均超过上一版本和Llama-2达到SOTA。
– **应用场景**：
– 可以用于自然语言处理、机器翻译、问答系统、文本生成等领域。
– 可以为企业和开发者提供高效、准确、智能的语言处理服务。
– **相关项目**：
– TigerBot-7B-base：基于Llama-2-7B增量预训练300B tokens补充了Llama-2不足的中文、代码和推理等数据并使用holistic training（全局训练）方法。
– TigerBot-7B-chat：基于TigerBot-7B-base用20M涵盖多任务的数据进行指令微调（sft）和拒绝采样对齐（rs-hil）。
– TigerBot-13B-base：基于Llama-2-13B继续预训练300B tokens扩充了中文词表到60K vocabulary并采用holistic training在预训练中直接使模型具有九成的指令完成能力。
– TigerBot-13B-chat：基于TigerBot-13B-base用5M指令数据微调并采用rejection sampling fine-tune对齐人类需求。