Copyright 2009-2023 奥运星 版权所有 京ICP备18049689号-19
1月23日消息，1月21日，傅盛在猎户星空大模型发布会上，以《AI大潮下企业如何创新？从技术狂欢到企业落地-私有化大模型是王道》做主题分享，重磅发布猎户星空大模型，并带来七大场景应用微调模型聚言与大模型应用交钥匙解决方案。
会上，傅盛宣布“为企业应用而生”的开源百亿参数猎户星空大模型正式发布，他强调，在企业应用场景中，猎户星空大模型在结合企业私有数据和应用时，即可实现千亿参数级别的模型效果。
猎户星空百亿参数大模型，企业标配
猎户星空大模型（Orion-14B）是由猎户星空研发的预训练多语言大语言模型，以其140亿参数规模展现出了卓越的性能。
Orion-14B模型在一个庞大且多样化的数据集上进行训练，数据集规模达到了2.5万亿token。这一规模不仅覆盖了常见语言，还涵盖了专业术语和特定领域知识，确保模型能够理解和生成多种语境下的文本。
百亿参数大模型基座能力行业领先。Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上，均为同级别模型SOTA。
（基于第三方机构OpenCompass独立评测结果）
140亿参数，以小博大。第三方OpenCompass综合测评总分中，700亿以下参数基座模型中文数据集排名第一。
实现长文本中「大海捞针」。最长可支持 320K token 超长文本，一次性读入一本小说。在三十万文字中任意位置随机隐藏关键信息，对模型进行提问，结果全部正确。
量化性能几乎无损。通过AWQ Q4量化技术，模型大小减少70%，推理速度提升30%，性能几乎无损(损失小于1%)，可在千元级显卡可以流畅运行。在NVIDIA RTX 3060显卡实测，推理速度可达31 token/s (约每秒50汉字)
