Mistral AI宣布与NVIDIA合作开发了一款名为NeMo的12B参数模型。这款新模型拥有高达128,000个标记的卓越上下文窗口，在同尺寸级别的模型中，宣称其在推理能力、世界知识掌握和编码准确性方面达到了业界领先水平。
Mistral AI与NVIDIA的合作不仅推动了模型性能的极限，还特别强调了使用的便捷性。由于采用了标准架构，Mistral NeMo能够无缝替代目前使用的Mistral 7B系统。 为了促进其采用和推动深入研究，Mistral AI在Apache 2.0许可协议下公开了预训练的基础模型及经过指令优化的检查点。这一开源策略预计将吸引研究人员和企业界的兴趣，有望促进该模型在多种应用中的快速集成。
Mistral NeMo的主要特点之一是其在训练过程中对量化操作具有感知能力，这使得在进行FP8精度推理时无需牺牲性能。这项能力对于寻求高效部署大型语言模型的组织来说可能具有至关重要的意义。 Mistral AI还提供了Mistral NeMo基础模型与近期两款开源预训练模型——Gemma 2的9B和Llama 3的8B的性能对比。 Mistral AI这样解释道：“我们设计的这款模型旨在服务于全球多语言应用场景。它在函数调用数据集上接受训练，具备广阔的上下文视野，尤其在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语上展现出色。” “这是我们向将最前沿的AI模型普及到构成人类文化的每一种语言使用者手中迈出的新一步。”
米斯特拉尔NeMo推出了一款名为“铁拳”的新型分词器，基于Tiktoken技术。经过超过100种语言的训练，铁拳在自然语言文本和源代码的压缩效率上，显著超越了米斯特拉尔先前模型所使用的SentencePiece分词器。
公司报告指出，在压缩源代码以及几大主要语言方面，铁拳的效率提升了约30%，而在韩语和阿拉伯语上的表现尤为突出。 米斯特拉尔AI还宣称，铁拳在约85%的语言中的文本压缩能力超越了Llama 3分词器，这可能为米斯特拉尔NeMo在多语言应用方面带来额外优势。 该模型的权重现已在HuggingFace平台上开放，包括基础版和指令版两个版本。
开发者可以使用mistral-inference工具尝试Mistral NeMo，并可通过mistral-finetune进行定制化适配。对于米斯特拉尔平台的用户而言，该模型以“open-mistral-nemo”的名称可供访问。 作为与NVIDIA合作的一部分，米斯特拉尔NeMo已被封装成NVIDIA NIM推理微服务，可通过ai.nvidia.com访问。这一集成可能为已投入NVIDIA AI生态系统的组织提供更便捷的部署途径。
Mistral NeMo的推出，象征着先进AI模型民主化进程的重要一步。凭借其高性能、多语言支持和开源特性，米斯特拉尔AI和NVIDIA将此模型定位为适用于不同行业和研究领域的广泛AI应用的多功能工具。
