微软上线两款新模型：增强RAG和AI Agent

105 0 0

文章摘要

微软在Azure AI Foundry上线了Cohere的Embed 4和Command A两款新模型，旨在增强RAG（检索增强生成）和AI Agent的功能。Embed 4是一款多模态嵌入模型，支持超过100种语言，能够将不同语言的查询和文档编码到同一向量空间中，实现跨语言搜索。该模型不仅支持文本嵌入，还能嵌入图像，适用于多模态搜索场景。Embed 4具备嵌套表示学习功能，生成的嵌入可以截断到更小尺寸，几乎不损失保真度，用户可以根据需要选择不同维度的向量，以平衡精度与存储/查询速度。此外，Embed 4支持int8量化和二进制嵌入输出，显著减少存储占用并加速相似性搜索。该模型在大规模数据集上进行了训练，确保在企业文本噪声环境下表现出色。

Command A是Cohere最新发布的旗舰大模型，专为企业场景中的高性能文本生成设计。该模型经过指令微调，在多步推理、工具使用和检索增强RAG等复杂任务中表现出色。Command A支持256K token上下文长度，能够一次性处理极长的输入而不失去连贯性。该模型在指令、总结以及RAG工作流方面表现出色，能够整合检索到的上下文并引用来源以减少幻觉。此外，Command A支持开箱即用的工具调用，可以作为Azure AI Agent的一部分与外部API或数据源进行交互。在多语言用例方面，Command A涵盖所有主要商业语言，在日语、韩语和德语方面的表现接近领先水平。尽管规模庞大，Command A的设计注重效率，与前身相比，其吞吐量提高了150%，仅需2块A100/H100 GPU即可运行，支持流式token输出，保持交互的低延迟。

Embed 4和Command A已经与Azure AI中的AI Agent完成集成，用户只需按名称引用已部署模型即可将其作为智能体推理的大模型。在实际应用中，Embed 4和Command A展示了广泛的应用场景。例如，在金融领域，用户可以将数千页的财务文件、收益电话会议记录和市场研究报告输入向量存储库，使用Embed 4进行嵌入和索引，通过查询嵌入检索最相关的段落，再通过Command A生成简洁的总结或带引文的答案。在法律领域，跨国律师事务所可以利用Embed 4对包含多种语言法律文件的庞大文档库进行索引，创建多语言嵌入，当律师研究特定法律先例时，Embed 4可以检索相关文档，Command A总结关键要点并翻译摘录内容，比较不同司法管辖区的法律论点。此外，Command A还可以利用工具调用从外部数据库检索额外信息，整合数据以提供全面的报告。