Cohere Rerank 3 Nimble 现已在 Amazon SageMaker JumpStart 中广泛提供

作者 Breanne Warner、Karan Singh、Niithiyn Vijeaswaran日期 2024年8月19日来源 Amazon SageMaker SageMaker JumpStart 人工智能 生成式人工智能 发布资讯评论

重点摘要

Cohere Rerank 3 Nimble 基础模型现已在 Amazon SageMaker JumpStart 中普遍可用。这个模型是 Cohere 的 Rerank 模型系列中的最新产品，旨在提升企业搜索和增强型检索生成RAG系统的性能。

在本文中，我们将讨论该模型的优势和功能，并提供一些示例。

Cohere Rerank 模型概述

Cohere 的 Rerank 模型家族旨在提升现有企业搜索系统和 RAG 系统的效果。Rerank 模型改善了基于关键词和嵌入的搜索系统的准确性。Cohere Rerank 3 被设计为根据与特定查询的相关性对初步搜索算法检索到的文档进行重新排序。Rerank 模型，也称为交叉编码器，在给定查询和文档对时，会输出一个相似度评分。对于基础模型，单词、句子或整个文档通常会以密集向量的形式编码在语义空间中。通过计算这些向量之间角度的余弦，可以量化其语义相似度，并输出一个相似度评分。这个评分可以用来重新按照与查询的相关性对文档进行排序。

Cohere Rerank 3 Nimble 是 Cohere Rerank 模型系列中的最新模型，相较于其前身 Cohere Rerank 3 提升了速度和效率。根据 Cohere 对于准确性和内部基准数据集的基准测试，包括 BEIR信息检索基准测试，Cohere Rerank 3 Nimble 在保持高准确性的同时，速度比 Cohere Rerank 3 快约 35 倍。这一速度提升旨在帮助企业提升搜索能力，而不影响性能。

以下图示展示了一种 RAG 流水线的两阶段检索，其中展示了 Cohere Rerank 3 Nimble 如何集成到搜索流水线中。

在 RAG 架构的检索第一阶段，根据与查询相关的知识库返回一组候选文档。在第二阶段，Cohere Rerank 3 Nimble 分析查询与每个检索文档之间的语义相关性，并按相关性从高到低重新排序它们。排名最高的文档通过额外上下文增强了原始查询。这个过程通过识别最相关的文档提高了搜索结果的质量。将 Cohere Rerank 3 Nimble 集成到 RAG 系统中，使用户能将更少但质量更高的文档发送给语言模型进行基于事实的生成。这使得搜索结果的准确性和相关性得到了改善，同时没有增加延迟。

SageMaker JumpStart 概述

SageMaker JumpStart 提供了广泛的公共可用基础模型访问权限。这些预训练模型作为强大的起点，可以深度定制以满足特定使用案例。您现在可以使用先进的模型架构，例如语言模型、计算机视觉模型等，无需从头开始构建。

Amazon SageMaker 是一款全面的、完全托管的机器学习平台，彻底改变了整个机器学习工作流。它提供了一整套无与伦比的工具，涵盖了机器学习生命周期的每一个阶段，从数据准备到模型部署和监控。数据科学家和开发人员可以使用 SageMaker 集成开发环境IDE访问广泛的预构建算法、自定义自己的模型，并无缝扩展他们的解决方案。该平台的强大之处在于它能够抽象化基础设施管理的复杂性，使您可以专注于创新而非运营开销。SageMaker 的自动化机器学习能力，包括自动化机器学习AutoML功能，使得即使是非专家也能构建复杂的模型。此外，它的强大治理功能帮助组织在其机器学习项目中保持控制和透明度，解决与合规性相关的关键问题。

前提条件

确保您的 SageMaker AWS 身份与访问管理IAM服务角色已附加 AmazonSageMakerFullAccess 权限策略。

要成功部署 Cohere Rerank 3 Nimble，请确认以下任一项：

awsmarketplaceSubscribe

Alternatively 确认您的 AWS 账户已订阅该模型。如果是，您可以跳过后续的部署指引，直接订阅该模型包。

在 SageMaker JumpStart 上部署 Cohere Rerank 3 Nimble

您可以通过 SageMaker JumpStart 在 Amazon SageMaker Studio 中访问 Cohere Rerank 3 系列模型，以下截图展示了这一过程。

当您选择 部署 时，部署将开始，您可能会被提示通过 AWS Marketplace 订阅此模型。如果您已订阅，可以再次选择 部署 来部署模型。部署完成后，您将看到一个端点被创建。您可以通过传递示例推理请求负载或使用 SDK 选择测试选项来测试该端点。

订阅模型包

如需订阅模型包，请按照以下步骤操作：

将显示一个产品 ARN。这就是您在使用 Boto3 创建可部署模型时需要指定的模型包 ARN。

使用 SDK 部署 Cohere Rerank 3 Nimble

要使用 SDK 部署模型，请复制前一步中的产品 ARN，并在以下代码中将其指定为 modelpackagearn：

pythonfrom cohereaws import Clientimport boto3region = boto3Session()regionname

modelpackagearn = 在此处指定模型包 ARN

在指定模型包 ARN 后，您可以创建端点，代码如下。指定端点的名称、实例类型和使用的实例数量。确保您具有使用 mlg5xlarge 的账户级服务限制。要请求服务配额增加，请参考 AWS 服务配额。

pythonco = Client(regionname=region)cocreateendpoint(arn=modelpackagearn endpointname=coherererank3/coherereranknimblemultilingual instancetype=mlg5xlarge ninstances=1)

如果端点已经创建，只需使用以下代码与之连接：

pythoncoconnecttoendpoint(endpointname=coherererank3/coherereranknimblemultilingualv3)

按照之前详细描述的类似过程在 SageMaker JumpStart 上部署 Cohere Rerank 3。

使用 Cohere Rerank 3 Nimble 的推理示例

Cohere Rerank 3 Nimble 提供强大的多语言支持。该模型以英文和多语言版本提供，支持超过 100 种语言。

以下代码示例演示如何使用 Cohere Rerank 3 NimbleEnglish 进行实时推理：

pythondocuments = [ {Title 密码不正确 Content 你好，我试图访问我的账户一个小时了，一直显示密码不正确。能帮我一下吗？} {Title 确认邮件未收到 Content 嗨，我最近在你们网站上购买了一件产品，但我从未收到确认邮件。能帮我查一下吗？} {Title 关于退货政策的问题 Content 你好，我有关于此产品的退货政策的问题。我几周前购买了该产品，但它是有缺陷的。} {Title 客服繁忙 Content 早上好，我在过去一周试图联系你的客服团队，但一直得到忙音。能否帮我一下？} {Title 收到错误的商品 Content 嗨，我有一个关于我最近订单的问题。我收到了错误的商品，需要退回。} {Title 客服无法接通 Content 你好，我过去一个小时试图联系你的客服团队，但一直得到忙音。能不能帮我一下？} {Title 有缺陷产品的退货政策 Content 嗨，我有一个关于此产品的退货政策的问题。我几周前购买了该产品，但它是有缺陷的。} {Title 收到错误的商品 Content 早上好，我有一个关于我最近订单的问题。我收到了错误的商品，需要退回。} {Title 退货有缺陷的产品 Content 你好，我有一个关于此产品的退货政策的问题。我几周前购买了该产品，但它是有缺陷的。}]

response = corerank(documents=documents query=关于退货的邮件有哪几封？ rankfields=[Title Content] topn=2)

以下是来自 Cohere Rerank 3 NimbleEnglish 的输出：

pythonDocuments [RerankResultltdocument {Title 收到错误的商品 Content 嗨，我有一个关于我最近订单的问题。我收到了错误的商品，需要退回。} index 4 relevancescore 00068771075gt RerankResultltdocument {Title 收到错误的商品 Content 早上好，我有一个关于我最近订单的问题。我收到了错误的商品，需要退回。} index 7 relevancescore 00064131636gt]

Cohere Rerank 3 Nimble 的多语言支持

Cohere Rerank 3 NimbleMultilingual 的多语言能力使全球组织能够为不同地区和语言偏好的用户提供一致的、改进的搜索体验。

在以下示例中，我们创建一个包含多种语言电子邮件列表的输入负载。我们可以将早前的相同电子邮件集翻译成不同语言。这些示例可在 SageMaker JumpStart 模型卡上找到，并随机生成以供示例使用。

pythondocuments = [ {Title Contrasea incorrecta Content Hola llevo una hora intentando acceder a mi cuenta y sigue diciendo que mi contrasea es incorrecta Puede ayudarme por favor} {Title 确认邮件未收到 Content Hi I recently purchased a product from your website but I never received a confirmation email Can you please look into this for me} {Title Content } {Title 客服繁忙 Content Good morning I have been trying to reach your customer support team for the past week but I keep getting a busy signal Can you please help me} {Title Falschen Artikel erhalten Content Hallo ich habe eine Frage zu meiner letzten Bestellung Ich habe den falschen Artikel erhalten und muss ihn zurckschicken} {Title 客服无法接通 Content Hello I have been trying to reach your customer support team for the past hour but I keep getting a busy signal Can you please help me} {Title 有缺陷产品的退货政策 Content Hi I have a question about the return policy for this product I purchased it a few weeks ago and it is defective} {Title 收到错误物品 Content 早上好，关于我最近的订单，我有一个问题。我收到了错误的商品，需要退货。} {Title 退货有缺陷的产品 Content Hello I have a question about the return policy for this product I purchased it a few weeks ago and it is defective}]

response = corerank(documents=documents query=关于退货的邮件有哪几封？ rankfields=[Title Content] topn=2)print(fDocuments {response})

以下是来自 Cohere Rerank 3 NimbleMultilingual 的输出：

pythonDocuments [RerankResultltdocument {Title 收到错误物品 Content 早上好，关于我最近的订单，我有一个问题。我收到了错误的商品，需要退货。} index 7 relevancescore 0034553625gt RerankResultltdocument {Title 关于退货政策的问题 Content 你好，我有一个关于此产品的退货政策的问题。我几周前购买了该产品，但它是有缺陷的。} index 2 relevancescore 000037263767gt]

翻译成英文的输出如下：

pythonDocuments [RerankResultltdocument {Title Received Wrong Item Content Good morning I have a question about my recent order I received the wrong item and need to return it} index 7 relevancescore 0034553625gt RerankResultltdocument {Title Questions about Return Policy Content Hello I have a question about the return policy for this product I bought it a few weeks ago and its defective} index 2 relevancescore 000037263767gt]

在这两个示例中，相关性评分被标准化到 [0 1] 范围内。接近 1 的评分表示与查询高度相关，而接近 0 的评分表示相关性较低。

适合使用 Cohere Rerank 3 Nimble 的案例

Cohere Rerank 3 Nimble 模型提供了优先考虑效率的选项。该模型非常适合希望使客户能够准确搜索复杂文档、构建理解超过 100 种语言的应用程序并从各种数据存储中检索最相关信息的企业。在零售等行业，网站在搜索响应时间每增加 100 毫秒时，跳出率就会增加，因此使用像 Cohere Rerank 3 Nimble 这样的快速 AI 模型为企业搜索系统提供支持将直接转化为更高的转化率。

结论

Cohere Rerank 3 和 Rerank 3 Nimble 现已在 SageMaker JumpStart 上可用。要开始使用，请参阅 使用 SageMaker JumpStart 训练、部署和评估预训练模型。

想深入了解吗？请查看 Cohere on AWS GitHub repo。

关于作者

Breanne Warner 是亚马逊网络服务的企业解决方案架构师，支持医疗保健和生命科学HCLS客户。她热衷于支持客户在 AWS 上使用生成式人工智能，并推广模型的使用。Breanne 还担任 Women@Amazon 董事会的合作主任