AI News
OpenAI 正式发布 Decisions API,面向低延迟低成本小决策
Build more responsive apps with the Decisions API
OpenAI 宣布基于 GPT-6 Luna 的 Decisions API 正式可用,用于分类、路由、评分等有界答案问题,速度最高比通过 Responses API 使用 GPT-6 Luna 快 10x。
官方宣布 Decisions API 正式可用,给出与 GPT-6 Luna 的速度对比、定价和 GPT-Live 集成,便于评估路由分类类场景的收益。
另外 4 家也报道了正文 · AI 翻译中文原文使用 Decisions API 构建响应更快的应用为任何应用提供快速、专注、低成本决策。
隆重推出 Decisions API
00:00 05:25
应用和智能体在整个工作流中会做出许多小决策:如何对输入进行分类、将请求路由到哪里,或接下来采取哪个操作。单独来看,它们都很简单。但在规模化场景下,它们的延迟和成本会不断累积。
今天,我们正式全面推出 Decisions API。Decisions API 基于 GPT‑6 Luna 构建,将 Luna 的智能聚焦于答案有界的问题,帮助应用和智能体基于文本、图像和结构化输入做出近乎实时的决策,通过 Responses API 比 GPT‑6 Luna 快最多 10 倍。
自公开测试版以来,我们新增了原生 GPT‑Live 集成、针对重复使用上下文的提示缓存,以及美国和欧盟的推理驻留。开发者还可以传入原生 JSON 输入、在问题指令中包含图像,并且每个请求最多可提出 400 个问题,是此前上限的两倍。我们还持续改进延迟,包括在亚洲多个地区增加容量。
Decisions 的早期采用情况表明,它适用于多种用例。
在 OpenAI 内部,各团队正在将 Decisions API 应用于产品和业务工作流。dots 团队用它来缩短响应时间并提升交互性。我们的个人财务团队用它来对交易描述进行分类,而我们的传播团队则用 Decisions 按主题对报道进行分类并评分,判断其是强化还是挑战关键叙事——帮助识别哪些内容值得进一步审查。
这些早期示例表明,快速、结构化的决策如何将传入信息转化为广泛用例中的有用行动。客户对 Decisions API 的应用同样广泛,从准确归因 AI 成本到让语言学习体验更具互动性。
第 1 张,共 5 张
“_借助 Box Extract 和__Decisions API,我们对业务文档进行分类,并将其路由到正确的下一步。在我们的评估中,_Decisions API 在 30 个保险证书案例上实现了约 5 倍更快的路由选择,准确率与__Responses API 相同——自动化常规工作,并将置信度较低的案例发送给审核人员。”
——Biswaroop Palit,Box 产品管理与集成平台副总裁
“Decisions API 帮助我们在执行智能体生成的 [ rshell 命令(在新窗口中打开)] 之前对其风险进行评分,从而自主修复问题。与可用的前沿模型相比,它以相当的准确率实现了快 40 倍的 p95——使 Decisions 能够置于修复操作的热路径中。”
——AJ Stuyvenberg,Datadog 资深工程师
“与 GPT‑6 Luna 相比,Decisions API 将我们的 AI 成本归因到实际工作的速度提升了 4 倍,成本降低了 30%,且不牺牲准确率。”
——René Sultan,Ramp 研究工程师
“在 Sierra,我们在实时客户对话中编排的部分环节使用 Decisions API 来选择正确的下一步操作。它以低于 280 毫秒的 p95 运行,比我们之前的方法快约 3 倍,每次调用成本降低 90%,且客户结果没有下降。”
——Ajeet Grewal,Sierra 工程师
“对于语言学习者来说,时机至关重要。在我们的测试中,GPT‑Live 中的 Decisions API 集成能够将下一步行动的时间缩短 90% 以上,从 1.4 秒降至 0.13 秒,从而创造出更具互动性的学习体验。”
—Andrew Hsu,Speak 首席技术官
Datadog
Sierra
使用 Decisions API 非常简单:开发者定义一个问题和其允许的答案,然后以文本、图像或原生 JSON 形式提供上下文。该 API 会返回三种受支持的答案类型之一——概率、选择或评分——应用可据此决定接下来发生什么。多样的答案类型使 Decisions 能够适用于广泛的使用场景。
Decisions API 支持三种答案类型:
借助 GPT‑Live,你可以为语音应用带来自然、富有表现力的对话,并具备流畅的打断处理能力,让对话保持连贯。Decisions API 现已与 GPT‑Live 原生集成(在新窗口中打开),帮助应用在实时对话中做出快速、聚焦的决策。客服智能体可以决定是否提出澄清问题、转接请求或升级问题。虚拟形象可以在用户对其说话时调整面部表情,并根据用户的话语以眨眼或微笑回应,从而创造更具互动性的体验。
下面的示例使用转录更新来选择虚拟形象的表情。将此配置添加到现有 GPT‑Live 会话中的 session.triggers。
1{2 "type": "decisions",3 "event_type": "session.input_transcript.delta",4 "decisions": {5 "questions": [{6 "type": "choice",7 "name": "reaction",8 "instructions": "Choose an appropriate reaction for the avatar based on the user's latest message.",9 "choices": [10 { "value": "neutral" },11 { "value": "happy" },12 { "value": "sad" },13 { "value": "concerned" }14 ]15 }]16 }17}
Live 会发出一个 decision.event;应用读取所选的 reaction 并相应地驱动角色动画。了解更多关于将语音连接到 Decisions API 的信息。(在新窗口中打开)
在你开始之前麦克风处于关闭状态
会话将在 0:00 后结束
会话已结束。如果你想继续交谈,请重新开始。
点击一张脸进行预览。
好奇欣喜惊讶沉思温柔俏皮放松
观察 Decisions API 如何根据你们双方所说的话选择面部表情。
说话时观察反应。
助手回复时观察面部表情。
我为我的猫排练了试镜。她中途走开了。
我有一个秘密。再靠近一点。
其实,是我妹妹得到了那个角色。这是她的首场演出!
我对明天感到紧张。你能陪我坐一会儿吗?
我刚拿到那个角色!你能和我一起庆祝吗?
做出惊讶的表情,然后告诉我你看到了什么。
你能帮我搜索下一次流星雨吗?
此演示有时间限制。使用即表示你同意 OpenAI 的条款并确认我们的隐私政策。
Decisions API 现已通过专用的 Decisions 端点正式提供,并支持 GPT‑6 Luna。当前费率与缓存详情请参阅定价与可用性指南(在新窗口打开)。
从你的应用经常做出的一个重复性决策开始。定义问题、可能的答案,以及区分这些答案所需的上下文。在Decisions Playground(在新窗口打开)中用你自己的文本或图像,在反映真实使用情况的示例上进行测试,或按照开发者指南(在新窗口打开)发出你的第一个请求。
Decisions API 的费用为每百万输入 token 0.10 美元。缓存输入的费用为每百万 token 0.01 美元。关于 30 分钟和 12 小时的缓存写入,请阅读我们的定价指南。(在新窗口打开)你只需为输入 token 付费:没有输出 token 费用。区域处理可在美国和欧盟使用,符合条件的客户还可使用零数据保留(在新窗口打开)。详情请参阅定价与缓存(在新窗口打开)和数据控制(在新窗口打开)。
OpenAI
来源:OpenAI:官网动态 · openai.com