GPT-4o mini 发布:OpenAI 最便宜的小型模型,比 GPT-3.5 便宜,比 GPT-4 优秀

OpenAI 昨天发布了最新的「最具成本效益的小型型号」GPT-4o mini,它在 MMLU 上得分 82%,目前优于 GPT-4,比 GPT-3.5 Turbo 便宜 60% 以上。@Appinn

GPT-4o mini 发布:OpenAI 最便宜的小型模型,比 GPT-3.5 便宜,比 GPT-4 优秀

以上两组数据来自 OpenAI 昨天的博客文章《GPT-4o mini: advancing cost-efficient intelligence》。

性能

其他一些数据还有:

  • GPT-4o mini 在 MMLU 上得分 82%,目前优于 GPT-4
  • 比 GPT-3.5 Turbo 便宜 60% 以上
  • 在 API 中支持文本和视觉(接受文本或图像输入并输出文本)
  • 128K 上下文,最多16K输出
  • 与 GPT-4o 共享改进标记器,处理非英语文本更经济
  • 截至 2023 年 10 月的知识

未来还将支持文本、图像、视频和音频输入和输出。

API 价格

开发者为每 100 万个输入代币支付 15 美分,为每 100 万个输出代币支付 60 美分(大约相当于一本标准书的 2500 页)。

喜闻乐见的对比环境

GPT-4o mini 在文本智能和多模态推理方面的学术基准上超越了 GPT-3.5 Turbo 和其他小型模型,并支持与 GPT-4o 相同范围的语言。它还在函数调用方面表现出强大的性能,使开发人员能够构建获取数据或与外部系统执行操作的应用程序,并且与 GPT-3.5 Turbo 相比,提高了长上下文性能。

推理任务:

GPT-4o mini 在涉及文本和视觉的推理任务上优于其他小型模型,在文本智能和推理基准 MMLU 上得分为 82.0%,而 Gemini Flash 为 77.9%,Claude Haiku 为 73.8%。

数学和编码能力:

GPT-4o mini 在数学推理和编码任务方面表现出色,优于市场上以前的小型模型。在 MGSM 上,测量数学推理,GPT-4o mini 得分为 87.0%,而 Gemini Flash 为 75.5%,Claude Haiku 为 71.7%。

GPT-4o mini 在衡量编码性能的 HumanEval 上得分为 87.2%,而 Gemini Flash 的得分为 71.5%,Claude Haiku 的得分为 75.9%。

多模态推理:

GPT-4o mini 在多模态推理评估 MMMU 上也表现出强劲的性能,得分为 59.4%,而 Gemini Flash 为 56.1%,Claude Haiku 为 50.2%。

GPT-4o mini 发布:OpenAI 最便宜的小型模型,比 GPT-3.5 便宜,比 GPT-4 优秀 1

目前已可以使用

目前已经可以在 API 中使用 gpt-4o-mini 模型名称, GPT-4o mini 比 GPT-3.5 Turbo 更便宜、功能更强大。


原文:https://www.appinn.com/gpt-4o-mini/

写留言