测试与对比

AIR-Core 的实际表现:经过测量,附有来源

我们用公开数据测量 AIR-Core 训练的模型,并在相同的行上与知名参考模型比较。同时,我们附上各自文档的链接,比较对话结束后每个工具能做什么。

基准测试

模型表现处于正常范围,落后之处也如实列出

对于每个数据集,AIR-Core 训练它在平台上会训练的模型:模板中的方法,其余情况下则是助手推荐的方法(随机森林)。它用固定随机种子打乱数据,取 30% 的行作为测试集,且不用这些行调整任何内容。我们在同样的行上测量朴素预测和两个使用默认值的 scikit-learn 模型。

AIR-Core 模型基准测试结果,以及在相同测试行上的朴素预测和两个 scikit-learn 参考模型。
数据任务测试行数AIR-Core 方法指标AIR-Core朴素预测AIR-Core 结论梯度提升(scikit-learn)线性模型(scikit-learn)
客户流失(模板)分类600逻辑回归正确预测91 %70 %良好87 %91 %
设备维护(模板)分类750逻辑回归平衡准确率78 %50 %良好77 %79 %
客户评价(模板)文本900逻辑回归正确预测80 %50 %良好—82 %
评论情感:来源(示例)文本900随机森林正确预测79 %35 %良好—82 %
乳腺癌(威斯康星)分类171随机森林正确预测97 %63 %良好96 %98 %
帕尔默企鹅分类100随机森林正确预测97 %48 %良好99 %99 %
银行营销分类1357随机森林平衡准确率60 %50 %良好67 %65 %
葡萄酒质量(红葡萄酒)回归480随机森林R²(解释的变异)45 %0 %良好42 %35 %
鲍鱼回归1254随机森林R²(解释的变异)53 %0 %良好52 %53 %

如何阅读此表

正确预测(准确率)是被正确分类的案例所占比例;类别不平衡时使用平衡准确率,即各类别准确率的平均值。在回归中,是模型所解释的变异比例(R²)。朴素预测总是给出最常见的类别或平均值。

落后之处

在银行营销数据上,由于类别极不平衡,默认设置的随机森林比参考模型分别落后 5 和 7 个百分点。在文本和企鹅数据上,落后 2 到 3 个百分点。其余数据上,与最佳参考模型相差不超过 1 个百分点,或领先。

数据与许可

使用合成数据(CC0)的模板、“评论情感”示例,以及五个公开数据集:来自 UCI 资料库(CC BY 4.0)的乳腺癌、银行营销、葡萄酒质量和鲍鱼,以及帕尔默企鹅(CC0)。

预测

需求模板,逐日预测

AIR-Core 用最近的历史数据测试多种方法,并保留预测最准的那一种。表中为该测试最后 30 天的平均误差,单位为每天的数量(越低越好)。在这段时间内,结合日历的梯度提升略为准确。

需求模板在其测试最后 30 天的平均预测误差,单位为每天的数量。
产品类别AIR-Core 选择的方法AIR-Core重复上一周结合日历的梯度提升(scikit-learn)
面包店指数平滑8107
饮料指数平滑131813
生鲜指数平滑111310

可复现

我们如何测量

程序会重复运行测试,每次都得到相同的数字。

  • 与平台相同的请求。 AIR-Core 的建模引擎接收的是平台创建模型时发送的内容,结论由质量保证所用的同一段代码计算。
  • 所有方法使用相同的行。 程序会检查 AIR-Core 与各参考模型是否在相同的行上测试,否则停止运行。
  • 不使用测试数据调整任何内容。 所有方法均使用默认值和固定随机种子,确保两次运行结果一致。
  • 日期与版本。 2026 年 11 月 17 日,建模引擎 0.22.0、scikit-learn 1.9.1 和 Python 3.15.2,运行于 Apple M5 Pro。
  • 如需详情,可向我们索取。 代码位于 AIR-Core 的代码库中,该代码库不公开。 写信给我们,我们会把方法和全部数据发给你。 (将打开你的邮件程序)

对比

对话结束后仍在运行的东西

BigML 擅长训练模型,Claude 和 ChatGPT 非常适合与你的数据对话。AIR-Core 专注于让你团队的数据、模型和决策持续运转:已连接、受监控、有文档,并位于欧盟。关于其他产品的每一项信息都来自其文档或价格页面,并标注来源编号。

AIR-Core、BigML、Claude 和 ChatGPT 的功能对比,并附上其他产品每项信息的来源。
你需要的功能AIR-CoreBigMLClaudeChatGPT
已连接的数据源与自动更新文件、URL、数据库、开放数据(CKAN)和实时 MQTT,并支持定时更新。可从 URL、云存储创建数据源,并提供 PostgreSQL、MySQL、SQL Server 和 Elasticsearch 连接器。12 数据源定时更新: 未验证连接器会在对话需要时读取你的服务;已添加的 Google Drive 文档保持同步。1112连接器从你的工具中获取数据;定时任务可以在每个工作日检查一个数据源。1920
重新训练分类器和回归模型自动进行:按日程、数据变化时或监控发出提醒时。新版本只有在效果更好时才会启用。通过单独的产品 BigML Ops 自动重新训练,或使用 BigMLer 的“retrain”命令配合你自己的调度程序。34未验证未验证
模型监控与漂移将每个模型收到的数据与其训练数据进行比较,并衡量模型是否仍然准确。BigML Ops 监控每个模型,并为其配一个异常检测器。3未验证未验证
警报与操作针对你的数据设置条件,通过邮件或 Webhook 通知;以及可重新训练、预测新行并执行操作的流程。当模型性能低于阈值时,BigML Ops 会发出提醒。3 通知渠道: 未验证定时任务(付费套餐),借助你的连接器定期运行。13 邮件或 Webhook 通知: 未验证定时任务,以及在支持的套餐中由 Gmail、Slack 或 GitHub 事件触发的任务。21 邮件或 Webhook 通知: 未验证
质量保证每个分类器和回归模型都会与朴素预测进行比较。如果不比它好,AIR-Core 会尝试其他方法;如果都不行,会告诉你。评估将模型与两个参考并列展示:最常见的类别(或平均值)和随机预测。5 自动提醒或重试: 未验证未验证未验证
解释模型中各变量的权重以及每个预测的解释(SHAP 值),在训练时计算。模型中各字段的重要性,以及每个预测的解释。67未验证未验证
模型卡与人工智能法报告每个模型的模型卡和可信报告(PDF 或 Markdown),以及你所在组织的 AI 系统登记册。每个模型的摘要报告,包含字段重要性。8 人工智能法相关文档: 未验证Anthropic 发布其自有模型的模型卡(system cards)。14 你的模型的模型卡:不适用。OpenAI 发布其自有模型的模型卡(system cards)。22 你的模型的模型卡:不适用。
在欧盟和你的服务器上托管云端位于 AWS 法兰克福(德国)。通过 iCore 安装在你的基础设施上(Enterprise 套餐)。其云服务托管在美国(2022 年隐私政策)。可在公有云、私有云或本地进行私有部署。910其产品的数据存储在美国。通过 AWS Bedrock 和 Google Cloud Vertex 使用 Claude 模型时,可选择欧洲数据驻留。1516 在你的服务器上: 未验证数据驻留在美国或欧盟的工作区,适用于受支持的内容。23 包含此功能的套餐及在你的服务器上部署: 未验证
MCP 连接器所有套餐都提供自有 MCP 服务器,包括免费版:将 Claude、ChatGPT 或 Cursor 连接到你的数据和模型。未验证所有套餐均支持自定义 MCP 连接器;Free 套餐限一个。17你可以添加自定义 MCP 服务器,具体取决于你的账户和工作区策略。24 套餐: 未验证
入门价格免费版(€0)。付费套餐每月 €49 起,不含增值税。免费套餐每月 $0,每个任务 16 MB,另有 3 天试用。10 首个付费套餐: 未验证Free 套餐 $0。Pro:按年付费每月 $17,按月付费每月 $20,不含税。18Free 套餐 $0。Go:每月 $8。Plus:每月 $20。25 你所在国家/地区的价格: 未验证

“未验证”表示我们在 2026 年 11 月 17 日未在该产品的公开文档中找到相关信息,并不表示它不存在。 如果发现错误,请写信告诉我们,我们会更正。 (将打开你的邮件程序)

限额

AIR-Core 不做什么

不是对话助手

如果是对话、撰写或分析单个文件,Claude 或 ChatGPT 做得很好。AIR-Core 通过 MCP 与它们连接,并保存之后需要继续运行的内容。

使用默认设置的模型

基于表格和文本的经典机器学习,不含用于图像的深度网络。面对困难的数据(如上面的银行营销),专家还能进一步调优。

不认证人工智能法合规

模型卡、可信报告和登记册有助于为其义务做准备。它们不构成法律建议,每个系统的分类由你的组织决定。

每个套餐都有其限制

部分功能(如警报、外部数据库或 API)取决于套餐,而在你的服务器上安装是一个单独的项目。

数据源

参考的文档

各产品的公开页面,附查阅日期。

  1. static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
  2. static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
  3. bigml.com/bigmlops · 2026-11-17
  4. blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
  5. static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
  6. static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
  7. bigml.com/whatsnew · 2026-11-17
  8. static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
  9. bigml.com/privacy · 2026-11-17
  10. bigml.com/pricing · 2026-11-17
  11. support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
  12. support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
  13. support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
  14. www.anthropic.com/system-cards · 2026-11-17
  15. privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
  16. claude.com/regional-compliance · 2026-11-17
  17. support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
  18. claude.com/pricing · 2026-11-17
  19. chatgpt.com/features/connectors · 2026-11-17
  20. learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
  21. learn.chatgpt.com/docs/automations · 2026-11-17
  22. deploymentsafety.openai.com · 2026-11-17
  23. learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
  24. developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
  25. learn.chatgpt.com/docs/pricing · 2026-11-17

今天就用你自己的数据开始

创建免费账户,几分钟内连接你的第一个数据源。需要更多功能时,再升级到付费套餐。