测试与对比
AIR-Core 的实际表现:经过测量,附有来源
我们用公开数据测量 AIR-Core 训练的模型,并在相同的行上与知名参考模型比较。同时,我们附上各自文档的链接,比较对话结束后每个工具能做什么。
基准测试
模型表现处于正常范围,落后之处也如实列出
对于每个数据集,AIR-Core 训练它在平台上会训练的模型:模板中的方法,其余情况下则是助手推荐的方法(随机森林)。它用固定随机种子打乱数据,取 30% 的行作为测试集,且不用这些行调整任何内容。我们在同样的行上测量朴素预测和两个使用默认值的 scikit-learn 模型。
| 数据 | 任务 | 测试行数 | AIR-Core 方法 | 指标 | AIR-Core | 朴素预测 | AIR-Core 结论 | 梯度提升(scikit-learn) | 线性模型(scikit-learn) |
|---|---|---|---|---|---|---|---|---|---|
| 客户流失(模板) | 分类 | 600 | 逻辑回归 | 正确预测 | 91 % | 70 % | 良好 | 87 % | 91 % |
| 设备维护(模板) | 分类 | 750 | 逻辑回归 | 平衡准确率 | 78 % | 50 % | 良好 | 77 % | 79 % |
| 客户评价(模板) | 文本 | 900 | 逻辑回归 | 正确预测 | 80 % | 50 % | 良好 | — | 82 % |
| 评论情感:来源(示例) | 文本 | 900 | 随机森林 | 正确预测 | 79 % | 35 % | 良好 | — | 82 % |
| 乳腺癌(威斯康星) | 分类 | 171 | 随机森林 | 正确预测 | 97 % | 63 % | 良好 | 96 % | 98 % |
| 帕尔默企鹅 | 分类 | 100 | 随机森林 | 正确预测 | 97 % | 48 % | 良好 | 99 % | 99 % |
| 银行营销 | 分类 | 1357 | 随机森林 | 平衡准确率 | 60 % | 50 % | 良好 | 67 % | 65 % |
| 葡萄酒质量(红葡萄酒) | 回归 | 480 | 随机森林 | R²(解释的变异) | 45 % | 0 % | 良好 | 42 % | 35 % |
| 鲍鱼 | 回归 | 1254 | 随机森林 | R²(解释的变异) | 53 % | 0 % | 良好 | 52 % | 53 % |
如何阅读此表
正确预测(准确率)是被正确分类的案例所占比例;类别不平衡时使用平衡准确率,即各类别准确率的平均值。在回归中,是模型所解释的变异比例(R²)。朴素预测总是给出最常见的类别或平均值。
落后之处
在银行营销数据上,由于类别极不平衡,默认设置的随机森林比参考模型分别落后 5 和 7 个百分点。在文本和企鹅数据上,落后 2 到 3 个百分点。其余数据上,与最佳参考模型相差不超过 1 个百分点,或领先。
数据与许可
使用合成数据(CC0)的模板、“评论情感”示例,以及五个公开数据集:来自 UCI 资料库(CC BY 4.0)的乳腺癌、银行营销、葡萄酒质量和鲍鱼,以及帕尔默企鹅(CC0)。
预测
需求模板,逐日预测
AIR-Core 用最近的历史数据测试多种方法,并保留预测最准的那一种。表中为该测试最后 30 天的平均误差,单位为每天的数量(越低越好)。在这段时间内,结合日历的梯度提升略为准确。
| 产品类别 | AIR-Core 选择的方法 | AIR-Core | 重复上一周 | 结合日历的梯度提升(scikit-learn) |
|---|---|---|---|---|
| 面包店 | 指数平滑 | 8 | 10 | 7 |
| 饮料 | 指数平滑 | 13 | 18 | 13 |
| 生鲜 | 指数平滑 | 11 | 13 | 10 |
可复现
我们如何测量
程序会重复运行测试,每次都得到相同的数字。
- 与平台相同的请求。 AIR-Core 的建模引擎接收的是平台创建模型时发送的内容,结论由质量保证所用的同一段代码计算。
- 所有方法使用相同的行。 程序会检查 AIR-Core 与各参考模型是否在相同的行上测试,否则停止运行。
- 不使用测试数据调整任何内容。 所有方法均使用默认值和固定随机种子,确保两次运行结果一致。
- 日期与版本。 2026 年 11 月 17 日,建模引擎 0.22.0、scikit-learn 1.9.1 和 Python 3.15.2,运行于 Apple M5 Pro。
- 如需详情,可向我们索取。 代码位于 AIR-Core 的代码库中,该代码库不公开。 写信给我们,我们会把方法和全部数据发给你。 (将打开你的邮件程序)
对比
对话结束后仍在运行的东西
BigML 擅长训练模型,Claude 和 ChatGPT 非常适合与你的数据对话。AIR-Core 专注于让你团队的数据、模型和决策持续运转:已连接、受监控、有文档,并位于欧盟。关于其他产品的每一项信息都来自其文档或价格页面,并标注来源编号。
| 你需要的功能 | AIR-Core | BigML | Claude | ChatGPT |
|---|---|---|---|---|
| 已连接的数据源与自动更新 | 文件、URL、数据库、开放数据(CKAN)和实时 MQTT,并支持定时更新。 | 可从 URL、云存储创建数据源,并提供 PostgreSQL、MySQL、SQL Server 和 Elasticsearch 连接器。12 数据源定时更新: 未验证 | 连接器会在对话需要时读取你的服务;已添加的 Google Drive 文档保持同步。1112 | 连接器从你的工具中获取数据;定时任务可以在每个工作日检查一个数据源。1920 |
| 重新训练 | 分类器和回归模型自动进行:按日程、数据变化时或监控发出提醒时。新版本只有在效果更好时才会启用。 | 通过单独的产品 BigML Ops 自动重新训练,或使用 BigMLer 的“retrain”命令配合你自己的调度程序。34 | 未验证 | 未验证 |
| 模型监控与漂移 | 将每个模型收到的数据与其训练数据进行比较,并衡量模型是否仍然准确。 | BigML Ops 监控每个模型,并为其配一个异常检测器。3 | 未验证 | 未验证 |
| 警报与操作 | 针对你的数据设置条件,通过邮件或 Webhook 通知;以及可重新训练、预测新行并执行操作的流程。 | 当模型性能低于阈值时,BigML Ops 会发出提醒。3 通知渠道: 未验证 | 定时任务(付费套餐),借助你的连接器定期运行。13 邮件或 Webhook 通知: 未验证 | 定时任务,以及在支持的套餐中由 Gmail、Slack 或 GitHub 事件触发的任务。21 邮件或 Webhook 通知: 未验证 |
| 质量保证 | 每个分类器和回归模型都会与朴素预测进行比较。如果不比它好,AIR-Core 会尝试其他方法;如果都不行,会告诉你。 | 评估将模型与两个参考并列展示:最常见的类别(或平均值)和随机预测。5 自动提醒或重试: 未验证 | 未验证 | 未验证 |
| 解释 | 模型中各变量的权重以及每个预测的解释(SHAP 值),在训练时计算。 | 模型中各字段的重要性,以及每个预测的解释。67 | 未验证 | 未验证 |
| 模型卡与人工智能法报告 | 每个模型的模型卡和可信报告(PDF 或 Markdown),以及你所在组织的 AI 系统登记册。 | 每个模型的摘要报告,包含字段重要性。8 人工智能法相关文档: 未验证 | Anthropic 发布其自有模型的模型卡(system cards)。14 你的模型的模型卡:不适用。 | OpenAI 发布其自有模型的模型卡(system cards)。22 你的模型的模型卡:不适用。 |
| 在欧盟和你的服务器上托管 | 云端位于 AWS 法兰克福(德国)。通过 iCore 安装在你的基础设施上(Enterprise 套餐)。 | 其云服务托管在美国(2022 年隐私政策)。可在公有云、私有云或本地进行私有部署。910 | 其产品的数据存储在美国。通过 AWS Bedrock 和 Google Cloud Vertex 使用 Claude 模型时,可选择欧洲数据驻留。1516 在你的服务器上: 未验证 | 数据驻留在美国或欧盟的工作区,适用于受支持的内容。23 包含此功能的套餐及在你的服务器上部署: 未验证 |
| MCP 连接器 | 所有套餐都提供自有 MCP 服务器,包括免费版:将 Claude、ChatGPT 或 Cursor 连接到你的数据和模型。 | 未验证 | 所有套餐均支持自定义 MCP 连接器;Free 套餐限一个。17 | 你可以添加自定义 MCP 服务器,具体取决于你的账户和工作区策略。24 套餐: 未验证 |
| 入门价格 | 免费版(€0)。付费套餐每月 €49 起,不含增值税。 | 免费套餐每月 $0,每个任务 16 MB,另有 3 天试用。10 首个付费套餐: 未验证 | Free 套餐 $0。Pro:按年付费每月 $17,按月付费每月 $20,不含税。18 | Free 套餐 $0。Go:每月 $8。Plus:每月 $20。25 你所在国家/地区的价格: 未验证 |
“未验证”表示我们在 2026 年 11 月 17 日未在该产品的公开文档中找到相关信息,并不表示它不存在。 如果发现错误,请写信告诉我们,我们会更正。 (将打开你的邮件程序)
限额
AIR-Core 不做什么
不是对话助手
如果是对话、撰写或分析单个文件,Claude 或 ChatGPT 做得很好。AIR-Core 通过 MCP 与它们连接,并保存之后需要继续运行的内容。
使用默认设置的模型
基于表格和文本的经典机器学习,不含用于图像的深度网络。面对困难的数据(如上面的银行营销),专家还能进一步调优。
不认证人工智能法合规
模型卡、可信报告和登记册有助于为其义务做准备。它们不构成法律建议,每个系统的分类由你的组织决定。
每个套餐都有其限制
部分功能(如警报、外部数据库或 API)取决于套餐,而在你的服务器上安装是一个单独的项目。
数据源
参考的文档
各产品的公开页面,附查阅日期。
- static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
- static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
- bigml.com/bigmlops · 2026-11-17
- blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
- bigml.com/whatsnew · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
- bigml.com/privacy · 2026-11-17
- bigml.com/pricing · 2026-11-17
- support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
- support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
- support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
- www.anthropic.com/system-cards · 2026-11-17
- privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
- claude.com/regional-compliance · 2026-11-17
- support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
- claude.com/pricing · 2026-11-17
- chatgpt.com/features/connectors · 2026-11-17
- learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
- learn.chatgpt.com/docs/automations · 2026-11-17
- deploymentsafety.openai.com · 2026-11-17
- learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
- developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
- learn.chatgpt.com/docs/pricing · 2026-11-17