テストと比較
AIR-Core の実力を、測定と出典で示します
AIR-Core が公開データで学習するモデルを測定し、同じ行で既知の比較基準と比べています。また、各ツールのドキュメントへのリンクを付けて、会話が終わったときに各ツールが何をするかを比較しています。
ベンチマーク
モデルは標準的な水準。劣る場合も示します
AIR-Core は各データセットについて、プラットフォームで学習するのと同じモデルを学習させます。テンプレートの手法、それ以外ではアシスタントが提案する手法(ランダムフォレスト)です。固定シードでシャッフルした行の 30% をテストに使い、それらの行で調整は一切行いません。同じ行で、単純な予測と、デフォルト値の scikit-learn モデル 2 つを測定します。
| データ | タスク | テスト行数 | AIR-Core の手法 | 指標 | AIR-Core | 単純な予測 | AIR-Core の判定 | 勾配ブースティング(scikit-learn) | 線形モデル(scikit-learn) |
|---|---|---|---|---|---|---|---|---|---|
| 顧客の解約(テンプレート) | 分類 | 600 | ロジスティック回帰 | 正しい予測 | 91 % | 70 % | 良好 | 87 % | 91 % |
| 機械のメンテナンス(テンプレート) | 分類 | 750 | ロジスティック回帰 | バランス精度 | 78 % | 50 % | 良好 | 77 % | 79 % |
| 顧客の意見(テンプレート) | テキスト | 900 | ロジスティック回帰 | 正しい予測 | 80 % | 50 % | 良好 | — | 82 % |
| レビューの感情:出所(例) | テキスト | 900 | ランダムフォレスト | 正しい予測 | 79 % | 35 % | 良好 | — | 82 % |
| 乳がん(ウィスコンシン) | 分類 | 171 | ランダムフォレスト | 正しい予測 | 97 % | 63 % | 良好 | 96 % | 98 % |
| パーマーペンギン | 分類 | 100 | ランダムフォレスト | 正しい予測 | 97 % | 48 % | 良好 | 99 % | 99 % |
| 銀行マーケティング | 分類 | 1357 | ランダムフォレスト | バランス精度 | 60 % | 50 % | 良好 | 67 % | 65 % |
| ワインの品質(赤) | 回帰 | 480 | ランダムフォレスト | R²(説明された変動) | 45 % | 0 % | 良好 | 42 % | 35 % |
| アワビ | 回帰 | 1254 | ランダムフォレスト | R²(説明された変動) | 53 % | 0 % | 良好 | 52 % | 53 % |
表の見方
正しい予測(正解率)は、正しく分類されたケースの割合です。クラスが不均衡な場合は、各クラスの正解率の平均であるバランス精度を使います。回帰では、モデルが説明できる変動の割合(R²)です。単純な予測は、常に最も多いクラスまたは平均値を答えます。
劣っている点
クラスが大きく不均衡な銀行マーケティングでは、デフォルト設定のランダムフォレストは比較対象より 5 ポイントと 7 ポイント低くなります。テキストとペンギンでは 2〜3 ポイント低くなります。それ以外では、最良の比較対象との差は 1 ポイント以内か、上回っています。
データとライセンス
合成データ(CC0)を使ったテンプレート、「レビューの感情」の例、5 つのオープンデータセット:UCI リポジトリ(CC BY 4.0)の乳がん、銀行マーケティング、ワインの品質、アワビ、そしてパーマーペンギン(CC0)。
予測
需要テンプレート、1 日ごとの予測
AIR-Core は直近の過去データで複数の手法を試し、最も精度の高いものを採用します。そのテストの最後の 30 日間における平均誤差を、1 日あたりの数量で示しています(低いほど良好)。この期間では、カレンダーを使った勾配ブースティングのほうがわずかに精度が高くなります。
| 商品カテゴリ | AIR-Core が選んだ手法 | AIR-Core | 前週を繰り返す | カレンダーを使った勾配ブースティング(scikit-learn) |
|---|---|---|---|---|
| ベーカリー | 指数平滑法 | 8 | 10 | 7 |
| 飲料 | 指数平滑法 | 13 | 18 | 13 |
| 生鮮食品 | 指数平滑法 | 11 | 13 | 10 |
再現可能
測定方法
プログラムがテストを繰り返し、毎回同じ数値を出します。
- プラットフォームと同じリクエスト。 AIR-Core のモデリングエンジンは、モデル作成時にプラットフォームが送るものと同じ内容を受け取り、判定は品質保証と同じコードで算出します。
- すべて同じ行で。 プログラムは、AIR-Core と比較対象が同じ行でテストされていることを確認し、そうでなければ停止します。
- テストデータでの調整なし。 すべての手法でデフォルト値と固定シードを使い、2 回の実行結果が一致するようにしています。
- 日付とバージョン。 2026 年 11 月 17 日、モデリングエンジン 0.22.0、scikit-learn 1.9.1、Python 3.15.2、Apple M5 Pro で実施。
- 詳細はご請求に応じて。 コードは AIR-Core のリポジトリにあり、公開していません。 ご連絡いただければ、手法とすべての数値をお送りします。 (メールソフトが開きます)
比較
会話が終わっても動き続けるもの
BigML はモデルの学習に優れ、Claude と ChatGPT はデータについて対話するのに最適です。AIR-Core は、チームのデータ、モデル、意思決定を生きた状態に保つこと、つまり接続され、監視され、文書化され、EU 内にあることに注力しています。他製品に関する各情報は、その製品のドキュメントまたは料金ページに基づき、出典番号を付けています。
| 必要なこと | AIR-Core | BigML | Claude | ChatGPT |
|---|---|---|---|---|
| 接続されたデータソースと自動更新 | ファイル、URL、データベース、オープンデータ(CKAN)、リアルタイムの MQTT に対応し、定期更新も可能です。 | URL やクラウドストレージからのデータソース、PostgreSQL、MySQL、SQL Server、Elasticsearch へのコネクタ。12 データソースの定期更新: 未確認 | 会話で必要になったときにサービスを読み取るコネクタ。追加した Google Drive のドキュメントは同期されます。1112 | ツールからデータを取り込むコネクタ。スケジュールされたタスクで、平日ごとにデータソースを確認できます。1920 |
| 再学習 | 分類器と回帰モデルで自動実行:スケジュールに沿って、データが変わったとき、または監視が警告したときに再学習します。新しいバージョンは改善した場合にのみ使われます。 | 別製品の BigML Ops による自動再学習、または BigMLer の「retrain」コマンドと独自のスケジューラによる再学習。34 | 未確認 | 未確認 |
| モデルの監視とドリフト | 各モデルが受け取るデータを学習時のデータと比較し、精度が保たれているかを測定します。 | BigML Ops は各モデルを監視し、異常検知器と組み合わせます。3 | 未確認 | 未確認 |
| アラートとアクション | データに条件を設定してメールまたは Webhook で通知。さらに、再学習し、新しい行を予測し、アクションを実行するフロー。 | BigML Ops は、モデルの性能がしきい値を下回ると通知します。3 通知チャネル: 未確認 | コネクタを使って定期的に実行されるスケジュールタスク(有料プラン)。13 メールまたは Webhook による通知: 未確認 | スケジュールタスク、および対応プランでは Gmail、Slack、GitHub のイベントで起動するタスク。21 メールまたは Webhook による通知: 未確認 |
| 品質保証 | すべての分類器と回帰モデルを単純な予測と比較します。上回らない場合、AIR-Core は他の手法を試し、どれも上回らなければお知らせします。 | 評価では、モデルを 2 つの比較基準(最頻クラスまたは平均値、およびランダムな予測)と並べて表示します。5 自動の通知または再試行: 未確認 | 未確認 | 未確認 |
| 説明 | モデルにおける各変数の重みと、各予測の説明(SHAP 値)。学習時に計算します。 | モデルにおける各フィールドの重要度と、各予測の説明。67 | 未確認 | 未確認 |
| モデルカードと AI 法向けレポート | 各モデルのモデルカードと信頼性レポート(PDF または Markdown)、組織の AI システム登録簿。 | 各モデルのサマリーレポート(フィールドの重要度付き)。8 AI 法向けのドキュメント: 未確認 | Anthropic は自社モデルのモデルカード(system cards)を公開しています。14 お客様のモデルのモデルカード:対象外。 | OpenAI は自社モデルのモデルカード(system cards)を公開しています。22 お客様のモデルのモデルカード:対象外。 |
| EU およびお客様のサーバーでのホスティング | AWS フランクフルト(ドイツ)のクラウド。iCore でお客様のインフラに導入可能(Enterprise プラン)。 | クラウドサービスは米国でホストされています(2022 年のプライバシーポリシー)。パブリッククラウド、プライベートクラウド、オンプレミスでのプライベート導入。910 | 製品のデータは米国に保存されます。AWS Bedrock と Google Cloud Vertex 経由の Claude モデルでは、欧州でのデータ保管が可能です。1516 お客様のサーバー上: 未確認 | サポート対象のコンテンツについて、データの保管場所を米国または EU にできるワークスペース。23 対象プランとお客様のサーバーへの導入: 未確認 |
| MCP コネクタ | 無料プランを含むすべてのプランで専用の MCP サーバー:Claude、ChatGPT、Cursor をデータやモデルに接続できます。 | 未確認 | すべてのプランでカスタム MCP コネクタを利用可能。Free プランでは 1 つまで。17 | アカウントとワークスペースのポリシーに従い、カスタム MCP サーバーを追加できます。24 プラン: 未確認 |
| エントリー価格 | 無料プラン(€0)。有料プランは月額 €49 から(税抜)。 | 無料プランは月額 $0(タスクあたり 16 MB)、3 日間のトライアルあり。10 最初の有料プラン: 未確認 | Free プランは $0。Pro:年払いで月額 $17、月払いで月額 $20(税別)。18 | Free プランは $0。Go:月額 $8。Plus:月額 $20。25 お住まいの国の料金: 未確認 |
「未確認」とは、2026 年 11 月 17 日時点で製品の公開ドキュメントに見つからなかったという意味であり、存在しないという意味ではありません。 誤りを見つけたらご連絡ください。修正します。 (メールソフトが開きます)
上限
AIR-Core にできないこと
会話アシスタントではありません
会話、文章作成、単発のファイル分析なら、Claude や ChatGPT が非常に優れています。AIR-Core は MCP でそれらに接続し、その後も動き続けるべきものを保持します。
デフォルト設定のモデル
表やテキストを対象とした従来型の機械学習で、画像向けのディープネットワークは含みません。上の銀行マーケティングのような難しいデータでは、専門家がさらに調整できます。
AI 法への適合を認証するものではありません
モデルカード、信頼性レポート、登録簿は、その義務への準備に役立ちます。法的助言ではなく、各システムの分類は組織が判断します。
プランごとに上限があります
アラート、外部データベース、API など一部の機能はプランによって異なります。また、お客様のサーバーへの導入は別プロジェクトになります。
データソース
参照したドキュメント
各製品の公開ページ(参照日付き)。
- static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
- static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
- bigml.com/bigmlops · 2026-11-17
- blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
- bigml.com/whatsnew · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
- bigml.com/privacy · 2026-11-17
- bigml.com/pricing · 2026-11-17
- support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
- support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
- support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
- www.anthropic.com/system-cards · 2026-11-17
- privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
- claude.com/regional-compliance · 2026-11-17
- support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
- claude.com/pricing · 2026-11-17
- chatgpt.com/features/connectors · 2026-11-17
- learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
- learn.chatgpt.com/docs/automations · 2026-11-17
- deploymentsafety.openai.com · 2026-11-17
- learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
- developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
- learn.chatgpt.com/docs/pricing · 2026-11-17