Tests und Vergleich
Was AIR-Core leistet, gemessen und belegt
Wir messen die Modelle, die AIR-Core mit öffentlichen Daten trainiert, und vergleichen sie auf denselben Zeilen mit bekannten Referenzen. Und wir vergleichen, mit Links zur jeweiligen Dokumentation, was jedes Tool tut, wenn das Gespräch endet.
Benchmark
Modelle im normalen Bereich, auch wo sie zurückliegen
Für jeden Datensatz trainiert AIR-Core das Modell, das es auf der Plattform trainieren würde: die Methode der Vorlage oder, bei den übrigen, die vom Assistenten vorgeschlagene (Random Forest). Es verwendet 30 % der Zeilen für den Test, mit festem Seed gemischt, und stimmt nichts daran ab. Auf denselben Zeilen messen wir die naive Vorhersage und zwei scikit-learn-Modelle mit ihren Standardwerten.
| Daten | Aufgabe | Testzeilen | Methode von AIR-Core | Metrik | AIR-Core | Naive Vorhersage | Urteil von AIR-Core | Gradient Boosting (scikit-learn) | Lineares Modell (scikit-learn) |
|---|---|---|---|---|---|---|---|---|---|
| Kundenabwanderung (Vorlage) | Klassifikation | 600 | Logistische Regression | Richtige Vorhersagen | 91 % | 70 % | Gut | 87 % | 91 % |
| Maschinenwartung (Vorlage) | Klassifikation | 750 | Logistische Regression | Balancierte Genauigkeit | 78 % | 50 % | Gut | 77 % | 79 % |
| Kundenmeinungen (Vorlage) | Text | 900 | Logistische Regression | Richtige Vorhersagen | 80 % | 50 % | Gut | — | 82 % |
| Stimmung von Bewertungen: Herkunft (Beispiel) | Text | 900 | Random Forest | Richtige Vorhersagen | 79 % | 35 % | Gut | — | 82 % |
| Brustkrebs (Wisconsin) | Klassifikation | 171 | Random Forest | Richtige Vorhersagen | 97 % | 63 % | Gut | 96 % | 98 % |
| Palmer-Pinguine | Klassifikation | 100 | Random Forest | Richtige Vorhersagen | 97 % | 48 % | Gut | 99 % | 99 % |
| Bankmarketing | Klassifikation | 1357 | Random Forest | Balancierte Genauigkeit | 60 % | 50 % | Gut | 67 % | 65 % |
| Weinqualität (Rotwein) | Regression | 480 | Random Forest | R² (erklärte Streuung) | 45 % | 0 % | Gut | 42 % | 35 % |
| Abalone | Regression | 1254 | Random Forest | R² (erklärte Streuung) | 53 % | 0 % | Gut | 52 % | 53 % |
So lesen Sie die Tabelle
Richtige Vorhersagen (Genauigkeit) sind der Anteil korrekt klassifizierter Fälle; bei unausgeglichenen Klassen wird die balancierte Genauigkeit verwendet, der Mittelwert der Genauigkeit jeder Klasse. Bei der Regression der Anteil der Streuung, den das Modell erklärt (R²). Die naive Vorhersage antwortet immer mit der häufigsten Klasse oder dem Mittelwert.
Wo es zurückliegt
Beim Bankmarketing mit stark unausgeglichenen Klassen liegt der Random Forest mit Standardeinstellungen 5 und 7 Punkte hinter den Referenzen. Bei den Texten und den Pinguinen 2 oder 3 Punkte dahinter. Bei den übrigen höchstens einen Punkt hinter der besten Referenz oder davor.
Daten und Lizenzen
Vorlagen mit synthetischen Daten (CC0), das Beispiel „Stimmung von Bewertungen“ und fünf offene Datensätze: Brustkrebs, Bankmarketing, Weinqualität und Abalone aus dem UCI-Repository (CC BY 4.0) sowie Palmer-Pinguine (CC0).
Prognose
Die Nachfragevorlage, Tag für Tag
AIR-Core testet mehrere Methoden an der jüngsten Vergangenheit und behält die treffsicherste. Mittlerer Fehler in Einheiten pro Tag über die letzten 30 Tage dieses Tests (je niedriger, desto besser). Ein Gradient Boosting mit dem Kalender trifft in diesem Zeitraum etwas besser.
| Produktfamilie | Von AIR-Core gewählte Methode | AIR-Core | Vorwoche wiederholen | Gradient Boosting mit Kalender (scikit-learn) |
|---|---|---|---|---|
| Bäckerei | Exponentielle Glättung | 8 | 10 | 7 |
| Getränke | Exponentielle Glättung | 13 | 18 | 13 |
| Frischwaren | Exponentielle Glättung | 11 | 13 | 10 |
Reproduzierbar
So messen wir
Ein Programm wiederholt die Tests und liefert jedes Mal dieselben Zahlen.
- Dieselbe Anfrage wie die Plattform. Die Modellierungs-Engine von AIR-Core erhält, was die Plattform beim Erstellen eines Modells sendet, und das Urteil berechnet derselbe Code wie die Qualitätsgarantie.
- Dieselben Zeilen für alle. Das Programm prüft, ob AIR-Core und die Referenzen mit denselben Zeilen getestet werden, und bricht andernfalls ab.
- Nichts am Test abgestimmt. Standardwerte bei allen Methoden und feste Seeds, damit zwei Durchläufe übereinstimmen.
- Datum und Versionen. 17. November 2026, Modellierungs-Engine 0.22.0, scikit-learn 1.9.1 und Python 3.15.2, auf einem Apple M5 Pro.
- Die Details auf Anfrage. Der Code liegt im AIR-Core-Repository, das nicht öffentlich ist. Schreiben Sie uns, und wir senden Ihnen die Methode und alle Zahlen. (öffnet Ihr E-Mail-Programm)
Vergleich
Was weiterläuft, wenn das Gespräch endet
BigML trainiert Modelle sehr gut, und Claude und ChatGPT eignen sich hervorragend, um sich mit Ihren Daten zu unterhalten. AIR-Core konzentriert sich darauf, die Daten, Modelle und Entscheidungen Ihres Teams lebendig zu halten: verbunden, überwacht, dokumentiert und in der EU. Jede Angabe zu den anderen Produkten stammt aus deren Dokumentation oder Preisseite, mit der Nummer der Quelle.
| Was Sie brauchen | AIR-Core | BigML | Claude | ChatGPT |
|---|---|---|---|---|
| Verbundene Quellen und automatische Aktualisierung | Dateien, URLs, Datenbanken, offene Daten (CKAN) und MQTT in Echtzeit, mit geplanten Aktualisierungen. | Quellen aus URLs, Cloud-Speicher und Connectors zu PostgreSQL, MySQL, SQL Server und Elasticsearch.12 Geplante Aktualisierung einer Quelle: Nicht verifiziert | Connectors, die Ihre Dienste lesen, wenn das Gespräch es erfordert; hinzugefügte Google-Drive-Dokumente bleiben synchronisiert.1112 | Connectors, die Daten aus Ihren Tools holen; eine geplante Aufgabe kann eine Quelle an jedem Werktag prüfen.1920 |
| Neutraining | Automatisch für Klassifikatoren und Regressoren: nach Zeitplan, wenn sich die Daten ändern oder wenn die Überwachung warnt. Die neue Version wird nur verwendet, wenn sie besser ist. | Automatisches Neutraining in BigML Ops, einem separaten Produkt, oder mit dem Befehl „retrain“ von BigMLer und Ihrem eigenen Scheduler.34 | Nicht verifiziert | Nicht verifiziert |
| Überwachung und Drift der Modelle | Vergleicht die Daten, die jedes Modell erhält, mit seinen Trainingsdaten und misst, ob es weiterhin richtig liegt. | BigML Ops überwacht jedes Modell und koppelt es mit einem Anomaliedetektor.3 | Nicht verifiziert | Nicht verifiziert |
| Warnungen und Aktionen | Bedingungen für Ihre Daten mit Benachrichtigung per E-Mail oder Webhook und Abläufe, die neu trainieren, neue Zeilen vorhersagen und handeln. | BigML Ops warnt, wenn die Leistung eines Modells unter einen Schwellenwert fällt.3 Benachrichtigungskanal: Nicht verifiziert | Geplante Aufgaben (bezahlte Tarife), die regelmäßig mit Ihren Connectors laufen.13 Benachrichtigungen per E-Mail oder Webhook: Nicht verifiziert | Geplante Aufgaben und, in unterstützten Tarifen, Aufgaben, die durch Ereignisse in Gmail, Slack oder GitHub ausgelöst werden.21 Benachrichtigungen per E-Mail oder Webhook: Nicht verifiziert |
| Qualitätsgarantie | Jeder Klassifikator und Regressor wird mit der naiven Vorhersage verglichen. Übertrifft er sie nicht, probiert AIR-Core andere Methoden aus und sagt es Ihnen, wenn keine es schafft. | Die Auswertungen zeigen das Modell neben zwei Referenzen: der häufigsten Klasse (oder dem Mittelwert) und einer zufälligen Vorhersage.5 Automatische Warnung oder Wiederholung: Nicht verifiziert | Nicht verifiziert | Nicht verifiziert |
| Erklärungen | Gewicht jeder Variablen im Modell und Erklärung jeder Vorhersage (SHAP-Werte), beim Training berechnet. | Wichtigkeit jedes Felds im Modell und Erklärung jeder Vorhersage.67 | Nicht verifiziert | Nicht verifiziert |
| Modellsteckbrief und Bericht für die KI-Verordnung | Steckbrief und Vertrauensbericht für jedes Modell (PDF oder Markdown) und Register der KI-Systeme Ihrer Organisation. | Zusammenfassender Bericht für jedes Modell, mit der Wichtigkeit der Felder.8 Dokumentation für die KI-Verordnung: Nicht verifiziert | Anthropic veröffentlicht Steckbriefe seiner eigenen Modelle (System Cards).14 Steckbriefe Ihrer Modelle: entfällt. | OpenAI veröffentlicht Steckbriefe seiner eigenen Modelle (System Cards).22 Steckbriefe Ihrer Modelle: entfällt. |
| Hosting in der EU und auf Ihren Servern | Cloud in AWS Frankfurt (Deutschland). Installation in Ihrer Infrastruktur mit iCore (Enterprise-Tarif). | Sein Cloud-Dienst wird in den USA gehostet (Datenschutzerklärung von 2022). Private Bereitstellung in einer Public oder Private Cloud oder On-Premises.910 | Die Daten seiner Produkte werden in den USA gespeichert. Datenstandort in Europa für die Claude-Modelle über AWS Bedrock und Google Cloud Vertex.1516 Auf Ihren Servern: Nicht verifiziert | Arbeitsbereiche mit Datenstandort in den USA oder der EU für unterstützte Inhalte.23 Tarife, die sie enthalten, und Bereitstellung auf Ihren Servern: Nicht verifiziert |
| MCP-Connector | Eigener MCP-Server in allen Tarifen, auch im kostenlosen: Verbinden Sie Claude, ChatGPT oder Cursor mit Ihren Daten und Modellen. | Nicht verifiziert | Benutzerdefinierte MCP-Connectors in allen Tarifen; einer im Free-Tarif.17 | Sie können benutzerdefinierte MCP-Server hinzufügen, je nach den Richtlinien Ihres Kontos und Ihres Arbeitsbereichs.24 Tarife: Nicht verifiziert |
| Einstiegspreis | Kostenloser Tarif (0 €). Bezahlte Tarife ab 49 € pro Monat, zzgl. MwSt. | Kostenloser Tarif für 0 $ pro Monat, mit 16 MB pro Aufgabe, und 3-tägige Testphase.10 Erster bezahlter Tarif: Nicht verifiziert | Free-Tarif für 0 $. Pro: 17 $ pro Monat bei jährlicher Zahlung oder 20 $ bei monatlicher Zahlung, ohne Steuern.18 | Free-Tarif für 0 $. Go: 8 $ pro Monat. Plus: 20 $ pro Monat.25 Preise in Ihrem Land: Nicht verifiziert |
„Nicht verifiziert“ bedeutet, dass wir es am 17. November 2026 nicht in der öffentlichen Dokumentation des Produkts gefunden haben; es bedeutet nicht, dass es nicht existiert. Wenn Sie einen Fehler sehen, schreiben Sie uns, und wir korrigieren ihn. (öffnet Ihr E-Mail-Programm)
Limits
Was AIR-Core nicht tut
Kein Chat-Assistent
Zum Unterhalten, Formulieren oder Analysieren einer einzelnen Datei sind Claude oder ChatGPT sehr gut. AIR-Core verbindet sich per MCP mit ihnen und bewahrt, was danach weiterlaufen muss.
Modelle mit Standardeinstellungen
Klassisches maschinelles Lernen auf Tabellen und Texten, ohne tiefe Netze für Bilder. Bei schwierigen Daten wie dem Bankmarketing oben kann eine Fachperson noch feiner abstimmen.
Keine Zertifizierung nach der KI-Verordnung
Steckbrief, Vertrauensbericht und Register helfen, ihre Pflichten vorzubereiten. Sie sind keine Rechtsberatung, und über die Einstufung jedes Systems entscheidet Ihre Organisation.
Jeder Tarif hat seine Grenzen
Einige Funktionen wie Warnungen, externe Datenbanken oder die API hängen vom Tarif ab, und die Installation auf Ihren Servern ist ein eigenes Projekt.
Quellen
Herangezogene Dokumentation
Öffentliche Seiten jedes Produkts, mit Abrufdatum.
- static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
- static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
- bigml.com/bigmlops · 2026-11-17
- blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
- bigml.com/whatsnew · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
- bigml.com/privacy · 2026-11-17
- bigml.com/pricing · 2026-11-17
- support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
- support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
- support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
- www.anthropic.com/system-cards · 2026-11-17
- privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
- claude.com/regional-compliance · 2026-11-17
- support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
- claude.com/pricing · 2026-11-17
- chatgpt.com/features/connectors · 2026-11-17
- learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
- learn.chatgpt.com/docs/automations · 2026-11-17
- deploymentsafety.openai.com · 2026-11-17
- learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
- developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
- learn.chatgpt.com/docs/pricing · 2026-11-17
Starten Sie heute mit Ihren eigenen Daten
Erstellen Sie Ihr kostenloses Konto und verbinden Sie Ihre erste Quelle in wenigen Minuten. Wenn Sie mehr brauchen, wechseln Sie in einen bezahlten Tarif.