Tests und Vergleich

Was AIR-Core leistet, gemessen und belegt

Wir messen die Modelle, die AIR-Core mit öffentlichen Daten trainiert, und vergleichen sie auf denselben Zeilen mit bekannten Referenzen. Und wir vergleichen, mit Links zur jeweiligen Dokumentation, was jedes Tool tut, wenn das Gespräch endet.

Benchmark

Modelle im normalen Bereich, auch wo sie zurückliegen

Für jeden Datensatz trainiert AIR-Core das Modell, das es auf der Plattform trainieren würde: die Methode der Vorlage oder, bei den übrigen, die vom Assistenten vorgeschlagene (Random Forest). Es verwendet 30 % der Zeilen für den Test, mit festem Seed gemischt, und stimmt nichts daran ab. Auf denselben Zeilen messen wir die naive Vorhersage und zwei scikit-learn-Modelle mit ihren Standardwerten.

Ergebnisse des Modell-Benchmarks von AIR-Core, mit der naiven Vorhersage und zwei scikit-learn-Referenzen auf denselben Testzeilen.
DatenAufgabeTestzeilenMethode von AIR-CoreMetrikAIR-CoreNaive VorhersageUrteil von AIR-CoreGradient Boosting (scikit-learn)Lineares Modell (scikit-learn)
Kundenabwanderung (Vorlage)Klassifikation600Logistische RegressionRichtige Vorhersagen91 %70 %Gut87 %91 %
Maschinenwartung (Vorlage)Klassifikation750Logistische RegressionBalancierte Genauigkeit78 %50 %Gut77 %79 %
Kundenmeinungen (Vorlage)Text900Logistische RegressionRichtige Vorhersagen80 %50 %Gut—82 %
Stimmung von Bewertungen: Herkunft (Beispiel)Text900Random ForestRichtige Vorhersagen79 %35 %Gut—82 %
Brustkrebs (Wisconsin)Klassifikation171Random ForestRichtige Vorhersagen97 %63 %Gut96 %98 %
Palmer-PinguineKlassifikation100Random ForestRichtige Vorhersagen97 %48 %Gut99 %99 %
BankmarketingKlassifikation1357Random ForestBalancierte Genauigkeit60 %50 %Gut67 %65 %
Weinqualität (Rotwein)Regression480Random ForestR² (erklärte Streuung)45 %0 %Gut42 %35 %
AbaloneRegression1254Random ForestR² (erklärte Streuung)53 %0 %Gut52 %53 %

So lesen Sie die Tabelle

Richtige Vorhersagen (Genauigkeit) sind der Anteil korrekt klassifizierter Fälle; bei unausgeglichenen Klassen wird die balancierte Genauigkeit verwendet, der Mittelwert der Genauigkeit jeder Klasse. Bei der Regression der Anteil der Streuung, den das Modell erklärt (R²). Die naive Vorhersage antwortet immer mit der häufigsten Klasse oder dem Mittelwert.

Wo es zurückliegt

Beim Bankmarketing mit stark unausgeglichenen Klassen liegt der Random Forest mit Standardeinstellungen 5 und 7 Punkte hinter den Referenzen. Bei den Texten und den Pinguinen 2 oder 3 Punkte dahinter. Bei den übrigen höchstens einen Punkt hinter der besten Referenz oder davor.

Daten und Lizenzen

Vorlagen mit synthetischen Daten (CC0), das Beispiel „Stimmung von Bewertungen“ und fünf offene Datensätze: Brustkrebs, Bankmarketing, Weinqualität und Abalone aus dem UCI-Repository (CC BY 4.0) sowie Palmer-Pinguine (CC0).

Prognose

Die Nachfragevorlage, Tag für Tag

AIR-Core testet mehrere Methoden an der jüngsten Vergangenheit und behält die treffsicherste. Mittlerer Fehler in Einheiten pro Tag über die letzten 30 Tage dieses Tests (je niedriger, desto besser). Ein Gradient Boosting mit dem Kalender trifft in diesem Zeitraum etwas besser.

Mittlerer Fehler der Prognose der Nachfragevorlage über die letzten 30 Tage ihres Tests, in Einheiten pro Tag.
ProduktfamilieVon AIR-Core gewählte MethodeAIR-CoreVorwoche wiederholenGradient Boosting mit Kalender (scikit-learn)
BäckereiExponentielle Glättung8107
GetränkeExponentielle Glättung131813
FrischwarenExponentielle Glättung111310

Reproduzierbar

So messen wir

Ein Programm wiederholt die Tests und liefert jedes Mal dieselben Zahlen.

  • Dieselbe Anfrage wie die Plattform. Die Modellierungs-Engine von AIR-Core erhält, was die Plattform beim Erstellen eines Modells sendet, und das Urteil berechnet derselbe Code wie die Qualitätsgarantie.
  • Dieselben Zeilen für alle. Das Programm prüft, ob AIR-Core und die Referenzen mit denselben Zeilen getestet werden, und bricht andernfalls ab.
  • Nichts am Test abgestimmt. Standardwerte bei allen Methoden und feste Seeds, damit zwei Durchläufe übereinstimmen.
  • Datum und Versionen. 17. November 2026, Modellierungs-Engine 0.22.0, scikit-learn 1.9.1 und Python 3.15.2, auf einem Apple M5 Pro.
  • Die Details auf Anfrage. Der Code liegt im AIR-Core-Repository, das nicht öffentlich ist. Schreiben Sie uns, und wir senden Ihnen die Methode und alle Zahlen. (öffnet Ihr E-Mail-Programm)

Vergleich

Was weiterläuft, wenn das Gespräch endet

BigML trainiert Modelle sehr gut, und Claude und ChatGPT eignen sich hervorragend, um sich mit Ihren Daten zu unterhalten. AIR-Core konzentriert sich darauf, die Daten, Modelle und Entscheidungen Ihres Teams lebendig zu halten: verbunden, überwacht, dokumentiert und in der EU. Jede Angabe zu den anderen Produkten stammt aus deren Dokumentation oder Preisseite, mit der Nummer der Quelle.

Vergleich der Funktionen von AIR-Core, BigML, Claude und ChatGPT, mit den Quellen jeder Angabe zu den anderen Produkten.
Was Sie brauchenAIR-CoreBigMLClaudeChatGPT
Verbundene Quellen und automatische AktualisierungDateien, URLs, Datenbanken, offene Daten (CKAN) und MQTT in Echtzeit, mit geplanten Aktualisierungen.Quellen aus URLs, Cloud-Speicher und Connectors zu PostgreSQL, MySQL, SQL Server und Elasticsearch.12 Geplante Aktualisierung einer Quelle: Nicht verifiziertConnectors, die Ihre Dienste lesen, wenn das Gespräch es erfordert; hinzugefügte Google-Drive-Dokumente bleiben synchronisiert.1112Connectors, die Daten aus Ihren Tools holen; eine geplante Aufgabe kann eine Quelle an jedem Werktag prüfen.1920
NeutrainingAutomatisch für Klassifikatoren und Regressoren: nach Zeitplan, wenn sich die Daten ändern oder wenn die Überwachung warnt. Die neue Version wird nur verwendet, wenn sie besser ist.Automatisches Neutraining in BigML Ops, einem separaten Produkt, oder mit dem Befehl „retrain“ von BigMLer und Ihrem eigenen Scheduler.34Nicht verifiziertNicht verifiziert
Überwachung und Drift der ModelleVergleicht die Daten, die jedes Modell erhält, mit seinen Trainingsdaten und misst, ob es weiterhin richtig liegt.BigML Ops überwacht jedes Modell und koppelt es mit einem Anomaliedetektor.3Nicht verifiziertNicht verifiziert
Warnungen und AktionenBedingungen für Ihre Daten mit Benachrichtigung per E-Mail oder Webhook und Abläufe, die neu trainieren, neue Zeilen vorhersagen und handeln.BigML Ops warnt, wenn die Leistung eines Modells unter einen Schwellenwert fällt.3 Benachrichtigungskanal: Nicht verifiziertGeplante Aufgaben (bezahlte Tarife), die regelmäßig mit Ihren Connectors laufen.13 Benachrichtigungen per E-Mail oder Webhook: Nicht verifiziertGeplante Aufgaben und, in unterstützten Tarifen, Aufgaben, die durch Ereignisse in Gmail, Slack oder GitHub ausgelöst werden.21 Benachrichtigungen per E-Mail oder Webhook: Nicht verifiziert
QualitätsgarantieJeder Klassifikator und Regressor wird mit der naiven Vorhersage verglichen. Übertrifft er sie nicht, probiert AIR-Core andere Methoden aus und sagt es Ihnen, wenn keine es schafft.Die Auswertungen zeigen das Modell neben zwei Referenzen: der häufigsten Klasse (oder dem Mittelwert) und einer zufälligen Vorhersage.5 Automatische Warnung oder Wiederholung: Nicht verifiziertNicht verifiziertNicht verifiziert
ErklärungenGewicht jeder Variablen im Modell und Erklärung jeder Vorhersage (SHAP-Werte), beim Training berechnet.Wichtigkeit jedes Felds im Modell und Erklärung jeder Vorhersage.67Nicht verifiziertNicht verifiziert
Modellsteckbrief und Bericht für die KI-VerordnungSteckbrief und Vertrauensbericht für jedes Modell (PDF oder Markdown) und Register der KI-Systeme Ihrer Organisation.Zusammenfassender Bericht für jedes Modell, mit der Wichtigkeit der Felder.8 Dokumentation für die KI-Verordnung: Nicht verifiziertAnthropic veröffentlicht Steckbriefe seiner eigenen Modelle (System Cards).14 Steckbriefe Ihrer Modelle: entfällt.OpenAI veröffentlicht Steckbriefe seiner eigenen Modelle (System Cards).22 Steckbriefe Ihrer Modelle: entfällt.
Hosting in der EU und auf Ihren ServernCloud in AWS Frankfurt (Deutschland). Installation in Ihrer Infrastruktur mit iCore (Enterprise-Tarif).Sein Cloud-Dienst wird in den USA gehostet (Datenschutzerklärung von 2022). Private Bereitstellung in einer Public oder Private Cloud oder On-Premises.910Die Daten seiner Produkte werden in den USA gespeichert. Datenstandort in Europa für die Claude-Modelle über AWS Bedrock und Google Cloud Vertex.1516 Auf Ihren Servern: Nicht verifiziertArbeitsbereiche mit Datenstandort in den USA oder der EU für unterstützte Inhalte.23 Tarife, die sie enthalten, und Bereitstellung auf Ihren Servern: Nicht verifiziert
MCP-ConnectorEigener MCP-Server in allen Tarifen, auch im kostenlosen: Verbinden Sie Claude, ChatGPT oder Cursor mit Ihren Daten und Modellen.Nicht verifiziertBenutzerdefinierte MCP-Connectors in allen Tarifen; einer im Free-Tarif.17Sie können benutzerdefinierte MCP-Server hinzufügen, je nach den Richtlinien Ihres Kontos und Ihres Arbeitsbereichs.24 Tarife: Nicht verifiziert
EinstiegspreisKostenloser Tarif (0 €). Bezahlte Tarife ab 49 € pro Monat, zzgl. MwSt.Kostenloser Tarif für 0 $ pro Monat, mit 16 MB pro Aufgabe, und 3-tägige Testphase.10 Erster bezahlter Tarif: Nicht verifiziertFree-Tarif für 0 $. Pro: 17 $ pro Monat bei jährlicher Zahlung oder 20 $ bei monatlicher Zahlung, ohne Steuern.18Free-Tarif für 0 $. Go: 8 $ pro Monat. Plus: 20 $ pro Monat.25 Preise in Ihrem Land: Nicht verifiziert

„Nicht verifiziert“ bedeutet, dass wir es am 17. November 2026 nicht in der öffentlichen Dokumentation des Produkts gefunden haben; es bedeutet nicht, dass es nicht existiert. Wenn Sie einen Fehler sehen, schreiben Sie uns, und wir korrigieren ihn. (öffnet Ihr E-Mail-Programm)

Limits

Was AIR-Core nicht tut

Kein Chat-Assistent

Zum Unterhalten, Formulieren oder Analysieren einer einzelnen Datei sind Claude oder ChatGPT sehr gut. AIR-Core verbindet sich per MCP mit ihnen und bewahrt, was danach weiterlaufen muss.

Modelle mit Standardeinstellungen

Klassisches maschinelles Lernen auf Tabellen und Texten, ohne tiefe Netze für Bilder. Bei schwierigen Daten wie dem Bankmarketing oben kann eine Fachperson noch feiner abstimmen.

Keine Zertifizierung nach der KI-Verordnung

Steckbrief, Vertrauensbericht und Register helfen, ihre Pflichten vorzubereiten. Sie sind keine Rechtsberatung, und über die Einstufung jedes Systems entscheidet Ihre Organisation.

Jeder Tarif hat seine Grenzen

Einige Funktionen wie Warnungen, externe Datenbanken oder die API hängen vom Tarif ab, und die Installation auf Ihren Servern ist ein eigenes Projekt.

Quellen

Herangezogene Dokumentation

Öffentliche Seiten jedes Produkts, mit Abrufdatum.

  1. static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
  2. static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
  3. bigml.com/bigmlops · 2026-11-17
  4. blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
  5. static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
  6. static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
  7. bigml.com/whatsnew · 2026-11-17
  8. static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
  9. bigml.com/privacy · 2026-11-17
  10. bigml.com/pricing · 2026-11-17
  11. support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
  12. support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
  13. support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
  14. www.anthropic.com/system-cards · 2026-11-17
  15. privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
  16. claude.com/regional-compliance · 2026-11-17
  17. support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
  18. claude.com/pricing · 2026-11-17
  19. chatgpt.com/features/connectors · 2026-11-17
  20. learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
  21. learn.chatgpt.com/docs/automations · 2026-11-17
  22. deploymentsafety.openai.com · 2026-11-17
  23. learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
  24. developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
  25. learn.chatgpt.com/docs/pricing · 2026-11-17

Starten Sie heute mit Ihren eigenen Daten

Erstellen Sie Ihr kostenloses Konto und verbinden Sie Ihre erste Quelle in wenigen Minuten. Wenn Sie mehr brauchen, wechseln Sie in einen bezahlten Tarif.