Tests et comparatif

Ce qu'obtient AIR-Core, mesuré et sourcé

Nous mesurons les modèles qu'entraîne AIR-Core sur des données publiques et les comparons à des références connues sur les mêmes lignes. Et nous comparons, avec des liens vers la documentation de chacun, ce que fait chaque outil quand la conversation se termine.

Banc d'essai

Des modèles dans la norme, y compris là où ils sont en retrait

Pour chaque jeu de données, AIR-Core entraîne le modèle qu'il entraînerait sur la plateforme : la méthode du modèle prêt à l’emploi ou, pour les autres, celle que propose l'assistant (forêt aléatoire). Il utilise 30 % des lignes pour le test, mélangées avec une graine fixe, et n'ajuste rien avec elles. Sur ces mêmes lignes, nous mesurons la prédiction naïve et deux modèles de scikit-learn avec leurs valeurs par défaut.

Résultats du banc d'essai des modèles d'AIR-Core, avec la prédiction naïve et deux références scikit-learn sur les mêmes lignes de test.
DonnéesTâcheLignes de testMéthode d'AIR-CoreMétriqueAIR-CorePrédiction naïveVerdict d'AIR-CoreGradient boosting (scikit-learn)Modèle linéaire (scikit-learn)
Résiliations de clients (modèle prêt à l’emploi)Classification600Régression logistiquePrédictions correctes91 %70 %Bon87 %91 %
Maintenance de machines (modèle prêt à l’emploi)Classification750Régression logistiqueExactitude équilibrée78 %50 %Bon77 %79 %
Avis clients (modèle prêt à l’emploi)Texte900Régression logistiquePrédictions correctes80 %50 %Bon—82 %
Sentiment des avis : origine (exemple)Texte900Forêt aléatoirePrédictions correctes79 %35 %Bon—82 %
Cancer du sein (Wisconsin)Classification171Forêt aléatoirePrédictions correctes97 %63 %Bon96 %98 %
Manchots de PalmerClassification100Forêt aléatoirePrédictions correctes97 %48 %Bon99 %99 %
Marketing bancaireClassification1357Forêt aléatoireExactitude équilibrée60 %50 %Bon67 %65 %
Qualité du vin (rouge)Régression480Forêt aléatoireR² (variation expliquée)45 %0 %Bon42 %35 %
OrmeauRégression1254Forêt aléatoireR² (variation expliquée)53 %0 %Bon52 %53 %

Comment lire le tableau

Les prédictions correctes (exactitude) sont la part des cas bien classés ; avec des classes déséquilibrées, on utilise l'exactitude équilibrée, la moyenne de l'exactitude de chaque classe. En régression, la part de la variation expliquée par le modèle (R²). La prédiction naïve répond toujours la classe la plus fréquente ou la moyenne.

Là où il est en retrait

Sur le marketing bancaire, aux classes très déséquilibrées, la forêt aléatoire par défaut reste 5 et 7 points derrière les références. Sur les textes et les manchots, 2 ou 3 points derrière. Pour le reste, à un point ou moins de la meilleure référence, ou devant.

Données et licences

Modèles prêts à l’emploi avec des données synthétiques (CC0), l'exemple « Sentiment des avis » et cinq jeux de données ouverts : cancer du sein, marketing bancaire, qualité du vin et ormeau du dépôt UCI (CC BY 4.0), et manchots de Palmer (CC0).

Prévision

Le modèle de demande prêt à l’emploi, jour après jour

AIR-Core essaie plusieurs méthodes sur le passé récent et garde celle qui prévoit le mieux. Erreur moyenne, en unités par jour, sur les 30 derniers jours de ce test (plus elle est basse, mieux c'est). Un gradient boosting avec le calendrier fait un peu mieux sur cette période.

Erreur moyenne de la prévision du modèle de demande prêt à l’emploi sur les 30 derniers jours de son test, en unités par jour.
Famille de produitsMéthode choisie par AIR-CoreAIR-CoreRépéter la semaine précédenteGradient boosting avec le calendrier (scikit-learn)
BoulangerieLissage exponentiel8107
BoissonsLissage exponentiel131813
Produits fraisLissage exponentiel111310

Reproductible

Comment nous mesurons

Un programme répète les tests et donne les mêmes chiffres à chaque fois.

  • La même requête que la plateforme. Le moteur de modélisation d'AIR-Core reçoit ce que la plateforme envoie lors de la création d'un modèle, et le verdict est calculé par le même code que la garantie de qualité.
  • Les mêmes lignes pour tous. Le programme vérifie qu'AIR-Core et les références sont testés sur les mêmes lignes et s'arrête sinon.
  • Rien d'ajusté sur le test. Valeurs par défaut pour toutes les méthodes et graines fixes pour que deux exécutions concordent.
  • Date et versions. 17 novembre 2026, moteur de modélisation 0.22.0, scikit-learn 1.9.1 et Python 3.15.2, sur un Apple M5 Pro.
  • Le détail, sur demande. Le code se trouve dans le dépôt d'AIR-Core, qui n'est pas public. Écrivez-nous et nous vous enverrons la méthode et tous les chiffres. (ouvre votre messagerie)

Comparatif

Ce qui continue de fonctionner quand la conversation se termine

BigML entraîne très bien les modèles, et Claude et ChatGPT sont excellents pour converser avec vos données. AIR-Core s'attache à garder vivants les données, les modèles et les décisions de votre équipe : connectés, surveillés, documentés et dans l'UE. Chaque information sur les autres produits provient de leur documentation ou de leur page de tarifs, avec le numéro de la source.

Comparatif des capacités d'AIR-Core, BigML, Claude et ChatGPT, avec les sources de chaque information sur les autres produits.
Ce dont vous avez besoinAIR-CoreBigMLClaudeChatGPT
Sources connectées et mise à jour automatiqueFichiers, URL, bases de données, données ouvertes (CKAN) et MQTT en temps réel, avec des mises à jour programmées.Sources depuis des URL, du stockage dans le cloud et des connecteurs vers PostgreSQL, MySQL, SQL Server et Elasticsearch.12 Actualisation programmée d'une source : Non vérifiéConnecteurs qui lisent vos services quand la conversation le demande ; les documents Google Drive ajoutés restent synchronisés.1112Connecteurs qui importent des données de vos outils ; une tâche programmée peut vérifier une source chaque jour ouvré.1920
RéentraînementAutomatique pour les classifieurs et les régresseurs : selon un calendrier, quand les données changent ou quand le suivi donne l'alerte. La nouvelle version n'est utilisée que si elle est meilleure.Réentraînement automatique dans BigML Ops, un produit à part, ou avec la commande « retrain » de BigMLer et votre propre planificateur.34Non vérifiéNon vérifié
Suivi et dérive des modèlesCompare les données que reçoit chaque modèle à celles de son entraînement et mesure s'il reste juste.BigML Ops surveille chaque modèle et l'associe à un détecteur d'anomalies.3Non vérifiéNon vérifié
Alertes et actionsConditions sur vos données avec alerte par e-mail ou webhook, et flux qui réentraînent, prédisent les nouvelles lignes et agissent.BigML Ops prévient quand la performance d'un modèle passe sous un seuil.3 Canal de l'alerte : Non vérifiéTâches programmées (offres payantes) qui s'exécutent périodiquement avec vos connecteurs.13 Alertes par e-mail ou webhook : Non vérifiéTâches programmées et, dans les offres compatibles, tâches déclenchées par des événements Gmail, Slack ou GitHub.21 Alertes par e-mail ou webhook : Non vérifié
Garantie de qualitéChaque classifieur et régresseur est comparé à la prédiction naïve. S'il ne la dépasse pas, AIR-Core essaie d'autres méthodes et, si aucune n'y parvient, vous le dit.Les évaluations montrent le modèle à côté de deux références : la classe la plus fréquente (ou la moyenne) et une prédiction aléatoire.5 Alerte ou nouvelle tentative automatique : Non vérifiéNon vérifiéNon vérifié
ExplicationsPoids de chaque variable dans le modèle et explication de chaque prédiction (valeurs SHAP), calculés lors de l'entraînement.Importance de chaque champ dans le modèle et explication de chaque prédiction.67Non vérifiéNon vérifié
Fiche du modèle et rapport pour le règlement sur l'IAFiche et rapport de confiance de chaque modèle (PDF ou Markdown) et registre des systèmes d'IA de votre organisation.Rapport de synthèse de chaque modèle, avec l'importance des champs.8 Documentation pour le règlement sur l'IA : Non vérifiéAnthropic publie des fiches pour ses propres modèles (system cards).14 Fiches de vos modèles : sans objet.OpenAI publie des fiches pour ses propres modèles (system cards).22 Fiches de vos modèles : sans objet.
Hébergement dans l'UE et sur vos serveursCloud sur AWS Francfort (Allemagne). Installation sur votre infrastructure avec iCore (offre Enterprise).Son service cloud est hébergé aux États-Unis (politique de confidentialité de 2022). Déploiement privé en cloud public, privé ou sur site.910Les données de ses produits sont stockées aux États-Unis. Localisation des données en Europe pour les modèles Claude via AWS Bedrock et Google Cloud Vertex.1516 Sur vos serveurs : Non vérifiéEspaces de travail avec localisation des données aux États-Unis ou dans l'UE pour le contenu pris en charge.23 Offres qui l'incluent et déploiement sur vos serveurs : Non vérifié
Connecteur MCPServeur MCP propre dans toutes les offres, y compris l'offre Gratuite : connectez Claude, ChatGPT ou Cursor à vos données et à vos modèles.Non vérifiéConnecteurs MCP personnalisés dans toutes les offres ; un seul dans l'offre Free.17Vous pouvez ajouter des serveurs MCP personnalisés, selon les règles de votre compte et de votre espace de travail.24 Offres : Non vérifié
Prix d'entréeOffre Gratuite (0 €). Offres payantes à partir de 49 € par mois, hors TVA.Offre gratuite à 0 $ par mois, avec 16 MB par tâche, et essai de 3 jours.10 Première offre payante : Non vérifiéOffre Free à 0 $. Pro : 17 $ par mois en paiement annuel ou 20 $ en paiement mensuel, hors taxes.18Offre Free à 0 $. Go : 8 $ par mois. Plus : 20 $ par mois.25 Prix dans votre pays : Non vérifié

« Non vérifié » signifie que nous ne l'avons pas trouvé dans la documentation publique du produit le 17 novembre 2026 ; cela ne veut pas dire que cela n'existe pas. Si vous voyez une erreur, écrivez-nous et nous la corrigerons. (ouvre votre messagerie)

Limites

Ce qu'AIR-Core ne fait pas

Ce n'est pas un assistant conversationnel

Pour converser, rédiger ou analyser un fichier isolé, Claude ou ChatGPT le font très bien. AIR-Core s'y connecte par MCP et conserve ce qui doit continuer de fonctionner ensuite.

Des modèles aux réglages par défaut

Apprentissage automatique classique sur des tableaux et des textes, sans réseaux profonds pour les images. Avec des données difficiles, comme le marketing bancaire ci-dessus, un spécialiste peut affiner davantage.

Ne certifie pas la conformité au règlement sur l'IA

La fiche, le rapport de confiance et le registre aident à préparer ses obligations. Ce ne sont pas des conseils juridiques, et c'est votre organisation qui décide de la classification de chaque système.

Chaque offre a ses limites

Certaines fonctions, comme les alertes, les bases de données externes ou l'API, dépendent de l'offre, et l'installation sur vos serveurs est un projet à part.

Sources

Documentation consultée

Pages publiques de chaque produit, avec la date de consultation.

  1. static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
  2. static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
  3. bigml.com/bigmlops · 2026-11-17
  4. blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
  5. static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
  6. static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
  7. bigml.com/whatsnew · 2026-11-17
  8. static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
  9. bigml.com/privacy · 2026-11-17
  10. bigml.com/pricing · 2026-11-17
  11. support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
  12. support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
  13. support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
  14. www.anthropic.com/system-cards · 2026-11-17
  15. privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
  16. claude.com/regional-compliance · 2026-11-17
  17. support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
  18. claude.com/pricing · 2026-11-17
  19. chatgpt.com/features/connectors · 2026-11-17
  20. learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
  21. learn.chatgpt.com/docs/automations · 2026-11-17
  22. deploymentsafety.openai.com · 2026-11-17
  23. learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
  24. developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
  25. learn.chatgpt.com/docs/pricing · 2026-11-17

Commencez dès aujourd'hui avec vos propres données

Créez votre compte gratuit et connectez votre première source en quelques minutes. Quand vous en aurez besoin, passez à une offre payante.