Tests et comparatif
Ce qu'obtient AIR-Core, mesuré et sourcé
Nous mesurons les modèles qu'entraîne AIR-Core sur des données publiques et les comparons à des références connues sur les mêmes lignes. Et nous comparons, avec des liens vers la documentation de chacun, ce que fait chaque outil quand la conversation se termine.
Banc d'essai
Des modèles dans la norme, y compris là où ils sont en retrait
Pour chaque jeu de données, AIR-Core entraîne le modèle qu'il entraînerait sur la plateforme : la méthode du modèle prêt à l’emploi ou, pour les autres, celle que propose l'assistant (forêt aléatoire). Il utilise 30 % des lignes pour le test, mélangées avec une graine fixe, et n'ajuste rien avec elles. Sur ces mêmes lignes, nous mesurons la prédiction naïve et deux modèles de scikit-learn avec leurs valeurs par défaut.
| Données | Tâche | Lignes de test | Méthode d'AIR-Core | Métrique | AIR-Core | Prédiction naïve | Verdict d'AIR-Core | Gradient boosting (scikit-learn) | Modèle linéaire (scikit-learn) |
|---|---|---|---|---|---|---|---|---|---|
| Résiliations de clients (modèle prêt à l’emploi) | Classification | 600 | Régression logistique | Prédictions correctes | 91 % | 70 % | Bon | 87 % | 91 % |
| Maintenance de machines (modèle prêt à l’emploi) | Classification | 750 | Régression logistique | Exactitude équilibrée | 78 % | 50 % | Bon | 77 % | 79 % |
| Avis clients (modèle prêt à l’emploi) | Texte | 900 | Régression logistique | Prédictions correctes | 80 % | 50 % | Bon | — | 82 % |
| Sentiment des avis : origine (exemple) | Texte | 900 | Forêt aléatoire | Prédictions correctes | 79 % | 35 % | Bon | — | 82 % |
| Cancer du sein (Wisconsin) | Classification | 171 | Forêt aléatoire | Prédictions correctes | 97 % | 63 % | Bon | 96 % | 98 % |
| Manchots de Palmer | Classification | 100 | Forêt aléatoire | Prédictions correctes | 97 % | 48 % | Bon | 99 % | 99 % |
| Marketing bancaire | Classification | 1357 | Forêt aléatoire | Exactitude équilibrée | 60 % | 50 % | Bon | 67 % | 65 % |
| Qualité du vin (rouge) | Régression | 480 | Forêt aléatoire | R² (variation expliquée) | 45 % | 0 % | Bon | 42 % | 35 % |
| Ormeau | Régression | 1254 | Forêt aléatoire | R² (variation expliquée) | 53 % | 0 % | Bon | 52 % | 53 % |
Comment lire le tableau
Les prédictions correctes (exactitude) sont la part des cas bien classés ; avec des classes déséquilibrées, on utilise l'exactitude équilibrée, la moyenne de l'exactitude de chaque classe. En régression, la part de la variation expliquée par le modèle (R²). La prédiction naïve répond toujours la classe la plus fréquente ou la moyenne.
Là où il est en retrait
Sur le marketing bancaire, aux classes très déséquilibrées, la forêt aléatoire par défaut reste 5 et 7 points derrière les références. Sur les textes et les manchots, 2 ou 3 points derrière. Pour le reste, à un point ou moins de la meilleure référence, ou devant.
Données et licences
Modèles prêts à l’emploi avec des données synthétiques (CC0), l'exemple « Sentiment des avis » et cinq jeux de données ouverts : cancer du sein, marketing bancaire, qualité du vin et ormeau du dépôt UCI (CC BY 4.0), et manchots de Palmer (CC0).
Prévision
Le modèle de demande prêt à l’emploi, jour après jour
AIR-Core essaie plusieurs méthodes sur le passé récent et garde celle qui prévoit le mieux. Erreur moyenne, en unités par jour, sur les 30 derniers jours de ce test (plus elle est basse, mieux c'est). Un gradient boosting avec le calendrier fait un peu mieux sur cette période.
| Famille de produits | Méthode choisie par AIR-Core | AIR-Core | Répéter la semaine précédente | Gradient boosting avec le calendrier (scikit-learn) |
|---|---|---|---|---|
| Boulangerie | Lissage exponentiel | 8 | 10 | 7 |
| Boissons | Lissage exponentiel | 13 | 18 | 13 |
| Produits frais | Lissage exponentiel | 11 | 13 | 10 |
Reproductible
Comment nous mesurons
Un programme répète les tests et donne les mêmes chiffres à chaque fois.
- La même requête que la plateforme. Le moteur de modélisation d'AIR-Core reçoit ce que la plateforme envoie lors de la création d'un modèle, et le verdict est calculé par le même code que la garantie de qualité.
- Les mêmes lignes pour tous. Le programme vérifie qu'AIR-Core et les références sont testés sur les mêmes lignes et s'arrête sinon.
- Rien d'ajusté sur le test. Valeurs par défaut pour toutes les méthodes et graines fixes pour que deux exécutions concordent.
- Date et versions. 17 novembre 2026, moteur de modélisation 0.22.0, scikit-learn 1.9.1 et Python 3.15.2, sur un Apple M5 Pro.
- Le détail, sur demande. Le code se trouve dans le dépôt d'AIR-Core, qui n'est pas public. Écrivez-nous et nous vous enverrons la méthode et tous les chiffres. (ouvre votre messagerie)
Comparatif
Ce qui continue de fonctionner quand la conversation se termine
BigML entraîne très bien les modèles, et Claude et ChatGPT sont excellents pour converser avec vos données. AIR-Core s'attache à garder vivants les données, les modèles et les décisions de votre équipe : connectés, surveillés, documentés et dans l'UE. Chaque information sur les autres produits provient de leur documentation ou de leur page de tarifs, avec le numéro de la source.
| Ce dont vous avez besoin | AIR-Core | BigML | Claude | ChatGPT |
|---|---|---|---|---|
| Sources connectées et mise à jour automatique | Fichiers, URL, bases de données, données ouvertes (CKAN) et MQTT en temps réel, avec des mises à jour programmées. | Sources depuis des URL, du stockage dans le cloud et des connecteurs vers PostgreSQL, MySQL, SQL Server et Elasticsearch.12 Actualisation programmée d'une source : Non vérifié | Connecteurs qui lisent vos services quand la conversation le demande ; les documents Google Drive ajoutés restent synchronisés.1112 | Connecteurs qui importent des données de vos outils ; une tâche programmée peut vérifier une source chaque jour ouvré.1920 |
| Réentraînement | Automatique pour les classifieurs et les régresseurs : selon un calendrier, quand les données changent ou quand le suivi donne l'alerte. La nouvelle version n'est utilisée que si elle est meilleure. | Réentraînement automatique dans BigML Ops, un produit à part, ou avec la commande « retrain » de BigMLer et votre propre planificateur.34 | Non vérifié | Non vérifié |
| Suivi et dérive des modèles | Compare les données que reçoit chaque modèle à celles de son entraînement et mesure s'il reste juste. | BigML Ops surveille chaque modèle et l'associe à un détecteur d'anomalies.3 | Non vérifié | Non vérifié |
| Alertes et actions | Conditions sur vos données avec alerte par e-mail ou webhook, et flux qui réentraînent, prédisent les nouvelles lignes et agissent. | BigML Ops prévient quand la performance d'un modèle passe sous un seuil.3 Canal de l'alerte : Non vérifié | Tâches programmées (offres payantes) qui s'exécutent périodiquement avec vos connecteurs.13 Alertes par e-mail ou webhook : Non vérifié | Tâches programmées et, dans les offres compatibles, tâches déclenchées par des événements Gmail, Slack ou GitHub.21 Alertes par e-mail ou webhook : Non vérifié |
| Garantie de qualité | Chaque classifieur et régresseur est comparé à la prédiction naïve. S'il ne la dépasse pas, AIR-Core essaie d'autres méthodes et, si aucune n'y parvient, vous le dit. | Les évaluations montrent le modèle à côté de deux références : la classe la plus fréquente (ou la moyenne) et une prédiction aléatoire.5 Alerte ou nouvelle tentative automatique : Non vérifié | Non vérifié | Non vérifié |
| Explications | Poids de chaque variable dans le modèle et explication de chaque prédiction (valeurs SHAP), calculés lors de l'entraînement. | Importance de chaque champ dans le modèle et explication de chaque prédiction.67 | Non vérifié | Non vérifié |
| Fiche du modèle et rapport pour le règlement sur l'IA | Fiche et rapport de confiance de chaque modèle (PDF ou Markdown) et registre des systèmes d'IA de votre organisation. | Rapport de synthèse de chaque modèle, avec l'importance des champs.8 Documentation pour le règlement sur l'IA : Non vérifié | Anthropic publie des fiches pour ses propres modèles (system cards).14 Fiches de vos modèles : sans objet. | OpenAI publie des fiches pour ses propres modèles (system cards).22 Fiches de vos modèles : sans objet. |
| Hébergement dans l'UE et sur vos serveurs | Cloud sur AWS Francfort (Allemagne). Installation sur votre infrastructure avec iCore (offre Enterprise). | Son service cloud est hébergé aux États-Unis (politique de confidentialité de 2022). Déploiement privé en cloud public, privé ou sur site.910 | Les données de ses produits sont stockées aux États-Unis. Localisation des données en Europe pour les modèles Claude via AWS Bedrock et Google Cloud Vertex.1516 Sur vos serveurs : Non vérifié | Espaces de travail avec localisation des données aux États-Unis ou dans l'UE pour le contenu pris en charge.23 Offres qui l'incluent et déploiement sur vos serveurs : Non vérifié |
| Connecteur MCP | Serveur MCP propre dans toutes les offres, y compris l'offre Gratuite : connectez Claude, ChatGPT ou Cursor à vos données et à vos modèles. | Non vérifié | Connecteurs MCP personnalisés dans toutes les offres ; un seul dans l'offre Free.17 | Vous pouvez ajouter des serveurs MCP personnalisés, selon les règles de votre compte et de votre espace de travail.24 Offres : Non vérifié |
| Prix d'entrée | Offre Gratuite (0 €). Offres payantes à partir de 49 € par mois, hors TVA. | Offre gratuite à 0 $ par mois, avec 16 MB par tâche, et essai de 3 jours.10 Première offre payante : Non vérifié | Offre Free à 0 $. Pro : 17 $ par mois en paiement annuel ou 20 $ en paiement mensuel, hors taxes.18 | Offre Free à 0 $. Go : 8 $ par mois. Plus : 20 $ par mois.25 Prix dans votre pays : Non vérifié |
« Non vérifié » signifie que nous ne l'avons pas trouvé dans la documentation publique du produit le 17 novembre 2026 ; cela ne veut pas dire que cela n'existe pas. Si vous voyez une erreur, écrivez-nous et nous la corrigerons. (ouvre votre messagerie)
Limites
Ce qu'AIR-Core ne fait pas
Ce n'est pas un assistant conversationnel
Pour converser, rédiger ou analyser un fichier isolé, Claude ou ChatGPT le font très bien. AIR-Core s'y connecte par MCP et conserve ce qui doit continuer de fonctionner ensuite.
Des modèles aux réglages par défaut
Apprentissage automatique classique sur des tableaux et des textes, sans réseaux profonds pour les images. Avec des données difficiles, comme le marketing bancaire ci-dessus, un spécialiste peut affiner davantage.
Ne certifie pas la conformité au règlement sur l'IA
La fiche, le rapport de confiance et le registre aident à préparer ses obligations. Ce ne sont pas des conseils juridiques, et c'est votre organisation qui décide de la classification de chaque système.
Chaque offre a ses limites
Certaines fonctions, comme les alertes, les bases de données externes ou l'API, dépendent de l'offre, et l'installation sur vos serveurs est un projet à part.
Sources
Documentation consultée
Pages publiques de chaque produit, avec la date de consultation.
- static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
- static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
- bigml.com/bigmlops · 2026-11-17
- blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
- bigml.com/whatsnew · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
- bigml.com/privacy · 2026-11-17
- bigml.com/pricing · 2026-11-17
- support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
- support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
- support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
- www.anthropic.com/system-cards · 2026-11-17
- privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
- claude.com/regional-compliance · 2026-11-17
- support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
- claude.com/pricing · 2026-11-17
- chatgpt.com/features/connectors · 2026-11-17
- learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
- learn.chatgpt.com/docs/automations · 2026-11-17
- deploymentsafety.openai.com · 2026-11-17
- learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
- developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
- learn.chatgpt.com/docs/pricing · 2026-11-17
Commencez dès aujourd'hui avec vos propres données
Créez votre compte gratuit et connectez votre première source en quelques minutes. Quand vous en aurez besoin, passez à une offre payante.