Pruebas y comparativa
Lo que AIR-Core consigue, medido y con fuentes
Medimos los modelos que entrena AIR-Core con datos públicos y los comparamos con referencias conocidas en las mismas filas. Y comparamos, con enlaces a la documentación de cada uno, qué hace cada herramienta cuando la conversación termina.
Banco de pruebas
Modelos en el rango normal, también donde quedan por detrás
Para cada conjunto de datos, AIR-Core entrena el modelo que entrenaría en la plataforma: el método de la plantilla o, en los demás, el que propone el asistente (bosque aleatorio). Usa el 30 % de las filas para la prueba, barajadas con una semilla fija, y no ajusta nada con ellas. En esas mismas filas medimos la predicción ingenua y dos modelos de scikit-learn con sus valores por defecto.
| Datos | Tarea | Filas de prueba | Método de AIR-Core | Métrica | AIR-Core | Predicción ingenua | Veredicto de AIR-Core | Gradient boosting (scikit-learn) | Modelo lineal (scikit-learn) |
|---|---|---|---|---|---|---|---|---|---|
| Bajas de clientes (plantilla) | Clasificación | 600 | Regresión logística | Acierto | 91 % | 70 % | Bueno | 87 % | 91 % |
| Mantenimiento de máquinas (plantilla) | Clasificación | 750 | Regresión logística | Acierto equilibrado | 78 % | 50 % | Bueno | 77 % | 79 % |
| Opinión de clientes (plantilla) | Texto | 900 | Regresión logística | Acierto | 80 % | 50 % | Bueno | — | 82 % |
| Sentimiento de reseñas: origen (ejemplo) | Texto | 900 | Bosque aleatorio | Acierto | 79 % | 35 % | Bueno | — | 82 % |
| Cáncer de mama (Wisconsin) | Clasificación | 171 | Bosque aleatorio | Acierto | 97 % | 63 % | Bueno | 96 % | 98 % |
| Pingüinos de Palmer | Clasificación | 100 | Bosque aleatorio | Acierto | 97 % | 48 % | Bueno | 99 % | 99 % |
| Marketing bancario | Clasificación | 1357 | Bosque aleatorio | Acierto equilibrado | 60 % | 50 % | Bueno | 67 % | 65 % |
| Calidad del vino (tinto) | Regresión | 480 | Bosque aleatorio | R² (variación explicada) | 45 % | 0 % | Bueno | 42 % | 35 % |
| Abulón | Regresión | 1254 | Bosque aleatorio | R² (variación explicada) | 53 % | 0 % | Bueno | 52 % | 53 % |
Cómo leer la tabla
El acierto es la parte de casos bien clasificados; con clases desequilibradas se usa el acierto equilibrado, la media del acierto de cada clase. En regresión, la parte de la variación que explica el modelo (R²). La predicción ingenua responde siempre la clase más frecuente o la media.
Dónde queda por detrás
En el marketing bancario, con clases muy desequilibradas, el bosque aleatorio por defecto se queda 5 y 7 puntos por detrás de las referencias. En los textos y en los pingüinos, 2 o 3 puntos por detrás. En el resto, a un punto o menos de la mejor referencia, o por delante.
Datos y licencias
Plantillas con datos sintéticos (CC0), el ejemplo «Sentimiento de reseñas» y cinco conjuntos abiertos: cáncer de mama, marketing bancario, calidad del vino y abulón del repositorio UCI (CC BY 4.0), y pingüinos de Palmer (CC0).
Previsión
La plantilla de demanda, día a día
AIR-Core prueba varios métodos con el pasado reciente y se queda con el que mejor acierta. Error medio, en unidades al día, de los últimos 30 días de esa prueba (cuanto más bajo, mejor). Un gradient boosting con el calendario acierta algo más en esa ventana.
| Familia de productos | Método elegido por AIR-Core | AIR-Core | Repetir la semana anterior | Gradient boosting con el calendario (scikit-learn) |
|---|---|---|---|---|
| Panadería | Suavizado exponencial | 8 | 10 | 7 |
| Bebidas | Suavizado exponencial | 13 | 18 | 13 |
| Frescos | Suavizado exponencial | 11 | 13 | 10 |
Reproducible
Cómo lo medimos
Un programa repite las pruebas y da las mismas cifras cada vez.
- La misma petición que la plataforma. El motor de modelado de AIR-Core recibe lo que envía la plataforma al crear un modelo, y el veredicto lo calcula el mismo código de la garantía de calidad.
- Las mismas filas para todos. El programa comprueba que AIR-Core y las referencias se prueban con las mismas filas y se detiene si no.
- Nada ajustado con la prueba. Valores por defecto en todos los métodos y semillas fijas para que dos ejecuciones coincidan.
- Fecha y versiones. 17 de noviembre de 2026, motor de modelado 0.22.0, scikit-learn 1.9.1 y Python 3.15.2, en un Apple M5 Pro.
- El detalle, si lo pides. El código está en el repositorio de AIR-Core, que no es público. Escríbenos y te enviamos el método y todas las cifras. (abre tu programa de correo)
Comparativa
Lo que sigue funcionando cuando la conversación termina
BigML entrena modelos muy bien y Claude y ChatGPT son excelentes para conversar con tus datos. AIR-Core se centra en mantener vivos los datos, los modelos y las decisiones de tu equipo: conectados, vigilados, documentados y en la UE. Cada dato de los demás productos viene de su documentación o su página de precios, con el número de la fuente.
| Lo que necesitas | AIR-Core | BigML | Claude | ChatGPT |
|---|---|---|---|---|
| Fuentes conectadas y actualización automática | Archivos, URLs, bases de datos, datos abiertos (CKAN) y MQTT en tiempo real, con actualizaciones programadas. | Fuentes desde URLs, almacenamiento en la nube y conectores a PostgreSQL, MySQL, SQL Server y Elasticsearch.12 Actualización programada de una fuente: No verificado | Conectores que leen tus servicios cuando la conversación lo pide; los documentos de Google Drive añadidos se mantienen sincronizados.1112 | Conectores que traen datos de tus herramientas; una tarea programada puede revisar una fuente cada día laborable.1920 |
| Reentrenamiento | Automático para clasificadores y regresores: por calendario, cuando cambian los datos o cuando avisa el seguimiento. La versión nueva solo se usa si mejora. | Reentrenamiento automático en BigML Ops, un producto aparte, o con el comando «retrain» de BigMLer y tu propio programador.34 | No verificado | No verificado |
| Seguimiento y deriva de los modelos | Compara los datos que recibe cada modelo con los de su entrenamiento y mide si sigue acertando. | BigML Ops vigila cada modelo y lo empareja con un detector de anomalías.3 | No verificado | No verificado |
| Alertas y acciones | Condiciones sobre tus datos con aviso por email o webhook, y flujos que reentrenan, predicen las filas nuevas y actúan. | BigML Ops avisa cuando el rendimiento de un modelo baja de un umbral.3 Canal del aviso: No verificado | Tareas programadas (planes de pago) que se ejecutan de forma periódica con tus conectores.13 Avisos por email o webhook: No verificado | Tareas programadas y, en planes compatibles, tareas que se activan con eventos de Gmail, Slack o GitHub.21 Avisos por email o webhook: No verificado |
| Garantía de calidad | Cada clasificador y regresor se compara con la predicción ingenua. Si no la mejora, AIR-Core prueba otros métodos y, si ninguno lo consigue, te lo dice. | Las evaluaciones muestran el modelo junto a dos referencias: la clase más frecuente (o la media) y una predicción aleatoria.5 Aviso o reintento automático: No verificado | No verificado | No verificado |
| Explicaciones | Peso de cada variable en el modelo y explicación de cada predicción (valores SHAP), calculados al entrenar. | Importancia de cada campo en el modelo y explicación de cada predicción.67 | No verificado | No verificado |
| Ficha del modelo e informe para el Reglamento de IA | Ficha e informe de confianza de cada modelo (PDF o Markdown) y registro de los sistemas de IA de tu organización. | Informe resumen de cada modelo, con la importancia de los campos.8 Documentación para el Reglamento de IA: No verificado | Anthropic publica fichas de sus propios modelos (system cards).14 Fichas de tus modelos: no aplica. | OpenAI publica fichas de sus propios modelos (system cards).22 Fichas de tus modelos: no aplica. |
| Alojamiento en la UE y en tus servidores | Nube en AWS Fráncfort (Alemania). Instalación en tu infraestructura con iCore (plan Enterprise). | Su servicio en la nube está alojado en Estados Unidos (política de privacidad de 2022). Despliegue privado en nube pública, privada u on-premises.910 | Los datos de sus productos se guardan en Estados Unidos. Residencia de datos en Europa para los modelos Claude a través de AWS Bedrock y Google Cloud Vertex.1516 En tus servidores: No verificado | Espacios de trabajo con residencia de datos en Estados Unidos o la UE para el contenido compatible.23 Planes que la incluyen y despliegue en tus servidores: No verificado |
| Conector MCP | Servidor MCP propio en todos los planes, también en el Gratis: conecta Claude, ChatGPT o Cursor a tus datos y modelos. | No verificado | Conectores MCP personalizados en todos los planes; uno en el plan Free.17 | Puedes añadir servidores MCP personalizados, según las políticas de tu cuenta y tu espacio de trabajo.24 Planes: No verificado |
| Precio de entrada | Plan Gratis (0 €). Planes de pago desde 49 € al mes, sin IVA. | Plan gratuito de 0 $ al mes, con 16 MB por tarea, y prueba de 3 días.10 Primer plan de pago: No verificado | Plan Free de 0 $. Pro: 17 $ al mes con pago anual o 20 $ con pago mensual, sin impuestos.18 | Plan Free de 0 $. Go: 8 $ al mes. Plus: 20 $ al mes.25 Precios en tu país: No verificado |
«No verificado» quiere decir que no lo hemos encontrado en la documentación pública del producto el 17 de noviembre de 2026; no quiere decir que no exista. Si ves un error, escríbenos y lo corregimos. (abre tu programa de correo)
Límites
Lo que AIR-Core no hace
No es un asistente de conversación
Para conversar, redactar o analizar un archivo suelto, Claude o ChatGPT lo hacen muy bien. AIR-Core se conecta a ellos por MCP y guarda lo que debe seguir funcionando después.
Modelos con ajustes por defecto
Aprendizaje automático clásico sobre tablas y textos, sin redes profundas para imágenes. Con datos difíciles, como el marketing bancario de arriba, un especialista puede afinar más.
No certifica el Reglamento de IA
La ficha, el informe de confianza y el registro ayudan a preparar sus obligaciones. No son asesoramiento jurídico, y la clasificación de cada sistema la decide tu organización.
Cada plan tiene sus límites
Algunas funciones, como las alertas, las bases de datos externas o la API, dependen del plan, y la instalación en tus servidores es un proyecto aparte.
Fuentes
Documentación consultada
Páginas públicas de cada producto, con la fecha de consulta.
- static.bigml.com/static/html-doc/Sources/sect0001.html · 2026-11-17
- static.bigml.com/static/html-doc/Sources/sec-data-stores.html · 2026-11-17
- bigml.com/bigmlops · 2026-11-17
- blog.bigml.com/2018/02/06/retraining-machine-learning-models · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0046.html · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sec-understanding-models.html · 2026-11-17
- bigml.com/whatsnew · 2026-11-17
- static.bigml.com/static/html-doc/Classification_and_Regression/sect0001.html · 2026-11-17
- bigml.com/privacy · 2026-11-17
- bigml.com/pricing · 2026-11-17
- support.claude.com/en/articles/11176164-use-connectors-to-extend-claude-s-capabilities · 2026-11-17
- support.claude.com/en/articles/10166901-use-google-workspace-connectors · 2026-11-17
- support.claude.com/en/articles/13854387-schedule-recurring-tasks-in-claude-cowork · 2026-11-17
- www.anthropic.com/system-cards · 2026-11-17
- privacy.claude.com/en/articles/7996890-where-are-your-servers-located-do-you-host-your-models-on-eu-servers · 2026-11-17
- claude.com/regional-compliance · 2026-11-17
- support.claude.com/en/articles/11175166-get-started-with-custom-connectors-using-remote-mcp · 2026-11-17
- claude.com/pricing · 2026-11-17
- chatgpt.com/features/connectors · 2026-11-17
- learn.chatgpt.com/use-cases/analyze-data-export · 2026-11-17
- learn.chatgpt.com/docs/automations · 2026-11-17
- deploymentsafety.openai.com · 2026-11-17
- learn.chatgpt.com/docs/enterprise/higher-education-roles-and-permissions · 2026-11-17
- developers.openai.com/plugins/deploy/connect-chatgpt · 2026-11-17
- learn.chatgpt.com/docs/pricing · 2026-11-17
Empieza hoy con tus propios datos
Crea tu cuenta gratuita y conecta tu primera fuente en minutos. Cuando lo necesites, pasa a un plan de pago.