Externalización IT
Ingeniería de datos
Canalizaciones que se mantienen solas el 95 por ciento del tiempo y avisan cuando no.
En resumen: construcción y mantenimiento de canalizaciones de datos, integración entre sistemas y preparación de datos para analítica e inteligencia artificial, con controles de calidad y observabilidad desde el diseño.
La diferencia entre una canalización de datos que funciona y una que da problemas no está en la tecnología, está en si avisa cuando falla. Una canalización silenciosa que entrega datos incompletos hace más daño que una que se detiene.
Por eso la observabilidad y los controles de calidad del dato forman parte del diseño inicial y no de una fase posterior que nunca llega.
Qué incluye
Según la arquitectura y las fuentes implicadas.
- Diseño y construcción de canalizaciones de datos
- Integración entre sistemas y fuentes heterogéneas
- Modelado y preparación de datos para analítica
- Preparación de conjuntos de datos para entrenamiento y evaluación de modelos
- Controles de calidad del dato y alertas sobre anomalías
- Documentación del linaje del dato y de las transformaciones aplicadas
Qué no incluye
Conviene separar ingeniería de análisis.
- Análisis de negocio e interpretación de los datos, que corresponde a sus equipos
- Decisiones sobre qué métricas definen su negocio
- Adquisición de datos de terceros por nuestra cuenta
- Entrenamiento de modelos, que forma parte del pilar de inteligencia artificial
Desde dónde se presta
Desde Polonia cuando el dato debe permanecer dentro del Espacio Económico Europeo, que es frecuente en este servicio porque las canalizaciones suelen tocar datos personales en algún punto.
Desde Uzbekistán para trabajo de plataforma sobre datos de prueba o ya anonimizados, medido por entrega.
Tratamiento y minimización
En ingeniería de datos la decisión con más consecuencias es qué campos entran en la canalización. Un campo identificativo que no se necesita para el caso de uso multiplica el riesgo, las obligaciones y el coste de una eventual supresión, sin aportar nada.
Por eso el diseño empieza por el inventario de campos y su justificación, y no por la herramienta. Es también el momento adecuado para decidir si el caso admite seudonimización.
Si la canalización trata datos personales desde fuera del Espacio Económico Europeo se aplican cláusulas contractuales tipo y, según la sensibilidad, una evaluación de impacto de la transferencia.
Preguntas frecuentes
¿Trabajan con nuestra arquitectura actual?
Sí. La primera fase documenta lo que existe, incluidas las integraciones no documentadas que casi siempre aparecen, y a partir de ahí se decide qué conviene rehacer y qué no.
¿Qué pasa cuando una fuente cambia su formato?
Es el fallo más frecuente en producción. La canalización debe detectarlo y avisar en lugar de procesar datos incorrectos en silencio, y eso se diseña desde el principio.
¿Preparan datos para inteligencia artificial?
Sí, incluida la preparación de conjuntos de entrenamiento y evaluación. El etiquetado en español y lenguas cooficiales corresponde al pilar de inteligencia artificial.
¿Documentan el linaje del dato?
Sí, y conviene exigirlo a cualquier proveedor. Sin linaje documentado, responder a una reclamación sobre un dato concreto se convierte en una investigación.
¿Necesita ordenar sus datos?
Cuéntenos las fuentes, el destino y qué decisiones espera tomar con esos datos.