Inteligencia artificial
Datos de entrenamiento y etiquetado
Conjuntos de datos con criterio de etiquetado documentado y acuerdo entre anotadores medido, más allá de simplemente etiquetados.
En resumen: preparación, etiquetado y control de calidad de conjuntos de datos para entrenar y evaluar modelos, con guía de anotación documentada y medición del acuerdo entre anotadores. El trabajo en español de España y en lenguas cooficiales se presta con hablantes nativos.
La calidad de un conjunto de datos etiquetado no se mide por el número de ejemplos, se mide por la consistencia entre anotadores. Dos personas que etiquetan el mismo caso de forma distinta indican que la guía de anotación es ambigua, y ninguna cantidad de volumen corrige eso.
Por eso el primer entregable no son etiquetas, es la guía de anotación, validada sobre una muestra pequeña hasta que el acuerdo entre anotadores alcanza el umbral acordado.
Qué incluye
Según el tipo de dato y la tarea.
- Elaboración y validación de la guía de anotación con usted
- Etiquetado de texto, audio, imagen y documento
- Anotación en español de España y en catalán, euskera y gallego con hablantes nativos
- Medición del acuerdo entre anotadores y resolución de discrepancias
- Conjuntos de evaluación independientes del conjunto de entrenamiento
- Control de calidad por muestreo con umbral acordado
- Trazabilidad de qué anotador etiquetó cada caso
Qué no incluye
Límites del servicio y límites éticos.
- Entrenamiento del modelo, que es un proyecto distinto
- Adquisición de datos de terceros por nuestra cuenta
- Etiquetado de datos obtenidos sin base jurídica válida, que no aceptamos
- Anotación de contenido extremo sin protocolos de bienestar acordados previamente
- Garantía de rendimiento del modelo resultante, que depende de muchos factores además del dato
Desde dónde se presta
El español de España y las lenguas cooficiales se anotan desde España, con hablantes nativos. Es la única forma de capturar registro, variante y matiz, que es precisamente lo que un conjunto de datos en español peninsular debe aportar frente a uno genérico.
El etiquetado de volumen en español general se presta desde el corredor con Latinoamérica, y el trabajo sobre datos que deben permanecer en la Unión Europea desde Polonia.
Procedencia y minimización
La pregunta que hacemos antes de aceptar un proyecto de etiquetado es de dónde proceden los datos y con qué base jurídica se tratan. No es una formalidad: si el conjunto de datos contiene datos personales obtenidos sin base válida, el problema no se resuelve etiquetándolo, se amplifica.
Cuando el conjunto contiene datos personales, la minimización es la medida con mejor relación entre esfuerzo y reducción de riesgo. Muchas tareas de anotación no necesitan campos identificativos, y eliminarlos antes de anotar simplifica el tratamiento, la transferencia y la supresión posterior.
Si el etiquetado se realiza desde fuera del Espacio Económico Europeo se aplican cláusulas contractuales tipo y, según la sensibilidad, una evaluación de impacto de la transferencia.
Para anotación de contenido potencialmente perturbador se aplican los mismos protocolos de bienestar que en moderación de contenidos: rotación, límites de exposición y apoyo disponible.
Preguntas frecuentes
¿Cómo se garantiza la consistencia del etiquetado?
Midiendo el acuerdo entre anotadores sobre casos solapados y ajustando la guía de anotación cuando el acuerdo cae. Una discrepancia recurrente casi siempre señala ambigüedad en la guía, no error del anotador.
¿Pueden anotar en catalán, euskera o gallego?
Sí, desde España y con hablantes nativos. Es una de las razones por las que estos conjuntos de datos tienen valor: la anotación aproximada en una lengua que no se domina produce datos que degradan el modelo en lugar de mejorarlo.
¿De quién es el conjunto de datos resultante?
Suyo, junto con la guía de anotación y las métricas de calidad. Conviene fijarlo expresamente en el contrato.
¿Preparan también conjuntos de evaluación?
Sí, y conviene que sean independientes del conjunto de entrenamiento y estén cerrados antes de empezar a entrenar. Evaluar con datos vistos durante el entrenamiento produce cifras excelentes y carentes de significado.
¿Necesita datos etiquetados en español?
Cuéntenos la tarea, el volumen y si el conjunto contiene datos personales.