Un observación fundamental que realiza el Libro Blanco es respecto a la discriminación y sesgos que si bien forman parte del propio comportamiento humano, con la IA debemos tener en cuenta algo más.
«Los efectos son mucho más amplios, y afectar y discriminar a numerosas personas sin que existan mecanismos como los de control social que rigen el comportamiento humano».
«Puede suceder también que el sistema de IA «aprenda» mientras está funcionando. En tales casos, cuando los resultados no puedan preverse ni anticiparse en la fase de diseño, los riesgos no se deberán a fallos en el diseño original del sistema, sino más bien a las repercusiones prácticas de las correlaciones o de los modelos que reconozca el sistema en un gran conjunto de datos».
EFECTO CAJA NEGRA
La opacidad, la complejidad, la imprevisibilidad y un comportamiento parcialmente autónomo, pueden hacer difícil comprobar el cumplimiento de la legislación vigente de la UE sobre la protección de los derechos fundamentales e impedir su cumplimiento efectivo.
PARTICIPANTES DEL PROCESO EN LA IA
- El desarrollador
- El implementador (la persona que utiliza un producto o servicio provisto de IA).
- Otras partes potenciales (productor, distribuidor o importador, proveedor de servicios, usuario profesional o particular).
CONTROLES DE LA CONFORMIDAD DE LAS APLICACIONES DE IA DE ELEVADO RIESGO
Se buscan controles de conformidad y para ello se utiliza un mecanismo proporcionado y no discriminatorio con criterios transparentes y objetivos que cumplan con las obligaciones internacionales.
«En el caso de las aplicaciones de IA que no se consideren de riesgo elevado y que, por tanto, no estén sujetas a los requisitos obligatorios esbozados, existe la opción de establecer un sistema de etiquetado voluntario, además de la legislación aplicable».
ESTRUCTURA DE GOBERNANZA EUROPEA
El objetivo de la Gobernanza es:
-facilitar la ejecución del marco jurídico.
-la formulación de orientaciones, emitiendo dictámenes y compartiendo sus conocimientos técnicos.