La gobernanza de la IA afecta a muchas áreas funcionales de la empresa: privacidad de los datos, sesgo de los algoritmos, cumplimiento, ética y mucho más. En consecuencia, abordar la gobernanza del uso de las tecnologías de inteligencia artificial exige actuar a muchos niveles.
"No empieza a nivel de TI o de proyecto", afirma Kamlesh Mhashilkar, responsable de la práctica de datos y análisis de Tata Consultancy Services. La gobernanza de la IA también se produce a nivel gubernamental, en los consejos de administración y en las organizaciones de la sociedad civil, afirma.
En sanidad, por ejemplo, los modelos de IA deben superar estrictas auditorías e inspecciones, afirma. Muchos otros sectores también tienen normativas aplicables. "Y a nivel directivo, se trata de comportamientos económicos", dice Mhashilkar. "¿Qué tipo de riesgos asumes cuando introduces la IA?".
En cuanto a la C-suite, las agendas de IA están impulsadas por el propósito. Por ejemplo, el director financiero estará en sintonía con el valor para el accionista y la rentabilidad. Los CIO y los directores de datos también son partes interesadas clave, al igual que los directores de marketing y cumplimiento. Por no hablar de los clientes y proveedores.
No todas las empresas tendrán que actuar en todos los frentes para crear una estrategia de gobernanza de la IA. Las empresas más pequeñas, en particular, pueden tener poca influencia sobre lo que hacen los grandes proveedores o los grupos reguladores. Aun así, todas las empresas utilizan o utilizarán pronto inteligencia artificial y tecnologías relacionadas, incluso si están simplemente integradas en las herramientas y servicios de terceros que utilizan.
Y cuando se utiliza sin la supervisión adecuada, la IA tiene el potencial de cometer errores que perjudiquen las operaciones comerciales, violen los derechos de privacidad, infrinjan las normativas del sector o creen mala publicidad para una empresa.
He aquí cómo las empresas con visión de futuro están empezando a abordar la gobernanza de la IA a medida que amplían los proyectos de IA de pilotos a producción, centrándose en la calidad de los datos, el rendimiento algorítmico, el cumplimiento y la ética.
Enfrentarse a la ética de la IA
Pocas áreas están tan cargadas de preocupaciones éticas hoy en día como el reconocimiento facial. Existe un gran potencial de abuso, y las empresas que ofrecen tecnologías de reconocimiento facial están recibiendo el rechazo del público, y a veces de sus propios empleados.
Es el caso de Xtract AI, filial de Patriot One Technologies, que utiliza el reconocimiento de imágenes para identificar a personas que portan armas.
La tecnología también puede emplearse en otros contextos, como para identificar a personas que no cumplen las normas sobre máscaras o distanciamiento social, afirma Justin Granek, vicepresidente de operaciones de Xtract.
La ética es uno de los principales temas de conversación, afirma. "En nuestro caso, hemos visto que mucho de esto viene de abajo arriba. Nuestro personal dice: "¿Qué estamos haciendo al respecto?", y obliga a la dirección a desarrollar nuestra política de gobernanza".
Los clientes tienen sus propios requisitos, y hay que encontrar un equilibrio, afirma. "Uno de nuestros clientes es el Ministerio de Defensa canadiense, y otros pertenecen al sector sanitario. Lo ven desde perspectivas distintas".
La cuestión más importante es para qué clientes trabajar y qué tipo de trabajo debe realizar la tecnología. Es una decisión global que tiene que ver con la misión de la empresa. Pero también hay que abordar cuestiones técnicas, que empiezan por los datos.
Obtener datos correctos
La mayor fuente de sesgo algorítmico está en los conjuntos de datos. Para el reconocimiento facial, por ejemplo, los conjuntos de datos no han sido históricamente representativos de la población general. "Están sesgados hacia los hombres blancos", afirma Granek. "Se está corrigiendo, pero aún queda mucho trabajo por hacer".
Los expertos pueden ayudar a solucionar los problemas de sesgo de los datos, y los proveedores de datos comerciales están trabajando para colmar las lagunas de los datos que proporcionan. También hay formas de crear conjuntos de datos sintéticos, pero a menudo la solución se reduce a salir a la calle y obtener mejores datos, afirma Granek.
Justin Granek, vicepresidente de operaciones, Xtract AI
Para el algoritmo de detección de armas de Xtract, eso significó preparar un espacio de laboratorio, llenarlo de una amplia variedad de armas de fuego fuera de servicio y traer a mucha gente para que caminara de diferentes maneras, en diferentes lugares.
"Un enfoque ingenuo es buscar en Hollywood imágenes de gente caminando con armas, pero eso no es representativo del mundo", dice.
En lugar de eso, Xtract se esforzó por recopilar una amplia gama de individuos para sus datos de entrenamiento. "No hay una receta para saber quién puede llevar un arma. Tenemos estudiantes. Conseguimos individuos mayores; tenemos un montón de individuos diferentes", dice Granek.
Para algunas aplicaciones de IA, unos conjuntos de datos precisos y representativos pueden marcar la diferencia entre la vida y la muerte y tener importantes implicaciones morales y éticas. Pero incluso cuando los efectos de los conjuntos de datos erróneos no provocan desastres públicos, pueden causar daños operativos o financieros a las empresas o dar lugar a problemas normativos o de cumplimiento.
Esta última era la preocupación de la empresa mexicana Cemex, uno de los mayores distribuidores de materiales de construcción del mundo. La empresa tiene más de 100 años, pero se está reinventando mediante el uso de la inteligencia artificial en la gestión de la cadena de suministro y las operaciones.
Cemex empezó a estudiar la IA y las tecnologías relacionadas para aumentar su cuota de mercado, mejorar el servicio al cliente e impulsar los resultados hace unos tres años.
"El año pasado y este año estamos viendo realmente el valor de la IA a escala global, no sólo en un pequeño piloto aquí o allá", afirma Nir Kaldero, director de IA de la empresa.
Con la IA firmemente integrada en el ADN de la empresa, Cemex se dio cuenta de la necesidad de establecer estructuras de gobierno en torno a ella, afirma.
Todo empieza con los datos. "No hay una IA buena y fiable sin una buena arquitectura de la información", afirma Kaldero. "No puedes tener modelos buenos y fiables sin buena información".
En Cemex, la gobernanza de los datos abarca la seguridad, la supervisión, la privacidad, el cumplimiento y la ética. La empresa necesita saber dónde se encuentran los datos, dónde y cómo se utilizan, si cumplen los requisitos normativos y si están libres de sesgos.
Cemex, que confía en la plataforma de datos en la nube Snowflake para gestionar sus datos y en Satori para gestionar el acceso, tiene un alto ejecutivo centrado exclusivamente en los datos y otro alto ejecutivo centrado en la gobernanza que dirige un equipo de gobernanza, afirma Kaldero.
Acertar con los modelos
Además de la gobernanza de los datos, Cemex ha empezado a crear una gobernanza en torno a los modelos y resultados de la IA. "Eso es algo nuevo", dice Kaldero. "No solo para Cemex, sino para el mundo".
Esta tarea es compartida entre el grupo de IA y ciencia de datos de Kaldero y el grupo de CIO.
Actualmente, Cemex utiliza la IA para predecir las necesidades de piezas, de modo que pueda ahorrar dinero negociando mejores acuerdos con sus proveedores. También utiliza la IA para el trazado de rutas y la programación de camiones, así como en las ventas y la fijación de precios. Si alguno de estos cálculos falla, la empresa puede perder mucho dinero.
Por eso, para protegerse de la desviación del modelo y los sesgos algorítmicos, Cemex utiliza tecnología de Algorithmia, con sede en Seattle.
Muhammad Aurangzeb Ahmad, científico principal de datos, KenSci
KenSci es otra empresa preocupada por las consecuencias de los modelos de IA. La empresa, con sede en Seattle, utiliza la IA para analizar datos sanitarios, un ámbito en el que unos modelos de IA precisos pueden ser literalmente una cuestión de vida o muerte.
"Siempre empezamos revisando los objetivos de los modelos de IA con partes interesadas representativas y diversas", afirma Muhammad Aurangzeb Ahmad, principal científico de datos de la empresa. Para garantizar que esos modelos sean transparentes y responsables, la explicabilidad es un componente esencial.
"Incluso hemos publicado un paquete de código abierto en Python, fairMLHealth, que cualquiera puede utilizar para medir la imparcialidad de los modelos de aprendizaje automático", explica.
Ahmad también recomienda auditar el rendimiento de los modelos de IA en diferentes grupos, para asegurarse de que las minorías y otros grupos vulnerables reciben un trato equitativo.
"La transparencia y la capacidad de explicación de los modelos de IA hacen que los usuarios finales tengan más probabilidades de utilizarlos y confiar en ellos", afirma. "Y más susceptibles de ser auditados -y por tanto corregidos cuando sea necesario".
IA y ética
Otro aspecto clave a tener en cuenta a la hora de configurar una estrategia de gobernanza es la ética del uso de la IA. "La legislación no se ha puesto al día con la tecnología", afirma Ahmad. "Es responsabilidad de los creadores de sistemas de aprendizaje automático alinearla con objetivos éticos. Cuando hay que hacer concesiones, hay que pecar de precavido".
Joe Tobolski, Director Técnico de la consultora de servicios digitales Nerdery, considera que las empresas son cada vez más conscientes de los posibles riesgos éticos de la IA. "Pero, ¿son totalmente conscientes de qué sistemas están utilizando y qué datos de entrenamiento tienen a cubierto? Probablemente no", afirma.
Pocas empresas tienen un código ético claro que aplicar a sus proyectos de IA, fuentes de datos y usos de la tecnología. "Eso es lo que me gustaría que hiciéramos: disponer de un marco sólido y codificado para abordar estas cuestiones", afirma.
Cemex es una empresa que ha limitado deliberadamente su uso de la IA para minimizar posibles complicaciones éticas. Por ejemplo, está dando prioridad a los proyectos que mejoran los servicios y ayudan a los clientes sobre los que, por ejemplo, simplemente reducen el número de empleados, dice Kaldero.
"Los empleados son el centro de la organización, no la tecnología", afirma. "Podríamos automatizar todos nuestros centros de atención telefónica al cliente, pero eso no nos interesa. Cemex está muy orgullosa de ser un empleador que da oportunidades de trabajo a la gente. Hay algo hermoso en esto, tener eso en nuestra misión de la empresa."
Los proyectos de IA se eligen para que tengan un impacto positivo en la mano de obra. Por ejemplo, la seguridad. "Es una gran iniciativa para la IA", dice Kaldero. "Cemex ya ha reducido los accidentes de forma muy drástica, hasta casi cero. Y la forma de llegar a cero es mediante el reconocimiento de imágenes".
Estrategias de gobernanza de la IA
Para la aseguradora de vida MassMutual, con sede en Springfield (Massachusetts), la gobernanza de la IA se basa en un conjunto de principios éticos sobre datos en constante evolución que guían las acciones y la toma de decisiones.
"Creamos específicamente un conjunto de principios para utilizar la IA con el fin de hacer crecer nuestro negocio alineado con los valores de la empresa y los intereses de nuestros asegurados", afirma Sears Merritt, responsable de datos, estrategia y arquitectura de la empresa. "También creamos un equipo para supervisar el uso de la IA mediante la creación de un marco de políticas".
MassMutual comenzó a estudiar la ética y la gobernanza de la IA hace aproximadamente un año, cuando la empresa se dio cuenta de que necesitaba demostrar y garantizar que estaba utilizando la IA en beneficio de sus asegurados.
Merritt ahora supervisa un equipo de seis personas, incluidos consultores de ética y gobernanza de IA, que rastrean si los algoritmos se adhieren a los principios de gobernanza y cómo cambian con el tiempo, creando una estructura formal para los enfoques que la compañía ya estaba siguiendo.
"Creemos que nuestro trabajo tiene una enorme repercusión en todas las partes interesadas", afirma Merrit, que recomienda empezar con unos principios básicos alineados con los valores de la empresa y los intereses de los clientes, y trabajar con socios de los ámbitos jurídico, de cumplimiento, ético y empresarial para aplicarlo de forma coherente.
A continuación, dice, MassMutual planea promover su marco como una de las mejores prácticas del sector.
Fuente: CIO
Imagenes: CIO
Kommentit