La incorporación de la IA generativa en los flujos de trabajo en puntos críticos puede maximizar su eficacia y, al mismo tiempo, minimizar el costo. Algunos CIO se muestran entusiastas, mientras que otros son escépticos.
Así como las técnicas japonesas Kanban revolucionaron la fabricación hace varias décadas, métodos similares “justo a tiempo” están dando sus frutos a medida que las empresas se familiarizan con la IA generativa.
“La puntualidad es fundamental. No conviene hacer el trabajo con demasiada antelación porque se necesita ese contexto en tiempo real. Activamos la IA justo a tiempo”, afirma Sastry Durvasula, director de operaciones, información y tecnología digital de la firma de servicios financieros TIAA.
TIAA ha lanzado una implementación de inteligencia artificial generativa, denominada internamente como “Research Buddy”, que reúne datos y conocimientos relevantes de documentos disponibles públicamente para Nuveen, la división de gestión de activos de TIAA, según sea necesario.
"Cuando los analistas de investigación quieren realizar una investigación, es cuando se activa la IA. Toma la información del analista, proporciona las respuestas a las preguntas del analista y genera el informe".
Sin embargo, la puntualidad no es la única razón para adoptar un enfoque de IA justo a tiempo. El costo del procesamiento de la IA es al menos igual de importante. “El costo de la IA puede ser astronómicamente alto y no siempre justificado en términos de valor comercial”.
No todo el tiempo
Es un concepto del que oigo hablar mucho, pero no estoy seguro de estar de acuerdo con lo que dice la gente”, afirma, y añade que la mayoría de los líderes están interesados en enfoques justo a tiempo porque piensan que la IA generativa es cara. Puede que sea para interacciones con clientes de bajo margen, pero para momentos en los que hay millones de dólares en juego, el coste de invocar la IA generativa es una miseria, afirma Gualtieri.
“Si te cuesta un millón de dólares y te ahorras 10 millones, entonces el costo no debería ser un impedimento”, afirma.
Gualtieri afirma que los líderes de TI deben saber cuándo el costo es un factor para sus cargas de trabajo de IA y cuándo no. Por ejemplo, debido a que generalmente utilizan modelos de lenguaje grande (LLM) preentrenados, la mayoría de las organizaciones no gastan cantidades exorbitantes en infraestructura y en el costo de entrenar los modelos. Y aunque el talento de IA es caro , el uso de modelos preentrenados también hace innecesario el talento de ciencia de datos de alto precio.
“Solo necesitan que su equipo de desarrollo de software incorpore ese componente [de IA gen.] en una aplicación, por lo que el talento ya no es un factor limitante”, afirma el analista.
El uso de servicios de generación aumentada por recuperación (RAG, por sus siglas en inglés) es una forma de mantener bajos los costos de IA, afirma Gualtieri. RAG mejora la calidad y la relevancia de los resultados de la IA de generación, al tiempo que reduce la necesidad de entrenamiento de modelos personalizados y mantiene bajo control los costos. “Los proveedores están proporcionando soluciones RAG integradas para que las empresas no tengan que desarrollarlas por sí mismas. Google ha presentado un servicio RAG. Se utiliza un modelo y luego se inyecta el contenido en el último minuto cuando lo necesita”, explica Gualtieri.
Sin embargo, ese último punto que plantea Gualtieri resume la propuesta de valor de los enfoques justo a tiempo para la IA generativa: inyectar llamadas a modelos solo cuando es necesario y en el último minuto de necesidad. De hecho, técnicas como RAG han surgido como mejores prácticas para operaciones con IA para equipos que las han desarrollado y empleado no solo para ofrecer el máximo valor comercial, sino también para minimizar la carga de IA de sus casos de uso y flujos de trabajo específicos.
Estas técnicas permiten a las empresas utilizar LLM listos para usar y ya preparados sin necesidad de entrenarlos más con sus conjuntos de datos específicos, y diseñar flujos de trabajo que, a través de RAG, enfatizan el trabajo de desarrollo de software en lugar del talento científico de datos, que es más caro y escaso. Esto es parte del espíritu de la IA justo a tiempo.
Gen AI para decisiones justo a tiempo
Una empresa ha implementado una plataforma de inteligencia artificial de última generación para toda la empresa, pensada para casos específicos en los que puede acelerar los flujos de trabajo. SAIC, un integrador de tecnología que presta servicios a los mercados de defensa, espacio, civil e inteligencia, presentó en mayo de 2024 su Tenjin GPT en Microsoft Azure y la plataforma OpenAI a los 24.000 empleados de la empresa. Los casos de uso iniciales mejoran los flujos de trabajo en puntos estratégicos de toda la organización.
Por ejemplo, la empresa ha creado un chatbot para ayudar a los empleados con los incidentes de servicio de TI, así como un agente virtual para proporcionar información sobre las solicitudes de servicio al cliente. Tenjin también se está utilizando para el desarrollo de software asistido por IA, la preparación y visualización de datos y la generación de contenido. SAIC también lo ofrece a los clientes de SAIC.
Tenjin GPT es el primer paso en una estrategia de inteligencia artificial a largo plazo, según Nathan Rogers, CIO de SAIC.
“Queremos que la IA llegue a una base de usuarios mucho más amplia. En última instancia, tendremos desarrolladores ciudadanos en toda la empresa que puedan llegar a un momento de toma de decisiones justo a tiempo tanto para casos de uso internos como para nuestros clientes gubernamentales”, afirma Rogers.
¿Qué hay en un nombre?
Si bien admitió que la IA de última generación puede ser costosa y debe manejarse con cuidado, un líder de TI cuestionó si la etiqueta “justo a tiempo” es adecuada.
“El concepto de justo a tiempo no me convence del todo. Se trata más bien de utilizar la técnica adecuada en los lugares adecuados para mitigar la necesidad de recursos innecesarios y gestionar los costes y la eficiencia. Eso es lo mismo que todo lo que hacemos”, afirma Max Chan, director de sistemas de información de Avnet, un distribuidor de tecnología y proveedor de soluciones.
“Sin embargo”, añade, “la analogía [justo a tiempo] es válida para el alto coste y el alto consumo de recursos de la IA general. La IA general y los LLM utilizan muchos ciclos de cómputo, y la IA general no es la respuesta a todo. No queremos desperdiciar ciclos innecesarios y no obtener un resultado”, afirma Chan. “[La IA] tiene que ser muy específica. No hacemos IA por la IA misma, sino que buscamos cómo ayuda a los resultados finales”.
Otra pregunta con respecto a un enfoque justo a tiempo para la IA genérica es si es posible insertar un ser humano en el circuito (HITL, por sus siglas en inglés) para garantizar que las respuestas de la IA genérica no sean sesgadas o alucinatorias. Dependiendo de cómo se estructure el flujo de trabajo general, HITL puede ser un desafío.
"No se puede tener el lujo de contar con HITL cuando se cuenta con IA en tiempo real. Pero es un problema solucionable. Hay que hacerlo de antemano", afirma Durvasula de TIAA.
Eso significa asegurarse de que las reglas de IA responsables estén incorporadas en el agente de IA antes de implementarlo en producción. En el caso de TIAA, esto también significa que los analistas de Nuveen revisen los resultados de Research Buddy antes de usarlos, explica el CIO.
Por si acaso
Para Durvasula, el concepto de “por si acaso” también se aplica al Research Buddy impulsado por IA que utilizan los asociados de Nuveen, que produce informes en el momento justo, pero solo cuando es necesario.
“Los flujos de trabajo orientados a la inversión deben ser por si acaso. Es necesario tener información disponible para los profesionales de la inversión en caso de que la necesiten”, afirma. Además, “cuando se presta servicio a los profesionales de la inversión con grandes volúmenes de datos públicos en tiempo real, no se puede tener mucha latencia. La personalización y las indicaciones personalizadas deben realizarse en tiempo real”, añade el CIO.
Aunque es revolucionaria, la IA de última generación suele implementarse de manera gradual, mejorando las operaciones, las experiencias y los resultados poco a poco. Las técnicas japonesas revolucionaron de manera similar la industria al reducir pequeñas cantidades de tiempo y costos en muchos lugares. Ya sea justo a tiempo, por si acaso o simplemente de manera inteligente, aprovechar al máximo la IA requiere un nivel similar de reflexión y planificación.
Fuente: CSO
コメント