Cómo saber si un inicio de IA es falso

Escrito por Zest AI CTO Jay Budzik. El software ZAML de Zest utiliza tecnología de punta de aprendizaje automático para ayudar a los prestamistas a

Escrito por Zest AI CTO Jay Budzik. El software ZAML de Zest utiliza tecnología de punta de aprendizaje automático para ayudar a los prestamistas a tomar decisiones crediticias más efectivas de manera segura, justa y transparente. Fundado por el CIO de Google Douglas Merrill y respaldado por Matrix Partners , Lightspeed , Upfront, Flybridge y Baidu, Zest trabaja con compañías financieras en todo el mundo para ayudar a que más personas accedan a la feria y crédito transparente.

 

Ha pasado un año desde que MMC Ventures imprimió el hallazgo accidental de que el 40 por ciento de las nuevas empresas de IA no tenían uso material de IA en su stack tecnológico . (El estudio se realizó en Europa pero, oye, podría estar en cualquier parte). Como CTO de una empresa de inteligencia artificial, puedo decir que el zumbido puede ser ensordecedor.

 

Probar que la IA es real (no solo se muestra como real) es un dilema que discutí mucho recientemente con varios clientes, socios y, especialmente, inversores. El esbozo de cómo se ve una verdadera empresa de inteligencia artificial todavía se está formando, y creo que lo que Matt Bornstein y Martin Casado en Andreesseen Horowitz han escrito aquí sobre las empresas de inteligencia artificial será bastante profético.

 

 

Si usted es un inversionista, cliente o socio sentado frente a la mesa del fundador o CEO de una compañía de inteligencia artificial, estas son las preguntas que le haría a su equipo para verificar si son legítimas. Dado que la IA viene en muchos sabores, por el bien de la especificidad, definimos la IA aquí como aprendizaje automático.

 

¿Qué conjuntos de datos usaste para entrenar y evaluar tu IA?

 

La IA de uso general sigue siendo materia de ciencia ficción. La tecnología actual funciona mejor cuando se aplica a una serie de problemas específicos y específicos que la máquina puede aprender a resolver procesando grandes conjuntos de datos de indicadores y resultados históricos. Puede saber qué tan buena es su inteligencia artificial para resolver el problema manteniendo algunos de los datos para probar su precisión. Los líderes de la compañía de inteligencia artificial deberían poder describir qué problema específico está resolviendo su inteligencia artificial, qué tan precisa es y cómo esta precisión conduce a un resultado comercial.

 

Las empresas de IA necesitan datos, cuanto más mejor. Los datos pueden venir en muchos sabores, pero es fácil pensar en términos de filas y columnas. Las filas corresponden a cada observación de un resultado (p. Ej., ¿El préstamo salió mal o se pagó?). Las columnas son las entradas; lo que se sabía antes de que se observara el resultado (por ejemplo, ingresos mensuales en el momento de la solicitud).

 

Una empresa de inteligencia artificial debería poder informarle sobre sus datos con gran detalle. La compañía debería poder transmitir lo que la IA está tratando de predecir, qué datos se usaron para entrenar a la IA y cómo evaluó la efectividad de su IA. ¿Con qué frecuencia se actualiza la IA? ¿Qué planes tienen para incorporar nuevos datos para mejorarlos? Si una empresa tiene buenas respuestas a las preguntas sobre datos, es mucho más probable que sea legítima.

 

¿Qué está haciendo un humano ahora que tu IA debería estar haciendo?

 

Si el equipo al otro lado de la mesa se toma en serio la IA, lo que usted pregunta ha sido una pregunta candente para ellos desde el principio. Desea escucharlos hablar a través de la aplicación específica de su IA. Dependiendo de cómo se implemente y de lo que esté haciendo, la IA puede abordar cualquiera de las miles de tareas potenciales. Desea desconfiar de los equipos que carecen de un enfoque específico y de cualquier cosa que parezca demasiado buena para ser verdad. ¿Afirman que podrá reemplazar vastas franjas de trabajadores? ¿Están lanzando IA como una bala mágica que puede resolver cualquier problema?

 

Cuando una empresa realmente ha trabajado en el proceso de aplicación de IA a un problema específico, sabe cuán precisos son los resultados, cuándo tiende a tener éxito y falla, y dónde tiene lagunas de datos y procesos. La compañía sabe lo suficiente como para ver que la IA es una herramienta que hace lo que las computadoras y las matemáticas avanzadas hacen bien mientras libera a los humanos para hacer lo que hacen mejor.

 

La compañía debe tener una idea clara de lo que la gente necesitará hacer que la IA no puede hacer, y cómo la IA se adaptará a un proceso comercial que involucra a las personas. La gestión de cambios requerida para aplicar la IA a un problema comercial debe describirse para que sepa qué deben hacer los clientes para obtener los beneficios. Las personas que se han peleado con la IA deben ser coherentes, atentas y humildes. Tendrán historias de lo que salió mal y cómo lo corrigieron. Tenga cuidado con las afirmaciones de que la IA no necesita ser monitoreada cuidadosamente.

 

¿Se ha utilizado la IA para generar resultados comerciales consistentes y resolver un problema real para múltiples clientes?

 

Es tentador subestimar lo difícil que es tomar una idea que funciona muy bien en el laboratorio y hacer que funcione en el mundo real. La IA generalmente no funciona como se esperaba cuando se traslada a un entorno de trabajo, y hacer que funcione realmente puede ser un viaje largo y costoso. Solo un 20 por ciento de los proyectos de IA logran salir del laboratorio, según una estimación reciente de Gartner. En mi trabajo, escucho historias de compañías gigantes que han pasado varios años tratando de poner en producción sus proyectos de IA.

 

Es importante aprender algunos detalles sobre cómo funciona la IA en la práctica. Puede preguntar cuántos clientes lo han usado, cuánto tiempo lleva en producción y qué resultados comerciales generó. ¿Cuánto tiempo se tarda en ponerlo en funcionamiento en promedio? ¿Cómo se compara la IA con las medidas históricas del mismo resultado o tarea comercial? ¿Qué hay de métodos alternativos, menos complejos, como reglas, árboles de decisión o modelos lineales?

 

Hay mucha IA que se ve genial. La parte difícil es transformar un método prometedor que funcione en un puñado de ejemplos, o un conjunto de datos específico y limitado, en algo que funcione en el mundo real sin ajustes y mantenimiento constantes y costosos. La ciencia de datos es difícil, y la creación de inteligencia artificial que produce resultados comerciales consistentes requiere la inversión en personas altamente calificadas, excelentes herramientas y disciplina de procesos, incluida la supervisión integral. Solo recuerde que lo que se ve bien en una demostración puede no resultar de la misma manera cuando se aplica a un problema real: haga preguntas para obtener evidencia de que la IA realmente funciona.

 

¿Cuánto tiempo pasó en la construcción de la IA, cuántas pruebas de campo se realizaron y quién la examinó y emitió una opinión al respecto?

 

Usted, por supuesto, quiere saber cuántos doctorados tiene una empresa sobre el personal y cuánto dinero se invirtió en el desarrollo de la IA. Esas son buenas métricas, aunque no pueden contar toda la historia. El objetivo es ver que la compañía haya dedicado el tiempo y la atención adecuados jugando a varios problemas en el laboratorio y luego probando y refinando en el campo. Idealmente, escuchará sobre años de desarrollo junto con la implementación con diferentes tipos de clientes para que pueda estar seguro de que su IA es adaptable y probada.

 

La regulación solo aumentará para la IA. Esto requerirá que los modelos pasen por un cuidadoso proceso de validación y gobierno, como que vemos hoy en los servicios financieros . Es necesario realizar una validación exhaustiva de los modelos de IA para garantizar que los modelos se apliquen de manera responsable. En investigación médica, la Administración de Alimentos y Medicamentos ya aprobó algunos procesos habilitados para la IA, mientras que en las áreas de finanzas, los reguladores han aprobado los modelos de IA en las auditorías. La IA ha pasado a la lista de despliegue y está preparada para una amplia adopción, incluso en industrias reguladas, cuando se sigue un proceso de validación adecuado. ¿Qué prácticas de validación tiene la empresa?

 

¿Qué tan fácil es entender las decisiones o recomendaciones de tu IA?

 

Los primeros resultados de la IA fueron tan prometedores que la industria avanzó sin construir herramientas de transparencia para examinar las decisiones y los procesos. Eso realmente no importa tanto si su IA sugiere publicaciones para hacer clic o elige un color de brillo de labios. Para tomar decisiones reguladas a nivel federal, como prestar o conducir, el gobierno necesita documentación detallada para cada paso del proceso de construcción del modelo de inteligencia artificial y para que las empresas justifiquen cada decisión basada en la inteligencia artificial. En muchas situaciones, las empresas serán responsables por decisiones sesgadas o malos resultados, ya sea que un regulador haya examinado o no el proceso de construcción. Pídale a la compañía de inteligencia artificial que le muestre cómo explican las decisiones basadas en inteligencia artificial a clientes y reguladores.

 

¿Qué tipo de sesgo tiene la IA y cómo se mitiga?

 

Las buenas empresas de inteligencia artificial deben tener una idea clara de cómo hacen que su inteligencia artificial sea justa, porque el sesgo es inherente a cada conjunto de datos. Sabemos que los conjuntos de datos que utilizamos para capacitar a nuestros modelos contienen prejuicios raciales y de género, y que muchos conjuntos de datos no incluyen segmentos demográficos significativos que históricamente han sido desatendidos. Construir una IA más inclusiva nos ha llevado a buscar más datos. Las personas en el equipo también son importantes. Un buen equipo de científicos de datos conoce sus puntos ciegos y valora la diversidad. Alrededor del 40 por ciento de los equipos técnicos de Zest son mujeres y otros segmentos subrepresentados en informática. La diversidad conduce a mejores resultados.

 

Manejando sesgos no intencionales, donde las intenciones benignas terminan con resultados injustos, los círculos vuelven a la transparencia. Dado que la IA puede encontrar correlaciones invisibles entre piezas de información aparentemente diferentes, las entradas pueden parecer insesgadas pero los resultados pueden estar sesgados. La compañía de IA ética tendrá una estrategia integral y procesable para medir y mitigar el sesgo para que la IA se use de manera justa e inclusiva. Pide verlo.

 

Todos quieren tener un negocio exitoso y ganar dinero. El uso de la IA para alcanzar sus objetivos no debería ser difícil, solo tiene que hacer las preguntas correctas para asegurarse de que su socio en IA sea ético y demuestre que tiene la disciplina para poner su IA en producción de manera consistente. Las verdaderas compañías de inteligencia artificial pueden contarle todo sobre este viaje.

 

Ilustración: Li-Anne Dias .

 


Tatiana Vazquez. Tatiana Vázquez es escritora de Noyola Magazine especializada en inversiones y startups emergentes.

Related Posts
Leer más

Los grandes despidos de Disney

El gigante del entretenimiento ha tenido que limitar severamente la asistencia a su parque en Florida, mientras que las normas estatales obligaron a Disney a mantener cerrado su parque de Disneylandia en el área de Los Ángeles.