La visión artificial ha sido una de las mayores historias de éxito del auge de la IA, permitiendo todo, desde escaneos médicos automatizados hasta autos sin conductor. Pero si bien la precisión de los algoritmos que todo lo ven ha mejorado enormemente, estos sistemas aún pueden confundirse con imágenes que los humanos no tienen problemas para descifrar.
Solo mira el collage en la parte superior de esta historia. Ninguna de estas imágenes es particularmente confusa, ¿verdad? Puedes ver martillos, guantes para horno, y aunque la imagen superior del medio es un poco difícil de descifrar, no lleva mucho tiempo resolver que es una silla vista desde arriba. Mientras tanto, un algoritmo de visión artificial de vanguardia probablemente solo identificaría uno o dos de estos objetos. Esa es una gran rebaja para los sistemas que se supone que conducen nuestros autos
Pero eso es exactamente por qué se hicieron estas imágenes. Forman parte de un conjunto de datos llamado ObjectNet compiló a científicos del MIT del MIT para probar los límites de la visión de la IA. “Creamos este conjunto de datos para decirle a la gente que el problema de reconocimiento de objetos sigue siendo un problema difícil”, dijo el científico de investigación Boris Katz MIT News . “Necesitamos algoritmos mejores y más inteligentes”.
Mejores datos construyen mejores algoritmos, y ObjectNet ayudará aquí. Consiste en 50,000 imágenes de objetos vistos desde ángulos extraños o en contextos sorprendentes (cosas como una tetera boca abajo en un sofá o una silla de comedor boca arriba en el baño). La idea es que ObjectNet se pueda usar para probar y evaluar las capacidades de diferentes algoritmos.
La precisión de la visión artificial cayó hasta un 45 por ciento cuando se probó en ObjectNet
Este tipo de imágenes son difíciles de procesar para las computadoras porque no aparecen en los datos de entrenamiento y porque estos sistemas tienen una comprensión limitada de cómo funcionan los objetos en el mundo real. Los sistemas de inteligencia artificial no pueden extrapolar fácilmente los elementos que han visto antes para imaginar cómo podrían aparecer desde diferentes ángulos, con diferentes luces, etc.
De hecho, cuando los creadores de ObjectNet probaron varios sistemas populares de visión artificial en sus imágenes, descubrieron que su precisión disminuía entre un 40 y un 45 por ciento.
Se podría argumentar que debido a que estas imágenes están diseñadas para engañar a la IA, no es exactamente una pelea justa. Pero seguramente es mejor comprender las debilidades de estos sistemas antes de confiar en ellos. “Si queremos saber qué tan bien funcionarán los algoritmos en el mundo real, debemos probarlos en imágenes que sean imparciales y que nunca hayan visto antes”, uno de los co-creadores del conjunto de datos, científico investigador Andrei Barbu, dijo MIT News .
Sin embargo, esta fragilidad en los sistemas de visión por computadora es bien conocida, y los ingenieros de IA han estado trabajando en este problema durante años. Incluso han lanzado conjuntos de datos similares antes, como este compilado de imágenes confusas de origen natural (en lugar de las imágenes de ObjectNet, que se plantearon deliberadamente). Mejorar el rendimiento de los sistemas de visión AI tampoco es imposible; solo toma tiempo, esfuerzo y entrenamiento. Al igual que con los humanos, chupar algo es el primer paso para convertirse en algo bueno en eso.
