Sony ha desarrollado una nueva tecnología híbrida interesante: Un sensor de imagen con sistema de procesamiento de IA integrado en el hardware , lo que lo convierte en un único sistema integrado. Los beneficios y las aplicaciones para esto son potencialmente enormes ya que las imágenes y el código continúan fusionándose .
La idea es bastante simple en concepto. Toma un sensor de imagen CMOS tradicional como el que encontraría en cualquier teléfono o cámara hoy en día, y lo apila sobre un chip lógico que está construido no solo para extraer píxeles del sensor sino para operar un modelo de aprendizaje automático que extrae información píxeles
El resultado es un solo ensamblaje electrónico que puede realizar una gran cantidad de procesamiento interesante en una foto antes de que esa foto se envíe a otra parte, como una placa lógica principal, una GPU o la nube.
Para ser claros, los sensores de imagen ya tienen procesadores complementarios que hacen el trabajo habitual de clasificar píxeles, comprimirlos en un JPEG, etc. Pero están muy concentrados en realizar un puñado de tareas comunes muy rápidamente.
El chip Sony, como lo explica la compañía, es capaz de procesos y resultados más sofisticados. Por ejemplo, si la exposición es de un perro en un campo, el chip podría analizarlo inmediatamente en busca de objetos y, en lugar de enviar la imagen completa, simplemente informe “perro”, “hierba” y cualquier otra cosa que reconozca.
También podría realizar ediciones esencialmente improvisadas, como recortar todo en la foto, excepto las partes que reconoce y se le ha dicho que informe, solo las flores, pero nunca los tallos, por ejemplo.
El beneficio de un sistema de este tipo es que puede descartar todo tipo de datos innecesarios o no deseados antes de que esos datos entren en la tubería de almacenamiento o procesamiento del dispositivo principal. Eso significa que se usa menos potencia del procesador, por un lado, pero también puede ser más seguro y más seguro.
Las cámaras en lugares públicos podrían desenfocar caras o placas de forma preventiva. Los dispositivos domésticos inteligentes podrían reconocer a las personas sin guardar ni enviar datos de imágenes. Se podrían combinar múltiples exposiciones para formar mapas de calor o frecuencia del campo de visión de la cámara.
Es posible que espere un mayor consumo de energía o latencia de un chip con procesos integrados de inteligencia artificial, pero compañías como Xnor ( recientemente adquirida por Apple ) han demostrado que tales tareas pueden realizarse muy rápidamente y a un costo extremadamente bajo .
Si bien el procesamiento más complejo seguiría siendo competencia de chips más grandes y potentes, este tipo de primer pase es capaz de producir una gran variedad de datos valiosos y, diseñado adecuadamente, podría resultar más robusto contra ataques o abuso.
En este momento, el “Sensor Inteligente de Visión” de Sony todavía es solo un prototipo, disponible para ordenar para pruebas pero no para producción. Pero como Sony es uno de los principales proveedores de sensores de imagen en el mundo, es probable que esto llegue a muchos dispositivos de una forma u otra.
—
Devin Coldewey
TC