Apple ha publicado un estudio de investigación que demuestra cómo los modelos de lenguaje largo, los LLM, pueden fusionar datos de sensores como los de audio y movimiento para reconocer la actividad que está realizando el usuario. Y sin necesidad de entrenarse específicamente para cada tarea.
Contexto. La fusión de sensores consiste en combinar información de diferentes fuentes para obtener una visión más completa del entorno. En el ámbito de los móviles y relojes inteligentes, esto podría implicar integrar el sonido del entorno (medido por el micrófono) con datos de movimiento (como acelerómetros o giroscopios).
Hasta ahora, muchas soluciones de reconocimiento de actividad dependen de modelos específicamente entrenados para cada tipo de dato o tarea. Eso hace que sea poco escalable.
Lo que demuestra Apple. En su citado estudio, Apple muestra cómo los LLMs pueden hacer una "fusión tardía" ("late fusion") de información. Es decir, que primero procesan por separado los datos de audio y movimiento con modelos más pequeños para generar descripciones en texto y etiquetas. Después esos resúmenes alimentan a un LLM de mayor tamaño.
Usando un conjunto de datos (con actividades cotidianas como cocinar, hacer la colada o practicar deporte), Apple mostró como los modelos eran capaces de identificar qué estaba haciendo una persona con mucha más precisión de la que se conseguiría por pura casualidad. Incluso sin haber sido entrenados específicamente para esas tareas.
En Applesfera
iOS 27 apunta a traer lo que muchos pedíamos: estabilidad. Y también mucha IA, según Gurman
Por qué es importante. Este estudio es relevante porque muestra que los modelos pueden adivinar qué está haciendo una persona incluso cuando los datos que reciben no son muy claros y sin necesidad de entrenarlos para cada actividad concreta. Además, permite que el sistema funcione con menos recursos, ya que no hace falta crear un modelo nuevo para cada tarea.
Otro punto importante es que los modelos no trabajan directamente con las grabaciones de audio, sino con descripciones en texto generadas por otros sistemas, lo que puede ayudar a proteger mejor la privacidad.
Cómo podría implementarse. En el ecosistema de Apple, esta técnica podría servir para integrar nuevas funciones de salud o mejorar las que ya hay. Por ejemplo, que el Apple Watch mejore la detección de entrenos y arroje datos más precisos de los mismos.
También podría usarse en el iPhone para analizar patrones de movimiento y sonido, detectando actividades cotidianas sin depender de modelos entrenados para ello.
Y ahora qué. El estudio muestra avances sólidos, pero Apple sigue enfrentándose a una brecha publica cada vez más palpable. Publican cada vez más estudios sobre IA, pero Apple Intelligence no es suficiente para la opinión pública y muchos usuarios perciben que va por detrás de la competencia en funciones reales.
La cuestión ahora es si este conocimiento acabará traduciéndose en mejoras visibles en iOS y watchOS o si seguirá quedándose en el ámbito académico. Por lo pronto, hay ya filtraciones sobre una futura suscripción de salud con IA en la que estudios como estos encajan mucho.
Imagen de portada | Generada con Gemini
En Applesfera | Nueva Siri: novedades, dispositivos compatibles y todo lo que sabemos sobre ella
En Applesfera | Nuevo iOS 27 - todo lo que creemos saber sobre el futuro sistema operativo para el iPhone
-
La noticia Apple acaba de dar revelar un gran avance de la IA: cómo detectan lo que estamos haciendo. La duda está en cómo lo aprovecharán fue publicada originalmente en Applesfera por Álvaro García M. .
Continúar leyendo...