Aprender ciencias con IA y en 3D
Unos investigadores dirigidos por Ryo Suzuki en la Universidad de Colorado en Boulder están utilizando IA para ayudar a que el contenido educativo sea más interactivo y atractivo.
En concreto se trata de contenido en física. La nueva herramienta se llama Augmented Physics (Física aumentada) y permite a los estudiantes convertir diagramas estáticos en imágenes dinámicas y vivas utilizando sólo un iPad, lo que les ayuda a visualizar mejor los conceptos.
Con Augmented Physics esperan que los estudiantes puedan comprender mejor procesos complejos (como el momento, la corriente eléctrica, la división celular o la refracción de la luz) y verlos en acción.
Augmented Physics está integrada con aprendizaje automático para poder diseñar y crear tales simulaciones de física interactivas a partir de diagramas estáticos de libros de texto. Aprovechando los avances recientes en visión artificial, como Segment Anything y los LLMs multimodal, su sistema basado en la web permite a los usuarios extraer diagramas de forma semiautomática de libros de texto de física y generar simulaciones interactivas basadas en el contenido extraído.
Estos diagramas interactivos se integran perfectamente en las páginas escaneadas de los libros de texto, lo que facilita experiencias de aprendizaje interactivas y personalizadas en varios conceptos de física, como óptica, circuitos y cinemática.
A partir de un estudio de elicitación con siete instructores de física, exploraron cuatro estrategias de aumento clave: experimentos aumentados, diagramas animados, enlace bidireccional y visualización de parámetros. El equipo también diseñó su producto con comentarios de estudiantes que estudian física junto con profesores de ciencias.
Los estudiantes comienzan capturando un diagrama de un libro de texto con un iPad. Luego, la tecnología utiliza el modelo Segment Anything de Meta para asignar a los objetos de ese diagrama varias funciones. Después, la herramienta utiliza IA para aplicar leyes físicas al diagrama, animando el movimiento previsto tal como aparecería en la realidad. Al ajustar los parámetros, los estudiantes pueden visualizar, en tres dimensiones, cómo fuerzas tales como la gravedad, la energía o la fricción afectan al movimiento.
En este momento la herramienta logra una simulación efectiva en el 60% de los casos, pero el equipo está trabajando para aumentar esa cifra. Los investigadores también esperan ampliar las capacidades de la IA más allá de la física, de modo que pueda usarse para dar vida a documentos de una mayor variedad de temas utilizando gafas aumentadas, lo que permitiría a los estudiantes aprender en mundos interactivos en 3D.
Suzuki ve el proyecto como una oportunidad para reinventar el libro de texto, dándoles a los estudiantes la oportunidad no sólo de leer sobre física, sino también de ver temas como el movimiento y las corrientes eléctricas en acción.
