Defensa de tesis doctoral en Ciencias de la Computación por la Sra. Oumaima MOUTIK

La Universidad Euromed de Fez (UEMF) se complace en informar al público de la

defensa de tesis doctoral en ”Ciencias de la Computación”

La defensa de tesis tendrá lugar el Sábado 12 de octubre de 2024 a las 10:00 en la UEMF 

Lugar: la Gran Sala del Incubador (LOC001994) 

La tesis será presentada por la Sra. Oumaima

MOUTIK Bajo el tema:

“Técnicas de aprendizaje profundo supervisado y auto-supervisado para el reconocimiento de acciones humanas basadas en esqueleto en datos visuales”

Abstract 

La inteligencia artificial está revolucionando las aplicaciones de comprensión de vídeo, integrándose sin fisuras en nuestra vida cotidiana. Sin embargo, hasta ahora, los algoritmos de reconocimiento de acciones son incapaces de razonar sobre los vídeos como lo hacen los humanos. Con este fin, nuestra tesis pretende desarrollar soluciones de reconocimiento de acciones que se comparen con el estado del arte actual en precisión, pero con costes reducidos en tiempo y recursos económicos.

En primer lugar, estudiamos la posibilidad de mejorar la detección de Interacción Humano-Objeto integrando información de la escena mediante una técnica de compresión llamada Destilación de Conocimiento (Knowledge Distillation). Esta tarea auxiliar ha demostrado eficacia para distinguir entre acciones. A continuación consideramos los objetos circundantes, incluyendo sus movimientos, para mejorar el reconocimiento de acciones basado en esqueleto. Esto supuso diseñar un conjunto que engloba información de objetos a partir de la modalidad RGB, que luego se integró de forma coherente en los datos de esqueleto en 3 dimensiones utilizando una novedosa técnica de fusión temprana.

Durante nuestro recorrido de tesis, investigamos el Aprendizaje Auto-supervisado para la tarea de reconocimiento de acciones basado en esqueleto, impulsados por la necesidad de mitigar el alto coste asociado con las anotaciones humanas. Propusimos una nueva Tarea Pretexto, “Questions Form Puzzle”, basada en operaciones estadísticas. Este trabajo ha proporcionado resultados significativos en conjuntos de datos bien conocidos basados en esqueleto y ha allanado el camino para una amplia investigación futura. A través de estas contribuciones, nuestra tesis avanza en el campo del reconocimiento de acciones, esforzándose por una comprensión de vídeo similar a la humana mientras reduce sustancialmente los requisitos de recursos computacionales y de anotación.

Resumen 

La inteligencia artificial revoluciona las aplicaciones de comprensión de vídeo, integrándose perfectamente en nuestra vida cotidiana. Sin embargo, hasta ahora, los algoritmos de reconocimiento de acciones son incapaces de razonar sobre los vídeos como lo hacen los humanos. Con este objetivo, nuestra tesis pretende desarrollar soluciones de reconocimiento de acciones que se comparen con el estado del arte actual en precisión, pero con costes reducidos en tiempo y recursos.

En primer lugar, estudiamos la posibilidad de mejorar la detección de interacciones humano-objeto integrando información de la escena mediante una técnica de compresión llamada destilación de conocimientos. Esta tarea auxiliar demostró su eficacia para distinguir las acciones. A continuación, consideramos los objetos circundantes, incluidos sus movimientos, para mejorar el reconocimiento de acciones basado en esqueletos. Esto implicó diseñar un conjunto que integrara la información de los objetos a partir de la modalidad RGB, que luego se incorporó de manera coherente a los datos de esqueletos tridimensionales mediante una nueva técnica de fusión temprana.

A lo largo de nuestro recorrido de tesis, investigamos el Aprendizaje Auto-supervisado para tareas de reconocimiento de acciones basadas en esqueletos, motivados por la necesidad de reducir los elevados costes asociados a las anotaciones humanas. Propusimos una nueva tarea de pretexto, "Questions Form Puzzle", basada en operaciones estadísticas. Este trabajo obtuvo resultados significativos en conjuntos de datos conocidos basados en esqueletos y abrió la vía a futuras investigaciones más profundas. Con estas contribuciones, nuestra tesis avanza el campo del reconocimiento de acciones, procurando alcanzar una comprensión de los vídeos comparable a la humana, al tiempo que reduce considerablemente las necesidades en recursos informáticos y de anotación.

Esta tesis será presentada ante los miembros del jurado: