Modelos de difusión para generar movimientos 3D de un brazo robótico a partir de texto”

Abstract

El presente trabajo de investigación se centra en la implementación de un modelo para la generación de poses 3D de un brazo robótico con 6 grados de libertad, utilizando modelos de difusión a partir de prompts de texto. Inspirado en la reciente evolución de la inteligencia artificial y los modelos de generación de imágenes, este proyecto busca aplicar estas tecnologías en el ámbito de la robótica, específicamente en la manipulación robótica de precisión. La investigación se estructura en varias fases: la primera fase consiste en la adaptación de un modelo de difusión especializado en la generación de poses 3D humanas, denominado MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model de Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, y Ziwei Liu (2022), enfocándose únicamente en las poses de uno de los brazos. A partir de estas poses, se procederá a ajustar las posiciones de cada articulación del brazo robótico, considerando los parámetros físicos necesarios como masas y momentos de inercia. En la segunda fase, se desarrollará el cálculo de la cinemática del brazo robótico, abordando tanto la cinemática directa como inversa para asegurar una correcta implementación de las poses generadas. Este paso es crucial para entender cómo cada movimiento impacta en la posición final del brazo y para permitir el control preciso del mismo a través de comandos de texto. La tercera fase se dedicará al análisis dinámico del brazo, donde se simularán las fuerzas y torques necesarios para realizar las tareas definidas. Este análisis incluirá la selección de motores adecuados que puedan cubrir las necesidades operativas del brazo, asegurando que los actuadores elegidos sean capaces de proporcionar el rendimiento requerido. Finalmente, se implementará una serie de simulaciones y pruebas prácticas para validar el sistema desarrollado. Se evaluará la precisión y eficiencia del modelo de difusión en la generación de poses útiles y su impacto en la operatividad del brazo robótico. Este trabajo no solo pretende avanzar en la integración de técnicas avanzadas de IA en la robótica, sino también proporcionar una herramienta versátil que pueda adaptarse a diferentes tareas y escenarios mediante simples comandos de texto. La combinación de modelos de difusión con la robótica promete abrir nuevas posibilidades en la programación y control de robots, facilitando su uso en diversas aplicaciones industriales y de investigación.

El present treball d’investigació se centra en la implementació d’un model per a la generació de posicions 3D d’un braç robòtic amb 6 graus de llibertat, utilitzant models de difusió a partir de prompts de text. Inspirat en la recent evolució de la intel·ligència artificial i els models de generació d’imatges, aquest projecte busca aplicar aquestes tecnologies en l’àmbit de la robòtica, específicament en la manipulació robòtica de precisió. La investigació s’estructura en diverses fases: la primera fase consisteix en l’adaptació d’un model de difusió especialitzat en la generació de posicions 3D humanes, denominat MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model de Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, i Ziwei Liu (2022), centrant-se únicament en les posicions d’un dels braços. A partir d’aquestes posicions, es procedirà a ajustar les posicions de cada articulació del braç robòtic, considerant els paràmetres físics necessaris com masses i moments d’inèrcia. En la segona fase, es desenvoluparà el càlcul de la cinemàtica del braç robòtic, abordant tant la cinemàtica directa com inversa per assegurar una correcta implementació de les posicions generades. Aquest pas és crucial per entendre com cada moviment impacta en la posició final del braç i per permetre el control precís d’aquest mitjançant comandaments de text. La tercera fase es dedicarà a l’anàlisi dinàmica del braç, on se simularan les forces i torques necessaris per realitzar les tasques definides. Aquesta anàlisi inclourà la selecció de motors adequats que puguen cobrir les necessitats operatives del braç, assegurant que els actuadors escollits siguen capaços de proporcionar el rendiment requerit. Finalment, s’implementarà una sèrie de simulacions i proves pràctiques per validar el sistema desenvolupat. S’avaluarà la precisió i eficiència del model de difusió en la generació de posicions útils i el seu impacte en l’operativitat del braç robòtic. Aquest treball no només pretén avançar en la integració de tècniques avançades d’IA en la robòtica, sinó també proporcionar una eina versàtil que puga adaptar-se a diferents tasques i escenaris mitjançant simples comandaments de text. La combinació de models de difusió amb la robòtica promet obrir noves possibilitats en la programació i control de robots, facilitant el seu ús en diverses aplicacions industrials i de recerca.

This research work focuses on the implementation of a model for generating 3D poses of a robotic arm with 6 degrees of freedom using diffusion models based on text prompts. Inspired by the recent evolution of artificial intelligence and image generation models, this project aims to apply these technologies in the field of robotics, specifically in precision robotic manipulation. The research is structured in several phases: the first phase involves adapting a diffusion model specialized in generating human 3D poses, called MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model by Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu (2022), focusing only on the poses of one arm. Based on these poses, the positions of each joint of the robotic arm will be adjusted, considering the necessary physical parameters such as masses and moments of inertia. In the second phase, the kinematics of the robotic arm will be calculated, addressing both direct and inverse kinematics to ensure the correct implementation of the generated poses. This step is crucial for understanding how each movement impacts the final position of the arm and for allowing precise control of the arm through text commands. The third phase will be dedicated to the dynamic analysis of the arm, where the necessary forces and torques to perform the defined tasks will be simulated. This analysis will include the selection of suitable motors that can cover the operational needs of the arm, ensuring that the chosen actuators are capable of providing the required performance. Finally, a series of simulations and practical tests will be implemented to validate the developed system. The precision and efficiency of the diffusion model in generating useful poses and its impact on the operability of the robotic arm will be evaluated. This work not only aims to advance the integration of advanced AI techniques in robotics but also to provide a versatile tool that can adapt to different tasks and scenarios through simple text commands. The combination of diffusion models with robotics promises to open new possibilities in robot programming and control, facilitating their use in various industrial and research applications.