Soi

Rapports scientifiques volume 13, Numéro d'article : 8966 (2023) Citer cet article

294 accès

2 Altmétrique

Détails des métriques

Un phénomène auto-organisé dans la coordination posturale est essentiel pour comprendre le mécanisme d'auto-commutation des modes de coordination posturale en phase et anti-phase pendant la position debout et les activités supra-posturales associées. Auparavant, une approche basée sur un modèle a été proposée pour reproduire un tel phénomène auto-organisé. Cependant, si nous posons ce problème en incluant le processus d'établissement du modèle prédictif interne dans notre système nerveux central, le processus d'apprentissage est essentiel à prendre en compte pour établir un réseau de neurones pour gérer le contrôle postural adaptatif. En particulier lorsque les caractéristiques corporelles peuvent changer en raison de la croissance ou du vieillissement ou sont initialement inconnues pour les nourrissons, une capacité d'apprentissage peut améliorer l'hyper-adaptabilité du contrôle moteur humain pour maintenir la stabilité posturale et économiser de l'énergie dans la vie quotidienne. Cette étude a tenté de générer un réseau de neurones auto-organisé qui peut coordonner de manière adaptative le mode postural sans supposer un modèle corporel préalable concernant la dynamique et la cinématique du corps. Les modes de coordination posturale sont reproduits dans les tâches de suivi tête-cible grâce à un algorithme d'apprentissage par renforcement profond. Les transitions entre les types de coordination posturale, c'est-à-dire les modes de coordination en phase et en opposition de phase, pourraient être reproduites en changeant la condition de tâche de la cible de suivi de tête, en changeant les fréquences de la cible en mouvement. Ces modes sont considérés comme des phénomènes émergents existant dans les tâches de suivi de la tête humaine. Divers indices d'évaluation, tels que la corrélation et la phase relative de l'articulation de la hanche et de la cheville, sont analysés pour vérifier la performance du réseau neuronal auto-organisé pour produire la transition de coordination posturale entre les modes en phase et antiphase. De plus, après l'apprentissage, le réseau neuronal peut également s'adapter aux changements continus des conditions de la tâche et même aux conditions de masse corporelle non apprises en gardant une alternance cohérente des modes en phase et antiphase.

Comprendre la coordination posturale humaine est essentiel pour concevoir des exercices de rééducation visant à améliorer la qualité de vie des personnes âgées et des personnes atteintes de déficiences motrices ou de troubles cérébraux tels que les accidents vasculaires cérébraux. L'exploration des mécanismes adaptatifs et synergiques de contrôle de la posture est importante pour favoriser la récupération de l'équilibre grâce à une conception efficace de l'entraînement physique.

Des études sur le contrôle de l'équilibre humain ont été largement menées pour comprendre les compétences d'apprentissage moteur humain dans les tâches debout quotidiennes1,2. Les stratégies de base de contrôle de l'équilibre humain telles que la stratégie de la cheville et la stratégie de la hanche ont été bien étudiées par des expériences humaines3,4,5 et des simulations de modélisation informatique6,7,8,9,10. Ces stratégies, y compris les contraintes cinématiques et cinétiques des moteurs corporels, nous aideraient à comprendre le changement de mode fonctionnel existant de la coordination posturale dans le contrôle de l'équilibre sous diverses perturbations externes ou dans des activités supra-posturales connexes.

Des schémas de contrôle postural sur les articulations de la hanche et de la cheville3 et les phases relatives, telles que la phase en phase et l'antiphase, ont été définis pour évaluer les schémas de coordination. Leurs forces et leurs limites ont été discutées dans une étude11 sur la coordination posturale hanche-cheville dans diverses tâches d'atteinte. En tant qu'unités de coordination des mouvements12, les mouvements entre les articulations de la hanche et de la cheville sont nécessaires pour le contrôle postural en position13. La coordination de la cheville et de la hanche pendant la stratégie de station debout tranquille14, pour deux conditions : les yeux ouverts et fermés, a été observée avec les portraits de phase correspondants du déplacement angulaire, de la vitesse et de l'accélération de la hanche et de la cheville. Les contributions des articulations de la cheville et de la hanche ont été distinguées pour le contrôle multi-segments dans des expériences humaines sur des participants sains et atteints de la maladie de Parkinson ainsi que dans des simulations de modèles informatiques15. De même, la coordination des mouvements inter-segments entre les articulations de la hanche et de la cheville influencée par les fréquences de balancement en ce qui concerne les stratégies de contrôle de l'équilibre, telles que la stratégie cheville et hanche-cheville, a été utilisée pour évaluer les déficiences sensorielles et motrices dans les lésions incomplètes de la moelle épinière (iSCI)16. En ce qui concerne le phénomène d'auto-organisation de la coordination posturale, les travaux du groupe Bardy sont bien connus que le mode d'auto-organisation émerge naturellement avec deux modes, "en phase ou anti-phase", des articulations de la hanche et de la cheville dans les expériences de suivi de la tête humaine17,18,19. En fonction de la fréquence cible dans la tâche donnée au sujet, le mode en phase a été utilisé pour les basses fréquences et le mode anti-phase a été utilisé pour les hautes fréquences.

Il convient de noter que les algorithmes d'optimisation peuvent être appliqués à la mise en œuvre d'une reproduction de mouvement postural de type humain. Par exemple, la transition entre les modes de coordination posturale en phase et anti-phase a été prédite par le modèle d'optimisation dynamique dans les études précédentes20,21, et l'influence des contraintes sur la sélection des stratégies de posture a été évaluée pour comprendre la capacité de contrôle postural. Un processus d'optimisation sous contrainte, basé sur la minimisation d'un critère énergétique avec une contrainte d'équilibre, a été proposé21 mais ce modèle ne considère que le comportement en régime permanent. Le comportement dynamique transitoire pourrait être reproduit20 avec un pseudo-inverse jacobien pour fournir une solution de norme minimale. Cependant, les modèles ci-dessus nécessitent des connaissances en cinématique corporelle ou en dynamique pour l'approche d'optimisation du modèle.

Cependant, à notre connaissance, il n'existe aucune littérature sur une approche sans modèle capable de reproduire la reproduction des modes de coordination posturale auto-organisée pour les tâches de suivi de la tête. En particulier lorsque les caractéristiques corporelles peuvent changer en raison de la croissance ou du vieillissement ou sont initialement inconnues pour les nourrissons, une capacité d'apprentissage peut être essentielle pour l'hyper-adaptabilité du contrôle postural humain. Ainsi, dans cette étude, nous proposons et vérifions si nous pouvons reproduire un réseau de neurones auto-organisé formé avec un algorithme d'apprentissage sans modèle pour la transition de phase «hanche-cheville» de type humain en fonction des conditions de la tâche.

Par conséquent, nous développons la méthode basée sur l'apprentissage pour étudier les mécanismes émergents des modes de coordination posturale dans diverses situations. Les principaux apports de notre étude se résument comme suit.

Une application d'apprentissage par renforcement profond (DRL) a été proposée pour former des réseaux de neurones reproduisant des modes de coordination posturale auto-organisés lors de tâches de suivi de la tête.

Les contraintes liées aux tâches, et les fréquences du point cible, ont été prises en compte et leur influence sur le basculement des modes de coordination posturale est étudiée.

Différents indices d'évaluation, tels que la corrélation et la phase relative de la cheville et de la hanche, ont été utilisés pour distinguer les phases posturales lors des tâches de suivi de la tête, et le comportement transitoire entre en phase et en antiphase a été reproduit avec le réseau de neurones appris par une alternance continue de la condition de la tâche.

Le réseau de neurones appris a également démontré une alternance en phase et en antiphase pour différentes conditions de masse du haut du corps non apprises pour une capacité transférable. L'anti-phase a été utilisée pour les conditions de masse supérieure plus élevées afin de gérer l'effet d'inertie accru tout en maintenant l'équilibre.

Nous avons choisi d'utiliser l'apprentissage par renforcement profond dans cette étude car il s'agit d'un algorithme approprié pour étudier la solution de contrôle sous redondance et avec la condition d'une dynamique corporelle inaccessible pour l'optimisation multi-objectifs22.

La suite de l'article est organisée comme suit. La section "Modèle et méthodologie" présente le modèle et la méthodologie, y compris le paramètre de simulation, l'algorithme, la fonction cible et de récompense, et la conception de l'expérience. Les résultats de l'apprentissage moteur adaptatif avec différents contextes expérimentaux sont analysés dans la section "Résultats de l'apprentissage moteur sur les tâches posturales". Dans la section « Poursuite de la discussion », la relation entre les facteurs influents et la coordination de phase est discutée plus en détail. Les conclusions et perspectives de cette étude sont résumées dans la section "Conclusion et perspectives".

(a) Modèle de simulation d'un humanoïde dans Isaac Gym. (b) Le cadre de formation de PPO, qui est un type d'apprentissage par renforcement profond avec une structure critique d'acteur.

La formation de réseaux de neurones à l'aide de l'apprentissage par renforcement profond nécessite la collecte de données générées lors de l'interaction de l'agent humanoïde avec l'environnement physique externe sous gravité. Nous avons mené nos expériences dans l'environnement de simulation avec le moteur physique fourni par Isaac Gym23.

Isaac Gym est un moteur de simulation physique basé sur GPU hautes performances conçu pour l'apprentissage des robots par la société NVIDIA23. Avec l'accélération GPU de bout en bout et le traitement parallèle de milliers d'environnements de simulation, Isaac Gym peut augmenter considérablement la vitesse d'entraînement lors de l'exécution de tâches d'apprentissage par renforcement par rapport à d'autres environnements logiciels de simulation.

Le modèle de simulation que nous avons utilisé pour l'expérience est modifié sur la base de l'agent humanoïde dans Isaac Gym, comme illustré à la Fig. 1. La version originale du robot humanoïde a 21 degrés de liberté. Afin d'exclure les variables non pertinentes, nous avons conservé uniquement les articulations de la hanche et de la cheville des deux côtés du corps et fixé les autres articulations dans nos simulations. La distance entre deux pieds correspondait à la largeur des épaules. En donnant l'entrée en miroir aux mêmes articulations, nous réduisons l'amplitude de mouvement de l'humanoïde à un espace 2D. Ensuite, le robot dispose de quatre degrés de liberté : hanche et cheville pour la jambe droite et gauche. Les autres paramètres physiques du modèle de simulation sont présentés dans le tableau 1.

Nous utilisons Proximal Policy Optimization (PPO)22 pour entraîner le robot dans notre expérience, qui est l'un des algorithmes d'apprentissage par renforcement profond de pointe basés sur le cadre acteur-critique. PPO peut collecter simultanément des données de formation de plusieurs agents sur la base d'une architecture parallèle avec des mises à jour synchrones. Cela lui permet de tirer pleinement parti de la simulation parallèle Isaac Gym sur GPU pour affiner le processus d'entraînement.

Comme le montre la figure 1b, dans le cadre de formation de PPO, il existe deux réseaux de neurones, l'un est le réseau d'acteurs \(\pi _{\theta }\left( a_{t} \mid s_{t}\right)\) et l'autre est le réseau critique \(V_{\phi }\left( s_{t}\right)\). Le réseau d'acteurs \(\pi _{\theta }\) est utilisé pour échantillonner l'action \(a_t\), selon l'état d'entrée \(s_t\) à chaque pas de temps de contrôle. Le réseau critique \(V_{\phi }\left( s_{t}\right)\) est la fonction de valeur qui peut estimer le rendement moyen attendu à partir de l'état \(s_t\).

PPO met à jour le réseau d'acteurs et le réseau critique sur la base de l'expérience recueillie à partir de l'interaction entre l'agent et l'environnement. La fonction de perte utilisée pour mettre à jour l'acteur-réseau \(\pi _{\theta }\) s'exprime comme suit :

où \(\hat{A}_{t}\) est l'avantage estimé au temps t. L'avantage \(A_t\) est utilisé pour évaluer à quel point l'action \(a_t\) prise dans l'état \(s_t\) est bonne ou mauvaise. \(A_t\) supérieur à zéro indique que l'action actuellement entreprise peut obtenir plus de récompense que prévu et vice versa.

PPO utilise une méthode appelée "clipping" pour limiter l'ampleur des mises à jour, ce qui contribue à améliorer la stabilité de la formation. Le rapport de vraisemblance \(\omega _t\) est utilisé pour mesurer la différence entre la nouvelle politique \(\pi _{\theta }\) et l'ancienne politique \(\pi _{\theta _{\text{ old } }}\).

Si \(\omega _t\) au-delà de la plage de \(\left( 1-\varepsilon , 1+\varepsilon \right)\), la fonction clip \({\text {clip}}\left( \omega _{t}(\theta ), 1-\varepsilon , 1+\varepsilon \right)\) définit le gradient à zéro. Ensuite, la fonction minimum sélectionnera une limite inférieure pour \(L^{CLIP}(\theta )\) entre les avantages écrêtés et non écrêtés.

La fonction de perte pour le réseau critique est notée :

où \(V_{\theta }\) est la valeur estimée et \(V_{t}^{{\text {target}}}\) est la valeur réelle. Les hyper-paramètres de la PPO, utilisés dans nos expérimentations, sont listés dans le tableau 2.

Notre objectif est de laisser la tête de l'humanoïde suivre un mouvement réciproque périodique dans la direction de l'axe X dans le plan sagittal. Nous utilisons la boule rouge au-dessus de la tête de l'humanoïde pour indiquer l'emplacement du point cible pour une meilleure visualisation. L'équation de mouvement de la trajectoire de la cible de suivi de tête est formulée comme suit :

où A est l'amplitude, telle que le point cible se déplace le long de l'axe X dans la plage [0, 2A]. f désigne la fréquence de déplacement du point cible. Ce réglage de cible est identique à l'expérience de suivi de la tête humaine utilisée dans l'étude19 car ils ont effectué un suivi de cible directionnel antéropostérieur avec la tête pour les participants debout.

La fonction de récompense \(R_{total}\) s'exprime comme suit :

où \(R_{stay}\) est utilisé pour limiter le mouvement du pied de l'humanoïde par rapport au sol, où \(P_{f0}\) est la position initiale du pied de l'humanoïde et \(P_{ft}\) est la position du pied de l'humanoïde au temps t. \(R_{target}\) est utilisé pour encourager l'humanoïde à suivre la cible, où \(P_{target_x}\) est la position du point cible sur l'axe des x et \(P_{head_x}\) est la position de la tête de l'humanoïde sur l'axe des x. \(R_{énergie}\) et \(R_{couple}\) sont utilisés pour limiter la consommation d'énergie du robot, où \(\tau _j\) est le couple de l'articulation j, \(\omega _j\) est la vitesse angulaire de l'articulation j et \(\Delta t\) est l'intervalle de temps entre l'échantillonnage des données de simulation. Si la hauteur du centre de gravité du torse de l'humanoïde est inférieure à 1 m, l'humanoïde est considéré comme tombé et \(R_{total}\) sera défini sur -1. Les pondérations pour ajuster chaque terme de récompense sont \(\alpha\), \(\beta\) et \(\gamma\).

De nombreux facteurs peuvent affecter la coordination des mouvements posturaux de l'humanoïde. Dans nos expériences, nous avons analysé les effets de la fréquence de mouvement du point cible, le poids de la consommation d'énergie dans la récompense du processus d'apprentissage, et après l'apprentissage, la condition de masse corporelle supérieure non apprise a été modifiée pour vérifier également une nouvelle tâche.

La consommation d'énergie est ajustée en ajustant la variable \(\gamma\) dans l'équation. (6). La fréquence du point cible est ajustée par les variables f dans Eq. (5).

Cette section étudie l'influence des contraintes basées sur les tâches sur l'auto-organisation des modes posturaux entre en phase et en antiphase lors de tâches de suivi-équilibrage. L'impact de la pénalisation de la consommation d'énergie sur les tâches de suivi de la tête a également été étudié. La consommation d'énergie a été vérifiée comme un facteur essentiel pour les tâches debout dans des expériences humaines24 et des simulations7,20,21,25. Ceci est raisonnable puisque notre corps humain essaie d'économiser de l'énergie avec une politique énergétique optimale lors de l'exécution de tâches de mouvement spécifiques dans nos activités quotidiennes.

Ces contraintes de tâche sont prises en compte dans les simulations d'équilibrage de suivi mises en œuvre par une méthode d'apprentissage sans modèle, et leur mécanisme d'influence est exploré dans cette étude. Les contraintes basées sur les tâches et la fréquence du point cible de suivi de la tête ont été étudiées pour leur influence sur la coordination de la hanche et de la cheville dans des expériences humaines17,19,26 et la simulation du modèle de pendule inversé double avec rétroaction20. Cependant, leurs travaux n'ont pas étudié l'adaptabilité basée sur l'apprentissage de la coordination motrice. Par conséquent, il est important de vérifier si les méthodes d'apprentissage sans modèle peuvent établir un réseau de neurones pour créer un comportement d'auto-organisation adaptatif, afin d'étudier plus avant l'efficacité des modes de coordination en phase et en anti-phase entre les articulations de la hanche et de la cheville.

Bien que la tâche de suivi de la tête ne soit pas une activité courante dans la vie quotidienne, elle équivaut à maintenir la stabilité de la tête lorsque le sol accélère ou décélère. Pour les petites perturbations, un équilibrage en phase est suffisant, mais pour des perturbations plus importantes, un équilibrage en antiphase est nécessaire. Cette situation se produit souvent lorsque nous prenons un bus ou un train dans la vie quotidienne. En ajustant la vitesse de la tête, nous pouvons modifier l'intensité de la perturbation.

Captures d'écran de l'apprentissage des tâches d'équilibrage de suivi à la fréquence de suivi de mouvement f du point cible dans l'équation. (5) par rapport à 0,15 [Hz] et 1,5 [Hz]. Où, le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1 [m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad].

Position de la cible de suivi et de la tête de l'agent humanoïde et sa distance à la fréquence de suivi de mouvement f dans l'Eq. (5) par rapport à 0,15 [Hz] et 1,5 [Hz]. Où, le paramètre de pénalisation de la consommation d'énergie γ dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1[m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad].

Angle articulaire de la cheville et de la hanche à la fréquence de suivi du mouvement f dans l'équation. (5) par rapport à 0,15 [Hz] et 1,5 [Hz]. Où, le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1 [m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad]. \(t_0\) et \(t_1\) sont les pas de temps correspondant aux angles maximum de la cheville et de la hanche dans le cycle de mouvement actuel.

Cette section montre comment la fréquence de suivi affecte le mode de coordination posturale auto-organisé. Le changement de fréquence de la cible de suivi peut déterminer la vitesse de déplacement de la tête pour que le modèle humanoïde accomplisse les tâches de suivi de cible. De plus, le changement de vitesse de mouvement peut influencer les modes de coordination articulaire en maintenant la stabilité des performances d'équilibre. Ainsi, les motifs en phase et en opposition de phase peuvent être recrutés par rapport à la fréquence de poursuite. Les dix fréquences de suivi différentes sont définies comme suit : 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 et 1,50 [Hz]. Captures d'écran de l'apprentissage des tâches d'équilibrage de suivi à la fréquence de suivi de mouvement f du point cible dans l'équation. (5) en ce qui concerne 0,15 [Hz] et 1,5 [Hz] sont illustrés à la Fig. 2. Dans le cas où le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1[m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad]. À partir de la Fig. 2, les schémas moteurs en phase entre les articulations de la cheville et de la hanche dans la première rangée sont conservés pour la fréquence cible de 0,15 [Hz], tandis que les schémas moteurs en opposition de phase entre les articulations de la cheville et de la hanche dans la deuxième rangée apparaissent en phase cible \(60^{\circ }\), \(120^{\circ }\), \(180^{\circ }\), \(240^{\circ }\) et \(300^{\circ }\ ) pour la fréquence cible de poursuite 1,5 [Hz]. L'exemple de mouvement de tête correspondant est illustré à la Fig. 3. La position de la cible de suivi et de la tête de l'agent humanoïde est tracée à une fréquence de suivi de mouvement de 0,15 [Hz] et 1,5 [Hz]. Les angles d'articulation correspondants pour la cheville et la hanche sont illustrés à la Fig. 4 où nous pouvons confirmer en phase pour les basses fréquences et en opposition de phase pour les fréquences plus élevées.

Tout d'abord, la précision de suivi correspondante est quantifiée par la corrélation cible-tête R, l'amplitude moyenne du mouvement de la tête et la vitesse moyenne de la tête, comme indiqué dans le tableau 3. La corrélation cible-tête R est calculée par les coefficients de corrélation de la personne. Nous pouvons confirmer que la tâche de suivi de la tête aurait pu être effectuée correctement à partir de la valeur élevée de corrélation R dans le tableau 3. Pour la fréquence de mouvement cible supérieure à 1,2 [Hz], nous observons une légère diminution de la corrélation cible-tête R puisque la vitesse de suivi élevée peut augmenter la difficulté des tâches de suivi.

La boîte à moustaches du centre de pression (CoP) influencée par différentes fréquences de suivi de mouvement f du point cible dans l'équation. (5) 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 et 1,50 [Hz], respectivement. Où, le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1 [m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad].

Deuxièmement, le centre de pression (CoP) est utilisé pour estimer la stabilité de l'équilibre. La boîte à moustaches du centre de pression (CoP) influencée par les fréquences de suivi de mouvement suivantes f du point cible dans l'équation. (5) 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 et 1,50 [Hz], respectivement, sont représentés sur la Fig. 5. La distribution de CoP augmente avec l'augmentation de la fréquence de suivi. Pour des performances de suivi à grande vitesse, il devrait y avoir un risque de perdre l'équilibre. Par conséquent, la maintenance de l'équilibre est un élément crucial dans les tâches d'équilibrage de suivi à grande vitesse. Dans notre modélisation, l'agent humanoïde peut terminer les tâches d'équilibrage de suivi pour une large gamme de fréquences et les pieds sont soumis à des contraintes unilatérales. Cela démontre la robustesse de nos réseaux entraînés proposés par PPO.

Évolution du coefficient de corrélation et de la phase relative influencée par différentes fréquences de suivi de mouvement f du point cible dans l'équation. (5) 0,15, 0,30, 0,45, 0,60, 0,75, 0,90, 1,05, 1,20, 1,35 et 1,50 [Hz], respectivement. Où, le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1 [m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad].

La fréquence de suivi est un facteur d'impact pour modifier les schémas de coordination motrice des articulations de la cheville et de la hanche, tels que la phase et l'antiphase pour les tâches d'équilibrage de suivi27. Par conséquent, nous avons essayé de comprendre l'auto-organisation des modes de coordination posturale influencés par la fréquence de suivi dans nos tâches de suivi-équilibrage. L'évolution du coefficient de corrélation, phase relative influencée par les fréquences de suivi de mouvement suivantes f du point cible dans l'Eq. (5) de 0,15 à 1,50 [Hz], respectivement, est représenté sur la Fig. 6. Où, le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1[m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad]. Le coefficient de corrélation des angles des articulations de la hanche et de la cheville peut résumer les caractéristiques de l'ensemble des schémas de coordination. Comme nous pouvons l'observer sur la Fig. 6, pour les fréquences de suivi 0,15, 0,30, 0,45 et 0,60 [Hz], la corrélation positive correspondante signifie que les modèles en phase fonctionnaient entre les articulations de la cheville et de la hanche. Cependant, la corrélation négative pour les fréquences de suivi 0,75, 0,90, 1,05, 1,20, 1,35 et 1,50 [Hz] indique les schémas anti-phase entre les articulations de la cheville et de la hanche. Ainsi, la transition des modes de coordination posturale dépend du changement des fréquences de suivi en ce qui concerne les valeurs relativement basses et élevées comme le réglage de l'expérience ci-dessus. De plus, les coefficients de corrélation de la hanche et de la cheville sont corrélés négativement avec la phase relative.

Ensuite, nous discutons de la façon dont le changement de fréquence de suivi influence les angles des articulations de la cheville et de la hanche. Sur la figure 6, la phase relative est en corrélation positive avec la fréquence de suivi. La phase relative a été calculée comme \(\left| t_0-t_1\right| \times f \times \pi\), où f est la fréquence de mouvement de la cible, \(t_0\) et \(t_1\) sont les pas de temps correspondant aux angles maximaux de la cheville et de la hanche dans le cycle de mouvement actuel, comme illustré à la Fig. 4. Parce que la fréquence de suivi élevée signifie des tâches de mouvement de suivi de vitesse rapide. Cette réponse rapide des agents humanoïdes peut entraîner des performances dangereuses à moins que les articulations de la cheville et de la hanche n'augmentent l'intensité du mouvement dans une direction opposée pour compenser l'accélération/décélération du membre supérieur pour les risques de chute possibles. Ensuite, il n'y a pas d'espace de solution avec une utilisation conjointe en phase en raison des exigences de maintenance de l'équilibre. Cependant, il existe une solution pour maintenir la projection du centre de masse de tout le corps au sol, près de la zone du pied si la cheville et la hanche sont coordonnées en anti-phase.

Les positions articulaires moyennes crête à crête pour la hanche et la cheville sont tracées sur la figure 7 pour montrer comment la plage de l'articulation de la hanche a été modifiée de basse fréquence à haute fréquence. Nous pouvons observer l'augmentation de l'amplitude de la hanche ainsi que l'augmentation du couple de la hanche tout en ayant une amplitude de mouvement similaire pour l'articulation de la cheville. Cette tendance est en accord avec les mesures humaines précédentes19 et également avec les résultats de simulations basées sur des modèles précédents20. Il est bon de confirmer que le même processus d'auto-organisation pourrait être reproduit avec le réseau neuronal appris sans utilisation préalable des informations dynamiques et cinématiques. Étant donné que l'amplitude de mouvement compte tenu des positions angulaires des articulations de la hanche est beaucoup plus grande que celle des articulations de la cheville pour le suivi à haute fréquence, nous pouvons comprendre que les articulations de la hanche jouent la coordination active et principale pour les mouvements de suivi à grande vitesse. Il convient de noter que la fréquence de suivi dans la tâche donnée peut déterminer comment utiliser les modes de coordination des articulations de la cheville et de la hanche.

L'étude du contrôle de l'équilibre avec différentes fréquences de suivi de la tête et son analyse avec différents modes de coordination motrice ont des implications importantes pour les applications cliniques. Comprendre comment la fréquence de suivi de la tête affecte les modes de coordination motrice peut éclairer le développement de programmes de réadaptation efficaces pour les personnes souffrant de troubles de l'équilibre, comme celles souffrant de troubles neurologiques. En concevant des programmes de réadaptation qui ciblent des modes de coordination motrice spécifiques, nous pouvons améliorer le contrôle postural et réduire le risque de chutes. De plus, l'étude des modes de coordination motrice peut aider à identifier les personnes susceptibles de présenter un risque plus élevé de chute en raison de schémas de coordination altérés. En examinant les modes de coordination motrice et leur relation avec les vitesses de suivi de la tête, les cliniciens peuvent développer des interventions ciblées pour améliorer le contrôle postural et réduire le risque de chute chez les populations à haut risque, telles que les personnes âgées ou les personnes atteintes de maladies neurologiques.

(a) Positions articulaires crête à crête. Chaque point est la valeur moyenne des résultats de la simulation en 100 s. (b) Amplitudes de couple de la cheville et de la hanche. Le couple de hanche est plus petit pour en phase et plus grand pour anti-phase.

Après avoir étudié les transitions de mode postural par contraintes de tâche, intéressons-nous maintenant à un autre facteur, la pénalisation énergétique dans la récompense. La consommation d'énergie peut déterminer le type de politique de mouvement à appliquer pour la mise en œuvre des tâches de mouvement. Par conséquent, nous supposons que la consommation d'énergie pourrait modifier la coordination posturale entre les articulations de la cheville et de la hanche. De l'éq. (6), \(R_{énergie}\) et \(R_{couple}\) sont utilisés pour limiter la consommation d'énergie du robot. Dans ce travail, pour comprendre l'influence de la pénalisation énergétique sur la coordination posturale lors de tâches de suivi-équilibrage, nous ajustons le poids énergétique (indice énergétique) \(\gamma\) dans l'Eq. (6) avec les valeurs suivantes : 0, 5, 10, 15, 20, 25, 30, 35 et 40. Ensuite, la performance des tâches de suivi-équilibrage et la transition de la coordination posturale sont étudiées séparément.

La corrélation cible-tête R pourrait être maintenue élevée pour chaque indice d'énergie selon les résultats du tableau 4. Ces corrélations montrent que les tâches ont été correctement effectuées pour les tâches de suivi de la tête, même pour différents paramètres de pénalité énergétique. L'amplitude de tête correspondante montre également une tendance similaire au mouvement de la tête, quelle que soit la pénalité énergétique. Ainsi, nous pouvons supposer que l'économie d'énergie peut être réalisée sans affecter la précision de suivi de la tête elle-même. Le tableau 4 montre également que le coût énergétique requis pourrait être bien diminué en suivant la pénalité énergétique. Ainsi, le mouvement pourrait être créé avec moins d'énergie tout en gardant la performance de la tâche.

Évolution du coefficient de corrélation, phase relative influencée par différents paramètres de pénalisation de la consommation d'énergie \(\gamma ~=\) 0, 5, 10, 15, 20, 25, 30, 35 et 40 dans l'Eq. (6), respectivement. Où l'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1 [m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad]. Et la fréquence de suivi de mouvement f du point cible dans l'équation. (5) est de 0,4 [Hz].

Dans ce scénario, la coordination posturale entre les articulations de la cheville et de la hanche est étudiée en ajustant le poids énergétique dans la fonction de récompense d'entraînement. Le coefficient de corrélation et la phase relative sont recrutés pour quantifier la transition des modes de coordination. L'évolution du coefficient de corrélation, phase relative influencée par différents paramètres de pénalisation énergétique \(\gamma ~=\) 0, 5, 10, 15, 20, 25, 30, 35 et 40 dans l'Eq. (6), respectivement, sont affichés sur la Fig. 8. Où l'amplitude de mouvement A du point cible dans l'Eq. (5) vaut 0,1[m]. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad]. Et la fréquence de suivi de mouvement f du point cible dans l'équation. (5) est de 0,4 [Hz].

Avec l'augmentation du poids énergétique, le coefficient de corrélation de la hanche et de la cheville passe d'une valeur négative à une valeur positive. Le coefficient de corrélation négatif pour les cas de poids énergétique \(\gamma ~=\) 0 et 5 dans l'Eq. (6) exprime les modes anti-phase entre les articulations de la cheville et de la hanche. Cependant, les modes en phase entre les articulations de la cheville et de la hanche apparaissent pour les grands poids énergétiques \(\gamma ~=\) 10, 15, 20, 25, 30, 35 et 40 dans l'Eq. (6), respectivement. Du point de vue de l'économie d'énergie, la coordination en phase consomme moins d'énergie que la coordination en antiphase entre les articulations de la cheville et de la hanche s'il existe une solution pour gérer la tâche d'équilibrage et de suivi de la tête donnée. Ensuite, dans ce cas, on peut considérer qu'il y avait deux types de solutions en phase et en anti-phase, mais en utilisant une pénalité énergétique, une solution inefficace en énergie pourrait être supprimée, puis elle a abouti à une solution en phase. Les modes anti-phase améliorent la flexibilité du moteur adaptatif en consommant plus d'énergie pendant les tâches d'équilibrage de suivi, même lorsqu'il n'y a pas de solution avec les modes en phase. Cependant, lorsqu'à la fois en phase et en anti-phase pourraient être disponibles, il est préférable de supprimer la solution en anti-phase en employant une pénalité énergétique. Cela est compréhensible compte tenu de la relation entre la consommation d'énergie et la gestion des tâches.

De plus, la phase relative diminue avec l'augmentation du poids de la consommation d'énergie. Cela indique que la modification de la consommation d'énergie pour les tâches d'équilibrage de suivi peut modifier les caractéristiques cinématiques de la coordination motrice entre les articulations de la cheville et de la hanche. Comme indiqué ci-dessus, les modes de mouvement passent d'anti-phase à en phase pour poursuivre des objectifs d'économie d'énergie lors de la gestion de la tâche donnée. De plus, nous pouvons conclure que la pénalisation énergétique a tendance à changer les modes de coordination des articulations de la cheville et de la hanche vers un mode moteur économe en énergie en phase en principe, cependant, le réglage du poids énergétique n'est pas très sensible pour la sélection du mode postural car nous pouvons observer une relation de phase relative stable après avoir plus de 10 valeurs pour le poids. Le poids de la pénalité énergétique dans la récompense est un hyper-paramètre du processus d'apprentissage. Nous pourrions confirmer que nous avons besoin d'une certaine considération de pénalité énergétique dans la récompense, cependant, ce n'est pas un facteur très sensible pour reproduire l'emploi cohérent des modes en phase et anti-phase.

Des études antérieures montrent que la raideur articulaire humaine diffère principalement selon l'âge28,29, la taille corporelle30,31 et le sexe32,33,34,35,36. La raideur articulaire est un facteur essentiel pour le contrôle de l'équilibre en position debout tranquille28, et elle augmente avec l'âge dans le contrôle postural29. Le changement de raideur de la hanche peut influencer l'amplitude des mouvements puisque la raideur de la hanche modifie son couple de récupération pour revenir à la position neutre de l'articulation de la hanche. Par exemple, l'étude récente37 indique que les relations entre une amplitude de mouvement maximale et la raideur de la hanche en position debout tranquille sont cohérentes à des angles communs. Ainsi, l'augmentation de la raideur de la hanche peut modifier la coordination posturale de la hanche et de la cheville lors des tâches d'équilibrage de suivi. Dans cette étude, nous proposons de modifier ensemble la raideur de la hanche gauche et droite du modèle humanoïde. Les huit conditions sont données ici en fonction des normes biomécaniques : 25, 50, 75, 100, 125, 150, 175 et 200 [Nm/rad]20,38,39,40.

Évolution du coefficient de corrélation, phase relative influencée par différentes valeurs de raideur de la hanche 25, 50, 75, 100, 125, 150, 175 et 200 [Nm/rad], respectivement. Paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1 [m]. La raideur de la cheville reste à 25 [Nm/rad]. Et la fréquence de suivi de mouvement f du point cible dans l'équation. (5) est de 0,5 [Hz].

Dans ce scénario, nous essayons de comprendre l'influence des différentes raideurs de la hanche sur la coordination motrice posturale. Comme mentionné ci-dessus, la rigidité peut être une contrainte mécanique importante qui peut changer les modes de mouvement. Deux indices d'évaluation, tels que le coefficient de corrélation et la phase relative, ont été proposés pour étudier le passage des modes de mouvement de phase à antiphase entre la hanche et la cheville. L'évolution du coefficient de corrélation, phase relative influencée par différentes valeurs de rigidité de la hanche 25, 50, 75, 100, 125, 150, 175 et 200 [Nm/rad], respectivement, est illustrée à la Fig. 9. Où le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est 20. L'amplitude de mouvement A du point cible dans l'équation. (5) vaut 0,1[m]. La raideur de la cheville reste à 25 [Nm/rad]. Et la fréquence de suivi de mouvement f du point cible dans l'équation. (5) est de 0,5 [Hz].

Au fur et à mesure que la raideur de la hanche augmente, le coefficient de corrélation de la hanche et de la cheville passe d'une valeur négative à une valeur positive. Pour de petites valeurs de raideur, telles que 25, 50, 75 et 100 [Nm/rad], la corrélation négative correspondante exprime la coordination anti-phase entre la cheville et la hanche lors des tâches d'équilibrage de suivi. Cependant, une corrélation positive en ce qui concerne la raideur de la hanche 125, 150, 175 et 200 [Nm/rad] démontre les modes posturaux en phase entre la cheville et la hanche lors des tâches de suivi-équilibrage. Pour les cas avec une rigidité plus élevée, il y a un couple de soutien pour revenir à sa position neutre, puis l'effet d'inertie du haut du corps pendant la tâche de suivi de la tête apparaît relativement plus petit, alors le mode en phase peut toujours être utilisé. Pour les cas d'augmentation de fréquence, le mode anti-phase devient nécessaire pour gérer l'effet d'inertie du corps supérieur. Dans le cas d'une raideur plus élevée, l'effet d'inertie est diminué alors une solution en phase peut encore être utilisée. Au lieu de cela, lorsque la rigidité de l'articulation diminue, la nécessité de compenser l'inertie du corps devient élevée, alors la coordination en mode anti-phase est plus nécessaire. Ceci est raisonnable puisque la coordination motrice anti-phase pour une petite raideur doit recruter une grande intensité de mouvement. En revanche, la coordination motrice en phase pour une grande raideur recrute une petite intensité de mouvement de la cheville et de la hanche. La courbe verte correspondante montre que lorsque la raideur de la hanche augmente, la phase relative diminue, ce qui a été observé à partir d'expériences humaines17,19.

Les personnes atteintes de certaines affections ou blessures musculo-squelettiques peuvent éprouver des changements dans la raideur articulaire qui affectent des articulations spécifiques pendant la réadaptation clinique. Par exemple, les personnes souffrant d'arthrose de la hanche peuvent ressentir une raideur accrue de la hanche en raison de modifications du cartilage articulaire ou de la capsule articulaire, tandis que la raideur de l'articulation de la cheville peut rester inchangée. De même, les personnes qui ont subi une arthroplastie de la hanche peuvent ressentir des changements dans la raideur de la hanche. Le système de contrôle postural auto-organisé, qui implique le recrutement de modes de coordination hanche-cheville tels que en phase et en antiphase, pourrait aider à mieux comprendre la capacité debout dans la vie quotidienne de ces individus.

Dans les sections précédentes, nous avons pu former un réseau de neurones auto-organisé qui utilise l'alternance de mode en fonction des tâches données ou des conditions. Pour le processus d'apprentissage, il y avait l'information et l'expérience pour les fréquences données. De plus, le réseau de neurones est formé sous différentes fréquences mais elles ont été données comme paramètre fixe, et non avec une variation continue de la fréquence.

Dans cette section, par rapport au modèle de réseau de neurones appris, le comportement sous la variation continue de fréquence est étudié en ce qui concerne la coordination posturale des articulations de la cheville et de la hanche. La phase en phase entre l'articulation de la hanche et de la cheville a été utilisée pour la basse fréquence. Avec l'augmentation de la fréquence cible, le mode a été progressivement déplacé en antiphase, comme le montre la Fig. 10, où la fréquence a augmenté de manière linéaire au fil du temps. Le taux de croissance de la fréquence est de 0,036 Hz/s pendant 25 s. La figure 10 révèle un changement transitoire du mode de coordination même pour la fréquence continue, même lorsque le réseau neuronal est formé uniquement avec les différents paramètres fixes. Cela indique que le réseau neuronal a une certaine capacité transférable même pour la nouvelle tâche qui est donnée en premier si la gamme de fréquences se situe dans l'échelle expérimentée. Le mouvement généré dans l'expérience 4 peut être confirmé dans la vidéo (fichier supplémentaire 1).

Résultat typique pour une variation de fréquence cible continue. (a) Variation de l'angle articulaire de la cheville et de la hanche. (b) Les coefficients de corrélation entre les articulations de la cheville et de la hanche avec une fréquence cible croissante. La fréquence de transition est de 0,69 Hz. La longueur de la fenêtre pour le calcul du coefficient de corrélation est de 300 pas de temps. Le taux de croissance de la fréquence est de 0,036 Hz/s. Le temps de simulation est de 25 s.

En augmentant la fréquence pendant la tâche de suivi de la tête, la vitesse cible change à plus grande échelle, cela implique naturellement une plus grande accélération et décélération de la masse du haut du corps. Une accélération et une décélération de masse plus importantes du haut du corps peuvent également se produire pour l'augmentation de la masse du haut du corps, même pour la fréquence cible normale. En attendant que le réseau de neurones appris gère l'effet d'inertie plus important, nous avons vérifié comment le réseau de neurones peut se comporter pour la nouvelle tâche avec une augmentation de la masse du haut du corps. Il convient de noter que le réseau neuronal est formé uniquement avec différentes fréquences cibles, comme décrit dans la section de l'expérience 1.

Ce scénario traite de la capacité d'apprentissage par transfert du réseau neuronal auto-organisateur sur la coordination posturale des articulations de la cheville et de la hanche, et il a été évalué à travers le coefficient de corrélation correspondant et la phase relative. Ces indices peuvent illustrer la transition des modes émergents et des caractéristiques cinématiques, comme discuté dans l'expérience 1. L'évolution du coefficient de corrélation et de la phase relative influencée par différentes masses supplémentaires du haut du corps de 0,0 à 4,0 [kg], respectivement, sont illustrées à la Fig. 11. La fréquence de suivi de mouvement f de la cible dans l'équation. (5) est de 0,4 [Hz]. À cette fréquence cible, comme il s'agit d'une fréquence relativement basse, le mode en phase est normalement utilisé comme dans l'expérience 1, comme cela peut être confirmé dans le graphique supérieur de la Fig. 12. Alors que le haut du corps ajouté augmente de 0,0 à 4,0 [kg], le coefficient de corrélation de la hanche et de la cheville est passé de positif à négatif. Cela signifie que les modes de coordination posturale se sont transformés en commutation de phase à anti-phase. Il est intéressant d'observer cette alternance de mode d'auto-organisation même lorsque cette tâche d'augmentation de la masse du haut du corps est nouvellement confiée au réseau de neurones.

De nombreuses personnes se déplacent avec des sacs à dos pour se rendre au travail ou à l'école comme activité quotidienne, le poids de ces sacs à dos varie d'un jour à l'autre. Le port d'un sac à dos peut souvent entraîner une augmentation de la masse du haut du corps, ce qui peut remettre en question le contrôle de l'équilibre et la stabilité posturale. Cela est particulièrement vrai lorsque le poids du sac à dos est inconnu au préalable. En tant que tel, nous avons inclus ce scénario dans l'étude pour examiner les effets du port d'une charge sur le dos sur le contrôle de l'équilibre et la stabilité posturale en mettant l'accent sur le mode de coordination motrice hanche-cheville. Par exemple, les personnes souffrant de blessures à la hanche ou à la cheville peuvent avoir un mode de coordination motrice hanche-cheville compromis, ce qui peut augmenter le risque de chutes pendant les activités de la vie quotidienne. En étudiant les effets du poids du sac à dos sur le mode de coordination motrice hanche-cheville, nous pouvons mieux concevoir des programmes de rééducation qui améliorent la stabilité posturale et réduisent le risque de chutes.

Évolution du coefficient de corrélation, phase relative influencée par le poids différent de la charge ajoutée au niveau du haut du corps. Où le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est de 20. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad]. La fréquence de suivi de mouvement f du point cible dans l'Eq. (5) est de 0,4 [Hz].

Angle articulaire de la cheville et de la hanche dans les différents poids de la charge. Où le paramètre de pénalisation de la consommation d'énergie \(\gamma\) dans l'Eq. (6) est de 20. La raideur de la cheville et de la hanche reste à 25 [Nm/rad] et 125 [Nm/rad]. La fréquence de suivi de mouvement f de la cible dans l'Eq. (5) est de 0,4 [Hz].

Le coefficient de corrélation des angles des articulations de la hanche et de la cheville dans l'ensemble des tâches d'équilibrage de suivi est déterminé par la rigidité des articulations de la hanche de 25 à 200 [Nm/rad] et la fréquence de mouvement f du point cible dans l'équation. (5) de 0,05 à 0,5 [Hz].

Dans cette section, nous discutons de l'influence des facteurs d'impact combinés de la raideur de la hanche et de la fréquence de suivi sur les performances de suivi et le changement des schémas de coordination des articulations de la cheville et de la hanche. Comme discuté ci-dessus dans les quatre expériences précédentes, les contraintes mécaniques et basées sur les tâches ont un impact crucial sur l'auto-organisation entre les articulations de la cheville et de la hanche. Ainsi, nous aimerions explorer plus de cas en combinant ces contraintes. Ici, nous prenons comme exemple la raideur de la hanche et la fréquence de suivi, en tenant compte des contraintes mécaniques et liées aux tâches.

L'objectif principal de ce travail est d'explorer le mécanisme des modes de coordination émergents entre les articulations de la cheville et de la hanche. Ici, le coefficient de corrélation des angles des articulations de la hanche et de la cheville est utilisé pour évaluer les modes de coordination. Compte tenu des contraintes mécaniques et basées sur les tâches pour explorer la transition continue entre les modes en phase et anti-phase, deux facteurs essentiels, notamment la raideur des articulations de la hanche et la fréquence de suivi de la cible qui influencent la phase de coordination posturale, sont sélectionnés. Sur la figure 13, avec l'augmentation de la fréquence de suivi de la cible et la diminution de la rigidité des articulations de la hanche, le coefficient de corrélation passe d'une valeur positive à une valeur négative, ce qui signifie que la coordination posturale passe d'une phase à une phase en opposition. Les contraintes mécaniques telles que la raideur de la hanche peuvent influencer les modes de phase car l'effet d'inertie du haut du corps apparaît plus significativement pour la condition de raideur réduite de la hanche. Dans une raideur de hanche élevée, les modes de coordination posturale restent en phase tandis que l'antiphase est maintenue dans une raideur de hanche faible. Pour la raideur de la hanche allant de 50 à 150 [Nm/rad], les modes de coordination sont fortement influencés par la fréquence de poursuite de la cible. De plus, la transition continue de la phase à l'anti-phase entre l'articulation de la cheville et de la hanche s'est produite lorsque la fréquence de suivi de la cible a augmenté dans l'état de raideur fixe de la hanche, comme indiqué dans les expériences humaines précédentes17.

Nous avons également testé l'exploration de l'effet de l'amplitude du mouvement de la tête sur l'alternance de mode, mais l'alternance observée n'était pas aussi claire que celle de l'effet de fréquence. Comme expliqué précédemment, l'accélération et la décélération de la masse jouent un rôle crucial dans l'induction de l'alternance des modes. Selon la dynamique mécanique, l'amplitude elle-même a un effet relativement mineur sur ce phénomène. Dans le cas des humains, l'amplitude peut avoir un certain impact, mais notre pied, étant un corps rigide sur le sol, n'offre pas beaucoup de capacité de préhension. De ce fait, la plage d'amplitude soutenable n'est pas assez large pour observer une alternance significative pour le test d'amplitude. Pour étudier davantage cet aspect, nous aurions besoin de facteurs tels que la fonction de préhension du pied avec les doigts du pied ou la friction.

Cette étude a proposé et étudié pour produire un réseau de neurones auto-organisé qui peut coordonner de manière adaptative le mode postural sans supposer un modèle corporel préalable concernant la dynamique et la cinématique du corps. Les modes de coordination posturale sont reproduits dans les tâches de suivi tête-cible grâce à un algorithme d'apprentissage par renforcement profond. Un tel résultat est difficile à obtenir avec des modèles basés sur l'optimisation hors ligne21 ou le modèle de contrôle basé sur un modèle20. Les transitions entre les types de coordination posturale, c'est-à-dire les modes de coordination en phase et en opposition de phase, pourraient être reproduites en changeant les fréquences de la cible en mouvement (Fig. 6). L'alternance des modes était cohérente avec les observations rapportées dans la littérature17,19.

Le coefficient de corrélation et la phase relative indiquaient les deux modes de coordination, en phase et en antiphase des articulations de la cheville et de la hanche. Ces indices peuvent indiquer les caractéristiques spatiales des angles des articulations de la cheville et de la hanche. L'émergence de la modalité posturale a été influencée par des contraintes mécaniques et basées sur les tâches en ce qui concerne la raideur de la hanche, la consommation d'énergie et la fréquence de suivi de la cible. D'après le résultat de la Fig. 8, nous pouvons conclure que la pénalisation énergétique tend à changer les modes de coordination des articulations de la cheville et de la hanche vers le mode en phase. D'un point de vue économie d'énergie, la coordination en phase consomme moins d'énergie que la coordination en antiphase entre les articulations de la cheville et de la hanche si une solution existe. Cependant, la tâche implique un effet complexe d'inertie de masse, l'articulation de la hanche doit être articulée de manière intensive, puis elle passe en mode anti-phase. Les paramètres corporels tels que la raideur de l'articulation de la hanche pourraient également être confirmés pour influencer l'alternance des modes. Lorsque la raideur articulaire diminue, la nécessité de compenser l'inertie du corps devient élevée, alors la coordination en mode anti-phase est plus nécessaire (Fig. 9).

Enfin, la transition continue entre les modes de coordination posturale a été réalisée, elle a pu démontrer l'adaptabilité apprise du réseau de neurones pour une nouvelle tâche tout en gardant une alternance de mode auto-organisée. Même si le réseau neuronal n'est pas formé sous des variations de fréquence continues, il pourrait s'adapter aux changements de fréquence cible variant dans le temps tout en conservant une alternance de mode cohérente de la phase à l'antiphase. De plus, en s'attendant à ce que le réseau de neurones appris gère l'effet d'inertie plus important, nous avons vérifié comment le réseau de neurones peut se comporter pour la nouvelle tâche avec une augmentation de la masse du haut du corps. Il convient de noter que le réseau de neurones n'est formé qu'avec différentes fréquences cibles. Pour l'augmentation de l'inertie du haut du corps, le mode a été modifié en anti-phase d'une manière auto-organisée.

Ce travail fournit une nouvelle approche de l'apprentissage moteur humain informatique et illustre la modalité posturale de l'auto-organisation pour les tâches de suivi de la tête. Pour de futures recherches, nous pourrions explorer la dynamique de coordination continue entre les articulations de la cheville et de la hanche sous d'autres contraintes ou tâches telles que la taille et l'obésité, et l'atteinte fonctionnelle en position debout. En outre, des multi-segments entiers, y compris les articulations du cou, des bras, de la hanche, du genou et de la cheville, peuvent être pris en compte pour la modélisation corporelle afin d'améliorer l'étude actuelle vers des tâches complètes du corps entier. Enfin, l'alternance en phase et en opposition de phase est l'un des phénomènes de synchronisation dans les systèmes mécaniques. Une perspective plus généralisée sur l'oscillation synchronisée synergique est également une direction de recherche future importante pour induire un équilibre dynamique dans les systèmes mécaniques naturels41.

Tous les codes utilisés pour effectuer les analyses sont disponibles dans le référentiel. https://github.com/Li-Guanda/SwingHumanoid.

Winter, D. Équilibre humain et contrôle de la posture en position debout et en marchant. Gait Posture 3(4), 193–214 (1995).

Article Google Scholar

Nashner, LM L'organisation des mouvements posturaux humains : une base formelle et une synthèse expérimentale. Comportement Cerveau Sci. 8(1), 135–150 (1985).

Article Google Scholar

Horak, FB & Nashner, LM Programmation centrale des mouvements posturaux : Adaptation aux configurations modifiées de la surface de support. J. Neurophysiol. 55(6), 1369-1381 (1986).

Article CAS PubMed Google Scholar

Horak, FB, Nashner, LM & Diener, HC Stratégies posturales associées à la perte somatosensorielle et vestibulaire. Exp. Cerveau Res. 82(1), 167–177 (1990).

Article CAS PubMed Google Scholar

Shen, K., Chemori, A. & Hayashibe, M. Classification des stratégies de récupération de l'équilibre humain par l'analyse de la synergie motrice cinématique. Dans la 44e conférence internationale annuelle de l'IEEE Engineering in Medicine and Biology Society, EMBC 2022, pp. 1792–1796 (2022).

Kuo, AD & Zajac, FE Posture debout humaine : stratégies de mouvement multi-articulaires basées sur des contraintes biomécaniques. Programme. Cerveau Res. 97(C), 349–358 (1993).

Article CAS PubMed Google Scholar

Kuo, AD Un modèle de contrôle optimal pour analyser l'équilibre postural humain. IEEE Trans. Biomédical. Ing. 42(1), 87-101 (1995).

Article ADS CAS PubMed Google Scholar

Shen, K., Chemori, A. & Hayashibe, M. Rétablissement de l'équilibre de type humain basé sur la stratégie de contrôle prédictif du modèle numérique. Accès IEEE 8, 92050–92060 (2020).

Google Scholar

Shen, K., Chemori, A. & Hayashibe, M. Évaluation de l'efficacité de l'utilisation du bras pour la récupération de l'équilibre en position debout silencieuse grâce à un contrôle prédictif de modèle non linéaire. Dans 3e Conférence internationale sur le contrôle et les robots, ICCR 2020, pp. 150–153 (2020).

Shen, K., Chemori, A. & Hayashibe, M. Reproduire la stratégie du bras humain et sa contribution à la récupération de l'équilibre grâce au contrôle prédictif du modèle. Devant. Neurorobot. 15 mai (2021).

Galgon, AK & Shewokis, PA Utilisation de la phase relative absolue moyenne, de la phase de déviation et de la phase relative d'estimation ponctuelle pour mesurer la coordination posturale dans une tâche d'atteinte en série. J. Sports Sci. Méd. 15(1), 131–141 (2016).

PubMed PubMed Central Google Scholar

Bernshtein, N. La coordination et la régulation du mouvement (Pergamon Press, Oxford, 1967).

Google Scholar

Bonnet, T. & Lepeut, M. Adopté par des personnes présentant des déficiences périphériques : une revue. J.Mot. Comportement 43(4), 219-228 (2011).

Article Google Scholar

Aramaki, Y. et al. Accélération angulaire réciproque des articulations de la cheville et de la hanche en position debout tranquille chez l'homme. Exp. Cerveau Res. 137(1), 463–473 (2001).

Article Google Scholar

Boonstra, TA, Schouten, AC & Van Der Kooij, H. Identification de la contribution des articulations de la cheville et de la hanche au contrôle de l'équilibre multisegmentaire. J. NeuroEng. Réhabilitation.10(23) (2013).

Noamani, A., Lemay, JF, Musselman, KE et Rouhani, H. Stratégie de contrôle postural après une lésion incomplète de la moelle épinière : effet des entrées sensorielles sur la coordination des mouvements tronc-jambe. J. Neuroeng. Réhabilit. 17(1), 1–12 (2020).

Article Google Scholar

Bardy, BG, Marin, L., Stoffregen, TA & Bootsma, RJ Modes de coordination posturale considérés comme des phénomènes émergents. J. Exp. Psychol. Hum. Percevoir. Effectuer. 25(5), 1284–1301 (1999).

Article CAS PubMed Google Scholar

Marin, L., Bardy, BG, Baumberger, B., Flückiger, M. & Stoffregen, TA Interaction entre les exigences de la tâche et les propriétés de surface dans le contrôle de la position axée sur les objectifs. Hum. Dév. Sci. 18(1), 31–47 (1999).

Article Google Scholar

Bardy, BG, Oullier, O., Bootsma, RJ & Stoffregen, TA Dynamique des transitions posturales humaines. J. Exp. Psychol. Hum. Percevoir. Effectuer. 28(3), 499–514 (2002).

Article PubMed Google Scholar

Bonnet, V. et al. Un modèle de contrôle structurellement optimal pour prédire et analyser la coordination posturale humaine. J. Biomech. 44(11), 2123–2128 (2011).

Article PubMed Google Scholar

Martin, L., Cahouët, V., Ferry, M. & Fouque, F. Prédictions du modèle d'optimisation pour les modes de coordination posturale. J. Biomech. 39(1), 170–176 (2006).

Article PubMed Google Scholar

Schulman, J., Wolski, F., Dhariwal, P., Radford, A. & Klimov, O. Algorithmes d'optimisation de politique proximale. arXiv:1707.06347[cs.LG] (2017).

Makoviychuk , V. , Wawrzyniak , L. , Guo , Y. , Lu , M. , Storey , K. , Macklin , M. , Hoeller , D. , Rudin , N. , Allshire , A. , Handa , A. & et coll. Isaac Gym : simulation physique haute performance basée sur GPU pour l'apprentissage des robots. arXiv preprint arXiv:2108.10470[cs.RO] (2021).

Houdijk, H., Fickert, R., van Velzen, J. & van Bennekom, C. Le coût énergétique pour le contrôle de l'équilibre en position debout. Posture de marche 30(2), 150–154 (2009).

Article PubMed Google Scholar

Shen, K., Chemori, A. & Hayashibe, M. Reproduire la stratégie du bras humain et sa contribution à la récupération de l'équilibre grâce au contrôle prédictif du modèle. Devant. Neurorobot. 15 (2021).

Bardy, BG, Oullier, O., Lagarde, J. & Stoffregen, TA Sur la perturbation et la coexistence de modèles dans la dynamique de la coordination posturale. J.Mot. Comportement 39(4), 326–336 (2007).

Article PubMed Google Scholar

Sofianidis, G., Elliott, MT, Wing, AM & Hatzitaki, V. Interaction entre la coordination interpersonnelle et posturale lors d'un balancement rythmique à échelle de fréquence : le rôle de l'expertise en danse. Posture de marche 41(1), 209–216 (2015).

Article PubMed Google Scholar

Winter, DA, Patla, AE, Prince, F., Ishac, M. & Gielo-Perczak, K. Contrôle de la rigidité de l'équilibre en position debout tranquille. J. Neurophysiol. 80, 1211-1221 (1998).

Article CAS PubMed Google Scholar

Cenciarini, M., Loughlin, PJ, Sparto, PJ & Redfern, MS La rigidité et l'amortissement du contrôle postural augmentent avec l'âge. IEEE Trans. Biomédical. Ing. 57, 267-275 (2010).

Article PubMed Google Scholar

Nguyen, AP et al. Effet de l'âge et de la corpulence sur la viscoélasticité du poignet chez des participants sains de 3 à 90 ans et évaluation de la fiabilité. Devant. Sport Actif Viv. 2, 4 (2020).

Google Scholar

Nguyen, AP, Detrembleur, C., Fisette, P., Selves, C. & Mahaudens, P. Myotonpro est un appareil valide pour évaluer la raideur biomécanique du poignet chez les jeunes adultes en bonne santé. Devant. Sport Actif Viv. 4, 2 (2022).

Google Scholar

Nishiwaki, M., Kurobe, K., Kiuchi, A., Nakamura, T. et Matsumoto, N. Différences entre les sexes dans la relation flexibilité-raideur artérielle et son application pour le diagnostic de la raideur artérielle : étude observationnelle transversale. PLoS ONE 11, 9 (2016).

Google Scholar

Fouré, A., Cornu, C., McNair, PJ & Nordez, A. Différences entre les sexes dans les parties actives et passives de la série de fléchisseurs plantaires raideur des composants élastiques et paramètres géométriques du complexe muscle-tendon. J. Orthop. Rés. 30(5), 707–712 (2012).

Article PubMed Google Scholar

Ahimastos, AA, Formosa, M., Dart, AM et Kingwell, BA Différences entre les sexes dans la rigidité des grandes artères avant et après la puberté. J.Clin. Endocrinol. Métab. 88(11), 5375–5380 (2003).

Article CAS PubMed Google Scholar

Padoue, DA, Garcia, CR, Arnold, BL & Granata, KP Différences entre les sexes dans la raideur des jambes et la stratégie de recrutement de la raideur lors du saut à deux pattes. J.Mot. Comportement 37, 111–126 (2005).

Article PubMed Google Scholar

DuPont, JJ, Kenney, RM, Patel, AR et Jaffe, IZ Différences entre les sexes dans les mécanismes de rigidité artérielle. Br. J. Pharmacol. 176, 4208–4225 (2019).

Article CAS PubMed PubMed Central Google Scholar

Elliott, BJ, Hookway, N., Tate, BM & Hines, MG La raideur passive de la hanche ou l'amplitude des mouvements est-elle corrélée à la courbure de la colonne vertébrale et à la posture en position debout tranquille ?. Posture de marche 85, 273–279 (2021).

Article PubMed Google Scholar

van der Kooij, H., Fricke, SS, Veld, RC vt, Prieto, AV, Keemink, AQL, Schouten, AC & van Asseldonk, EHF Un dispositif et une méthode pour identifier l'impédance des articulations de la hanche, du genou et de la cheville pendant la marche (2021).

Loram, ID & Lakie, M. Mesure directe de la raideur de la cheville humaine en position debout tranquille : la rigidité mécanique intrinsèque est insuffisante pour la stabilité. J. Physiol. 545(3), 1041–1053 (2002).

Article CAS PubMed PubMed Central Google Scholar

Koopman, B., Van Asseldonk, EH et Van Der Kooij, H. Estimation de la dynamique multi-articulaire de la hanche et du genou humain à l'aide de l'entraîneur de marche LOPES. IEEE Trans. Rob. 32(4), 920–932 (2016).

Article Google Scholar

Hayashibe, M. & Shimoda, S. Oscillation synchronisée synergique par des intégrateurs neuronaux distribués pour induire un équilibre dynamique dans les systèmes de dissipation d'énergie. Sci. Rep. 12, 17163 (2022).

Article ADS CAS PubMed PubMed Central Google Scholar

Télécharger les références

Ce travail a été soutenu par le JSPS Grant-in-Aid for Scientific Research on Innovative Areas Hyper-Adaptability Project under Grant 22H04764.

Ces auteurs ont contribué à parts égales : Keli Shen et Guanda Li.

Département de robotique, École supérieure d'ingénierie, Université de Tohoku, Sendai, Japon

Keli Shen, Guanda Li et Mitsuhiro Hayashibe

LIRMM, Université de Montpellier, CNRS, Montpellier, France

Ahmed Chemori

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

KS et GL ont contribué à parts égales au travail et doivent être considérés comme co-premiers auteurs. KS et GL ont implémenté le code et rédigé le manuscrit. AC a supervisé l'aspect de l'ingénierie de contrôle. MH a conçu le plan de recherche et rédigé le manuscrit. Tous les auteurs ont examiné le manuscrit.

Correspondance à Mitsuhiro Hayashibe.

Les auteurs ne déclarent aucun intérêt concurrent.

Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Informations supplémentaires 1.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International, qui autorise l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur tout support ou format, à condition que vous accordiez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel de tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Shen, K., Li, G., Chemori, A. et al. Réseau neuronal auto-organisé pour reproduire l'alternance des modes posturaux humains par apprentissage par renforcement profond. Sci Rep 13, 8966 (2023). https://doi.org/10.1038/s41598-023-35886-y

Télécharger la citation

Reçu : 19 janvier 2023

Accepté : 25 mai 2023

Publié: 02 juin 2023

DOI : https://doi.org/10.1038/s41598-023-35886-y

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

En soumettant un commentaire, vous acceptez de respecter nos conditions d'utilisation et nos directives communautaires. Si vous trouvez quelque chose d'abusif ou qui ne respecte pas nos conditions ou directives, veuillez le signaler comme inapproprié.