Réseaux neuronaux récurrents : 4 minutes
Les réseaux neuronaux récurrents (RNN) sont un type de réseaux neuronaux artificiels couramment utilisés dans la reconnaissance vocale et le traitement du langage naturel (NLP). Les RNN sont conçus pour détecter les caractéristiques d’une donnée de manière séquentielle et les modèles d’utilisation afin d’anticiper le scénario futur probable.
Les réseaux neuronaux récurrents sont utilisés dans le deeplearning et dans la conception de modèles qui imitent les activités des neurones dans le cerveau des humains. Ils sont particulièrement efficaces lorsque le contexte est crucial pour prédire le résultat. Ils se distinguent des autres types de réseaux neuronaux par l’utilisation de boucles de rétroaction afin de traiter un ensemble de données qui informe la sortie, qui peut également être un ensemble de données. Ces boucles de rétroaction permettent aux informations de rester en place et sont communément appelées mémoire.
Les exemples d’utilisation des réseaux neuronaux récurrents ont tendance à être liés aux modèles de langage où la compréhension de la lettre suivante dans un mot ou du mot suivant dans une phrase est basée sur les données qui le précèdent. Un test intéressant est l’utilisation d’un RNN formé à l’œuvre de Shakespeare pour produire une prose au style shakespearien avec succès. L’écriture avec des RNN est un type de créativité générée par ordinateur. Cette simulation artificielle des capacités créatives humaines est rendue possible par la capacité à comprendre la grammaire et la sémantique que l’IA a acquise grâce à ses propres ensembles d’entraînement.
Comment les réseaux neuronaux récurrents apprennent-ils ?
Les réseaux neuronaux artificiels sont constitués de composants interconnectés pour le traitement des données, conçus pour fonctionner comme le cerveau d’un être humain. Ils sont constitués de couches de cellules neuronales artificielles (nœuds de réseau) capables de traiter les données d’entrée et de transférer les informations de sortie aux autres nœuds du réseau. Ils sont reliés par des arêtes, ou poids, qui ont un impact sur la force d’un signal ainsi que sur la sortie du réseau.
Dans certains cas, les réseaux neuronaux artificiels peuvent traiter les données dans un seul sens, de l’entrée à la sortie. Ces réseaux neuronaux à action directe comprennent les réseaux neuronaux convolutifs qui constituent la base des systèmes de reconnaissance d’images. Les RNN, en revanche, sont placés en couches pour traiter les informations dans deux directions.
Comme les réseaux neuronaux à action directe, les RNN sont capables de traiter les données de l’entrée à la sortie finale. Contrairement à ces derniers, les RNN utilisent des boucles de rétroaction telles que la rétropropagation dans le temps (BPTT) tout au long du processus de calcul pour renvoyer des informations au réseau. Cela lie les entrées entre elles et permet aux RNN de traiter des données temporelles et séquentielles.
Unités de mémoire pour une utilisation à court et à long terme
L’un des inconvénients des RNN conventionnels est le problème du gradient de fuite qui affecte l’efficacité du réseau du fait qu’il n’est pas correctement entraîné. C’est le cas des réseaux neuronaux à couche profonde qui sont conçus pour traiter des données plus complexes.
Les RNN standard qui utilisent la méthode d’apprentissage basée sur le gradient perdent de leur efficacité à mesure qu’ils deviennent plus grands et plus compliqués. Le réglage des paramètres dans les premières couches devient long et coûteux en termes de calcul.
Une solution à ce problème est connue sous le nom d’unités de mémoire longue et courte (LSTM) qui ont été développées par les informaticiens Sepp Hochreiter et Jurgen Schmidhuber en 1997. Les RNN construits avec des unités LSTM classent les données dans des cellules de mémoire à long et à court terme. Cela permet aux RNN de déterminer quelles informations sont cruciales et doivent être conservées puis réintégrées dans le réseau, et quelles informations peuvent être perdues.
