Concepts de base de la formation aux réseaux de neurones récurrents Ppt

Diapositive 1

Cette diapositive donne une introduction aux réseaux de neurones récurrents. Un réseau de neurones récurrent (RNN) est un sous-type de réseau de neurones artificiels (ANN) qui fonctionne avec des séries chronologiques ou des données séquentielles. La sortie de l'étape précédente est fournie comme entrée de la phase actuelle dans un RNN.

Diapositive 2

Cette diapositive définit un réseau neuronal récurrent et un réseau neuronal feedforward. Les RNN fonctionnent sur le concept de préservation de la sortie d'une couche et de la réinjecter dans l'entrée pour estimer la sortie de la couche. Les sorties sont recyclées en tant qu'entrées après un certain nombre de cycles. Les informations circulent uniquement dans une direction dans un réseau à anticipation, depuis les nœuds d'entrée, à travers les couches cachées, et enfin vers les nœuds de sortie.

Diapositive 3

Cette diapositive établit une comparaison entre un réseau de neurones récurrent et un réseau de neurones à anticipation en présentant les solutions que les RNN apportent aux problèmes rencontrés par les réseaux à anticipation.

Diapositive 4

Cette diapositive traite des deux problèmes que présentent les RNN standard. Ce sont le problème du gradient de fuite et le problème du gradient qui explose.

Notes de l'instructeur :

• Problème de gradient de disparition : les gradients de la fonction de perte approchent de zéro lorsque plusieurs couches avec certaines fonctions d'activation sont ajoutées aux réseaux de neurones, ce qui rend le réseau difficile à former.
• Problème de gradient explosif : Un gradient explosif se produit lorsque la pente d'un réseau de neurones croît de façon exponentielle au lieu de diminuer après l'entraînement. Ce problème se produit lorsque des gradients d'erreur importants s'accumulent, ce qui entraîne des modifications importantes des poids du modèle de réseau neuronal pendant l'apprentissage. Les principaux défis des problèmes de gradient sont les temps d'entraînement prolongés, les faibles performances et la mauvaise précision.

Diapositive 5

Cette diapositive répertorie les types de réseaux de neurones récurrents. Ceux-ci incluent un à un, un à plusieurs, plusieurs à un, plusieurs à plusieurs.

Diapositive 6

Cette diapositive illustre trois variantes d'architectures de réseaux de neurones récurrents. Ceux-ci incluent les réseaux de neurones récurrents bidirectionnels, la mémoire longue à court terme et les unités récurrentes fermées.

Diapositive 7

Cette diapositive présente le réseau neuronal récurrent bidirectionnel en tant qu'architecture. Les RNN bidirectionnels extraient les données futures pour augmenter la précision, tandis que les RNN unidirectionnels ne peuvent s'appuyer que sur les entrées précédentes pour créer des prédictions sur l'état actuel.

Diapositive 8

Cette diapositive donne des informations sur la mémoire à long court terme en tant qu'architecture. LSTM est une conception RNN bien connue développée par Sepp Hochreiter et Juergen Schmidhuber pour résoudre le problème du gradient de fuite.

Notes de l'instructeur : Dans les couches profondes du réseau de neurones, les LSTM ont des « cellules » qui ont trois portes : une porte d'entrée, une porte de sortie et une porte d'oubli. Ces portes régulent le flux de données nécessaires pour prévoir la sortie du réseau.

Diapositive 9

Cette diapositive présente les unités récurrentes fermées en tant qu'architecture. Cette version RNN est similaire aux LSTM car elle fonctionne également pour résoudre le problème de mémoire à court terme des modèles RNN. Il utilise des états cachés au lieu des "états de cellule" pour gérer les informations, et au lieu de trois portes, il n'en a que deux - une porte de réinitialisation et une porte de mise à jour.

Diapositive 10

Cette diapositive répertorie les avantages des réseaux de neurones récurrents. Ces avantages sont que les RNN peuvent gérer n'importe quelle longueur d'entrée, ils se souviennent des informations, la taille du modèle n'augmente pas à mesure que la taille de l'entrée augmente, les poids peuvent être distribués, etc.

Diapositive 11

Cette diapositive répertorie les inconvénients des réseaux de neurones récurrents. Les inconvénients sont que le calcul est lent, que les modèles peuvent être difficiles à former et que les problèmes d'explosion et de disparition des gradients sont courants.

Diapositive 12

Cette diapositive répertorie les applications des réseaux de neurones récurrents. Il s'agit de la reconnaissance vocale, de la modélisation du langage et de la génération de texte, de la génération de descriptions d'images, de la traduction automatique, du résumé de texte, du marquage vidéo, de la détection des visages et de l'analyse des centres d'appels.

Notes de l'instructeur :

• Reconnaissance vocale : lorsque les ondes sonores d'un support sont utilisées comme source d'entrée, les RNN peuvent être utilisés pour prévoir les segments phonétiques. L'ensemble d'entrées comprend des phonèmes ou des signaux acoustiques d'un fichier audio qui ont été traités de manière adéquate et utilisés comme entrées
• Modélisation et génération de langage : les RNN tentent d'anticiper le potentiel du mot suivant en utilisant une séquence de mots en entrée. C'est l'un des moyens de traduction les plus utiles, car la phrase la plus probable sera la bonne. La vraisemblance d'un pas de temps de sortie donné est utilisée pour échantillonner les mots dans la prochaine itération de cette méthode
• Génération de descriptions d'images : une combinaison de CNN et de RNN est utilisée pour décrire ce qui se passe à l'intérieur d'une image. La segmentation est effectuée à l'aide de CNN et la description est recréée par RNN à l'aide des données segmentées
• Traduction automatique : les RNN peuvent être utilisés pour traduire du texte d'une langue à une autre d'une manière ou d'une autre. Presque tous les systèmes de traduction utilisés aujourd'hui utilisent une forme de RNN avancé. La langue source peut être utilisée comme entrée et la sortie sera dans la langue cible préférée de l'utilisateur
• Synthèse de texte : cette application peut être très utile pour résumer le contenu des livres et le personnaliser en vue de sa distribution dans des applications qui ne peuvent pas gérer de grandes quantités de texte.
• Marquage vidéo : les RNN peuvent être utilisés dans la recherche vidéo pour décrire le visuel d'une vidéo divisée en plusieurs images
• Détection de visage : la reconnaissance d'image est l'un des RNN les plus simples à comprendre. La méthode est construite autour de la prise d'une unité d'une image en entrée et de la production de la description de l'image en plusieurs groupes de sortie
• Analyse du centre d'appels : l'ensemble de la procédure peut être automatisé si les RNN sont utilisés pour traiter et synthétiser la parole réelle de l'appel à des fins d'analyse