Varianten der Architekturen wiederkehrender neuronaler Netze – Schulungs-Ppt

Folie 1

Diese Folie zeigt drei Varianten von Architekturen wiederkehrender neuronaler Netze. Dazu gehören bidirektionale wiederkehrende neuronale Netze, langes Kurzzeitgedächtnis und Gated Recurrent Units.

Folie 2

Auf dieser Folie geht es um das bidirektionale rekurrente neuronale Netzwerk als Architektur. Bidirektionale RNNs ziehen zukünftige Daten ein, um die Genauigkeit zu erhöhen, während unidirektionale RNNs nur auf frühere Eingaben zurückgreifen können, um Vorhersagen über den aktuellen Zustand zu erstellen.

Folie 3

Diese Folie bietet Informationen über das Langzeit-Kurzzeitgedächtnis als Architektur. LSTM ist ein bekanntes RNN-Design, das von Sepp Hochreiter und Jürgen Schmidhuber entwickelt wurde, um das Problem des verschwindenden Gradienten anzugehen.

Hinweise des Kursleiters: In den tiefen Schichten des neuronalen Netzwerks verfügen LSTMs über „Zellen“, die über drei Tore verfügen: Eingangstor, Ausgangstor und Vergessenstor. Diese Tore regulieren den Datenfluss, der zur Vorhersage der Netzwerkleistung erforderlich ist.

Folie 4

Auf dieser Folie geht es um Gated Recurrent Units als Architektur. Diese RNN-Version ähnelt LSTMs, da sie auch das Problem des Kurzzeitgedächtnisses von RNN-Modellen löst. Es verwendet versteckte Zustände anstelle von „Zellenzuständen“, um Informationen zu steuern, und statt drei Gatter verfügt es nur über zwei – ein Reset-Gate und ein Update-Gate.