Comprender el descenso de gradiente Ppt

Diapositiva 1

Esta diapositiva presenta el concepto de descenso de gradiente. Gradient Descent es un proceso de optimización que se utiliza en los algoritmos de aprendizaje automático para minimizar la función de costo (el error entre la salida real y la prevista). Se utiliza principalmente para actualizar los parámetros del modelo de aprendizaje.

Diapositiva 2

Esta diapositiva enumera los tipos de descenso de gradiente. Estos incluyen el descenso de gradiente por lotes, el descenso de gradiente estocástico y el descenso de gradiente de mini lotes.

Notas del instructor:

• Descenso de gradiente por lotes: el descenso de gradiente por lotes agrega los errores para cada punto en un conjunto de entrenamiento antes de actualizar el modelo después de que se hayan revisado todas las instancias de entrenamiento. Este proceso se conoce como la Época de Entrenamiento. El descenso de gradiente por lotes generalmente proporciona un gradiente de error constante y una convergencia, aunque elegir el mínimo local en lugar del mínimo global no siempre es la mejor solución.
• Descenso de gradiente estocástico: el descenso de gradiente estocástico crea una época de entrenamiento para cada ejemplo en el conjunto de datos y cambia los parámetros de cada ejemplo de entrenamiento, secuencialmente. Estas actualizaciones frecuentes pueden proporcionar mayor detalle y velocidad, pero también pueden producir gradientes ruidosos, que pueden ayudar a superar el mínimo local y ubicar el global.
• Descenso de gradiente de mini lotes: el descenso de gradiente de mini lotes combina los principios del descenso de gradiente de lotes con el descenso de gradiente estocástico. Divide el conjunto de datos de entrenamiento en distintos grupos y los actualiza por separado. Este método equilibra la eficiencia informática del descenso de gradiente por lotes y la velocidad del descenso de gradiente estocástico