Gradientenabstieg

Ein iteratives Verfahren, das ausgehend von einem Startwert Schritte in Richtung des steilsten Abstiegs macht:

Die Schrittweite $\delta$ wird oft durch eine Liniensuche bestimmt. Das Verfahren konvergiert linear und neigt in schmalen Tälern zu starkem Oszillieren.