Mit dem Ansatz der kleinsten Fehlerquadrate wird derjenige Schätzer ermittelt, mit dem das zugrundeliegende Modell die beobachteten Repräsentationen der zu untersuchenden Zufallsvariablen am genauesten beschreibt. Dazu wird die Summe der quadrierten Differenzen zwischen den einzelnen Repräsentationen und der Modellprognose in Abhängigkeit des zu schätzenden Parameters gebildet. Für die Optimalität des Vorhersagemodells wird derjenige Parameter Θ gewählt, der die Summe der Fehlerquadrate und somit den Abstand zwischen den prognostizierten und beobachteten Werten minimiert.