Oprócz opisywania tego jak dwie zmienne są ze sobą powiązane możemy spróbować opisać jak jedna zmienna kształtuje się pod wpływem drugiej. Wówczas pierwszą zmienną nazywamy zależną a drugą niezależną.
Statystycznym narzędziem do realizacji tego celu jest regresja liniowa.
Wyobraźmy sobie, że pewien zestaw danych traktujemy jak punkty przestrzeni i nanosimy na wykres.
Jeśli mamy układ współrzędnych, to można zdefiniować w nim funkcję - i taka też właśnie jest idea regresji liniowej. W oparciu o klasyczną metodę najmniejszych kwadratów do punktów dopasowywana jest prosta możliwie najlepiej ukazująca ich rozmieszczenie. Równanie tej prostej jest równaniem regresji i opisuje ono kształtowanie się zmiennej \(y\) pod wpływem zmiennej \(x\).
Modele regresji wykorzystywane są w wielu dziedzinach, przede wszystkim w analizie jakości oraz przy badaniu skuteczności eksperymentów przez fizyków. Chętnie też korzystają z nich ekonomiści i znaczna część idei na jakich oparta jest ekonometria wywodzi się z technik regresji statystycznej.