단일 예측 변수 X를 기반으로 정량적 반응 Y를 예측하는 접근 방식
→ X와 Y의 linear relationship을 가정
X=x를 기반으로 Y를 예측하는데, unknown parameter 혹은, 계수를 추정한다.
⇒ 목표: Linear model의 계수를 추정하여 fit
β_0, β_1는 알 수 없다고 하자.
데이터는 위와 같이 $(x_1, y_1)$가 n개 주어질 때, 계수를 추정해야 한다.
⇒ 이를 통해 β_0, β_1 기울기를 찾아야 한다.
결과선은 점점 data points에 가깝도록 해야 하고, 다양한 clossness 접근 방식이 있지만, 주로 쓰이는 방법은 least squares criterion을 minimize하는 것.
Residual (잔차): i번째 y정답과 y의 예측 값의 차이
Residual Sum of Squares(RSS) | Error Sum of Squares(SSE)
least squares는 β_0, β_1를 minimize
⇒ 수학적으로 x와 y의 sample covariance/x의 sample variance와 같다.