X: predictors, independent variables, features, variables
Y: response, dependent variable
Prediction
inputs X를 추정된 f를 이용해 Y를 예측
Reducible error를 minimize 해야 함
Irreducible error은 unmeasurable 함.
Inference
Y와 X들간의 관계를 추정하는 것
predictors는 response와 관련이 있는가?
→ 연관성이 적을 수 있지만, 종종 중요한 predictors는 중요한 부분을 차지한다.
response와 각각의 predictor는 무슨 관계가 있는가?
→ 일부 predictor는 Y와 양의 관계가 있을 수 있다. 예를 들어 predictor의 값이 커질 때, Y의 값도 커질 수 있다. 반대로, 음의 관계도 존재할 수 있다. 이는 f의 complexity에 따라 달라질 수 있다.
Y와 각각의 predictor가 linear relationship을 띄는지 혹은 그것보다 더 복잡한지
→ 전통적으로 f를 추정할 때, linear form을 따랐지만 종종 양의 관계는 복잡하다. 따라서 linear model이 정확한 input과 output의 관계를 표현하지 않을 수 있다.
linear model은 interpretable inference를 주지만, 아마도 다른 접근 방식만큼 정확한 예측을 하지 못할 수 있다.