Is validation necessary?

딥러닝 논문들을 보면서 experiment에 validation없이 train-test로 실험한 결과들이 다수 있었다.

이러한 방식은 overfitting에 문제가 없을까?

mlops

validation을 추가해 실험하는 기법중 cross-validation은 overfitting을 막고 모델의 성능을 검증하기 위한 좋은 방법이다.

cross-validation은 2가지의 목적을 가지고 있는데,

1. validation의 선택에 따라 train-test의 데이터 분포가 편향되어 성능이 다르게 나올 수 있다. k-fold를 통해 총 성능의 평균을 기준으로 하므로 더 general한 모델을 찾기 좋다.
2. ML의 logistic regression의 parameter인 C값과 같은 hyperparameter를 결정하는데 도움이 된다.

다양한 validation 기법

이처럼 각 validation의 기법의 필요성에 대해 논할순 있어도 validation 자체는 절대적으로 필요하다고 볼 수 있다.

validation은 여러 목적을 위해서 필요하다.

• Scalability and flexibility
• Reduce the costs
• Enhance the model quality
• Discovering more errors
• Prevents the model from overfitting and underfitting

그나마 가장 제한된 상황에서 답변으로 만약 validation을 나눌수 없는 정도로 데이터가 적은 상황이라면 validation없이 진행할 수 밖에 없다는 의견이 있었다. 강제적인 상황이 아닌 이상 validation은 꼭 사용하는것이 안정된 성능을 보장하기 위한 조건이다.