Lec 07 ML의 실용과 팁

Large learning rate : overshooting

너무 많은 값을 뛰어넘기 때문에 정상적인 값을 출력하지 못합니다.

Small learning rate : takes too long, stops at local minimum

작은 값을 이용한 learning rate는 너무 오랜 시간이 걸립니다.

보통 시작 learning rate를 0.1부터 시작하여 줄이거나 늘리면서 값을 맞춰 나갑니다.

Data(X) preprocessing for gradient descent

데이터에 큰 차이가 있을때도 문제가 있습니다. 이것을 해결하기위해 normalize를 해줘야합니다. 데이터의 중심을 0으로 그리고 특정 값안에 들어갈수 있도록 normalize를 해주는 것입니다.

 

Overfitting

둘중 왼쪽 모델이 좋은 모델입니다. 오른쪽 모델은 너무 트레이닝 셋에 맞춘 것입니다.

• More training data - 더많은 데이터!
• Reduce the number of features - feature의 갯수를 조금 줄이는것
• Regularization - 일반화

Regularization

Let's not have too big numbers in the weight

regularization strength 값을 늘리면 regularization을 중요하게 생각한다는 것이고 낮추면 중요하지 않다는 것을 의미합니다.

Training / Testing

만들어진 모델에 이미 training한 데이터를 다시 테스트에 사용한다면 거의 100%맞춘다는것은 당연한 일일것입니다.

Validation은 튜닝을 위해 따로 뺀 값이라고 생각하면 됩니다.

테스트 데이터로 주는 mnist도 테스트와 트레이닝으로 나누어져 있는것을 볼 수 있습니다.

Online learning

100만개의 데이터를 가지고 한번에 학습을 하지않고 10만개 씩 끊어서 할 수 있습니다. 이는 이후에 생길 데이터를 추가 할 수 있는 좋은 러닝 모델입니다.