2023.05.17
- 에포크와 배치
에포크는 전체 훈련 데이터셋이 알고리즘을 통해 한 번 전체적으로 처리되는 각 반복이다. 훈련 데이터가 1000개의 샘플로 이루어져 있고, 배치 크기가 10이라면, 한 에포크를 완료하기 위해선 100번의 반복이 필요하다. 에포크 수를 증가시키면 모델이 데이터에서 더 많은 패턴을 학습하게 되지만, 너무 많은 에포크는 오버피팅(과적합)을 일으킬 수 있다. 따라서 적절한 에포크 수를 선택하는 것이 중요하다.
배치는 훈련 데이터셋에서 한 번에 처리하는 데이터의 묶음이다. 1000개의 훈련 샘플이 있고 배치 크기가 10이라면, 각 배치는 10개의 샘플을 포함하며, 전체 훈련 세트를 처리하려면 100개의 배치가 필요하다. 배치 크기를 설정하는 것은 중요한 결정 중 하나로, 메모리 사용량, 훈련 속도, 모델 성능 등에 영향을 미친다.
학습률(Learning Rate): 모델이 얼마나 빠르게 학습할지를 결정하는 중요한 파라미터이다. 너무 높은 학습률은 최적의 솔루션을 놓칠 수 있고, 너무 낮은 학습률은 학습 속도를 늦출 수 있다.
가중치 초기화(Weight Initialization): 신경망의 가중치를 처음에 어떻게 설정할지를 결정한다. 이는 모델의 성능에 큰 영향을 미칠 수 있다.
정규화(Regularization): 모델이 오버피팅되는 것을 방지하는 데 사용되며, L1, L2 정규화 등 다양한 방법이 있다.
드롭아웃(Dropout): 딥러닝에서 과적합을 방지하기 위한 방법 중 하나로, 특정 비율의 뉴런을 임의로 비활성화하는 기법이다.
활성화 함수(Activation Function): 신경망의 각 뉴런에서 출력값을 결정하는 함수로, ReLU, Sigmoid, Tanh 등 다양한 활성화 함수가 있다.
손실 함수(Loss Function): 예측값과 실제값 사이의 차이를 측정하는 함수로, 모델의 성능을 평가하는 데 사용된다. 손실 함수를 최소화하는 것이 모델 학습의 목표이다.