반응형 mini-batchgradientdescent1 [머신러닝] 미니 배치 경사 하강법(Mini-Batch Gradient Descent) 정리 미니 배치 경사 하강법은 전체 데이터셋이 아닌 작은 데이터 묶음(미니 배치)을 사용해 모델의 파라미터(가중치와 편향)를 업데이트하는 최적화 알고리즘입니다. 이는 경사 하강법의 변형 중 하나로, 전통적인 배치 경사 하강법과 확률적 경사 하강법(SGD)의 중간 형태입니다. 1. 작동 방식1. 데이터 분할:전체 데이터셋을 미니 배치라 불리는 작은 데이터 묶음으로 나눕니다.예: 데이터셋이 10,000개고, 미니 배치 크기가 100이라면 총 100개의 미니 배치가 생성됩니다.2. 모델 업데이트 과정:각 에포크(epoch)에서:(1) 미니 배치 하나를 선택합니다.(2) 해당 미니 배치 데이터를 기반으로 손실 함수의 기울기를 계산합니다.(3) 계산된 기울기를 사용해 파라미터를 업데이트합니다.이 과정을 데이터셋의 모든.. 2024. 11. 21. 이전 1 다음 반응형
