반응형 머신러닝알고리즘3 [머신러닝] 배치 하강 경사법(Batch Gradient Descent) 정리 배치 하강 경사법 (Batch Gradient Descent)배치 하강 경사법은 머신러닝과 딥러닝에서 최적의 모델 파라미터를 찾기 위해 사용되는 알고리즘입니다. 모델의 예측 값과 실제 값 간의 오차(비용 함수)를 최소화하는 방향으로 가중치를 업데이트합니다. 아래에 구체적으로 설명해볼게요. 1. 전체 데이터를 한 번에 사용배치 하강 경사법은 훈련 데이터 전체를 사용해 비용 함수(오차)를 계산한 뒤, 가중치를 업데이트합니다. 예를 들어, 훈련 데이터가 1000개라면 이 1000개 데이터 모두를 기반으로 한 번의 업데이트가 이루어집니다. 2. 작동 원리*초기화: 모델의 가중치(파라미터)를 무작위로 설정합니다.*예측: 모델이 현재 가중치를 사용해 훈련 데이터를 예측합니다.*오차 계산: 예측 값과 실제 값의 차.. 2024. 11. 20. 머신러닝 알고리즘 선택 기본 가이드 머신러닝 알고리즘 사용시, 어떤 상황에서 어떤 알고리즘을 선택하는가는 매우 중요한 문제입니다. 이 선택은 모델의 성능, 모델의 학습속도, 자원 사용에 영향을 미치기 때문이에요. 그러니 기준을 잘 정리해 두어야 합니다.이를 위해 가이드라인을 작성해 봅니다. 1. 데이터의 크기와 특성작은 데이터: 데이터가 적고, 과적합이 걱정된다면 K-Nearest Neighbors(KNN)나 결정 트리 같은 간단한 알고리즘이 유리할 수 있어요.큰 데이터: 데이터가 많고 복잡하다면 랜덤 포레스트나 그레이디언트 부스팅 계열(XGBoost, LightGBM)이 더 좋은 성능을 발휘하는 경우가 많습니다. 이들은 큰 데이터에서도 잘 확장될 수 있도록 설계되었습니다. 2. 문제의 유형분류 문제: 이진 분류냐, 다중 클래스냐에 따라 .. 2024. 11. 4. [혼공머신] 04-2 | 확률적 경사 하강법 키워드확률적 경사 하강법훈련 세트에서 샘플을 하나씩 꺼내서 손실 함수의 경사를 따라 최적의 모델을 찾는 알고리즘이다. 샘플을 하나씩 사용하지 않고 여러 개를 사용하면 미니 배치 경사 하강법이 된다. 한 번에 전체 샘플을 사용하면 배치 경사 하강법이 된다.손실 함수손실함수는 확률적 경사 하강법이 최적화할 대상이다. 대부분의 문제에 잘 맞는 손실 함수는 이미 정의되어 있다. 이진 분류에는 로지스틱 회귀(또는 이진 크로스 엔트로피) 손실 함수를 사용한다. 다중 분류에는 크로스 엔트로피 손실 함수를 사용한다. 회귀 문제에는 평균 제곱 오차 손실 함수를 사용한다.에포크확률적 경사 하강법에서 전체 샘플을 모두 사용한 횟수를 의미한다. 일반적으로 경사 하강법 알고리즘은 수십번에서 수백 번 에포크를 반복한다.0.. 2024. 10. 24. 이전 1 다음 반응형
