반응형 AI28 머신러닝 알고리즘 선택 기본 가이드 머신러닝 알고리즘 사용시, 어떤 상황에서 어떤 알고리즘을 선택하는가는 매우 중요한 문제입니다. 이 선택은 모델의 성능, 모델의 학습속도, 자원 사용에 영향을 미치기 때문이에요. 그러니 기준을 잘 정리해 두어야 합니다.이를 위해 가이드라인을 작성해 봅니다. 1. 데이터의 크기와 특성작은 데이터: 데이터가 적고, 과적합이 걱정된다면 K-Nearest Neighbors(KNN)나 결정 트리 같은 간단한 알고리즘이 유리할 수 있어요.큰 데이터: 데이터가 많고 복잡하다면 랜덤 포레스트나 그레이디언트 부스팅 계열(XGBoost, LightGBM)이 더 좋은 성능을 발휘하는 경우가 많습니다. 이들은 큰 데이터에서도 잘 확장될 수 있도록 설계되었습니다. 2. 문제의 유형분류 문제: 이진 분류냐, 다중 클래스냐에 따라 .. 2024. 11. 4. [혼공머신] 05-3 | 트리의 앙상블 이번 단원은 머신 러닝에서 특별히 중요한 단원이라고 합니다.https://youtu.be/Moz8i-tKurk?si=WJBaFYBdQppL5RKl *키워드 앙상블 학습더 좋은 예측 결과를 만들기 위해 여러 개의 모델을 훈련하는 머신러닝 알고리즘을 말한다.랜덤 포레스트대표적인 결정 트리 기반의 앙상블 학습 방법이다. 부트스트랩 샘플을 사용하고 랜덤하게 일부 특성을 선택하여 트리를 만드는 것이 특징이다.엑스트라 트리랜덤 포레스트와 비슷하게 결정 트리를 사용하여 앙상블 모델을 만들지만 부트스트랩 샘플을 사용하지 않는다. 대신 랜덤하게 노드를 분할해 과대적합을 감소시킨다.그레이디언트 부스팅랜덤 포레스트나 엑스트라 트리와 달리, 결정 트리를 연속적으로 추가하여 손실 함수를 최소화하는 앙상블 방법이다. 이런 .. 2024. 11. 4. 그리드 서치와 랜덤 서치 (Grid Search & Random Search) 그리드 서치(Grid Search)와 랜덤 서치(Random Search)는 기계 학습에서 하이퍼파라미터 튜닝을 위해 널리 사용되는 두 가지 기법입니다. 각각의 방법은 모델의 성능을 최적화하기 위해 최적의 하이퍼파라미터 세트를 찾는데 사용됩니다.그리드 서치 (Grid Search)그리드 서치는 사전에 지정된 하이퍼파라미터의 모든 조합을 체계적으로 탐색하여 최적의 조합을 찾는 방법입니다. 사용자는 탐색할 하이퍼파라미터와 그 값을 정의하고, 그리드 서치는 이 값들의 모든 가능한 조합에 대해 모델을 훈련시키고 평가합니다.특징:철저함: 가능한 모든 조합을 탐색하기 때문에, 최적의 조합을 놓치지 않습니다.시간 소모적: 조합의 수가 많을 경우, 매우 많은 시간과 계산 자원을 필요로 합니다.간단하고 예측 가능: 구현.. 2024. 11. 1. [혼공머신] 05-2 | 교차 검증과 그리드 서치 https://youtu.be/ZaIKUvHquEQ?si=a3D8by-rJAsxLb_Q 키워드검증 세트검증 세트는 하이퍼파라미터 튜닝을 위해 모델을 평가할 때, 테스트 세트를 사용하지 않기 위해 훈련 세트에서 다시 떼어 낸 데이터 세트이다.교차 검증교차 검증은 우선 훈련 세트를 여러 폴드로 나눈 다음, 한 폴드가 검증 세트 역할을 하고 나머지 폴드로 모델을 훈련한다. 그리고 이런식으로 모든 폴드에 대해 검증 점수를 얻어 평균한다.그리드 서치그리드 서치는 하이퍼파라미터 탐색을 자동화해 주는 도구이다. 탐색할 매개변수를 나열하면 교차 검증을 수행한 후 가장 좋은 검증 점수의 매개변수 조합을 선택해준다. 그리고 이 매개변수 조합으로 최종 모델을 훈련한다.랜덤 서치랜덤 서치는 연속된 매개변수 값을 탐색할.. 2024. 11. 1. [혼공머신] 05-1 | 결정 트리 키워드결정 트리예, 아니오에 대한 질문을 이어가면서 정답을 찾아 학습하는 알고리즘이다. 비교적 예측 과정을 이해하기 쉽고 성능도 뛰어나다.불순도결정 트리가 최적의 질문을 찾기 위한 기준이다. 사이킷런은 지니 불순도와 엔트로피 불순도를 제공한다.정보 이득부모 노드와 자식 노드의 불순도 차이다. 결정 트리 알고리즘은 정보 이득이 최대화 되도록 학습한다.가지치기결정 트리는 제한 없이 성장하면 훈련 세트에 과대적합되기 쉽다. 가지치기는 결정 트리의 성장을 제한하는 방법이다. 사이킷런의 결정 트리 알고리즘은 여러가지 가지치기 매개변수를 제공한다.특성 중요도결정 트리에 사용된 특성이 불순도를 감소하는데 기여한 정도를 나타내는 값이다. 특성 중요도를 계산할 수 있는 것이 결정 트리의 또다른 큰 장점이다.05-1.. 2024. 10. 31. 이전 1 2 3 4 5 6 다음 반응형
