반응형 AI14 [혼공머신] 06-1 | 군집 알고리즘 드디어 6단원에 들어왔다. 강의에서 원한다면 6단원은 건너뛰고 나중에 다시 와서 봐도 좋다고 하는데, 나는 그냥 교재 순차대로 보려고 한다.https://youtu.be/u-G_sV7P_aA?si=5tbNy-iJVXUGodkx 키워드비지도 학습비지도 학습은 머신러닝의 한 종류로 훈련 데이터에 타깃이 없습니다. 타깃이 없기 때문에 외부의 도움 없이 스스로 유용한 무언가를 학습해야 합니다. 대표적인 비지도 학습은 군집, 차원 축소 등입니다.히스토그램히스토그램은 구간별로 값이 발생한 빈도를 그래프로 표시한 것입니다. 보통 x축이 값의 구간(계급)이고 y축은 발생 빈도(도수)입니다.군집군집은 비슷한 샘플끼리 하나의 그룹으로 모으는 대표적인 비지도 학습 작업입니다. 군집 알고리즘으로 모은 샘플 그룹을 .. 2024. 11. 6. 머신러닝 알고리즘 선택 기본 가이드 머신러닝 알고리즘 사용시, 어떤 상황에서 어떤 알고리즘을 선택하는가는 매우 중요한 문제입니다. 이 선택은 모델의 성능, 모델의 학습속도, 자원 사용에 영향을 미치기 때문이에요. 그러니 기준을 잘 정리해 두어야 합니다.이를 위해 가이드라인을 작성해 봅니다. 1. 데이터의 크기와 특성작은 데이터: 데이터가 적고, 과적합이 걱정된다면 K-Nearest Neighbors(KNN)나 결정 트리 같은 간단한 알고리즘이 유리할 수 있어요.큰 데이터: 데이터가 많고 복잡하다면 랜덤 포레스트나 그레이디언트 부스팅 계열(XGBoost, LightGBM)이 더 좋은 성능을 발휘하는 경우가 많습니다. 이들은 큰 데이터에서도 잘 확장될 수 있도록 설계되었습니다. 2. 문제의 유형분류 문제: 이진 분류냐, 다중 클래스냐에 따라 .. 2024. 11. 4. [혼공머신] 05-3 | 트리의 앙상블 이번 단원은 머신 러닝에서 특별히 중요한 단원이라고 합니다.https://youtu.be/Moz8i-tKurk?si=WJBaFYBdQppL5RKl *키워드 앙상블 학습더 좋은 예측 결과를 만들기 위해 여러 개의 모델을 훈련하는 머신러닝 알고리즘을 말한다.랜덤 포레스트대표적인 결정 트리 기반의 앙상블 학습 방법이다. 부트스트랩 샘플을 사용하고 랜덤하게 일부 특성을 선택하여 트리를 만드는 것이 특징이다.엑스트라 트리랜덤 포레스트와 비슷하게 결정 트리를 사용하여 앙상블 모델을 만들지만 부트스트랩 샘플을 사용하지 않는다. 대신 랜덤하게 노드를 분할해 과대적합을 감소시킨다.그레이디언트 부스팅랜덤 포레스트나 엑스트라 트리와 달리, 결정 트리를 연속적으로 추가하여 손실 함수를 최소화하는 앙상블 방법이다. 이런 .. 2024. 11. 4. 그리드 서치와 랜덤 서치 (Grid Search & Random Search) 그리드 서치(Grid Search)와 랜덤 서치(Random Search)는 기계 학습에서 하이퍼파라미터 튜닝을 위해 널리 사용되는 두 가지 기법입니다. 각각의 방법은 모델의 성능을 최적화하기 위해 최적의 하이퍼파라미터 세트를 찾는데 사용됩니다.그리드 서치 (Grid Search)그리드 서치는 사전에 지정된 하이퍼파라미터의 모든 조합을 체계적으로 탐색하여 최적의 조합을 찾는 방법입니다. 사용자는 탐색할 하이퍼파라미터와 그 값을 정의하고, 그리드 서치는 이 값들의 모든 가능한 조합에 대해 모델을 훈련시키고 평가합니다.특징:철저함: 가능한 모든 조합을 탐색하기 때문에, 최적의 조합을 놓치지 않습니다.시간 소모적: 조합의 수가 많을 경우, 매우 많은 시간과 계산 자원을 필요로 합니다.간단하고 예측 가능: 구현.. 2024. 11. 1. [혼공머신] 05-2 | 교차 검증과 그리드 서치 https://youtu.be/ZaIKUvHquEQ?si=a3D8by-rJAsxLb_Q 키워드검증 세트검증 세트는 하이퍼파라미터 튜닝을 위해 모델을 평가할 때, 테스트 세트를 사용하지 않기 위해 훈련 세트에서 다시 떼어 낸 데이터 세트이다.교차 검증교차 검증은 우선 훈련 세트를 여러 폴드로 나눈 다음, 한 폴드가 검증 세트 역할을 하고 나머지 폴드로 모델을 훈련한다. 그리고 이런식으로 모든 폴드에 대해 검증 점수를 얻어 평균한다.그리드 서치그리드 서치는 하이퍼파라미터 탐색을 자동화해 주는 도구이다. 탐색할 매개변수를 나열하면 교차 검증을 수행한 후 가장 좋은 검증 점수의 매개변수 조합을 선택해준다. 그리고 이 매개변수 조합으로 최종 모델을 훈련한다.랜덤 서치랜덤 서치는 연속된 매개변수 값을 탐색할.. 2024. 11. 1. 이전 1 2 3 다음 반응형
