반응형 머신러닝22 [머신러닝] 시그모이드(Sigmoid) 함수란? 시그모이드 활성 함수는 S-자 형태의 곡선을 가지며, 입력값을 0과 1사이의 값으로 매핑합니다. 시그모이드 함수는 아래와 같은 수식으로 정의됩니다. 여기서:x는 입력값 (뉴런의 가중합), e는 자연상수 (≈2.718)입니다. 특징:- 출력 범위: 항상 0에서 1 사이의 값.- 비선형성: 입력값이 클수록 출력은 1에 가까워지고, 작을수록 0에 가까워짐.- 미분 가능: 역전파(Backpropagation)에서 사용할 수 있는 미분 값을 제공. 은닉층에서의 역할시그모이드 함수는 은닉층에서 비선형성을 추가하는 데 사용됩니다. 이는 뉴런이 단순히 선형 연산만 하는 것이 아니라 복잡한 패턴을 학습할 수 있도록 도와줍니다. 주요 역할:- 패턴 학습: 선형으로 분리되지 않는 데이터의 복잡한 패턴을 모델이 학습 가능.. 2024. 11. 25. [머신러닝] 렐루(ReLU) 함수란? 렐루(ReLU) 함수, 즉 정류된 선형 유닛 함수는 딥러닝에서 매우 널리 사용되는 활성화 함수 중 하나입니다. ReLU 함수의 수학적 정의는 매우 간단합니다. 주어진 입력 x에 대해, 함수는 다음과 같이 정의됩니다: 이는 입력 x가 0보다 크면 x를 그대로 출력하고, 0보다 작거나 같으면 0을 출력한다는 의미입니다.ReLU 활성화 함수는 딥러닝에서 다양한 분야와 응용에서 널리 사용됩니다. 그 사용 사례를 몇 가지 구체적으로 살펴보겠습니다.컴퓨터 비전 (Computer Vision):이미지 분류, 객체 인식, 세그멘테이션과 같은 작업에서 일반적으로 ReLU 함수를 선택합니다. 예를 들어, 컨볼루션 신경망(CNN)에서는 각 컨볼루션 레이어 후에 ReLU를 적용하여 비선형성을 도입하고 네트워크의 학습 능력을.. 2024. 11. 22. [혼공머신] 07-2 | 심층신경망 https://youtu.be/JskWW5MlzOg?si=VD_9QVEK3KrpU20L 키워드심층 신경망심층 신경망은 2개 이상의 층을 포함한 신경망입니다. 종종 다층 인공 신경망, 심층 신경망, 딥러닝을 같은 의미로 사용합니다.렐루 함수렐루 함수는 이미지 분류 모델의 은닉층에 많이 사용하는 활성화 함수입니다. 시그모이드 함수는 층이 많을수록 활성화 함수의 양쪽 끝에서 변화가 작기 때문에 학습이 어려워집니다. 렐루 함수는 이런 문제가 없으며 계산도 간단합니다.옵티마이저옵티마이저는 신경망의 가중치와 절편을 학습하기 위한 알고리즘 또는 방법을 말합니다. 케라스에는 다양한 경사 하강법 알고리즘이 구현되어 있습니다. 대표적으로 SGD, 네스테로프 모멘텀, RMSprop, Adam 등이 있습니다. 핵심 패.. 2024. 11. 22. [머신러닝] 미니 배치 경사 하강법(Mini-Batch Gradient Descent) 정리 미니 배치 경사 하강법은 전체 데이터셋이 아닌 작은 데이터 묶음(미니 배치)을 사용해 모델의 파라미터(가중치와 편향)를 업데이트하는 최적화 알고리즘입니다. 이는 경사 하강법의 변형 중 하나로, 전통적인 배치 경사 하강법과 확률적 경사 하강법(SGD)의 중간 형태입니다. 1. 작동 방식1. 데이터 분할:전체 데이터셋을 미니 배치라 불리는 작은 데이터 묶음으로 나눕니다.예: 데이터셋이 10,000개고, 미니 배치 크기가 100이라면 총 100개의 미니 배치가 생성됩니다.2. 모델 업데이트 과정:각 에포크(epoch)에서:(1) 미니 배치 하나를 선택합니다.(2) 해당 미니 배치 데이터를 기반으로 손실 함수의 기울기를 계산합니다.(3) 계산된 기울기를 사용해 파라미터를 업데이트합니다.이 과정을 데이터셋의 모든.. 2024. 11. 21. [머신러닝] 배치 하강 경사법(Batch Gradient Descent) 정리 배치 하강 경사법 (Batch Gradient Descent)배치 하강 경사법은 머신러닝과 딥러닝에서 최적의 모델 파라미터를 찾기 위해 사용되는 알고리즘입니다. 모델의 예측 값과 실제 값 간의 오차(비용 함수)를 최소화하는 방향으로 가중치를 업데이트합니다. 아래에 구체적으로 설명해볼게요. 1. 전체 데이터를 한 번에 사용배치 하강 경사법은 훈련 데이터 전체를 사용해 비용 함수(오차)를 계산한 뒤, 가중치를 업데이트합니다. 예를 들어, 훈련 데이터가 1000개라면 이 1000개 데이터 모두를 기반으로 한 번의 업데이트가 이루어집니다. 2. 작동 원리*초기화: 모델의 가중치(파라미터)를 무작위로 설정합니다.*예측: 모델이 현재 가중치를 사용해 훈련 데이터를 예측합니다.*오차 계산: 예측 값과 실제 값의 차.. 2024. 11. 20. 이전 1 2 3 4 5 다음 반응형
