반응형 AI/관련 자료16 [머신러닝] 시그모이드(Sigmoid) 함수란? 시그모이드 활성 함수는 S-자 형태의 곡선을 가지며, 입력값을 0과 1사이의 값으로 매핑합니다. 시그모이드 함수는 아래와 같은 수식으로 정의됩니다. 여기서:x는 입력값 (뉴런의 가중합), e는 자연상수 (≈2.718)입니다. 특징:- 출력 범위: 항상 0에서 1 사이의 값.- 비선형성: 입력값이 클수록 출력은 1에 가까워지고, 작을수록 0에 가까워짐.- 미분 가능: 역전파(Backpropagation)에서 사용할 수 있는 미분 값을 제공. 은닉층에서의 역할시그모이드 함수는 은닉층에서 비선형성을 추가하는 데 사용됩니다. 이는 뉴런이 단순히 선형 연산만 하는 것이 아니라 복잡한 패턴을 학습할 수 있도록 도와줍니다. 주요 역할:- 패턴 학습: 선형으로 분리되지 않는 데이터의 복잡한 패턴을 모델이 학습 가능.. 2024. 11. 25. [머신러닝] 렐루(ReLU) 함수란? 렐루(ReLU) 함수, 즉 정류된 선형 유닛 함수는 딥러닝에서 매우 널리 사용되는 활성화 함수 중 하나입니다. ReLU 함수의 수학적 정의는 매우 간단합니다. 주어진 입력 x에 대해, 함수는 다음과 같이 정의됩니다: 이는 입력 x가 0보다 크면 x를 그대로 출력하고, 0보다 작거나 같으면 0을 출력한다는 의미입니다.ReLU 활성화 함수는 딥러닝에서 다양한 분야와 응용에서 널리 사용됩니다. 그 사용 사례를 몇 가지 구체적으로 살펴보겠습니다.컴퓨터 비전 (Computer Vision):이미지 분류, 객체 인식, 세그멘테이션과 같은 작업에서 일반적으로 ReLU 함수를 선택합니다. 예를 들어, 컨볼루션 신경망(CNN)에서는 각 컨볼루션 레이어 후에 ReLU를 적용하여 비선형성을 도입하고 네트워크의 학습 능력을.. 2024. 11. 22. [머신러닝] 미니 배치 경사 하강법(Mini-Batch Gradient Descent) 정리 미니 배치 경사 하강법은 전체 데이터셋이 아닌 작은 데이터 묶음(미니 배치)을 사용해 모델의 파라미터(가중치와 편향)를 업데이트하는 최적화 알고리즘입니다. 이는 경사 하강법의 변형 중 하나로, 전통적인 배치 경사 하강법과 확률적 경사 하강법(SGD)의 중간 형태입니다. 1. 작동 방식1. 데이터 분할:전체 데이터셋을 미니 배치라 불리는 작은 데이터 묶음으로 나눕니다.예: 데이터셋이 10,000개고, 미니 배치 크기가 100이라면 총 100개의 미니 배치가 생성됩니다.2. 모델 업데이트 과정:각 에포크(epoch)에서:(1) 미니 배치 하나를 선택합니다.(2) 해당 미니 배치 데이터를 기반으로 손실 함수의 기울기를 계산합니다.(3) 계산된 기울기를 사용해 파라미터를 업데이트합니다.이 과정을 데이터셋의 모든.. 2024. 11. 21. [머신러닝] 배치 하강 경사법(Batch Gradient Descent) 정리 배치 하강 경사법 (Batch Gradient Descent)배치 하강 경사법은 머신러닝과 딥러닝에서 최적의 모델 파라미터를 찾기 위해 사용되는 알고리즘입니다. 모델의 예측 값과 실제 값 간의 오차(비용 함수)를 최소화하는 방향으로 가중치를 업데이트합니다. 아래에 구체적으로 설명해볼게요. 1. 전체 데이터를 한 번에 사용배치 하강 경사법은 훈련 데이터 전체를 사용해 비용 함수(오차)를 계산한 뒤, 가중치를 업데이트합니다. 예를 들어, 훈련 데이터가 1000개라면 이 1000개 데이터 모두를 기반으로 한 번의 업데이트가 이루어집니다. 2. 작동 원리*초기화: 모델의 가중치(파라미터)를 무작위로 설정합니다.*예측: 모델이 현재 가중치를 사용해 훈련 데이터를 예측합니다.*오차 계산: 예측 값과 실제 값의 차.. 2024. 11. 20. [머신러닝] 활성 함수(Activation function)란? 활성함수(Activation Function)는 인공신경망(Artificial Neural Network)에서 뉴런의 출력 값을 결정하는 비선형 함수입니다. 입력 신호를 받아 처리하고 출력값을 조정함으로써 모델의 학습 능력과 복잡한 문제 해결 능력을 제공합니다. 활성함수의 주요 역할*비선형성 제공- 선형 함수만 사용하면 뉴런의 조합도 선형으로 이어져 신경망의 깊이가 아무리 깊어도 복잡한 문제를 해결하지 못합니다.- 활성함수는 비선형성을 추가해 복잡한 관계를 학습할 수 있도록 만듭니다.*출력값 제한활성함수는 출력값을 특정 범위로 제한하여 수치 안정성을 유지하고, 학습을 더 효율적으로 만듭니다.*다양한 표현 학습활성함수를 통해 신경망은 다양한 패턴을 학습하고, 이를 결합해 복잡한 문제를 해결합니다. .. 2024. 11. 15. 이전 1 2 3 4 다음 반응형
