2023.05.16

예전에 전공수업으로 들었던걸 간단하게 정리하고자 한다. 추후 정리예정

 

경사하강법(Gradient Descent)은 기계 학습과 인공지능에서 중요한 최적화 알고리즘이다. 이 알고리즘은 주로 손실 함수를 최소화하는 데 사용되며, 반복적으로 실행된다.

 

경사하강법의 기본 아이디어는 함수의 현재 위치에서의 기울기(경사)를 계산하고, 그 기울기가 가장 낮은 방향으로 조금씩 이동하는 것이다. 이 과정을 반복하면 손실 함수의 최소값에 도달하게 된다.

경사하강법에는 세 가지 주요 변형이 있다:

• Batch Gradient Descent: 전체 데이터셋에 대해 경사를 계산한다. 이 방법은 한 번의 업데이트에 모든 데이터를 사용하므로 시간이 오래 걸릴 수 있다.
• Stochastic Gradient Descent (SGD): 한 번의 업데이트에 하나의 훈련 샘플만을 사용한다. 이 방법은 빠르지만, 업데이트가 불안정할 수 있다.
• Mini-Batch Gradient Descent: 경사를 계산하기 위해 데이터셋의 작은 부분집합(또는 '미니배치')을 사용한다. 이 방법은 전체 데이터셋과 단일 샘플 사이의 균형을 이루며, 실제로 가장 널리 사용되는 방법이다.

 

또한, Momentum, RMSProp, Adam 등과 같은 고급 최적화 알고리즘을 사용하여 경사하강법의 단점을 극복하고 손실 함수의 최소값에 더 빠르게 도달하게 할 수 있다. 이러한 알고리즘들은 모델의 학습 속도를 높이고, 최적의 솔루션을 찾는 데 도움을 준다.

 

1. 머신 러닝(Machine Learning): 머신 러닝은 컴퓨터가 명시적으로 프로그래밍되지 않아도 학습할 수 있는 능력을 갖추게 하는 인공지능의 한 부분이다. 이는 데이터를 통해 학습하며, 이 과정에서 패턴을 발견하거나 예측을 수행하게 된다. 머신 러닝은 일반적으로 지도 학습, 비지도 학습, 강화 학습으로 분류된다.
2. 딥러닝(Deep Learning): 딥러닝은 머신 러닝의 하위 분야로, 인공 신경망을 기반으로 한 알고리즘을 사용한다. 이는 데이터의 복잡한 패턴을 학습하는 데 사용되며, 이미지 분류, 음성 인식, 자연어 처리 등 다양한 분야에서 뛰어난 성능을 보여준다.
3. 지도 학습(Supervised Learning): 지도 학습은 머신 러닝의 가장 흔한 형태로, 입력 데이터(X)와 그에 대응하는 레이블(y)을 사용해 학습하는 방법이다. 지도 학습의 주된 목표는 새로운, 이전에 보지 못한 데이터에 대한 정확한 예측을 수행하는 모델을 학습하는 것이다. 회귀와 분류는 지도 학습의 주요 유형이다.
4. 비지도 학습(Unsupervised Learning): 비지도 학습은 레이블이 없는 데이터로부터 패턴, 구조, 관계 등을 찾아내는 머신 러닝의 한 분야이다. 클러스터링과 차원 축소는 비지도 학습의 주된 유형이다.
5. 강화 학습(Reinforcement Learning): 강화 학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 일련의 행동을 학습하는 머신 러닝의 한 방법이다. 이는 게임 이론, 시뮬레이션 최적화, 제어 이론 등에서 주로 활용된다.
6. 회귀(Regression): 회귀는 지도 학습의 한 유형으로, 입력 변수(X)와 연속적인 출력 변수(y) 사이의 관계를 모델링하는 것이다. 예를 들면, 주택의 면적과 가격 사이의 관계를 모델링하는 것은 회귀 문제가 될 수 있다.
7. 분류(Classification): 분류는 역시 지도 학습의 한 유형으로, 입력 변수(X)를 기반으로 이산적인 레이블(y)을 예측하는 것이다. 예를 들면, 이메일이 스팸인지 아닌지를 판별하는 것은 분류 문제가 될 수 있다.

이러한 개념들은 모두 서로 밀접하게 관련되어 있으며, 다양한 AI 시스템과 응용 프로그램에서 중요한 역할을 하고 있다.