딥러닝 기초 용어①

Muchine Learning

- 데이터를 학습한 뒤 보지 못한 데이터에도 이를 일반화할 수 있는 통계적 알고리즘을 통하여

  명시적인 지시 없이도 작업을 수행할 수 있는 모델을 구현하는 방법

Deep Learning

- 뉴럴 네트워크를 여러 층으로 깊게 쌓은 구조를 이용해 데이터로부터 피처를 자동으로 학습하는 머신러닝의 한 분야

 

Feature

- 피처란 데이터의 속성을 나타내는 독립 변수들이며, 모델이 패턴을 학습하고 예측하는 근거가 됨

- 예컨대, 아파트 가격을 예측하는 모델에서 피처는 면적, 층수, 연식 등이 될 수 있음

 

지도학습 (Supervised Learning)

- 모델이 정답(label)이 주어진 데이터를 학습한 뒤, 보지 못한 데이터에 대한 레이블을 예측하는 방법

 

비지도 학습 (Unsupervised Learning)

- 모델이 정답(label)이 없는 데이터 샘플로부터 패턴을 학습하는 방법

 

강화 학습 (Reinforcement Learning)

- 모델이 특정 목표를 위해 최선의 전략을 선택하도록 보상(reward)를 기반으로 학습하는 방법

 

Parameter

- 파라미터는 모델 내부에서 학습 과정을 통해 조정되는 값들임

- 뉴럴 네트워크에서 각 피처에 붙는 가중치 행렬과 bias term이 대표적이며,

  모델의 capacity는 보통 파라미터의 개수에 비례함.

 

Hyperparameter

-모델의 학습 과정 자체를 제어하는 외부 설정값으로, 사람이 직접 정해줘야 하는 값

-대표적으로 학습률 및 정규화 계수 등이 있음

-서로 다른 하이퍼파라미터 조합을 사용하여 여러 모델을 학습시킨 뒤 성능을 평가하여 가장 좋은 것을 선택함

 

Batch

- 배치는 모델 학습을 위해 데이터를 일정한 크기로 나눈 묶음임.

- 배치 단위로 학습을 진행하는 것은 전체 데이터를 한번에 학습하는 것보다 계산 효율성이 높음.

 

Loss Function

-Loss Function는 모델의 예측값과 실제값의 차이를 수치로 표현한 함수

-예측이 정확할수록 로스 값은 0에 가까워지고, 차이가 클수록 로스는 커짐

-따라서 모델은 로스를 최소화하는 방향으로 학습하며, 이를 통해 점점 더 정확한 예측을 할 수 있게 됨

 

Optimization

- 모델의 파라미터를 조정해서 loss를 최소화하는 과정

- 딥러닝에서 사용하는 loss function은 복잡한 비선형 함수이므로,

  loss를 최소화하는 전역 최적해를 찾는 건 사실상 불가능하기 때문에 optimization 과정을 거침

 

Activation Function

-뉴럴 네트워크에서 노드의 아웃풋에 non-linearity를 부여해주는 함수

-activation function을 non-linear 형태로 쓰지 않으면, 

 네트워크가 아무리 깊어도 결국 하나의 리니어 모델에 불과해 복잡한 패턴을 학습할 수 없음

-gradient 소실이 적게 일어나는 max(0, x) 형태의 ReLU function이 주로 사용됨

 

Foward Propergation

- 인풋 레이어에서 시작해 각 레이어를 차례로 지나며 최종 아웃풋을 계산해 나가는 과정

- 각 레이어의 노드는 이전 레이어의 아웃풋을 weighted sum한 뒤 activation function를 적용하여 다시 아웃풋을 산출함

 

Back Propergation

- 로스를 아웃풋 레이어에서부터 인풋 레이어 방향으로 체인룰*을 통해 거꾸로 전파하여 각 웨이트의 그래디언트를 계산하고,

  이를 gradient descent 같은 옵티마이저 알고리즘에 적용해 웨이트를 업데이트하여 로스를 줄이는 과정임

  *이전 레이어로 전파할 그래디언트 = 앞 레이어에서 전파한 그래디언트 × 현재 레이어의 로컬 그래디언트

 

Gradient Descent

- 딥러닝에서 가장 널리 쓰이는 optimization 기법

- loss function의 기울기를 계산해 그 반대 방향으로 파라미터를 반복적으로 업데이트하면서 loss가 최소가 되는 지점을 찾아감