[Deep Learning] 개념 끄적이기

공부좀 하고 한번에 슈루룩 정리해 버리기!

 

딥러닝 vs 머신러닝

- 딥러닝: 여러 layer를 가진 인공신경망을 사용하여 머신러닝 학습을 수행하는 것 (=심층학습)

• 딥러닝은 자동으로 학습하려는 데이터에서 특징을 추출 (=특징 추출에 사람 개입 X)
• 머신러닝은 어떤 특징을 추출할지 사람이 직접 분석하고 판단 (=특징 추출에 사람 개입 O)

 

GAN

- Generator 완벽할 때, Discriminater는 log(0.5)+log(0.5)=0.69로 수렴하게 된다.

 

AutoEncoder

- Autoencoder는 입력 data로부터 다시 data를 생성해내는 인공 신경망이다.

 

Transformer

- Transformer 과정

Encoder

1. input이 들어온 후 positional encoding

2. multi-head attention

3. residual layer+layer nomalization

4. FFN

5. residual layer+nomalization

 

Normalization

- Normalization은 데이터를 원하는 범위 안의 값으로 제한하는 것

- 수렴 속도가 빨라짐

- 정규화 // 표준화(standardization)

- 

 

성능 지표

- Precision (정밀도) = (P라고 예측된 결과 중 실제 P인 비율) = TP / (TP+FP)

- Recall (재현율) = (실제 P 중 올바르게 P라고 예측된 비율) = TP / (TP+FN)

- Accuracy (정확도) = (전체 예측 결과 중 올바르게 예측한 비율) = (TP+TN) / (TP+TN+FP+FN)

- F1 score = (Precision과 Recall의 조화평균) = 2*(Precision * Recall) / (Precision+Recall)

 

RNN

- asdf

 

LSTM

- asdf