ANN vs DNN vs CNN vs RNN

1. ANN(Artificial Neural Network)

- Artificial Neural Network의 줄임말로 사람의 신경만 원리와 구조를 모방하여 만든 기계학습 알고리즘

 

 

 

- 문제점

1) 학습과정에서 parameter의 최적값을 찾기 어렵다 

2) Overfitting에 따른 문제 

3) 학습시간이 느리다

 

2. DNN(Deep Neural Network)

- ANN의 문제를 해결하고자, 모델 내 은닉층을 많이 늘려서 학습의 결과를 향상시키는 방법 등장 

- DNN은 은닉층을 2개이상 지닌 학습 방법

- DNN을 응용한 알고리즘이 CNN, RNN, LSTM, GRU, etc

left: ANN, right: DNN

left : ANN, right: DNN

3. CNN(Convolution Neutral Network) 

- 기존의 방식은 데이터에서 지식을 추출해 학습이 이루어졌지만, CNN은 데이터의 특징을 추출하여 

데이터의 특징들의 패턴을 파악하는 구조 

- Convolution 과정과 Pooing과정을 통해 진행. Convolution Layer와 Pooling Layer를 복합적으로 구성하여

알고리즘을 만든다

- 이미지, 얼굴인식, 비디오처리, 정보추출, 문장분류 등에서 사용

 

 

CNN구조

 

 

CNN - Convolution

- 데이터의 특징을 추출하는 과정

- 데이터에 각 성분의 인접 성분들을 특징을 파악하고 그 파악한 특징을 한 장으로 도출시키는 과정

- 도출된 장을 Convolution Layer라고 한다 

-  이 과정은 하나의 압축 과정이며 파라미터의 갯수를 효과적으로 줄여주는 역할을 한다

 

Convolution

CNN - Pooling

- Convolution 과정을 거친 레이어의 사이즈를 줄여주는 과정 

- 데이터의 사이즈를 줄여주고, 노이즈를 상쇄시킨다 

 

 

 

 

4. RNN(Recurrent Neutral Network) 

-  반복적이고 순차적인 데이터(Sequential data) 학습에 특화된 인공시경망의 한 종류로 내부의 순환구조가 있다

-  순환구조를 이용하여 과거의 학습을 weight를 통하여 현재 학습에 반영 

-  현재의 학습과 과거의 학습의 연결을 가능하게 하고, 시간에 종속된다는 특징

- 음성, 텍스트 주로 사용

 

 

출처:

https://dbrang.tistory.com/1537    

Deep Learning(ANN, DNN, CNN, RNN, SLP, MLP) 비교

https://ebbnflow.tistory.com/119#:~:text=%EC%9D%B8%EA%B3%B5%EC%8B%A0%EA%B2%BD%EB%A7%9D%EC%9D%B4%EB%9D%BC%EA%B3%A0%20%EB%B6%88%EB%A6%AC%EB%8A%94%20ANN,%EC%97%90%EC%84%9C%20%EC%B0%A9%EC%95%88%ED%95%9C%20%EA%B2%83%EC%9E%85%EB%8B%88%EB%8B%A4.