1. 딥러닝이란? 깊은 신경망은 신경망에 층을 많이 두어 성능을 높이는 기술입니다. MLP에 은닉층을 더 많이 두면 깊은 신경망이 됩니다. 구조적으로는 쉬운 개념입니다. 하지만 학습이 잘 안 되는 경향이 있습니다. 층이 깊어질수록 오류 역전파 알고리즘의 미분 값이 출력 층에서 입력 층으로 갈수록 소멸되기 때문입니다. 이를 그레디언트 소멸 문제라고 합니다. 즉 층이 깊어질수록 학습이 잘 안 됩니다. 또한 데이터 셋이 작으면 추정할 매개변수는 많아지는데 데이터는 적어 over fitting이 일어나게 됩니다. 추가적으로 계산 시간이 매우 크다는 점이 단점입니다. 이때 딥러닝은 새로 창안된 이론이나 원리는 깊은 신경망과 동일합니다. 값싼 GPU의 등장, 데이터 셋의 크기 증가, 학습 알고리즘의 발전 (ReLU..
