안녕

앞선 글에서는 딥러닝이 무엇인지, 손실 함수는 어떻게 정의되고, 가중치 갱신 규칙에 대해 간략하게 알아봤습니다. 딥러닝의 학습 알고리즘은 수학적으로 아주 깔끔합니다. 하지만 층이 깊어질수록 딥러닝의 학습 중 발생하는 현실적인 문제를 말하고, 해결 전략에 대해 설명해드리겠습니다. 그리고 뒤에서는 몇몇 중요한 손실 함수와 옵티마이저 함수의 종류에 대해서 설명하겠습니다. 마지막으로 하이퍼 파라미터의 최적화 방법에 대해 알려드리겠습니다. 대표적인 두가지 문제는 그레이디언트 소멸 문제(Vanishing Gradient Problem), 과잉 적합 문제(Over Fitting Problem)입니다. 1. 그레이디언트 소멸 문제 (Vanishing Gradient Problem) 가중치를 갱신하는 과정은 미분의 연쇄..

1. 딥러닝이란? 깊은 신경망은 신경망에 층을 많이 두어 성능을 높이는 기술입니다. MLP에 은닉층을 더 많이 두면 깊은 신경망이 됩니다. 구조적으로는 쉬운 개념입니다. 하지만 학습이 잘 안 되는 경향이 있습니다. 층이 깊어질수록 오류 역전파 알고리즘의 미분 값이 출력 층에서 입력 층으로 갈수록 소멸되기 때문입니다. 이를 그레디언트 소멸 문제라고 합니다. 즉 층이 깊어질수록 학습이 잘 안 됩니다. 또한 데이터 셋이 작으면 추정할 매개변수는 많아지는데 데이터는 적어 over fitting이 일어나게 됩니다. 추가적으로 계산 시간이 매우 크다는 점이 단점입니다. 이때 딥러닝은 새로 창안된 이론이나 원리는 깊은 신경망과 동일합니다. 값싼 GPU의 등장, 데이터 셋의 크기 증가, 학습 알고리즘의 발전 (ReLU..

앞의 글을 읽으시면 이해에 도움이 됩니다. 2022.04.08 - [Computer Science/머신러닝] - [머신러닝 - 이론] 딥러닝 - 인공 신경망, 퍼셉트론과 학습 방법 (DeepLearning - Artificial Neural Network, Perceptron, Learning Method) [머신러닝 - 이론] 딥러닝 - 인공 신경망, 퍼셉트론과 학습 방법 (DeepLearning - Artificial Neural Network, P 이제부터 머신러닝의 꽃인 딥러닝에 대해 알아보겠습니다. 사실 제 생각엔 딥러닝을 하기 전에 지도, 비지도 학습을 먼저 공부하고, 수학적 이론을 쌓은 다음에 공부해야 하는 게 맞다고 생각합 hi-guten-tag.tistory.com 퍼셉트론을 이해하셨다면..

이제부터 머신러닝의 꽃인 딥러닝에 대해 알아보겠습니다. 사실 제 생각엔 딥러닝을 하기 전에 지도, 비지도 학습을 먼저 공부하고, 수학적 이론을 쌓은 다음에 공부해야 하는 게 맞다고 생각합니다. 근데 시험 공부랑 겹쳐서... 어쩔 수 없이 딥러닝을 먼저 하게 되네요... 추후에 다른 머신러닝 알고리즘도 올리겠습니다. 1. 인공 신경망이란? 인간의 뇌는 신경의 망들로 이루어져 있습니다. 뉴런은 뇌의 정보처리 단위입니다. 처리한 정보를 다른 뉴런으로 옮기고, 받은 뉴런은 자신이 연산을 처리하고 또 다른 뉴런에게 보냅니다. 인간의 뇌는 고도의 병렬 처리기입니다. 하지만 컴퓨터는 아주 빠른 순차 명령 처리기죠. 아무튼 인공 신경망은 생물의 신경망에서 원리를 얻었지만, 실제 구현은 많이 다릅니다. 인공 신경망을 A..

1. 데이터의 종류, 분별력 앞의 iris 데이터에서 특징은 총 4개가 있었습니다. 이때 특징을 4차원 공간에서 보면, 레이블에 따라 몇몇 데이터는 뭉쳐져 있고, 몇몇 데이터는 떨어져 있는 것을 알 수 있습니다. 물론 4차원 공간을 볼 순 없지만, 3차원 공간으로는 볼 수 있습니다. 이때 특징에 따라 같은 레이블이 뭉쳐져 있고, 다른 레이블과의 거리가 멀다면 이 특징은 분별력 (descriminating power)이 뛰어나다고 볼 수 있습니다. 이때 다차원의 특징은 거리를 바탕으로 계산합니다. 또 다른 데이터로는 영상 데이터가 있습니다. 대표적으로 MNIST라는 숫자를 필기한 데이터가 있습니다. 이때는 화소 값이 특징 벡터입니다. 또 다른 영상 데이터는 얼굴 데이터셋이 있습니다. 어떤 데이터가 있으면 ..

1. 머신러닝 기초 머신러닝에서 데이터는 중요합니다. 차가 가기 위해 연료가 필요하듯 머신러닝에는 데이터가 필수적입니다. 데이터가 없으면 머신러닝을 적용할 수가 없습니다. 아무것도 가르쳐 주지 않고, 예측하라는 것과 마찬가지입니다. 2. 용어 및 예시 데이터 셋 (Data Set) : 머신러닝이 사용하는 데이터는 여러 개의 샘플을 담고 있어서 데이터 셋이라 부릅니다. 특징 벡터 (feature vector) : 데이터의 특징으로 구성되는 특징들의 집합입니다. 부류 (class) : 쉽게 설명해서 꽃의 종류입니다. 특징으로는 색깔, 길이 등등이 있고, 이 특징들을 바탕으로 부류가 정해집니다. 머신러닝이 예측하는 값입니다. 사이킷런에서 제공하는 iris 데이터 셋을 한 번 확인해봅시다. from sklear..

들어가기에 앞서서 머신러닝의 대다수의 글은 코드 보다는 수학적 이론, 설명 위주로 할 예정입니다. 저는 원래 설명 - 수학적 이론 - 코드 방식으로 공부하는 bottom-up 방식을 매우 좋아합니다. 하지만 시간이 별로 없어서,,나중에 시간이 된다면 코드를 올리겠습니다. 중간중간 수학적인 수식이 나오지만, 좀 더 중점적으로 설명 위주로 할 겁니다. 마지막에는 설명을 바탕으로 코드를 구현한 글도 올릴 예정입니다. 1. 인공지능에 대한 정의 지능 : 계산이나 문장 따위의 지적 작업에서, 성취 정도에 따라 정하여지는 적응 능력 인공지능 : 인간의 지능이 가지는 학습, 추리, 적응, 논증 따위의 기능을 갖춘 컴퓨터 시스템 강한 인공지능 vs 약한 인공지능 강한 인공지능 다양한 지능의 복합체 (터미네이터에 등장하..

빠른 시일 내에 머신러닝 관련 글도 올릴 예정입니다. 진로가 이 쪽이라 공부한 건 많은데 막상 정리하려니까 잘 안 되기도 하구,, 바쁘기도 하구,, 막상 수학 수식도 써야하는데 복잡하구,, 핑계만 대고 있네요 ,,,, 암튼 처음은 코드 위주로 올리겠습니다 ,,,,