안녕

머신러닝에서 출력은 분류(Classfication)와 회귀(Regression)가 있습니다. 분류는 해당 데이터가 어느 클래스에 속하느냐의 문제이고, 회귀는 해당 데이터의 연속적인 수치를 예측하는 문제입니다. 회귀의 경우 항등 함수를 이용해서 입력 신호를 그대로 출력해도 되지만, 분류의 경우에는 보통 소프트맥스 함수를 사용합니다. 소프트맥스 함수는 다음과 같습니다. \(y_k = \frac{exp(a_k)}{\sum_{i = 1}^{a} exp(a_i)}\) 따라서 분모는 모든 입력 신호를 exp()해서 더한 값이고, 분자는 원하는 k의 입력신호 a_k의 지수 함수가 됩니다. 따라서 코드로 구현하면 다음과 같습니다. import numpy as np def softmax(a): exp_a = np.exp..

최근에 많이 사용하고 있는 활성화 함수의 비선형 함수로는 ReLU 함수가 있습니다. ReLU 함수는 0보다 작은 값에 대해서는 0을 출력하고, 0이 넘으면 그 값을 출력하는 함수입니다. 즉 식은 아래와 같습니다. \(h(x) = \left\{\begin{matrix} x & x > 0 \\ 0 & x \leq 0 \\ \end{matrix}\right.\) 간단하죠? 이를 코드로 구현해보겠습니다. import numpy as np import matplotlib.pyplot as plt def ReLU(x): return np.maximum(0, x) x = np.array([-1.0, 1.0, 2.0]) print(ReLU(x)) x = np.arange(-5.0, 5.0, 0.1) y = ReLU(x..

신경망에서 활성화 함수는 비선형 함수를 사용해야 합니다. 앞에서 본 계단 함수나 시그모이드 함수 모두 비선형 함수입니다. 그렇다면 선형함수는 무엇일까요? 선형함수는 y = ax + b와 같이 x 값의 배수를 출력하는 함수를 말합니다. 즉 1개의 곧은 직선이 됩니다. 왜 선형 함수는 사용하면 안 될까요? 바로 은닉층을 깊게하는 의미가 없어지기 때문입니다. 예를 들어 활성화 함수 h(x) = cx라고 가정해봅시다. 이때 3층 네트워크라고 가정하면 y = h(h(h(x)))가 되고, 이는 c^3 x와 같습니다. 근데 a = c^3이라고 한다면? 그냥 y = ax와 다를게 없습니다. 즉, 층을 깊게하는 의미가 없어지는 겁니다. 따라서 우리는 활성화 함수를 필연적으로 비선형 함수를 이용해야합니다. 그래야 층을 쌓..

앞의 글을 읽으시면 이해에 도움이 됩니다. 2022.10.18 - [Computer Science/머신러닝] - [머신러닝 - 이론] Logistic Regression (로지스틱 회귀) [머신러닝 - 이론] Logistic Regression (로지스틱 회귀) 앞의 글을 읽으시면 이해에 도움이 됩니다. 2022.05.07 - [Computer Science/머신러닝] - [머신러닝 - Python] 활성화 함수 - 시그모이드 함수 구현 (Activation Function - Sigmoid Function Implemetation) [머신러닝 - Python] hi-guten-tag.tistory.com 퍼셉트론은 계단 함수를 사용하지만, 이는 활성화 함수의 일부일 뿐이다. 실제로 제대로 된 신경망을 ..

계단 함수는 0이하의 값에 대해 0을 출력하고, 0초과의 값에 대해서는 1을 출력한다. numpy 배열에 대해서 각각 계산을 할 수 있게 만들면 코드는 아래와 같다. import numpy as np import matplotlib.pyplot as plt def step(x): return np.array(x > 0, dtype=np.int64) x = np.arange(-5.0, 5.0, 0.1) y = step(x) plt.plot(x, y) plt.ylim(-0.1, 1.1) plt.show() 실제로 -5.0 부터 5.0까지 0.1 간격으로 벡터를 만들어서 넣었는데, 이런 형태의 함수가 나오게 된다. 참고로 x > 0만 하면 True, False 값으로 나오는데 이를 dtype = np.int6..