[머신러닝 - Python] 활성화 함수 - 렐루 함수 구현 (Activation Function - ReLU Function Implementation)

최근에 많이 사용하고 있는 활성화 함수의 비선형 함수로는 ReLU 함수가 있습니다.

ReLU 함수는 0보다 작은 값에 대해서는 0을 출력하고, 0이 넘으면 그 값을 출력하는 함수입니다.

즉 식은 아래와 같습니다.

\(h(x) = \left\{\begin{matrix}
x & x > 0 \\
0 & x \leq 0 \\
\end{matrix}\right.\)

간단하죠?

 

이를 코드로 구현해보겠습니다.

import numpy as np
import matplotlib.pyplot as plt


def ReLU(x):
    return np.maximum(0, x)


x = np.array([-1.0, 1.0, 2.0])
print(ReLU(x))

x = np.arange(-5.0, 5.0, 0.1)
y = ReLU(x)
plt.plot(x, y)
plt.ylim(-0.1, 5.1)
plt.show()

[0. 1. 2.]