1. ReLU 함수 \(y = \left\{\begin{matrix} x \,\, (x > 0) \\ 0 \,\, (x\leq 0) \end{matrix}\right.\) 이므로 x에 대한 y의 미분은 다음과 같습니다. \(\frac{\partial y}{\partial x} = \left\{\begin{matrix} 1 \,\, (x > 0) \\ 0 \,\, (x\leq 0) \end{matrix}\right.\) 따라서 순전파 때 입력의 크기인 x가 0보다 크면 역전파는 상류의 값을 그대로 흘려보냅니다. 반면, 순전파 때 x가 0보다 작으면 역전파 때는 하류로 신호를 보내지 않습니다. 2. 구현 class Relu: def __init__(self) -> None: self.mask = None d..
