[머신러닝 - Python] ReLU 계층 구현 (ReLU class implementation)
1. ReLU 함수 이므로 x에 대한 y의 미분은 다음과 같습니다. 따라서 순전파 때 입력의 크기인 x가 0보다 크면 역전파는 상류의 값을 그대로 흘려보냅니다. 반면, 순전파 때 x가 0보다 작으면 역전파 때는 하류로 신호를 보내지 않습니다. 2. 구현 class Relu: def __init__(self) -> None: self.mask = None d..
