XAI 2

[머신러닝 - 이론] XAI for Deep Learning (딥러닝을 위한 설명 가능한 인공지능)

1. 전역 평균 풀링 (Global Average Pooling) GAP(Global Average Pooling)은 말 그대로 feature map 전체에 Average Pooling을 적용하는 것입니다. 즉, 각 샘플마다 하나의 숫자가 나오게 합니다. 이는 조금 파괴적인 연산이지만, 출력층의 연산에는 매우 유용합니다. GAP은 다음과 같은 연산으로 이루어집니다. \(a_k = ave(f^k) = \frac{1}{mn}\sum_{i = 1, m}^{}\sum_{j = 1, n}^{}f_{ij}^k\) 특징 맵 k번째의 화소의 평균값을 계산합니다. 따라서 k개의 결과가 나오게 되고, 이를 출력 층의 노드 c개와 연결하는 연산은 다음과 같습니다. q는 특징 맵의 개수입니다. \(s_c = \sum_{k =..

[머신러닝 - 이론] XAI - Explainable AI (설명 가능한 인공지능)

만약 여러분이 카드를 발급받을 때 거부당한다면, 은행 직원에게 이유를 물어볼 수 있습니다. 만약 여러분이 특정 질병을 처방 받는다면, 의사에게 이유를 물어볼 수 있습니다. 이처럼 인간은 이해할 수 있는 언어로, 도표나 수치를 동원해서 상대의 이해 수준에 따라 설명 수준을 조절합니다. 하지만 현재의 인공지능은 정반대입니다. 딥러닝으로 압도적이고, 인간을 뛰어넘는 성능을 제공하지만, 설명 기능이 약한 결정적 한계가 있고, 블랙박스라는 비난이 있습니다. 이는 왜 인공지능이 이러한 선택을 했는지에 대한 구체적인 설명이 어렵다는 말과 같습니다. 오히려 옛날의 규칙 기반 방법이나 결정 트리는 성능은 약하지만 설명 기능이 강합니다. 1. 결정 트리 결정 트리는 속이 훤히 보이는 유리 박스 모델입니다. 성능이 낮다는 ..