색상·주파수 특성 변화에 따른 ResNet 모델의 신뢰도 인과 분석

Abstract

딥러닝 기반 이미지 분류 모델, 특히 ResNet 계열의 합성곱 신경망은 다양한 응용 분야에서 높은 성능을 보이고 있지만, 입력 이미지를 어떤 시각 적 단서에 근거하여 특정 클래스를 선택하는지 그 내부 의사결정 구조가 명 확하게 드러나지 않는다는 한계를 지닌다. 실제 환경에서 발생하는 조명 변화 는 밝기 분포를 뒤틀어 명암 대비를 왜곡시키고, 색상 변화는 색조와 채도 정 보가 원래 형태를 잃게 만들어 색채 구조를 흔들며, 질감 손실은 미세한 패턴 을 사라지게 하여 세부 구조의 인식을 어렵게 만든다. 이러한 비정형 입력은 모델이 특징을 추출하는 전체 과정에 영향을 미쳐 내부 표현을 불안정하게 만들고, 결과적으로 예측 신뢰도가 급격히 감소하는 주요 원인이 된다. 이러 한 취약성은 대규모 정제 데이터셋을 중심으로 학습된 모델이 실제 환경에서 나타나는 다양한 밝기 변화, 색채 강도 변화, 윤곽의 대비 변화와 같은 물리 적 변동을 충분히 반영하지 못하는 구조적 한계에서 비롯된다. 기존의 설명가 능 인공지능 기법은 주로 사후적 시각화를 통해 모델이 어디를 보았는가를 보여주는 수준에 머물러 있으며, 입력의 물리적 변화가 모델의 판단 과정과 결과에 어떤 인과적 영향을 미치는지까지는 규명하지 못한다. 본 연구는 이러한 한계를 극복하기 위해 색상·주파수 개입 기반 인과 분 석 프레임워크(Color–Frequency Intervention-based Causal Analysis Frame work)를 제안한다. 이 프레임워크는 LAB/HSV 색상 채널과 웨이블릿 서브밴 드에 대해 능동적 개입을 수행하고, 변화된 입력이 예측 확률 변화(∆P), Score-CAM 구조, 주파수 반응에 어떤 인과적 영향을 미치는지 실시간으 로 측정한다. 이를 통해 관찰 중심 XAI를 넘어서, 입력–반응–결과의 인과 경로를 실험적으로 규명하는 능동형 분석 체계를 구현한다. 색상 개입 실험에서는 저조도 환경에서 L 채널이 0–20 범위로 압축되고 A/B 색채 정보가 0 근처로 수렴하는 이중 압축(double compression) 현상이 확인되었다. 이로 인해 다양한 장면이 모두 무특징·저조도 영역으로 왜곡되며 모델의 기준 신뢰도(Pbase)가 크게 감소하였다. 본 프레임워크를 통해 L 채널 을 확장하고 A/B 색차를 복원한 결과, 윤곽·색채 단서가 회복되었고 예측 신 뢰도는 평균 15–30% 증가하였다. 밝은 조도에서도 HSV의 V 채널 과포화 와 S 채널 감소로 인해 구조적 정보가 소실되었으나, 조도·채도 개입을 통해 ImageNet 학습 분포에 가까운 특징이 복원되면서 신뢰도 저하가 크게 완화 되었다. 주파수 개입 실험에서는 ResNet50이 초기 합성곱 계층이 웨이블릿 서브밴드와 구조적으로 대응함이 확인되었고, LH·HL 대역은 윤곽·경계, HH 대역은 질감을 반영하였다. 특정 서브밴드 증폭 시 형태·질감 기반 특징이 재 활성화되며 신뢰도가 평균 0.10~0.25 증가하였다. 본 연구는 이러한 예측 확률 변화를 기반으로 색상 인과 그래프와 주파수 인과 그래프를 제공하여, 입력 조작이 모델의 신뢰도·활성화 구조·주파수 선택 성에 미치는 영향을 정량적으로 설명한다. 이는 단순 시각화 수준을 넘어, 모 델 편향을 진단–개입–정량화–교정하는 능동적 인과 디버깅 도구로 확장될 수 있다. 향후 개입 자동화·최적화를 통해 이미지 보정, OOD 방어, 데이터 중심 모델 개선으로의 발전이 가능하며, 의료 영상, 포렌식, 이상 탐지, 딥페 이크, 산업 검사 등 다양한 비전 분야에서 편향 교정과 신뢰도 향상에 기여할 수 있다. 또한 본 프레임워크는 생성형 AI 모델에도 적용 가능하여, 생성과정 의 편향·비정상 패턴·조작 가능성을 규명하는 인과 기반 XAI 방식으로 확장 될 잠재력을 가진다. 【주제어】색상·주파수 개입 기반 인과 분석, 설명 가능 인공지능, 색상 개입, 주파수 개입, 색상 인과 그래프, 주파수 인과 그래프