영상의 낯선 순간을 찾다
AI 이상치 탐지 연구.

평소와 다른 장면은, 복원 오차로 찾을 수 있을까?

영상 속 모든 이상 상황을 미리 이름 붙여 학습시키기는 어렵다. 정상적인 장면을 학습한 모델이 입력을 다시 복원하게 하고, 원본과 복원 결과의 차이가 커지는 순간을 이상 후보로 보는 것이 이번 연구의 출발점이다.

첨부 발표는 시공간 오토인코더(AE)를 구현하고 변분 오토인코더(VAE)를 적용해 비교한 수업 프로젝트다. 영상 프레임을 데이터로 바꾸는 전처리부터 모델 학습, 임계값 계산, 실시간 카메라 테스트와 방송 영상의 블랙 화면 실험까지 진행 과정을 담고 있다.

자료 범위: A조 발표 PPT 23장. 본문은 발표 내용과 코드 화면을 분석한 기록이며, 모델 재학습이나 독립적인 성능 검증 결과는 아니다.

영상에서 판정까지, 실험을 나누어 보기

발표에서는 정상 영상과 대상 영상을 각각 준비하고, 추출한 프레임을 NPY 파일로 저장했다. 정상 데이터의 손실 분포에서 임계값을 계산한 다음 대상 영상의 오차와 비교하는 흐름이다.

코드 화면에는 ‘정상 모델 / 대상 모델’ 구분과 test.npy를 학습에 사용하는 예시가 함께 있다. 데이터 파일 이름만으로 학습·평가 분리가 확인되지는 않는다.

공간 특징과 시간 흐름을 함께 다루는 구조

한 장면의 외형만 보는 대신 여러 프레임의 변화를 함께 다루기 위해 Conv3D, ConvLSTM2D, Conv3DTranspose를 연결한 구조를 제시한다. 앞부분에서 특징을 압축하고, 중간에서 시퀀스 정보를 처리한 뒤, 뒷부분에서 입력을 복원하는 설계 의도다.

AE 학습 코드에는 Adam과 mean_squared_error가 사용된다. ConvLSTM 층에는 입력·순환 연결의 Dropout 설정이 보이며, 각 시점의 출력을 뒤 단계로 전달하는 구성을 취한다.

평균보다 얼마나 큰가: μ + 3σ

원본 입력 x와 복원 결과 x̂의 평균제곱오차를 계산하고, 정상 데이터에서 얻은 오차의 평균과 표준편차로 임계값을 설정했다.

입력 묶음의 복원 오차가 임계값보다 크면 이상 후보로 표시한다. 여기서 오차는 ‘위험 확률’이 아니라 입력과 복원 결과 사이의 수치적 차이다.

검토 포인트: 학습에 쓰지 않은 정상 검증 데이터로 임계값을 보정하고, 카메라·장면·조명 변화에 따른 오탐을 살펴볼 필요가 있다.

고정된 잠재값에서, 잠재 분포 학습으로

발표는 VAE를 통해 입력의 잠재 분포를 학습하면 정상 패턴의 다양성을 이해하는 데 도움이 될 것이라는 가설을 세웠다. 인코더가 평균과 로그 분산을 만들고, 샘플링한 잠재값을 디코더에 전달한다.

두 모델의 차이는 잠재 분포의 유무에만 한정되지 않는다. 아키텍처와 학습 손실도 다르므로, 결과 차이를 VAE의 특정 요소 하나의 효과로 분리해 해석하기는 어렵다.

304개 기준, AE 146 · VAE 153

발표에는 304프레임을 기준으로 AE에서 146개, VAE에서 153개를 이상으로 감지했다고 기록되어 있다. 아래 비율은 이 숫자를 304로 나눈 값이며, 실제 정답과 비교한 정확도가 아니다.

발표 문구는 ‘프레임’ 단위를 사용하지만 코드와 콘솔은 ‘프레임 묶음’을 다룬다. 304·146·153이 개별 프레임 수인지 묶음 수인지는 재현 실험에서 확인해야 한다. AE와 VAE에 동일 임계값이 표기되어 있어, 모델별 정상 오차 분포에 맞춘 보정 여부도 추가 확인 항목이다.

VAE 학습 손실과 위 표의 평가 MSE는 구분해야 한다. 표의 MSE는 슬라이드 19에 적힌 값을 옮겼으며, 원시 예측값과 계산 코드는 제공되지 않아 다시 계산하지 않았다.

손의 움직임에서, 방송 블랙 화면까지

실시간 카메라에서 변화 관찰하기

발표에서는 cv2.VideoCapture로 카메라를 켜고, 손을 갑자기 올렸을 때 평균 오차가 증가하는 현상을 관찰했다. 이는 입력 변화에 점수가 반응한 사례이며, 특정 행동을 정확히 분류했다는 결과와는 구분된다.

방송 프레임 끝에 블랙 이미지 넣기

방송 영상을 프레임으로 추출한 뒤 마지막 구간에 임의의 블랙 이미지를 추가하고 복원 오차를 비교했다. 정상 구간과 다른 화면이 이어질 때 점수 변화가 감지되는지 살펴본 실험이다.

슬라이드 21의 콘솔에는 정상 묶음 예시 약 0.00042119, 0.00039641와 비정상 묶음 예시 약 0.00076131이 보인다. 마지막 값은 발표 임계값을 조금 넘지만, 이 예시만으로 블랙 화면 전반에 대한 안정적인 탐지 성능을 판단할 수는 없다.

추가 검토: 의도적인 암전·페이드아웃·장면 전환과 실제 송출 이상을 구분하고, 단순 밝기 기반 블랙 화면 규칙과 비교해 AI 모델이 더해 주는 효과를 확인한다.

다음 실험에서는, 비교 조건부터 맞추기

1. 학습·검증·평가 데이터를 분리한다정상 학습 영상, 임계값 보정용 정상 영상, 이상 구간 라벨이 있는 평가 영상을 구분한다. 같은 영상의 인접 프레임이 서로 다른 세트에 섞이지 않도록 확인한다.
2. 입출력 형태와 판정 단위를 고정한다프레임 크기·정규화·시간 축·묶음 길이·이동 간격을 기록하고, 복원 출력이 입력과 같은 크기인지 확인한다. 프레임 단위와 이벤트 단위 평가를 구분한다.
3. 모델별 임계값을 검증 데이터에서 보정한다AE와 VAE의 정상 오차 분포를 각각 확인한다. 같은 평가 세트와 일관된 기준으로 비교하며, 3시그마 규칙의 적합성도 검토한다.
4. 정답 라벨을 기준으로 오탐·미탐을 센다Precision·Recall·F1과 이벤트 탐지 지연을 확인한다. 실시간 적용이라면 시간당 오탐 수와 처리 속도도 함께 기록한다.
5. 방송 상황별로 실패 사례를 모은다블랙 화면뿐 아니라 정상 암전, 조명 변화, 화면 전환을 비교한다. 오차가 커진 이유를 원본 구간과 대조해 분석한다.

발표 자료와 연구 기록