[Paper Review] MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection

Reference

MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection

J Song, K Kim, J Oh, S Cho

preprint

https://arxiv.org/abs/2312.02530

Introduction

본 논문은 데이터 불균형 및 라벨이 없는 이상 탐지 등의 과제를 해결하기 위한 MEMTO(Memory-guided Transformer for multivariate time series)를 제안합니다. MEMTO는 정상 패턴을 대표하는 Gated Memory Module을 사용하며, 다양한 정상 패턴에 적응하기 위해 점진적으로 훈련됩니다. 기존 방법들(OC-SVM, SVDD, isolation forest, LOF)과 딥러닝 방법(DAGMM, Deep SVDD, THOC, LSTM-VAE)과 달리, MEMTO는 메모리 항목에 저장된 정상 패턴의 특성을 사용하여 이상을 재구성하기 어렵게 함으로써 재구성 기반 방법의 과도한 일반화 문제를 극복합니다. 안정적인 훈련을 보장하기 위한 2단계의 훈련 패러다임이 도입되었으며, 이상 탐지를 위해 잠재 공간과 입력 공간을 모두 고려하는 bi-dimensional deviation-based detection criterion이 사용됩니다.

Proposed Method

!

Figure 1: Illustration of proposed MEMTO.

위 그림은 MEMTO의 구조를 나타냅니다. 사실, Transformer를 활용했다는 것을 제외하면 기존의 Memory Autoencoder와 별다른 차이가 없습니다. 메모리를 초기화하기 위해 K-means를 사용한다는 차이점이 있지만 유사한 연구가 이미 선행 연구에서 많이 진행 되었습니다.

Experiments

Figure 2: Distribution of LSD values for normal and abnormal samples.

Figure 3: Visualization of anomaly scores on SMD.

Figure 4: Performance across different numbers of memory items in the Gated memory module

실험 결과 요약입니다. 별다른 특이사항은 없어 보입니다.