1. Instruction
본 논문에서는 one-dimensional convolutional neural network (1D-CNN) 새로운 딥러닝 모델을 제시합니다. 이 모델은 raw PSG signals에서 end-to-end 구조를 사용하므로, 수작업이 필요없다는 이점이 있습니다.
본문에서 제안하는 모델에서는 2~6 classes와 다른 종류의 PSG signals를 다룰 때 layer parameters 변경하지 않아도 됩니다.
2. Materials and Methods
2.1. Sleep dataset
sleep-edf dataset 과 sleep-edfx dataset을 사용합니다. sleep-edf dataset에서 8명의 남성과 여성의 PSG 기록을 사용하고, 데이터셋에는 hypnogram files를 사용합니다. hypnogram files는 PSG에 따라 수면패턴을 그래프로 나타낸 정보입니다. 수면 단계는 W, S1, S2, S3, S4, REM, M, and not socred로 나뉩니다. sleep-edfx는 sleep-edf의 확장판이라고 생각하시면 되고, 정보가 많습니다.(edf에서 15,188 samples를 사용하고, edfx에서 127,512 samples를 사용함)
그리고 본 연구에서는 모호한 데이터에만 필터를 적용했기 때문에 다른 연구 결과와 차이가 있지만 더 많은 기록이 사용되었습니다.
2.2. Deep Model Architecture
CNN은 주로 2차원 이미지를 인식하는데 사용되었지만 CNN models이 2차원 인식에 국한되지 않습니다. 1D-CNN은 CNN models과 같은 특징을 공유하고 1D-CNN에서 input data로 1차원 data가 더 유용하다는 차이가 있습니다.
Convolution Layer 연산은 특징 추출 단계와 유사하며, 그 출력은 입력의 특징 맵(feature map)을 생성합니다. 특징 맵은 모델 내부에 배치된 pooling layer에서 sub-sampling 될 수도 있으며, 연속적인 Convolution Layer 에서 처리될 수도 있습니다. CNN 모델의 마지막 레이어는 일반적으로 fully connected layer로 구성되며, 이 layer는 분류(classification) 작업을 수행합니다.
아래에는 수면 단계의 자동 인식을 위한 제안된 19layers 1D-CNN 모델의 Block Diagram을 나타냅니다.
전처리된 PSG Signal Segement(3000 Samples)가 입력으로 사용됩니다.
1. 모델의 첫 번째 layer에서는 64개의 5-필터(filter)와 3개의 stride 비율을 사용하여 입력 PSG 신호를 convolution하며, 그 결과 64×999 크기의 feature map이 생성됩니다.
2. 모델의 두 번째 레이어는 또 다른 컨볼루션 레이어로, 128개의 5-필터를 사용합니다. 이 layer는 이전 layer의 출력을 이용하여 128×997 크기의 새로운 feature maps을 생성합니다.
3. Max Pool layer에서는 두 개의 출력 벡터의 각 두 유닛 영역에서 최대값을 선택하여 하나의 값으로 줄이는 과정이 수행됩니다. 이로 인해 입력 feature maps의 차원은 128×498로 감소합니다.
4. 모델의 연속적인 layer에서도 이와 유사한 방식으로 처리되지만, 서로 다른 크기의 필터가 사용됩니다.
5. Dropout layer가 모델 내에 배치되어 overfitting 문제를 방지합니다.
6. Flatten layer에서 입력 벡터의 차원이 변환되어 Dense layer의 적절한 차원으로 조정됩니다.
7. 마지막으로, 소프트맥스(Softmax) 레이어에서는 입력 신호가 출력 신호로 매핑됩니다. 따라서, 이 레이어의 뉴런 개수는 클래스 개수(nb_class)와 동일합니다.
Brute force 기법 (가능한 모든 경우의 수 탐색)이 사용되어 모델의 매개변수를 조정하고 layer의 개수를 결정했습니다.
모델을 구축하는 과정에서 세 개의 PSG Signals와 Sleep-edf dataset에서 6개의 classes만 사용되고 나머지 sleep-edf의 classes나 Sleep-edfx dataset은 사용되지 않았습니다.
Sleep-edf 및 edfx dataset은 70% training, 15% validation, 15% test 세트로 분할하였고, 모델의 성능은 unseen test sets로 평가하였습니다.
Experiments
3.1. Experimental Setups
PSG signals에서 Single-channel EOG, single-channel EEG, single-channel EOG + single-channel EEG 이렇게 3개의 data를 사용합니다.
모호한 data만 제거를 하였고, 특정 amplitude 범위에서 noisy signals를 제거하는 filtering은 수행되지 않았습니다.
Sleep-edf 및 edfx dataset은 70% training, 15% validation, 15% test 세트로 분할하여 수행하였습니다.
결과의 일관성을 보장하기 위해, 데이터 분할 과정에서 random seed value가 일정하게 유지되었습니다.
학습 단계는 100 epochs 동안 수행되었으며, hyperparameters는 모든 데이터셋에 동일하게 사용되었습니다.
Hyperparameter는 Adam(Adaptive Moment Estimation) optimizer, learning rate는 0.0001, decay rate는 0.003입니다.
4. Results
4.1. Results on Sleep-edf Database
4.1.1. Using single-Channel EOG Signal
15,188 samples를 사용하였습니다.
4.1.2. Using single-EEG Signal
4.1.3. Using Single EOG+EEG Signals
앞의 두 결과에 비해 조금 더 Accuracy Rate가 높은 것을 확인할 수 있는데, 주된 이유는 모델의 입력 층에서 두 가지 다른 PSG 신호를 사용하여 각 클래스에 대해 더 구별되는 특징을 도출할 수 있기 때문일 수 있습니다.
.2. Results on Sleep-edfx Database
앞의 실험과 똑같이 3개의 PSG signals을 사용하였고, edfx에서는 127,512 samples를 사용하였습니다. 앞선 실험과 동일하게, 70%는 training, 15% validation 그리고 나머지 15%로 testing을 수행하였습니다.
4.2.1. Single-Channel EOG
4.2.2. Single-Channel EEG
4.3. Summary
이 연구에서는 Single-Channel EEG Signals를 사용하여 sleep-edf dataset에서 98.33%의 최고 recognition rate를 얻었습니다. 나머지 classes 에서는 EEG와 EOG Signals를 함께 사용했을 때 가장 높은 결과를 얻었습니다. Class=6인 dataset에서는 91.00%를 달성했습니다.
5. Disccusions
Sleep stage classification 관련 많은 연구가 있었고, sleep-edf datasets과 sleep-edfs datasets을 활용한 machine learning, Deep learning을 활용한 연구도 있었습니다. 아래는 기존의 연구와 본문에서 제시한 1D-CNN의 성능을 비교한 표입니다.
표에서 볼 수 있듯이, 기존의 연구에 비해 데이터 제거를 덜 해서 가장 많은 samples을 사용할 수 있었습니다. 결과는 1D-CNN이 두 datasets에서 우수한 성능을 보여주고 있습니다. 게다가, 1D-CNN의 경우, 기존의 연구와 달리, 수작업으로 하는 특징 추출(feature extraction) 과정이 없는 end-to-end 구조(입력에서 출력까지 신경망으로 한 번에 처리하는 것)로 차별화됩니다.
본 논문에서 1D-CNN을 어떻게 세팅하고 학습시켰는지 자세히 나와있어 CNN을 이해하는데 수월했습니다. CNN을 2차원 데이터 학습에 국한하지 않고 1차원 데이터 학습을 통해, 수작업이 필요없는 모델을 만든 점이 인상깊었습니다. CNN이 2차원에 국한되지 않고 1차원은 물론 3차원 데이터 학습도 가능하다는 점을 활용하면 Medical AI 연구에도 도움이 될 듯합니다.