Reservoir computing with diverse timescales for prediction of multiscale dynamics 논문 리뷰

 

오늘은 2022년에 Physical Review Research 저널에 출판된 Reservoir computing (RC) 논문 리뷰를 해보자.

 

키워드 : Reservoir computing, Slow-fast system, Multiscale, Leakage rate 

 

이 연구에서 하고자 하는 것: slow-fast system을 RC로 예측함에 있어서, leakage rate 인 \( \alpha \)를 고정된 상수가 아닌, 분포로 설정했을 때의 효과

 

 

저자들은 크게 두가지 태스크 (Task 1, 2)를 통해, 본인들이 제안한 RC (DTS-ESN, Diverse timescales echo state network)가 기존의 RC (LI-ESN, Leaky integrator echo state network)보다 좋다! 라는 것을 이야기한다.

• Task 1 :  Fast system에서의 정보만 사용하여 iterative하게 test구간 예측
• Task 2 : Closed-loop 형식으로 예측 (예측한 값을 다시 입력값으로 사용)

 

 

 

 

저자들은 결과 단락에서 아래 4개의 slow-fast 시스템에 대해 다루었다.

 

 

저자들이 제안한 DTS-ESN 은 기존의 RC에서, (1)번 수식처럼 \( \alpha \) 를 상수로 쓰는 대신 분포로 표현하였다.

(\(A \) 는 diagonal matrix)

 

여기서 \( \alpha \) 의 분포는 log-uniform distribution을 따르도록 설정하였다.

 

나머지 (회귀분석 식, 레저버 네트워크 구성 등) 구조는 LI-ESN 과 크게 다르지 않으니, 바로 결과 부분으로 넘어가자.

 

 

첫번째로, 레저버 노드 각각에 대한 Time-scale인 \( \tau_i \)의 수식이 아래처럼 나온다.

(수식 유도는 Supplementary 수식 (S6)-(S11)을 참고)

(\( N_x \) : 전체 노드 개수)

 

 

Fig2의 (a) 는 LI-ESN 에서, 고정된 \( \alpha \) 값을 썼을 때의 time scale의 분포이고,

(c)는 DTS-ESN 에서 \( \alpha \) 의 하한선을 0.001로 했을 때의 분포이다. 

저자들은 이 그림을 통해, Slow-Fast system을 예측할 때 time scale이 (a)처럼 비좁게 있는 것 보다는,

(c)처럼 다양하게, 넓게 퍼져있는 것이 더 유리하다 라는 주장을 한다.

 

 

아래 Fig 3에서는 Task 1을 수행하였다.

구체적으로, 테이블1에서 언급한 4가지 시스템 각각에 대해 두 RC로 예측한 test구간의 NRMSE를 비교했다.

\( x \)축은 분포의 하한선 혹은 고정된 \( \alpha\) 을 의미하고.. 녹색이 DTS-ESN의 오차인데, 

늘 우리 방법론이 더 좋다! 라기 보다는, 하한선의 범위를 잘만 설정하면, 기존 모델보다 좋다! 라는게 포인트이다.

(대체로 하한선을 낮게 설정했을 때)

 

 

또한 저자들은 단지 \( \alpha \)를 분포로 설정했을 뿐 다른건 건들지 않았는데,

slow, fast variable 각각에 대한 레저버 노드들의 Weight를 그려보니,

Fast, Slow 를 담당하는 변수들의 노드 Weight가 각각 큰 값, 작은 값으로 modularization이 되더라! 라는것을 Fig4를 통해 주장한다.

 

 

 

Fig 5에서는 Task 2 (Closed loop prediction) 결과를 제시했는데,

valid time (예측 오차가 일정 임계점을 벗어나기까지 걸리는 시간)을 측정하였다 (오렌지 점선).

 

4개의 시스템 각각에 대해 \( \alpha \) 의 하한선을 바꿔가며 Valid time을 재보니, 아래의 Fig 6처럼 나왔다고 한다.

여기서도 비슷하게 주장하는 것은, 항상 우리 모델이 더 길게 예측하더라! 라기 보다는,

하한선을 잘만 설정하면, 기존 모델보다 잘 되는 경우도 있다! 라는게 더 포인트인 것 같다.

 

 

 

여기까지가 결과이고... 이 저자들은 slow-fast system을 예측하기 위해 log-uniform 분포를 사용했는데,

이 저자들의 말처럼 어떤 시스템을 다루냐에 따라 \( \alpha \) 분포의 형태를 다양하게 테스트해보는 것도 추후 연구로 재미있을 것 같다.

 

 

참고 문헌

---

[1] Reservoir computing with diverse timescales for prediction of multiscale dynamics. G.~Tanaka, T.~Matsumori, H.~Yoshida, and K.~Aihara. Phys. Rev. Res. 4(3):L032014, 2022