Emergence of a resonance in machine learning 논문 리뷰

오늘도 Arizona State University에 계신 Zheng-meng Zhai 아저씨와 Lai 교수님의 논문을 리뷰하려고 한다.

 

이 논문에서 주로 이야기하고자 하는 것은,

 

Reservoir computing을 통해 Chaotic system을 예측함에 있어서 어느정도의 noise를 적당히 잘 넣어주면,

noise가 없을 때에 비해 예측 성능이 좋아진다는 것이다.

 

저자들은 이러한 현상을 dynamical system에서의 resonance와 연관을 짓는다 (추후에 계속 얘기).

 

 

 

저자들은 Mackey-Glass (MG) system과 Kuramoto-Sivashinsky system에 대해 예측에 있어서 noise의 benefit을 검증하는데, 이 포스팅에서는 MG system에만 집중하도록 하자.

 

MG system의 형태는 다음과 같다.

 

$$\dot{s}(t) = \frac{a s(t-\tau)}{1 + [s(t-\tau)]^c} - b s(t)$$

 

이 논문에서는  \( a=0.2,\, b=0.1,\, c=10\)으로 고정하였으며,

 

또한 time delay인 \( \tau \) 의 값을 17로 한 경우와 30으로 한 경우를 모두 소개했는데,

 

\( \tau=17 \) 일 때에는 한개의 positive Lyapunov exponent를 가지는 chaotic system,

\( \tau=30 \) 일 때에는 두개의 positive Lyapunov exponent를 가지는 chaotic system이 된다고 한다.

 

이제는 너무 자주 봐서 익숙해져버린 Reservoir network 업데이트 수식을 또 한번 보자.

 

$$\mathbf{r}(t + \Delta t) = (1 - \alpha)\mathbf{r}(t) + \alpha \cdot \tanh[\mathcal{A} \cdot \mathbf{r}(t) + \mathcal{W}_{\text{in}} \cdot \mathbf{u}(t)]$$

 

 

여기서 Input weight matrix와 Reservoir network의 weight matrix를 구성할 때 필요한 여러가지 매개변수들이 있는데 (\alpha 등등),

 

저자들은 Bayesian optimization을 사용하여 hyperparameter optimization을 수행하였다.

 

 

 

또한 저자들은 training data에 평균이 0이고 표준편차가 \( \sigma \) 인 Gaussian white noise를 넣었으며, \( \sigma \) 역시 다른 hyperparameter들과 마찬가지로 매개변수 취급을 하여서 최적화를 함께 수행하였다.

 

 

Result의 A 단락에서는 short term prediction, B 단락에서는 long term prediction에서의 noise의 beneficial role에 대해 설명하였다.

 

short term prediction에 있어서, noise가 있을 때와 없을 때의 성능 차이가 얼마나 어떻게 나는가? 를 비교하기 위해 저자들은 두개의 measurement인 \( t_s \)와 \( R_s(r_c) \)를 새롭게 소개하였다.

 

 

첫번째로 \( t_s \)는 maximal time으로, 제안한 모델과 실제 값 간의 RMSE가 특정 threshold 이하로 떨어지기까지 걸리는 시간을 의미한다 (저자들은 Prediction horizon이라고 이름을 붙였다). 

 

두번째로 \( R_s(r_c) \)는 각 iteration마다 RMSE가 \( r_c \) (fix된 RMSE threshold) 이하인지를 카운팅하여 비율로 나타낸 값이다 (저자들은 Prediction stability라고 이름을 붙였다).

 

구체적으로 수식은 아래와 같다.

 

$$ R_s(r_c) = \frac{1}{n} \sum_{i=1}^{n} [\text{RMSE} < r_c]  $$

 

 

아래는 앞에서 소개한 여러가지 chaotic system에 대해 저자들이 제안한 measurement들이 노이즈 정도인 \( \sigma \)에 따라 어떻게 달라지는지를 나타낸 그림이다.

 

그림을 통해 알 수 있는 것은,

특정 \( \sigma \) 값 부근에서, 성능이 가장 좋아지는 (낮은 RMSE, 높은 \(R_s(r_c) \)와 \( t_s \) ) 현상이 발생한다는 것이다.

 

 

 

다음으로 Long term prediction의 성능을 비교하기 위해 저자들은 deviation value (DV) 라는 새로운 measurement를 소개하였다.

 

$$ \text{DV} \equiv \sum_{i=1}^{m_x} \sum_{j=1}^{m_y} \sqrt{(f_{i,j} - \hat{f}_{i,j})^2} $$

 

여기서 \( m_x, m_y \)은 각 격자의 개수, \( f_{i,j} \)는 \( (i,j) \) cell에 trajectory가 몇번을 방문했는가? 를 나타낸 0 이상의 정수 값을 나타낸다.

 

쉽게 말하자면 DV는 "두 trajectory의 전체 윤곽이 얼마나 다른지"를 측정한 값이다.

 

그래서 DV가 낮다는 말은, RC로 예측한 trajectory가 실제 trajectory의 전체 윤곽을 잘 따라간다! 를 의미한다고 이해하면 되겠다.

 

 

아래 그림에서는 MG system와 KS system에 대해 특정 노이즈 정도에서 DV가 낮아지는 (성능이 좋아지는) 현상이 생기는 것을 표현하였다.

 

 

 

 

그래서 RC에 Noise를 넣으면 왜 성능이 더 좋아지는가? 에 대해 어느 정도의 이론적인 이유를 설명하기 위해 저자들은 Langevin equation의 형태를 빌려온다.

 

 

Langevin equation (9) 수식에서 \( f \) 는 deterministic한 항이고, 뒷부분은 stochastic한 항이다.

 

비슷하게 RC의 (8) 수식 역시 앞의 항은 deterministic, 뒤의 항은 stochastic한 특성을 가지고 있다.

 

저자들은 마치 Resonance 현상이 두 대상의 주파수가 일치할 때 발생하는 것처럼,

 

RC에서도 두 항의 시간 스케일이 일치할 때 성능이 급격하게 향상되는 coherence resonance 현상이 생긴다! 라고 간략히 설명해두었다.

 

---

coherence resonance 에 대해서는 추가적으로 아래의 논문을 읽는 중인데, 기회가 된다면 다음 포스팅에서 이야기 해보자.

"Coherence Resonance in a Noise-Driven Excitable System" (Arkady S. Pikovsky and Jürgen Kurths)" https://doi.org/10.1103/PhysRevLett.78.775

Coherence Resonance in a Noise-Driven Excitable System