개인공부기록용

오늘은 라이쌤의 Digital twin 관련 RC 논문을 보자. 다루는 주제는 Reservoir computing 에 Digital twin (Driving signal)을 결합했을 때 어떠한 태스크들이 가능한지이다. 내용이 꽤 많은데, 하고자 하는 것은 크게 아래의 5가지이다. 일부 매개변수에서의 시계열 정보만으로 RC를 학습하여 다른 미개척 매개변수 영역에서의 특성을 외삽할 수 있는가?Sparse update (논문 기준 32번 Ref)를 추가하였을 때 long term prediction이 가능한가?일부 변수의 정보만으로 숨겨진 변수를 추론할 수 있는가? (Appendix D)Train과 Test에 사용된 Driving signal 형태가 달라진다면 adaptation이 가능한가?Train과 Tes..

오늘은 2022년에 Physical Review Research 저널에 출판된 Reservoir computing (RC) 논문 리뷰를 해보자. 키워드 : Reservoir computing, Slow-fast system, Multiscale, Leakage rate 이 연구에서 하고자 하는 것: slow-fast system을 RC로 예측함에 있어서, leakage rate 인 \( \alpha \)를 고정된 상수가 아닌, 분포로 설정했을 때의 효과 저자들은 크게 두가지 태스크 (Task 1, 2)를 통해, 본인들이 제안한 RC (DTS-ESN, Diverse timescales echo state network)가 기존의 RC (LI-ESN, Leaky integrator echo state n..

오늘은 레저버 컴퓨팅 & Resonance 관련 논문 이야기를 해보자. 키워드 : 레저버 컴퓨팅 (Reservoir computing, RC), 노이즈, 공명 현상 (Resonance) 말하고자 하는 것 : 입력값에서 레저버로 가는 네트워크를 분리 & 노이즈의 수준을 조절하였을 때 공명 현상이 생기더라! 이 저자들은 레저버에서 적절한 수준의 Noise 를 시스템에 주입함으로써 흥분 시스템 (Excitable system)의 Interspike Interval (ISI)이 상대적으로 일정하게 유지되도록 하는 coherence resonance에 대해 주목한다.(Arkady S. Pikovsky and Jürgen Kurths 의 Coherence Resonance in a Noise-Driven Excit..

키워드 : 멀티스케일 레저버 컴퓨팅 (Reservoir computing, RC), 노이즈 기반 전이 (Noise-induced transition) 이 연구에서 하고자 하는 것 : noise-induced transition이 발생하는 system에서, 노이즈를 분리 혹은 학습하는 RC 구조 제안 본문 기준 [39], [40], [41] 참조 논문을 먼저 보고 오면 더 재미있게 읽을 수 있다..(RC에서의 노이즈, slow-fast dynamics 학습에서의 RC 등에 관한 논문들임) 저자들이 제안하는 큰 구조는 다음과 같다 : 시스템에 White noise (Gaussian noise) 이 추가된 경우 : RC를 통해 노이즈 분포를 분리 >> Test 할 때 습득한 노이즈 분포를 사용하여 Tru..

MissForest는 RandomForest 기반의, 결측치 대체 기법 중 하나이다. 특징으로는, 1. 수치형, 범주형 변수들이 섞여있는 데이터셋에서도 별도의 전처리 없이 동시 처리가 가능하다 2. 비모수적 특성을 지니기 때문에 데이터가 특정 분포를 따르는지에 대한 여부를 몰라도 사용이 가능하다 3. 트리 기반의 모델이기 때문에 이상치의 영향을 적게 받는다 (Robustness) 의료 데이터처럼 소규모 데이터셋을 다루거나,혹은 결측치가 아래처럼 irregular하게 존재하는 경우 사용하면 좋다 (특정 변수들의 일부분 데이터가 비어있을 때). 아래의 논문은 의료 데이터에서 결측치를 다룰 때 쓰이는 여러 기법들의 performance를 비교한 논문인데,MissForest가 가장 성능이 좋다고 평가했다. ..

오늘은 Arkady S. Pikovsky and Jürgen Kurths 두 저자의 "Coherence Resonance in a Noise-Driven Excitable System" 논문을 리뷰하려고 한다. 연구 목표 : Excitable system에서의 coherence resonance 현상에 대한 조사 이 논문은 ZMZ 아저씨의 Emergence of resonance in machine learning 논문을 리뷰하다가 추가적으로 보게 된 논문이다. Noise-induced system에서 크게 구분을 하자면 stochastic resonance (SR)과 coherence resonance (CR)이 있는데, 이 논문에서는 CR에 초점을 맞추고 있다. 참고로 SR과 CR의 차이는 노..

오늘도 Arizona State University에 계신 Zheng-meng Zhai 아저씨와 Lai 교수님의 논문을 리뷰하려고 한다. 이 논문에서 주로 이야기하고자 하는 것은, Reservoir computing을 통해 Chaotic system을 예측함에 있어서 어느정도의 noise를 적당히 잘 넣어주면,noise가 없을 때에 비해 예측 성능이 좋아진다는 것이다. 저자들은 이러한 현상을 dynamical system에서의 resonance와 연관을 짓는다 (추후에 계속 얘기). 저자들은 Mackey-Glass (MG) system과 Kuramoto-Sivashinsky system에 대해 예측에 있어서 noise의 benefit을 검증하는데, 이 포스팅에서는 MG system에만 집중하도록 하자..

sprand는 sparse random matrix (희소 무작위 행렬)을 만들 때 사용한다. 기본적인 사용법 : sprand(m, n, d) 여기서 \( m,\,n \) 은 각각 행렬의 행과 열 크기이고, \( d \) 는 0이 아닌 원소의 비율을 의미하며, 0이 아닌 원소에 들어갈 값은 Uniform[0,1] distribution에서 샘플링한다. 예시 )>> sprand(3, 3, 0.5)ans = 3×3 희소 double형 행렬 (0이 아닌 요소 3개) (1,1) 0.0344 (1,3) 0.4387 (3,3) 0.3816 >> sprand(3,3, 0.5)ans = 3×3 희소 double형 행렬 (0이 아닌 요소 5개) (2,1) ..

지난번 포스팅 (1), (2)에 이어, 이번에는 Reservoir Computing (RC)에서의 Bayesian Optimization (BO)을 MATLAB으로 구현해보고자 한다 $$ \mathbf{r}(t + \Delta t) = (1 - \alpha)\mathbf{r}(t) + \alpha \tanh(\mathbf{A}\mathbf{r}(t) + \mathbf{W}_{in}\mathbf{u}(t) + \xi \mathbf{1}), $$ RC는 hyperparameter의 값에 따라 예측 성능이 꽤나 달라지는데, hyperparameter 목록은 크게 다음과 같다 :\( N \) : Reservoir network의 노드 개수\( \alpha \) : Leakage rate\( D \) : ER..

요즘에는 Arizona State University의 Zheng-Meng Zhai 아저씨가 작성한 이런 저런 논문을 읽는 중인데, Reservoir Computing (RC)을 사용할 때 필요한 hyperparameter들을 optimize할 때 Bayesian Optimization (BO)을 자주 사용했다고 한다. 그의 논문을 리뷰하기 위한 초석을 다지는 의미로, Bayesian Optimization에 대한 아주 기본적인 컨셉과 코드 실습, 추후에는 RC에서의 BO를 해보고자 한다. 머신러닝에서의 Hyperparameter optimization 기법은 아주 다양하다 [1]. 대표적으로 Grid search, Random search 등이 있는데, BO는 두 방법과는 달리 바로 직전의 ..