음성을 들었을 때 뇌파와 GAN모델의 합성곱층 활성이 유사함 2023.4

음성을 사람이 들었을 때의 뇌파와 WaveGAN 인공지능 모델에 입력했을 때 convolutional layer의 activation 신호가 특별한 transformation 없이 높은 유사도를 보인다는 논문 (2023 4/10)

원문: https://www.nature.com/articles/s41598-023-33384-9

이런 실험이 가지는 두 가지 의미
1) ANN이 내부적으로 representation을 어떻게 인코딩하는지 인간의 뇌와 비교해서 더 잘 이해할 수 있음
2) 인간의 뇌와 유사한 점이 있다면 그 영역 내에서 인간의 뇌를 가지고 함부로 할 수 없는 brain process에 대한 실험이 가능

GAN 아키텍쳐를 사용한 이유
1) unsupervised adversarial learning 과정이 linguistic information encoding에 적합함. word, prefix같은 의미있는 representation이 저절로 학습됨

2) noise vector로 데이터를 생성 가능한 점이 언어의 productivity와 일맥상통. 언어습득시 발음의 구성요소(articulator)를 온전히 알지 못해도 말을 할 수 있는 점과 유사.

기존 연구와의 차이
1) Fully unsupervised 모델과 비교함. 언어 습득도 주로 unsupervised + limited implicit/explicit supervision 형태로 이루어짐
2) production과 perception(encoding and decoding) 양쪽을 모두 다룸. 기존의 연구는 perception에 집중했음.

3) transformation 과정 없이 직접적으로 비교할 수 있는 cABR peak latency를 확인함. 기존 연구는 correlation을 봤고 이는 해석에 어려움이 있음
4) 음성학적으로 다른 두 개 언어를 이용함. 예를 들어 영어와 스페인어의 voceless stop(t) voiced stop(d)를 이용. 기존 연구는 주로 monolingual

5) EEG를 이용한 시간해상도가 높은 분석. 동적인 speech encoding에 적합함. 기존 연구는 fMRI나 ECoG를 이용함
6) Neural network의 early layer가 auditory encoding의 elary stage에 해당하는 cABR와 관계가 있다고 생각하고 비교함. 이는 새로운 시도임.

이를 위해 cABR실험에서 stimulus에 가장 가까운 layer: production에서 forth layer, perception에서는 first layer를 이용함.
GAN의 generator는 noise에서 speech를 생성해야 하는데, 이는 언어 습득과 유사한 과정임.

Generator(speech production)에서 실제 데이터와 유사한 데이터를 생성하게 한 후 생성 데이터와 실제 데이터를Discriminator(speech perception)에 입력. (i) 생성된 stimulus와 G의 2-5layer, D의 1layer VS (ii) 사람에게 소리를 들려주고 cABR 기록한 것을 평균냄

영어와 스페인어의 monolingual subject와 monolingual training된 모델을 서로 비교함.
실험 결과 cABR와 모델의 intermediate convolutional layer가 매우 유사하고, peak latency가 언어에 따라 비슷한 방식으로 달라지는 것을 보임. 실제 음성과 생성 음성의 결과는 비슷했음.

뇌와 GAN이 똑같이 작동한다는 주장은 아니고, encoding과정과 computation 과정이 비슷한 메커니즘으로 동작한다는 이야기다. 뇌가 언어를 어떻게 다루는지, 딥러닝 모델이 internal representation을 어떻게 배우는지 연구하는데 도움이 될 것.

하지만 1) 성인의 목소리만 학습했고, visual cue가 없었음
2) 시간해상도가 높은 1D CNN을 이용. LSTM같은 건 windowing이 필요하므로 시간해상도가 떨어짐. CNN은 sequential structure가 없는 단점이 있지만 음성데이터에 대해서 temporal effect가 나타난다는 것이 알려져있음

3) 조음을 하는 구체적 과정(articulation)이 없이 acoustic data를 생성하는 것이 인간의 발화와 다름. 언어학에서 조음 관련 압력 vs 인지편향, 어디까지가 domain-specific하고 general cognitive principal에 해당하는지 등 논란이 있는데, 이 방법론은 조음, 언어별특징 싹 빼고 이루어짐

Articulation GAN model과 비교하는 식으로 추후 연구가 이루어지면 articulation이 미치는 영향에 대한 다양한 분석이 가능해질 것.

Figure 1. cABR 데이터 관련 내용. j에서 peak2(d의 동그라미)의 amplitude trajectory가 영어와 스페인어에서 다른 것을 보임.

Figure 2. 5층 CNN으로 구성된 WaveGAN모델 사용. z는 100차원, output은 16384sample. 스페인어: DIMEx100, 영어: TIMIT 데이터 이용. 트레이닝은 과정은 패스

Figure 3. 사람의 cABR 데이터 평균과 모델의 1층 convolution layer을 비교한 것.

cABR실험에서 영어-스페인어 사이 peak 2 timing이 달랐는데, 모델의 peak들을 비교하면 2,4,5,7번에서 언어 사이에 차이가 보임.

나머지 결과는 잘 모르겠어서 생략

Discussion

같은 자극에 대한 brain stem 신호와 intermediate convolutional layer의 반응이 유사함. peak 2 latency도 이미 알려진 영어vs스페인어의 언어적 특징에 맞게 나타남.
영어vs스페인어의 언어적 특징에 대한 다양한 언급들.

왜 유사한 형태가 나오나? EEG가 측정하는 것이나 ReLU activation 이후 feature map averaged sum을 구하는 것이나 모두 "average of neural activity over time"을 측정하는 것이다. 비슷한 computation을 표현하는 것. 이는 높은 interpretability를 제공한다.

My thoughts

• Neuronal activity라는 것이 ANN과 실제 뇌에서 유사한 원리로 동작하는데, 이런 식으로 증명되는 것이 신기하다
• 언어 습득도 minimal supervision을 통한 unsupervised learning이라는 부분이 인상적. 어릴 때 주변사람들이 하는 말과 자신의 발음이 비슷해질 때까지 변화시켜 맞춰나가는 식으로 발음이 완성될텐데, 이 과정이 GAN과 유사하구나 싶었다. 청각이 떨어지면 발음도 나빠지는 건 discriminator의 성능이 떨어져서라고 이해 가능.
• ANN과 뇌가 비슷한 부분들을 찾아내면 이걸 이용해서 brain process simulation을 하는 것이 가능할거라는 말이 제일 인상적

Originally tweeted by 말러팔산 (@mahler83) on 2023-04-21.