nengo - 8주차

풀잎 리뷰

Biological Plausible Backpropagation

nengo MNIST

풀잎 리뷰

• LIF neuron

RC circuit modeling을 통해 기본식 이해

계산하는 방식과 미분방정식 해를 구하면서 같이 이해.

참고자료 : neuronal dynamics, snn_code, nengo_LIF

• SNN code

LIF neuron, synpase, receptive field, spike train 구현

STDP 와 lateral inhibition 을 통해 classification 구현

참고자료 : snn_code

• NEF

Neural engineering framework 이해

• nengo_MNIST

nengo 를 이용하여 $y=x^2$ regression 및 MNIST classification 구현

참고자료 : nengo

• +@

Biological Plausible Backpropagation

• paper list

  https://s3-us-west-2.amazonaws.com/secure.notion-static.com/ff2250db-ad1a-4023-a8c0-c6ab6c88dd26/Theories_of_Error_Back-Propagation_in_the_Brain.pdf

  https://s3-us-west-2.amazonaws.com/secure.notion-static.com/79f2a5cb-35a5-4f33-a481-fc8e61f9ee3b/11May2020-Lillicrap_NatNeuroRev_2020.pdf

  DNL 김성현님의 자료가 있음... (나중에 찾음.)

  https://s3-us-west-2.amazonaws.com/secure.notion-static.com/63b67af6-aa0b-44e3-bfbe-c37734bbcadc/theoriesoferrorback-propagationinthebrainreview-200604101950.pdf

  https://s3-us-west-2.amazonaws.com/secure.notion-static.com/7231dec9-5c0e-42a7-867c-a4f500e375e8/backpropagationandthebrainreview-200619070943.pdf

• Theories of Error Back-Propagation in the Brain 을 읽고

  https://s3-us-west-2.amazonaws.com/secure.notion-static.com/a0763589-77a0-4e24-84e5-c68ce0a0265d/5645009889088574553theories_of_error_back-propagation_in_the_brain.pdf

1. 현우님께서 설명해주신 부분도 있고 전체적으로 느낌은 오는데 완벽히 이해했다는 느낌은 안듬. code 나 구현하는걸 봐야 정확히 이해했다고 할 수 있을거 같음. (Predictive coding model 이랑 Dendritic error model)

2. Dendritic error model 에서 apical dendrite 에서 error 를 계산한다고 되어 있는데 좀 이상함. dendrite 이므로 input을 받는쪽이고 정보를 보내는 axon 쪽에서 계산해야 할꺼 같음. ref(63) 에서 Martinotti cell이 pyramidal neuron 의 apical dendrite 에 junction 한다고 되어 있음. 따라서 굳이 이 모델에서 적용할려면 error node 가 각 neuron 이전 weight (synapse)에 있어야 할꺼 같음.

• Backpropagation and the brain 을 읽고 (사실 논문 안읽고 김성현님 자료 읽음)

정확히는 논문을 봐야하지만 대충 요약하면 의미가 있는 learning 을 하려면 단순 Hebbian learning 이 아니라 backpropagation 같이 feedback 을 통한 computation 이 필요함. backpropagation 은 뇌에서 일어날지 확실하지 않지만(여러 issue 들이 있음) 불가능하지 않을거 같음. NGRAD, Target propagation 설명도 함.

이것도 마찬가지라 느낌은 오지만 구현을 봐야 더 잘 알듯함.

nengo MNIST

data interval resting input, multi-layer

시간이 없어서.... GG

Uploaded by N2T