아롱이 탐험대

Neural Turing Machine에 대해 알아보기 전 Turing Machine에 대해 먼저 알아야 된다. Turing machine의 실제 모습은 위 이미지와 같고 이를 간단하게 구조화시키면 아래 이미지와 같다. Turing machine는 read, write에 집중하는 구조이고, 명령어를 통해 head를 좌우로 이동하면서 부호를 쓰거나 지울 수 있다. 하지만 discrete 한 점에서 backpropagation 즉 미분이 불가능하다. NTM (Neural Turing Machine)은 무엇일까? 간단하게 요약하자면 training을 할 수 있는 machine이다. 따라서 Differentable turing machine이라고도 부른다. 즉 미분이 가능한 computer이고, back pro..