Hoyeon Chang - Anthropology (Solo Piano)
in Music on My performances
OON Quartet - Impressions
in Music on My performances
I can't help it (SNU JIVE cover)
in Music on My performances
All the things you are (SNU JIVE cover)
in Music on My performances
Bluesette (SNU JIVE cover)
in Music on My performances
Miyako (SNU JIVE cover)
in Music on My performances
Perceiver IO: A General Architecture for Structured Inputs & Outputs(2021)
지난번에 다룬 Perceiver의 후속 논문으로. Perceiver의 경우 임의의 modality와 길이를 갖는 데이터를 최소한의 inductive bias를 사용해 처리할 수 있었으나, classification과 같이 output space가 단순한 형태를 갖는 task에만 활용될 수 있다는 한계점이 있었다. Perceiver IO는 기존 Perceiver의 구조를 약간 수정하여, output 또한 임의의 modality와 길이를 가질 수 있도록 설계하였다. 이에 따라 Perceiver IO는 natural language, visual understanding, StarCraft II 등의 다양한 task를 수행할 수 있게 되었을 뿐만 아니라 이들 모두에서 높은 성능을 보였고, 특히 Sintel optical flow estimation에서 SOTA를 달성하였다.
인공지능과 철학에 대한 단상
얼마 전에 재미있는 트윗을 하나 발견했다. GPT3, CLIP, DALL-E 등 AI 학계를 놀라게 하는 혁신적인 모델들을 연이어 내놓고 있는 OpenAI의 chief scientist인 일리야 서츠키버가, 자신의 트윗을 통해 ‘최근에 나오는 거대 인공신경망은 약간의 의식을 갖고 있을지도 모른다’고 이야기한 것이다. 학계의 영향력이 큰 인물이 이런 발언을 한 만큼, 당연하게도 많은 학계 인사들이 이 트윗을 보고 길고 긴 찬반토론을 벌였다. 그리고 언제나 그렇듯, 토론의 결과 의미있는 결론이나 합의점이 나온 것 같지는 않았다.
