Perceiver IO: A General Architecture for Structured Inputs & Outputs(2021)

지난번에 다룬 Perceiver의 후속 논문으로. Perceiver의 경우 임의의 modality와 길이를 갖는 데이터를 최소한의 inductive bias를 사용해 처리할 수 있었으나, classification과 같이 output space가 단순한 형태를 갖는 task에만 활용될 수 있다는 한계점이 있었다. Perceiver IO는 기존 Perceiver의 구조를 약간 수정하여, output 또한 임의의 modality와 길이를 가질 수 있도록 설계하였다. 이에 따라 Perceiver IO는 natural language, visual understanding, StarCraft II 등의 다양한 task를 수행할 수 있게 되었을 뿐만 아니라 이들 모두에서 높은 성능을 보였고, 특히 Sintel optical flow estimation에서 SOTA를 달성하였다.

Continue reading

인공지능과 철학에 대한 단상

얼마 전에 재미있는 트윗을 하나 발견했다. GPT3, CLIP, DALL-E 등 AI 학계를 놀라게 하는 혁신적인 모델들을 연이어 내놓고 있는 OpenAI의 chief scientist인 일리야 서츠키버가, 자신의 트윗을 통해 ‘최근에 나오는 거대 인공신경망은 약간의 의식을 갖고 있을지도 모른다’고 이야기한 것이다. 학계의 영향력이 큰 인물이 이런 발언을 한 만큼, 당연하게도 많은 학계 인사들이 이 트윗을 보고 길고 긴 찬반토론을 벌였다. 그리고 언제나 그렇듯, 토론의 결과 의미있는 결론이나 합의점이 나온 것 같지는 않았다.

Continue reading

Bill Evans & Jim Hall - Undercurrent

재즈에는 많은 연주 형식이 있지만, 그 중에서도 기타와 피아노의 듀오는 가장 연주하기 까다로운 조합 중 하나라고 생각한다. 재즈 연주에서 피아노와 기타는 서로 차지하는 역할이 상당 부분 겹치기 때문이다. 피아노와 기타는 베이스/컴핑 반주와 솔로 연주가 모두 가능하다는 장점과, 트럼펫 같은 관악기처럼 관통력 있는 음색을 구사하기 어렵다는 한계점을 공유한다. 그렇기 때문에, 두 악기로 듀오 연주를 할 서로가 연주하고 있는 것에 귀 기울여 소통하지 못하면, 리듬 반주가 겹쳐 소리가 지저분해지거나, 멜로디라인이 잘 전달되지 못하고 진행감이 무너지기 정말 쉽다. 그래서인지 재즈 역사 속에서 피아노와 기타의 듀오 음반은 다른 편성에 비해 드물지만, 그 중에서 재즈 역사 전체를 통틀어서 최고의 앨범 중 하나로 거론될 만한 전설적인 명반이 하나 있다. 그 앨범이 바로 빌 에반스와 짐 홀의 듀오 연주가 담긴 Undercurrent로, 1962년에 발매된 이 앨범은 지금까지도 많은 재즈 애호가들에게 꾸준한 사랑을 받고 있다.

Continue reading

Pagination


© 2021. by Duemoo

Powered by aiden