ATLED - Big Question
in Music on My compositions
Attention Is All You Need(2017)
현재 분야를 막론하고 가장 활발하게 사용되는 아키텍쳐인 Transformer를 처음으로 제시한 유명한 논문. 사실 예전에 이미 두 번 정도 읽은 적이 있는 논문이지만, 다시 복습하기 위해 읽었다. 처음 개념을 이해할 때에는 참 어렵게 보였는데, 이제는 제법 빠른 속도로 읽으면서 내용을 따라갈 수 있게 되었다.
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks(2019)
Information retrieval 등 많은 문장을 다루는 task에 비효율적이라는 기존 BERT의 문제점을 개선한 SBERT를 소개한 논문. 이전에 다룬 siamese & triplet network를 사용해 BERT를 fine-tuning하여 문장을 다루는 여러 task의 작업 효율을 비약적으로 상승시킴과 동시에 SOTA를 달성하였다.
CS231n 수강 후기
in AI on Studying AI
필자는 작년 여름 Stanford의 유명한 강의인 CS231n: Convolutional Neural Networks for Visual Recognition을 독학하며, (자유 주제로 진행되는 final project를 제외한) 모든 assignment를 풀어보았다. 이 글에서는, 그 과정에서 필자가 배운 것과 느낀 점들을 후기로 남겨보려 한다. 이 글이 CS231n을 수강할지 고민하는 분들께 조금이나마 도움이 될 수 있기를 바란다.
Deep Metric Learning Using Triplet Network(2014)
Deep metric learning은 데이터 간의 유사도를 표현할 수 있는 metric function을 neural network로 학습하는 것이다. 즉, feature 사이의 decision boundary를 학습시키는 일반적인 classification과 달리, feature space에서 ‘유사한 데이터는 가깝고, 유사하지 않은 데이터는 멀리 떨어진’ embedding을 갖도록 학습하는 방법이다. 이는 학습 시 아주 제한된 양의 예시만이 주어지는 상황인 few-shot learning에서 효과적으로 사용될 수 있다.
How to Represent Part-Whole Hierarchies In a Neural Network(2021)
이 논문은 어떤 실험이나 검증이 없이, 아직 존재하지 않는 아키텍쳐에 대한 이론적인 방향성을 제시한다는 점에서 일반적인 논문과는 많이 다르다. 논문의 단독 저자 Geoffrey Hinton은 인공지능을 공부했다면 모두가 한 번은 이름을 들어보았을 이 분야의 거장으로, Hinton은 44페이지에 달하는 이 논문을 통해 본인이 구상해온 GLOM이라는 가상의 아키텍쳐를 소개하고 있다. 이를 통해 그는 카메라의 관점 등의 요인에 관계 없이 이미지를 구성하는 요소들의 part-whole hierarchy를 parse tree의 형태로 나타내는 모델을 제시한다.
