완달프의 일상

# RNN RNN은 시퀀스데이터가 입력 또는 출력으로 주어진 상황에서 각 time step에서 들어오는 입력벡터 xt와 그 전 time step의 RNN 모듈에서 계산한 hidden state 벡터 ht-1를 받아서, 현재 hidden state 벡터 ht를 만드는 구조를 가지고 있다. 예를 들면, I study math라는 문장이 주어졌을때, 각 단어가 time step의 입력으로 들어가게 된다. 매 time step마다 동일한 RNN 모듈 A가 재귀적으로 호출된다. 왼쪽 그림을 rolled version이라고 하고 오른쪽 그림을 unrolled version이라고 한다. 어느 순간에 값을 얻기 위해서는 hidden state로부터 값을 얻어낼 수 있어야 한다. time step t-1에서의 hidde..

# NLP Tokenization: 주어진 문장을 단어단위로 쪼개나가는것, 결과적으로 시퀀스가 된다. stemming: 수많은 어미 변화에도 같은단어라는것을 컴퓨터가 알아야하므로 어근만 추출해 내는것이다. NER: 단일단어나 여러단어로 된 고유명사를 인식해내는것이다. part-of-speech tagging: 주어인지 목적어인지 등을 찾아내는 것이다. sentiment analysis: 문장이 긍정인지 부정인지 알아내는 것이다. machine translation: 번역 entailment prediction: 문장간의 사실관계와 모순관계를 찾아내는 것이다. question answering: 질문을 이해하고 정답을 보여주는것이다. dialog system: 챗봇 summarization: 뉴스 한줄 요..

# generative model 데이터를 생성해내는 모델이다. 하지만 그것만이 전부는 아니다. generation: 강아지와 같은 이미지를 만들어내는 것은 당연한것이고, density estimation: 어떤 이미지가 들어왔을때, 그 이미지가 강아지인지 고양이인지 아무것도 아닌지 알아낼 수 있다. 입력이 주어졌을때 확률값을 얻어낼수 있는 모델을 explicit model이라고 한다. 그냥 generation만 할수 있는 경우에는 inplicit model이라고 한다. unsupervised representation learning: 꼬리가 있고 귀가 있고 이런 내용들을 배울 수 있다. 이것을 feature learning이라고 한다. 그렇다면 p는 어떻게 만들까? # basic 이산분포 Bernou..

# 시퀀스 데이터 순차적으로 들어오는 데이터를 시퀀스 데이터라고 한다. 소리, 문자열, 주가 등의 데이터도 시퀀스 데이터이다. 독립동등분포 가정을 잘 위배하기 때문에, 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 된다. 즉, 과거 정보 또는 앞뒤 맥락 없이 미래를 예측하거나 문장을 완성하는 것은 불가능하다. # 시퀀스 데이터를 다루는 방법 이전 시퀀스 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 때문에, 조건부 확률을 이용할 수 있다. 식으로는 최초 데이터부터의 확률을 사용하지만, 실제로는 모든 최초부터의 데이터를 사용하지는 않는다. 시퀀스 데이터를 다루기 위해서는 길이가 가변적이더라도 처리가 가능한 모델이 필요하다. 그런데 모든 초기부터의 확률이 항상 필요한것은 아..

# convolution 신호처리 분야에서 두개의 함수가 있을때 두 함수를 잘 섞어주는 방법 또는 연산자이다. 연속적인 형태와 이산적인 형태로 나눠서 볼 수 있다. I라는 것이 전체 이미지라고 하면 K를 필터라고 볼 수 있다. 3*3 필터에 7*7 이미지를 컨볼루션하면 5*5출력이 나오게 된다. 소위 도장을 찍는다고 표현할 수 있는데 필터 행렬을 이미지 행렬에 순차적으로 찍어서 행렬곱을 하고 출력 행렬의 원소를 얻는 것이다. # 그럼 convolution을 어디다 써먹을까? 이미지에 필터를 컨볼루션하게되면 이미지를 블러하거나 엠보스하거나 외곽선만 따는 등의 기능을 할 수 있게 된다. # RGB 이미지 32 * 32 이미지라고 하면 3개의 채널이 있다. 5 * 5 필터로 컨볼루션하더라도 필터에 3개의 채널..