비전공자의 인공지능 고군분투기

Lecture15 Projections onto Subspaces

MIT Gilberstrang 교수님의 Linear Algebra 15강 Projections onto Subspaces 강의 Projections (투영) : 하나의 vector를 다른 vector로 옮겨 표현하는 것We can see from Figure 1 that this closest point p is at the intersection formed by a line through b that is orthogonal to a. If we think of p as an approximation of b, then the length of e = b − p is the error in that approxi­mation. We could try to find p using trigonometry..

MIT GilbertStrang 교수님의 Linearalgebra 14강 Orthogonal Vectors and subspacesThe “big picture” of this course is that the row space of a matrix’ is orthog­onal to its nullspace, and its column space is orthogonal to its left nullspace.Row space & nullspace는 orthogonal(직교)한다. Column space & left nullspace도 orthogonal(직교)한다.Orthogonal vectors (직교 벡터)Orthogonal is just another word for perpendicular. T..

안녕하세요,오늘은 MIT Gilbert Strang 교수님의 선형대수학 Lecture12 Graphs, Networks, Incidence Matrices에 대해 학습하겠습니다. Graph : Nodes, Edge그래프는 꼭짓점인 Node와 변인 Edge로 구성되어 있다.아래의 그래프는 꼭짓점 4개 (N=4), 변 5개(M=5)로 이루어져 있다.Incidence Matrix (근접행렬)The incidence matrix of this directed graph has one column for each node of the graph and one row for each edge of the graph꼭짓점인 Node의 개수를 column으로, 변인 Edge의 개수를 row로 만들어 5*4 근접행렬을 ..

안녕하세요오늘은Lecture11 Matrix Spaces; Rank 1; Small World Graphs 에 대해 학습하겠습니다.  Matrix spaces (New vector spaces)New vector spaces = Matrix spaces, M = all 3 by 3 matrices새로운 벡터공간은 행렬 공간이며, M은 모든 3 * 3 행렬이다.또한, 행렬 M은 3가지 부분 공간인 Symmetric Matrix, Upper triangular Matrix, Diagonal Matrix를 가지고 있다.Dimension & BasisThe dimension of M is 9; we must choose 9 numbers to specify an element of M. The space M i..

안녕하세요,오늘은 MIT Gilbert Strang 교수님의 Linear algebra 10강 four fundamental subspaces에 대해 학습하겠습니다.  Four subspacesAny m by n matrix A determines four subspaces (possibly containing only the zero vector):Column space, C(A)C(A) consists of all combinations of the columns of A and is a vector space in Rm.C(A)는 A의 열의 모든 조합으로 구성되며 Rm의 벡터 공간이다. Nullspace, N(A)This consists of all solutions x of the equation..

안녕하세요,오늘은 9강 Independence, Basis and Dimension에 대해 학습하겠습니다. Linear independence : Vector가 있을 때, 모든 계수(coefficient)가 0인 경우를 제외하고, 선형 조합(Linear combination)으로도 0을 만들 수 없다면 이 벡터들은 독립(independent)하다고 한다.A combination of the columns is zero, so the columns of this A are dependent.열의 A 조합이 0이라면, A의 열은 종속(depdendent)이 된다.We say vectors x1,x2,...xn are linearly independent (or just independent) if c1x1 ..

안녕하세요,오늘은 Lecture 5강 두번째 Data Preprocessing부터 학습해보도록 하겠습니다.  2) Data Preprocessing (데이터 전처리) original data를 zero-centered로 맞춰준다.(방법은 각각에 대해서 전체의 평균값을 빼준다.)정규화 작업 : 표준편차로 나눠줌으로써 수행한다. (ex -1~1 사이의 특정 범위 안에 들어가도록) 이미지에서 zero-centered는 일반적으로 해주고, 다만 normalization은 일반적으로 수행하지 않는다.normalization 목적 자체가 특정 범위에 들어가도록 해주는 것인데 이미지는 0에서 255 사이의 픽셀이라는 이미 특정 범위에 들어있는 것이라서 주성분 분석 PCA : 데이터를 비상관화해서 차원을 줄이는 것Wh..

신경망을 어떻게 학습시키는지 알아보려 합니다.오늘은 분량이 많아 데이터전처리 전단계까지 리뷰하겠습니다.  지난시간 학습내용 정리 ConvNets need a lot of data to train 이라고 생각하는데 어쩌면 잘못된 생각일 수 있다왜 ? finetuning 방법이 있어서이다. 즉, we rarely ever train ConvNets from scratch.(우리는 우리 모델을 처음부터 학습시키는 경우가 별로 없다.)다시 말해서, 이미지넷의 데이터를 기반으로 학습시키고 우리는 이미 학습된 가중치를 가져와서 이 가중치를 우리 데이터에 finetuning 시킨다.우리는 가운데 그림에서처럼 우리가 가지고 있는 데이터셋이 작으면기존의 이미지넷에서 학습한 모든 가중치를 그대로 고정시킨다.그리고 마지막부..

CS231n 4강 공부 및 리뷰를 시작하겠습니다. 인공지능을 준비하시는 분들에게도 도움이 되었으면 좋겠습니다.  Backpropagation Gradient Descent를 구하는 방법은 2가지가 있다.실제로는 Numerical gradient로 구하면 된다. 매우 간단한 과정으로 나왔는데, 실제 Computational Graph는 굉장히 거대한 규모로 되어있다. 따라서 위의 그림처럼 늘여서 한꺼번에 계산한다는 것은 불가능하다.아래의 예시 2가지를 보면 불가능한 이유를 알 수 있다. AlexNet 예시) Neural Turing Machine + RNN 예시)위의 두 모듈처럼 매우 거대한 규모이기 때문에 한꺼번에 모두를 계산하는 것은 어렵다. 간단한 예를 들어서 module별로 계산해나가는 방법을 학습..

CS231n 3강 공부 및 리뷰를 시작하겠습니다. 인공지능을 준비하시는 분들에게도 도움이 되었으면 좋겠습니다. 지난 2강 복습컴퓨터가 비전을 인식하는데 여러 challenge들이 있다. (각도, 조명, 변형, 은폐/은닉, 배경, 클래스 내의 variatione들) 그럼에도 기계는 사람의 능력을 넘어서는 classify를 할 수 있게 되었다.Data driven approach - 1) nearest neighbor 2) Linear classifier(매칭 탬플릿, 클래스 기반 구분) 오늘은 Score에 대해 불만족하는 정도를 정량화하는 Loss Function 정리 및 Loss function을 최소화하는 parameter 값들을 찾는 과정인 Optimization을 배워보도록 한다. 1. Loss f..