비전공자의 인공지능 고군분투기

안녕하세요,오늘은 토론토대학교 강화학습 수업을 들으면서 이해가 되지 않는 부분이 있어 유튜브 혁펜하임으로 공부한 내용을 업로드합니다. Markov Decision Process 중요한 성질 : State와 Action이 Random하다.s1와 주어져 있으면 s0과 a0을 알건 모르건 상관없이 a1의 확률이 정해진다. 두다리는 지워주고, 한다리는 남긴다. 1. P(a1 | s0, a0, s1) 이면 P(a1| s1)만 남는다. (여기서는 s1만 알면 a1이 되기에) 2. P(s2 | s0, a0, s1, a1) 이면 P(s2| s1, a1)만 남는다. (여기서는 s1과 a1을 알아야 s2가 되기에)  1번 >> Policy : State에서 어떤 action을 할지에 대한 분포가 정책이다.   2번 >>..

안녕하세요,오늘은 토론토대학교 강화학습 수업을 들으면서 Q-Learning 부분에 대해 유튜브 혁펜하임으로 공부한 내용을 업로드합니다. Reinforcement Learning 이란, 맛집 찾기 이다. Q-Learning (Greedy action)맛집을 찾을 때, Q-Learning은 Greedy aciton(탐욕행동?)을 씁니다. 이동을 하면서 점수를 매길 것이고, 점수가 가장 큰 쪽으로 이동하는 것이 Greedy Action입니다.처음에는 0이다.위의 X표시의 모든 S(State, 상태)는 다 0이다. 맛집에 들어가면서 에피소드가 끝난다.  첫번째 에피소드맛집에 들어가면 R=1 리워드를 받는다. 위로 가면 리워드를 받기에 위쪽에 1 표시. 두번째 에피소드이동할 때, 오른쪽으로 고르는 동시에 Q-Le..

안녕하세요오늘은 토론토대학교 수업 중 Reading Assignment 를 진행하는 과정에서 오랜만에 다시 공부한 가설검정에 대해 적어보려합니다.Paper  : Storks Deliver Babies (p = 0.008) 상관관계와 인과관계의 차이에 대해 설명한 논문입니다.유럽 17개국의 황새 개체수와 출생률 간의 상관관계를 분석했는데요. 두 변수(황새 개체수와 출생률) 사이에 통계적으로 유의미한 상관관계가 있음을 발견했습니다. 쉽게 설명하자면, 황새의 개체수가 많을수록 출생률도 높은 경향이 있다는 것입니다.하지만 이러한 결과가 "황새가 아이를 가져다준다"를 의미하지는 않는다고 강조합니다. 다시 말하자면, 두 변수 사이에 상관관계가 존재하더라도 이것이 인과관계를 의미하지 않는다는 것이죠. 짧게 종합하자면..

MIT Gilbert Strang교수님의 Linear Algebra 18강 Properties of Determinants 리뷰입니다. DeterminantsThe determinant is a number associated with any square matrix; det A or |A|determinant는 any square matrix와 연관되어 있는 숫자로써, det A 혹은 |A|로 표기한다.The matrix is invertible exactly when the determinant is non-zero.행렬은 행렬식이 0이 아닐 때 invertible하다.  Properties모든 크기의 정방행렬의 행렬식에 대한 공식을 줄 것이다.특징으로는 아래와 같다. 1. det I = 1 2. 행..

MIT Gilbertsrang 교수님의 Linear algebra 17강 Orthogonal Matrices and Gram-Schmidt 배우겠습니다. Orthonormal Vectors (직교벡터) : 길이가 1인 모든 열벡터가 서로 직교하는 것All have (normal) length 1 and are perpendicular (ortho) to each other. Orthonormal vectors are always independent. 모두 (정규) 길이가 1이고 서로 수직이다. 직교 벡터는 항상 독립적이다. 나아가, Orthonormal vector = orthogonal and unit vector 이다. 즉 every q is orthogonal to every other q.이다...

오늘은 MIT Gilbertstrang 교수님의 Linearalgebra 16강 Projection matrices and least squares를 배우겠습니다.Projections(사영)If b is perpendicular to the column space, then it’s in the left nullspace N(AT) of A and Pb = 0. If b is in the column space then b = Ax for some x, and Pb = b. 1. perpendicular한 경우 : b가 column space에 수직이라면 Pb = 0이다. (vectors in the left nullspace of AT)2) column space 안에 있는 경우 : b가 column ..

MIT Gilberstrang 교수님의 Linear Algebra 15강 Projections onto Subspaces 강의 Projections (투영) : 하나의 vector를 다른 vector로 옮겨 표현하는 것We can see from Figure 1 that this closest point p is at the intersection formed by a line through b that is orthogonal to a. If we think of p as an approximation of b, then the length of e = b − p is the error in that approxi­mation. We could try to find p using trigonometry..

MIT GilbertStrang 교수님의 Linearalgebra 14강 Orthogonal Vectors and subspacesThe “big picture” of this course is that the row space of a matrix’ is orthog­onal to its nullspace, and its column space is orthogonal to its left nullspace.Row space & nullspace는 orthogonal(직교)한다. Column space & left nullspace도 orthogonal(직교)한다.Orthogonal vectors (직교 벡터)Orthogonal is just another word for perpendicular. T..

안녕하세요,오늘은 MIT Gilbert Strang 교수님의 선형대수학 Lecture12 Graphs, Networks, Incidence Matrices에 대해 학습하겠습니다. Graph : Nodes, Edge그래프는 꼭짓점인 Node와 변인 Edge로 구성되어 있다.아래의 그래프는 꼭짓점 4개 (N=4), 변 5개(M=5)로 이루어져 있다.Incidence Matrix (근접행렬)The incidence matrix of this directed graph has one column for each node of the graph and one row for each edge of the graph꼭짓점인 Node의 개수를 column으로, 변인 Edge의 개수를 row로 만들어 5*4 근접행렬을 ..

안녕하세요오늘은Lecture11 Matrix Spaces; Rank 1; Small World Graphs 에 대해 학습하겠습니다.  Matrix spaces (New vector spaces)New vector spaces = Matrix spaces, M = all 3 by 3 matrices새로운 벡터공간은 행렬 공간이며, M은 모든 3 * 3 행렬이다.또한, 행렬 M은 3가지 부분 공간인 Symmetric Matrix, Upper triangular Matrix, Diagonal Matrix를 가지고 있다.Dimension & BasisThe dimension of M is 9; we must choose 9 numbers to specify an element of M. The space M i..