선형대수4 [선형대수] 고윳값 분해 (Eigenvalue Decomposition) 고윳값 분해는 주성분 분석에 사용되는, 데이터 과학에 선형 대수가 큰 공헌을 한 개념이다. 고윳값 분해를 통해 고윳값(Eigen value)과 고유벡터(Eigen vector)를 계산할 수 있다. 고윳값 분해는 기하학, 통계, 제어 등 각 분야에 따라 다양한 해석 관점이 존재한다. 본 글에서는 기하학적 관점에서의 고윳값 분해를 확인한다. 고윳값과 고유벡터 먼저, 행렬과 벡터의 곱을 다음 관점에서 볼 수 있다. 행렬은 벡터의 크기와 방향을 변화시키는 특징을 가지고 있는 것이다. (아래 왼쪽 그림) 그 중에서도 특정 행렬과 벡터는 곱했을 때, 방향은 변하지 않고 크기만 변하는 경우가 있다. 이때 벡터를 행렬의 고유벡터라 하며, 변하는 크기 값을 고윳값이라 한다. (아래 우측의 그래프에서, 행렬 A는 벡터 v.. 2024. 1. 16. [선형대수] 일반선형모델 및 최소제곱법 본 글에서는 일반선형모델, 최소제곱법을 설명한다. 일반선형모델은 독립변수가 스칼라 곱셈과 덧셈으로만 이루어진 모델이다. 최소제곱법은 일반선형모델의 계수 값을 계산하기 위한 방법이다. 그리고 마지막으로 앞서 공부한 QR분해를 사용해 일반선형모델을 푸는 좀 더 수치 안정적인 방법을 소개한다. 일반 선형 모델 (General Linear Model) 일반 선형 모델은 예측변수(독립변수)를 관측값(종속변수)와 스칼라 곱셈 및 덧셈으로만 연관시킨 방정식의 집합이다. 일반 선형모델을 구축하는 과정은 아래와 같다. 독립변수와 종속변수를 연관시킨 방정식을 정의한다. (ex/ 1차 다항식, n차 다항식) 관측된 데이터를 방정식에 대입한다. 관측된 데이터 수만큼의 방정식을 행렬 방정식으로 변환한다. 행렬 방정식을 푼다. .. 2024. 1. 15. [선형대수] 행렬 Norm, 행렬공간 행렬 및 Norm 1. 행렬 Norm 행렬 Norm은 여러 종류의 정의가 있고 각 정의 별로 계산법과 의미가 다르다. 이에 반해, 벡터 Norm은 한가지 공식으로 정의된다. (벡터 Norm의 정의는 아래와 같다.) $$ Vector\;Norm = \sqrt{\sum_{i=1}^{N}a_i^2} $$ 행렬 Norm의 종류는 원소별 계열과 유도 계열로 구분되는데, 대표적으로 사용되는 것은 원소별 계열의 프로베니우스(Frobenius) Norm이다. 이는 유클리드 Norm이라고도 하며, L2 Norm이라고 한다. (프로베니우스 Norm의 정의는 아래와 같다.) $$ Frobenius\;Norm = \; \left\|A\right\|_F= \sqrt{\sum_{i=1}^{M}\sum_{j=1}^{N}a_{ij}.. 2024. 1. 5. [선형대수] 직교벡터 분해 직교벡터 분해 목표벡터와 기준벡터가 주어졌을 때, 목표벡터를 평행벡터와 수직벡터로 분할하는 것이다. 이때, 평행벡터는 기준벡터에 평행하며 수직벡터는 기준벡터에 수직한다. 직교벡터 분해과정 다음과 같이 목표벡터 b, 기준벡터 a가 주어졌다고 하자. 이때 목표벡터 b의 평행벡터는 a에 스칼라 beta를 곱해준 것으로 표현된다. 목표벡터 b의 수직벡터는 기준벡터와 평행벡터의 차이로 표현된다. 평행벡터와 수직벡터는 내적 시, 0이 된다. 이를 활용해 beta를 계산할 수 있다. beta를 계산하면 평행벡터를 계산할 수 있다. 평행벡터를 계산하면 수직벡터를 계산할 수 있다. 수직 벡터를 구하는 과정을 직교화(Orthogonalize) 라고도 지칭한다. 이는 그람 슈미트 구현 시 사용된다. 간단하지만, 향 후 정리.. 2023. 12. 31. 이전 1 다음
