[선형대수] 행렬 Norm, 행렬공간

행렬 및 Norm

1. 행렬 Norm

• 행렬 Norm은 여러 종류의 정의가 있고 각 정의 별로 계산법과 의미가 다르다. 이에 반해, 벡터 Norm은 한가지 공식으로 정의된다. (벡터 Norm의 정의는 아래와 같다.)
  • $$  Vector\;Norm = \sqrt{\sum_{i=1}^{N}a_i^2} $$
• 행렬 Norm의 종류는 원소별 계열과 유도 계열로 구분되는데, 대표적으로 사용되는 것은 원소별 계열의 프로베니우스(Frobenius) Norm이다. 이는 유클리드 Norm이라고도 하며, L2 Norm이라고 한다. (프로베니우스 Norm의 정의는 아래와 같다.)
  • $$ Frobenius\;Norm = \; \left\|A\right\|_F= \sqrt{\sum_{i=1}^{M}\sum_{j=1}^{N}a_{ij}^2} $$
• 행렬 Norm은 머신러닝, 통계분석에서 쓰임새가 다양하다. 대표적으로 릿지 정규화(Regularization)에 사용된다.
  • 정규화 (Regularization) : 모델 매개 변수가 너무 커지거나, 희소결과가 나오는것을방지하기 위해 Norm을 비용함수에 추가하는 형태로 사용됨

 2. 행렬의 대각합

• 행렬의 대각합은 행렬의 대각 요소의 총합이다. 이는 정방행렬에서만 정의된다.
  • 정방행렬 : 행과 열의 개수가 동일한 행렬
• 특징 1 : 행렬의 대각합은 행렬의 고윳값의 합과 같다.
• 특징 2 : 정방행렬의 프로베니우스 Norm (L2 Norm)은 행렬의 대각합으로 계산할 수 있고, 이는 아래와 같다.
  • $$ L2\; Norm\; = \sqrt{tr(A^TA)} $$

---

행렬 공간(열, 행, 영)

1. 열공간

• 열공간이란 행렬의 열벡터에 임의의 스칼라 값을 곱해 나타낼 수 있는 공간이다.
• 차원 : 열 공간의 차원은 선형 독립 벡터의 갯수로 정의된다.
  • 예를 들어, 아래 행렬의 경우 열벡터는 2개이지만, 선형 종속관계로 1차원이다. 
  • $$ \begin{bmatrix}
    1 & -1 \\
    2 & -2 \\
    \end{bmatrix}, \; \begin{bmatrix}1\\2\end{bmatrix} \; = \; -1*\begin{bmatrix}-1 \\ -2 \end{bmatrix} $$
  • 반면 아래 행렬의 경우, 3차원의 열벡터가 선형 독립 관계로, 3차원에서 표현되는 2차원(공간)이다.
  • $$ \begin{bmatrix}
    1 & 3 \\
    3 & 7 \\
    -1 & 5 \\
    \end{bmatrix} $$

• 행렬 공간이 중요한 이유는, 아래 질문을 하기 위함이다. 이 질문은 선형대수학의 응용에 핵심이 되는 질문이다.
  • 벡터  A가 주어졌을 때, 행렬 B의 열공간에 속하는가?

2. 행공간

• 열공간과 동일한 개념이고, 열 벡터가 아닌 행 벡터의 선형 가중 결합으로 표현되는 공간이다.

3. 영공간

• 행렬 A의 열벡터를 선형 가중 결합하여 0 벡터를 만드는 공간이다.
• 모든 값이 0으로만 이루어진 벡터는 영공간이 아니다.
• 행렬의 열벡터가 선형 독립 집합이라면 영공간은 비어 있다. (0 벡터를 만드는 벡터가 없음)
• 영공간과 행공간은 직교한다. 
• 영 공간은 그 자체로 중요하진 않은데, 추후 고유벡터와 특이벡터를 찾는데 핵심적인 역할을 수행하는 개념이다.

 

자료 출처 : 개발자를 위한 실전 선형대수학, 마이크 X 코헨 저, 장정호 옮김, 한빛미디어