데이터 전처리 기법: 고유값 분해

​

🎲 고유값 분해는 뭐냐면…

수학 문제 속에 숨은 비밀 지도를 찾는 거예요!

우리가 정사각형 표처럼 생긴 수들의 모음을 "행렬(matrix)"이라고 부르는데요, 이 행렬은 마치 여러 방향으로 물건을 회전하거나 늘리고 줄이는 기계 같아요.

---

🎡 예를 들어서 생각해보자!

상상해봐요:

• 원판 위에 여러 개의 점들이 있고,
• 어떤 마법 기계를 돌리면, 이 점들이 특정 방향으로 길게 늘어지거나 짧아져요.

그런데 신기하게도, 어떤 특정한 방향으로는 점들이 오직 길어지거나 짧아지기만 하고, 방향은 안 바뀌어요!

👉 이때 그 방향을 "고유벡터"라고 부르고

👉 얼마나 길어졌는지를 나타내는 숫자를 "고유값"이라고 불러요!

---

🎯 고유값 분해는 이걸 찾는 거예요!

어떤 행렬이 있다면,

"이 행렬은 어떤 방향으로는 그냥 길어지거나 짧아지기만 할까?"

이걸 알아보는 방법이 고유값 분해예요.

즉,

• 📌 어떤 **특별한 방향(고유벡터)**을 찾고,
• 📏 그 방향으로 **얼마나 크기만 바뀌는지(고유값)**를 계산하는 거예요.

---

🔧 왜 이게 중요할까?

이런 특별한 방향과 숫자를 알면:

• 복잡한 기계를 더 쉽게 설명할 수 있고,
• 데이터를 요약하거나,
• 차원을 줄이거나(PCA 처럼!)
• 등등 여러 가지 똑똑한 일을 할 수 있어요!

---

🧩 한 줄 요약

고유값 분해는 어떤 기계(행렬)가 특별한 방향으로 어떤 크기만큼 늘이거나 줄이는지 알아보는 수학의

마법이에요!

---

조금 이해가 되셨나요? 그럼 고유값 분해에 대해서 수학 공식으로 다시 설명할게요

​

🟦 고유값 분해 수학 공식 설명

🎲 먼저, 뭘 배우는 걸까?

우리는 어떤 기계처럼 생긴 수학 표(행렬)를 배워요.

이 기계는 방향을 바꾸거나, 늘이거나, 줄이는 일을 해요.

그런데 어떤 특별한 방향으로는, 방향을 안 바꾸고 크기만 바뀌는 경우가 있어요!

​

📐 수학 공식 (기본형)

각 기호가 뜻하는 건?

• A: 우리가 알고 싶은 행렬(기계)
• v: 특별한 방향 (고유벡터)
• λ: 그 방향으로 얼마나 커지거나 작아지는지 알려주는 숫자 (고유값)

👉 이 공식은 이렇게 말해요:

"행렬 A를 어떤 방향 v에 쓰면, 그냥 크기만 λ배 된다!"

🔍 이게 왜 신기할까?

보통은 A⋅v 하면 방향이 바뀌어요. 근데 고유벡터는 방향은 안 바뀌고, 길이만 달라져요.

마치:

• 종이비행기가 어느 방향으로는 잘 날아가고
• 그 방향으로만 밀면 곧게 쭉 날아가는 것처럼!

​

🧠 고유값 분해 공식

이제 전체 행렬을 고유벡터와 고유값으로 분해 해볼 수 있어요!

• V: 고유벡터들을 모은 행렬 (방향들)
• Λ: 고유값을 대각선으로 모은 행렬 (크기들)
• V−1: V의 반대 기계 (원래대로 되돌리는 역할)

📌 즉, A라는 복잡한 기계는 → 방향을 바꾸고 → 크기를 조절하고 → 다시 되돌리는 3단계로 설명할 수 있어요!

​

---

고유값 분해(Eigendecomposition)는 단순한 수학 개념을 넘어서 데이터 과학, 물리학, 컴퓨터 비전, 신호 처리 등 다양한 분야에서 핵심적인 역할을 합니다. 아래에 고유값 분해의 대표적 사용 사례들을 분야별로 자세히 설명드릴게요.

​

🧠 1. PCA (주성분 분석)의 핵심 구성 요소

• 설명: PCA는 고유값 분해를 기반으로 공분산 행렬을 분해하여 주요 방향(고유벡터)을 찾습니다.
• 사용 목적:
• 고차원 데이터를 저차원으로 축소
• 변수 간 중복 정보 제거
• 데이터 시각화 (2D/3D)
• 예시: 이미지 데이터(784차원 MNIST)를 2~3차원으로 축소해 시각화하거나, 특성 수를 줄여 모델 학습 속도

개선

​

🧑‍🔬 2. 물리학: 양자역학

• 설명: 양자 시스템의 상태는 행렬(해밀토니안)로 표현되며, 이 행렬의 고유값과 고유벡터는 입자의 에너지 상태를 나타냅니다.
• 사용 목적:
• 전자의 에너지 레벨 구하기
• 양자 시스템의 안정 상태 예측
• 예시: 수소 원자의 에너지 준위를 해석할 때 고유값이 에너지 값이 됩니다.

---

📷 3. 컴퓨터 비전: 얼굴 인식 (Eigenfaces)

• 설명: 여러 사람의 얼굴 이미지를 벡터화한 후 공분산 행렬을 만들고 고유값 분해를 수행합니다.
• 사용 목적:
• 가장 잘 얼굴을 설명하는 고유 얼굴(Eigenfaces)을 도출
• 얼굴 간 비교를 위한 특징 추출
• 예시: 사용자의 얼굴을 Eigenface 공간에 투영해 누구인지 분류

---

📶 4. 신호 처리: 모드 해석 / 주파수 추출

• 설명: 신호의 공분산 행렬 또는 관련 행렬의 고유값 분해를 통해 주된 주파수 성분이나 모드를 추출
• 사용 목적:
• 노이즈가 섞인 신호에서 의미 있는 성분만 추출
• 예시: 지진파 신호나 심전도(ECG) 분석에서 주된 진동 성분 분석

---

💬 5. 자연어 처리: LSA (Latent Semantic Analysis)

• 설명: 문서-단어 행렬을 만들고 SVD(고유값 분해의 일반화)를 통해 잠재 의미 공간을 만듭니다.
• 사용 목적:
• 문서 간 의미 기반 유사도 분석
• 검색 정확도 개선
• 예시: “강아지”와 “개”가 같은 주제의 문서에서 함께 등장한다면, 의미 공간에서 가까운 위치로 나타남

---

🔐 6. 암호학 / 보안

• 설명: 양자컴퓨터 및 보안 통신 분야에서는 행렬의 고유값 분해를 통해 특정 알고리즘의 안정성과 취약성 분석
• 사용 목적:
• 암호체계의 수학적 성질 분석
• 양자 상태 구분
• 예시: 양자상태 구분 알고리즘에서 밀도 행렬의 고유값 분석

---

🧮 7. 차동방정식 해석 (ODE/PDE 해석)

• 설명: 시스템 행렬을 고유값 분해하여 복잡한 선형 시스템을 단순한 고유 시스템으로 변환
• 사용 목적:
• 선형 시스템 해석 간소화
• 해석적 해 구하기
• 예시: 진동하는 건물 구조물의 고유 진동 모드 분석

---

🎯 요약

분야	사용 목적	고유값의 의미
PCA	차원 축소	분산 설명량
양자역학	에너지 계산	에너지 상태
얼굴 인식	특징 추출	주요 얼굴 패턴
신호 처리	주파수 분석	진동 모드
NLP (LSA)	의미 분석	의미 구조
보안	상태 분석	분해된 양자 상태
공학	시스템 단순화	고유 진동수

---

이번엔 PCA에서 고유값이 분산 설명량을 의미한다는 것을 아주 쉽게 알려줄게요 😊

🎈 먼저, "분산"이 뭐야?

"분산"은 데이터가 얼마나 널리 퍼져 있는지를 나타내는 거예요.

예를 들어:

• 친구들이 똑같이 150cm라면, 키의 분산은 작아요.
• 어떤 친구는 130cm, 어떤 친구는 170cm라면, 키의 분산은 커요.

👉 즉, 분산이 크다는 건 정보가 다양하다는 뜻이에요!

---

🧲 PCA에서는 무슨 일이 일어날까?

PCA는 데이터를 가장 넓게 퍼진 방향(정보가 많은 방향)부터 순서대로 찾는 작업이에요.

이때 사용하는 도구가 바로 고유값이에요!​

---

📐 고유값은 뭘 말해주냐면…

PCA가 찾은 각 방향(= 주성분)은 하나의 고유값을 갖고 있어요.

• 그 고유값이 클수록 → 그 방향에 정보가 많이 들어 있음
• 고유값이 작을수록 → 별로 중요한 정보가 없음

👉 그래서 고유값이 "그 방향이 전체 데이터에서 얼마나 중요한가"를 알려주는 거예요!

---

🍰 케이크로 비유해볼까?

전체 정보를 케이크라고 생각해보자!

• 첫 번째 주성분이 고유값 5라면 → 케이크의 50%를 설명!
• 두 번째 주성분이 고유값 3 → 케이크의 30%
• 세 번째 주성분이 고유값 2 → 케이크의 20%

이렇게 각각이 얼마나 많은 케이크 조각을 차지하는지가 분산 설명량이 되는 거예요!

---

🎯 한 줄 요약

PCA에서 고유값은 “이 방향이 데이터에서 얼마나 많은 정보를 담고 있나”를 알려주는 숫자예요!

​