AI & ML

AI & 기계학습

AI, ML, DL의 정의

AI (Artificial Intelligence)

• 주어진 환경/데이터를 인지, 학습, 추론을 통해 목표 달성을 하도록 예측, 행동 선택, 계획하는 시스템

ML (Machine Learning)

• AI 범주 내에서 데이터로부터 학습하여 목적을 달성하는 접근 방법론
• 예 : 생성형 AI, 언어 모델, 이미지 분류 모델, 추천 시스템

DL (Deep Learning)

• ML 범주 내에서 신경망(Neural Network)
• 함수를 사용한 학습 방법론

AI - ML (ML이 아닌 AI 시스템)의 예

• 규칙 기반 시스템
• 휴리스틱 기반 (최적화) 알고리즘

데이터 구성요소 (Feature/Label)

데이터가 왜 중요한가?

• 머신러닝은 규칙을 직접 코딩하지 않고, 데이터에서 규칙을 학습
• 데이터(Feature, Label)의 분포와 관계가 머신러닝의 학습 결과를 결정

Feature(피처, 특성)

• 모델이 예측에 사용하는 입력 정보
• 예측, 판단의 근거/단서

Label (라벨, 목표값)

• 모델이 예측하려는 정답
• 학습의 목표

ML 실생활 예시

• 유튜브 추천

  • Feature : 각 영상들의 정보(장르, 크리에이터, 조회수, 좋아요 수 등), 사용자 정보 (시청 이력, 구독 채널 등)
  • Label : 영상에 대한 사용자 피드백 (시청 여부, 좋아요 클릭 여부)

• 스팸메일 분류

  • Feature : 메일 제목, 발신자, 단어 빈도
  • Label : 스팸/정상

1D 피쳐 기반 학습

1D 피쳐 기반 학습 (단일 피쳐 학습)이란?

• Feature가 하나일 때 머신러닝이 학습하는 가장 단순한 형태 (1D = 1차원)

미지의 함수 ($f^{\ast }$)

• Feature와 Label 사이의 실제 평균관계
• 하지만 직접 관측할 수 없음
• 오차가 포함된 데이터(점)만 관측 가능

측정오차 (E)

• 데이터에는 주로 측정 오차가 섞여 있음
• 원인 : 측정 기기의 한계, 환경적 요인 등
• 따라서, 데이터 = 참 함수 + 오차 ($f^{\ast }+ϵ$)

피쳐와 라벨의 관계를 잘 나타내는 함수 $f$는 없을까?

• 데이터를 설명하는 여러 함수 후보가 존재
• 어떤 함수가 가장 잘 맞는지 학습해야 함

모델과 가설 공간

학습 (Learning)

• “입력(Feature) -> 출력(Label)” 관계를 찾는 과정
• 평균 관계를 하나의 함수로 표현함
• 하지만 관계를 표현할 수 있는 함수는 무수히 많음

가설 공간 (Hypothesis Space)

• 관계를 표현할 수 있는 모든 후보 함수들의 모음
• 피쳐 공간과 라벨 공간 위에서 정의된 함수들의 집합

모델 (Model)

• 가설공간에 속한 특정 함수 $f$

학습이란?

학습

• 주어진 데이터에서 정답을 가장 잘 맞출 수 있도록 모델의 규칙을 조금씩 조정해가는 과정
• 데이터 $D$ -> 가설공간 -> 선택된 모델 $f$

학습에 필요한 3가지

1. 데이터 (Data)

• 입력(특성)과 정답(라벨) 쌍으로 된 정답 모음

2. 가설 공간 (Hypothesis Space)

• 선택할 수 있는 후보 함수들의 집합

3. 선택 기준(손실 함수)

• 어떤 함수가 더 좋은지 판단하는 척도
• 예측값과 실제값의 차이를 측정

학습 과정

1. 가설공간에서 하나의 함수를 선택
2. 그 함수로 데이터의 모든 예시를 예측
3. 손실함수로 틀린 정도 계산
4. 더 적게 틀리도록 함수의 파라미터 조정
5. 반복하여 최적의 모델 완성

데이터 -> 가설공간 -> 선택된 모델의 관점으로 생각해보기

• 데이터가 제시한 문제를, 가설공간이 제공한 선택지 중에서, 가장 잘 푸는 함수를 찾는 것이 학습

1. 데이터 $D$가 문제를 제시
2. 가설공간이 선택지를 제공
3. 학습이 최적의 $f$를 선택

복수 피쳐 기반 학습

2D 피쳐 기반 학습

• 파란색 Surface(=미지의 참 함수 $f^{\ast }$)는 관측 불가능
• 빨간색 점들(=데이터)만 관측 가능함
• 학습 전 : 어떤 가설공간을 사용할까?
• 학습 후 : 데이터를 활용하여 어떤 모델 $f$을 선택해야 할까?

일반적 용어 정리 및 모델 가정

• $Income$ : 우리가 예측하려는 라벨(반응/목표) 변수 -> $Y$로 표기
• $YearsofEducation$ : 첫번째 피쳐(입력/예측) 변수 -> $X_1$로 표기
• Seniority : 두번째 피쳐(입력/예측) 변수 -> $X_2$로 표기
• 다른 $i$번째 피쳐가 있다면 역시 $X_i$로 표기
• 일반적인 $p$차원 피쳐 (총 p개의 피쳐) 벡터 : $X=[X_1,X_2,...,X_p]$
• 모델(함수명) : $f:{\mathbb{R}}^p\to \mathbb{R}$, $Y=f^{\ast }(X)+ϵ$
• 측정 오차 E : E는 피쳐 $X$와 독립 및 평균을 0으로 가정함

왜 $f(.)$을 학습하는가?

예측

• 잘 학습된 $f$가 있으면, 새로운 입력 $X=x$에서 반응/목표 $Y$를 예측할 수 있음

중요 특성 파악

• 피쳐들 $X=(X_1,X_2,...,X_p)$ 중 어떤 특성이 $Y$를 설명하는데 중요하고, 어떤 것은 덜 중요(무관)한지 알 수 있음
• 예 : 근속 연수(Seniority), 교육 연수(Years of Education)은 소득(Income)에 큰 영향을 줄 수 있지만, 혼인 여부(Marital Status)는 영향이 거의 없을 것임

해석 가능성

• $f$의 복잡도에 따라 각 구성요소 $X_i$가 $Y$에 어떻게 영향을 미치는지(증가/감소 방향, 민감도 등) 이해할 수 없음