[머신러닝 빌드업 1] 머신러닝 개념

[Python] 머신러닝 빌드업 - 1회차

 

1) 머신 러닝에 대한 정의

 

머신 러닝은 데이터를 활용하여 작업의 성능을 향상하기 위해 모델(머신)을 학습해나가는 과정

 

 

• 딥 러닝 → 머신 러닝 → AI 순으로 그 개념의 범위가 넓어집니다.
• AI: 마치 인간처럼 학습 및 추론을 할 수 있도록 만들어진 프로그램
• 머신 러닝: 데이터를 활용해 명시적으로 프로그래밍되지 않고도 학습할 수 있는 알고리즘
• 딥 러닝: 머신 러닝의 종류 중 하나로 인공 신경망을 이용해 거대한 데이터셋을 학습하는 방법

 

2) 빅데이터와 머신 러닝

• 빅데이터란?
  • 말 그대로 과거와는 비교가 안되는 엄청난 규모의 데이터를 칭하는 용어

3) 통계학과 머신 러닝

• 통계학: 표본에서 모집단의 특성을 추론하는 것이 중점입니다.
  • 내가 수집한 데이터가 모집단을 얼마나 잘 반영하고 있는지
  • 데이터 셋이 작아도 통계적 유의성만 확인할 수 있으면 Okay!
  • 연역적 추론: 가설 설정 → 수학적 검증
• 머신 러닝: 수집된 데이터를 활용해 예측과 일반화 성능을 향상시키는 것이 중점입니다.
  • 다른 데이터가 들어왔을 때 기존 모델로 얼마나 비슷하게 예측/분류 할 수 있는지
  • 데이터는 많으면 많을 수록 Good!
  • 귀납적 추론: 데이터를 이용해 모델을 우선 돌려보고 결과를 해석
• 두 분야의 접근 방법이나 지향점이 다르다는 것이지 좋다 나쁘다를 이야기 하는 것은 아닙니다!

 

4) 데이터 분석과 머신 러닝

• 초반에 다소 추상적이었던 데이터 분석이라는 개념이 최근에는 점점 구체화 및 세분화되고 있습니다.
  • 데이터 분석가(Data Analyst)
    • 데이터를 활용하고 분석하여 의사 결정을 위한 인사이트를 도출
  • 데이터 엔지니어(Data Engineer)
    • 분석의 기초가 되는 데이터를 수집, 저장, 처리 및 데이터 파이프라인 관리
  • 데이터 과학자(Data Scientist)
    • 머신 러닝 등을 활용해서 데이터를 이용한 문제 해결에 집중
• 위 다이어그램에서 머신 러닝은 데이터 과학자와 데이터 엔지니어의 공통 요구 스킬입니다.
  • 해당 분야는 수학, 통계학과 프로그래밍 지식이 베이스로 깊이가 있습니다.
  • 인사이트 도출이 주가 되는 데이터 분석가에겐 필수가 아닐 수 있습니다.

 

✅ 데이터 분석가가 머신 러닝을 학습해야 하는 이유

 

1. 깊이 있는 분석이 가능합니다.
   • 통계적 분석만으로 확인하기 어려운 비선형적 패턴이나 복잡한 관계를 발견할 수도 있습니다.
2. 대규모 데이터 및 실시간 데이터를 분석할 수 있습니다.
   • 학습한 모델을 바탕으로 대규모 데이터 및 실시간 데이터를 활용해 예측, 분류 등의 작업을 할 수 있습니다.
3. 다양한 데이터 팀 구성원 및 유관 부서와 협업에 용이합니다.
   • 머신 러닝에 대한 이해를 바탕으로 데이터 과학자, 엔지니어 및 유관 부서에 필요한 데이터와 모델을 요청할 수 있습니다.

 

(참고자료)

cs.cmu.edu/~tom/files/MachineLearningTomMitchell.pdf