2_3 데이터 탐색

EDA

• 데이터의 의미를 찾기 위해 통계, 시각화를 통해 파악
• EDA의 4가지 주제
  • 저항성의 강조 : 자료 변동에 민감하지 않음
  • 잔차 계산 : 값들이 주경향으로부터 얼마나 벗어나 있는지 확인하는 척도
  • 자료변수의 재표현 : 원래 변수를 적당한 척도로 변환
  • 그래프를 통한 현시성 : 시각화를 통하여 효율적으로 파악
    • ** 저잔재현 **

상관관계 분석

상관분석

• 두 변수 간의 선형적 관계가 존재를 파악하는 분석
  1. 단순 상관 : 두 변수
  2. 다중 상관 : 3개 이상
  3. 편상관관계 분석 : 제 3의 변수를 통제하여 2개 분석

상관분석 방법

• 피어슨 상관분석 : 양적 척도, 연속형 변수, 선형관계 크기 측정
• ** 스피어만 상관분석 ** : 서열 척도, 순서형 변수, 선형/비선형적 관계 나타냄 → 순서를 매길 수 있다면 스피어만임

기초통계량 추출 및 이해

• 중심 경향성 측면

  • 산술평균 : 일반적 평균
  • 기하평균 : 모든 값들을 곱하고 n 제곱근을 구함 (비율적 증가율)
  • 조화평균 : 역수의 산술평균을 구한 후, 다시 역수를 취하는 방식 (비율 계산)
  • 중앙값
  • 최빈값

• 분산 정도 측면

  • 범위
  • 분산
  • 표준편차
  • 사분위수
  • 변동계수 : 평균대비 표준편차의 비율

• 관계 측면

  • 공분산 : 두 확률변수의 상관정도

    • 공분산 = 0 : 상관이 전혀 없음
    • 공분산 > 0 : 양의 상관 관계 (+무한대)
    • 공분산 < 0 : 음의 상관 관계 (-무한대)
    • 최소, 최대 없어서 강약 판단 불가

  • 상관계수 : 상관정도를 -1 ~ 1 값으로 표현

    • 상관계수 = 1 : 정비례 관계
    • 상관계수 = 0 : 상관없음
    • 상관계수 = -1 : 반비례 관계

  • 공분산과 독립성의 관계

    • 두 변수가 독립이면 공분산은 0이지만, 공분산이 0이라고 두 변수가 독립이라고 할 수 는 없음

첨도 왜도

이미지만 봐도 충분

시공간 데이터 탐색

• 시공간 데이터

  • 공간적 정보에 시간의 흐름이 결합된 데이터
    • 시공간 패턴을 통한 예측
    • 지도를 통한 위치 정보
    • 지리공간의 격자 차트 결합
    • → ** 패지격 **

• 다변량 데이터 탐색

  • 목표 : 변수 간 관계, 패턴 분석, 이상치 탐색, 데이터 요약
  • 방법 : 상관관계분석, PCA, 다차원척도법, 다중선형회귀, 군집 분석 등

비정형 데이터 탐색

• 자연어 전처리
  • 토큰화 : 의미 있는 말뭉치로 문자를 나눔
  • 불용어 처리 : 조사, 접속사 등의 의미 없는 정보를 제거
  • 정규화 : 같은 의미 이면서 표현이 다른 단어 통합
  • 어간 추출 : 접사를 제거하여 기본 형태를 찾아내는 작업
  • 표제어 추출 : 사전에 기반하여 단어를 원형으로 변환 ** 한국어는 띄어쓰기가 일정하지 않고, 형태소 단위로 분리해야 되어 토큰화가 어려움 **