ai-times

VIF 를 사용한 다중공선성의 진단과 판단기준

다중공선성을 판단하기 위해 VIF 가 가장 많이 사용된다. VIF 수식의 값이 10 이상 이면 해당 변수가 다중공선성이 존재하는 것으로 판단한다. (반대로, 1 에서 10 미만의 값이면 다중공선성이 별 문제가 되지 않는 것으로 판단한다. 참고로 VIF 값은 1에서 무한대의 값의 범위를 갖는다.)

다중공선성을 SPSS 프로그램을 사용하여 측정할 수 있다. 만약, SPSS 에서 다중공선성(VIF, Tolerance, CN) 을 계산하는 방법을 알고 싶다면 여기 를 클릭하면 설명을 볼 수 있다.

VIF 수식의 의미는 아래에 자세하게 설명하였다.
 
VIF 에 대한 설명

데이터의 다중공선성을 진단하는 방법 중 가장 많이 사용되고 있는 VIF 에 대해서 설명한다.

VIF 는 'Variation Inflation Factor' 의 줄임말이다.
한글로는 '분산 확대 인자' 또는 '분산 팽창 계수' 또는 '분산 팽창 요인' 등으로 불린다.

VIF_k 는 k 번째 변수의 다중공선성의 정도를 의미한다. 즉, VIF 는 입력 데이터 전체의 다중공선성 정도를 하나의 수치로 제시하는 것이 아니라, 각각의 입력 변수들을 대상으로 계산된다.

VIF_k 의 계산 방식을 설명하겠다.

설명에 앞서 먼저 입력 데이터의 구성을 아래와 같이 약속하자.
분석에 사용될 데이터가 입력변수 n개와 종속변수 1개로 구성된다고 하자. 총 변수는 n+1 이다.
이 데이터의 변수들은 모두 수치형(양적) 변수이어야 한다.

그럼, VIF_k 는 (여기서, 1<= k <= n 의 관계)
변수 k를 종속변수로 지정하고, 나머지 n-1 개의 입력변수를 입력변수로 지정하여 회귀분석을 수행한다.
즉, 이 회귀분석에서 종속변수 Y는 제외시킨다. 왜냐하면, 다중공선성은 입력변수들 간의 상관관계를 측정하는 것이기 때분이다.

위 수행된 회귀분석에서의 결정계수 R_j² 을 구한 후 아래의 수식으로 VIF_k 를 구한다.

VIF_k = 1 / (1 - R_j²)

VIF_k 는 k번째 변수의 VIF 값을 의미한다.

결정계수 R_j² 값은 0에서 1의 값을 가지므로 VIF 값은 1에서 무한대의 범위를 갖는다.
(1) 결정계수 R_j² 값이 0에 가깝다는 것은 입력변수 k가 다른 입력변수들과 상관성이 거의 없다는 것을 의미하고, (2) 결정계수 R_j² 값이 1에 가깝다는 것은 입력변수 k가 다른 입력변수들과 상관성, 즉 다중공선성이 크다는 것을 의미한다.

다시 얘기하면,
VIF 값이 1 에 가까울수록 다중공선성의 정도가 작은 것이며, 반대로 값이 커질수록 다중공선성의 정도가 큰 것을 의미한다.

값의 범위가 1에서 무한대이기 때문에, 어느정도 커야 다중공선성이 있다라고 판단할 것인가에 대한 기준값이 필요하다. 보통 VIF 값이 10 이상인 경우 해당 변수가 다중공선성이 있다고 판단한다.


생각해볼 문제.

항목1. VIF 수식은 회귀분석에만 사용될 수 있다. 즉, 수치형으로 구성된 데이터에 대해서만 적용가능하다. 결정트리 알고리즘에 적용하기 위한 데이터의 다중공선성 진단에는 적용할 수 없는가? 수치형 뿐 아니라 범주형도 섞여있는 데이터으므로 적용이 안되지 않는가?

특수문자 프로그램.zip

실행방법

특수문자.exe 를 실행하면 아래와 같이 단순한 화면이 보인다.
상단의 탭 구분을 눌러 한번에 자신이 원하는 특수문자를 찾을 수 있다.

원하는 코드를 더블클릭 하면 화면 하단 텍스트박스에 입력된다.
하단의 [복사] 버튼을 누른 후, 작업하던 프로그램에 와서 붙여넣기(Ctrl+V)를 실행하면 된다.

웨카(Weka) 프로그램을 소개합니다.

데이터마이닝 및 기계학습에서 오픈소스 및 공개 프로그램으로 유명한 웨카(Weka) 프로그램에 대해서 설명합니다. 아래의 3개의 주제로 글을 작성하여 <해당글>을 작성한 후 링크하였습니다.

(1)에서는 웨카 프로그램을 누가 만들었으며 어떻게 사용될 수 있는지 설명하고, (2)에서는 웨카 프로그램을 다운로드 받고 설치하고 실행하는 방법을 설명합니다. (3)에서는 웨카 프로그램을 사용하여 기본적으로 설치되는 IRIS 데이터를 가지고 의사결정트리 분류 분석을 수행하는 방법을 설명하였습니다.


[1] 웨카 프로그램 소개

[2] 웨카 프로그램 다운로드 및 설치

[3] 웨카 프로그램 간단히 다뤄보기 (분류, 의사결정 트리를 중심으로)

[4] 웨카 프로그램에서 군집 (Clustering) 분석 수행하기 (KMeans, EM 등)

웨카 프로그램 메뉴얼

(1) Weka Explorer Guide 문서 ExplorerGuide.pdf  (2) Weka Tutorial 문서 Tutorial.pdf (3) Weka Usage 발표자료 weka_usage.ppt

[교재] Weka를이용한DM학습(2008-10-14).hwp

패턴인식 소개

패턴인식이란 자동적으로 어떤 개체를 인식하는 기술을 의미합니다.
패턴을 인식한다? 말이 어렵게 들릴 수 있는데 예를 들어 설명해보겠습니다.

사람은 기본적으로 패턴을 인식할 수 있는 엄청난 능력을 가지고 있습니다.
종이에 흘겨 쓴 글자를 인식하여 그것이 '가' 인지 '거' 인지 (또 다른 글자인지) 구분(인식)할 수 있으며,
어떤 물체가 나타났을 때 사람인지 강아지인지 자동차인지 등을 구분(인식)할 수 있습니다.

패턴인식이란 프로그램이 또는 기계가 사람과 같이 인식하게 하여 특정 영역에 활용하는 연구 분야입니다. 예를 들어, 사람이 쓴 글자를 인식한다거나, 비디오에서 사람의 얼굴을 인식하거나 자동차의 번호판을 인식하는 것 등을 패턴인식의 대표적인 문제로 들 수 있습니다.

패턴인식은 인공지능을 위해 사용되는 필수적인 기술입니다. 우리가 기대하고 있는 인공지능 로봇은 사람을 알아봐야 하고 길을 찾아 걸을 수도 있으며, 우리가 부르면 들을 수 있고 어떤 명령을 하면 그 의미를 인식하여 수행해야 합니다.  즉, 시각적 인식, 청각적 인식 능력이 있어야 하겠지요.

이런 의미에서, 인공지능을 넓은 범주로 본다면 그 안에 속하는 하나의 세부 연구분야라고 볼 수 있습니다.

패턴인식 활용 예

(1) 무인 자동차
     자동 주행 자동차; 사람이 운전하지 않고 자동차 스스로 도로, 길을 인식하여 운행하도록 함.

     (DARPA Urban Challenge 2007 동영상)
     (Stanford University robot car 'Junior' 동영상)
     (DARPA Grand Challenge - Stanley Wins 동영상)

(2) 자동 주차 기능 
     주변 도로 및 공간을 인식하여 자동차가 자동적으로 주차할 수 있도록 한 예
     (비디오 보기)

(3) 문자인식(OCR) 
    아르미 라는 문자인식 프로그램, 네이버 웹 상의 문자 인식 서비스등이 있음. 
    (참고 블로그글 보기)


참고할 만한 자료들

[1] http://btlmkt.egloos.com/2421114
패턴인식에 대하여 소개하고 있는 블로그 글입니다.

[2] http://shinewithme.tistory.com/entry/인공지능의창시자가-말한다
인공지능의 역사, 앞으로의 방향에 대해서 도움을 주는 글입니다.  

[3] http://bacon.tistory.com/108
무인자동차 연구와 연관하여 인공지능 연구에 대한 전반적인 생각들을 담고 있는 블로그 글입니다.

[4] http://cafe.naver.com/opencv.cafe
컴퓨터비전 국내 최대 카페, 소스코드 등을 제공합니다.

[5] http://kernel-machines.org/
좌측 메뉴에서 [Software] 를 클릭하면 SVM 등의 소스코드를 받을 수 있습니다.

1. 다리 사이 볼 빼내기2
2. 사선 이동 헛다리 짚기 페인팅
3. 횡 이동 방향전환 페인팅2
4. 리프팅 페인팅1
5. 리프팅 페인팅2
6. 리프팅 페인팅3
7. 리프팅 페인팅4

1. 인사이드 트래핑
2. 아웃프론트 트래핑
3. 발등 트래핑
4. 발바닥 트래핑
5. 넓적다리 트래핑