ai-times

아래의 논문은 [다중공선성에 견고한 결정트리 연구]에 대한 참고 논문이다.

결정트리에서의 다중공선성의 영향과 해결책에 대한 기존 연구는 많지 않은 상황인데, 이 논문이 좋은 참고자료가 되었다. 이 논문에서는 다중공선성을 포함하여 4개의 특성이 결정트리에 미치는 영향을 실험을 통하여 검증하였다. 회귀분석에서 사용하는 다중공선성 해결방법이 결정트리에 동일하게 적용되지 않는 점을 보였다. (상관성이 높은 변수를 제거한다고 결과 모델이 더 좋아지지는 않았다.)

http://www.sciencedirect.com/science/journal/09574174검색어에 [Input Data for Decision Trees]를 입력검색

저널 : Expert Systems with Applications
상세 : 34권 (2008년) 1220-1226 페이지
자세히보기

 저자정보

저자 : Selwyn Piramuthu
대학 : Decision and Information Science University of Florida, Gainesville, FL 32611-7169, United States

 Input Data for Decision Trees

Data Mining has been successful in a wide variety of application areas for varied purposes. Data Mining itself is done using several different methods. Decision Trees are one of the popular methods that have been used for Data Mining purposes. Since process of constructing these decision trees assume no distributional patterns in the data (non-parametric), characteristics of the input data are usually no given much attention. 데이터마이닝은 다양한 응용분야에서 다양한 목적으로 성공적으로 사용되고 있다. 데이터마이닝은 여러가지 다른 분석 방법들을 사용하고 있다. 특히 결정트리는 데이터마이닝 분석에서 사용되고 있는 인기있는 분석 방법 중의 하나이다.  결정트리를 생성하는 과정은 데이터의 분포에 대한 가정을 하지 않기 때문에 (즉, 비모수 분석이기 때문에) 입력 데이터의 특성에는 보통 주의를 기울이지 않는다.

We consider some characteristics of input data and their effect on the learning performance of decision trees. Preliminary results indicates that the performance of decision trees can be improved with minor modifications of input data. 본 연구에서는 입력 데이터의 몇 가지 특성들을 고려하고 이 특성들이 결정트리의 학습 성능에 어떠한 영향을 미치는지를 고려한다. 기존 연구의 결과에서는 결정트리의 성능이 약간의 입력 데이터의 수정을 통하여 향상될 수 있음을 보여준다.

* preliminary : http://endic.naver.com/endic.nhn?docid=896810&rd=s   준비의, 시초의  

Data Mining has been successful in a wide variety of application areas, including marketing, for varied purposes (Adomavicius & Tuzhinlin, 2001; Kushmerick, 1999; van der Putten, 1999; Shaw, Subramaniam, Tan, & Welge, 2001; Thearling, 1999). Data Mining itself is done using several different methods, depending on the type of data as well as the purpose of Data Mining (Ansari, Kohavi, Mason & Zheng, 2000; Cooley & Tan, 2000). For example, if the purpose is classification using real data, feed-forward neural networks might be appropriate (Ragavan & Piramuth, 1991). Decision trees might be appropriate if the purpose is classification using nominal data (Quinlan, 1993). Further, if the purpose is to identify associations in data, association rules might be appropriate (Brijs, Swinnen, Vanhoof, & Wets, 1999).
데이터마이닝은 다양한 목적으로 마케팅을 포함한 여러 분야에서 널리 성공적으로 사용되어지고 있다. 데이터마이닝은 분석을 수행하는 목적과 데이터의 종류에 따라서 여러가지 다른 방법들을 사용하여 수행된다. 예를 들어, 수치형 데이터를 사용한 분류가 목적이라면, 신경망 알고리즘이 적합할 것이다. 결정트리는 범주형 데이터에 대한 분류를 목적으로 하는 경우에 적합하다. 더 나아가, 데이터의 연관성을 규명하는 것이 목적이라면 [연관규칙탐사 분석] 이 적합할 것이다.

Decision Trees are one of the popular methods that have been used for Data Mining purporses. Decision trees can be constructed using a variety of methods. For example, C4.5(Quinlan, 1993) uses information-theoretic measures and CART (Breiman, Friedman, Olshen, & Stone, 1984) uses statistical methods.
결정트리는 데이터마이닝 목적에서 인기있는 분석 방법 중의 하나이다. 결정트리는 다양한 방법들을 사용하여 생성될 수 있다. 예를 들어, 1993년 Quinlan에 의해 제안된 C4.5 알고리즘은 정보이론 측정법을 사용하고, 1984년 Breiman 등에 의해 제안된 CART 알고리즘은 통계적인 방법들을 사용한다.

The usefulness as well as classification and computional performance of Data Mining frameworks incorporating decision trees can be improved by (1) appropriate preprocessing of input data, (2) fine-tuning the decision tree algorithm itself, and (3) better interpretation of output. There have been several studies that have addressed each of these scenarios.
결정트리를 포함한 데이터마이닝 프레임워크에서 분류 및 계산 성능 뿐 아니라 유용성 등은 다음의 여러가지 방법들에 의해 개선될 수 있다. 아래의 각 시나리오를 주제로 하는 다양한 연구들이 이루어지고 있다.

(1) 입력데이터에 대한 적절한 전처리
(2) 결정트리 알고리즘 자체를 개선
(3) 분석 결과를 해석하는 방법의 개선

Input data can be preprocessed (1) to reduce the complexity of data for ease of learning, and(2) to reduce effects due to unwanted characteristics of data.
입력 데이터는 다음의 방법들을 전처리될 수 있다.
(1) 학습과정의 편리화를 위해, 데이터의 복잡도를 감소하는 것.
(2) 원하지 않는 데이터의 특성에 의한 효과를 감소시키는 것.

The former includes such techniques as feature selection and feature construction as well as other data modifications (see, for example, Brijs & Vanhoof, 1998; Kohavi, 1995; Ragavan & Piramuthu, 1991). The latter includes removal of noisy, redundant, and irrelavant data used as input to decision tree learning.
전자(1)는 변수의 선택, 변수의 생성 기술 그리고 그 외에 데이터를 변경하는 방법들을 포함한다. 후자(2)는 결정트리 학습을 위하여 노이즈 및 중복되었거나 부적합한 데이터를 제거하는 기술이 포함된다.  

We consider some characteristics of input data and its effect on the learning performance of decision trees. Specifically, we consider the effects on non-linearity, outliers, heteroschedaticity, and multicollinearity in data. These have been shown to have significant effects on regression analysis. However, there has not  been any published study that deals with these characteristics and their effects on the learning performance of decision trees. Using a few small data sets that are available over the Internet, we consider each of these characteristics and compare their effects on regression analysis as well as decision trees.
본 연구에서는 입력 데이터의 몇 가지 특성들과 그 특성들이 결정트리의 학습 성능에 미치는 영향에 대해서 고려한다. 특별히, 비선형성, 이상치, 등분산성, 다중공선성 특성에 대해서 고려할 것이다. 이들 특성들은 회귀분석에서 상당한 영향을 주는 특성들로 밝혀져있다.  그러나 이들 특성들이 결정트리의 학습 성능에는 어떠한 영향을 미치는 지에 대해 발표된 연구는 거의 없다. 본 연구에서는 인터넷에서 얻을 수 있는 몇개의 작은 데이터셋을 사용하여 언급한 특성들을 고려하고 결정트리에서 이들 특성들의 영향을 비교할 것이다. (?)  

The result from regression analysis are from the Internet. The contribution of this paper is in studying the effects of these characteristics on decision trees, specially See-5 (2001). Preliminary results suggest that the performance of decision trees can be improved with minor modification of input data.
회귀분석에서의 결과는 인터넷을 통해 얻었다. 본 연구의 다루는 내용은 결정트리(특히, See-5)에서 이들 특성들의 효과를 연구하는 것이다. 선행연구의 결과는 입력 데이터의 약간의 수정을 통하여 결정트리의 성능이 향상될 수 있다는 것을 보여준다.    

The rest of the paper is organized as follows : Evaluation of some input data characteristics and their effects on the learning performance of decision trees is provided in the next section. Experimental results are also included in Section 2. Section 3 concludes the paper with a brief discussion of the results from this study and their implications as well as future extensions to this study. 본 논문의 나머지 부분은 다음과 같이 구성되었다. 다음 장(2장)에서는 몇 개의 입력 데이터의 특성과 이들의 결정트리 학습 성능에 대한 효과를 평가할 것이다. 2장은 실험의 결과 또한 포함하고 있다. 3장에서는 본 연구의 결과에 대한 간단한 토의내용과 향후 연구에 대해서 제시한다.  

1장 정리

본 논문의 1장에서는 데이터마이닝 및 결정트리에 대한 개략적인 설명을 하고 있다. 다음의 4가지 데이터의 특성이 회귀분석 뿐 아니라 결정트리에도 영향을 미치는 것을 언급하고 있다.

(1) 비선형성 (2) 이상치 (3) 등분산성 (4) 다중공선성

이들 특성들이

Traditional statistical regression analysis assumes certian distribution (e.g., Gaussian) of input data, as well as other characteristics of data such as the data being independent and identically distributed.
전통적인 통계학의 회귀분석 기법은 특정한 입력 데이터 분포(예를들어, 가우시안 분포)를 가정하고 있다.

In most real world data, some of these assumtions are often violated. And, there are several means to at least partially rectify some of the consequences that arise from these violations. We consider a few of these situations: non-linearity in the data, the presence of outliers in the data, the presence of heteroschedacity in the data, and the presence of multicolliearity in the data. The data sets used in this study are known to have these charateristics. The following subsections address each of these scenarios in turn. We use See-5 as the decision tree generator throughout this study.
그 외에도 변수들의 독립성, 균등분포 등의 데이터 특성들을 가정한다. 그러나 대부분의 실 세계의 데이터에서는 이러한 가정들은 위배된다. 그리고, 이러한 위배를 통해 발생되는 결과(문제)들을 수정하기 위한 여러가지 방법들이 존재한다. 본 연구에서는 이들 상황 중 다음의 4가지를 고려한다. 4가지는 입력데이터의 비선형성, 이상치데이터, 등분산성, 다중공선성 이다. 본 연구에서 사용한 데이터셋은 이들 특성들을 갖는 것으로 알려져있다. 본 장에 나머지 부분에서는 차례대로 이들 시나리오의 각각에 대하여 해결책을 다루고 있다.
본 연구에서는 See-5 결정트리를 사용할 것이다.

* identially distributed : 동일하게 분포됨 (균등분포)
* rectify : 수정하다. 조정하다.
* address : 다루다. 처리하다. 초점을 맞추다.

Non-linearity is a problem in linear regression simply because it is hard to fit a linear model on a non-linear data. Therefore, non-linear transformations are made to the data before runing regressions on these data. We consider the effects of non-linear data on decision trees both before and after the appropriate data transformations are made. 비선형성은 선형 회귀분석에서 나타나는 단순한 문제로써, 비선형 데이터를 선형 모델을 적합 시키기 어렵기 때문에 발생한다. 그러므로, 이 데이터를 회귀분석에 수행하기에 앞서 먼저 비선형 변형을 수행한다. 본 연구에서는 비선형 데이터에 대해 변형을 수행하기 전과 후 모두에 대하여 결정트리에 미치는 영향을 고려한다.

This data set contains four variables - the independent variables x1, x2, and x3 and the dependent variable y. Result using ordinary least squares(OLS) regression to predict y using x1, x2, and x3 are provided below. 이 데이터셋은 [x1, x2, x3]의 3개의 독립변수와 종속변수 y의 4개의 변수를 포함하고 있다. 결과는 OLS 회귀분석을 사용하여 x1, x2, x3를 사용하여 y를 예측한 회귀분석의 결과는 아래와 같다.  

The presence of higher order trend effects are indentified to be present in the data using the omitted varable test(ovtest with the rhs option in the stastistical analysis software Stata).
제거된 변수 실험을 통하여 높은 차수의 경향 효과가 존재할 때 이 존재할 때 변수를 제거하는 ...

Higher order trend effects are also present. On inspection of scatter plots of the data, the presence of non-linear trend patterns in the data in the variable x2 is confirmed. We substitute x2 with its centered (x2cent) value (i.e., substract its mean from every value) and the square (x2centsq) of the centered value.
높은 차수 경향 효과는 역시 존재한다. 데이터를 스케터 좌표에 표시해보면, 변수 x2 가 선형의 특성을 갖지 않는 것으로 보여진다. 우리는 x2를 x2cent 라는 변수와 x2centsq 라는 변수로 교체한다. x2cent 는 각 변수의 값에서 평균값을 뺀 값이고, x2centsq 변수는 중심값(centered value)의 제곱이다.    

The results from this regression are provoided below:
On further testing for higher order terms, the result turns out to be negative. Here, by including the squared term, it is shown that the new term is indeed statistically significant. The resulting model also fits the data better as shown by the increase in the R^2 value.
이 회귀분석의 결과를 아래에 제시하였다. 더 높은 차수에 대한 추가적인 실험에서 그 결과는 부정적인 것으로 밝혀졌다. 여기서, 제곱 항을 포함함으로, 새로운 항은 통계적으로 의미있다는 것을 보일 수 있었다. 또한 결과 모델은 R^2 값이 향상된 것을 볼 때 데이터에 더욱 잘 적합화된 것을 알 수 있다. 

Now, let us consider the same two sets of data, both before and after incorporating the squared term, and evaluate its effects on the performance of decision tree learned. We use 10-fold cross-validation in See-5 to reduce any bias due to sample selection. Both the mean values and the standard deviation values (in parentheses) are provoided for the resulting decision trees.  여기서 우리는 동일한 두 데이터를 고려하였다. 제곱 항을 추가하기 전과 후에 대해서, 학습된 결정트리의 성능에 어떠한 영향을 미치는 지를 평가하였다. 이 실험에서 실험 데이터 샘플을 선택하기 위하여 10-fold 교차검증의 방법으로 See-5 를 수행하였다. 평균이나 표준편차 값은 결정트리를 생성할 때 모두 사용하였다.  

Here (Table1), the addition of the two transformed x2 variables has resulted in a small reduction in the size of the decision trees and a significant decrease in the prediction error. The prediction error is the classification error on unseen (during generation of decision trees) examples.
표1 에서, 변형된 x2를 변형하여 추가한 방법이 결정트리의 크기를 축소하고 예측 에러를 감소시킨 결과를 가져온 것을 볼 수 있다. 예측 에러는 결정트리를 생성할 때 사용하지 않고 별도로 분리해두었던 테스트용 데이터에 대한 분류 에러이다.

Data where the independent variables are highly correlated is said to have multicollinearity. In regerssion analysis, multicollinearity is a problem when we are interested in the exact values of the coefficients of the independent valiables. 데이터의 종속변수들 간에 높은 상관관계가 존재할 때, 이 데이터에 대하여 다중공선성을 갖는다고 말한다. 회귀분석에서, 우리가 독립변수들의 회귀계수의 정확한 값에 관심을 가지고 있을 때 다중공선성이 문제가 된다.

When multicollinearity is present, this is not possible. Multicollinearity is identified by (1) the presence of high pairwise correlation among independent variables, (2) a high R^2 value with low t-statistics, and (3) the coefficients change when variables are added and dropped from the model.
다중공선성이 존재할 경우, 이것(회귀계수를 통해 해당 속성의 중요성을 찾는것)은 가능하지 않다. 다중공선성은 다음의 방법으로 확인될 수 있다.

(1) 독립변수들 사이에 두 변수들 간에 높은 상관성이 존재할 경우.
(2) R^2 값은 높은데 t-검정 값은 낮은 경우
(3) 모델에 변수들을 추가하거나 제거할 때 회귀계수의 변동이 크게 나타나는 경우

Multicollinearity is not a problem when the only poupose of regerssion analysis is forecasting. However, if the anlysis is to determine and evaluate the coefficients, multicollinearity is a problem.
회귀분석의 목적이 예측일 경우 다중공선성을 문제가 되지 않는다. 그러나 회귀계수의 값을 선정하고 평가하고자 할 때 다중공선성은 문제가 된다.

One of the ways to alleviate this problem is to drop the variable with highest pari-wise correlation values among the independent variables. We consider the effects of multicollinearity on decision trees both before and after the problem has been alleviated in the input data.
이 문제를 완화하는 하나의 방법은 서로 간에 상관성이 높은 독립 변수들 중에서 하나의 변수를 제거하는 것이다. 우리는 입력데이터에서 완화되기 전과 후에 대해서 결정트리를 생성할 때 다중공선성이 미치는 영향에 대해서 고려하고자 한다.

* alleviate : 덜다, 완화하다, 경감하다, 편하게 하다.

This data set contains five variables - the independent variables x1, x2, x3, and x4 and the dependent variable y. Result using OLS regerssion to predict y using x1, x2, x3, and x4 are provoided below.
이 데이터는 (x1, x2, x3, x4) 4개의 독립변수와 종속변수 y의 다섯 개의 변수로 구성되어 있다. 4개의 독립변수를 사용하여 y를 예측한 OLS 회귀분석의 결과를 아래에 제시하였다. 

Here, the R^2 value is significant while the t-statistics are not. We then consider the pair-wise correlations among the independent variables. The resulting matrix is given below:
여기서, R^2 값은 유의미하지만, t-검정값은 그렇지 않다. 우리는 독립 변수들 간의 (두 변수들 간의 쌍으로) 상관성을 고려하였다. 결과는 아래의 매트릭스에 제시하였다.

Clearly, x4 is highly correlated with the rest of the independent variables. This variable is then removed from the data. The result form the OLS regression run without x4 is given below: Here, all the varibales turn out to be significant.
명백하게, x4 는 다른 나머지 독립변수들(x1,x2,x3)와 높은 상관관계를 갖는 것을 볼 수 있다. 이 변수(x4)를 데이터에서 제거하였다. 제거한 후의 데이터를 OLS 회귀분석 수행한 결과를 아래에 제시하였다. 여기서, 모든 변수들이 유의미한 것으로 판명되었다.

Now, let us consider the same two of data, both before and after removing x4 form the data, and evaluate its effects on the performance of decision tree learned. Again, we use 10-fold cross-validation in See-5 to reduce any bias due to sample selection.
이제, x4 변수를 제거하기 전과 제거한 후 모두에 대하여 결정트리를 학습할 때 미치는 영향에 대해서 평가해보았다. 이전 실험과 같이 변수 선택으로 인한 편향(bias)를 제거하기 위하여 10-접기 교차검정 방법으로 See-5 분석을 수행하였다.  

Here (Table4), the transformation of the dependent varibale has resulted in a significant in the size of the decision trees and a significant increase in the prediction error. Here, removal of the variable does not seem to help the performance of decision trees.
표4 에서, 독립변수들의 변환은 결정트리의 크기를 증가시키고 예측 에러를 증가시킨다는 것을 보여준다. 이 실험의 결과는, 변수를 제거하는 것은 결정트리의 성능을 향상시키는데 도움을 주지 못한다는 것을 보여준다.  

Even though decision trees constructed using information-theoretic measures are considered non-parametic, the distribution of data does influence the classification performance of these decision trees. Preliminary results indecate that the performance of decision trees can be improved by considering the effects due to non-linearity, outliers, heteroschedacity, and multicollinearity in input data as well as data reduction.
정보이론 측정법을 사용하여 생성되는 결정트리 비모수적으로 고려됨에도 불구하고, 데이터의 분포는 결정트리를 사용한 분류의 성능에 영향을 미친다. 기존 연구에서는 입력데이터를 차원축소하는 등의 방법으로 비선형성, oulier, 비-등분산성, 다중공선성에 의한 영향을 고려하면 결정트리의 성능을 향상시킬 수 있다고 보고 있다.

Both non-linearity and the presence of outliers did affect the classification performance of decision trees. The Presence of heteroschedaticity did not affect the classfication performance of decision trees significantly. The attempt to remove multicollineartiy resulted in poor classification performance. Data reduction resulted in improved performance both in terms of the resulting tree-size and classification.
비선형성과 이상치의 존재는 결정트리의 분류 성능에 영향을 줬다. 반면, 등분산성의 존재는 결정트리의 분류 선능에 영향을 주지 않았다. 그리고 다중공선성의 존재는 결정트리에서 신경을 쓰지 않아도 된다. 다중공선성을 제거하고자하는 시도는 오히려 분류 성능을 낮추는 결과를 낳았다. 데이터 축소는 나무의 크기 및 분류의 측면에서 성능을 향상시키는 효과가 있었다.  
(회귀분석에서는 높은 상관성이 있는 변수 중 하나를 제거하여 해결하지만, 결정트리의 경우는 그것이 해결책이 되지 않는것으로 보여진다. 최소한 이 실험만으로 볼때는 그렇다.)

We are currently in the process of evaluating the results we have thus far using larger and more data sets. We are also in the process of studying why these data chacteristics affect the classification performance of decision trees. Also, in this study, we were only interested in the size of the decision tree and their classification accuracy. The computational cost of this process is also important, and that is left as an exercise of a future study. In addition to the characteristics presented in this paper, we are also evaluating other data characteristics including non-independent and non-normality of data.
우리는 더 크고 많은 데이터셋을 사용하여 얻은 실험 결과들을 평가하는 과정 중에 있다. 또한 제시한 데이터의 특성들이 왜 결정트리의 분류 성능에 영향을 주는지에 대해서 연구하는 과정 중에 있다. 본 연구에서 우리는 나무의 크기 및 분류 정확도에 대해서만 관심을 가졌었다. 이러한 작업의 계산 비용 또한 중요하며, 이 문제는 향후 연구에서 진행하고자 한다. 추가로 본 논문에서 제시한 데이터의 특성들 외에 결정트리 성능에 영향을 미치는 특성들(비독립성, non-normality를 포함한)도 평가를 하고 있다.  

We presented one possible means to improve the classification performance of decision trees. This, along with other pre-processing methods (such as feature selection and feature construction), methods for fine-tuning decision trees, and those that enhance interpretability of results, would help improve the overall performance of these decision support tools incorporating decision trees.
우리는 결정트리의 분류 성능을 향상 시키기 위한 방법들을 제시하였다. 결정트리 분석에 변수선택, 변수생성등의 전처리 방법들 그리고 결과에 대한 해석력을 강화하는 방법들을 결합하다면 결정트리의 전반적인 성능을 향상시킬 수 있을 것이다.  

[1] Adomavicius, G., & Tuzhilin, A. (2001). Using data mining methods to build customer profiles.
     IEEE Computer (Februray), 74-82.

[2] Anderson, E. (1935). The Irises of the Gaspe Peninsula. Bulletin of the American Iris Society,
     59, 2-5.  

[3] Ansari, S., Kohavi, R., Mason, L., & Zheng, Z. (2000). Integrating E-commerce and data mining:
     architecture and challanges. WEB-KDD'2000 workshop on Web mining for E-commerce -
     challanges and opportunities, August.  

Facing Multicollinearity in Data Mining

In regression problems, when the form of the relationship between a dependent variable and multiple predictors is not a priori, non-prarametric model are often applied in order to extract knowledge from data and to adaptively build a regression function.
회귀분석의 문제에서, 독립 변수과 (여러 개의) 예측 변수들  간에 (상관)관계의 형태(특성)이 가정되지 않는다면, 입력 데이터로 부터 지식을 추출하고 회귀 함수를 생성하기 위하여 비모두 분석 기법이 주로 사용된다.

(고려할 사항들 :
비모수 모델이란? 변수들 간의 분포에 대한 가정을 필요로 하지 않는 분석 기법을 의미한다.
is not a priori 의 의미는? 변수들 간의 관계가 가정이 되지 않는 상황을 의미한다.
predictors 는 예측자로서 입력변수를 의미한다.)

One of aim of data mining is to search for the best final model. Usually, model selection is based on the sum of squares error (SSE) or related indexs like BIC/SBC or AIC, and mathemathical convenience, regardless of the problem at hand.
데이터마이닝을 수행하는 하나의 목적은 최적의 모델을 찾는 것이다. 회귀 분석의 모델 선택에서 일반적으로는(주로) 수학적인(계산상의) 편의를 위해서 문제를 무시하고 최소제곱합(SSE) 방법 또는 그와 유사한 BIC/SBC 또는 AIC 인덱스를 사용한다.

When the predictors are highly collinear, however, nonliear models like General Additive Models (GAMs), and Multivariance Adaptive Regression Spline (MARS) based on the backfitting algorithms (a stepwise procedure of systematically adding and removing basis functions) may present great instability and arbitrainess in the selection process, unlike linear models in which the original coordinate system is a meaningful one.
그러나, 예측 변수들 간이 서로 높은 선형관계가 있을 때, GAMs 그리고 역적합 알고리즘(체계적으로 Bias 함수를 추가하거나 제거하는 순차적인 방식을 사용하는 방식)에 기반한 MARS 등의 비선형 모델 들은 불안정성, 선택 과정에서의 임의적인 특성을 나타내는 문제가 있다. (선형 모델들은 체계적인 시스템이 의미있는 것이다.) 

For this reason, even if these tools produce simpler and more understandable models of a response to an arbitrary function of as set of predictor variables, projection methods like Projection Pursuit Regression(PPR), the Multi-Layer Perception(MLP) and Radial Basis Function Networks(RBFNs) or Selection methods baed on a differenct subset selection, like classification and Regression Tree(CART), may appear more suited when the data matrix shows high collinearity.
이러한 이유 때문에, 선형 모델들이 더 단순하고 이해하기 쉬운 결과를 부여줌에도 불구하고, CART와 같은 모수적 분석 기법에 보다 PPR/ MLP/ RBFNs 등의 비모수적 방법들이 다중공선성을 갖는 데이터에 대하여 더 적합한 결과를 제시하게 된다.   

It is the goal of this paper to understand how nonlinear methods based on the backfitting algorithm are affected by multicollinearity and to show that projection methods manage better with this problem.
이 논문의 목표는 (역적합 알고리즘에 기반한) 비선형 모델들이 다중공선성에 의해서 어떠한 영향을 받는지 이해하고, 프로젝션 방법들이 이 문제에 더 좋은 결과를 보이는 것을 제시하는 것이다.

The structure of the paper is as follows. Section 2 briefly reviews the backfitting algorithms in GAMs and MARS. Section 3 focues on a numerical example in order to understancd futhur how these methods work and to compare them with other selection and projection tools. Section 4 provides concluding remarks.
본 논문의 구성는 다음과 같다. 2장에서는 GAMs, MARS 역적합 알고리즘에 대해서 간략하게 리뷰한다. 3장에서는 이 방법들이 어떻게 동작하는지 이해하고 다른 방법들과 비교하기 위하여 수치적인 예제를 제시한다. 4장에서는 결론을 맺는다.   

1장 정리

본 연구에서는 다중공선성 특성을 갖는 데이터에 대해서는 비모수 분석 기법이 적합함을 제시한다.모수적 분석 기법은 데이터의 입력 변수들 간에 분포 특성을 가정하는 분석 기법이다. (변수들 간에 선형성이 없다는 것을 가정으로 한다.) 

반면, 비모수적 분석 방법은 데이터의 입력 변수들 간의 선형성 등의 특성에 영향을 받지 않는 분석 기법이다. 따라서 다중공선성을 갖는 데이터 분석에 적합할 수 있다. 

모수적방법 : CART, (SSE)를 사용하는 Regression 분석 등
비모수적방법 : MLP, PPR, RBNFs 등

In the following we briefly review the backfiiting algorithm in GAMs and MARS. We assume that the readers are familar with these models and, due to space limitation, we do not describe them but we refer the readers to descriptions in Ripley (1996, camp. IV).
이 장에서는 GAMs와 MARS이라는역적합 알고리즘에 대해서 간단하게 리뷰한다. 지면이 충분하지 못하므로 독자들이 이러한 모델(분석방법들)에 대하여 익숙하다고 가정하고 알고리즘들을 자세하게 설명하지는 않는다. 자세한 설명이 필요한 독자들은 Ripley의 논문을 참고하기 바란다.

The backfitting algorithm (Hastie and Tibshirani, 1990) adaptively builds as set of basis functions by forward selection. This technique works in the origainal coordinate system and finds linear and nonlinear combinations of these coordinates.
역적합 알고리즘(1990년 제안됨)은 전방향 선택법에 의하여 bias 함수들을 적응적으로 생성한다. 이 기술은 원래의 결합 시스템에서 작동하며, 선형 그리고 비선형의 결합들의 조합을 찾는다.

In GAMs the forward procedure holds all but on of the additive terms constant, removes that term and fits a smooth term to the residuals. The Fitting is applied a variable at a time until the process converges. GAMs 알고리즘에서는 전방향 절차를 수행하여 모든 변수와 상수를 선택한다. 변수들을 제거하면서 남은 오차에 term들을 부드럽게 적합시킨다. 수렴의 과정을 거치면서 한 번에 한 변수씩 적합화가 수행된다.  

It is this procedure that makes GAMs vulnerable to collinearites between the dependent and the independent variables. If the first variables are correlated with the response, and the sooth term is flexible enough, then the partial residuals result in small  values and the algorithm may converge before processing all variables.
수행되는 프로시져(절차)는 독립변수와 종속변수 간의 상관성에 취약하게 한다. 만약, 첫번째 변수가 반응과 상관이 있고, (부드러운) term이 충분히 유연하다면,  나머지 오차부분은 작은 변수들

So the final model depend on the order in which varibables are presented. In a less extreme case, all predictors are selected as basis functions, but the degree of freedom of each basis function may arbitrarily depend on the order of the variables. 
그래서 최종적인 모델은 변수가 제시되는 순서에 의존적이다. 아주 극단적인 경우에는, 모든 설명변수가 기본적인 함수로 선택도고, 각각의 기본 함수의 자유도는 입력되는 순서에 따라 의존적으로 임의로 변하게 된다. 

In MARS a tree structure is present and interaction between variables is explicitly allowed. In forward procedure is somehow different form GAMs. For each predictor and every possible value of these predictors (knot), MARS divides the data into two parts. one on either side of the knot. MARS selects the knot and variable pair which give the best fit, and to each part it fits the response using a pair of linear functions.
MARS에서는 나무 구조가 존재하고 변수들의 상호작용이 명시적으로 허용된다. 전방향 절차는 아무튼 GAMs와 다르다. 각 입력변수들과 모든 가능한 분할 값(knot)들에 대해서, MARS는 데이터들을 2개의 부분으로 구분한다. 각 데이터는 하나의 knot에 존재하게 된다. MARS는 knot와 변수의 쌍을 선택한다.

If two variables are correlated, at same stage of the tree construction MARS may be forced to choose between placing a knot on one of these predictors. If both predictors result in roughly the same penalized residual sum of the squares, then the selection may be somehow arbitrarily and in the final set of basis function only one of these variables may be represented.
만약, 두개의 변수과 상관관계가 있다면, 나무를 생성하는 동일한 단계에서 MARS는 2개의 변수(예측자) 중에서 하나의 구분기준(knot)을 선택하게 된다. 만약, 두 개의 (예측)변수가 SSE(오차의 총합)을 감소시키는데 대략 비슷한 결과를 낸다면, 두 변수 중 한 변수가 임의로 선택이 되고 기본적인 함수들의 최종적인 모델은 두 변수 중 단지 하나의 변수만을 표현하게 되는 문제가 발생한다.  
(즉, 두 변수가 모두 중요한 데 그중 하나의 변수만 임의적으로 선택되고, 하나는 표현되지 않는다.)  

In an extrme case it may happen that the choice of one varibale at the current step may have a great impact on the choice of all furthur variables and knot selections and thus on the final model as well. The backward step, which follows the forward phase and aims to produce a model with comparable performance but fewer terms, is also vulerable to multicollinearity, escpecially in the additive case (when no interaction is allowed) since over-fitting is avoided by reducing the number of knots rather then via a smoothness penalty.

극단적인 경우, 현 단계에서의 한 변수의 선택은 그 다음 단계에서의 변수 및 분리기준(knot)의 선택에 있어서 매우 큰 영향을 미치게 되고, 최종 모델에도 큰 영향을 미치게 된다. 역방향 단계도 마찬가지로 (역방향 단계에는 전방향 단단계의 생성 순서를 따르며, 좀 더 적은 항들로 구성되며 좀 더 향상된 성능을 나타내는 모델을 생성한다.) 다중공선성에 취약하다. 특히 부가적인 경우 [상호작용이 허용되지 않는 경우]에 그렇다. 왜냐하면 부드러움(가지치기)의 불이익을 통해서 분리기준(knot)의 개수를 감소하여 과적합의 문제를 피하기 때문이다.

* vulnerable : 상처받기 쉬운, 공격받기 쉬운 http://endic.naver.com/endic.nhn?docid=1257640
* fewer terms : 보다 적은 (소수의) 항들
* via : 경유하여  

In conclusion, MARS and GAMs are affected by multicollinearity in that they select the basis function in some arbitrarily manner, since this choice has no impact on the SSE when a set of variables is highly correlated with each others and with the response. In Addition, in many applications a subset selection of the predictors may not be the optimal choice since a weighted average of the input variables may be preferable to the single one with the highest correlation with the response (for example, in quality control, a weighted average of sensors may be preferable to a singe one).

결론을 내리자면, 평가함수가 임의의 방식으로 변수를 선택하기 때문에 MARS 및 GAMs 알고리즘은 다중공선성의 영향을 받게 된다. 왜냐하면, 두 변수가 서로 높은 상관성이 있는 경우 그 중 어떤 변수를 선택하든 SSE(오차총합)에는 영향이 (거의) 없기 때문이다. 추가로, (예측) 변수들을 선택하는 많은 방법들(응용 프로그램들)은 최적의 답(모델)을 제시해주 못할 수 있게 된다. 왜냐하면 입력변수들에 대한 가중치 평균이 종속변수와 상관성이 높은 하나의 변수보다 선호되기 문이다. (예를 들어, 품질 조절에서, 센서들의 가중치 평균이 하나의 센서(?)보다 선호될 수 있다.)

2장 정리

본 장에서는 MARS 및 GAMs 라는 결정트리 알고리즘이 다중공선성에 영향을 받는 다는 것을 설명하였다. 왜 문제가 되는지에 대해서 대체로 잘 서술하였고, 참고자료로서 도움이 된다.

맨 아래 부분의 가중치 합이 하나 보다 선호된다는 부분은 잘 이해가 되지 않는다.

Non-linear selection models based on the backfitting algorithm are often liked better than non parametric projection methods, since they build simpler and more understandable models.
역적합 알고리즘에 기초한 비선형 선택 모델들은 비모수 방법들 보다 더 많이 사용된다. 왜냐하면 이 방법들이 더 간단하고 이해하기 좋은 모델을 생성해주기 때문이다. (즉, C4.5, CART등의 결정트리 알고리즘들이 MLP 신경망 방법보다 더 단순하고 이해하기 쉬운 결과를 제공해주기 때문에 많이 사용된다 라는 의미이다.)

However, they are affected by multicollinearity in that they select the knots placement in some arbitrarily manner, when this choice has not impact on the SSE. Hence, they may not be the optimal alternative in model building in presence of multicollinearity.
그러나 그 방법들은 분할지점의 선택이 SSE(오차총합)에 영향을 주지 않는 경우에는 분할지점(knot)을 임의의 방법으로 선택하게 되어 다중공선선의 영향을 받는다. 따라서, 그것은 다중공선성이 존재할 경우 모델을 생성하는 최적의 대체 답이 아닐 수 있다.

Nonparametric methods like PPR and MLP are shown to find the correct dimension of the projection space relevant for predicton. RBFNs are found to give rise to numerical problems using the gaussian transformation. With a non localized function, they are shown to indentify a projection space not far from the dimension of the relevant subspace.
PPT, MLP 와 같은 비모수 방법들은 예측에 있어서 비교적 올바른 차원을 찾아주는 것으로 보여진다. RBFNs 방법은 가우시안 변환을 사용하여 수치에서의 문제를 일으키는 것으로 알려졌다. 비지역화 함수를 사용하면, 그 방법들은 적절한 부분공간에서의 차원에서 멀지않은 투사 차원을 찾는 것으로 보여진다. (?)  

[1] Hastie T.J., Tibshirani L.J. (1990) Generalized Additive Models, Chapman, London.
[2] Naes T., Helland I.S.(1993) Relevant components in regression, Scandinavian Journal of 
      Statistics, 20, 239-250.
[3] Ripley B.D.(1996) Pattern Recognition and Neural Networks, Cambridge University Press, 
      Cambridge, UK.