nglaura/koreascience-summarization huggingface dataset:
단순회귀와 다중회귀에서 회귀계수의 의미는 차이가 있고 회귀계수의 추정값은 같지 않을 뿐 아니라 그 부호가 서로 다른 경우도 발생한다. 회귀모형에서 설명변수의 상대적 기여도의 파악은 회귀분석의 수행의 중요한 부분이다. 표준화 회귀모형에서 표준화 회귀계수는 해당 설명변수를 제외한 나머지 설명변수의 값이 고정되어있는 상황에서 설명변수가 표준편차만큼 증가하였을 때 반응변수가 표준편차를 기준으로 얼마나 변화했는가로 해석할 수 있지만 표준화 회귀계수의 크기가 각 설명변수의 상대적 중요도를 나타내는 척도라고 할 수 없음은 잘 알려져 있다. 본 논문에서는 다중회귀에서 회귀계수의 추정량을 상관계수와 결정계수의 함수로 나타내고 이를 추가적인 설명력과 추가적인 결정계수의 관점에서 생각해 본다. 또한 다양한 산점도에서의 상관계수와 회귀계수 추정값의 관계를 알아보고 설명변수가 두 개인 경우에 구체적으로 적용해 본다.

In simple and multiple regression, there is a difference in the meaning of regression coefficients, and not only are the estimates of regression coefficients different, but they also have different signs. Understanding the relative contribution of explanatory variables in a regression model is an important part of regression analysis. In a standardized regression model, the regression coefficient can be interpreted as the change in the response variable with respect to the standard deviation when the explanatory variable increases by the standard deviation in a situation where the values of the explanatory variables other than the corresponding explanatory variable are fixed. However, the size of the standardized regression coefficient is not a proper measure of the relative importance of each explanatory variable. In this paper, the estimator of the regression coefficient in multiple regression is expressed as a function of the correlation coefficient and the coefficient of determination. Furthermore, it is considered in terms of the effect of an additional explanatory variable and additional increase in the coefficient of determination. We also explore the relationship between estimates of regression coefficients and correlation coefficients in various plots. These results are specifically applied when there are two explanatory variables.

(게재일: 2021.08.31)
모의실험 결과를 보통 표나 그림으로 보고한다. 하지만 모의실험이 다양한 조건에서 실시되었고 실험조건마다 추정량의 성능 우위에 대한 결과가 다르면 표와 그림만으로 추정량의 성능을 비교하기가 어렵다. 또한 실행시간이 오래 걸리는 모의실험의 경우 모의실험 반복횟수를 크게 하기 어렵다. 회귀모형을 이용하여 모의실험 결과를 분석하면 보다 체계적이고 효과적으로 추정량의 성능을 비교할 수 있다. 이때 실험조건과 추정량에 따라 성능의 변동이 다를 수 있으므로 회귀모형에서 오차항의 이분산성을 허용해야 하며, 여러 개의 추정량을 동시에 비교해야 하므로 다중비교를 실시해야 한다. 모의실험 결과에 대한 분석이라는 맥락에서 이분산성과 다중비교에 대한 배경이론을 소개하고 예시를 통해 구체적 분석방법도 제시한다.

Simulation results for the comparison of estimators of interest are usually reported in tables or plots. However, if the simulations are conducted under various conditions for many estimators, the comparison can be difficult to be made with tables or plots. Furthermore, for algorithms that take a long time to run, the number of iterations of the simulation is costly to to be increased. The analysis of simulation results using regression models allows us to compare the estimators more systematically and effectively. Since variances in performance measures may vary depending on the simulation conditions and estimators, the heteroscedasticity of the error term should be allowed in the regression model. And multiple comparisons should be made because multiple estimators should be compared simultaneously. We introduce background theories of heteroscedasticity and multiple comparisons in the context of analyzing simulation results. We also present a concrete example.

(게재일: 2021.10.31)
제품의 수명을 유지시키는 것은 품질관리의 주요 목표 중 하나이다. 실제 공정에서는 시간 및 비용의 문제로 인해 모든 표본의 수명을 측정할 수 없는 경우가 많이 발생하기 때문에, 대부분 중도절단된 자료를 포함시켜 표본을 구성한다. 이 논문에서는 제1형의 우측중도절단된 수명 자료가 로그정규분포를 따르는 경우, 제품 수명의 평균을 모니터링하는 두 가지 누적합 관리도 절차를 제안한다. 하나는 우도비에 기초한 누적합 관리도이고, 다른 하나는 이항분포에 기초한 누적합 관리도 절차이다. 모의실험을 통해 평균런길이를 비교하는 방법으로 제안된 두 관리도 절차의 성능을 비교하였다. 모의실험 결과, 중도절단율이 낮은 경우, 형상모수값이 작은 경우, 평균의 감소 변화량이 큰 경우에는 우도비 누적합 관리도가 더 효율적이며, 반대로 중도절단율이 높은 경우, 형상모수값이 큰 경우, 평균의 감소 변화량이 적은 경우에는 이항 누적합 관리도가 더 효율적인 것으로 나타났다.

Maintaining the lifetime of a product is one of the objectives of quality control. In real processes, most samples are constructed with censored data because, in many situations, we cannot measure the lifetime of all samples due to time or cost problems. In this paper, we propose two cumulative sum (CUSUM) control charting procedures to monitor the mean of type I right-censored lognormal lifetime data. One of them is based on the likelihood ratio, and the other is based on the binomial distribution. Through simulations, we evaluate the performance of the two proposed procedures by comparing the average run length (ARL). The overall performance of the likelihood ratio CUSUM chart is better, especially this chart performs better when the censoring rate is low and the shape parameter value is small. Conversely, the binomial CUSUM chart is shown to perform better when the censoring rate is high, the shape parameter value is large, and the change in the mean is small.

(게재일: 2021.10.31)
지역별 인구의 분포에 영향을 미치는 요인의 파악은 국가의 사회, 경제, 문화적 발전 위한 정부의 인구정책 수립에 매우 중요하다. 본 연구에서는 2019년 인구주택 총조사 자료를 기반으로 대한민국 국토를 서울, 대도시, 기타지역의 세 지역으로 나누어 각 지역에서 소지역의 인구 크기에 영향을 미치는 요인들을 살펴 보았다. 인구 자료의 특징은 매우 비대칭적이며 이분산성을 가지므로 조건부 평균에 초점을 맞추는 일반적인 회귀모형 대신 분포에 대한 가정이 필요하지 않은 분위회귀모형을 사용하여 인구의 크기에 따라 변화하는 각 요인의 세부적인 영향을 살펴보았다. 분석결과 서울, 대도시, 기타지역에 따라 그리고 같은 지역 내에서도 세부 지역의 인구크기에 따라 요인의 영향이 매우 달라짐을 확인하였다. 이 결과들은 인구관련 변수들이 지역 마다 매우 이질적인 성질을 가지고 있으며 따라서 획일적인 인구정책이 아닌 지역 특성에 맞는 맞춤형 인구정책을 수립해야 할 필요성을 시사한다.

Identification of factors influencing regional population is critical for establishing government's population policies as well as for improving residents' social, economic and cultural well-being in the region. In this study we analysed the data from 2019 Population Housing Survey in Korea to identify the factors affecting the population size in each of the three regions: Seoul, metropolitan cities, and provincial regions. We applied a Bayesian quantile regression to account for asymmetry and heteroscedasticity of data. The analysis results showed that the effects of factors vary greatly between the three regions of Seoul, metropolitan cities, and provincial regions as well as between sub regions within the same region. These results suggest that population-related variables have very heterogeneous characteristics from region to region and therefore it is important to establish customized population policies that suit regional characteristics rather than uniform population policies that apply to every region.

(게재일: 2021.10.31)
빠르게 발전하고 있는 재생에너지 중 하나인 풍력에너지는 기후변화 대응에 맞추어 개발 및 투자가 이루어지고있다. 신재생에너지 정책과 발전소 설치가 추진됨에 따라 국내 풍력 보급이 점차 확대되어 수요를 정확히 예측하기 위한 시도들이 확대되고 있다. 본 논문에서는 전남지역과 경북지역의 풍력 발전량 예측을 위하여 시계열 기법인 ARIMA, ARIMAX 모형과 기계학습 모형인 SVR, Random Forest, XGBoost 모형들을 비교 분석하였다. 모형의 예측 결과를 비교하기 위한 지표로서 mean absolute error (MAE)와 mean absolute percentage error (MAPE)를 사용하였다. 2018년 1월 1일부터 2020년 10월 24일까지의 시간별 원 데이터를 차분한 후 모형을 훈련시켜 2020년 10월 25일부터 2020년 10월 31일까지의 168시간에 대한 풍력 발전량을 예측하였다. 모형의 예측력 비교 결과, Random Forest와 XGBoost 모형이 전남지역, 경북지역 순으로 가장 우수한 성능을 보였다. 향후 연구에서는 기계학습뿐 아니라 최근 활발한 연구가 이루어지는 데이터 마이닝 기법 기반의 풍력 발전량 예측을 시도할 것이다.

Wind energy is one of the rapidly developing renewable energies which is being developed and invested in response to climate change. As renewable energy policies and power plant installations are promoted, the supply of wind power in Korea is gradually expanding and attempts to accurately predict demand are expanding. In this paper, the ARIMA and ARIMAX models which are Time series techniques and the SVR, Random Forest and XGBoost models which are machine learning models were compared and analyzed to predict wind power generation in the Jeonnam and Gyeongbuk regions. Mean absolute error (MAE) and mean absolute percentage error (MAPE) were used as indicators to compare the predicted results of the model. After subtracting the hourly raw data from January 1, 2018 to October 24, 2020, the model was trained to predict wind power generation for 168 hours from October 25, 2020 to October 31, 2020. As a result of comparing the predictive power of the models, the Random Forest and XGBoost models showed the best performance in the order of Jeonnam and Gyeongbuk. In future research, we will try not only machine learning models but also forecasting wind power generation based on data mining techniques that have been actively researched recently.

(게재일: 2021.10.31)
본 연구에서는 여러가지 시계열 모형 중 평활법(가법계절지수, 승법계절지수), 계절 ARIMA 모형, ARARCH 그리고 AR-GARCH 회귀모형을 이용하여 최대 전력수요를 예측하는 방법을 연구하였다. 이 때 가중 평균모형으로 추세를 갖는 시계열 모형과 온도에 대한 회귀 모형을 적절한 가중치로 예측 정확도를 높이는 방법도 연구하였다. 결과적으로 AR-GARCH 회귀모형으로 예측하는 것이 가중 우수함을 보였다.

Through this study, we studied how to consider environment variables (such as temperatures, weekend, holiday) closely related to electricity demand, and how to consider the characteristics of Korea electricity demand. In order to conduct this study, Smoothing method, Seasonal ARIMA model and regression model with AR-GARCH errors are compared with mean absolute error criteria. The performance comparison results of the model showed that the predictive method using AR-GARCH error regression model with environment variables had the best predictive power.

(게재일: 2021.08.31)
도심지에서 발생하는 지반함몰의 위험도를 분석하고 예측 및 예방하기 위한 연구가 다양하게 진행되었다. 기존의 연구 중에 지하매설물의 밀도(즉, 대상 공간 주변 지중에 설치된 매설물의 공간적인 물량)와 지반함몰 발생의 상관성을 활용한 위험도 분석 연구는 미비하다. 본 논문에서는 GIS기반 공간정보 데이터를 활용하여 지하에 설치되어 있는 매설물의 선형밀도(line density)를 분석하고, 이를 이력지반함몰 발생 현황과 연계하는 연구를 수행하였다. 분석 대상 지역에 대하여 2010~2015년 사이에 발생한 29개 이력지반함몰과 6종 지하매설물 선형밀도의 상관관계를 극대화하기 위한 최적화 알고리즘을 개발하였고, 보편적인 분석을 위해 정규선형밀도의 개념을 제안하였다. 분석 대상 지역의 정규선형밀도를 5개 등급(1등급 최저, 5등급 최고)으로 구분하였으며, 최적화 알고리즘을 적용할 경우 이력지반함몰 위치에서 정규선형밀도가 4등급 이상인 경우가 약 80%이상으로 나타났다. 제안된 최적화 알고리즘을 활용하여 지하매설물의 밀집도 분석 결과를 지반함몰 위험도 분석에 적용할 수 있을 것으로 판단된다.

Several studies have been conducted to analyze, predict, and prevent the risk of ground subsidence occurring in urban areas. Nevertheless, there is insufficient research effort on risk analysis that utilizes the correlation between the density of underground structures (i.e., the spatial quantity of buried objects installed in the ground around the interested area) and the occurrence of ground subsidence. In this paper, a study was conducted to analyze the line density of underground structures using GIS-based spatial information data, and to link this with the recorded ground subsidences. An optimization algorithm was developed to maximize the correlation between the line density of 29 recorded ground subsidences and 6 types of underground structures that occurred between 2010 and 2015 for the analysis area. The concept of normalized line density was also proposed for the analysis. The normalized line density of the analysis area was divided into five grades (Grade 1: lowest, Grade 5: highest). When the optimization algorithm was applied, the case where the normalized line density was Grade 4 or higher at the location of the recorded ground subsidences was about > 80%. It is thought that the density analysis result of underground facilities can be applied to the ground subsidence risk analysis by using the proposed optimization algorithm.

(게재일: 2021.10.31)
트라우즐 연주시험은 화약의 발파성능을 검증하기 위해서 널리 사용되는 시험방법 중 하나이다. 위력이 검증된 폭약을 연주블록의 발파공에 장약 및 전색하여 폭발시킨 후 발파공의 체적변화를 통해 화약의 위력 또는 전색효과 등을 측정하는 방법이라 할 수 있다. 본 연구에서는 발파 시 전색물에 따른 전색효과를 서로 비교하기 위하여 트라우즐 연주시험 및 3차원 고속카메라를 이용한 이미지영상상관기법을 도입하여 발파실험을 수행하였다. 실험에 사용된 폭약은 산업용 에멀젼 폭약을 적용하였고, 전색재료는 모래 및 잔골재를 사용하였다. 트라우즐 연주시험 및 수치해석을 통한 비교에서 표준사보다 잔골재 전색의 경우가 연주블록의 확장이 크게 나타났으며, 3D-DIC 시스템에서도 잔골재 전색의 경우가 모래전색보다 직경변화와 표면변형률 모두 높은 수치를 보였다.

The most widely used method for determining the blast effects of explosives is the Trauzl test. This test is used to measure the explosive power (strength) of a substance by determining volume increase, which is produced by the detonation of a tested explosive charge in the cavity of a lead block with defined quality and size. In this paper, Trauzl lead block test and High speed 3D-DIC (Digital Image Correlation) system were conducted to evaluate the stemming effect of the blast hole. The effects of stemming materials can be expressed as the expansion of the cavity in a standard lead block through explosion of the explosives. The blasting experiment was conducted with emulsion explosives. The stemming material in the blast hole of lead block, which was adopted in this study, were using sand and stone chips. Results of blasting experiment and numerical analysis showed that the expansion rates of lead block were most affected by stone chips followed by sand. Also, as result of dynamic strain measurement on the lead block surface of High speed 3D-DIC system, the displacement and surface strain on the block were the highest in the experiment case of stone chips stemming.

(게재일: 2021.10.31)
이 논문에서는 불균형 자료에 대한 분류 분석에서 불순도지수를 이용하여 임계값을 조정하는 방법에 대해 알아본다. 이항자료에 대한 분류에서는 소수범주를 Positive, 다수범주를 Negative라고 하면, 일반적으로 사용하는 0.5 기준으로 범주를 정하면 불균형 자료에서는 특이도는 높은 반면 민감도는 상대적으로 낮게 나오는 경향이 있다. 소수범주에 속한 개체를 제대로 분류하는 것이 상대적으로 중요한 문제에서는 민감도를 높이는 것이 중요한데 이를 분류기준이 되는 임계값을 조정을 통해 높이는 방법에 대해 알아본다. 기존연구에서는 G-mean이나 F1-score와 같은 측도를 기준으로 임계값을 조정했으나 이 논문에서는 CHAID의 카이제곱통계량, CART의 지니지수, C4.5의 엔트로피를 이용하여 최적임계값을 선택하는 방법을 제안한다. 최적임계값이 여러 개 나올 수 있는 경우 해결방법을 소개하고 불균형 분류 예제로 사용되는 데이터 분석을 통해 0.5를 기준으로 ?(무엇?)을 때와 비교하여 어떤 개선이 이루어졌는지 등을 분류성능측도로 알아본다.

In this paper, we propose the method of adjusting thresholds using impurity indices in classification analysis on imbalanced data. Suppose the minority category is Positive and the majority category is Negative for the imbalanced binomial data. When categories are determined based on the commonly used 0.5 basis, the specificity tends to be high in unbalanced data while the sensitivity is relatively low. Increasing sensitivity is important when proper classification of objects in minority categories is relatively important. We explore how to increase sensitivity through adjusting thresholds. Existing studies have adjusted thresholds based on measures such as G-Mean and F1-score, but in this paper, we propose a method to select optimal thresholds using the chi-square statistic of CHAID, the Gini index of CART, and the entropy of C4.5. We also introduce how to get a possible unique value when multiple optimal thresholds are obtained. Empirical analysis shows what improvements have been made compared to the results based on 0.5 through classification performance metrics.

(게재일: 2021.10.31)
상대오차를 이용한 예측법은 상대오차(혹은 퍼센트오차)가 중요시되는 분야, 특히 계량경제학이나 소프트웨어 엔지니어링, 또는 정부기관 공식통계 부분에서 기존 예측방법 외에 선호되는 예측방법이다. 그 동안 상대오차를 이용한 예측법은 선형 혹은 비선형 회귀분석 뿐 아니라, 커널회귀를 이용한 비모수 회귀모형, 그리고 정상시계열분석에 이르기까지 그 범위가 확장되어 왔다. 그러나, 지금까지의 분석은 고정효과(fixed effect)만을 고려한 것이어서 임의효과(random effect)에 관한 상대오차 예측법에 대한 확장이 필요하였다. 본 논문의 목적은 상대오차예측법을 일반화선형혼합모형(GLMM)에 속한 감마회귀(gamma regression), 로그정규회귀(lognormal regression), 그리고 역가우스회귀(inverse gaussian regression)의 패널자료(panel data)에 적용시키는데 있다. 이를 위해 실제 자동차 보험회사의 손해액 자료를 사용하였고, 최량예측량과 최량상대오차예측량을 각각 적용-비교해 보았다.

Relative error prediction is preferred over ordinary prediction methods when relative/percentile errors are regarded as important, especially in econometrics, software engineering and government official statistics. The relative error prediction techniques have been developed in linear/nonlinear regression, nonparametric regression using kernel regression smoother, and stationary time series models. However, random effect models have not been used in relative error prediction. The purpose of this article is to extend relative error prediction to some of generalized linear mixed model (GLMM) with panel data, which is the random effect models based on gamma, lognormal, or inverse gaussian distribution. For better understanding, the real auto insurance data is used to predict the claim size, and the best predictor and the best relative error predictor are comparatively illustrated.

(게재일: 2021.10.31)
신뢰구간 추정에 널리 사용되고 있는 Wald, Agresti-Coull, 그리고 베이지안 방법인 Jeffrey와 Bayes-Laplace를 예측구간에 적용하였다. 네 가지 방법의 수치적 비교를 위해서 포함확률, 평균포함확률, 평균제곱오차의 제곱근, 그리고 평균기대폭을 사용하였다. 비교결과 Wald 방법은 신뢰구간에서와 마찬가지로 예측구간에서도 바람직하지 않았고 신뢰구간에서 선호되던 Agresti-Coull 방법은 예측구간에서는 너무 보수적이라 적절치 않다. 반면에 Jeffrey와 Bayes-Laplace 방법은 적절하였고, 특히 Jeffrey 방법은 신뢰구간의 경우에서와 마찬가지로 예측구간에서도 바람직하였다.

Wald, Agresti-Coull, Jeffreys, and Bayes-Laplace methods are commonly used for confidence interval of binomial proportion are applied for prediction intervals. We used coverage probability, mean coverage probability, root mean squared error, and mean expected width for numerical comparisons. From the comparisons, we found that Wald is not proper as for confidence interval and Agresti-Coull is too conservative to differ from confidence interval. However, Jeffrey and Bayes-Laplace are good for prediction interval and Jeffrey is especially desirable as for confidence interval.

(게재일: 2021.08.31)
다변량 회귀분석은 경시적 자료분석이나 함수적 자료분석 등 다양한 분야에서 빈번하게 사용되는 통계적 방법론이다. 다변량 회귀분석은 설명변수의 차원 뿐만 아니라 반응변수의 차원때문에 일변량 회귀분석에서 보다 차원의 저주문제에 더 강한 영향을 받는다. 이러한 문제를 해결하기 위해 최근 Yoo (2018)와 Yoo (2019a)에 세 가지 모형기반 반응변수 차원축소 방법이 제시되었다. 하지만 Yoo (2019a)에서 제시한 기본 방법은 모의실험 결과 모형에 가장 영향을 덜 받지만, 다른 두 방법 중 더 나은 방법보다 더 좋은 추정결과를 제시하지 못한다. 이러한 단점을 극복하기 위해 본 논문에서는 기본 방법의 결과 다른 두 방법의 결과를 비교하여, 자료에 따라 최선의 방법을 제시하는 선택 알고리듬을 제시하고, 이를 주선택 반응변수 차원축소라 명명한다. 다양한 모의실험 결과 주선택 반응변수 차원축소는 Yoo (2019a)의 기본방법보다 더 정확하게 차원을 축소하고, 모든 경우에 있더 더 바람직한 방법을 선택함을 확인할 수 있다. 이러한 결과로 제안한 주선택 반응변수의 차원축소 방법의 실제적 유용성을 확인할 수 있다.

Multivariate regression often appears in longitudinal or functional data analysis. Since multivariate regression involves multi-dimensional response variables, it is more strongly affected by the so-called curse of dimension that univariate regression. To overcome this issue, Yoo (2018) and Yoo (2019a) proposed three model-based response dimension reduction methodologies. According to various numerical studies in Yoo (2019a), the default method suggested in Yoo (2019a) is least sensitive to the simulated models, but it is not the best one. To release this issue, the paper proposes an selection algorithm by comparing the other two methods with the default one. This approach is called principal selected response reduction. Various simulation studies show that the proposed method provides more accurate estimation results than the default one by Yoo (2019a), and it confirms practical and empirical usefulness of the propose method over the default one by Yoo (2019a).

(게재일: 2021.08.31)
경제활동인구조사는 고용 관련 통계를 생성하는 국가조사로서, 국민의 경활상태(취업/실업/비경활)를 파악하는 것이 주요 목적이다. 정확한 통계를 내기 위해 무응답률을 낮추는 것이 중요하고, 이미 발생한 무응답을 보완하기 위한 방법으로 무응답 대체가 가능하다. 경제활동인구조사는 응답 방식이 순차적 흐름을 따라가기 때문에 구조적인 무응답이 존재한다. 또한 전체 가구원내 무응답 항목이 하나라도 있으면 해당 가족 구성원 전체를 무응답 처리하기에 최종 자료에는 항목 무응답이 아닌 단위 무응답만 존재한다는 특징이 있다. 본 연구에서는 구조적 무응답 이해 및 연계자료를 통한 과거 자료의 활용 등을 통해 기존의 방법보다 효과적인 무응답 대체 모형을 제시하고자 한다. 대체 모형의 성능을 일치도/비일치도를 기반으로 평가한다. 이를 위해, 2019년 11월 경제활동인구조사 자료를 기반으로 모의실험을 실시한다. 총 59,996명의 응답자 중 일부를 랜덤하게 선택한 뒤, 경활상태를 판정하는데 결정적인 설명변수 6개와 경활상태를 무응답 처리한다. 기존 무응답 대체 모형에서 사용하였던 설명 변수 이외에 산업변수와 종사상지위 변수를 추가함으로써 모형을 개선한다. 이는 과거자료의 연계 및 활용을 가정한 것으로, 기존의 모형모다 성능이 향상되는 것을 확인한다. 또한, 경활상태별 무응답자 수에 대한 다양한 시나리오를 고려한다.

The Korean Economically Active Population Survey (KEAPS) is a national survey that produces employment-related statistics. The main purpose of the survey is to find out the economic activity status (employed/ unemployed/ non-employed) of the people. KEAPS has a unique characteristics caused by the survey method. In this study, through understanding of structural non-response and utilization of past data, we would like to present an improved imputation model. The performance of the proposed model is compared with the existing model through simulation. The performance of the imputation models is evaluated based on the degree of mathing/nonmatching rates. For this, we employ the KEAPS data in November 2019. For the randomly selected ones among the total 59,996 respondents, the six explanatory variables, which are critical in determining the economic activity states, are treated as non-response. The proposed model includes industry variable and job status variable in addition to the explanatory variables used in the precedent research. This is based on the linkage and utilization of past data. The simulation results confirm that the proposed model with additional variables outperforms the existing model in the precedent research. In addition, we consider various scenarios for the number of non-responders by the economic activity status.

(게재일: 2021.10.31)
오즈 곡선으로 설명이 가능한 정확도 측도들을 살펴보고, 오즈 곡선의 성질을 바탕으로 대안적인 최대 사각형 정확도 측도를 제안한다. 다양한 확률분포함수와 실증예제를 고려하여 정확도 측도들에 대응하는 분류점을 구하고, 분류점을 측정하는 통계량들을 비교하면서 특징을 토론한다. 그러므로 ROC 곡선 등과 유사하게 오즈 곡선으로부터도 최적분류점들을 발견하고 설명할 수 있으며, 최대사각형 측도는 이진 분류모형의 성능을 향상시킬 수 있는 정확도 측도로 활용할 수 있다.

Various accuracy measures that can be explained on the odds curve are discussed, and an alternative accuracy measure, the maximum square, is proposed based on the characteristics of the odds curve. Thresholds corresponding to these accuracy measures are obtained by considering various probability distribution functions and an illustrative example. Their characteristics are discussed while comparing many kinds of statistics measuring thresholds. Therefore, we can conclude that optimal thresholds could be explored from the odds curve, similar to the ROC curve, and that the maximum square measure can be used as a good accuracy measure that can improve the performance of the binary classification model.

(게재일: 2021.10.31)
본 논문은 확률적 자료연계 방법의 기본 개념과 이론적 모형을 소개하고, 실제 통계청 데이터를 사용하여 확률적 자료연계가 진행되는 과정과 원리를 보여준다. 먼저 확률적 자료연계와 결정적 자료연계와의 차이를 간단히 알아보고, 확률적 자료연계 방법론의 토대가 되는 Fellegi-Sunter 모형의 기본 구성과 관련된 모수(m-확률, u-확률), 가중치, 매치여부 판정기준에 대해 기술한다. 그리고 통계청 등록센서스와 인구총조사 자료를 이용하여 그 모형을 적용한 자료연계가 이루어지는 구체적인 과정에 대해 설명하고, 이를 통해 얻어진 연계 결과의 정확성을 살펴본다.

This paper aims to introduce the basic concept of probabilistic record linkage and its statistical framework, and describe the specific process and principle of performing it using a real example from Statistics Korea. First, we briefly describe the deterministic record linkage and compare it with probabilistic record linkage. We introduce the Fellegi-Sunter model framework for record linkage and the related paprameters: m-probability, u-probability, matched weight and decision rule. Finally, we show the detailed process of record linkage under Fellegi-Sunter model framework and evaluate the record linkage results, using sample data from the registered-based census and Population and Housing Census survey in Statistics Korea.

(게재일: 2021.10.31)
군집간의 개체 수의 차이가 큰 자료들을 불균형자료라고 한다. 불균형자료의 판별분석에서 다수 범주의 개체를 잘 분류하는 것 보다 소수 범주의 개체를 잘 분류하는 것이 더 중요하다. 그러나 개체 수가 상대적으로 작은 소수 범주의 개체를 개체 수가 상대적으로 많은 다수 범주의 개체로 오분류하는 경우가 많다. 본 연구에서는 이를 해결하기 위해 HDBSCAN과 SMOTE를 결합한 방법을 제안한다. HDBSCAN을 이용하여 소수 범주의 노이즈와 다수 범주의 노이즈를 제거하고 SMOTE를 적용하여 새로운 자료를 만들어낸다. 기존의 방법들과 성능을 비교하기 위하여 AUC와 F1 점수를 이용하였고 그 결과 대부분의 경우에 HDBSCAN과 SMOTE를 결합한 방법이 높은 성능 지표를 보였고, 불균형자료를 분류하는데 있어 뛰어난 방법으로 나타났다.

Data with a large difference in the number of objects between clusters are called unbalanced data. In discriminant analysis of unbalanced data, it is more important to classify objects in minority categories than to classify objects in majority categories well. However, objects in minority categories are often misclassified into majority categories. In this study, we propose a method that combined hierarchical DBSCAN (HDBSCAN) and SMOTE to solve this problem. Using HDBSCAN, it removes noise in minority categories and majority categories. Then it applies SMOTE to create new data. Area under the roc curve (AUC) and F1 scores were used to compare performance with existing methods. As a result, in most cases, the method combining HDBSCAN and synthetic minority oversampling technique (SMOTE) showed a high performance index, and it was found to be an excellent method for classifying unbalanced data.

(게재일: 2021.08.31)