Comparison between comorbidity adjustment tools in the prediction model for hospital mortalit

Abstract

The purpose of this study is to compare the predicted value between tools for severity-adjustment of comorbidity which have a major impact on the death of a hospital discharge patient, and to propose a good method of severity correction which can increase the accuracy of the mortality prediction model for each disease. For this purpose, the data collected by the Centers for Disease Control and Prevention of Korea were used for 10 years from 2006 to 2015, The target diseases were acute myocardial infarction(AMI) and stroke, each of the major diseases of heart and cerebrovascular diseases. They ranked 2-3rd in Korea’s mortality rate over the past 10 years and are also managed as a major death indicator. As a tool for comparison of comorbidity adjustment, Clinical classification software (CCS), which includes 259 disease groups was applied along with the most commonly used Charlson comorbidity index (CCI) and Elixhauser comorbidity index (ECI) in the previous studies. In order to compare the predicted value of mortality prediction model, logistic regression analysis, decision tree, neural network, and support vector machine were used in the machine learning. In order to ensure the validity of the mortality prediction model, it was divided into an internal validity test group and an external validity test group to prevent the development of model and over-fitting. In both diagnostic groups, data for internal validation were used analysis by dividing data into 60% for training, and 40% for testing. AUC was used to measure the fitness of the model, and 4-step model was constructed and compared. In the first stage of the model, only the accompanying disease is added. In the second stage, the main diagnosis is added to the comorbidities. In the third stage, the sex and age are added in the second stage. In the fourth stage, admission route and the presence or absence of PCI and CABG for AMI, admission route and the presence or absence of surgery for stroke. In the comparison between tools for the severity-adjustment of comorbidity, the predictability of the model including CCS was the best in all stages in both acute myocardial infarction and stroke group, followed by ECI and CCI. In the evaluation of the stepwise mortality prediction model, both the acute myocardial infarction and stroke group had better predictability as the independent variables were added, and the support vector machine technique showed the best results. Thus, both the myocardial infarction and stroke groups had the best predictability when using the CCS diagnostic group and the support vector machine technique with the 4-step mortality prediction model with the most added variables (AMI AUC 0.800, stroke AUC 0.830). Therefore, in this study comparing the predictability of comorbidity adjustment tools in the prediction model for hospital mortality, the CCS diagnosis group without any missing diagnosis in the classification of the comorbid diseases showed better predicted value than the CCI and ECI. and using the CCS diagnosis group in all four stages of the comparison by adding variables could result in a more valid prediction. The results of this study suggest that the support vector machine with the CCS diagnostic group will provide optimal predictability in the case of constructing the mortality prediction model of an acute myocardial infarction and stroke. These results are also expected to be useful as a methodology for calculating the outcome index in a single medical institution.

의료 질 평가 중 결과평가의 대표적 지표로 사용되는 사망률은 각 의료기관에서 행해진 의료서비스 결과를 평가할 수 있는 주요 지표이다. 퇴원환자 사망에 대한 결과지표에서는 환자에 따라 질환의 중증도가 서로 다르게 나타나므로 중중도 보정이 선행되어야 하며, 이를 위한 중증도 보정 도구들이 개발되어 사용되고 있다. 이에 질환별로 보다 정확하고 타당성 있는 결과지표를 측정하기 위하여 중증도 보정 도구 간 우수성을 확인하는 비교연구의 필요성도 제기되었다. 본 연구의 목적은 의료기관 퇴원환자 사망에 주요한 영향을 미치는 동반질환에 대하여 중증도를 보정하는 도구들 간의 예측력을 비교하고, 질환별로 사망예측모형의 정확성을 높일 수 있는 우수한 중증도 보정방법을 제시하는 것이다. 이를 위하여 질병관리본부에서 수집한 퇴원손상심층조사 자료 중 2006년부터 2015년까지 10년간의 자료를 이용하였으며, 대상 질환은 지난 10여 년 간 우리나라 사망률 2-3위를 차지하고 있고 주요사망지표로도 관리되고 있는 심장질환과 뇌혈관 질환의 각 대표 질환인 급성심근경색증과 뇌졸중을 대상으로 하였다. 동반질환 중증도를 보정하는 도구로는 선행연구들에서 가장 널리 사용된 Charlson comorbidity index(CCI), Elixhauser comorbidity index(ECI)와 함께 259개 동반질환을 포함하고 있는 Clinical classification software(CCS) 진단군을 적용하였다. 사망예측모형에 대한 동반질환 중증도 보정 도구 간 예측력을 비교하기 위하여 머신러닝의 지도학습에 사용되는 모델링 기법 중 로지스틱 회귀분석, 의사결정나무, 신경망, 서포트 벡터 머신을 이용하였다. 사망예측모형의 타당성을 확보하기 위하여 모형 개발 및 과적합(over-fitting)을 방지하기 위한 내적타당도 검증 그룹과 외적 타당도 검증 그룹으로 나누었고 두 진단 그룹 모두 내적 검증을 위한 자료는 모형구축을 위해 데이터를 학습용(training) 60%, 검증용(test) 40%로 구분하여 분석에 활용하였다. 모형의 적합성 측정은 AUC를 이용하였으며 4단계 모델을 구축하여 각각을 비교하였다. 모델의 1단계에서는 동반질환만을, 2단계에서는 동반질환에 주진단을 추가하고, 3단계에서는 2단계에 성과 연령을 추가하고, 4단계에서는 급성심근경색증의 경우 3단계에 입원경로, PCI 시행 유무, CABG 시행 유무를, 뇌졸중의 경우 3단계에 수술 유무를 추가하였다. 연구 결과 주진단 분포는 급성 심근경색증의 경우 상세불명 급성심근경색증 40.8%, 뇌졸중의 경우 뇌경색증 69.4%로 가장 높은 분포를 보였다(p<0.05). 동반질환은 급성 심근경색증의 경우 ECI 에서는 상세불명의 고혈압, 합병증 없는 당뇨, 울혈성 심질환의 순으로 높은 분포를 보였고, CCS 에서는 본태성 고혈압, 심장 죽상경화증, 합병증 없는 당뇨의 순이었다(p<0.05). 뇌졸중의 경우 ECI 에서는 상세불명의 고혈압, 합병증 없는 당뇨, 마비의 순으로 높은 분포를 보였고, CCS 에서는 본태성 고혈압, 합병증 없는 당뇨, 급성뇌혈관질환의 순이었다(p<0.05). 사망에 영향을 미치는 요인으로는 급성심근경색증의 경우 로지스틱 회귀분석에서 주진단, 성별, 연령, 입원경로, PCI 시행유무, 동반질환으로 나타났으며 의사결정나무에서는 주진단, 패혈증, 심정지 및 심실세동, 흡인성 폐렴, 쇼크로 나타났다. 뇌졸중의 경우 로지스틱 회귀분석에서 주진단, 성별, 연령, 입원경로, 수술유무, 동반질환으로 나타났으며 의사결정나무에서는 주진단, 패혈증, 급성 뇌혈관 질환, 심정지 및 심실세동, 신장질환으로 나타났다. 중증도 보정 도구 간 비교에서는 급성심근경색증과 뇌졸중 그룹 모두에서 CCS를 포함한 모형의 예측력이 모든 단계에서 가장 우수하였고 그 다음으로 ECI, CCI의 순이었다. 단계별 사망예측모형의 평가에서는 급성심근경색증과 뇌졸중 그룹 모두 독립변수들을 추가할수록 예측력이 더 우수하였으며, 서포트 벡터 머신 기법에서의 모형이 가장 우수한 결과를 보였다. 따라서 심근경색증과 뇌졸중 두 진단그룹에서 모두 CCS 진단군을 이용하고 변수들을 가장 많이 추가한 4단계의 사망예측모형을 선택하여 서포트 벡터 머신 기법으로 분석할 때 가장 우수한 예측력을 나타냈다(AMI AUC 0.800, stroke AUC 0.830). 그러므로, 사망예측모형에서의 중증도 보정 도구별 예측력을 비교한 본 연구에서는 CCI와 ECI에 비해 동반질환의 분류에서 누락되는 진단이 없는 CCS 진단군이 보다 우수한 예측력을 나타내었고, 변수들을 추가하여 비교한 4단계 모형 모두에서도 CCS 진단군을 이용하는 것이 보다 타당성 있는 예측값을 얻을 수 있다는 결과를 도출하였다. 또한 연구결과에 의거하여 급성심근경색증과 뇌졸중 사망예측모형 구축 시에는 CCS 진단군과 함께 서포트 벡터 머신을 활용한다면 최적의 예측력을 얻을 수 있을 것으로 여겨진다. 이러한 결과는 단일 의료기관에서의 결과평가 지표 산출을 위한 방법론으로도 유용하게 활용될 수 있을 것으로 기대된다.