Inter-Rater Reliability of Carotid Intima-Media Thickness Measurements in a Multicenter Cohort Study

Abstract

Objectives: Carotid intima-media thickness (CIMT) and the presence of carotid artery plaque are widely used as preclinical markers of atherosclerosis. Due to operator dependency in measuring CIMT, it is important to evaluate the reliability of measuring CIMT and plaque between centers in a multicenter study. The purpose of this study is to evaluate the inter-rater reliability of CIMT and plaque presence among three clinical centers of the Cardiovascular and Metabolic Disease Etiology Research Center (CMERC). Methods: Twenty people without known cardiovascular disease (age 37-64) were enrolled during 2014-2015, and their left and right carotid arteries were examined repeatedly with ultrasonography for CIMT measurements at three clinical centers according to a predetermined protocol. Maximum and mean values of CIMT at distal common carotid artery were recorded. Plaque presence at a carotid artery was checked by an operator. The reliability of CIMT and carotid plaque presence was assessed using an intraclass correlation coefficient (ICC) and kappa statistics, respectively. Results: Calculated ICC was 0.647 (95% CI: 0.487-0.779) for maximum CIMT, and 0.758 (95% CI: 0.632-0.854) for mean CIMT. In Bland Altman plot, most observed values were distributed within mean difference ±1.96 SD ranges. Kappa statistics of plaque presence between two centers were 0.304 (center 1 and 2), 0.507 (center 1 and 3), and 0.606 (center 2 and 3), respectively, while Fleiss kappa for overall agreement was 0.445. Conclusions: The inter-rater reliability of CIMT measurements among three clinical centers turned out to be high, and the agreement of measuring carotid plaque presence was fair.

목적: 경동맥 내막-중막 두께와 경동맥 경화반의 존재유무는 죽상동맥경화증의 임상 전단계를 나타내는 지표로 널리 사용되고 있다. 경동맥 내막-중막 두께를 측정할 때의 측정자 의존성 때문에, 다기관 연구에서는 경동맥 내막-중막 두께와 경화반 측정의 기관간 신뢰도를 확인하는 것이 중요하다. 이 연구의 목적은 심뇌혈관 및 대사질환원인 연구센터에 속해 있는 세 임상기관 사이의 경동맥 내막-중막 두께와 경화반 측정의 측정자간 신뢰도를 평가하는 것이다. 방법: 심뇌혈관 질환 과거력이 없는 사람 20명이 2014-2015년 사이에 이 연구에 참여하였고(연령 37-64세), 미리 정해진 프로토콜에 따라 연구참여자의 좌, 우 경동맥을 세 임상기관에서 반복적으로 측정하였다. 총 경동맥의 원위부에서 측정한 경동맥 내막-중막 두께의 최대값과 평균값을 기록하였다. 경동맥에서의 경화반 존재유무는 측정자에 의해 확인되었다. 경동맥 내막-중막 두께와 경화반 존재유무의 신뢰도를 급내상관계수와 카파 통계량을 통해 각각 평가하였다. 결과: 계산된 급내상관계수는 최대 경동맥 내막-중막 두께를 평가하였을 때 0.647이었고 (95% CI: 0.487-0.779), 평균 경동맥 내막-중막 두께를 평가하였을 때 0.758 (95% CI: 0.632-0.854) 이었다. Bland Altman plot에서, 관측치의 대부분은 평균의 차이에서 ±1.96 표준편차 사이에 분포하였다. 각 기관 사이의 경화반 존재유무에 대한 카파 통계량은 0.304 (기관 1과 2), 0.507 (기관 1과 3), 0.606 (기관 2와 3)이었다. 전반적인 일치를 평가하는 Fleiss카파값은 0.445였다. 결론: 세 임상기관 사이의 경동맥 내막-중막 두께의 측정자간 신뢰도는 훌륭하였으며, 경화반 존재유무에 대한 신뢰도는 적정하였다.