Cognitive Impairment Screening Test (CIST)에 대한 신뢰도 및 타당도 분석



Ⅰ. 서 론

일반적으로 국내에서 사용되는 있는 인지선별검사도구 는 Mini-Mental Status Examination(MMSE)(80.3%), Motor-Free Visual Perception Test(65.8%), Lowenstein Occupational Therapy Cognitive Assessment(50%), Line Bisection Test(47.9%), Albert’s Test(36.8%), Computer-Based Cognitive Assessment(18.9%)로 사용되고 있다(Yoo, Jung, Park, & Choi, 2006). 그 중, MMSE는 5분에서 10분 정도의 짧은 시간으로 평가가 가능하며, 전문가가 아닌 일반인 또한 쉽게 평가가 가능하 다는 이점이 있어 국내에서 가장 많이 사용되고 있다. MMSE의 장점으로 인해 국내에서도 Korean version of Mini-Mental State Examination(MMSE-K)와 Korean Mini-Mental State Examination(K-MMSE)로 번안 되어 사용되고 있다(Kang, Na, & Hahn, 1997; Kwon, 1989).

MMSE는 국내에서 자주 사용되고 있는 인지선별검사 도구이지만 여러가지 제한점이 야기되어왔다. 현재까지 주로 한국어로 번안된 MMSE를 주로 사용하고 있지만, 정상인지 및 경도인지 장애, 치매를 진단하는 정확도가 낮다는 비판을 받고 있다(Körver et al., 2019; Mole & Demeyere, 2020). MMSE는 전 세계에 무료로 배포 되어 사용되어 왔으나, 현재 국내 MMSE는 저작권 제한 으로 유료로 전환된 상태이다. 이에, 저작권료를 지불한 후 사용이 가능하다. 또한, MMSE는 국내에서 자주 사용 되는 평가도구로 내적 타당도의 검사요인의 영향을 받을 수 있다(Bleijenbergh, Korzilius, & Verschuren, 2011). 내적 타당도의 검사요인은 동일한 측정을 반복 할 경우 대상자가 측정에 익숙해지면서 측정 결과에 영 향을 미칠 수 있다.

MMSE에 대한 많은 문제점으로 인해 보건복지부에서 는 인지선별검사(Cognitive Impairment Screening Test; CIST)를 개발하였다(Ministry of Health and Welfare, 2021). CIST는 보건복지부에서 개발된 후 2021년 1월 1일부터 국가 치매검진사업에 활용되고 있 다(Dementia Care Center, 2021). CIST는 인지기능 저하 변별력이 우수한 평가도구 개발을 목적으로 고안되 었다. 검사 진행은 평가를 받는 대상자와 1:1 문답 및 지 필문항 형식으로 진행되며, 개인 간의 차이가 있지만 약 5분에서 10분 사이의 시간이 소요된다(Dementia Care Center, 2021). CIST는 무료로 사용이 가능하며, 사용 하기 위해서 사용 신청서 및 서약서를 치매안심센터 홈 페이지를 통해 제출하여 검사지와 규준을 다운로드할 수 있다(https://ansim.nid.or.kr/). CIST 검사지 사용에 앞서 CIST 수행교육 이수를 권장하고 있다. CIST 수행 교육 또한, 치매안심센터 홈페이지에서 수강 및 이수가 가능하다.

하지만, CIST는 보건복지부에서 개발하여 국가 치매 검진사업에 활용되기 시작한지 1년이 넘었음에도 불구 하고, CIST 평가도구에 대한 신뢰도 분석이 수행되지 않 고 있다. 평가도구의 신뢰도는 측정하고자 하는 내용을 평가도구가 얼마나 일관성 있게 측정하는지에 대한 내용 이다(Sullivan, 2011). 따라서, 신뢰도에 대한 결과가 없 는 CIST를 사용해서 측정한 대상자의 인지기능에 대한 수준은 신뢰할 수 없기 때문에 신뢰도를 검증할 필요가 있다. 선행연구의 CIST에 대한 분석으로 CIST와 K-MMSE, CDR 간의 상관관계 분석 등으로 신뢰도를 알아보기에는 한정적이다(Hwang, Ryu, Kwon, Choi, & Kim, 2022).

평가도구의 신뢰도뿐만 아니라, 항목의 적합도, 계층 적 난이도를 분석한 결과는 해당하는 평가도구의 사용에 대한 신뢰성을 제시할 수 있다. 이러한 분석에 사용되는 방법 중 하나로 문항반응이론의 라쉬 모형을 사용할 수 있다(Bond, Yan, & Heene, 2015). 라쉬 모형은 평가도 구의 신뢰도을 평가하는 데 사용되는 통계적 방법으로, 항목에 대한 올바른 응답의 확률이 개인의 능력과 항목 의 난이도의 함수라고 가정한다. 이러한 라쉬 모형의 경 우, 평가도구의 신뢰도뿐만 아니라, 항목의 적합도, 항목 간의 계층적 난이도를 분석 및 제공한다. 이를 통해, 평가 도구에 포함된 항목 편향을 감지할 수 있으며, 항목 간의 쉽고 어려운 항목을 구분할 수 있다는 장점을 가지고 있 다(Bond, Yan, & Heene, 2015). 또한 라쉬 모형은 항 목 요인의 일차원성을 가정해야한다(Bond, Yan, & Heene, 2015). 즉, 모든 항목이 동일한 기본 구성(예: 인지기능)을 측정하고 있음을 의미한다. 또한, 지역 독립 성(local independence)의 조사도 라쉬 분석 진행 전 필 수 선행 조건으로 적용된다(Bond, Yan, & Heene, 2015). 지역 독립성은 항목 간의 내용이 상호 간 독립적 으로 작용한다는 의미를 갖는다(Bond, Yan, & Heene, 2015). 요인분석 및 지역 독립성은 확인적 요인분석 (Confirmatory Factor Analysis; CFA)을 통해 분석할 수 있다.

따라서, 본 연구에서는 CIST 평가도구를 통해 수집된 자료를 사용하여 신뢰도를 분석하고자 한다. 신뢰도를 분석하는 방법으로는 라쉬 모형을 사용하고, 항목 요인 분석은 확인적 요인분석을 사용하고자 한다. 신뢰도 및 항목 요인 이외의 분석으로 항목 적합도와 계층적 난이 도, 차등항목기능에 대해 조사하여, CIST를 사용하는 연 구자뿐만 아니라 임상가에도 도움이 되고자 한다.

Ⅱ. 연구 방법

1. 대상자 및 자료수집

본 연구는 2021년 07월 29일부터 2022년 12월 20일 까지 연구 용역을 통해 서울 지역에서 수집한 321명에 대한 자료를 활용하였다. 수집된 321명의 참여자는 58세 에서 97세 연령 범위를 가진다. 또한, 연구 용역이 시행된 지역은 영등포구와 마포구로 두 지역에 거주하는 대상자 로 수집되었다. 연구 용역은 치매 예방 생활 체육 프로그 램 프로토콜 개발 및 프로그램의 효과에 관한 연구이다. 프로그램의 효과를 보기 위해 측정된 CIST의 사전·사후 결과 중 사전 결과만을 사용하였다. 본 연구는 동국대학교 심의위원회의 연구심의(DUIRB_202202-09)를 받아 진행하였다.

2. 평가도구

1) 인지선별검사(Cognitive Impairment Screening Test; CIST)

본 연구는 보건복지부에서 개발된 CIST에 대해 신뢰 도 및 타당도를 분석하였다. CIST는 2021년 1월 1일부 터 국가 치매검진사업에 활용되고 있다. 인지기능 장애 에 대한 변별력이 우수한 도구를 개발하기 위한 목적으 로 CIST가 개발되었다. CIST는 1:1 문답 및 지필문항으 로 5~10분 정도 평가가 진행한다. CIST는 총 6개 영역 으로 지남력, 기억력, 주의집중력, 시공간 기능, 언어능 력, 집행기능이 포함된다. 총 6개 영역의 하위 영역으로 13개 항목에 대한 평가가 진행되며, 30점 만점으로 인지 기능의 정도를 평가한다(Ministry of Health and Welfare, 2021).

3. 분석목적

본 연구에서 인구통계학적 특성을 조사하기 위해 기술 통계 분석을 사용하였다. 기술통계 분석 및 자료 전처리 를 위해 SAS 프로그램(version 9.4 Institute, Cary, NC)을 사용하였다. CIST의 신뢰도 분석을 하기 위해 선 행으로 CFA 분석을 진행하여 일차원성에 대한 가정을 조사하였다. CIST의 일차원성을 가정한 후, 신뢰도 및 항목 적합도, 항목 계층적 난이도, 차등항목기능 조사를 위해 라쉬 모형을 사용하였다. 본 연구에서는 라쉬 모형 을 통한 분석을 위해 Winsteps Rasch 프로그램을 사용 하였다(version 5.4.0, Winsteps, Chicago).

4. 분석방법

1) 일차원성(unidimensionality) 및 지역 독립성 (local independence) 조사

CIST의 라쉬 분석을 수행하기 전 일차원성과 지역 독 립성을 조사하였다. 요인 분석을 위해 확인적 요인분석 (Confirmatory Factor Analysis; CFA)를 사용하였으 며, 모형적합지수는 다음과 같다. 카이제곱(X2 )의 결과 .05 이상일 때 적합한 것으로 간주하며, 근사평균제곱오 차제곱근(Root Mean Square Error of Approximation; RMSEA)이 .05 이하일 경우 근사한 적합, .08 이하일 경우 수용할 만한 적합, 마지막으로 .1이상일 경우 부적한 모형으로 판단하였다(Brown & Cudeck, 1993). 비교적 합지수(Comparative Fit Index; CFI)와 비표준적합지 수(Tucker-Lewis Index; TLI)가 .90 이상일 경우 수 용할 만한 적합, .95 이상일 경우 근사한 적합으로 판단하 였다(Hu & Bentler, 1999). 표준평균제곱잔차제곱근 (Standard Root Mean Square Residual; SRMR)이 .08 이하일 경우 좋은 적합모형으로 판단하였다(Hu & Bentler, 1995). 마지막으로, 지역 독립성은 잔차 상관관계 (residual correlations)가 .20보다 크면 지역 독립성 가 정을 위반한 것으로 간주하였다(Reeve et al., 2007).

2) 라쉬 분석

본 연구에서 CIST의 신뢰도 및 타당도를 분석하기 위 해 라쉬 모형 중에 부분점수모형(Partial Credit Model; PCM)을 사용하였다. 첫 번째로, 라쉬 모형의 기대치로 부터 개인능력 및 항목 난이도가 얼마나 벗어나고 있는 지 확인하기 위해 항목 적합도를 분석하였다(Bond, Yan, & Heene, 2015). 항목 적합도는 평균 제곱(Mean Square; MnSq)값과 표준화 점수(Z Standardized; ZSTD) 값을 확인하였다. MnSq 값 0.6~1.4와 ZSTD 값 2.0 미만의 값을 적합한 항목 적합도로 간주하였다. 두 번째로, CIST 각 영역에 따른 계층 구조를 Wright map을 통해 개인 능력 수준과 함께 항목 난이도 계층 구 조를 시각적으로 제공하였다(Bond et al., 2015). 마지 막으로 신뢰도를 결정하기 위해 라쉬 모형의 개인 분리 지수를 활용하여 person strata를 산출하였다. Person strata는 0부터 무한의 값을 가지며 1.50보다 크면 수용 가능한 것으로 간주하였다(Linacre, 2016). 또한, 바닥 및 천장효과는 최대 및 최소 극한 점수(extreme scores) 가 5%보다 작을 경우 수용가능한 것으로 간주하였다 (Fisher, 2007).

3) 차등항목기능(Differential Item Functioning; DIF) 조사

차등항목기능(Differential Item Functioning; DIF) 은 다양한 특성(성별, 연령, 고용 상태 및 인종 등)에 대 한 개인 능력치를 비교하는 분석으로 특성에 대한 항목 난이도 차이가 있는지 확인하였다(Bond et al., 2015). 본 연구에서는 성별(남성과 여성)과 연령대별(81세 미 만과 81세 이상), 결혼 여부(결혼과 독신)에 대한 DIF를 조사하였다. DIF의 유무는 DIF 대비(DIF contrast)가 .43~.64 사이의 값은 약간에서 중간 정도의 DIF가 있다 고 간주하였으며, .43보다 작은 값은 무시할 수 있는 DIF 로 간주하였다(Zwick, Thayer, & Lewis, 1999). 또한, DIF가 높은 값을 보여도 Rasch-Welch의 p 값이 .05 이상일 경우 DIF가 없는 것으로 간주하였다(Zwick et al., 1999). 즉, 본 연구에서는 DIF 대비(DIF contrast) 값과 Rasch-Welch의 p 값을 모두 고려하여, DIF의 유 무를 판단하였다.

Ⅲ. 연구 결과

1. 인구통계학적 특성

CIST에 응답한 대상자의 평균 연령은 80.48세(SD = 6.59)였으며, 남성이 45명(14.02%), 여성이 276명 (85.98%)이었다. 대상자의 교육 수준은 무학이 62명 (19.31%), 초등학교 졸업자 124명(38.63%), 중학교 졸 업자 75명(23.36%), 고등학교 졸업자 43명(13.40%), 대학교 졸업자 16명(4.98%), 대학원 졸업자 1명(0.31%) 이었다. 현재 동거 여부는 독신이 144명(44.86%), 결혼 한 자 177명(55.14%)이였으며, 흡연자 2명(0.62%), 음 주자 73명(22.74%)이었다. 건강 자가 보고 점수는 5점 만점으로 평균 2.95점(SD = 1.11)이였으며, 개인이 가 지고 있는 만성질환의 개수는 0.78개(SD = 1.03)이었 다. 마지막으로 CIST의 지남력 평균 점수는 4.42점(SD = 1.02), 주의집중력 2.13점(SD = 0.68), 시공간 기능 1.30점(SD = 0.90), 집행기능 3.19점(SD = 1.59), 기 억력 7.07점(SD = 2.81), 언어능력 3.16점(SD = 0.59)이었다(Table 1).

Table 1

Subject's General Information (N = 321, %)

../figures/KJOT-31-2-97_T1.jpg

2. 일차원성(unidimensionality) 및 지역 독립성(local independence) 조사

CFA 분석을 통한 CIST 항목에 대한 요인분석은 일차원 성을 가정과 적합한 요인적재(factor loading, λ) 값을 보였다(Figure 1). CFA의 모형 적합도를 보면 X2값은 14.653(df = 9)으로 p 값이 .1009였으며, RMSEA가 .044, CFI가 .987, TLI가 .979였다. 마지막으로 SRMR 은 .027로 모든 모형 적합 지수가 허용가능한 범위를 보 였다(Table 2). 또한, 지역 독립성을 확인한 결과 모든 잔차 상관관계(residual correlations)가 .20를 초과한 값은 확인되지 않았다(Table 3).

Figure 1

Factor Structure of the Cognitive Impairment Screening Test

../figures/KJOT-31-2-97_F1.jpg
Table 2

Model Fit Results of Confirmatory Factor Analysis

../figures/KJOT-31-2-97_T2.jpg
Table 3

Residual Correlations (Local Independence)

../figures/KJOT-31-2-97_T3.jpg

3. 라쉬 분석

라쉬 분석을 통한 CIST에 대한 항목 적합도는 모두 적합한 것으로 나타났다(Table 4). MnSq 값은 .60~.14 를 초과한 값은 없었으며, ZSTD도 2를 초과한 값은 없 는 것으로 나타났다. 또한, 총 6개의 영역 중 가장 어려운 영역은 집행기능(logits = 1.09)이였으며, 가장 쉬운 영 역은 지남력(logits = -0.94)이었다. CIST의 각 영역 에 따른 계층 구조를 개인 능력 수준과 함께 항목 난이도 계층 구조를 그림 2와 같이 시각적으로 구성하였다 (Figure 2). 그림 2는 항목 간의 쉬운 항목의 logit 값과 어려운 항목의 logit 값을 개인 능력 수준과 함께 시각적 으로 보여주고 있다. 신뢰도 분석의 경우 person strata 가 2.73으로 Cronbach’s α가 .77과 같은 값으로 나타 났다. 마지막으로 바닥 및 천장효과는 최대 극한 점수 (extreme scores)가 2.8%이며, 최소 극한 점수는 없었 다. 따라서, 바닥 및 천장효과는 없었다.

Table 4

Item Fit and Item Difficulty Hierarchy Met the Unidimensionality Assumption (6 Items)

../figures/KJOT-31-2-97_T4.jpg
Figure 2

Wright Map

X-axis: Item in entry order ascending, Y-axis: Andrich thresholds

../figures/KJOT-31-2-97_F2.jpg

4. 차등항목기능(Differential Item Functioning; DIF) 조사

CIST의 평가가 특성에 따라 차이를 보이는지 확인하 기 위해 DIF를 조사하였다(Table 5). 그 결과, 연령대별 (81세 미만과 81세 이상)과 결혼 여부(결혼과 독신)에 서는 DIF가 없는 것으로 나타났다. 하지만, 주의집중력 영역에서 성별(남성과 여성)의 DIF(DIF contrast = -.66, p =.0387)가 있음이 확인되었다(Figure 3). 주 의집중력 영역을 제외하고는 성별에서 모든 영역은 DIF 가 발생하지 않았다.

Table 5

Differential Item Functioning for Sex, Older Age, and Marital Status With the 6 Items

../figures/KJOT-31-2-97_T5.jpg
Figure 3

Differential Item Function Measure by Item

0: Female, 1: Male

../figures/KJOT-31-2-97_F3.jpg

Ⅳ. 고 찰

측정은 어떠한 규칙을 통해 사물이나, 사건, 특성에 숫 자를 적용하는 것을 의미한다(Stevens, 1951). 측정이 란 개념은 임상 및 연구에서 중요하게 사용되고 있다. 임 상에서는 환자의 상태를 초기 진단하는 목적으로 사용되 어질 수 있으며, 환자의 신체기능 및 인지기능 향상 정도 를 보기위해 사용되고 있다. 연구의 경우 측정된 어떠한 특성에 대한 값을 활용하여 알아보고자 하는 현상에 대 해 조사할 수 있다. 이러한 측정에는 여러 측정 속성을 가지고 있다. 측정 속성에는 대표적으로 신뢰도와 타당 도를 말한다. 예를 들어, 특정 특성에 대해 측정하고자 하는 도구의 구성개념의 차원을 얼마나 잘 반영하는지에 대한 구성 타당도가 있다(de Vet, Terwee, Mokkink, & Knol, 2011). 신뢰도는 측정하고자 하는 특성이 얼마 나 잘 재현되는지에 대한 속성이며, 신뢰도의 종류로는 검사자가 간 신뢰도, 검사-재검사 신뢰도, 검사자 내 신 뢰도가 있다(Bruton, Conway, & Holgate, 2000). 이 러한 측정 도구에 대한 속성은 어떠한 특성을 측정하는 과정에 있어 중요하게 다루어 진다. 하지만, 현재 개발된 CIST의 경우 정확한 신뢰도가 보고되지 않은 상태이다. 이에 따라, 본 연구에서는 CIST의 신뢰도에 대한 결과 값을 제시하여 CIST를 활용하는 연구자 및 임상가에게 도움이 되고자 한다.

본 연구에서는 지역사회 거주 노인을 대상으로 CIST 에 대한 신뢰도를 분석한 결과 CIST는 하나의 요인으로 구성된 일차원성을 가정하였다. 라쉬 모형을 적용하기 위해서는 특성의 동일성(same construct)이 충족되어 야 한다(Bond et al., 2015; Lord, 2012). 이는 CIST의 영역 6개 모두 인지를 동일하게 측정해야한다는 것을 의 미한다. 즉, 인지 선별검사도구가 인지만을 측정하고, 신 체기능 평가도구가 신체기능만을 측정해야한다는 것이 다. 본 연구에서는 확인적 요인분석을 통해 CIST가 하나 의 요인으로 일차원성을 가정하였다. 이에 따라, CIST가 인지기능만을 측정하는 도구로 조사되었다. 선행연구에 서도 CIST의 6개 영역에 포함된 지남력, 기억력, 주의집 중력, 시공간 기능, 언어능력, 집행기능을 포함한 인지기 능 측정이 일차원성을 나타내어 6개 영역의 복합 점수를 전반적인 인지기능을 측정하는데 사용할 수 있다고 보고 하고 있다(Gavett, John, Hurnani, Bussell, Saurman, & Weintraub, 2010). 또한, 본 연구에서는 지역 독립성 을 조사하였다. 그 결과, 잔차 상관계수가 모두 .2 이하의 값으로 지역 독립성을 가정하였다. 이는 하나의 항목과 또 다른 항목의 정답확률이 상호독립적으로 작용해야하 는 것을 의미한다(de Ayala, 2013). 일차원성을 가정한 척도에서 지역 독립성에 대한 가정 위반은 개인능력 매 개변수 추정과 신뢰도 추정, 구성 타당도에 문제를 일으 킬 수 있다(Christensen, Kreiner, & Mesbah, 2012). 본 연구에서는 지역 독립성을 가정하였기에 CIST 각 영 역에 대한 항목들은 상호독립적으로 작용하는 것으로 사 료되어진다.

본 연구에서 일차원성 가정 조사 이후로 항목의 적합 도를 조사하였다. 라쉬 모형의 항목 적합도는 평균제곱 (mean square) 통계를 사용하며, 내적합도(infit)과 외 적합도(outfit)를 사용한다. 내적합도의 경우 측정에서 멀리 떨어진 예상치 못한 응답의 영향을 최소화하며, 외 적합도는 항목 또는 사람 측정과 거리가 먼 예상치 못한 응답에 상대적으로 더 큰 영향을 받는다(Bond et al., 2015). 내·외적합도의 평균제곱 값은 1.4 이하의 값의 기준으로 항목 적합도를 판단하는데 평균제곱 적합 통계 는 카이제곱분포와 1의 기대값을 가진다. 즉, 1보다 큰 값은 모델과 관찰된 점수 사이에 더 많은 변동을 나타난 다고 해석할 수 있다(Bond et al., 2015). 예를 들면, 1.45에 대한 평균제곱 값은 라쉬 모형에 의해 예측된 것 보다 45% 더 많은 변동을 보인다고 해석할 수 있다. 본 연구의 결과에 따르면, 가장 낮은 평균제곱 값은 .80이 며, 가장 높은 값은 1.16으로 항목 적합도가 적합한 것으 로 사료된다.

라쉬 분석을 통해 CIST에 대한 계층적 구조를 조사하 였다. 그 결과 가장 쉬운 항목은 지남력이였으며, 가장 어려운 항목이 집행기능이 해당하였다. 라쉬 모형에서는 “logit” 으로 측정되어진 동일한 선형 연속체에 개인능력 및 항목 난이도를 배치한다. 여기서 말하는 “logit” 은 어 떠한 항목을 수행할 수 있는 확률의 자연로그를 의미한 다(Wright & Stone, 1979). 본 연구의 결과에 따르면, 지남력에 대한 항목은 년, 월, 일, 요일에 대한 시간 지남 력과 검사를 시행하고 있는 장소를 묻는 장소 지남력으 로 구성되어 일반인 대상에게는 일반적으로 집행기능보 다는 쉬운 항목으로 분류되었다. 집행기능의 경우 두 개 의 시각추론 항목과 한 개의 언어추론으로 구성되었다. 선행연구에서는 임상치매척도(Clinical Dementia Rating; CDR) 0점인 그룹과 5점인 그룹 간에 전두엽의 집행기능이 중요한 영역으로 보고되고 있다(Kim, Park, Lee, & Ha, 2021). 이에 따르면, 쉬운 항목보다는 어려 운 항목에서 인지기능의 선별이 중요한 것으로 사료된다. 또 다른 선행연구에서는 쉬운 항목에 속하는 지남력 항 목을 포함한 인지기능 측정은 인지기능의 기준 측정을 제공할 수 있으며, 심각한 인지장애가 있는 개인을 식별 하는 데 도움이 될 수 있다고 보고하고 있다(Strauss, Sherman, & Spreen, 2006). 또한, 어려운 항목에 속하 는 집행기능 항목을 포함한 인지기능 측정은 특히 경도 인지장애가 있는 개인을 식별함에 있어 상세하고 포괄적 인 이해를 제공할 수 있다(Strauss, Sherman, & Spreen, 2006).

본 연구에서는 항목의 적합도 조사 이후 항목 간에 성 별, 연령, 결혼 여부에 따른 차등항목기능이 있는지 조사 하였다. 그 결과, CIST의 주의집중력 영역은 성별에서 차등항목기능이 있는 것으로 조사되었다. 차등항목기능 은 심리학 및 교육 측정에서 가장 많은 연구를 하는 영역 중 하나이다(Mapuranga, Dorans, & Middleton, 2008). 차등항목기능은 진단명이나 문화적 차이, 성별, 연령 등 에 따른 평가 항목 간의 차이를 조사하기 위한 방법으로 사용되어진다(Lundgren-Nilsson et al., 2005; Tennant et al., 2004). 본 연구에서는 주의집중력에 대해 성별에 서 차등항목기능을 보였으며, 여성보다 남성에서 주의집 중력 영역에서 어려움을 보였다. 선행연구에서는 주의집 중력 기능과 연관된 주의력 결핍 과잉행동 장애는 여성 보다 남성에서 발병률이 높다고 보고하고 있다(Dupont, Rooij, Buitelaar, Reif, & Grimm, 2022). 또한, 비슷한 연구 결과로 남성은 주의력 결핍 과잉행동 장애와 관련 이 있으며, 주의 지속 시간에 어려움을 초래할 수 있는 과잉 행동 및 충동적인 행동을 보일 가능성이 더 높다고 보고 되고 있다(Conners et al., 2002). Conners 등 (2002) 연구에 따르면, 남성은 납 및 기타 독소에 대한 노출과 같은 환경적 요인에 더 취약할 수 있으며, 이는 주의 지속 시간 및 인지기능에도 영향을 미칠 수 있다고 보고하고 있다. 하지만, 성별에 따른 주의집중력 차이의 이유는 현재 완전히 연구되지 않았으며, 관찰된 성별 차 이의 기본 메커니즘을 더 잘 이해하려면 추가 연구가 필 요할 것으로 사료된다.

본 연구에서는 CIST에 대한 신뢰도 분석에 대한 몇 가지 제한점을 가지고 있다. 첫 번째로는, 본 연구는 서울 지역에서 수집한 자료를 사용하였기 때문에 인구통계학 적 특성은 도시 거주지역에만 한정되어 있다. 인지기능 의 경우 거주지역 간 차이가 있는 것으로 보고되고 있기 때문에 시골 지역에 거주하는 노인에는 일반화가 어렵다 (Nam, Downer, Bae, & Hong, 2022). 또한, 서울 지역 과 농촌 지역은 인프라 형성의 차이로 인해 서울 지역 대 사장로만 구성된 본 연구는 농촌 지역 대상자에 대해 일 반화가 어렵다. 두 번째로, CIST를 평가한 대상자는 정 상인지로 치매 진단을 받지 않았기 때문에 인지장애를 가지고 있는 대상자에게는 일반화가 어렵다. 따라서, 향 후 연구에서는 다양한 인구통계학적 특성(거주지역, 인 지기능 정도 등)으로 구성된 대상자로 자료 수집 후 신뢰 도 및 타당도 분석이 필요할 것으로 사료된다.

Ⅴ. 결 론

본 연구는 보건복지부에서 개발하고 2021년 1월부터 국가치매사업에 사용되고 있는 CIST에 대한 신뢰도를 분석하였다. CIST 개발 당시 신뢰도는 분석되지 않았으 며, 현재에도 수렴 타당도 및 판별 타당도만 연구되고 있 다. 이에 본 연구에서는 문항반응이론 중 라쉬 모형을 사 용하여 CIST에 대한 신뢰도 분석을 진행하였다. 그 결과 를 요약하면 다음과 같다. 첫 번째, CIST에 대한 항목 요인분석 결과 일차원성 및 지역 독립성을 가정하여 CIST가 인지기능만을 평가하며, 항목 간 상호 독립적인 것으로 확인되었다. 두 번째로, 라쉬 분석 결과, 적합한 항목 적합도를 보였으며, 가장 쉬운 항목이 지남력, 가장 어려운 항목이 집행기능으로 조사되었다. 또한, 신뢰도 분석 결과, CIST로 인지기능을 평가할 수 있는 신뢰되는 평가도구임을 보여주었다. 마지막으로 차등항목기능 조 사 결과, 주의집중력 항목에서 성별에 따른 차등항목기능 을 보였다. 이러한 결과는 CIST에 대한 신뢰성을 뒷받침 하는 근거를 제공할 수 있을 것으로 사료된다. 또한, 현 시점에 CIST에 대한 신뢰도 분석은 CIST를 사용하여 연구하는 많은 연구진에게 도움이 될 것으로 사료된다.

References

1. 

Bleijenbergh, I., Korzilius, H., & Verschuren, P. (2011). Methodological criteria for the internal validity and utility of practice oriented research. Quality & Quantity, 45, 145-156. 10.1007/s11135-010-9361-5

2. 

Bond, T., Yan, Z., & Heene, M. (2015). Applying the Rasch model: Fundamental measurement in the human sciences (3rd Edition). Abingdon, Oxfordshire: Routledge.

3. 

Brown, M., & Cudeck, R. (1993). Alternative ways of assessing model fit testing structural equation models. Newbury Park, California: Sage Publications.

4. 

Bruton, A., Conway, J. H., & Holgate, S. T. (2000). Reliability: What is it, and how is it measured? Physiotherapy, 86(2), 94-99. 10.1016/S0031-9406(05)61211-4

5. 

Dementia Care Center. (2021). Cognitive Impairment Screening Test (CIST) strips and standards. Retrieved from https://ansim.nid.or.kr/

6. 

Christensen, K. B., Kreiner, S., & Mesbah, M. (2012). Rasch models in health. Hoboken, New Jersey: John Wiley & Sons. 10.1002/9781118574454

7. 

Conners, C. K., Epstein, J. N., Angold, A., & Klaric, J. (2002). Continuous performance test performance in a normative epidemiological sample. Journal of Abnormal Child Psychology, 30(6), 553-564.

8. 

De Ayala, R. J. (2013). The theory and practice of item response theory. New York, NY: Guilford Publications.

9. 

De Vet, H. C., Terwee, C. B., Mokkink, L. B., & Knol, D. L. (2011). Measurement in medicine: A practical guide. Cambridge, England: Cambridge University Press. 10.1017/CBO9780511996214

10. 

Dupont, G., Rooij, D. V., Buitelaar, J. K., Reif, A., & Grimm, O. (2022). Sex-related differences in adult attention-deficit hyperactivity disorder patients-An analysis of external globus pallidus functional connectivity in resting-state functional MRI. Frontiers in Psychiatry, 13. 10.3389/fpsyt.2022.962911 36117656 PMC9478108

11. 

Fisher, W. P. (2007). Rating scale instrument quality criteria. Rasch Measurement Transactions, 21(1), 1095.

12. 

Gavett, B. E., John, S. E., Gurnani, A. S., Bussell, C. A., Saurman, J. L., & Weintraub, S. (2010). The role of Alzheimer’s and cerebrovascular pathology in mediating the effects of age, race, and apolipoprotein E genotype on dementia severity in pathologically-confirmed Alzheimer’s disease. Journal of Alzheimer's Disease, 21(4), 1293-1305.

13. 

Hu, L. T., & Bentler, P. M. (1995). Evaluating model fit. Melbourne, AUS: Sage Publications, Inc.

14. 

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. 10.1080/10705519909540118

15. 

Hwang, D. Y., Ryu, S. H., Kwon, K. H., Choi, C. R., & Kim, S. A. (2022). Correlation between Cognitive Impairment Screening test (CIST), Korean-Mini Mental State Examination, 2nd Edition (KMMSE~ 2) and Clinical Dementia Rating (CDR) of patients with stroke. Therapeutic Science for Rehabilitation, 11(2), 53-62.

16. 

Kang, Y., Na, D. L., & Hahn, S. H. (1997). A validity study on the Korean Mini-Mental State Examination (K-MMSE) in dementia patients. Korean Psychological Association, 15(2), 300-308.

17. 

Kim, J., Park, S. J., Lee, D. Y., & Ha, J. (2021). Neuropsychological domains altered at the early stage of cognitive decline. Journal of Korean Geriatric Psychiatry, 25(2), 105-112. 10.47825/jkgp.2021.25.2.105

18. 

Körver, S., Van De Schraaf, S. A., Geurtsen, G. J., Hollak, C. E., Van Schaik, I. N., & Langeveld, M. (2019). The Mini Mental State Examination does not accurately screen for objective cognitive impairment in fabry disease. Journal of Inherited Metabolic Disease Reports, 48(1), 53-59. 10.1002/jmd2.12036 31392113 PMC6606981

19. 

Kroenke, K., Spitzer, R. L., & Williams, J. B. (2001). The PHQ‐9: Validity of a brief depression severity measure. Journal of General Internal Medicine, 16(9), 606-613. 10.1046/j.1525-1497.2001.016009606.x 11556941 PMC1495268

20. 

Kwon, Y. C. (1989). Korean version of Mini-Mental State Examination (MMSE-K). Journal of the Korean Neurological Association, 1, 123-135.

21. 

Linacre, J. (2016). Rasch measurement computer program user’s guide. Beaverton, Oregon: Winsteps.

22. 

Lord, F. M. (2012). Applications of item response theory to practical testing problems. Abingdon, Oxfordshire: Routledge. 10.4324/9780203056615

23. 

Lundgren-Nilsson, A., Grimby, G., Ring, H., Tesio, L., Lawton, G., Slade, A., ... & Carter, J. (2005). Cross-cultural validity of functional independence measure items in stroke: A study using Rasch analysis. Journal of Rehabilitation Medicine, 37(1), 23-31. 10.1080/16501970410032696 15788329

24. 

Mapuranga, R., Dorans, N. J., & Middleton, K. (2008). A review of recent developments in differential item functioning. Educational Testing Service Research Report Series, 2008(2), 1-32. 10.1002/j.2333-8504.2008.tb02129.x

25. 

Mole, J. A., & Demeyere, N. (2020). The relationship between early post-stroke cognition and longer term activities and participation: A systematic review. Neuropsychological Rehabilitation, 30(2), 346-370. 10.1080/09602011.2018.1464934 29712538

26. 

Nam, S., Downer, B., Bae, S., & Hong, I. (2022). Social, behavioural, and functional characteristics of community‐dwelling South Korean adults with moderate and severe cognitive impairment. International Journal of Methods in Psychiatric Research, 31(2), e1908. 10.1002/mpr.1908 35278012 PMC9159685

27. 

Reeve, B. B., Hays, R. D., Bjorner, J. B., Cook, K. F., Crane, P. K., Teresi, J. A., ... & Hambleton, R. K. (2007). Psychometric evaluation and calibration of health-related quality of life item banks: Plans for the Patient-Reported Outcomes Measurement Information System (PROMIS). Medical Care, 45(5), S22-S31. 10.1097/01.mlr.0000250483.85507.04 17443115

28. 

Stevens, S. S. (1951). Handbook of experimental psychology. Hoboken, New Jersey: John Wiley & Sons.

29. 

Strauss, E., Sherman, E. M. S., & Spreen, O. (2006). A compendium of neuropsychological tests: Administration, norms, and commentary. Oxford, England: Oxford University Press.

30. 

Sullivan, G. M. (2011). A primer on the validity of assessment instruments. Journal of Graduate Medical Education, 3(2), 119-120. 10.4300/JGME-D-11-00075.1 22655129 PMC3184912

31. 

Tennant, A., Penta, M., Tesio, L., Grimby, G., Thonnard, J. L., Slade, A., ... & Lundgren- Nilsson, Å.. (2004). Assessing and adjusting for cross-cultural validity of impairment and activity limitation scales through differential item functioning within the framework of the Rasch model: The PRO-ESOR project. Medical Care, 42(1), I37-I48. 10.1097/01.mlr.0000103529.63132.77 14707754

32. 

Ministry of Health and Welfare. (2021). Cognitive Impairment Screening Test (CIST) manual. Retrieved from https://www.mohw.go.kr

33. 

Wright, B., & Stone, M. (1979). 1979: Best test design. Chicago, Arizona: Mesa Press.

34. 

Yoo, E. Y., Jung, M. Y., Park, S. Y., & Choi, E. H. (2006). Current trends of occuapational therapy assessment tool by Korean occupational therapist. Journal of Korean Society of Occupational Therapy, 14(3), 27-37.

35. 

Zwick, R., Thayer, D. T., & Lewis, C. (1999). An empirical Bayes approach to Mantel‐Haenszel DIF analysis. Journal of Educational Measurement, 36(1), 1-28. 10.1111/j.1745-3984.1999.tb00543.x



This display is generated from NISO JATS XML with jats-html.xsl. The XSLT engine is libxslt.