Journal Information
Article Information
기능적 인지 평가를 위한 한국판 메뉴판 과제(The Menu Task-K)의 타당도 및 신뢰도 검증 연구
Author Information
Objective: This study aimed to develop a Korean version of The Menu Task (The Menu Task-K) and verify its validity and reliability.
Methods: The Menu Task-K was developed using translation and back-translation, comprehension tests, and a Delphi expert survey. Convergent validity was analyzed using the Montreal Cognitive Assessment-Korea (MoCA-K) and Korea Trail Making Test for the Elderly (K-TMT-E) part A, B. Reliability was assessed by measuring internal consistency, test-retest reliability, and interrater reliability, and the cutoff score was estimated.
Results: Content validity results showed that all items had an item-level content validity index of 0.90 or higher. The Menu Task-K and MoCA-K had a significant positive correlation (r = 0.327, p < 0.01) and a significant negative correlation with the K-TMT-E (A, B) (r = -0.274, r = -0.218, p < 0.01). A total score of less than eight points indicated a functional cognition deficit. The internal consistency was relatively low (Cronbach’s α = 0.352) and the test-retest reliability (r = 0.940, intraclass correlation coefficient [ICC] = 0.963) and inter-rater reliability (r = 0.953, ICC = 0.972) were high.
Conclusion: The Menu Task-K is a reliable and valid tool for screening functional cognition in elderly Koreans.
목적: 본 연구의 목적은 기능적 인지를 평가하기 위해 개발된 The Menu Task를 한국어로 번안하여 한국판 메뉴판 과제(Korean version of The Menu Task; The Menu Task-K)를 완성하고, 타당도 및 신뢰도를 검증하고자 하는 것이다.
방법: 번역 및 역번역, 사전 이해도 검증, 전문가 델파이 조사를 통한 내용 타당도 검증을 실시한 후 The Menu Task-K를 완성하였다. Montreal Cognitive Assessment-Korea (MoCA-K) 및 Korea Trail Making Test for the Elderly (K-TMT-E) part A, B와의 상관관계 분석을 통해 수렴 타당도를 검증하였으며, 평가도구의 유용성 검증 및 최적의 선별을 위한 절단값(cut-off values)을 추정하였다. 신뢰도 검증을 위해 내적 일치도, 검사-재검사 신뢰도 및 검사자 간 신뢰도를 측정하였다.
결과: 내용 타당도 검증 결과 모든 문항에서 item-level content validity index 0.90 이상, 수렴도와 합의도가 기준값 이상으로 나타났다. 수렴 타당도 검증 결과 The Menu Task-K는 MoCA-K와 유의한 양의 상관관계를(r = 0.327, p < 0.01), K-TMT-E (A, B)와는 유의한 음의 상관관계를 보였다(r = -0.274, r = -0.218, p < 0.01). 유용성 검증 결과 area under the curve 값이 0.750으로 나타나 기능적 인지를 선별할 수 있는 적합한 도구로 판단되었으며, 최적의 절단점은 7.5점으로 확인되어 총점이 8점 미만인 경우 기능적 인지의 문제가 있는 것으로 선별되었다. 내적 일치도는 Cronbach’s α 값이 0.352로 다소 낮았으며, 검사-재검 사 신뢰도(r = 0.940, intraclass correlation coefficient [ICC] = 0.963)와 검사자 간 신뢰도(r = 0.953, ICC = 0.972)는 높게 나타난 것을 확인할 수 있었다.
결론: 본 연구를 통해 The Menu Task-K는 국내 중고령자의 기능적 인지 선별을 위한 신뢰성과 타당성을 갖춘 도구임이 확인되었으며, 향후 기능적 인지 평가 영역의 학문적 기반 확장에 기여할 수 있을 것으로 기대한다.
I.서 론
인지기능(cognitive function)은 외부 자극을 인식하 고 해석하여 지식으로 통합하고, 이를 바탕으로 상황에 맞는 행동을 선택하게 하는 통합적 뇌 기능으로, 이는 한 개인이 일상생활에 적응하고 독립적으로 기능하는데 필수적인 요소이다([American Occupational Therapy Association [AOTA], 2014]; [Li et al., 2025]). 인지기 능은 여러 요인의 영향을 받지만, 연령은 가장 대표적인 요인으로 알려져 있다. 일반적으로 연령이 증가할수록 인지기능은 자연스럽게 저하되며, 그 외에도 교육 수준, 심리학적 요인, 신체 질환의 유무 등이 영향을 미치는 요인으로 보고된다. 특히 인지기능의 손상을 보이는 대 표적인 질환에는 치매, 뇌졸중, 외상성 뇌손상 등이 있으 며, 신경학적 손상의 부위 및 정도에 따라 인지기능 장애 양상은 다양하게 나타난다([Elendu et al., 2023]; [Hong et al., 2019]). 이러한 인지기능 장애는 독립적인 일상생 활활동의 수행을 어렵게 하고, 타인에 대한 의존성을 높 여 좋지 않은 예후를 남길 뿐만 아니라 우울과 같은 부정 적 정서 변화를 가져오며, 결국에는 사회적 고립을 초래 하게 된다([Oros et al., 2016]).
이와 같이 인지기능의 문제는 일상생활에서 작업의 참 여와 독립성에 부정적인 영향을 미치기 때문에 작업치료 사는 다양한 방법으로 인지기능에 대한 중재를 실시하고 있다. 작업치료사는 작업을 치료의 수단이자 목표로 사 용하여 클라이언트의 인지기능과 작업수행능력을 향상 시킨다. 기억력, 주의력, 지남력, 문제해결능력 등의 인 지기능을 증진시켜 일상생활에서의 독립성과 참여를 높 이고, 이를 통해 클라이언트의 전반적인 삶의 질을 향상 시킬 수 있도록 돕는다([Ahn, 2016]; [AOTA, 2014]). 국내 임상 현장에서는 근거에 기반한 인지재활 중재가 제공되 어 왔으며([Hong et al., 2019]), 책상과제 활동이나 쓰기 위주의 초기 전통적인 인지재활 방법에서부터([Fiorillo et al., 2026]; [Kang et al., 2019]), 신경학적 손상을 보 상할 수 있도록 대응 능력을 강화시키는 전략 훈련, 클라 이언트의 높은 동기를 유발할 수 있고 일관적인 피드백을 제공할 수 있는 컴퓨터 기반의 중재, 대상자의 목적에 맞는 활동과 작업수행을 기반으로 한 인지치료 등 다양한 접근이 시도되고 있다([Ahn, 2016]; [Dahlberg et al., 2007]; [Wolf et al., 2023]).
최근 작업치료 분야에서 주목받고 있는 기능적 인지 (functional cognition)는 복잡한 일상 활동을 성취하 기 위하여 생각(thinking)과 수행기술(performance skills)을 사용하고 통합하는 능력으로([Giles et al., 2017]; [Matsubara et al., 2025]), 한 개인의 인지능력에 기반하 고 그 개인의 운동능력과 활동 요구도, 환경 사이의 역동 적인 상호작용의 결과로 나타나는 관찰 가능한 일상 활동 의 수행을 말한다([Wesson et al., 2016]). [Kwon (2021)] 은 기능적 인지의 개념이 작업치료사에게 작업수행의 관 찰을 통하여 통합적인 인지를 평가하고 인지의 손상을 작업 중심으로 중재할 수 있는 관점을 열어주었다고 하였 으며, [Wesson과 Giles (2019)]는 기능적 인지의 출현이 인간의 인지를 작업적 관점에서 이해하고, 작업에 참여 하는 인간과 환경사이의 상호작용적 관점에서 바라볼 수 있다는 측면에서 작업치료만의 타당성과 차별성을 갖게 했다고 설명하였다.
기능적 인지를 평가하기 위해서는 대상자의 실제 수행 에서 인지적 전략 활용을 관찰할 수 있는 수행기반평가 (performance-based assessment)가 필요하다. 이러 한 접근은 인지기능 뿐 아니라 수단적 일상생활활동 (instrumental activities of daily living; IADL)을 균형 감 있게 평가하여 개인의 실제 수행 능력을 종합적으로 이해할 수 있게 해준다([Keleman et al., 2022]). 현재 임 상에서 사용되는 주요 수행 기반 평가도구로는 알렌 인지 수준 판별검사(Allen Cognitive Level Screen), 일상생 활활동중심 작업기반 신경행동평가(The ADL-focused Occupation-based Neurobehavioral Evaluation), 집행기능 수행평가(Executive Function Performance Test; EFPT), 주간활동 계획세우기 평가(Weekly Calendar Planning Activity; WCPA) 등이 있다.
이러한 도구들은 과제 수행 중 전략 사용, 오류 수정, 계획 실행 등을 관찰함으로써 인지적 수행 특성과 작업 수행 간의 연계를 임상적으로 해석할 수 있도록 설계되었 다([McEwen et al., 2018]). 그러나 국내에서는 여전히 양적으로 결과를 해석하는 전통적인 신경심리검사 중심 의 평가가 주를 이루고 있으며, 일부 수행 기반 평가도구 는 평가자의 숙련도나 해석 방식에 따라 결과의 일관성이 달라질 수 있다는 한계를 지닌다([Baum et al., 2008]; [Keefe & Harvey, 2012]). 따라서 실제 수행 맥락을 반영 하면서도 문화적 특성을 고려한 새로운 평가도구의 개발 과 표준화가 필요하다.
메뉴판 과제(The Menu Task)는 이러한 요구에 부합 하는 수행 기반의 기능적 인지 선별검사로, 지역사회에 서 IADL의 독립성을 저해하는 기능적 인지 손상을 식별 하기 위해 위스콘신대학교에서 [Al-Heizan 등(2018)]에 의해 개발되었다([Edwards et al., 2019]). The Menu Task는 짧은 시간 내에 기능적 인지를 평가할 수 있는 장점을 지니지만, 국내 문화에 맞게 수정 보완되지 않아 국내에서 사용하는데 제한이 있다. 수행 기반의 평가는 대상자의 인지 영역뿐 아니라 맥락과 환경을 고려하여 평 가가 이루어지기 때문에 국외에서 표준화된 평가도구 일지 라도 평가도구의 타당성과 해석의 차이를 방지하기 위해서 해당 나라의 문화에 맞도록 문화적응(cross-cultural adaptation) 과정이 필수적이다([Sousa & Rojjanasrirat, 2011]).
이에 본 연구에서는 기능적 인지 저하를 선별 할 수 있는 The Menu Task를 국내 최초로 한국판으로 개발하 고 타당도 및 신뢰도를 검증하고자 하였다. 이를 위해 문 화적 조정을 포함한 체계적인 번역 절차를 거쳤으며, 전 문가 위원회를 구성하고, 문항 내용을 국내 문화에 맞게 수정 및 보완하여 한국판 메뉴판 과제(Korean version of The Menu Task; The Menu Task-K)를 완성하였 다. 이후 지역사회 거주 중고령자를 대상으로 The Menu Task-K의 타당도와 신뢰도를 검증함으로써, 국내 임상 현장에서 활용 가능한 수행 기반 기능적 인지 평가도구로 서의 가능성을 제시하고자 한다.
II.연구 방법
1.연구 대상
1)사전 이해도 검증 대상자 및 델파이 전문가 집단
사전 이해도 검증 대상자는 본 검사 대상자와는 별개 의 집단이며, 지역사회에 거주하고 있는 55세 이상 중고 령자 10명을 대상으로 실시하였다. 도구의 내용 타당도 검증을 위한 델파이 조사 대상자는 작업치료학 박사 학위 를 취득한 교수 6명, 임상경력 10년 이상의 작업치료사 4명, 총 10명 이었다. 이들의 인구통계 정보는 별도로 제시하지 않았다.
2)본 검사 대상자
도구의 타당도와 신뢰도 검증은 지역사회 거주 55세 이 상 중고령자 150명을 대상으로 실시하였다. 연구 대상자의 선정 기준은 [Edwards 등(2019)]의 The Menu Task 개발 연구와 국내 고령자 고용촉진법을 근거로 1) 55세 이상 중 고령자, 2) Mini-Mental State Examination-Korean version 24점 이상 정상 인지기능 보유자, 3) 의사소통 가능 및 연구 참여에 자발적으로 동의한 자로 하였다. 배제기준은 1) 검사 수행에 중대한 영향을 줄 수 있는 신경계 혹은 정신과적 질환을 가진 자, 2) 심한 시각 및 청각 손상을 가진 자, 3) 연구 절차에 대한 이해 및 동의가 어려운자로 하였다. 연구대상자는 남성 61명(40.7%), 여 성 89명(59.3%)으로 구성되었으며, 연령은 60~79세가 전체의 약 80%를 차지하였다. 학력은 고등학교 졸업 (36.0%)이 가장 많았고, 직업은 기타(60.7%)가 가장 높 은 비율을 보였다. 도시 거주자는 147명(98.0%)이었으 며, 부부 동거 형태가 81명(54.0%)으로 가장 많았다. 이 들의 일반적 특성은 Table 1에 제시하였다. 이 중 20명 은 검사-재검사 신뢰도, 25명은 검사자 간 신뢰도 분석 에 참여하였다.
| Variable | n | % | |
|---|---|---|---|
| Sex | Male | 61 | 40.7 |
| Female | 89 | 59.3 | |
| Age | 50~59 years | 19 | 12.7 |
| 60~69 years | 60 | 40.0 | |
| 70~79 years | 61 | 40.7 | |
| 80~89 years | 10 | 6.7 | |
| Education level | No formal education | 1 | 0.7 |
| Elementary school | 31 | 20.7 | |
| Middle school | 8 | 5.3 | |
| High school | 54 | 36.0 | |
| College (2~3 years) | 31 | 20.7 | |
| University (4 years) | 13 | 8.7 | |
| Graduate school or higher | 12 | 8.0 | |
| Occupation | Office worker | 28 | 18.7 |
| Government employee | 3 | 2.0 | |
| Self-employed | 20 | 13.3 | |
| Freelancer (temporary) | 8 | 5.3 | |
| Other | 91 | 60.7 | |
| Residential area | Urban | 147 | 98.0 |
| Rural | 3 | 2.0 | |
| Living arrangement | Living alone | 21 | 14.0 |
| Living with spouse | 81 | 54.0 | |
| Living with children | 38 | 25.3 | |
| Others | 10 | 6.7 | |
2.연구 설계 및 절차
본 연구는 [Al-Heizan 등(2018)]이 개발한 The Menu Task를 한국어로 번안하고 사전 이해도 검증 및 문항 적합 성 과정을 거쳐 The Menu Task-K를 개발한 뒤, 지역사회 거주 중고령자를 대상으로 도구의 타당도와 신뢰도를 검증 하기 위한 방법론적 연구이다. 연구 기간은 2023년 4월 14 일부터 2024년 7월 30일까지였으며, 모든 과정은 청주대학 교 생명윤리위원회(Institutional Review Board)의 심의 를 거쳐 승인(승인번호: 1041107-202304-HR-079-01) 을 받은 후 진행되었다. 연구 목적과 절차를 충분히 설명 하고 서면 동의를 받은 뒤 평가를 실시하였다. 연구 절차 는 번역 및 역번역, 사전 이해도 검증(10명), 전문가 델파 이 조사(10명), 본검사(150명), 타당도 및 신뢰도 검증 단계로 이루어졌다(Figure 1).
Figure 1.Total Flow Chart of the Study
1)번안 과정
The Menu Task를 한글로 번역하기 전에 개발자에게 한국판으로의 제작과 연구용으로 사용할 수 있도록 허가 를 받았다. 번역 과정은 [World Health Organization (2012)]에서 제시한 권장 절차를 준수하여 단계적으로 수 행하였다. The Menu Task의 번역은 보건의료 분야 번 역 경험을 갖춘 번역 전문가 1인과 임상 및 연구경력을 합산하여 10년 이상인 연구자가 공동으로 수행하였다. 특히 음식 관련 문항은 문화적 차이를 고려하여 질병관리 청 「2020년 국민영양통계」의 식품섭취조사 자료를 참고 해 한국 문화에 적합한 식단으로 조정하였다. 역번역은 이중언어에 능숙하고 한국 문화에 정통한 작업치료학과 교수 2인이 수행하였으며, 두 교수 모두 임상 및 연구 경력을 합산하여 10년 이상을 보유하고 있었다. 또한 번 안 과정의 신뢰도 확보를 위해 번역-역번역-전문가 위원 회 검토 절차를 거치며 원문의 의미를 충실히 반영하는지 와 핵심 용어의 일치 여부를 반복적으로 점검하였다. 이 후 보건의료 분야 번역 경험이 있는 전문가 1인이 번역본 과 원문의 의미 일관성을 최종 확인하였다.
2)사전 이해도 검증
사전 이해도 검증은 한글로 번역된 The Menu Task-K의 문항에 대한 이해도를 확인하기 위해 실시하 였다. 지역사회에 거주하고 있으며 인지기능에 문제가 없는 55세 이상 중고령자 10명을 모집하였고, 모집은 지역사회 공지 및 자발적 참여를 통해 이루어졌다. 지원 자 중에서 성별과 연령 분포가 치우치지 않도록 고려한 뒤 무작위로 선정하였다. 대상자 수는 번안 단계에서 문 항 이해도를 확인하기 위해 일반적으로 사용되는 인원이 10명 내외임을 고려하여([Kim & Park, 2019]) 10명으로 정하였다. 사전 이해도 검증은 총 2차에 걸쳐 시행되었 다. 1차 사전 이해도 검증은 번역 및 역번역 과정을 거친 후 진행되었으며, 2차 사전 이해도 검증은 델파이 조사 완료 후 진행되었다. 검증 문항은 ‘점수 기록지 지시문과 과제 지시문 기록지, 메뉴(아침메뉴, 점심메뉴, 저녁메 뉴, 오후/저녁 간식)’였으며, 각 문항은 ‘매우 이해되지 않음(1), 이해되지 않음(2), 보통(3), 이해됨(4), 매우 이 해됨(5)’까지 5점 척도로 표시하도록 하였으며, 특히 2점 이하의 경우는 어떤 부분이 이해되지 않는지 구체적으로 의견을 작성하도록 요청하였다.
3)타당도 및 신뢰도 검증
(1)타당도 검증
문항의 내용 타당도는 델파이 기법(Delphi technique) 을 통해 검증하였다. 전문가 패널은 [Lee (2001)]의 인원 권고 기준에 따라 10명으로 구성하였다. 조사는 총 3회 시행하였고, 각 차수마다 의견의 불일치를 보인 항목은 수정 및 보완 절차를 거친 뒤 재평가하는 방식으로 의견 의 합의를 도출하였다. 검증 문항은 ‘점수 기록지 지시문, 채점 기록지(과제 오류, 시작 및 억제 오류, 채점 후 질문 및 해석), 과제 오류의 시행 및 채점 주의사항, 시작 및 억제 오류의 시행 및 채점 주의사항, 과제 지시문 기록지, 메뉴(아침메뉴, 점심메뉴, 저녁메뉴, 오후/저녁 간식)’ 6 가지 영역으로 구분하였고, 각 영역 내의 내용들을 총 106개의 문항으로 세분화하여 설문지를 구성하였다. 각 문항은 ‘매우 적합하지 않음(1), 적합하지 않음(2), 적합 (3), 매우 적합(4)’까지 4점 척도로 평가하였고, 분석 시 문항별 내용 타당도 지수(item-level content validity index; I-CVI)를 산출하고, 평균, 표준편차, 수렴도, 합 의도를 함께 분석하였다. I-CVI 값은 0.78 이상을 타당 하다고 판단하며, 합의도는 0.75 이상, 수렴도는 0.50 이하일 때 패널 간의 의견이 합의되었음을 의미한다 ([Lee, 2001]).
수렴 타당도 검증을 위해 55세 이상 중고령자 150명을 대상으로 The Menu Task-K와 한국판 몬트리올 인지 선별검사(Montreal Cognitive Assessment-Korea; MoCA-K), 한국판 노인용 기호잇기검사(Korea Trail Making Test for the Elderly [K-TMT-E] part A, B) 를 동시에 측정하여 각 도구의 상관성을 비교하였다. MoCA-K와 K-TMT-E (A, B)를 기준 도구로 선정한 이 유는 원 도구 개발자가 타당도 검증 과정에서 이 두 가지 도구를 사용하였기 때문에 원 도구와의 비교 가능성과 방법론적 일관성을 확보하기 위함이었다.
유용성 검증을 위해 수용자조작특성(receiver operating characteristic; ROC) 곡선 분석을 사용하여 판별 정확 도(area under the curve; AUC), 민감도 및 특이도를 산출하였다. 일반적으로 AUC는 0에서 1의 값을 가지며 1에 가까울수록 판별 정확도가 높은 검사라고 할 수 있다 ([Greiner et al., 2000]). 최적의 절단 값은 Youden’s index를 기준으로 산출하며, 1에 가장 근접한 값을 최적의 절단 값으로 간주한다([Ruopp et al., 2008]). MoCA-K의 경도인지장애 절단점(23점)을 기준으로 인지 정상군과 인지 저하 위험군을 구분하였다.
(2)신뢰도 검증
신뢰도는 내적 일치도, 검사-재검사 신뢰도, 검사자 간 신뢰도로 검증하였다. 내적 일치도는 150명의 중고령 자를 대상으로 실시하였다. Cronbach’s α의 값이 0.70 이상이면 문항 간의 내적 일치도가 높으며, 다소 이질적 인 문항이 포함되어 있을 때는 0.50 이상이면 신뢰도가 있는 것으로 판단한다([Ware & Sherbourne, 1992]). 검 사-재검사 신뢰도는 동일 대상자 20명을 대상으로 1주 일 간격으로 평가를 반복 실시하고, 피어슨 상관분석 및 급내 상관계수(intraclass correlation coefficient; ICC)를 통해 분석하였다. 검사자 간 신뢰도는 연구자와 임상경력 5년 이상의 작업치료사 1인이 각각 25명을 독 립적으로 평가한 결과를 바탕으로, 피어슨 상관계수와 ICC를 활용해 점수 일치도를 확인하였다. ICC 값이 0.75 이상이면 우수한 신뢰도로 간주하였다([McGraw & Wong, 1996]).
3.연구 도구
1)한국판 메뉴판 과제(The Menu Task-K)
The Menu Task-K는 기능적 인지 손상의 선별을 위 해 개발되었으며, 과제 이해력 및 오류 인식 등의 고위 인지기능 평가에 유용한 도구이다. 평가는 조용하고 구 조화된 환경에서 검사자와 피검자가 일대일로 마주한 상 황에서 이루어지며, 기록 용지와 연필 이외의 다른 도구 는 필요하지 않다. 병원이나 지역사회 기관 어느 곳에서 든 쉽게 실시할 수 있으며, 평가 시간이 5분 미만으로 간단하게 점수를 측정할 수 있다는 장점이 있다. 피검자 는 ‘아침, 점심, 저녁 및 오후/저녁 간식’ 네 시간대에 따라 제 제공된 메뉴 중 규칙에 맞게 음식을 선택하며, 이때 총 칼로리와 음료량을 초과하지 않고, 심장에 좋은 음식으로 표시된 항목을 선택해야 한다는 조건을 맞추어 야 한다. 검사자는 수행 전 메뉴판을 제시하고 과제 규칙 을 설명한 후, “이 과제를 얼마나 잘 수행할 수 있다고 생각하십니까?”라는 질문을 통해 피검자의 자기 예측 능 력을 확인한다.
검사자는 과제 수행 과정에서 선택 순서, 오류 발생, 규칙 준수, 전략 사용 여부 등을 관찰하여 평가하고, 수행 이 끝난 후 “이 과제를 얼마나 잘 수행했다고 생각하십니 까?”, “과제를 하는 동안 실수나 오류 없이 수행하셨습니 까?”라는 질문을 통해 오류 인식을 파악한다. 이때 피검 자가 오류를 인식할 경우 어떤 오류가 있었는지 다시 질 문하며 자기 점검 능력을 평가할 수 있다.
The Menu Task-K는 정량적 평가(12점 만점)와 질 적 분석 항목으로 구성된다. The Menu Task-K는 원 도구(The Menu Task)의 평가 구조(총 12점, 8점 이하 cut-off)를 기반으로 번안한 것으로, 본 연구에서는 동일 기준을 준용하여 분석을 실시하였다. 정량적 평가 항목 은 과제 오류(7점)와 시작 및 억제 오류(5점)로 구성되며, 12점 만점 중 8점 이하인 경우 인지적 결함의 가능성을 시사한다. 질적 분석 항목에는 수행 전 예측과 수행 후 결과 비교, 오류 인식 여부 등이 포함되는데, 이 질적 정보는 점수에는 반영되지 않지만, 전략 사용 및 메타인 지 수준에 대한 임상적 통찰을 제공하는 데 유용하다 ([Toglia, 2018]).
2)한국판 몬트리올 인지 선별검사(MoCA-K)
몬트리올 인지 선별검사(MoCA-K)는 [Nasreddine 등(2005)]에 의해 개발된 선별 도구로, 경도인지장애 (mild cognitive impairment)를 식별할 수 있도록 고안되 었다. [Lee 등(2008)]은 Montreal Cognitive Assessment 의 한국어판인 MoCA-K를 개발하여 국내 문화에 맞게 수정·보완하였으며, 해당 도구는 국내에서 타당도와 신 뢰도를 입증받은 평가도구로 활용되고 있다. MoCA-K 의 구성은 총 7개 인지 영역으로 이루어져 있으며, 세부 항목은 시간-공간 실행력, 어휘력, 주의력, 문장력, 추상 력, 지연 회상, 지남력이다. 총점은 30점 만점이며, 6년 이하의 학력을 가진 대상자에게는 가산점 1점을 부여하 여 학력에 따른 편차를 보정할 수 있다. 일반적으로 23점 이하일 경우 인지기능 저하 대상자로 판별하며([Lee et al., 2008]), MoCA-K의 내적 일치도 Cronbach’s α는 0.81~0.84 범위로 확인되었다([Kang et al., 2009]).
3)한국판 노인용 기호잇기검사(K-TMT-E [A, B])
한국판 노인용 기호잇기검사(K-TMT-E [A, B])는 [Reitan (1958)]이 고안한 Trail Making Test를 [Kang 등(2012)]이 국내 노인의 특성에 맞게 수정한 도구로, 정 신운동속도 및 집행기능을 평가한다. 본 검사는 A형과 B형 두 파트로 구성되며 치매 선별 검사로서도 높은 민감 도를 가진 것으로 보고되었다([Heun et al., 1998]). A형 은 원으로 둘러싸인 숫자 1에서 15까지 올바른 순서대로 연결하는 것이며, B형은 숫자 ‘1에서 8’과 요일 ‘월에서 일’까지 숫자와 글자를 교대로 연결하는 것이다. 수행 중 에는 펜을 종이에서 떼지 않아야 하고, 300초 초과 시 검사를 중단하는 것이 원칙이다. 수행 결과는 소요 시간, 오류 수 등의 지표를 통해 해석된다. 도구의 검사-재검사 신뢰도는 A형은 0.73, B형은 0.88로 나타났다([Kang et al., 2012]).
4.분석방법
본 연구에서 사용한 분석 방법은 다음과 같다. 연구 대상자의 일반적 특성은 기술통계로 분석하였고, 내용 타당도는 문항별 내용타당도 지수, 평균과 표준편차, 합 의도 및 수렴도를 산출하여 분석하였다. 수렴 타당도는 피어슨 상관분석을 통해 기존 검사 도구와의 상관관계를 확인하였고, 도구의 유용성과 최적의 절단값은 ROC 곡 선 분석을 통해 AUC, 민감도, 특이도를 산출하여 확인하 였다. 내적 일치도는 크론바흐 알파계수(Cronbach’s α) 를, 검사-재검사 신뢰도와 검사자 간 신뢰도는 피어슨 상관계수와 급내 상관계수(ICC)를 이용하여 검증하였 다. 모든 통계는 SPSS ver. 27.0 프로그램을 사용하여 분석하였고, 유의수준은 0.05로 설정하였다.
III.연구 결과
1.사전 이해도 검증 결과
본 연구에서 번안된 평가 문항에 대한 사전 이해도 검 증을 실시하였다. 1차 사전 이해도 검증 결과 모든 항목 의 평균은 3점~4점 초반대를 유지하였고, 항목 전체 평 균은 3.92 ± 0.29점으로 이해 가능성은 양호하였으나 몇 가지 항목에 대해 수정이 필요하다는 의견을 제시하였 다. 점수 기록지 지시문의 경우 “문장이 매끄럽지 않아 여러 번 읽어야 이해할 수 있다”는 의견이 있었으며, 음식 메뉴항목 중 프렌치 토스트와 잼과 같은 항목에서는 “일 상에서 잘 접하지 않는 메뉴들이라 와닿지 않는다”와 같 은 의견이 제시되었다.
이러한 의견을 반영하여 점수 기록지 지시문을 좀 더 가독성 있게, 음식 메뉴는 한국의 문화적 맥락을 반영할 수 있도록 일상생활에서 보다 익숙하게 접할 수 있는 메 뉴로 수정하였다. 이후 전문가 델파이 조사를 시행한 후, 1차에 참여했던 동일 대상자들에게 2차 사전 이해도를 검사하였다. 그 결과 “이전보다 시각적으로 보기 쉬워졌 다”는 등의 긍정적인 반응을 보였고, 항목 전체 평균도 4.21 ± 0.57점 이었으며, 대부분의 하위 항목에서도 평 균 4점대의 점수를 기록하였다. 이는 전반적으로 일반 대상자들이 문항을 무리없이 이해할 수 있도록 적절하게 조정된 것으로 판단된다.
2.타당도 검증 결과
1)내용타당도 검증 결과
내용타당도 검증을 위해 총 3회에 걸쳐 델파이 조사를 실시하였다. 1차 산출 결과 기준값을 만족하지 못한 항목 으로는 점수 기록지 지시문(3 문항), 채점 기록지의 과제 오류(1 문항), 시작 및 억제오류의 시행 및 채점 주의사항 (1 문항), 과제 오류의 시행 및 채점 주의사항(3 문항), 아침메뉴(1 문항)에서 I-CVI 0.78 이하, 수렴도 0.50 이상, 합의도 0.75 이하로 나타나 전문가 간 의견의 일치 수준이 낮은 것으로 나타났다. 이 중 6개 문항은 세 가지 지표 모두 기준값에 미치지 못하였고, 나머지 3개 문항은 I-CVI 또는 합의도 중 하나에서 미달됨을 확인하였다. 기타 주관적 의견에서는 “음료의 ml 수치가 원본의 oz에 비해 너무 커져서 전체적인 난이도를 높이는 것으로 보인 다”, “흑미밥, 오곡밥 등은 동일하게 밥으로 표기하고, 미역국, 동태탕과 같이 특정한 이름을 붙인 음식 보다는 국으로 통일하는 것이 일관성 있다”는 등의 의견을 제시 하였다.
이와 같은 전문가의 의견을 바탕으로 문항을 조정한 뒤 2차 델파이 조사를 실시하였다. 그 결과 과제 점수 기록지 지시문(2 문항), 채점 기록지의 과제오류(1 문항), 과제 오류의 시행 및 채점 주의사항(3 문항)에서 하나 이상의 기준값이 충족되지 못하여 해당 문항들을 수정·보완한 후 3차 델파이 조사를 실시하였다. 3차 델파이 조사 결과 모든 문항에서 I-CVI, 수렴도 및 타당도가 기 준값 이상으로 나타나 모든 항목들이 전문가 간 일치에 도달한 것으로 판단되어 최종 문항으로 확정하였다 (Appendix Figure A1).
2)수렴 타당도 검증 결과
본 연구의 수렴 타당도는 The Menu Task-K와 MoCA-K, K-TMT-E (A, B) 간의 상관계수를 산출하여 검증하였다. 분석 결과 The Menu Task-K의 총점과 MoCA-K 총점은 유의한 양의 상관관계를 보였다(r = 0.327, p < 0.01). The Menu Task-K의 총점과 K-TMT-E (A)는 유의한 음의 상관관계를 보였으며(r = -0.274, p < 0.01), K-TMT-E (B)와도 유의한 음의 상 관관계를 나타내었다(r = -0.218, p < 0.01)(Table 2).
| The Menu Task-K | MoCA-K | K-TMT-E (A) | K-TMT-E (B) | ||
|---|---|---|---|---|---|
| The Menu Task-K | r | 1 | - | - | - |
| p | - | - | - | - | |
| MoCA-K | r | 0.327** | 1 | - | - |
| p | 0.000 | - | - | - | |
| K-TMT-E (A) | r | -0.274** | -0.338** | 1 | - |
| p | 0.001 | 0.000 | - | - | |
| K-TMT-E (B) | r | -0.218** | -0.263 | 0.585** | 1 |
| p | 0.007 | 0.001 | 0.000 | - |
3)유용성 검증 및 절단 값 추정 결과
MoCA-K의 절단 값 23점을 기준으로 인지 정상군과 인지저하 위험군으로 구분하여 유용성 검증을 실시하였 다. 분석 결과, The Menu Task-K의 ROC 곡선은 참조 선의 왼쪽 상단에 위치하는 경향을 보였으며, 곡선 아래 의 면적 AUC 값이 0.750 (표준오차 = 0.056, 95% 신뢰 구간 = 0.641~0.860, p = 0.001)으로 나타나 MoCA-K 기준에 따른 인지저하 위험군을 선별하는데에서 양호한 판 별력을 보였다. 절단점은 Youden’s index가 가장 큰 값 을 기준으로 산출하였으며, 그 결과 The Menu Task-K의 최적의 절단점은 Youden’s index의 값이 0.503에 해 당하는 7.5점으로 확인되었다. 따라서 임상 적용 편의를 고려하여 8점 미만을 기능적 인지 저하 위험군으로 제안 한다(Tables 3, 4)(Figure 2).
| AUC | Standard error | Significance probability | 95% confidence interval | |
|---|---|---|---|---|
| Lower | Upper | |||
| 0.750 | 0.056 | 0.001 | 0.641 | 0.860 |
| Cut-off score | Sensitivity | 1-specificity | Youden’s index |
|---|---|---|---|
| 2.00 | 0.992 | 0.944 | 0.048 |
| 3.50 | 0.985 | 0.833 | 0.152 |
| 4.50 | 0.932 | 0.833 | 0.099 |
| 5.50 | 0.886 | 0.722 | 0.164 |
| 6.50 | 0.795 | 0.556 | 0.239 |
| 7.50 | 0.614 | 0.111 | 0.503 |
| 8.50 | 0.318 | 0.056 | 0.262 |
| 9.50 | 0.136 | 0.056 | 0.080 |
| 10.50 | 0.045 | 0.000 | 0.045 |
| 12.00 | 0.000 | 0.000 | 0.000 |
Figure 2.ROC Curve of The Menu Task-K
3.신뢰도 검증 결과
1)내적 일치도
The Menu Task-K의 내적 일치도 검증 결과, 전체 Cronbach’s α 값은 0.352로 나타나 문항간의 일관성이 낮은 것으로 확인되었다. 일반적으로 Cronbach’s α가 0.70 이상이면 높은 신뢰도로 간주되며, 이질적인 문항 이 포함된 경우 0.50 이상일 때 신뢰도가 있다고 판단하 나, 본 도구는 이에 미치지 못하는 수준으로 확인되었다 (Table 5).
| Components | Sub-items | Mean ± SD | Cronbach’s α (deleted item) |
|---|---|---|---|
| Task errors | 1. Calorie limit observeda | 0.53 ± 0.50 | 0.394 |
| 2. Beverage volume limit observed | 0.88 ± 0.32 | 0.389 | |
| 3. Two beverages per meal (breakfast/lunch) | 0.47 ± 0.50 | 0.353 | |
| 4. One beverage at dinner | 0.76 ± 0.42 | 0.246 | |
| 5. One food item per meal | 0.72 ± 0.45 | 0.270 | |
| 6. Selection of heart-healthy foods | 0.87 ± 0.33 | 0.332 | |
| 7. Two snacks selected | 0.52 ± 0.50 | 0.288 | |
| Initiation and inhibition errors | 8. Verbal confirmation after reading instruction | 0.47 ± 0.50 | 0.274 |
| 9. Announces task start | 0.46 ± 0.50 | 0.310 | |
| 10. Starts task independently | 0.74 ± 0.43 | 0.373 | |
| 11. No questions during task | 0.43 ± 0.49 | 0.380 | |
| 12. Announces completion without cue | 0.60 ± 0.49 | 0.343 | |
| Total Cronbach’s α = 0.352 | |||
2)검사-재검사 신뢰도 검증 결과
본 연구에서는 검사-재검사 신뢰도를 검증하기 위해 연구 대상자 20명을 대상으로 1주일의 간격을 두고 동일 한 평가를 두 차례 실시하였다. 수집된 자료는 피어슨 상관분석과 ICC를 통해 분석하였다. 피어슨 상관계수를 통한 관련성을 살펴보면, 각 영역별 피어슨 상관계수의 범위는 r = 0.459~1.000이며, 항목 총점의 상관계수는 r = 0.940으로 높은 관련성이 있는 것으로 나타났다. 특 히 과제오류 1번과 4번 항목이 r = 1.000으로 가장 높게 나타났다. ICC를 통한 관련성을 살펴보면, 각 영역별 범 위는 ICC = 0.557~1.000이며, 항목 총점의 ICC = 0.963으로 일치도가 높은 것으로 나타났다. 개별항목의 ICC 또한 과제오류 1번과 4번 항목이 가장 높게 나타난 것을 확인할 수 있었다(Table 6).
| Components | Sub-items | Test | Retest | r | ICC |
|---|---|---|---|---|---|
| Task errors | 1. Calorie limit observeda | 0.55 ± 0.51 | 0.55 ± 0.51 | 1.000** | 1.000** |
| 2. Beverage volume limit observed | 0.85 ± 0.36 | 0.90 ± 0.30 | 0.793** | 0.877** | |
| 3. Two beverages per meal (breakfast/lunch) | 0.45 ± 0.51 | 0.40 ± 0.50 | 0.903** | 0.949** | |
| 4. One beverage at dinner | 0.75 ± 0.44 | 0.75 ± 0.44 | 1.000** | 1.000** | |
| 5. One food item per meal | 0.65 ± 0.48 | 0.60 ± 0.50 | 0.899** | 0.946** | |
| 6. Selection of heart-healthy foods | 0.80 ± 0.41 | 0.95 ± 0.22 | 0.459* | 0.557* | |
| 7. Two snacks selected | 0.50 ± 0.51 | 0.45 ± 0.51 | 0.905** | 0.950** | |
| Initiation and inhibition errors | 8. Verbal confirmation after reading instruction | 0.45 ± 0.51 | 0.35 ± 0.48 | 0.811** | 0.895** |
| 9. Announces task start | 0.50 ± 0.51 | 0.50 ± 0.51 | 0.800** | 0.889** | |
| 10. Starts task independently | 0.65 ± 0.48 | 0.70 ± 0.47 | 0.892** | 0.943** | |
| 11. No questions during task | 0.50 ± 0.51 | 0.45 ± 0.51 | 0.905** | 0.950** | |
| 12. Announces completion without cue | 0.80 ± 0.41 | 0.85 ± 0.36 | 0.840** | 0.910** | |
| Total | 7.50 ± 2.03 | 7.40 ± 1.72 | 0.940** | 0.963** | |
3)검사자 간 신뢰도 검증 결과
본 연구에서는 검사자 간 신뢰도를 검증하기 위해 연 구자 1인과 임상경력 5년 이상의 작업치료사 1인이 연구 대상자 25명을 각각 독립적으로 평가하였다. 수집된 평 가 결과는 피어슨 상관계수 및 ICC를 활용하여 분석하였 다. 피어슨 상관분석 결과, 각 항목의 상관계수는 r = 0.798~1.000 범위로 나타났다. 총점의 상관계수는 r = 0.953으로 높은 관련성이 있는 것으로 확인되었고, 시작 과 억제 항목 중 11번과 12번 항목의 상관계수가 가장 높게 나타났다. ICC의 각 영역별 범위는 ICC = 0.880~1.000이며, 항목 총점은 ICC = 0.972로 일치도 가 높은 것으로 나타났다. 개별 항목에서는 시작과 억제 항목 중 11번과 12번 항목의 ICC가 가장 높은 것으로 나타났다(Table 7).
| Components | Sub-items | Rater A | Rater B | r | ICC |
|---|---|---|---|---|---|
| Task errors | 1. Calorie limit observeda | 0.72 ± 0.45 | 0.76 ± 0.43 | 0.901** | 0.947** |
| 2. Beverage volume limit observed | 0.87 ± 0.33 | 0.92 ± 0.27 | 0.798** | 0.880** | |
| 3. Two beverages per meal (breakfast/lunch) | 0.28 ± 0.45 | 0.32 ± 0.47 | 0.909** | 0.952** | |
| 4. One beverage at dinner | 0.76 ± 0.43 | 0.80 ± 0.40 | 0.890** | 0.941** | |
| 5. One food item per meal | 0.72 ± 0.45 | 0.76 ± 0.43 | 0.901** | 0.947** | |
| 6. Selection of heart-healthy foods | 0.84 ± 0.37 | 0.88 ± 0.33 | 0.846** | 0.913** | |
| 7. Two snacks selected | 0.60 ± 0.50 | 0.64 ± 0.48 | 0.919** | 0.957** | |
| Initiation and inhibition errors | 8. Verbal confirmation after reading instruction | 0.56 ± 0.50 | 0.64 ± 0.48 | 0.846** | 0.916** |
| 9. Announces task start | 0.52 ± 0.50 | 0.60 ± 0.50 | 0.850** | 0.919** | |
| 10. Starts task independently | 0.64 ± 0.48 | 0.72 ± 0.45 | 0.831** | 0.907** | |
| 11. No questions during task | 0.60 ± 0.50 | 0.60 ± 0.50 | 1.000** | 1.000** | |
| 12. Announces completion without cue | 0.68 ± 0.47 | 0.68 ± 0.47 | 1.000** | 1.000** | |
| Total | 7.76 ± 1.87 | 8.32 ± 1.65 | 0.953** | 0.972** | |
IV.고 찰
본 연구는 기능적 인지를 실제 작업 맥락에서 평가할 수 있도록 개발된 The Menu Task를 한국판으로 개발 한 후 지역사회 거주 55세 이상의 중고령자를 대상으로 도구의 타당도와 신뢰도를 검증하고자 하였다. 기능적 인지는 개인이 실제 환경에서 목표 지향적인 활동을 수행 하는데 필요한 인지적 처리 능력을 의미하며([Toglia, 2018]), 단순한 점수 기반의 인지검사로는 전략 사용 실 패, 오류 인식 지연, 외부 단서에 대한 반응 실패 등과 같은 특성을 포착하기 어려워 수행 기반 평가를 통해서만 관찰 가능하다([Toglia & Foster, 2025]). 이러한 배경에 서 개발된 The Menu Task는 일정한 규칙과 제한 속에 서 메뉴를 선택하는 것을 통해 대상자들의 전략 사용 및 오류 인식 등을 확인할 수 있다. 또한 간단한 규칙 기반 과제를 통해 기능적 인지 저하군을 선별할 수 있도록 설 계되었으며, 평가 소요 시간이 짧고 상황 설정 자체도 간결하게 구성되어 있어 임상적 활용 가치가 높게 평가된 다([Giles et al., 2020]; [Toglia & Foster, 2025]).
다른 나라에서 개발된 평가도구를 국내에서 활용하기 위해서는 단순한 언어 분석뿐만 아니라 해석에 필요한 전문적인 지식을 바탕으로 그 문항들이 측정하는 바를 정확하게 반영하는 것이 필수적이다([Hyrkäs et al., 2003]). 따라서 본 연구의 번안 과정에서는 2중 언어에 능통하고, 한국 문화에 대한 이해도가 높은 보건의료 전 문가가 참여하였다. 특히 The Menu Task는 음식 메뉴 선정이 주가 되는 평가도구이기 때문에 해시브라운, 터 키버거, 가든샐러드 등 서양 문화권에서 사용되는 생소 한 메뉴를 국내 대상자들에게 친숙하게 변경하기 위해 질병관리청 ‘국민영양통계’의 식품섭취조사를 토대로 일 부 음식메뉴를 수정하였다. 이후 번안된 내용의 이해도 검증을 위해 지역사회 거주 55세 이상의 중고령자 10명 에게 총 2차례에 걸쳐 사전 이해도 검증을 실시하였고, 검증을 통해 문항에 대한 이해 가능성이 전반적으로 양호 한 것을 확인할 수 있었다. 보건의료 전문가 패널 10명에 게 3차에 걸쳐 내용타당도 검증을 위한 델파이 조사를 실시하였고, 조사가 진행되는 동안 I-CVI, 수렴도 및 합 의도의 기준치에 해당하는 항목과 해당하지 않는 항목을 정리하였다. 기준치에 해당되지 않은 항목은 전문가의 의견을 반영하여 수정·보완하였고, 최종적으로는 모든 문항에서 기준치에 해당하는 결과를 보여 도구의 내용 타당도가 확보되었다. 이와 같은 결과들은 본 평가 문항 들이 개념적으로 타당하고, 임상 현장에서도 충분히 적 용가능성이 있음을 보여준다.
수렴 타당도를 검증하기 위해 The Menu Task-K와 MoCA-K, K-TMT-E (A, B)간의 상관계수를 산출하였 다. 분석 결과 The Menu Task-K 총점과 MoCA-K 총점은 유의한 양의 상관관계를 보였고, The Menu Task-K 총점과 K-TMT-E (A, B) 수행 시간과는 유의한 음의 상관관계를 나타내었다. 상관계수는 전반적으로 중 간 정도(r = 0.30~0.49)의 수치를 나타내었는데, 기준 도구로 사용된 MoCA-K는 집행기능과 주의력의 요소를 포함한 전반적인 인지능력을 평가하며, K-TMT-E (A)는 시각 탐색과 주의력을, K-TMT-E (B)는 전환 능력과 같 은 고차원적인 이마엽 기능을 평가할 수 있는 등 서로 개념적 유사성을 가진 도구이지만 각 도구별 측정 방식과 구성 개념에 다소 차이가 있어 상관성이 큰 정도로 나타 나지는 않았을 것으로 해석된다. 그럼에도 개념적 유사 성을 가진 각 도구 간의 관련성이 확인되어 The Menu Task-K의 수렴 타당도가 일정 부분 확보된 것으로 판단 되며, 이러한 결과는 The Menu Task-K가 전반적인 인지기능 뿐만 아니라 고차원적 집행기능과 관련된 수행 요소를 일부 평가할 수 있는 도구임을 보여준다.
본 연구에서는 The Menu Task-K가 기능적 인지 선 별도구로써 적합한지 알아보기 위해 ROC 곡선 분석을 실시하였다. 검증을 위한 표준 도구로 MoCA-K를 이용 하였으며, MoCA-K의 절단 값 23점을 기준으로 인지 정상군과 인지저하 위험군으로 구분하여 유용성 검증을 진행하였다. 분석 결과, ROC 곡선이 참조선 왼쪽 상단에 위치하는 경향을 보였으며, 곡선 아래의 면적 AUC 값이 0.750으로 나타나 MoCA-K로 구분된 인지저하 위험군 에서 기능적 과제 수행의 어려움을 선별하는데 유용한 도구임을 보여주었다. 또한 Youden’s index 분석을 통 해 산출한 최적의 절단점(cut-off score)은 7.5점으로, 이 값을 기준으로 총점 8점 미만인 경우 기능적 인지 저하 가능성이 있는 집단으로 간주할 수 있음을 의미한다. 이 결과는 The Menu Task 개발 연구에서 제시된 절단점(8 점) 및 후속 연구에서의 결과(9점)와 일치하며([Al-Heizan et al., 2018]), The Menu Task-K가 선별 목적의 평가 도구로서 타당한 기준점을 제시함을 의미한다. 그러나 본 연구에서는 MoCA-K만을 기준으로 기능적 인지 저 하를 구분하였고, 실제 일상생활 수행능력과의 직접적인 연관성을 확인하지 못하였기 때문에 해석에 대한 주의가 필요할 수 있다. 또한 본 연구에서는 선별 도구로서의 민감도와 특이도를 제시하는 수준으로 분석하였고, 실제 예후에 대한 예측과 임상적 활용의 효과 까지는 검증하지 못하였다. 따라서 추후 임상 혹은 지역사회 등의 여러 환 경과 다양한 인구집단을 대상으로 The Menu Task-K의 임상적 효과를 폭넓게 검증해볼 필요가 있다.
신뢰도 검증에서 내적 일치도 Cronbach’s α 값은 0.352로 다소 낮게 나타났으나 이는 기능적 인지와 같이 복합적인 하위 인지 요소를 포함하는 도구의 구조적 특성 에 기인한 결과로 해석된다([Giles et al., 2017]). [Ware 와 Sherbourne (1992)]은 평가 항목들이 서로 이질적인 하위 개념으로 구성된 경우, 내적 일치도 계수가 낮게 나타날 수 있음을 지적한 바 있다. 본 도구는 ‘과제 오류’, ‘시작 및 억제 오류’ 등 상이한 인지 과정을 포함하는 항목들로 구성되어 있으며, 이러한 이질적인 문항 구조 는 단일 요인으로 수렴되기보다는 기능적 인지의 다차원 적 사고 특성을 반영한 결과로 해석된다([Giles et al., 2017]; [Kwon, 2021]). 따라서 본 도구의 낮은 Cronbach’s α 값은 기능적 인지 평가의 특수성을 고려할 때, 도구의 구조적 약점으로 해석되기보다는 다양한 인지 요소를 포 괄하고 있다는 간접적 근거로 판단할 수 있다.
검사-재검사 신뢰도는 동일한 검사를 동일한 피검자 집단에 일정 시간을 두고 두 번 실시하여 얻은 두 검사 점수의 상관계수에 의해 측정하며, 신뢰도 계수가 0.90 이상이면 신뢰할 만한 수준이고, 보통 1주 간격으로 평가 를 시행하는 것이 일반적이라고 하였다([Sung, 2002]). 본 연구에서는 이와 같은 기준을 참고로 하여 검사-재검 사 신뢰도를 검증하기 위해 동일한 대상자에게 1주 간격 을 두고 평가를 실시하였다. 분석 결과 각 항목별 및 항목 총점에 대한 신뢰도 모두 전반적으로 높게 나타남을 확인 할 수 있었다. 이는 The Menu Task-K가 시간의 안정성 (temporal stability)과 재현 가능성이 높다는 것을 보여 준다. 검사자 간 신뢰도는 서로 다른 평가자가 동일한 대상자를 평가하여 얻은 결과를 측정하며, 마찬가지로 신뢰도 계수가 0.90 이상이면 신뢰할 만한 수준으로 간 주된다([Park & Ahn, 2024]). 본 도구의 검사자 간 신뢰 도에서도 각 항목별 및 항목 총점 신뢰도 모두 높은 수준 으로 나타나 검사자 간 일치도가 높은 것으로 확인되었 다. 이는 평가자의 주관이나 개개인의 숙련도 차이 보다 도구의 채점 기준과 시행 절차가 결과에 더 큰 영향을 미친다는 것을 뜻한다. 즉, The Menu Task-K는 다양 한 임상 환경에서 안정적으로 시행할 수 있는 평가도구임 을 시사한다. 앞에서 언급했던 바와 같이 본 도구는 서로 다른 하위 인지 과정과 행동의 특성을 반영하는 항목들로 구성되어 있기 때문에 문항 간 상관성이 낮아 내적 일치 도 값이 낮게 측정되었다. 반면, 검사-재검사 신뢰도 및 검사자 간 신뢰도는 하위 항목과 총점에서 모두 높게 나 타나 측정의 안정성 측면에서 신뢰도가 확보 되었음을 보여주었다. 따라서, 본 도구의 신뢰도는 도구의 구조적 특성상 내적 일치도가 상대적으로 낮게 나타날 수 있음을 고려하여 내적 일치도 보다는 측정의 안정성, 재현 가능성 측면에 중점을 두고 해석하는 것이 적절하다고 사료된다.
본 연구는 The Menu Task-K가 수행 기반의 기능적 인지 평가도구로서의 타당도와 신뢰도를 갖추었다는 것 을 확인하였으나 다음과 같은 제한점이 있다. 첫째, 연구 대상자의 대부분이 충북지역에 거주하는 중고령자에 한 정되어 있어 연구의 결과를 전체 중고령자로 일반화하기 에는 무리가 있다. 둘째, 비교 도구 또한 MoCA-K 및 K-TMT-E (A, B)로 국한되었다. 셋째, 인지 평가에서 고려될 수 있는 나이나 교육 수준에 따른 점수에 대해서 는 제시하지 못하였다. 넷째, 원 도구 개발자에게 한국판 으로의 개발에 대한 허가는 받았으나 역번역본을 검수받 는 단계까지는 수행하지 못하였다. 마지막으로 본 도구 의 문항이 다차원적 특성을 가질 가능성이 있으나 탐색적 요인분석(exploratory factor analysis; EFA) 혹은 문 항 수준 분석(item response theory; IRT)을 추가로 고려하지 못하였다. 이러한 제한점을 보완하기 위해서 향후 연구에서는 지역의 범위를 확대하여 더 많은 대상자 에게 연구를 진행하며, EFPT 혹은 WCPA와 같은 보다 다양한 수행기반 관련 평가도구와의 관련성을 확인해 볼 필요가 있다. 또한, 나이나 교육 수준에 따른 점수 조정에 대한 후속 연구가 필요하며, 도구의 국제적 일관성 강화 를 위해 역번역본에 대한 개발자 검수를 추가하도록 할 것이다. 더 큰 표본을 확보한 후 EFA와 IRT 분석을 추가 하여 모형의 적합도를 확인해 보는 것도 의미 있는 연구 가 될 것으로 판단된다. 마지막으로 지역사회 일반 중고 령자 외에 경도 인지장애 혹은 치매 등 임상군을 포함한 다양한 대상자들에서의 추가 검정이 필요할 것이다. 이 와 같이 지속적인 후속 연구들을 통해 The Menu Task-K의 임상 현장 적용 가능성을 높이며, 기능적 인지 평가 영역의 확산에 기여할 수 있을 것이다.
V.결 론
작업 수행 기반의 도구인 The Menu Task는 짧은 시간 내에 효율적으로 기능적 인지를 평가할 수 있는 도 구임에도 국내 문화에 맞게 표준화 되지 않아 국내 임상 환경에서 바로 적용하기에 한계가 있었다. 본 연구에서 는 The Menu Task를 한국판으로 표준화 하기 위해 전 문가 위원회의 체계적인 검증을 통해 한국의 음식문화를 반영한 번역과 역번역 절차를 진행하였고, 전문가 델파 이 조사를 통해 내용 타당도를 검증하였다. 인지기능을 평가하는 기존 평가도구들과의 수렴 타당도가 안정적으 로 확보 되었으며, 검사-재검사 신뢰도 및 검사자 간 신 뢰도 또한 높은 수준으로 나타났다. 본 연구를 통해 The Menu Task-K는 기능적 인지 영역을 타당하게 측정할 수 있는 검사 도구임이 확인되었다.
The Menu Task-K는 결과를 양적 수치로만 제시하 는 기존 신경심리검사들에 비해 대상자들이 어떤 전략을 사용하며, 오류에 대한 인식을 할 수 있는지와 같은 질적 인 분석이 가능하다는 장점을 가진다. 또한 검사 규칙이 다소 간단하여 평가 시간 또한 짧기 때문에 바쁜 임상 환경에서 유용하게 사용될 수 있을 것이다. 나아가 자동 화된 평가 시스템과 실시간 피드백 기능을 포함하는 구조 로 확장한다면 임상 적용성과 교육적 활용도가 한층 높아 질 것이다.
작업치료사는 본 평가를 통해 확인된 대상자들의 질적 정보를 활용하여 IADL 수행 과정의 어려움과 제한 사항 을 파악하고, 적절한 치료 목표와 중재 계획을 구체적으 로 세울 수 있을 것이다. 국내에서 최초로 한국판으로 개발된 본 도구가 임상 현장에서 활발하게 활용된다면 기능적 인지 평가영역의 학문적 기반 확장에도 기여할 수 있을 것이다.
References
Appendix
Figure A1.The Menu Task-K