Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1226-0134(Print)
ISSN : 2671-4450(Online)
Journal of Korean Society of Occupational Therapy Vol.28 No.3 pp.71-81
DOI : https://doi.org/10.14519/kjot.2020.28.3.06

Methodological Quality Assessment of Meta-Analyses in the Field of Korean Occupational Therapy Using the Korean Journal of Occupational Therapy

Yoo-Im Choi*, Se-Yun Kim**
*Dept. of Occupational Therapy, Wonkwang University, Associate Professor
**Dept. of Physical Therapy, Woosuk University, Associate Professor

Corresponding author: Kim, Se-Yun (ksy8024@woosuk.ac.kr/ Dept. of Physical Therapy, Woosuk University)

05/05/2020 30/06/2020 13/07/2020

Abstract

Objective:

The purpose of this study was to assess the methodological quality of meta-analyses published in the Korean Journal of Occupational Therapy (KJOT) and provide guidelines for future meta-analysis research.


Methods:

Among the papers published in the KJOT from the first issue until 2019, meta-analyses were searched and seven papers were selected. The methodological quality of the papers were analyzed according to the criteria of the AMSTAR evaluation tool.


Results:

The overall methodological quality average score of the meta-analyses was 6.71 (SD = 0.70), which is a moderate level. Analytical papers were all at a moderate level (100%), and there were no high or low level studies. All of the studies faithfully implemented 7 out of 11 items of AMSTAR. However, it was found that four items (use of grey literature, presentation of included and excluded study lists, use of the quality of the individual studies in formulating conclusions, and conflicts of interest) were rarely commonly conducted in all studies.


Conclusion:

Meta-analyses in the Korean occupational therapy field were found to faithfully apply the methodological analysis process at above a moderate level. However, it is necessary to continue efforts to improve the quality of meta-analyses by using the grey literature, reflecting the results of a quality evaluation of individual studies in the conclusions and describing conflicts of interest.



국내 작업치료 분야 메타분석 논문의 방법론적 질 평가: 대한작업치료학회지 게재 논문을 중심으로

최 유임*, 김 세연**
*원광대학교 건강증진연구소 및 환경과학연구소, 의과대학 작업치료학과 부교수
**우석대학교 보건복지대학 물리치료학과 부교수

초록

목적 :

이 연구는 대한작업치료학회지에 게재 논문을 중심으로 국내 작업치료 분야 메타분석 논문의 방법 론적 질을 평가하고 메타분석 연구를 위한 지침을 제공하는 것이다.


연구방법 :

창간호부터 2019년까지 발간된 대한작업치료학회지 게재 논문 중 메타분석 논문을 검색하여 최종적으로 7편의 논문을 선택하였다. 메타분석 논문의 방법론적 질은 AMSTAR 평가도구의 기준에 따 라 분석하였다.


결과 :

메타분석 논문의 전체 방법론적 질 평균점수는 6.71점(SD=0.70)으로 보통 수준에 해당하였다. 분석논 문들은 모두 보통 수준(100%)에 해당하였으며 높은 수준 및 낮은 수준의 연구는 한 편도 없었다. 분석대상 연구들은 AMSTAR의 11개 항목 중 7개 항목을 충실하게 이행하고 있었으나, 4개 항목(회색문헌 사용, 포함 및 배제논문 목록 제시, 결론 도출 시 질 평가 결과 활용, 이해상충 기술)에 대해서는 공통적으로 거의 수행하지 않는 것으로 나타났다.


결론 :

작업치료 분야의 메타분석 연구들은 방법론적 분석과정을 보통 수준 이상으로 충실하게 수행하는 것으로 확인되었으나, 메타분석 시 회색문헌을 선정기준에 포함하고 개별연구 질 평가 결과를 결론에 반영하며 이해상 충 표기를 함으로서 메타분석 논문의 질 향상을 위한 노력을 지속하여야 하겠다.



    Ⅰ. 서 론

    현대의학 및 보건의료분야에서는 개별 환자에 대한 평 가 및 중재를 위한 의사결정을 위하여 근거기반실무 (Evidence-Based Practice; EBP)가 강조되고 있는데, 근거기반실무에서 과학적 연구의 근거는 방법의 타당성 이 인정된 다양한 임상연구라 할 수 있다(Choi & Park, 2014;Kim & Oh, 2019). 근거기반실무에서 체계적 고 찰은 가장 상위 등급의 근거로 인식되고 있다(Kim & Hyun, 2015). 체계적 고찰은 특정 연구 질문에 답을 제 시하기 위하여 사전에 체계적으로 정의된 선정기준에 부 합되는 모든 자료들을 수집하고 분석하는 방법론으로, 연구대상과 방법론적 측면에서 발생 가능한 편의와 랜덤 오류를 최소화하고 중재의 안정성과 효과에 대한 가장 유용한 근거로 사용되는 체계적 접근이다(Cha, 2012;Higgins & Green, 2019).

    메타분석은 체계적 고찰의 가장 대표적 방법으로 특정 주제에 대한 개별연구들을 통계적으로 결합하여 대안이 나 결론을 도출하여 종합된 결과를 제시하는 것이다 (Shin & Park, 2011;Song, Kang, Kim, & Shin, 2014). 메타분석은 연구결과들이 미묘한 차이가 있거나 서로 상 충될 때 개별연구들을 통계적으로 결합하여 평균 효과크 기를 추정하여 결과를 제시하기 때문에 강력한 근거기반 이 되며 특히 정량적 측정과 비교가 가능하기 때문에 작 업치료 분야를 포함한 보건의료 분야에서 임상적 판단을 하는데 유용하다.

    메타분석 연구가 근거기반실무를 위한 자료가 되기 위 해서는 연구방법의 신뢰성과 타당성이 있어야 한다. 메 타분석은 동질성의 차이가 나는 개별연구물을 종합하기 때문에 왜곡된 결론 도출, 출판편의, 질 낮은 데이터 활 용, 독립성 가정 위반 등의 문제를 발생시킬 수 있다 (Jang & Shin, 2011). 또한 메타분석 연구가 증가하면 서 메타분석 이론에 대한 개념적 이해가 부족한 상태에 서 연구가 시행되었을 수 있다(Kim & An, 2015). 따라 서 메타분석 연구들이 자료수집 과정, 통계적 분석방법 등에서 타당하게 수행되었는지 검증하는 방법론적 질 평 가는 필수적이다(Hwang, 2016;Moher et al., 2015;Shea et al., 2009).

    메타분석의 방법론적 질 평가를 위한 대표적인 도구로 Assessment of Multiple Systematic Reviews(AMSTAR) 가 있다. AMSTAR는 여러 질 평가도구들의 평가내용과 방법을 보완하여 신뢰도와 타당도를 확보한 것으로 전 세계에서 공통적으로 사용하는 도구이다(Shea et al., 2009). AMSTAR는 모든 학문분야에서 적용할 수 있고 개인 연구자에게 개방되어 있어 도구의 접근성이 용이하 며, 방법론적 분석과 더불어 연구의 질도 체계적으로 확 인할 수 있다(Song et al., 2014). 우리나라는 한국보건 의료연구원에서 AMSTAR 사용을 승인 받았고, 이후 메 타분석 질 평가도구로 AMSTAR 사용을 권고하고 있다 (Kim et al., 2011). 이러한 이유로 AMSTAR를 사용하 면 서로 다른 학문분야나 주제를 대상으로 수행된 메타 분석 연구의 질적 수준을 객관적으로 비교할 수 있다.

    메타분석 논문들의 질적 수준이 동일하지 않을 수 있 기 때문에 이들 결과물을 임상에 적용하기 위해서는 메 타분석 연구의 질적 수준을 평가해야 한다. 질적 평가는 이미 보고된 연구결과에 대한 판단을 돕고 추후 연구될 결과들의 질적 수준을 발전시키는데 기여할 수 있다. 최 근 여러 분야에서 메타분석 연구의 질적 수준을 평가한 연구들이 보고되고 있으나 작업치료 분야에서는 아직까 지 보고된 바가 없다. 작업치료 분야에서 메타분석 연구 들이 꾸준히 증가하고 있는 상황에서 메타분석 연구가 근거자료를 기반으로 명확하게 연구되었는지 평가하는 것은 근거기반실무를 위해서 반드시 필요한 일이다.

    따라서 본 연구의 목적은 국내 작업치료 분야 메타분 석 연구의 질적 수준을 평가하여 방법론적으로 성실히 수행된 항목과 부족한 항목을 확인하는 것이다. 이를 통 해 추후 작업치료 분야 메타분석 연구의 질 향상을 위한 방안을 제시하여 근거기반 작업치료 실무에 기여하려는 것이다.

    Ⅱ. 연구 방법

    1. 연구 설계

    본 연구는 국내 작업치료 분야 메타분석 연구의 질적 수준을 분석한 서술적 조사연구다.

    2. 문헌 선정기준 및 수집 과정

    이 연구는 국내 작업치료 분야 대표 학술지인 대한작 업치료학회지의 연구물을 모집단으로 하였다. 1993년 창간호부터 2019년 12월까지 발간된 대한작업치료학회 지 논문 중 메타분석 논문을 대상으로 하였다. 대한작업 치료학회 홈페이지의 학회지 원본제공서비스를 활용하 여, ‘체계적 고찰’, ‘고찰’, ‘메타분석’을 주제어로 하여 검 색을 하였다. 핵심단어만으로 메타분석 연구 확인이 정 확하지 않을 수 있기에 이차적으로 대한작업치료학회지 모든 논문의 초록과 본문을 확인하였다. 분석대상 선정 기준은 메타분석 연구로 하였고, 배제기준은 체계적 고 찰만을 수행하고 메타분석은 실시하지 않은 논문으로 하 였다. 두 명의 연구자가 사전에 계획한 기준에 맞추어 개 별적으로 문헌선정과 자료추출을 하였고 불일치 사항은 논의를 통하여 합의하였다. 1차 주제어 검색을 통해 총 54편의 논문이 선택되었고 이중 체계적 고찰 연구, 고찰 연구 및 작업치료 연구 동향을 보고한 논문 등 선정기준 에 부적합한 47편을 제외한 총 7편의 메타분석 연구를 최종 분석대상으로 선정하였다(Figure 1).

    3. 연구 도구

    1) 분석대상 논문의 특성

    분석대상 논문의 특성은 출판년도, 저자 수, 전자정보 원 수, 연구대상, 분석논문 수, 연구주제, 주요 결과, 연구 설계, 연구비 지원 여부, 질 평가 및 질 평가도구 등을 조사하였다.

    2) 메타분석 논문의 질 평가도구

    질적 수준 평가를 위하여 Assessment of Multiple Systematic Reviews(AMSTAR) 한국어 버전을 사용 하였다. AMSTAR는 메타분석 연구의 방법론적 질을 평 가하는 신뢰도와 타당도가 검증된 도구로, 문헌고찰의 계획 수립, 문헌선택과 자료 추출 방법, 포괄적 문헌검색, 회색문헌 사용(출판 상태 포함 기준), 포한 및 배제논문 목록 제시, 개별연구의 특성 제시, 개별연구의 질 평가, 개별연구의 질을 결론 도출 시 활용, 개별연구 결과의 결 합방법의 적절성, 출판편의 가능성 평가 및 이해상충 기 술의 총 11개 문항의 체크리스트로 구성되어 있다(Kim et al., 2011). 각 문항은 ‘예’는 1점, ‘아니오, 대답할 수 없음, 적용할 수 없음’은 0점으로 평가하며, 총점 범위 (0-11점) 중 0-4점은 낮은 수준, 5-8점은 보통 수준, 9-11점은 높은 수준으로 해석한다(Kim et al., 2011).

    4. 자료 분석

    1) 자료 코딩

    연구자 2인이 독립적으로 자료를 코딩하였다. 연구자 들은 메타분석 연수에 참여한 경력과 주저자로 메타분 석을 1회 이상 수행한 경험을 갖고 있었다. 코딩 항목은 분석대상 논문의 특성 및 방법론적 질 평가에 대한 것 이었다.

    2) 신뢰도

    질 평가를 시행하기 전에 연구자들은 분석항목의 개념 을 공유하고 이후 독립적으로 분석을 진행하면서 연구자 간 일치도를 확인하였다. Cohen’s kappa 계수 분석을 통 해 연구자 간 평가 일치도를 확인하였고 일치도는 .97이 었다(Shea et al., 2009). 불일치 항목(1개)에 대해서는 충분한 토의과정을 거쳐 최종적으로 합의된 결론을 도출 하였다.

    Ⅲ. 연구 결과

    1. 분석대상 논문의 특성

    분석대상 논문 7편의 특성을 확인한 결과, 메타분석 연구가 출판된 시기는 2011년부터였다. 2011년도 출판 이후 2019년도에 3편의 논문이 게재되는 등 2015년도 이후에 메타분석 연구가 꾸준히 증가하는 경향을 보였다. 저자 수는 최소 2명에서 최대 4명까지였으며, 연구대상 자는 모두 질환을 가지고 있는 성인이나 노인으로 아동 관련 연구는 없었다. 구체적으로 7편 중 5편이 뇌졸중 환자를 대상으로 하였고, 정신과 환자 및 중추신경계 손 상 환자를 대상으로 하는 연구가 각각 한 편이었다. 메타 분석을 시행한 논문의 수는 최소 7편에서 최대 23편이었 으며 대부분의 연구 설계는 무작위 대조군 실험연구였다. 문헌추출을 위해 사용한 전자정보원 수는 최소 2개에서 최대 10개였다. 국외논문을 분석한 연구는 4편, 국내연 구를 분석한 논문은 1편, 국내외 연구를 분석한 논문은 총 2편이었다. 모든 분석대상 논문이 질 평가를 시행하였 는데 가장 많이 사용한 평가도구는 Pedro scale이었다. 연구 주제는 다양한 작업치료 중재(중독에 대한 비약물 적 치료, 전기자극치료, 인지재활중재, 지역사회기반 중 재, 과제지향적 로봇중재 및 연하재활치료 등)에 대한 것 이었고, 주된 결과는 상지기능, 상지운동기능, 일상생활 활동, 연하기능, 작업수행, 심리사회적 기능 등에 대한 것이었다. 모든 연구가 연구비 지원 없이 진행되었다 (Table 1).

    2. 분석대상 논문의 방법론적 질 평가

    분석대상 논문의 방법론적 질을 AMSTAR로 평가한 결과 평균은 6.71점(표준편차 0.70)으로 보통 수준에 해당하는 것으로 나타났다. 개별연구별로 살펴보면 모든 연구들이 보통 수준(범위: 6-8)에 해당하며 높은 수준 과 낮은 수준의 연구는 한 편도 없었다(Table 2).

    세부항목별로 살펴보면 AMSTAR 11개 문항 중 총 4 개 문항(1번: 사전 문헌고찰 계획 수립, 6번: 개별연구의 특성 제시, 7번: 개별연구의 질 평가, 9번: 개별연구결과 결합방법의 적절성)은 모든 연구에서 충실히 수행한 것 으로 나타났다. 또한 2번(다수의 연구자에 의한 문헌선 택과 자료추출), 10번(출판편의의 가능성 평가) 및 3번 (포괄적 문헌검색) 문항은 대부분의 연구에서 기준을 충 족하였다. 하지만 4번(회색문헌 사용), 5번(포함/배제논 문 목록 제시), 11번(이해상충 기술) 및 8번(개별연구의 질을 결론 도출 시 활용) 문항은 모든 연구에서 거의 수 행되지 않았다(Table 3).

    Ⅳ. 고 찰

    본 연구는 국내 작업치료 분야 메타분석 논문의 질적 평가를 통해 향후 작업치료 분야의 메타분석 연구의 질 향상 및 근거기반 작업치료 실무에 기여하고자 수행되었다.

    대한작업치료학회지에 출판된 메타분석 연구는 총 7 편이었으며 2011년 이후 양적 증가추세에 있음을 확인 하였다. 이는 2010년 이후 메타분석을 위한 체계가 마련 되고 근거기반실무에 대한 중요성이 강조되면서 메타분 석 연구들이 증가한 것으로 판단된다. 2019년에 3편의 논문이 출간되었는데 이는 앞으로 작업치료 분야에서 메 타분석 연구가 더욱 증가할 것임을 예측할 수 있었다. 7 편의 논문의 질적 수준은 연도별로 보면 2011년부터 2019년까지 비슷하였는데, 메타분석 연구가 보고된 초 기부터 가이드라인에 부합되도록 연구자들이 논문을 작 성하여 꾸준히 질적 수준을 유지하였기 때문인 것으로 판단된다. 다만 공통적으로 수행하지 못한 항목에 대해 서는 앞으로 질적 수준을 높일 수 있기를 기대한다.

    분석대상 연구들을 살펴본 결과 7편의 논문은 모두 성 인을 대상으로 수행된 연구들이었고 아동 관련 연구는 한 편도 없었다. 대한작업치료학회지 투고 연구를 분석 한 선행연구에서는 전체 연구들 중 아동과 관련된 연구 의 비율이 20.2%라고 하였는데, 성인에 비해 상대적으 로 아동 연구가 적다 보니 개별연구물을 결합하는 메타 분석 연구 시행이 어려웠을 것이라 판단된다(Yoo, Lee, Lee, Park, & Yoo, 2011). 또한 아동 대상 연구는 집단 실험연구보다는 단일대상연구 설계를 적용하는 경우도 많은데, 메타분석 연구들이 단일대상연구를 제외하는 경 향이 있는 것도 관련 연구가 없는 이유라고 생각된다 (Choi, Kim, & Park, 2012). 더불어 아동 관련 메타분 석 연구가 해외 학회지나 특정 주제에 부합하는 관련 학 회지에 투고되었을 수도 있다. 따라서 아동과 관련한 메 타분석 연구들에 대한 질적 평가를 위해서는 검색대상 범위를 확대하고 아동 작업치료와 관련한 검색어로 문헌 을 검색하여 연구를 진행할 필요가 있겠다.

    AMSTAR를 사용하여 분석대상 논문의 질적 수준을 평가한 결과 11점 만점에 평균 6.71점(표준편차 0.70) 으로 보통 수준에 해당하는 것으로 나타났다. 개별연구 물들의 논문 수준 역시 모두 보통 수준에 해당하였고 점 수 범위는 6점에서 8점 사이에 분포하였다. 개별연구 중 에서 높은 수준 및 낮은 수준의 논문은 한 편도 없었다. 본 연구 결과 작업치료 분야의 질 평가 점수는 AMSTAR 를 사용하여 질적 수준을 분석한 다른 분야의 연구들(국 내 한의학 분야 6.0점, 국내 유아교육 분야 5.44점, 간호 학 분야 5.6점, 스포츠 경영학 분야 5.8점)보다 높은 것 으로 나타났다(Kim & Hyun, 2015;Kim & Kim, 2013;Park, 2018;Park & Kwag, 2018). 본 연구결과 에서 주목할 부분은 낮은 수준의 연구가 한 편도 없다는 점으로, 이는 작업치료분야의 메타분석을 수행하는 연구 자들이 기본적으로 충실하게 메타분석 보고기준 및 가이 드라인을 수행하고 있으며 또한 임상에서 사용될 때 근 거중심의 접근으로 의의를 가진다고 할 수 있겠다.

    질 평가 문항에 대해 세부적으로 살펴본 결과 11개 문 항 중 1번, 6번, 7번, 9번의 4개 문항(사전에 문헌고찰 계획 수립, 개별연구의 특성 제시, 개별연구의 질 평가, 개별연구 결과 결합방법의 적절성)은 분석대상 논문 모 두에서 충실히 이행하고 있었다. 다만, 1번 문항의 <사전 문헌고찰 계획 수립>의 경우 연구주제 및 연구문제를 명 확히 기술하고 개별연구의 선정기준도 제시하는 등 충실 히 기준에 맞게 수행하였지만, 메타분석의 신뢰성과 관 련이 있는 회색문헌의 검색을 사전계획 단계에서 제한한 점은 출판편의 문제를 야기할 수 있다는 점을 고려해야 할 것이다(Park & Kwag, 2018). 따라서 사전계획 수립 시 최대한 많은 연구물을 수집할 수 있도록 연구자의 주 의가 필요하겠다.

    2번 문항의 <다수의 연구자에 의한 문헌선택과 자료 추출>은 1편을 제외하고 모든 연구에서 수행되고 있었 다. 메타분석 시 두 명 이상의 연구자가 개별연구에 대해 독립적으로 검색하고 코딩을 하여야 한다(Shea et al., 2009). 질 평가 항목의 경우에는 메타분석 연구뿐 아니 라 체계적 고찰 연구에서도 두 명 이상의 연구자가 독립 적으로 질 평가를 수행한다고 기술하는데 반해 문헌추출 및 자료코딩 항목에서는 이에 대해 구체적으로 언급되지 않는 경우가 있다. Cooper(2010)의 메타분석 보고 가 이드라인에 따르면 연구결과의 타당성 확보에 영향을 줄 수 있기 때문에 코딩절차를 수행할 때 코딩하는 사람의 자격, 인원 및 채점자간 신뢰도와 일치도를 보고하도록 하고 있다. 그러므로 메타분석 연구자들은 엄격하게 이 부분을 수행해야 할 것이다.

    3번 문항의 <포괄적 문헌검색>은 2편의 논문을 제외 하고 모두 충실하게 수행하였다. AMSTRA는 적어도 2 개 이상의 전자자료원을 사용하고 보완적 검색전략(참고 문헌 검토, 학회 발표자료, 해당분야 전문가 의견 수렴 등)을 수립할 것을 권장하고 있다. 7편의 분석대상 연구 가 최소 2개에서 최대 10개의 전자자료원을 사용하여 문 헌검색을 하였으나, 보완적 검색전략과 관련해서는 2편 의 연구가 시행하지 않았다. 검색전략과 실행방법에 따 라 선택오류 및 출간오류가 발생할 수 있기 때문에 연구 목적에 적합한 보완적 검색전략을 수립하려는 연구자의 노력이 좀 더 필요하겠다(Kim & An, 2015).

    10번 문항의 <출판편의 가능성 평가>는 1편을 제외하 고 모든 연구에서 충실히 수행하였다. 출판편의는 효과 크기가 높은 연구는 낮은 연구에 비해 출판 가능성이 높 아 메타분석에 포함될 가능성이 높다는 것으로 출판편의 가 의심되는 연구는 적절한 근거기반으로 활용되기 어렵 다. 6편의 연구들은 출판편의 검정을 위해 깔대기 그림 (funnel plot) 및 숲 그림(forest plot)을 통해 출판편의 를 검증하였다.

    AMSTAR의 7개 항목은 모든 연구에서 대부분 충실 히 수행되었으나 4번, 5번, 11번, 8번의 4개 항목(회색 문헌 사용, 포함/배제논문 목록 제시, 이해상충 기술, 개 별연구의 질을 결론 도출 시 활용)은 모든 연구에서 수행 을 전혀 하지 않았거나 거의 하지 않았다. 이들 4개 문항 중 5번과 8번 항목은 메타분석 연구의 질 평가를 시행한 선행연구에서도 공통적으로 매우 낮은 수행을 보인 항목 이었다(Kim & Oh, 2019;Park, 2018;Park & Kwag, 2018; Song et al., 2019).

    4번 문항의 <회색문헌 사용>은 모든 연구에서 회색문 헌을 분석대상에 포함하지 않았다. 회색문헌 사용은 출 판 여부에 관계없이 문헌을 검색하였는지를 의미하는데, 대부분의 분석대상 연구들은 사전에 문헌고찰 계획 수립 시 학위논문이나 개별대상연구를 배제기준에 포함시키 는 경향이 있었다. 연구 편의성을 위하여 배제하였거나 메타분석에 대한 이해가 부족하기 때문이었을 수 있겠으 나, 학위논문을 포함한 출간되지 않은 문헌들까지 메타 분석에 포함시키려는 노력은 출판편의 문제를 줄이고 메 타분석의 신뢰성과 타당성을 높이는 방법이다(Park & Kwag, 2018; Suk, 2011). 따라서 학위논문을 포함한 여러 개별연구들을 자신의 연구에 포함시키려는 노력을 기울여야 할 것이다.

    5번 문항의 <포함/배제논문 목록 제시>의 경우 7편의 연구물 모두 포함논문의 목록은 제시하였으나 배제목록 은 제시하지 않았다. 수많은 배제논문 목록을 제시하는 것은 비효율적이라 할 수 있기 때문에 이러한 항목은 수 행하기 어렵고 따라서 AMSTAR의 제한점이라고 할 수 있겠다. 하지만 이를 보완하기 위하여 문헌검색 시 최초 선정기준을 더욱 세밀하고 명확하게 수립하여 처음 검색 된 논문의 양을 최소화하고, 배제논문의 사유를 서술하 도록 권장되고 있으므로 이를 준수한다면 질적 수준을 유지할 수 있을 것이라 판단된다(Moher, Altmannn, Liberati, & Tetzaff, 2011). 본 연구의 분석대상 연구 들은 비록 배제목록은 제시하지 않았지만 배제사유 및 배제논문의 수는 문헌선택 과정에서 기술하고 있는 것으 로 나타났다.

    8번 문항의 <결론 도출 시 개별연구의 질 활용>은 한 편을 제외하고 모든 연구에서 시행하지 않았다. Cooper (2010)는 메타분석 연구 보고 시 논의 항목에서 연구의 질에 대한 평가를 포함한 보편적 한계점을 진술하여 최 종 연구결과 해석 시 이를 고려할 것을 권장하고 있다. 6편의 분석대상 연구들은 질 평가 시행 결과 낮은 수준의 질을 보이는 연구들이 있었으나 이를 결론 도출에서 활 용하지 않았다. 이러한 점은 전체적인 질적 수준이 보통 에 해당하지만 메타분석 연구에 대한 이해가 부족하여 결론 도출과 관련한 부분에서는 공통적으로 모두 낮은 수준을 보였다고 할 수 있겠다. 연구자들은 메타분석 연 구 수행 시 질 평가를 수행하는 목적이 무엇인지 다시 한 번 상기할 필요가 있으며, 질 평가뿐 아니라 이에 대한 해석을 신중하게 하여 결론을 도출하도록 할 것이다.

    11번 문항의 <이해상충 기술>은 모든 연구에서 언급 이 없어 판단할 수 없었다. 이해상충은 연구자의 일차적 관심사에 대한 판단이 연구자 주변의 이차적 이해관계로 인해 부당하게 영향을 받을 수 있는 조건을 의미하는 것 으로, 연구비 지원여부가 개별연구들의 결과에 영향을 미칠 가능성이 있으므로 이해상충 기술은 중요하다. 외 국과 달리 대부분 국내 학회지들은 출판규정에 따라 차 이는 있으나 이해상충에 대한 기술을 별도의 문서로 제 출하고 논문에는 표시하지 않는 경우가 많다. 이러한 이 유로 본 연구의 분석대상 연구들도 이해상충 부분을 확 인하기 어려웠던 것으로 판단된다. 메타분석의 질 평가 를 시행한 다른 연구들(Park, 2018;Park & Kwag, 2018;Song et al., 2014)도 본 연구결과와 같이 분석대 상 연구들 모두 이해상충을 기술하지 않았다. 하지만 이 해상충이 연구결과 해석에 영향을 줄 수 있으므로 메타 분석 연구 시 연구자는 분석대상 논문의 이해상충 여부 를 확인하고 이를 언급하여 연구결과의 신뢰성을 높이도 록 노력해야 할 것이다. 연구자의 노력과 더불어 관련 학 회지에서도 이해상충 및 사사표기 유무 표시를 고려할 필요가 있겠다.

    작업치료 분야의 논문들은 대부분 검색어에 작업치료 를 포함하고 있지 않고 특정 대상자, 특정 중재 또는 중재 효과를 검색어로 하여 논문을 출간하고 있다. 때문에 작 업치료 분야 논문을 검색하는데 제한이 있다. 따라서 본 연구에서는 작업치료의 대표적 학술지인 대한작업치료 학회지의 논문을 통해 작업치료 분야의 메타분석 연구의 질적 수준을 확인하고자 하였다. 이 연구는 작업치료 분 야에 대한 연구이지만 대한작업치료학회지에 게재된 메 타분석 연구만을 대상으로 하였기에 본 연구결과를 일반 화하는데 제한이 있다. 그러나 대한작업치료학회지는 국 내 작업치료 관련 학회지 중 가장 오랜 역사를 지닌 등재 학술지이기 때문에 작업치료 분야의 메타분석 연구 수준 을 대표하는데 충분할 것으로 사료된다.

    앞으로의 연구에서는 작업치료와 관련한 각 분야의 다 양한 학술지들을 포함하여 포괄적이고 신뢰할 만한 정보 를 제공하고 국내 및 국외 논문을 대상으로 구체적 주제 에 따른 메타분석 연구들의 질적 평가에 대한 연구를 진 행해야 할 것이다.

    Ⅴ. 결 론

    이 연구는 국내 작업치료 분야의 메타분석 연구의 질 평가를 위하여 대한작업치료학회지에 게재된 7편의 메 타분석 연구를 분석하였다. 분석대상 논문의 방법론적 질은 AMSTAR 평가도구의 평가기준에 따라 분석하였 다. 분석결과 전체 평균은 6.71점(SD=0.70)으로 보통 수준에 해당하였다. 개별연구들은 모두 보통 수준이었으 며 높은 수준 및 낮은 수준의 연구는 한 편도 없었다. 분 석대상 연구들은 AMSTAR 전체 11개 항목 중 7개 항목 을 충실하게 이행하고 있었으나, 회색문헌 사용, 포함 및 배제논문 목록 제시, 개별연구의 질을 결론 도출 시 활용, 이해상충 기술의 4개 항목에 대해서는 거의 수행하지 않 았다. 따라서 앞으로 메타분석 연구 시 메타분석 시 회색 문헌을 포함하고 개별연구의 질 평가 결과를 결론에 반 영하며 이해상충에 대한 기술을 함으로써 메타분석 논문 의 질 향상을 위한 노력을 지속하여야 하겠다. 작업치료 분야에서 메타분석을 수행하는 연구자들은 기본적으로 충실하게 메타분석 보고 기준 및 가이드라인을 수행하고 있으며, 작업치료 분야의 메타분석 연구는 임상에서 사 용될 때 근거 중심의 접근으로서의 의의를 가진다고 할 수 있겠다.

    Figure

    JKSOT-28-3-71_F1.gif

    Flow Diagram of the Literature Selection Process

    Table

    Characteristics of Articles Included (N=7)

    ADL: Activities of Daily Living, FES: Functional Electrical Stimulation, NMES: Neuromuscular Electrical Stimulation Therapy, OT: Occupational Therapy, rTMS: repetitive Transcranical Magnetic Stimulation, SIGN: Scottish Intercollegiate Guidelines Network, tDCS: transcranial Direct Current Stimulation, UE: Upper Extremity

    Methodological Quality Assessment Score and Level of Analytic Studies

    AMSTAR Score of Analysis Studies

    Reference

    1. Cha, Y. J. (2012). Comparative study on the impact factors in job stress in occupational therapists working in Korean: A systematic review and meta-analysis. Journal of Korea Contents Association. 12(6), 381-389.
    2. Cha, Y. J. , & Park, S. H. (2011). Effects of a nonpharmacological treatment program for alcohol addiction: A meta-analysis. Journal of Korean Society of Occupational Therapy, 19(4), 51-67.
    3. Choi, Y. I. , Kim, E. J. , & Park, E. Y. (2012). Review the level of quality of single subject research design in the field of Korean occupational therapy by using the Journal of Korean Society of Occupational therapy. Journal of Korean Society of Occupational Therapy, 20(4), 111-124.
    4. Choi, Y. I. , & Park, E. Y. (2014). A methodological quality assessment of meta-analyses of rehabilitation therapy in Korea. Asia-Pacific Journal of Multimedia Services Convergent With Art, Humanities, and Sociology, 4(2), 71-78.
    5. Cooper, H. (2010). Research synthesis and meta-analysis: A step by step approach (4th ed.). Thousand Oaks, CA: SAGE Publication Inc.
    6. Heo, S. Y. , & Kim, K. M. (2017). Effects of task-oriented robot-assisted therapy for motor function of upper extremities and ADL performance of stroke patients: A systematic review and meta-analysis. Journal of Korean Society of Occupational Therapy, 25(1), 1-18.
    7. Higgins, J. P. T. , & Green, S. (2011). Cochrane handbook for systematic reviews of interventions. London, UK: Cochrane Collaboration.
    8. Hong, S. P. , Yoo, Y. H. , & Park, H. Y. (2019). Effects of cognitive rehabilitation therapy for occupation performance among Korean literature: A meta-analysis. Korean Journal of Occupational Therapy, 27(3), 91-104.
    9. Hwang, S. D. (2016). Publication bias in metaanalysis: Its meaning and analysis. Korean Journal of the Human Development, 23(1), 1-19.
    10. Jang, D. H. , & Shin, I. S. (2011). Historical development of meta-analysis as an educational research methodology. Journal of Curriculum and Evaluation, 14(3), 309-332.
    11. Kim, E. J. , & Kim, K. M. (2015). Effects of community-based intervention for activities of daily living performance in stroke : Systematic review and meta-analysis. Journal of Korean Society of Occupational Therapy, 23(4), 103-113.
    12. Kim, H. J. , & An, H. S. (2015). Critical appraisal of systematic review/meta-analysis. Korean Journal of Helicobacter Upper Gastrointestinal Research, 15(2), 73-79.
    13. Kim, J. H. , & Kim, A. K. (2013). A quality assessment of meta-analyses of nursing in South Korea. Journal of Korean Academy of Nursing, 43(6), 736-745.
    14. Kim, H. R. , & Oh, S. E. (2019). Methodological quality evaluation of meta-analysis on elderly movement: Focused on domestic journals. Korean Journal of Sport, 17(4), 953-963.
    15. Kim, S. Y. , Park, J. E. , Seo, H. J. , Lee, Y. J. , Jang, B. H. , Son, H. J. , ... Shin, C. M. (2011). NECA’s guidance for undertaking systematic reviews and meta-analyses for intervention. Seoul: National Evidence-Based Healthcare Collaborating Agency. National Evidence-Based Healthcare Collaborating Agency, 2011(8), 1-287.
    16. Kim, Y. Y. , & Hyun, H. S. (2015). A quality assessment of systematic review of oriental medicine in South Korea. Korean Journal of Physical Education, 13(10), 549-559.
    17. Moher, D. , Altmannn, D. G. , Liberati, A. , & Tetzaff, J. (2011). PRISMA statement. Epidemiology, 22(1), 128-133.
    18. Moher, D. , Shamseer, L. , Clarke, M. , Ghersi, D. , Liberati, A. , Petticrew, M. , Shekelle, P. , Stewart, L. A. , & PRISMA-P Group. (2015). Preferred Reporting Items for Systematic review and Meta-Analysis Protocols (PRISMA-P) 2015 statement. Systematic Reviews, 4(1), 1-9.
    19. Park, S. H. (2018). Evaluation of methodological quality of meta-analysis studies in early childhood education. Korean Journal of Early Childhood Education, 38(5), 131-156.
    20. Park, S. H. , & Kwag, M. S. H. (2018). Methodological qualitative evaluation of meta-analysis studies in sport management. Korean Journal of Physical Education, 57(1), 247-258.
    21. Shea, B. J. , Hamel, C. , Wells, G. A. , Bouter, L. M. , Kristjansson, E. , Grimshaw, J. , Henry, D. A. , & Boers, M. (2009). AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. Journal of Clinical Epidemiology, 62(10), 1013-1020.
    22. Shin, C. H. , & Cha, S. A. (2019). Effects of repetitive Transcranial Magnetic Stimulation (rTMS), transcranial Direct Current Stimulation (tDCS) and Neuromuscular Electrical Stimulation Therapy (NMES) on stroke dysphagia using metaanalysis. Korean Journal of Occupational Therapy, 27(4), 107-124.
    23. Shin, C. H. , Hwang, M. S. , & Yoo, E. Y. (2019). A systematic review and meta-analysis of cognitive rehabilitation occupational therapy intervention for stroke patients. Korean Journal of Occupational Therapy, 27(1), 51-69.
    24. Shin, I. S. , & Park, E. Y. (2011). Review of the meta-analysis research in special education and related field. Korean Journal of Physical and Multiple Disabilities. 54(4), 157-176.
    25. Song, Y. S. , Gang, M. H. , Kim, S. A. , & Shin, I. S. (2014). Review of meta-analysis research on exercise in South Korea. Journal of Korean Academy of Nursing, 44(5), 459-470.
    26. Suh, M. O. (2011). The review of meta-analysis and research methodology proposed. Korean Journal of Educational Research, 49(2), 1-23.
    27. Yoo, D. H. , Lee, J. S. , Kim, H. M. , & Hong, D. G. (2012). A systemic review and meta-analysis on the effects of FES intervention for stroke patients. Journal of Korean Society of Occupational Therapy, 20(1), 111-126.
    28. Yoo, E. Y. , Lee, J. S. , Lee, J. Y. , Park, H. Y. , & Yoo, J. E. (2011). Research literature in Korean occupational therapy by using a Journal of Korean Society of Occupational Therapy. Journal of Korean Society of Occupational Therapy, 19(1), 29-41.