서 론
글씨쓰기는 자신의 생각, 아이디어, 감정을 표현하고, 타인과의 의견을 교환하는 의사소통 수단이다(Case- Smith & O'Brien, 2013). 특히 학령기 아동의 글씨쓰기 는 학업의 대부분을 차지하는 활동으로 아이의 학업성취 및 손 기능 발달에 대한 척도이자 자존감 형성에 기초가 된다(Graham et al., 2008; Overvelde & Hulstijn, 2011). 따라서 글씨쓰기의 어려움을 겪는 학령기 아동 은 글쓰기와 연관된 활동을 회피하는 경향이 높고, 이는 다양한 학교활동에의 좌절을 경험하게 한다. 이러한 좌 절을 경험한 아동들은 학교생활의 부적응으로 이어지고, 이는 전반적인 사회성 발달을 저해하는 것으로 나타났다 (Berninger, 2009; Graham et al., 2008; Overvelde & Hulstijn, 2011).
외국의 경우 학령기 일반 아동(6~12세)의 10~34% 가 글씨쓰기의 어려움을 가지고 있다고 보고하고 있다 (Overvelde & Hulstijn, 2011). 우리나라의 경우에도 학령기 아동의 약 27.3%가 글쓰기의 어려움을 겪고 있 는 것으로 조사되었다(Park, 2014). 작업치료에서도 글 씨쓰기는 학령기 아동의 중심 목표가 된다. Choi(2006) 가 1~18세 아동을 대상으로 실시한 재활치료 프로그 램에 대한 요구도 연구에서 글쓰기가 5점 만점에 3.34±0.79로 학습지도 영역에서 가장 높게 나타났다. 또한 6~9세 장애 아동 부모를 대상으로 작업치료 요구 도를 조사한 연구에서도 쓰기를 포함한 학습지도가 52% 로 가장 높은 비중을 차지하여 신변처리 및 놀이보다 비 중이 높은 것으로 나타났다(Kang, 2006). 이러한 이유 로 발달장애 아동이 국내·외 작업치료사에게 의뢰되는 데 가장 흔한 이유는 글씨쓰기의 어려움으로 이에 대한 평가와 중재가 매우 중요하다(Ratzon, Efraim, & Bart, 2007; Shin & Park, 2016).
글씨쓰기는 글자의 형태, 방향, 위치, 공간을 적절하게 구성하는 기술이다(Min, Jung, Jung, & Kang, 2008). 글씨쓰기에 필요한 능력은 모양, 방향과 위치를 알 수 있 는 시지각 기능, 필기구를 쥐고 움직일 수 있는 미세한 운동조절과 눈-손 협응력, 글씨쓰기의 운동 패턴을 학 습하고 회상해 낼 수 있는 충분한 기억력, 글씨쓰기에 요구되는 동작을 계획하는 실행능력 등이 필요하다 (Amundson, 2004; Haskell & Barrett, 1993; Kim, You, Lee, Lee, & Jang, 2013; Volman, Schendel, & Jongmans, 2006). 일반적으로 글씨쓰기를 평가하는 기 준은 모양, 방향, 기울기, 간격, 완성도이다. 예를 들면 적 절하지 않은 글자모양과 선 변형, 완전히 닫히지 않은 글 씨의 불완전성, 왼쪽에서 오른쪽으로 글을 쓰는지에 대 한 방향성, 문자와 문자 사이 또는 단어와 단어 사이의 간격, 글자의 크기, 글자의 기울기, 소요시간 등을 평가 한다(Brossard, Mazer, Julien, & Majnemer, 2012; Engel, Nagauker, & Rosenblum, 2009; Rosenblum, 2008; Rosenblum & Gafni-Lachter, 2015).
글씨쓰기를 평가하는 국외의 평가도구는 수행 중심 평 가도구와 자가 평가도구(self report), 컴퓨터 기반 평가 도구로 나누어진다(Cermak & Bissell, 2014; Duff & Goyen, 2010; Rosenblum, 2015). 수행 중심 평가 도구는 아이가 직접 글씨쓰기를 한 후 관찰하여 평가한 다. 대표적인 평가도구로는 Minnesota Handwriting Assessment(MHA)와 Evaluation Tool of Children’s Handwriting(ETCH) 등이 있다(Rosenblum, Weiss, & Parush, 2003; Roston, Hinojosa, & Kaplan, 2008). 이 평가도구들은 글자의 명료도(legibility), 정 렬(alignment), 크기(size), 간격(spacing), 생략(omit), 문자형성(letter formation), 대·소문자(letter case), 시간(time)을 측정한다. ETCH는 알파벳 쓰기, 문장쓰 기, 받아쓰기, 작문 등의 다양한 방법으로 평가하고 있다 (Roston, Hinojosa, & Kaplan, 2008). 자가 보고식 평 가는 설문지를 통해 자각 정도를 평가하는 것이다. 대표 적인 평가도구로는 the Handwriting Proficiency Screening Questionnaire(HPSQ)와 Here’s How I Write(HHIW) 등이 있다(Cermak & Bissell, 2014; Rosenblum, 2008). 이들 도구는 주로 명료도(legibility), 수행시간(performance time), 정서(affect), 신체적 요 인(physical factor)을 평가하는데, 수행 평가에서 평가 되지 않는 정서나 신체적인 요인들도 평가한다. 컴퓨터 기반 평가도구는 컴퓨터를 통해 글씨 쓰는 과정을 평가 하는 것이다. 대표적인 평가도구는 Computerized Handwriting Evaluation System(ComPET)으로, 이 평가도구는 각 획을 쓰는 데 소요된 시간, 획의 높이나 획 경로의 길이, 종이에 제공된 평균 압력을 측정하여 객 관적인 결과를 볼 수 있지만, 글씨의 명료도는 수행 중심 평가도구를 통해 재평가해야 한다(Rosenblum, 2015).
글씨쓰기에 대한 국내의 평가도구는 수행 중심 평가 도구와 자가 평가도구가 있다(김동일, 2005; Jung, 2004; Lee & Lim, 2015; Park, 2013). 수행 중심 평 가도구는 한글자모쓰기 평가와 교육과정 기반 평가 (Curriculum-Based Measurement; CBM)가 있다(김 동일, 2005; Park, 2013). 한글자모쓰기 평가는 한글의 자·모음 각각만을 이용하여 평가하는 것으로, 선 변형, 확산, 삭제, 공개, 폐쇄, 상하역전, 좌우역전 등의 요소로 평가한다(Jung, 2001; Min et al., 2008). 그러나 각각 의 자·모음 형태만 평가하고, 글자를 구성하는 간격이 나 문자의 정렬, 띄어쓰기 등은 평가하지 않는다. 또한 표준화 작업이 이루어지지 않은 외국의 기준을 그대로 사용하고 있어 한글 고유의 특성을 정확하게 반영하지 못한다. 교육과정 기반 평가는 작문을 통하여 평가하는 방법으로 쓰기 유창성, 글의 형식, 표기 능력, 문장 구사 력, 글 구성력 등을 기반으로 평가한다(김동일, 2005; Park, 2013). 즉 학업 수행과 관련된 평가에 중점을 두 고 있어 글씨쓰기에 필요한 시지각, 눈-손 협응능력 등 과 관계된 요소를 평가하지 못하는 단점이 있다(Lee, 2012; Park, Chung, & Kim, 2014). 자가 평가도구는 HHIW를 번안한 한국형 쓰기 자기평가 검사가 있다(Lee & Lim, 2015). 설문지를 이용하여 시간적으로 효율적이 고 글씨쓰기 수행에 대한 아동의 주관적 의사가 반영되 는 평가도구로, 주관적인 측정값과 실제 능력 값이 일치 한다고 보기 어렵다. 또한 연령이 어린 저학년 학생들의 경우는 검사 시에 검사 문항을 잘 이해하지 못하는 어려 움이 보고되었다(Lee & Lim, 2015).
작업치료사의 다양한 중재 영역 중 학령기 아동을 대 상으로 한 글씨쓰기 중재에서의 역할은 명료한 글씨쓰기 를 저해할 수 있는 운동, 자세, 감각, 지각 문제에 대한 중재를 제공하고, 글씨쓰기 어려움과 관련된 감각 운동 요인, 지각 및 인지 요인을 확인, 분석하여 수행 요소의 능력이 향상되면 글씨쓰기 수행을 위한 새로운 기술로 일반화시키도록 돕는 것이다(Amundson, 2004; Case- Smith & O'Brien, 2013). 이와 같은 작업치료의 중재 목표설정과 중재 결과를 확인하는데 있어서 정확한 평가 는 매우 중요한 요소이다. 그러나 이미 언급한 것처럼 쓰 기 기술에 대한 작업치료 요구도가 높은 것에 비해 시지 각 능력과 협응능력 등을 반영한 아동의 쓰기 수준과 독 특한 한글의 특성에 맞추어 글씨쓰기 기술을 평가할 수 있는 도구가 부족한 실정이다.
평가도구는 국가별 고유의 언어와 문화적 차이를 반영 하기 때문에 특정 국가에서 개발된 평가도구는 다른 국 가에서 사용할 때 내용과 항목이 부적합할 수 있어 표준 화된 점수를 사용하여 결과를 해석하는데 어려움이 있다 (Custers, Hoijtink, Net, & Helders, 2000). 이러한 어 려움을 해결하기 위해서는 각 나라 고유의 언어와 문화 를 반영한 평가도구의 개발 및 변형이 요구되며, 개발된 도구들의 유용성을 검증하기 위해 일정 수준 이상의 신 뢰도와 타당도를 확보해야 한다.
특히 한글은 영어와 다른 독특한 특성을 가지고 있다. 영어는 26개의 알파벳 하나하나가 개별적인 공간을 차 지하는 풀어쓰기 형태로 문자를 쓴다. 반면에 한글은 기 본 자음 14개와 모음 10개, 자음과 자음이 만나 이루어 진 ‘ᄈ’과 같은 쌍자음, 모음과 모음이 만나 이루어진 ‘ᅪ’ 같은 복합모음, 자음과 자음이 만나 받침을 구성하는 ‘ㄶ’ 과 같은 겹받침으로 구성되어 영어보다 획의 구성이 복 잡하다. 또 한글은 자음+모음, 자음+모음+자음(받침) 등의 조합에 의한 구성으로 각 자·모음이 공간에서 적 절한 배열을 통해 글자를 형성하는 모아쓰기 형태의 입 체적 구성으로 문자를 쓴다. 각 자·모음은 한 글자 내에 서의 공간배분 및 배열의 균형은 물론이고 문장으로 연 결될 때도 전체적인 균형의 조화가 있어야 한다(Lee, 2014; Park, 2011). 그러므로 한글의 독특한 특성을 반 영한 글씨쓰기 평가도구의 개발 및 표준화 작업이 매우 필요하다. 따라서 본 연구는 독특한 한글의 특성을 반영 한 학령기 아동의 글씨쓰기 평가도구를 개발하고, 개발 된 도구의 신뢰도 및 타당도를 검증하고자 하였다
연구 방법
본 연구는 연구대상자 선정을 위해 연세대학교 원주캠 퍼스 생명윤리심의위원회(Institutional Review Board; IRB)의 심사를 거쳐 승인을 받은 후 진행하였다(IRB 승 인번호: 1041849-201608-8M-040-01).
1.연구 과정
1단계: 문헌 검색을 통한 예비문항 수집
글씨쓰기 평가에 관한 문항을 수집하기 위해 Pubmed, Google scholar, Scopus, RISS, KISS를 이용하여 문헌 을 검색하였다. 검색 시 사용된 주제어는 Handwriting, Writing, Written text, 글씨쓰기, 쓰기, 한글이었다. 국 내·외 문헌검색을 통해 14개의 평가도구와 논문의 원 문 분석을 통해 292개의 문항이 수집되었다.
2단계: 예비문항 선택
예비 문항 선택은 5개의 과정으로 진행되었다. 과정 1은 아동 작업치료 경력 5년 이상인 전문가 3명과 초등 경력 5년 이상인 교사 2명에게 중복 및 부적합문항을 선 택하도록 하였다. 과정 2는 일반아동 12명과 장애아동 9명에게 예비 데이터를 수집, 평가하여 문항을 추가하거 나 삭제하였다. 과정 3은 아동 작업치료 경력 3년 이상인 작업치료사 11명에게 1차 내용타당도 및 문항이해도를 실시하였다. 과정 4는 아동 작업치료 경력 3년 이상인 작업치료사 및 교수 25명에게 2차 내용타당도를 실시하 였다. 과정 5는 내용타당도를 바탕으로 문항 검증위원회 를 열어 최종 예비문항을 완성하였다(Table 1).
Table 1
The Preliminary Items of Handwriting Evaluation
3단계: 평가방법과 문항의 점수기준 마련
글씨쓰기 평가도구에 사용된 문장은 학령기 아동의 문 장인지검사에서 선택하였다(Jang et al., 2008). 문장쓰 기 난이도를 보면 2학년의 경우 3어절 이하가 아주 쉬움, 4~5어절 쉬움, 6~7어절 보통, 7~8어절 어려움, 9어절 이상은 아주 어려움으로 분류되고 있다(류성기, 2001). 본 연구의 제시문장은 보통 수준에 맞추어 학령기 아동 을 대상으로 만들어진 문장인지검사의 청각어음목록에 서 6어절의 문장을 선택하였다. 제시된 문장은‘소리가 큰 라디오 때문에 귀가 아프다’(난이도 100), ‘물고기가 든 어항을 깨지 않도록 조심해라’(난이도 87.9)이었다. 두 문장의 난이도는 MS word의 Flesch score를 이용하여 적용하였다. 난이도의 숫자가 작을수록 어려운 문장으로 해석된다. 따라서 본 연구에서는 난이도가 낮은 문장은 ‘소리가 큰 라디오 때문에 귀가 아프다’, 난이도가 높은 문장은 ‘물고기가 든 어항을 깨지 않도록 조심해라’로 제 시하였다.
개발된 각 문항의 평가점수는 2점 척도(0, 1)를 사용 하였다. 즉 오류가 있는 경우에는 0점, 없는 경우에는 1 점으로 하였다. 각 문항의 채점에 대한 기준은 선행 연구 를 바탕으로 하였으며 선행 연구에서 기준을 찾을 수 없 을 때는 컴퓨터에 신명조체로 글씨를 써서 인쇄 한 후 직 접 측정하여 기준을 정하였다.
2.연구 대상
본 연구는 2016년 8월부터 2016년 12월까지 서울· 경기 지역의 일반 초등학교에 재학 중인 1~6학년 아동 을 대상으로 실시하였다. 연구대상자는 평가에 필요한 지시사항을 이해할 수 있는 아동, 지적 장애 및 정서/행동 장애의 진단을 받지 않은 아동, 특수 교육 및 치료를 받지 않은 아동, 시각장애, 청각장애, 지적장애가 없는 아동을 선정하였다. 대상자 선정과정에서 각 대상자와 법적대리 인에게 ┌연구대상자 설명문 및 동의서┛에 근거하여 본 연구의 목적과 검사를 통해 얻을 수 있는 이득에 대하여 설명하였다. 이후에도 충분한 질의응답 절차를 거친 후 아동의 동의와 법적대리인의 서명을 받은 후 최종적으로 연구에 참여하였다. 이 연구에 참여한 전체 참가자는 326명이며(남아:163, 여아: 163), 일반적 특성은 Table 2와 같다.
Table 2
General Characteristics of Participants (N=326)
3.분석방법
본 연구에 참여한 연구대상자들의 일반적 특성과 내용 타당도 검증, 문항이해도를 기술하기 위하여 SPSS 19.0 version을 사용하여 기술통계분석을 실시하였다. 라쉬 분석은 Winsteps(Chicago, IL, USA) 3.92.1 version 을 사용하였고, 라쉬분석을 통해 라쉬모형의 일차원성 (unidimensionality)에 대한 적합성과 평정척도, 분리신 뢰도 검증을 실시하였다. 문항과 대상자의 적합성에 대 해서는 문항의 난이도와 대상자의 능력을 나타내는 내적 합지수값이 -2미만이거나 2초과한 동시에 Z값이 -2미 만이거나 2초과한 경우 부적합한 대상자로 판정하였고, 내적합지수값이 0.6미만이거나 1.4초과한 동시에 Z값이 -2미만이거나 2초과한 경우에는 부적합한 문항으로 판 정하였다(Bond & Fox, 2012; Lee, 2005). 평정척도는 외적합지수값이 2.0미만이거나 평균측정치가 수직적인 배열을 보이는 경우에 적합한 척도 범주로 보았다 (Linacre, 2002). 분리신뢰도는 KR-20이나 Chronbach's alpha와 같은 의미로, 1에 가까울수록 이상적인 수치를 의미한다(Bond & Fox, 2012; You, 2014). 분리신뢰도 계수 0.7에 분리지수 1.5이상이면 수용 가능한 수준 (acceptable level)으로 높음·낮음의 2개의 그룹으로 분류되고, 분리신뢰도 계수 0.8에 분리지수가 2.0이상이 면 양호한 수준(good level)으로 높음·평균·낮음의 3 개의 그룹, 분리신뢰도 값이 0.9에 분리지수 3.0이상은 우수한 수준(excellent level)으로 높음, 평균이상, 평균 이하, 낮음의 4개의 그룹으로 분류된다고 해석하였다 (Duncan, Bode, Min Lai, & Perera, 2003). 본 연구의 수집된 자료에 대한 통계분석으로 사용된 SPSS프로그 램의 유의수준은 .05로 설정하였다.
연구 결과
1.라쉬분석을 통한 모형 적합도 결과
모형 적합도는 라쉬모형을 적용하여 검사문항별 로짓 점수 결과치와 모형의 적합도를 나타내는 통계치인 내적 합지수와 외적합지수로 표시하였다. 이러한 지수를 이용 하여 대상자나 문항이 기대로부터 벗어난 정도에 따른 표준화 적합도를 나타냈다. 결과는 난이도가 낮은 문장 (‘소리가 큰 라디오 때문에 귀가 아프다’)과 난이도가 높 은 문장(‘물고기가 든 어항을 깨지 않도록 조심해라’)으 로 나누어서 분석하였다.
2)난이도가 높은 문장: 대상자 및 문항 적합도
라쉬분석을 통해 대상자에 관한 모형 적합도를 살펴본 결과, 연구대상자 326명 중 11명(3.4%)이 부적합한 대 상자로 판정되었다. 따라서 11명의 부적합 아동을 제외 한 315명을 대상으로 평가 문항에 대한 적합도 분석을 실시하였다. 평가도구의 일차원성 여부는 내적합지수를 기준으로 판정하였다. 부적합 판정을 받은 문항은 ‘선의 매끄러운 정도’의 1 문항이었다(Table 4).
1)난이도가 낮은 문장: 대상자 및 문항 적합도
라쉬분석을 이용하여 대상자에 따른 모형 적합도를 살 펴본 결과, 연구대상자 326명 중 13명(4.0%)이 부적합 한 대상자로 판정되었다. 따라서 13명의 부적합 아동을 제외한 313명을 대상으로 평가 문항에 대한 적합도 분석 을 실시하였다. 평가도구의 일차원성 여부는 내적합지수 를 기준으로 판정하였다. 부적합 판정을 받은 문항은 ‘역 전’과 ‘선의 매끄러운 정도’의 2문항이었다(Table 3).
Table 3
Item Fit Statistic: The Sentences of Lower Difficulty
| Items | Logit | Infit | Outfit | ||
|---|---|---|---|---|---|
| MnSq | Z | MnSq | Z | ||
| 1. Speed | -2.31 | 1.17 | 1.0 | 1.39 | 0.9 |
| 2. Pressure | -3.34 | 0.88 | -0.3 | 0.87 | -0.1 |
| 3. Letter form | -1.75 | 0.74 | -2.0 | 0.41 | -1.8 |
| 4. Skip | -0.08 | 1.14 | 1.9 | 1.18 | 1.0 |
| 5. Adding | -1.28 | 1.12 | 1.1 | 1.00 | 0.1 |
| 6. Revers* | -6.91 | Minimum measure | |||
| 7. Typo | -1.28 | 1.03 | 0.3 | 2.66 | 3.4 |
| 8. Incomplete closure | -0.40 | 0.84 | -2.1 | 0.63 | -1.8 |
| 9. Extension | 0.59 | 0.93 | -1.2 | 0.84 | -1.1 |
| 10. Line transformation | 0.99 | 0.93 | -1.2 | 0.94 | -0.5 |
| 11. Orthogonal transformation | 1.56 | 0.88 | -2.0 | 0.83 | -1.3 |
| 12. Letter array | 0.38 | 1.02 | 0.4 | 0.96 | -0.2 |
| 13. Consistency in letter size | 4.23 | 1.01 | 0.1 | 0.90 | -0.1 |
| 14. Letter spacing | 0.90 | 1.10 | 1.6 | 1.28 | 2.0 |
| 15. Spacing interval | -1.62 | 1.10 | 0.8 | 0.77 | -0.5 |
| 16. Letter formation array | 3.43 | 1.03 | 0.4 | 1.51 | 1.7 |
| 17. Smoothness of line* | -6.91 | Minimum measure | |||
라쉬분석을 통한 문항난이도 결과
1)난이도가 낮은 문장: 문항난이도
부적합 대상자와 부적합한 선의 매끄러운 정도 문항을 제외한 16문항을 난이도 순서대로 배열하였다(Figure 1). 왼쪽은 대상자의 분포를 나타내며, 오른쪽은 문항을 나타내고, 문항이 아래쪽에 위치할수록 난이도가 쉬운 문항이며, 위쪽에 위치할수록 난이도가 높은 어려운 문 항에 해당한다. 평가문항의 난이도를 분석한 결과, 가장 어려운 문항은 ‘글자크기의 일관성’ 문항이었으며, 가장 쉬운 문항은 ‘역전’문항이었다. Table 4
Table 4
Item Fit Statistic: The Sentences of Higher Difficulty
| Items | Logit | Infit | Outfit | ||
|---|---|---|---|---|---|
| MnSq | Z | MnSq | Z | ||
| 1. Speed | -2.76 | 1.17 | 0.8 | 4.10 | 3.7 |
| 2. Pressure | -1.79 | 0.93 | -0.5 | 0.98 | 0.1 |
| 3. Letter form | -0.87 | 0.80 | -2.4 | 0.70 | -1.1 |
| 4. Skip | 0.71 | 1.19 | 2.7 | 1.19 | 1.5 |
| 5. Adding | -1.34 | 1.02 | 0.2 | 1.11 | 0.4 |
| 6. Revers* | -3.88 | 0.95 | 0.0 | 0.33 | -1.4 |
| 7. Typo | -0.95 | 0.91 | -1.0 | 0.65 | -1.3 |
| 8. Incomplete closure | -0.35 | 1.00 | 0.0 | 0.84 | -0.7 |
| 9. Extension | 0.45 | 0.99 | -0.1 | 1.17 | 1.2 |
| 10. Line transformation | 1.53 | 1.10 | 1.5 | 1.20 | 1.7 |
| 11. Orthogonal transformation | 1.65 | 0.89 | -1.6 | 0.81 | -1.7 |
| 12. Letter array | 0.57 | 0.92 | -1.2 | 0.82 | -1.4 |
| 13. Consistency in letter size | 4.27 | 0.88 | -0.9 | 0.56 | -1.2 |
| 14. Letter spacing | 0.92 | 1.05 | 0.8 | 1.27 | 2.1 |
| 15. Spacing interval | -1.71 | 1.10 | 0.8 | 1.27 | 0.8 |
| 16. Letter formation array | 3.52 | 0.95 | -0.5 | 0.68 | -1.1 |
| 17. Smoothness of line* | -6.74 | Minimum measure | |||
전체적으로 글씨쓰기 평가도구에 제시된 문항의 난이 도 평균은 학령기 아동의 글씨쓰기 점수 평균에 비해 낮 은 것으로 나타났다.
2)난이도가 높은 문장: 문항난이도
부적합 대상자와 부적합 문항을 제외한 16문항을 난 이도 순서대로 배열하였다(Figure 2).
왼쪽은 대상자의 분포를 나타내며, 오른쪽은 문항을 나타내고, 문항이 아래쪽에 위치할수록 난이도가 쉬운 문항이며, 위쪽에 위치할수록 난이도가 높은 어려운 문 항에 해당한다. 평가문항의 난이도를 분석한 결과, 가장 어려운 문항은 ‘글자크기의 일관성’ 문항이었으며, 가장 쉬운 문항은 ‘역전’ 문항이었다. 전체적으로 글씨쓰기 평 가도구에 제시된 문항의 난이도 평균은 학령기 아동의 글씨쓰기 점수 평균에 비해 낮은 것으로 나타났다.
라쉬분석을 통한 평정척도 분석
학령기 아동의 글씨쓰기 평가도구의 평정척도는 범주 별로 라쉬분석을 통해 분석되었다(Table 5, Table 6). Figure 3과 Figure 4은 평정척도에 대한 확률곡선을 나 타낸 결과이다. 각 범주가 적절한 질서를 갖추고 있으며, 다른 범주와 완전하게 구별되고 있다. 또한 외적합지수 의 평균자승잔차(Mean Square; MnSq)가 2.0미만으로 척도 점수 간 교차점이 일정한 간격을 이루고 있으며, 수 직적인 순서 배열을 보여, 측정된 특성들의 평정 척도가 분명하고 독립적으로 구분됨을 알 수 있다.
라쉬분석을 통한 분리신뢰도 결과
라쉬분석은 대상자 분리신뢰도와 문항 분리신뢰도를 추정할 수 있다. 분리지수는 표준오차평균(root mean square standard error)의 단위를 이용하여 제시한 값 이며, 대상자 분리지수는 문항에 따라 대상자의 능력모 수치가 분리된 정도, 문항 분리지수는 대상자에 따라 문 항모수치가 분리된 정도를 나타낸다. 대상자 분리신뢰도 는 대상자의 증상정도를 얼마나 일관성 있게 재현하는가, 문항 분리신뢰도는 각 문항의 난이도가 동일하게 재현하 는 정도를 나타낸다(Bond & Fox, 2012). 일반적으로 문항 수가 많을수록 대상자 분리지수가 높아지고, 대상 자의 수가 많을수록 문항 분리지수가 높아지는 경향이 있다(지은림과 채선희, 2000). 난이도가 낮은 문장과 난 이도가 높은 문장에서 부적합 문항이라고 측정된 ‘선의 매끄러운 정도’ 문항을 제거한 후 분리지수와 분리 신뢰 도를 확인하였다. 그 결과 난이도가 낮은 문장의 문항 분 리지수 5.06, 분리신뢰도 .96, 대상자 분리지수는 1.48, 분리신뢰도 .69로 나타났고, 난이도가 높은 문장의 문항 분리지수 9.95, 분리신뢰도 .99, 대상자 분리지수는 1.51, 분리신뢰도 .70으로 나타났다(Table 7).
Table 7
Separation Index and Reliability of Item and Subject
| Classification | Separation index | Separation reliability | |
|---|---|---|---|
| The sentences of lower difficulty | Item | 5.06 | .96 |
| Subject | 1.48 | .69 | |
| The sentences of higher difficulty | Item | 9.95 | .99 |
| Subject | 1.51 | .70 | |
2)평가도구의 재구성
라쉬분석의 문항 적합도 결과 난이도가 낮은 문장에서 는 ‘역전’과 ‘선의 매끄러운 정도’가 부적합 문항이고, 난 이도가 높은 문장에서는 ‘선의 매끄러운 정도’가 부적합 문항이었다. 두 가지 문장 모두에서 부적합 문항으로 나 온 ‘선의 매끄러운 정도’의 문항을 제외하고 문항을 재구 성 한 후 16문항의 학령기 아동의 글씨쓰기 평가도구를 개발하였다(Table 8).
Table 8
The Items of Handwriting Evaluation
고 찰
본 연구는 학령기 아동의 글씨쓰기를 평가하기 위해 라쉬분석을 활용하여 글씨쓰기 평가도구를 개발하였고, 개발된 도구의 신뢰도와 타당도 검증을 실시하였다. 또 한 본 연구를 통해 학령기 일반 아동의 데이터를 수집하 여 글씨쓰기에 대한 표준치를 제시하여 글씨쓰기 중재 및 평가에 활용하고자 하였다. 이를 위해 본 연구는 초등 학교 1~6학년 일반아동의 자료를 수집하여 라쉬분석을 통해 16개 문항의 글씨쓰기 평가도구를 개발하였다. 본 연구결과는 다음과 같다.
첫째 라쉬분석을 통한 대상자 및 문항 적합도 결과 난 이도가 낮은 문장에서 부적합 대상자는 13명, 부적합 문 항은 역전과 선의 매끄러운 정도 문항, 난이도가 높은 문 장에서 부적합 대상자 11명, 부적합 문항은 선의 매끄러 운 정도 문항이었다. 둘째 글씨쓰기 평가도구의 문항 난 이도를 보면 대상자의 능력 평균이 문항난이도의 평균보 다 높고, 가장 어려운 문항은 글자크기의 일관성, 가장 쉬운 문항은 역전임을 알 수 있었다. 셋째, 라쉬분석을 통한 문항 분리신뢰도는 .96~.99로 높은 수준이고, 대상 자 분리신뢰도는 .69~.70으로 받아들일 만한 수준이었 다. 넷째, 학년별 글씨쓰기 수준은 학년이 올라갈수록 증 가하고, 여아가 남아보다 더 높다는 것을 확인하였다. 다 섯째 검사자간 신뢰도는 .920~.974로 매우 높은 수준이 었다.
라쉬분석을 통해 대상자 적합도를 확인한 결과 전체 대상자 326명 중 난이도가 낮은 문장에서는 연구 대상자 13명(4.0%), 난이도가 높은 문장에서는 연구대상자 11 명(3.4%)이 부적합 대상자로 판정되었다. 라쉬분석을 이용한 측정에서 적합통계치에 의해 대상자가 부적합한 것으로 판단될 때, 부적합한 이유는 크게 세 가지로 보고 있다(지은림과 채선희, 2000). 대상자가 추측이나 실수 로 부적합한 반응을 할 때, 대상자가 검사상 불안이나 기 술상의 문제를 가지고 있을 때, 대상자가 검사 문항의 특 정 내용에 대해 학습 상 문제를 갖고 있거나 문항이 너무 쉬울 때가 있다. 본 연구에서는 부적합 대상자들 대부분 이 4~6학년 고학년으로 글씨쓰기의 평가문항들이 대상 자들의 능력에 비해 쉬웠을 것으로 생각된다.
라쉬분석을 통한 문항의 적합성 결과 난이도가 낮은 문장에서는 ‘역전’과 ‘선의 매끄러운 정도’가 부적합 문항 이고, 난이도가 높은 문장에서는 ‘선의 매끄러운 정도’가 부적합 문항으로 판단되었다. 본 연구의 부적합 문항은 평균자승잔차값이 0.6미만인 경우로 변화가 거의 없거 나 다른 문항에 의해 동일성이 반복 측정되는 문항임을 의미한다(Bond & Fox, 2012; Lunz, Wright, & Linacre, 1990; Park, Oh, & Yi, 2008). 역전은 오른쪽 과 왼쪽을 혼동하는 현상으로 일반적으로 3~7세 아동에 게 나타나는 반응으로 시공간 능력이 통합되면서 7세 이 후에는 사라지고, 읽기나 쓰기의 경험에 의해 없어지는 것으로 판단된다(Case-Smith & O'Brien, 2013; Cha, 1993; Cornell, 1985; Ko, 2007). 본 연구결과에서도 난이도가 낮은 문장에서는 역전 현상을 관찰할 수 없었 으나 난이도가 높은 겹받침이 있는 문장에서는 역전이 발견되었다. 또한 역전은 7세 이후 통합되는 것으로 보고 된 것처럼 난이도가 높은 문장에서도 1~2학년에서만 발 견되었고 고학년에서는 발견되지 않아 시공간 능력의 발 달과 연관성이 높은 것으로 사료된다. 즉 ‘역전’ 문항은 문장의 난이도가 높거나 나이가 어린 아동들에서 보일 수 있는 현상으로 저학년을 위한 글씨쓰기 평가도구의 문항에 포함되어야 한다고 사료된다. ‘선의 매끄러운 정 도’는 떨려서 쓰인 글자를 판단하는 것으로 떨림은 신경 학적인 문제를 보이는 아동에게서 주로 나타나는 문제이 다(Jung, 2004; 정해동과 이병희, 2003). 본 연구에서 ‘선의 매끄러운 정도’ 문항은 신경학적인 문제가 없는 일 반초등학생에게 쉬운 문항이고, 대상자 간 점수의 차이 가 거의 나타나지 않아 정상 아동에게는 부적합한 문항 으로 판정된 것으로 보인다. 그러므로 정상 학령기 아동 의 글씨쓰기 평가 시 너무 쉬운 문항이나 일차원성의 문 제를 갖는 문항은 그 가치와 필요성이 줄어들기 때문에 좀 더 어려운 문항을 추가하여 단계적으로 문항을 적용 하는 것이 필요할 것이다. 학령기 아동을 평가하는 본 평 가도구에서는 ‘선의 매끄러운 정도’문항은 제거하였으나, 신경학적 문제가 있는 아동을 평가할 때는 삽입하여 평 가할 필요가 있다.
문항의 난이도를 보면 대상자의 능력 평균이 문항 난 이도의 평균 보다 높은 점수를 보이고 있었다. 이 결과는 우리나라 어린이들은 학습지 등의 조기 교육을 받아 글 씨쓰기를 시행하기 때문으로 사료되며, 10세가 되면 자 신들의 필요에 따라 글씨쓰기를 적절하게 사용할 수 있 는 능력이 완성되기 때문으로 판단된다(Ko, 2007; Milone, 2007). 또한 초등 1학년 수준의 어휘로 만들어 진 학령기 아동의 문장인지검사의 청강어음목록에서 선 택한 검사문장이 쉬웠을 것으로 생각된다.
대상자 능력과 문항 난이도의 그림을 보면 가장 어려 운 문항은 글자크기의 일관성이고, 가장 쉬운 문항은 역 전문항이었다. 이는 Overvelde와 Hulstijn(2011)의 연 구에서 가장 어려운 문항은 문자 크기의 일관성이고, 쉬 운 문항은 글자 사이의 간격이며, Roston 등(2008)의 연구에서 가장 어려운 문항은 글자 크기의 일관성이고 가장 쉬운 문항은 역전이나 생략 문항이었다는 선행 연 구와 유사한 결과이다. 본 연구와 선행 연구에서 어려운 문항으로 나타난 ‘글자크기의 일관성’은 소근육 조절 능 력과 공간관계와 연관이 있다(Feder & Majnemer, 2007; Parush, Lifshitz, Yochman, & Weintraub, 2010). 공간에서의 위치는 약 9세 경에, 공간관계는 약 10세 경에 완성이 되는 것으로 나타났다(Case-Smith & O'Brien, 2013). 그러므로 발달 단계에 있는 저학년 학령기 아동에게는 어려운 문항이었을 것으로 생각된다. Overvelde와 Hulstijn(2011)의 연구에서 쉬운 문항은 글자 사이의 간격 문항으로 본 연구 결과와 다르다. 이는 한글은 모아쓰기 형태로 글자 안에서의 자·모음 간격이 나 글자를 구성하는 자모음의 조합을 통해 간격을 조절 해야 하는 것으로 풀어쓰기인 영어의 간격보다 더 많은 시지각 능력과 소근육 능력을 요구한다. 따라서 본 연구 에서의 글자 사이의 간격이 선행 연구에서 보여준 글자 사이의 간격보다 난이도가 높게 판단된 것으로 사료된다.
문항 분리신뢰도는 .96~.99로 높은 수준이고, 대상자 분리신뢰도는 .69~.70으로 받아들일 만한 수준임을 확 인하였다. 대상자 분리신뢰도가 .70으로 대상자가 높고 낮은 2단계로만 분류된다는 것을 의미한다. 이러한 결과 는 천정 효과(ceiling effect) 때문으로, 본 연구의 대상 자 분리지수를 높이기 위해서는 추후 연구에서 어려운 문항을 더 추가하거나 점수를 2점 척도 보다는 점수에 단계를 만들어 점수의 척도 수를 늘리는 방안으로 대상 자 분리지수를 높일 수 있을 것이다(Duncan et al., 2003).
본 연구의 제한점은 첫째, 연구 대상자는 서울·경기 지역에 한정되어 국내의 모든 학령기 아동을 대상으로 일반화하는데 한계가 있다. 따라서 향후 지역과 대상자 들을 확대한 다양한 연구가 필요하다. 둘째, 대상자에 대 한 분리 신뢰도가 받아들일 수 있는 수준으로 문항을 좀 더 개발하거나 점수를 2점 척도에서 3~4점 척도로 다양 하게 하여 높은 분리신뢰도가 나올 수 있도록 하는 검증 이 필요하다. 셋째, 대상자 능력의 평균과 문항 난이도의 평균이 일치하지 않았다. 추후 연구에서는 검사 문장의 난이도 및 문항의 난이도를 높여서 실시할 필요가 있다. 마지막으로 본 연구에서는 평가도구의 내용 타당도와 구 성 타당도 검증만이 이루어졌으므로, 추후 연구에서 글 씨쓰기 문제를 가지는 다양한 임상군 및 다른 평가도구 와의 비교를 통해 판별 및 준거 타당도 검증이 필요하다.
이러한 제한점에도 불구하고 본 연구는 한글의 특성에 맞추어 학령기 아동의 글씨쓰기를 객관적으로 평가할 수 있는 도구에 관한 첫 연구이며, 개발된 도구의 신뢰도와 타당도를 검증하고자 하였다. 본 연구를 통하여 표준화 된 학령기 아동의 글씨쓰기 평가도구의 신뢰도 및 타당 도가 입증된 도구로 학령기 아동의 주요 작업인 글씨쓰 기를 평가하고 치료하는 작업치료사에게 유용하게 사용 될 것으로 기대된다. 또한 학령기 일반 아동 뿐만 아니라 연령별, 질환별 대상자에게도 실시하여 표준화된 글씨쓰 기 평가도구가 유용하게 사용될 수 있도록 이어지길 바 란다.
결 론
본 연구는 학령기 아동의 글씨쓰기를 평가하기 위해 라쉬분석을 활용하여 독특한 한글의 특성을 반영한 글씨 쓰기 평가도구를 개발하고, 신뢰도 및 타당도를 검증하 고자 하였다.
연구 결과, 첫째, 라쉬분석을 통한 대상자 및 문항 적합 도 결과 난이도가 낮은 문장에서 부적합 대상자는 13명, 부적합 문항은 역전과 선의 매끄러운 정도, 난이도가 높은 문장에서 부적합 대상자 11명, 부적합 문항은 선의 매끄 러운 정도 문항이었다. 둘째, 글씨쓰기 평가도구의 문항 난이도는 대상자의 능력 평균이 문항난이도의 평균보다 높고, 가장 어려운 문항은 글자크기의 일관성, 가장 쉬운 문항은 역전임을 알 수 있었다. 셋째, 라쉬분석을 통한 문항 분리신뢰도는 .96~.99로 높은 수준이고, 대상자 분 리신뢰도는 .69~.70으로 받아들일 만한 수준이었다.
본 연구는 한글의 특성에 맞추어 학령기 아동의 글씨 쓰기를 객관적으로 평가할 수 있는 도구에 관한 첫 연구 이며, 타당도를 검증하고자 했다는 데 의의가 있다. 따라 서 이와 같은 연구 결과는 학령기 아동의 주요 작업인 글 씨쓰기를 평가하고 치료하는 작업치료사에게 유용한 자 료가 될 것이라 사료된다.