인지재활에서 고기능 인지 평가도구 사용에 관한 문헌고찰 : 집행기능을 중심으로



Ⅰ. 서 론

전두엽은 집행기능, 주의력, 기억력, 언어능력을 비롯 하여 정동, 기분, 자기 인식, 사회적/도덕적 추론능력의 인지기능을 다룬다(Chayer & Freedman, 2001). 전두 엽 기능 중에서도 집행기능은 특히 언어, 시공간, 기억과 같은 기초적인 인지기능을 통제하는 고위인지기능이다 (Kim, 2001).

집행기능은 고차원적인 기능을 하는 고위인지기능의 수행을 담당하며, 목표지향적인 행동 조절 및 억제의 역할을 한다(Alvarez & Emory, 2006; Ko, Kim, & Oh, 2015). 집행기능에 포함되는 인지기능은 계획화 (planning), 전환(shifting), 유창성(fluency), 문제해결 능력(problem solving), 작업기억(working memory), 억제 조절(inhibitory control), 인지 유연성(cognitive flexibility) 등이 있으며, 대뇌의 전전두피질을 매개로 작용한다(Burnett, Scratch, & Anderson, 2013; Costanzo et al., 2013; Miyake & Friedman, 2012; Siddiqui, Chatterjee, Kumar, Siddiqui, & Goyal, 2008; Nyongesa et al., 2019). 이는 일상생활수행을 독립적으로 가능하게 하는 중요한 기초능력으로, 재활치 료에서 참여와 회복에 있어 중요하다(Ko et al., 2015; Leśniak, Bak, Czepiel, Seniów, & Członkowska, 2008; Skidmore et al., 2010).

집행기능의 구성개념은 다차원적이며, 연구자에 의해 다르게 정의된다(Nyongesa et al., 2019). 몇 명의 연구 자들은 집행기능을 작업기억, 억제 조절, 인지 유동성의 세 가지 영역으로 나누어 설명한다(Collins & Koechlin, 2012). 인지 심리학자의 경우, 집행기능을 적응 행동 능 력의 유연한 사용, 적절한 문제해결 전략의 사용, 그리 고 행동의 절차를 확인할 수 있는 능력으로 정의한다 (Miyake & Shah, 1999). 한편, 논리적 인지 요소를 포 함하는지 또는 사회정서적 인지 요소를 포함하는지에 따라 ‘Cold executive function’과 ‘Hot executive function’ 으로 집행기능의 개념을 나누는 관점도 존재한 다(Bechara, Tranel, Damasio, & Damasio, 1996; Bechara, Damasio, Damasio, & Lee, 1999).‘차가운 (cold)’ 집행기능은 문제해결능력, 순서화, 계획화, 지속 적 주의력 등의 논리적 인지 요소를 포함하며, ‘뜨거운 (hot)’ 집행기능은 보상과 처벌, 사회적 행동에 대한 규 제, 판단 능력 등의 사회정서적 인지 요소를 포함한다 (Damasio, 1995; Grafman & Litvan, 1999).

집행기능의 측정도구 또한 다양하게 보고되고 있다. 뇌 손상 환자를 대상으로 한 집행기능 평가도구에 관한 체계적 고찰 결과, 유창성 검사 Delis-Kaplan Executive Function System fluency test(D-KEFS), 스투룹 검 사(Stroop Test)와 선로 잇기 검사(Trail Making Test) 가 많이 사용되는 것으로 확인되었다(Mueller & Dollaghan, 2013). 하지만 이러한 평가도구의 경우, 각 각 집행기능의 단면적인 요소인 억제력(inhibition), 언 어유창성(verbal fluency)만을 평가한다. 집행기능 평 가도구에 관한 체계적 고찰을 진행한 선행연구 중 하나 는 집행기능의 ‘따뜻함(hot)’과 ‘차가움(cold)’분류에 따 라 구분되는 특성을 기준으로 평가도구를 고찰하였다. 해당 연구에서는 아동을 대상으로 동기, 또는 보상을 기 반으로 하는 집행기능인 ‘Hot executive function’을 측 정하는 평가도구를 고찰하였으며, 가장 많이 사용된 평 가도구는 만족 지연 능력검사(Delayed Gratification Task), 아동 놀이 검사(The Child’s Play Task)와 지연 된 보상 과제(delayed reward task)였다. 해당 평가도 구 역시 모두 단일기능을 측정한다는 점에서 평가 영역 이 제한되었다(Mehsen, Morag, Chesta, Cleaton, & Burgos, 2022).

한편, Rosado-Artalejo(2017)는 집행기능을 포괄 적으로 분석하는 것은 단일적으로 평가했을 때에 비하여 건강을 더 잘 예측한다고 보고하였다. 해당 연구에 의하 면 결과를 누적하는 지표가 각 항목을 나누어 측정하였 을 때, 보다 집행기능의 손상을 더 잘 평가하는 것으로 드러났다(Rosado-Artalejo et al., 2017). 선행연구에 서는 백혈병 환자를 대상으로 측정한 집행기능 평가도구 에 대한 고찰을 시행하여 단일적 집행기능 평가도구 및 포괄적 집행기능 평가도구를 함께 확인하였다(Godoy, Simionato, de Mello, & Suchecki, 2020).

선행연구에서는 집행기능이 나타내는 다면적인 특성 에 비하여 확인된 평가도구는 대부분 집행기능의 단면적 인 한 영역만을 평가하였으며 특정한 진단명 각각에 대 한 집행기능 및 고위 인지기능 평가도구에 대한 연구는 보고되었지만, 전 진단군을 포함하지 않는다는 한계가 있다. 또한 선행연구에서는 집행기능을 인지 요소의 기 준으로 구분한 ‘Hot EF’와 ‘Cold EF’를 측정하는 평가도 구는 보고되었지만 이러한 기준으로 구분된 포괄적 인지 평가도구에 대한 연구는 보고되지 않았다. 따라서 다면 적인 구조를 나타내는 집행기능의 개념적 특성을 측정하 는 포괄적 집행기능 평가도구에 대한 문헌 고찰이 필요 한 실정이다. 그러므로, 본 연구는 집행기능 및 고위인지 기능 평가도구에 관하여 논리적, 사회정서적 인지 요소 별로 분석하고, 집행기능 개념의 다면적인 특성을 담은 평가도구에 대한 현황을 파악하여 인지재활 분야의 임상 및 연구에 대한 기초자료를 제공하고자 한다.

Ⅱ. 연구 방법

1. 연구 설계

본 연구는 포괄적 전두엽 기능 평가도구의 특성 및 대 상자의 분석을 위하여 문헌 고찰을 시행하였다. 고찰 과 정은 Preferred Reporting Items for Systematic Reviews and Meta-Analysis(PRISMA) 가이드라인 을 따라 진행하였다. 문헌 분석은 총 2명의 연구자의 합 의 및 논의를 통해 진행되었다.

2. 자료수집 및 문헌 검색

자료 수집 및 문헌 검색을 위하여 국외 데이터베이스인 Web of Science(WoS), CINAHL, Pubmed, MEDLINE 에서 2017년 1월부터 2022년 12월까지 게재된 논문을 검색하였다. 해외 선험적인 연구와 사례를 바탕으로 고기 능 인지 평가도구 내용을 조사 및 검토하고, 내용의 체계 화를 통해 경향 및 실태를 제시하고자 하였다. 검색어는 “Cognitive Rehabilitation” OR “Cognitive functions” OR “Cognitive Behavioral” OR “NeuroRehabilitation” OR “Executive rehabilitation”, “Higher-Order Cognitive” OR “Higher-level Cognitive” OR “Executive function”, “Measure” OR “Assessment” OR “Evaluation” OR “Tools” OR “Test”, “Clinical trial” OR “Trial” OR “Intervention”을 사용하였다(Figure 1).

Figure 1

Flow Chart

../figures/KJOT-31-3-29_F1.jpg

3. 선정 및 배제기준

본 연구의 진행을 위한 문헌의 선정 및 배제기준은 다 음과 같다. 2명의 연구자가 문헌 선정기준 및 배제기준에 대한 논의를 통해 의견을 일치시켰다.

1) 선정기준

  • (1) 집행기능 및 고위인지기능 평가도구를 사용한 연구

  • (2) 전문이 영어인 연구

  • (3) 원도구 확인이 가능한 연구

2) 배제기준

  • (1) 고찰 및 메타분석 연구

  • (2) 학위논문, 포스터, 기고글 회의록

  • (3) 전문이 없는 연구

  • (4) 단일 집행기능 평가도구를 사용한 연구

4. 분석 방법

중복 문헌을 제거한 후 연구의 제목과 초록을 기반으 로 선별 기준에 부합하는 연구들을 포함하였다. 다음으 로 선별된 연구들의 전문을 확인하여 기준에 부합하는 연구들을 최종 선별하였다. 최종 선정된 문헌에서 사용 된 9개의 전두엽 기능 평가도구의 출현 빈도수 및 비율을 분석하였다. 또한, 선정된 문헌에서 추출된 평가도구의 대상자, 평가방법, 평가항목, 신뢰도, 타당도 등의 특성을 기준으로 비교 분석하였다.

Ⅲ. 연구 결과

1. 집행기능 평가도구의 비율

총 9개의 집행기능 평가도구의 빈도수 분석 및 전체 평가도구에서의 비율을 분석하였을 때, 총 44개의 선정 문헌에서 가장 높은 빈도수로 출현한 평가도구는 Behavior Rating Inventory of Executive Function(BRIEF)로, 20회(45.45%) 출현하였다. 그 다음은 Delis-Kaplan Executive Function System(D-KEFS)가 11회 (25%) 출현하여 두 번째로 높은 비율을 나타내었으며, Frontal Assessment Battery(FAB)가 6회(13.64%) 출현하며 그 뒤를 이었다.

또한 문헌 고찰에서 평가한 대상자의 진단명에 따른 분류 및 진단 대상의 출현 빈도수와 차지 비율을 분석한 결과, 뇌성마비 환자를 대상으로 한 연구가 44건 중 5건으 로 가장 많았으며, 전체 문헌에서 11.46%를 차지하였다. 그 다음은 외상성 뇌손상과 비장애 대상 연구가 모두 4건, 9.09%를 차지하여 두 번째로 많았다. 그 외에도 전두엽 기능 평가도구는 척추갈림증 및 뇌종양이 3건, 소아기 뇌 손상, 자폐장애, 치매가 2건을 차지하였으며, 1건의 문헌 에서 출현한 나머지 17개의 진단명을 포함하여 총 44개 진단명을 가진 다양한 환자에게 적용되었다(Table 1).

Table 1

The Number of Executive Function Assessment Tool (N = 44)

No. Assessment tool Diagnosis (n) Frequency (n) %
1 BRIEF/BRIEF-2
  • -ADHD

  • -Autism (2)

  • -Neonatal hypoglycemia

  • -Refractory epilepsy

  • -Brain tumors

  • -TBI

  • -Non infection disease

  • -CP (3)

  • -Multiple sclerosis

  • -PTSD

  • -Neurodegenderative disorder

  • -Breast cancer

  • -N/A

  • -No disability

  • -Severe malaria

  • -pABI

  • -Myoclonic epilepsy

  • -Spina bifida myelomeningocele

20 45.45
2 D-KEFS
  • -Stroke

  • -TBI(3)

  • -Anxiety disorder

  • -Brain injury

  • -No disability

  • -Refractory epilepsy

  • -CP(2)

  • -pABI

  • -Spina bifida myelomeningocele

11 25
3 FAB
  • -Dementia(2)

  • -Frail

  • -Parkinson’s disease

  • -No disability

  • -Alcohol use disorder

  • -Autism

6 13.64
4 Behavioral Assessment of the Dysexecutive Syndrome (BADS)
  • -Brain tumors

1 2.27
5 Frontal Systems Behavior Scale (FrSBe)
  • -Brain tumors

1 2.27
6 Dysexecutive Questionnaire (DEX)
  • -TBI

  • -Spina bifida myelomeningocele

2 4.55
7 neurocognitive battery (CNB)
  • -No disability

1 2.27
8 Executive Function Performance Test (EFPT)
  • -Schizophrenia

1 2.27
9 Executive Interview 25 (EXIT-25)
  • -Mild cognitive impairment

1 2.27
Total 44 44 100

[i] ADHD: Attention deficit hyperactivity disorder, BADS: Behavioral Assessment of Dysexecutive Syndrome, BRIEF: Behavior Rating Inventory of Executive Function, CNB: Computerized Neurocognitive Battery, CP: Cerebral Palsy, D-KEFS: Delis-Kaplan Executive Function System, FAB: Frontal Assessment Battery, N/A: Not Applicable, pABI:Paediatric Acquired Brain Injury, PTSD: Posttraumatic Stress Disorder, TBI: Traumatic Brain Injury

2. 집행기능 평가도구의 특성

집행기능 평가도구의 평가방법, 평가항목, 신뢰도, 타 당도 등의 특성을 기준으로 비교 분석하였다.

1) 평가방법 분석

전두엽 기능 평가도구의 문항 유형 및 평가 방법은 질문지형 평가(questionnaire), 과제 수행형 평가(task performance assessment), 일상생활 기반 과제 수행 형 평가(ADL based task performance assessment) 로 나누어졌다. 평가 방법에 따른 빈도수 분석 결과는 Table 2에 나타내었다. 총 9개의 평가도구 중, 대부분의 평가도구(5건)는 과제 수행형 평가방식을 사용하였다.

Table 2

The Administration of Global Frontal Lobe Assessment Tools (N = 9)

No. Assessment tool Administration
Questionnaire Task performance ADL based task performance
1 BRIEF/BRIEF-2 V
2 FAB V
3 BADS V
4 FrSBe V
5 DEX V
6 CNB V
7 EXIT-25 V
8 D-KEFS V
9 EFPT V
Total number (n) 3 5 1

[i] BADS: Behavioral Assessment of the Dysexecutive Syndrome, BRIEF: Behavior Rating Inventory of Executive Function; CNB: Computerized Neurocognitive Battery, DEX: Dysexecutive Questionnaire, D-KEFS: Delis-Kaplan Executive Function System, EFPT: Executive Function Performance Test, EXIT-25: Executive Interview-25, FAB: Frontal Assessment Battery, FrSBe: Frontal Systems Behavior Scale

자가보고식 혹은 보호자의 응답에 의해 평가되는 질문지형 평가도구는 Behavior Rating Inventory of Executive Function(BRIEF/BRIEF-2), Frontal Systems Behavior Scale(FrSBe), Dysexecutive Questionnaire (DEX)의 세 가지 평가도구가 확인되었 다. Executive Function Performance Test(EFPT)의 경우, 다른 평가도구와 달리 일상생활 기반 과제 수행형 평가로, 평가 영역에서도 일상생활 속에서의 과제를 단 계에 걸쳐 수행하도록 하는 항목이 포함되어 있음을 확 인하였다(Table 2).

2) 평가항목 분석

집행기능 평가도구의 평가항목을 분석한 결과, 모든 평가도구는 Inhibition, Self monitering, Shifting 등 단 일 영역의 집행기능을 측정하는 하위항목을 포함하였다. 총 9개의 평가도구 중, Frontal Systems Behavior Scale(FrSBe)와 Dysexecutive Questionnaire(DEX) 와 Computerized Neurocognitive Battery(CNB)으로 논리적 측면에서의 집행기능과 함께 무감동(apathy), 또 는 감정상태 등의 사회정서적 요소를 평가하는 영역이 있다는 점에서 다른 평가도구와의 차이점을 보였다 (Table 3).

Table 3

A Summary of Executive Function Assessment Tools

No. Assessment tool (Author, year) Purpose Development year Subject age Administration Subtest Cognitive component Reliability Validity
1 D-KEFS (Dean et al., 2001) To assess the key components of executive functions 2001 8~89 years old P 9 Subtests (16 items)
  • -Trail making test

  • -Verbal fluency test

  • -The design fluency test

  • -Color-word interference test

  • -Sorting test

  • -Word context test

  • -Tower test

  • -Proverb test

Logical Internal consistency : Crohnbach α = .80 Convergent : WCST
2 BRIEF/BRIEF -2 (Gerard et al., 2009/2015) To assess the impairment of executive function in children and adolescnets. 2009 5~18 years old Q 10 Subtests (86 items)
  • -Inhibition

  • -Self-monitoring

  • -Shifting

  • -Emotion control

  • -Working memory

  • -Planning

  • -Organization

  • -Initiation

  • -Task-monitoring

  • -Organization of materials

Logical Test-retest : .88
Internal consistency : Crohnbach α = .80
Convergent : Emotional/ Behavioral functioning
3 FAB (Tuncay et al., 2009) To discriminate between dementia with frontal dysexecutive phenotype and dementia of alzheimer's type. 2009 0~18 years old P 6 Items
  • -Conflicting instructions

  • -Lexical fluency

  • -Similarities

  • -Luria’s test (motor series)

  • -Prehension behaviour (grasp reflex)

  • -Go-No-Go test

Logical Test-retest : .88
Internal consistency : Crohnbach α = .73
Convergent : MMSE
Concurrent : Stroop test r = -.252 ~-.650
4 BADS (Wilson, 1996) To predict everyday problems associated with a major area of cognitive deficit that can impede functional recovery. 1996 16~87 years old P 6 Subtests (20 items)
  • -Rule shift card test

  • -Action program test

  • -Key search test

  • -Temporal judgement test

  • -Zoo map test

  • -Modified six elements test

Logical Inter-rater reliability: .88~1.00
Test-retest reliability: -.08~.71
Concurrent 6 ELEM: r = -.85
COWAT : r = -.06
WCST: r = -.26
DEX: r = -.62
5 FrSBe (Velligan, 2001) To assess behavior related to frontal system damage. 2001 Adults Q 3 Subtests (46 items)
  • -Apathy (14 items)

  • -Disinhibition(15 items)

  • -Executive dysfunction (17 items)

Logical/Psychosocial Inter-rater: ICC= .83~.89
Test-retest: r = .78
Construct
  • -Family form: .92(Apathy: .78, Disinhibition: .80, Executive: .97),

  • -Self form: .88 (Apathy: .72, Disinhibition: .75, Executive: .79)

6 DEX (Bodenburg & Dopslaff, 2008) To assess everyday problems associated with frontal system dysfunction. 2008 Adults Q 4 Subtests (20 items)
  • -Emotional

  • -Motivation

  • -Behavior

  • -Cognition

Logical/ Psychosocial Internal consistency : Crohnbach α > .90
Inter-rater : ICC = .79
Construct:
  • 1)Behaviour, cognition & emotion

  • (2)Inhibition, intentionality, executive memory, positive affect & negative affect

  • (3)Inhibition, Intentionality, knowing-doing Dissociation, in-resistance & social regulation

7 CNB (Moore et al., 2015) To measure accuracy and speed of performance in major domains of cognition, including social-cognition, and executive functions. 2015 Adults P 8 Subtests
  • -Penn conditional exclusion test

  • -Penn word memory test

  • -Penn facial memory test

  • -Visual object learning test (episodic memory)

  • -Penn verbal reasoning test

  • -Penn matrix reasoning task (complex cognition)

  • -Penn emotion identification test

  • -Penn emotion differentiation test (social cognitiion)

Logical/ Psychosocial Internal consistency : Crohnbach α = .78~.90 Construct
  • -CFI: .95

  • -RMSEA: .055

8 EFPT (Baum et al., 2016) To examine the execution of four basic tasks essential for self maintainance and independent living. 2016 13~65 years old P Performance of function task (100 score)
  1. Task initiation

  2. Task execution

  3. Task completion


Task
  1. Simple cooking

  2. Telephone use

  3. Medication management

  4. Bill payment

Logical Internal consistency : Crohnbach α = .94
Inter-rater : ICC = .91
Content: Baum & Edwards’ (1993) Kitchen Task Assessment Concurrent
  • -FIM (r = -.40)

  • -WMS-R logical memory total recall test (r = -.59)

  • -Digit span backward test (r = -.49)

  • -Animal naming test (r = -.47)

  • -Short blessed test (r = .39)

  • -TMT part B (r = .39)

9 EXIT-25 (Donald, 2011) To assess executive functions in older adults to identify specific subtypes of mild cognitive impairment and the risk of dementia. 2011 Older adults P 4 Subtests (25 items)
  • -Verbal/design fluency

  • -Aural trail making task

  • -Repetitition of anomalous sentences

  • -Stroop-like interference task

Logical Internal consistency : Crohnbach α = .66
Inter-rater : ICC = .978
Convergent
  • Convergent -ECF (execpt TMT-B) (r = -.399~.322)

  • -Multifactorial cognitive function (r = -.432~.491)

[i] BADS: Behavioral Assessment of the Dysexecutive Syndrome, BRIEF: Behavior Rating Inventory of Executive Function, CFI: Comparative Fit Index, CNB: Computerized Neurocognitive Battery, COWAT: Controlled Oral Word Association Test, DEX: Dysexecutive Questionnaire, D-KEFS: Delis-Kaplan Executive Function System, EFPT: Executive Function Performance Test, EXIT-25: Executive Interview-25, FAB: Frontal Assessment Battery, FIM: Functional Independence Measure, FrSBe: Frontal Systems Behavior Scale, ICC: Intraclass Correlation Coefficient, MMSE: Mini-Mental State Examination, RMSEA: Root Mean Square Error of Approximation, TMT: Trail Making Test, WCST: Wisconsin Card Sorting Test, WMS-R: Wechsler Memory Scale-Revised, 6 ELEM: 6 Elements Test

3) 집행기능 평가도구의 신뢰도 및 타당도

추출된 평가도구의 신뢰도를 분석한 결과, 모든 평가 도구가 크론바흐 알파(Cronbach α)값이 0.7 이상으로 나타나 신뢰할만한 수준의 신뢰도를 보였다(George & Mallery, 2003; Nunnally, 1978). 또한 평가도구의 타 당도 분석 결과, 수렴 타당도(convergent vailidity), 기 준 타당도(concurrent validity), 구성타당도(construct validity), 내용 타당도(content vailidity) 등이 나타났 으며, 대부분의 평가도구가 수용할만한 수준의 타당도를 보이는 것으로 확인되었다(Table 3). 상관계수의 절대 값이 0.8 이상이면 강한 상관관계, 0.8~0.4면 중간정도 의 상관관계, 0.4 이하이면 약한 상관관계를 나타낸다 (Park, 2001). 기준 타당도에서는 기준 평가도구와 중 간정도의 상관관계 혹은 강한 상관관계를 보였으며, 구 성 타당도 또한 0.9 이상의 CFI 지수 및 RMSEA값이 0.6 이하로 좋은 모형적합도를 보였다(Hu & Bentler, 1999; Kang, 2013).

Ⅳ. 고 찰

본 연구는 집행기능 평가도구에 대한 문헌 고찰을 통 해, 다면적인 개념적 특성을 가진 집행기능을 측정하는 배터리 형식의 평가도구만을 검토하였다. 선정된 44개 의 문헌에서 추출한 9개의 평가도구 중 Behavior Rating Inventory of Executive Function(BRIEF/BRIEF-2) 가 가장 빈번하게 사용되었으며, 평가도구 사용 대상자 는 뇌성마비가 가장 많이 나타났다. 평가도구는 대부분 과제 수행형 평가(task performance assessment) 였으며 Frontal Systems Behavior Scale(FrSBe)와 Dysexecutive Questionnaire(DEX)는 집행기능과 함 께 무감동, 또는 감정상태를 평가하는 영역이 있었으며 일상생활 기반 과제 수행형 평가(adl based task- performance assessment)는 Executive Function Performance Test(EFPT)뿐이었다. BRIEF-1과 BRIEF-2는 아동 및 청소년을 대상으로 하는 집행기능 평가도구이다. BRIEF 2는 BRIEF 1보다 소요 시간이 짧 고 Attention Deficit Hyperactivity Disorder(ADHD) 와 Autism Spectrum Disorder(ASD)를 민감하게 감별 한다는 점에서 차이가 있지만 그 외의 평가 목적, 평가/관 찰 항목 및 대상연령이 동일하다는 이유로 본 연구에서 는 두 버전을 함께 제시하였다(Roth, Isquith, & Gioia, 2014; Toplak, Bucciarelli, Jain, & Tannock, 2008). FrSBe 또는 DEX와 같이 질문지형/지필 답안형 평가도 구에서 유일하게 아동을 대상으로 하는 것으로 나타났 다. 아동기는 집행기능 발달에 있어 결정적 시기이며 (Barkley, 1997; Fan & Wang, 2022), 뇌성마비, 자폐 스펙트럼 장애, 아동기 뇌손상 등 아동기에 전두엽 구조 에 미치는 영향은 성인기 집행기능 장애에 큰 영향을 미 치는 것으로 보고되었다(Sakasha, Broman, Rathouz, & Hustad, 2018). 아동기에 진단받을 확률이 높은 ADHD, CP, ASD 등이 비교적 높은 비율을 차지한다는 본 연구의 결과와, BRIEF/BRIEF-2 평가도구가 아동을 대상으로 하는 질문지형/지필 답안지형 평가도구라는 점 을 고려하였을 때 본 연구 결과에서 가장 많은 사용률을 보인것으로 사료된다(Barkley, 1997: Fan & Wang, 2022; Sakasha et al., 2018).

집행기능 평가도구는 총 44개 질환군의 기능 측정에 사용되었다. 대상자 질환의 다양성은 다면적인 특성을 가진 집행기능의 개념과 함께 고려된다. 집행기능은 상호 -관련되지만 식별 가능한 인지기능을 포괄하는 용어이며, 신경학적으로 전전두피질에 의해 중계된다(Siddiqui et al., 2008). 따라서 집행기능은 계획하기, 전환하기, 유 창성, 문제해결, 판단, 자기 규제, 주의 조절, 작업 기억, 억제 조절, 인지 유동성을 포괄하는 다면적인 구성개념 을 가진다(Burnett, Scratch, & Anderson, 2013; Costanzo et al., 2013; Miyake & Friedman, 2012; Nyongesa et al., 2019). 연구 결과에서 도출된 포괄적 전두엽 평가도구 대상자의 다양한 질환 및 장애는 이러 한 다수의 인지기능 개념을 포괄하는 집행기능의 다면적 인 특성이 반영되어 나타난 것으로 사료된다.

도출된 평가도구는 대부분 과제 수행형 평가도구 (task performance assessment)였다. 과제 수행형 평 가도구는 복합된 “고위(high order)”의 지식과 기술이 현실 기반의 맥락에서 실제로 사용되고 있는지를 평가한 다(Swanson, Norman, & Linn, 1995). 과제 수행 기반 평가도구는 특정 과제에 대한 성과의 개별적이고 특정한 구성요소를 사용하며 측정자의 과제 접근 방법을 평가할 수 있다는 특징이 있다. 과제 수행을 기반으로 하는 집행 기능 평가로는 Wisconsin Card Sorting Test(WCST), Trail Making Test(TMT) 및 Stroop Color-Word Test (SCWT)등이 보고되었다(Golden & Freshwater, 1978; Heaton, 1981; Reitan, 1992). 집행기능을 측정 하는 과제 수행 기반 평가도구는 집행기능의 다면적인 측면을 포괄적으로 측정하기 위해 신경정신학적 배터리 형태의 다양한 집행기능 평가를 세트로 구성하여 시행된 다. 그 예시로 Delis-Kaplan Executive Function System(D-KEFS)와 Behavioral Assessment of the Dysexecutive Syndrome for Children (BADS-C) 등 이 보고되었으며, 해당 평가도구는 본 연구 결과에서도 확인할 수 있었다(Emslie et al., 2003).

한편, 질문지형 평가도구(questionnaire)는 자가 또 는 타인에 의한 보고 방식(self reported or informat reported)으로 시행되며, 측정자 또는 보호자가 척도에 표시를 하여 평소 기능을 지표화한다. 질문지형 평가도 구는 과제 수행형 평가도구에 비해 상대적으로 시간 소 요가 적으며, 환자 측의 관점을 포함한다는 특징이 있다 (Swanson et al., 1995). 본 연구에서 확인한 가장 많이 사용되고 있는 집행기능 평가도구 BRIEF/BRIEF-2는 부모에 의한 보고식으로 구성된 평가도구로 아동의 억제, 전환, 감정 조절, 개시, 작업기억, 계획/조직화, 물체의 조직화, 모니터링 기능 등의 집행기능을 측정한다 (Sakasha et al., 2018).

본 결구 결과를 기반으로 과제 수행형 평가도구의 특 성을 고려하였을 때 고위 인지기능이며 다면적인 기능을 포괄하는 집행기능의 특성을 측정하는 다양한 과제 수행 형 평가가 존재하는 것을 확인할 수 있었다. 과제 수행형 평가도구는 인지기능 평가에서 특히 독립적 일상생활이 가능하지만 비정상적인 기억력의 감소를 보이는 경도인 지장애 환자의 집행기능 변화를 효과적으로 판별한다고 보고되었다(Kwak & Park, 2019). 그러나 본 연구에서 는 시간 소요가 적으며, 비교적 쉽게 기능을 측정할 수 있다는 점에서 자가 또는 타인에 의한 보고 방식의 형태 를 띄는 BRIEF 평가도구가 가장 많이 사용되었을 것으 로 사료된다.

Executive Function Performance Test(EFPT)는 9개의 평가도구 중 유일한 일상생활 기반 과제 수행형 평가였다. EFPT는 일상생활에서 생기는 집행기능의 문 제를 민감하게 평가하기 위해 작업치료사에 의해 개발되 었다(Baum, Morrison, Hahn, & Edwards, 2003). 이 는 임상적 활용이 용이한 집행기능 수행검사이며, 집행 기능의 손상과 독립적 기능을 위한 개인 역량, 과제 완성 에 필요한 도움을 4가지 일상적 과제 수행에 근거하여 평가한다(Baum et al., 2003). 본 연구를 통해 도출된 일상생활 기반 과제 수행형 평가도구의 개수는 1개로 다 른 유형의 측정방식을 가진 평가도구에 비해 매우 적다. 일상생활 기반 과제 수행형 검사는 독립적인 일상생활수 행의 관리의 기초가 되는 집행기능의 측정을 한다는 점 에서 의미가 있으며, 추후 이에 대한 연구가 더 필요하다 (Ko et al., 2015).

평가도구의 항목 분석 결과, Frontal Systems Behavior Scale(FrSBE), Dysexecutive Questionnaire (DEX), Computerized Neurocognitive Battery(CNB) 에서 감정, 동기와 관련된 사회정서적 인지 요소가 포함 된 것을 확인하였다. 이러한 평가도구의 특성은 Bechara 등(1999)의 집행기능을 ‘Hot executive function’과 ‘Cold executive function’으로 분류한 관점으로 확인할 수 있다. FrSBE, DEX와 CNB에서 나타난 하위항목들은 집행기능의 분류 중 ‘Hot executive function (EF)’에 속한다. 집행기능은 계획화, 억제, 유동성, 작업기억, 모 니터링과 같은 비감정적이고 문맥을 배제하는 분석적인 측면의 인지 요소를 나타내는 ‘Cold executive function (EF)’과 그와 대조적으로 상황적 맥락, 감정 및 동기와 같은 사회정서적 인지 요소를 나타내는 ‘Hot EF’으로 분 류될 수 있다(Peterson & Welsh, 2014). ‘Hot EF’와 ‘Cold EF’는 모두 전전두-이랑 네트워크(prefrontalcingular network)를 통해 신경학적으로 연계된다 (Salehingejad, Ghanavati, Rashid, & Nitsche, 2021).

‘Cold EF’은 논리적 분석, 비판적 분석, 계획, 억제, 집 중, 문제 파악, 작업기억, 인지적 유동성을 가능하게 하 며, 대뇌의 외측 전전두피질(lateral prefrontal cortex) 과 연합 영역(associated regions)이 관여하는 집행기 능의 영역이다(Zelazo & Muller, 2002). 반면, ‘Hot EF’ 은 사회정서적 영역을 통합하고 동기부여와 감정적 측면 에 의해 영향을 받는다. 예를 들어 ‘Hot EF’에는 감정적 규제, 공감, 자기 인식, 보상 지연, 감정 관리, 사회적 자 극, 정동적 판단이 있으며, 이러한 기능은 앞쪽 전두 영역 (anterior prefrontal area), 배외측 영역(dorsolateral area), 띠이랑 영역(cingulate area), 안와 영역(supraorbital area), 후방 대상 피질(Posterior Cingulate Cortex)를 활성화시킨다(Bernabei et al., 2018; Brock, Rimm- Kaufman, Nathanson, & Grimm, 2009; Bubb, 2018; Hongwanishkul, Happaney, Lee, Zelazo, 2005; Zelazo, 2020). 위와 같이 집행기능의 특성 분류에 따라 뇌의 각각 다른 영역을 활성화할 수 있다. 따라서 FrSBE, DEX 및 CNB는 ‘Hot EF’와 ‘Cold EF’ 모두 다루 어, 다른 평가도구보다 상대적으로 넓게 활성화된 전두 엽 영역을 분석할 수 있을 것으로 사료된다.

집행기능의 Hot-Cold 분류는 신경정신학적 장애 치 료를 적용함에 있어 중요한 임상적 의의를 가진다 (Salehingejad et al., 2021). 대부분의 신경정신학적 장 애에는 ‘Hot EF’와 ‘Cold EF’를 연계하는 전전두-이랑 네트워크(prefrontal-cingular network)가 크게 관여 한다. 이러한 네트워크의 손상은 우울증, 정동장애, 조현 병, 불안장애, 물질사용장애, 충동조절장애 등의 신경정 신학적장애 뿐만 아니라 주의력결핍/과잉행동장애 (Attention Deficit Hyperactivity Disorder; ADHD), 자폐스펙트럼장애(Autism Spectrum Disorder; ASD) 등 주요 신경발달장애에도 영향을 미친다(Salehingejad et al., 2021). 또한 신경정신학적 장애에 있어 ‘Hot EF’ 와 ‘Cold EF’의 손상이 다르게 나타나는 것으로 보고되 었다. 주의력결핍/과잉행동장애의 경우, ‘Cold EF’가 ‘Hot EF’보다 두드러진 손상을 보였다. 반면 자폐스펙트 럼장애의 경우 사회적 상호작용의 결핍을 보여 주로 ‘Hot EF’가 근본적인 손상으로 나타났으며, ‘Cold EF’의 경우 상동행동과 같은 이차적인 손상으로 나타나는 것으로 보 고되었다(Kouklari, Tsermentseli, & Monks, 2018; Zimmerman, Ownsworth, & Donovan, 2016). 그 외 에도 강박-충동장애는 ‘Cold EF’의 일차적 손상, 경계성 성격장애는 ‘Hot EF’의 일차적 손상을 보이는 것으로 확 인됨으로써, 신경정신학적 장애에 따라 근본적인 집행기 능 손상 영역이 다르다는 것을 확인하였다(Gruner & Pittenger, 2017; Schulze, Schulze, & Renneberg, 2019).

포괄적 전두엽 기능 평가도구는 신뢰도, 타당도가 높 은 도구이지만 ‘Hot EF’와 ‘Cold EF’를 모두 평가하여 넓은 영역의 뇌 기능 및 집행기능 네트워크를 측정하는 평가도구의 수는 적었다. 집행기능은 다양한 전두엽 영 역 및 네트워크에 의해 중계되므로(Siddiqui et al., 2008), 이러한 영역을 모두 포괄하는 집행기능 평가도 구에 대한 연구가 필요하다. 또한 신경정신학적 장애에 있어 집행기능 네트워크 손상의 세밀한 차이를 보이며, 이러한 차이를 확인하기 위한 ‘Hot EF’와 ‘Cold EF’에 대한 평가도구가 필요하다. 한편 집행기능이 일상생활 수행을 독립적으로 가능하게 하는 중요한 기초능력이며 재활치료 참여에 이어 회복에 있어 중요하다는 점에서 일상생활 기반 과제 수행형 평가도구에 대한 추후 연 구가 필요하다(Ko et al., 2015; Leśniak et al., 2008; Skidmore et al., 2010). 이러한 점들을 보완한 포괄적 전두엽 기능 평가도구의 개발 및 연구가 필요하며, 보다 완전한 전두엽 기능의 치료 효과를 확인할 수 있는 평가 도구로 활용되기를 기대한다.

Ⅴ. 결 론

본 연구는 집행기능 평가도구를 대상자, 평가방법, 평 가항목, 신뢰도, 타당도, 인지 요소 등의 특성을 기준으로 비교 분석하였다. 그 결과 ‘Hot EF’와 ‘Cold EF’를 모두 측정하는 평가도구의 수가 적으며, 집행기능을 일상생활 의 과제 수행을 기반으로 하는 평가도구의 수 또한 제한 적임이 나타났다. 따라서 이러한 점을 보완하여, 보다 넓 은 전두엽 영역을 평가하고 재활치료에 있어 중요한 일 상생활에서의 독립적 기능의 평가가 가능한 집행기능 및 고기능 인지 평가도구에 대한 개발 및 연구가 필요하다.

Acknowledgement

이 논문 또는 저서는 2021년 대한민국 교육부와 한국 연구재단의 지원을 받아 수행된 연구임(NRF-2021S1 A3A2A02096338)

References

1. 

Alvarez, J. A., & Emory, E. (2006). Executive function and the frontal lobes: A meta-analytic review. Neuropsychology review, 16(1), 17-42. 10.1007/s11065-006-9002-x 16794878

2. 

Barkley, R. A. (1997). Behavioral inhibition, sustained attention, and executive functions: Constructing a unifying theory of ADHD. Psychological Bulletin, 121(1), 65-94. 10.1037/0033-2909.121.1.65 9000892

3. 

Baum, C. M., Morrison, T., Hahn, M., & Edwards, D. (2003). Executive function performance test: Test protocol booklet. St. Louis, MO: Program in Occupational Therapy Washington University School of Medicine. 10.1037/t35081-000

4. 

Bechara, D., Tranel, D., Damasio, H., & Damasio, A. R. (1996). Failure to respond automatically to anticipated future outcomes following damage to prefrontal cortex. Cerebral Cortex, 6(2), 215–225. 10.1093/cercor/6.2.215 8670652

5. 

Bechara, D., Damasio, H., Damasio, A. R., & Lee, G. P. (1999). Different contributions of the human amygdale and ventromedial prefrontal cortex to decision-making. Journal of Neuroscience, 19(13), 5473–5481. 10.1523/JNEUROSCI.19-13-05473.1999 10377356 PMC6782338

6. 

Bernabei, L., Bersani, F. S., Delle Chiaie, R., Pompili, E., Casula, S., D’Aniello, G., ... & de’Fornari, M. A. C. (2018). A preliminary study on hot and cool executive functions in bipolar disorder and on their association with emotion regulation strategies. Rivista di psichiatria, 53(6), 331–335.

7. 

Brock, L. L., Rimm-Kaufman, S.E., Nathanson, L., & Grimm, K. J. (2009) The contributions of ‘hot’ and ‘cool’ executive function to children’s academic achievement, learning-related behaviors, and engagement in kindergarten. Early Childhood Research Quarterly, 24(3), 337-349. 10.1016/j.ecresq.2009.06.001

8. 

Bubb, E. J., Metzler-Baddeley, C., & Aggleton, J. P. (2018). The cingulum bundle: Anatomy, function, and dysfunction. Neuroscience & Biobehavioral Reviews, 92, 104-127. 10.1016/j.neubiorev.2018.05.008 29753752 PMC6090091

9. 

Burnett, A. C., Scratch, S. E., & Anderson, P. J., (2013). Executive function outcome in preterm adolescents. Early Human Development, 89(4), 215–220. 10.1016/j.earlhumdev.2013.01.013 23455604

10. 

Chayer, C., & Freedman, M. (2001). Frontal lobe functions. Current Neurology and Neuroscience Reports, 1, 547-552. 10.1007/s11910-001-0060-4 11898568

11. 

Collins, A., & Koechlin, E. (2012). Reasoning, learning, and creativity: Frontal lobe function and human decision-making. PLoS biology, 10(3), e1001293. 10.1371/journal.pbio.1001293 22479152 PMC3313946

12. 

Costanzo, F., Varuzza, C., Menghini, D., Addona, F., Gianesini, T., & Vicari, S. (2013). Executive functions in intellectual disabilities: A comparison between Williams syndrome and down syndrome. Research in Developmental Disabilities, 34(5), 1770-1780. 10.1016/j.ridd.2013.01.024 23501586

13. 

Delis, D. C., Kaplan, E., & Kramer, J. H. (2001). Delis-Kaplan executive function system, Technical Manual (D-KEFS). San Antonio, TX: The Psychological Corporation. 10.1037/t15082-000

14. 

Emslie, H., Wilson, F. C., Burden, V., Nimmo-Smith, I., & Wilson, B. A. (2003). Behavioural assessment of the dysexecutive syndrome in children. Pearson. 10.1037/t89186-000

15. 

Fan, L., & Wang, Y. (2022). The relationship between executive function and attention deficit hyperactivity disorder in young children: A cross-lagged study. Current Psychology, 42, 1-9. 10.1007/s12144-022-03233-5

16. 

Fuster, J. M. (1989). The prefontal cortex (2nd ed.). Denver, CO: Raven Press Publishing.

17. 

George, D., & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. 11.0 update(4th Ed.). Boston.,MA: Allyn & Bacon.

18. 

Gioia, G. A., Isquith, P. K., Guy, S. C., & Kenworthy, L. (2000). Test review: Behavior rating inventory of executive function. Child Neuropsychol, 6(3), 235–238. 10.1076/chin.6.3.235.3152 11419452

19. 

Godoy, P. B. G., Simionato, N. M., de Mello, C. B., & Suchecki, D. (2020). Assessment of executive functions after treatment of childhood acute lymphoid leukimia: A systematic review. Neuropsychology Review, 30, 386-406 . 10.1007/s11065-020-09446-4 32720195

20. 

Golden, C. J., & Freshwater, S. M., (1978). Stroop color and word test: A manual for clinical and experimental uses. Chicago, IL: Stoelting.

21. 

Grafman, J., & Litvan, I. (1999). Importance of deficits in executive functions. The Lancet, 354 (9194), 1921–1923. 10.1016/S0140-6736(99)90438-5 10622291

22. 

Gruner, P., & Pittenger, C. (2017). Cognitive inflexibility in obsessivecompulsive disorder. Neuroscience, 345, 243–255. 10.1016/j.neuroscience.2016.07.030 27491478 PMC5288350

23. 

Heaton, R. K. (1981). Wisconsin card sorting test manual. Odessa, FL: Psychological Assessment Resources.

24. 

Hongwanishkul, D., Happaney, K. R., Lee, W. S., Zelazo, P. D. (2005). Assessment of hot and cool executive function in young children: Agerelated changes and individual differences. Development of Neuropsychology, 28(2), 617-644. 10.1207/s15326942dn2802_4 16144430

25. 

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for indexes in covariance structure analysis: Conventional criteria versus new alternatives, Structural Equation Modeling, 6(1), 1-55. 10.1080/10705519909540118

26. 

Kang, H. C. (1999). Discussions on the suitable interpretation of model fit indices and the strategies to fit model in structural equation modeling. Journal of the Korean Data Analysis Society, 15(2), 653-668.

27. 

Kim, H. K. (2001). Clinical evaluation of the frontal lobe syndrome using kims frontal-exective neuropsychlogical test. Korean Journal of Rehabilitation Psychology, 8(2), 172-190.

28. 

Ko, S. B., Kim, M. Y., & Oh, Y. T. (2015). A systematic review on intervention to improve executive function in stroke patients. Therapeutic Science for Neurorehabilitation, 4(2), 33-50.

29. 

Kouklari, E.-C., Tsermentseli, S., & Monks, C. P. (2018). Hot and cool executive function in children and adolescents with autism spectrum disorder: Cross-sectional developmental trajectories. Child Neuropsychology, 24(8), 1088–1114. 10.1080/09297049.2017.1391190 29052463

30. 

Kwak, H. S., & Park, J. H. (2019). A preliminary study on a performance-based cognitive function test: With the normal eldrly. Therapeutic Science for Rehabilitation, 8(3), 43-55.

31. 

Leśniak, M., Bak, T., Czepiel, W., Seniów, J., & Członkowska, A. (2008). Frequency and prognostic value of cognitive disorders in stroke patients. Dementia and geriatric cognitive disorders, 26(4), 356-363. 10.1159/000162262 18852488

32. 

Mehsen, V., Morag, L., Chesta, S., Cleaton, K., & Burgos, H. (2022). Hot executive function assessment instruments in preschool children: A systematic review. International Journal of Environmental Research and Public Health, 19(1), 95. 10.3390/ijerph19010095 35010356 PMC8750992

33. 

Miyake, A., & Friedman, N. P. (2012). The nature and organization of individual differences in executive functions: Four general conclusions. Current Directions. Psychological. Science, 21(1), 8–14. 10.1177/0963721411429458 22773897 PMC3388901

34. 

Mueller, J. A., & Dollaghan, C. (2013). A systematic review of assessments for identifying executive function impairment in adults with acquired brain injury. Journal of Speech, Language, and Hearing Research, 56(3), 1051-1064. 10.1044/1092-4388(2012/12-0147) 23275420

35. 

Nguyen, L., Murphy, K., & Andrews, G. (2019). Cognitive and neural plasticity in old age: A systematic review of evidence from executive functions cognitive training. Ageing Research, 53, 1–17. 10.1016/j.arr.2019.100912 31154013

36. 

Nunnally, J. C. (1978). Psychometric theory(2nd Ed.). Manhattan, NY: McGraw Hill.

37. 

Nyongesa, M. K., Ssewanyana, D., Mutua, A. M., Chongwo, E., Scerif, G., Newton, C. R. J. C., & Abubakar, A. (2019). Assessing executive function in adolescence: A scoping review of existing measures and their psychometric robustness. Frontiers in Psychology, 10, 1-18. 10.3389/fpsyg.2019.00311 30881324 PMC6405510

38. 

Park, Y. G. (2001). Correlation and regression analysis. Journal of Korean Academy of Family Medicine, 22(1), 43-51.

39. 

Peterson, E., & Welsh, M. C. (2014). The development of hot and cool executive functions in childhood and adolescence: Are we getting warmer? In S. Goldstein & J. A. Naglieri (Eds.), Handbook of executive functioning (pp. 45–65). Germany: Springer Science & Business Media. 10.1007/978-1-4614-8106-5_4

40. 

Reitan, R. M. (1992). Trail making test: Manual for administration and scoring. Tucson, AZ: Reitan Neuropsychology Laboratory.

41. 

Roth, R. M., Isquith, P. K., & Gioia, G. A. (2014). Assessment of executive functioning using the Behavior Rating Inventory of Executive Function (BRIEF). Handbook of Executive Functioning (pp. 301-331). Manhattan, NY: Springer. 10.1007/978-1-4614-8106-5_18

42. 

Rosado-Artalejo, C., Carnicero, J. A., Losa-Reyna, J., Castillo, C., Cobos-Antoranz, B., Alfaro- Acha, A., Rodrguez-Maas, L., & Garca-Garca, F. J. (2017). Global performance of executive function is predictor of risk of frailty and disability in older adults. Journal of Nutrition, Health & Aging, 21(9), 980-987. 10.1007/s12603-017-0895-2 29083438

43. 

Sakasha, A., Broman, A. T., Rathouz, P. J., & Hustad, K. C. (2018). Executive function in school-aged children with cerebral palsy: Relationship with speech and language. Research in Developmental Disabilities, 78, 136-144. 10.1016/j.ridd.2018.05.015 29853333 PMC6033269

44. 

Salehingejad, M. A., Ghanavati, E., Rashid, M. H. A., & Nitsche, M. A. (2021). Hot and cold executive functions in the brain: A prefriontal-cingular network, Brain and Neuroscience Adavances, 5, 1-19. 10.1177/23982128211007769 33997292 PMC8076773

45. 

Schulze, L., Schulze, A., & Renneberg, B. (2019). Neural correlates of affective disturbances: A comparative meta-analysis of negative affect processing in borderline personality disorder, major depressive disorder, and posttraumatic stress disorder. Biological Psychiatry: Cognitive Neuroscience and Neuroimaging 4(3), 220–232. 10.1016/j.bpsc.2018.11.004 30581154

46. 

Shin, M. K. (2009). Effects of an exercise program on frontal lobe cognitive function in elders. Journal of Korean Academy of Nursing, 39(1), 107–115. 10.4040/jkan.2009.39.1.107 19265317

47. 

Siddiqui, S. V., Chatterjee, U., Kumar, D., Siddiqui, A., & Goyal, N. (2008). Neuropsychology of prefrontal cortex. Indian Journal of Psychiatry, 50(3), 202–208. 10.4103/0019-5545.43634 19742233 PMC2738354

48. 

Skidmore, E. R., Whyte, E. M., Holm, M. B., Becker, J. T., Butters, M. A., Dew, M. A., ... & Lenze, E. J. (2010). Cognitive and affective predictors of rehabilitation participation after stroke. Archives of Physical Medicine and Rehabilitation, 91(2), 203-207. 10.1016/j.apmr.2009.10.026 20159122 PMC2824912

49. 

Swanson, D. B., Norman, G. R., & Linn, R. L. (1995). Performance based assessment: Lessons from the health professions. Educational Researcher, 24(5), 5-11. 10.2307/1177072

50. 

Toplak, M. E., Bucciarelli, S. M., Jain, U., & Tannock, R. (2008). Executive functions: Performancebased measures and the behavior rating inventory of executive function (BRIEF) in adolescents with attention deficit/hyperactivity disorder (ADHD). Child Neuropsychology, 15(1), 53-72. 10.1080/09297040802070929 18608232

51. 

Zelazo, P. D., & Muller, U. (2002). Executive function in typical and atypical development. In Blackwell handbook of childhood cognitive development: Goswami, U. (Eds). Hoboken, NJ: Blackwell Publishers Ltd. 10.1002/9780470996652.ch20

52. 

Zelazo, P. D. (2020). Executive function and psychopathology: A neurodevelopmental perspective. Annual Review of Clinical Psychology, 16, 431–454. 10.1146/annurev-clinpsy-072319-024242 32075434

53. 

Zimmerman, D. L., Ownsworth, T., O’Donovan, A., Roberts, J., & Gullo, M. J. (2016). Independence of hot and cold executive function deficits in high-functioning adults with autism spectrum disorder. Frontiers in Human Neuroscience, 10, 1-24. 10.3389/fnhum.2016.00024 26903836 PMC4742532



This display is generated from NISO JATS XML with jats-html.xsl. The XSLT engine is libxslt.