Ⅰ. 서 론

1. 연구의 필요성

간호 교육의 목표는 간호대학생에게 필요한 역량 을 개발하여 환자에게 안전하고 질 좋은 간호를 제공 하기 위함이다(Tseng et al., 2011). 최근 국내 간호 교육기관이 기하급수적으로 증가하였지만 실습처는 부족한 관계로 학생들은 임상실습을 통해 경험할 수 있는 교육을 받지 못하는 상황이다(Lee, 2006). 시 뮬레이션 교육에서 학생들은 안전한 환경에서 다양 한 시나리오를 반복적으로 학습할 수 있으며, 디브리 핑을 통해 교수진과 피드백을 주고받아 학습성과를 높일 수 있다(Jang et al., 2016). 시뮬레이션 교육 은 심동적 영역뿐만 아니라 인지적 영역, 정의적 영 역까지 모든 학습영역을 통합하고 있다(Goldenberg, Andrusyszyn, & Iwasiw, 2005).

국내 간호 시뮬레이션과 관련 연구는 2000년대 부터 증가하였고(Kim, Park, & Shin, 2013) 국내 외적으로 시뮬레이션 교육환경의 특성을 반영한 평 가도구가 다양하게 개발되고 있으므로(Shim & Shin, 2015;Kim & Nam, 2016;Yang & Hwang, 2016), 간호교육 연구자는 시뮬레이션 교육에서의 학습목표 또는 성과를 고려하여 신뢰도와 타당도가 검증된 평가도구를 선택하여야 한다. 신뢰도와 타당 도가 검증되지 않은 평가도구를 사용하여 연구를 진 행하게 되면 측정 오류를 설명하기 어려우며, 연구 대상자에 따라 연구 결과의 일관성이 떨어질 수 있 다(Ahmed & Ishtiaq, 2021). 이로 인해 연구결과 의 신뢰도가 저하되어 일반화하지 못함으로써 이를 활용하는데 어려움이 있을 수 있다(Ahmed & Ishtiaq, 2021).

신뢰도는 검사-재검사 신뢰도, 반분신뢰도, 문항 내적 일관성 신뢰도, 평가자 내 신뢰도 혹은 평가자 간 신뢰도로 추정할 수 있다(Seong, 2002). 검사-재 검사 신뢰도는 Pearson 상관계수 r 값으로 추정하며, 반분신뢰도는 상관계수 값을 이용하여 Spearman- Brown의 공식에 의해 추정한다(Seong, 2002). 문 항 내적 일관성 신뢰도는 Cronbach’s alpha의 결과 값으로 추정한다(Seong, 2002). 평가자 내 신뢰도와 평가자 간 신뢰도는 Kappa 계수, Pearson 상관계 수, Spearman 계수로 추정한다(Kim et al., 2011).

타당도는 내용타당도, 구성타당도, 준거타당도로 추정할 수 있다(Seong, 2002). 내용타당도는 내용 타당도 지수(Content validity index, CVI) 값을 근거로 이용한다. 구성타당도의 요인분석은 요인에 따른 누적 설명분산비율로 검증하고(Hair, 1998), 다속성-다방법 행렬방법은 타당성 계수를 통하여 검증한다(Campbell & Fiske, 1959). 또한, 구성타 당도의 집단비교법은 다른 특성을 가진 그룹에 따라 비교하여 유의수준을 통하여 검증한다(Kim & Heo, 2019). 준거타당도는 평가도구로 측정된 점수와 다 른 평가도구 간의 상관관계를 파악하며 상관계수의 값을 근거로 이용한다(Kim et al., 2011).

간호 교육계는 시뮬레이션 교육에 관한 표준화된 평가도구 개발에 관한 필요성을 제기하고 있다(Kim et al., 2013). 시뮬레이션은 난이도에 따라 학습자 가 습득할 수 있는 성과가 다르며 평가할 수 있는 항목도 다양하다(Kim & Nam, 2016). 시뮬레이션 교육에서 학습성과에 대한 평가는 학습자의 핵심역 량 개발에 중요한 영향을 미친다(Kim & Nam, 2016). 시뮬레이션 교육이 효과적으로 이루어졌는 지를 평가하기 위해서는 학생이 갖추어야 할 역량이 포함된 학습목표를 제시하고 숙련된 정도를 확인해 야 한다(Jeffries, Rodgers, & Adamson, 2015).

간호연구에서 시뮬레이션 교육의 효과에 대한 체 계적 고찰과 메타분석이 있을 뿐(Hyun, Kim, Han, & Kim, 2019;Kim et al., 2013), 국내 간호 시뮬 레이션 교육 평가도구 개발에 대한 전반적인 파악이 되지 않은 실정이다. 따라서 신뢰도와 타당도가 검 증된 시뮬레이션 교육 평가도구를 고찰하여 특성을 확인하는 연구가 필요하다.

본 연구에서는 국내 간호 시뮬레이션 교육 평가도 구 개발의 연구동향을 분석하여 간호 시뮬레이션 교 육 평가도구를 선정할 수 있도록 돕고자 한다. 또한, 평가도구들의 특성, 신뢰도와 타당도 검증 결과를 파악함으로써 간호 시뮬레이션 교육 및 연구의 질 향상에 기여할 수 있을 것이다.

2. 연구 목적

본 연구는 국내 간호 시뮬레이션 교육 평가도구 개발 연구의 동향과 도구 관련 특성 및 신뢰도와 타 당도 검증 결과를 파악하여 향후 평가자가 간호 시 뮬레이션 교육 관련 연구를 위한 방향을 제시하고자 한다. 구체적인 목적은 다음과 같다.

Ⅱ. 연구방법

1. 연구 설계

본 연구는 초기 간호연구부터 2022년 3월까지 간 호대학생을 대상으로 한 시뮬레이션 교육 평가도구 개발 연구 동향을 파악하고 평가도구의 연구 관련 특성을 분석하기 위한 문헌 고찰 연구이다.

2. 자료 선정과 배제기준

본 연구는 간호연구 중 시뮬레이션 교육 평가도구 개발과 관련된 국내 학술지 게재 논문과 국내 학위 논문을 선정대상으로 하였다. 분석 논문은 2022년 3월까지의 연구로 한국교육학술정보원(www.riss. kr)과 국회도서관(www.nanet.go.kr), 한국과학기 술정보연구원(scienceon.kisti.re.kr)의 데이터 베 이스를 검색하여 수집하였다. 검색어는 ‘간호(nursing)’, ‘시뮬레이션(simulation)’, ‘도구 개발(instrument development)’, ‘평가(evaluation)’, ‘타당도(validity)’, ‘신뢰도(reliability)’이었다.

최종 문헌은 검색어로 검색된 문헌 중 아래의 기 준에 해당하는 연구를 선정하고 배제하였다.

1) 선정기준

2) 제외기준

3. 연구 선정 및 자료 추출과정

전자 데이터베이스를 통해 국내 문헌을 검색하였 다. 문헌 검색을 위해서 한국교육학술정보원(www. riss.kr)과 국회도서관(www.nanet.go.kr), 한국 과학기술정보연구원(scienceon.kisti.re.kr)의 데 이터베이스를 이용하였다. 문헌검색은 3명의 연구자 가 자료 선정기준에 부합하는 검색어를 포함하여 실 시하여 총 687편의 논문이 검색되었다. 이 중 중복논 문을 제외하고 598편의 논문을 추출하였다. 2명의 연구자가 논문의 초록을 검토하여 선정기준에 부합 하지 않는 연구 540편을 제외하였다. 다음 남은 58 편의 논문 원문을 확인하여 제외기준에 해당하는 연 구 42편을 제외하였다. 이상의 문헌추출 과정을 통 해 16편의 연구가 최종 선정되었다(Figure 1).

연구 대상으로 선정된 16편의 논문에 대해 연구 관련 특성과 도구 관련 특성으로 분류하였다. 연구 관련 특성으로는 도구의 개발자 및 발표연도, 출판 유형, 해외도구의 원저자 및 개발연도, 도구명, 연구 대상자 및 대상자 수, 평가과목을 추출하였다. 도구 관련 특성으로는 측정변수, 학습영역, 평가방법, 문 항 수, 척도 유형, 점수 범위, 타당도 및 신뢰도를 추출하였다.

4. 자료분석

자료 분석은 SPSS 20.0 프로그램을 사용하여 연 구 관련 특성 및 도구 관련 특성에 대한 빈도 및 백 분율을 산출하였다.

Ⅲ. 연구결과

1. 연구관련 특성

분석에 선정된 연구는 총 16편으로 연구의 특성 은 Table 1과 같다. 발표연도를 살펴본 결과, 2012 년부터 시뮬레이션 교육 평가도구 개발 간호 연구가 출판되기 시작되었고, 2012년부터 2016년까지 9편 (56.3%), 2017년부터 2022년까지 7편(43.8%)의 연구가 발표되었다. 그 중 국내 학술지에 출판된 연 구가 12편(75.0%), 미출판 연구로는 학위논문이 4 편(25.0%)이었다.

선정된 연구 중 8편(50.0%)의 연구가 해외에서 개발된 도구를 국내 간호대학생에게 적용하기 위해 신뢰도 및 타당도를 검증한 연구였고, 도구개발 연구 가 8편(50.0%)이었다. Lasater가 개발한 Lasater clinical judgement rubric (LCJR)(Lasater, 2007) 를 사용한 연구가 4편(25.0%)으로 가장 많았고 나머 지는 각 1편씩에서만 사용되었다.

평가도구의 연구 대상자는 간호대학생 4학년이 9 편(56.3%)로 가장 많았으며, 다음으로 3학년과 4학 년 모두를 대상자로 한 연구는 4편(25.0%), 3학년 이 2편(12.5%)를 차지하였다. 그 외에 학년을 언급 하지 않은 연구는 1편(6.3%)이었다. 대상자 수는 최 소 34명에서 최대 270명까지 다양하였고, 이 중 60 명 미만을 대상으로 한 연구가 5편(31.3%)이었다.

시뮬레이션 교육 평가도구를 적용한 교과목은 아 동간호학 교과목이 2편(12.5%), 여성건강간호학 교 과목, 통합실습II 교과목, 시뮬레이션 기초·심화 교과목, 시뮬레이션 교과목이 각 1편(6.3%)이었으 며, 그 외 10편에서는 교과목을 언급하지 않았다.

2. 도구 관련 특성

연구는 16편이었으나 평가도구는 총 17개로 도구 적 특징은 다음과 같다(Table 2). 본 연구에서 확인한 17개의 도구에서 측정변수로는 간호역량 6개(35.3%), 임상판단능력 4개(23.5%), 만족도 2개(11.8%) 순이 었고, 의사소통능력, 팀워크, 학습몰입, 심리적 안전, 스트레스가 각 1개(5.9%)였다. 이 측정변수들을 Bloom의 교육목표 기준(Bloom, 1956)에 따라 분류 하였을 때 인지적 영역 11개(64.7%), 정의적 영역 10개(58.8%), 심동적 영역 7개(41.2%) 순으로 나타 났으며, 이 중 모든 영역을 통합적으로 모두 평가하는 도구는 6개(35.3%)였다. 분석된 도구의 평가방법은 관찰법, 자가보고식으로 측정하였으며, 자가보고식 이 9개(52.9%), 관찰이 9개(52.9%), 자가보고와 관 찰이 모두 이루어진 연구가 1개(5.9%)였다. 분석된 시뮬레이션 교육 평가도구들은 10~52개 항목으로 구성되었다. 척도는 3점에서 5점까지의 Likert척도 를 활용하고 있었으며 5점 Likert척도가 8개로 (47.1%)를 가장 많이 사용되었다(Table 3).

분석대상 문헌은 모두 도구들의 신뢰도와 타당도를 검증하여 제시하고 있다. 신뢰도는 모두 Cronbach’s alpha로 검증했으며, r값은 .73~95이었다. 반분신 뢰도로 검증한 도구는 2개(11.8%)였으며, r값은 .81~.93이었다. 평가자 간 신뢰도로 검증한 도구는 6개(35.3%)였으며, r값은 .84~.92이었다. 평가자 내 신뢰도로 검증한 도구는 1개(5.9%)로, r값은 .92와 .99이었다. 2가지 이상의 신뢰도를 측정한 도구는 8개(47.1%)이었다. 평가자 간 신뢰도를 측정한 평가 도구 중 평가자 내 신뢰도가 선행된 평가도구는 1개 (5.9%)였다.

타당도는 내용타당도, 구성타당도, 준거타당도로 검증되었다. 내용타당도를 제시한 평가도구는 11개 (64.7%)이었으며, 내용타당도 지수(CVI)의 범위는 .75~1.00이었다. 구성타당도를 검증한 평가도구는 15개(88.2%)였으며, 요인분석, 다속성-다방법 행 렬 방법, 상관계수법, 집단 비교법으로 측정하였다. 이 중 요인분석을 통해 검증한 평가도구는 13개 (76.5%)였으며 누적 설명분산비율은 2개의 평가도 구를 제외하고는 60% 이상이었다. 다속성-다방법 행렬 방법을 통해 검증한 평가도구는 2개(11.8%)로 타당성 계수의 범위는 .32~.95이었으며, 상관계수 법으로 검증한 평가도구는 4개(23.5%), r값은 -.43~.74이었다. 집단비교법을 통해 검증한 평가 도구는 2개(11.8%), 유의수준 p값은 .05미만이었 다. 준거타당도를 검증한 평가도구는 7개(41.2%)였 으며, r 값은 .42~.98이었다(Table 4).

Ⅳ. 논 의

본 연구는 국내 간호 시뮬레이션 교육 평가도구 개발 연구의 동향과 도구 관련 특성 및 신뢰도와 타 당도 검증 결과를 파악하여 향후 간호 시뮬레이션 교육 관련 연구를 위한 방향을 제시하고자 시도되었 다. 분석 결과, 국내 간호학 분야에서 시뮬레이션 교 육 평가도구 개발 연구는 2012년도부터 시작되었으 며, 본격적으로 도구 개발 연구가 증가한 시기는 2013년 이후임을 알 수 있다. 이는 2010년 국내 간 호 시뮬레이션 교육 연구의 수가 급증한 후(Jang et al., 2016), 국내 실정에 맞는 시뮬레이션 교육 평가 도구 개발에 대한 연구가 활발히 이루어졌다는 것을 반영하는 것으로 보인다. 평가도구의 연구 대상자는 간호대학생 3학년 또는 4학년 위주로 보고되었다. 이는 시뮬레이션 교육이 임상 상황과 유사한 환경을 통해 판단 능력과 상황관리 능력을 습득하게 하는 목적을 가지고 있기에 저학년이 아닌 고학년인 3, 4학년을 대상으로 시뮬레이션 교육을 진행한다는 선 행연구 결과(Jang et al., 2016)를 반영하고 있다.

시뮬레이션 교육 평가도구를 살펴보면 Bloom의 교육목표 기준(Bloom, 1956)에 따른 영역을 종합적 으로 측정한 변수는 간호역량(35.3%)이었다. 시뮬 레이션 교육은 학습자가 습득한 지식을 바탕으로 이 를 실제 상황에 적용하는 교육이므로 간호역량을 평 가한 시뮬레이션 평가도구들은 인지적, 심동적, 정 의적 영역이 종합적으로 평가되었다고 볼 수 있다. 그러나 6개의 간호역량을 평가한 도구를 제외하고 나머지 평가도구들의 측정변수는 임상판단능력, 만 족도, 의사소통능력, 팀워크, 학습몰입, 심리적 안 전, 스트레스와 같이 인지적 영역만을 측정하거나 정의적 영역만을, 심동적 영역만을 측정하는 등 단 편적으로 평가하여 시뮬레이션의 설계 구성요소를 반영하지 못하고 있다. 시뮬레이션의 설계는 명확한 학습목표를 바탕으로 학습자의 역할 분배, 사전 브 리핑, 시뮬레이션 수행, 디브리핑으로 이루어지며 교수자는 시뮬레이션 설계할 때, 학습목표와 교육내 용, 지지, 문제해결, 피드백, 충실도 측면을 고려하 여야 한다(Jeffries et al., 2015). 현재 간호 시뮬레 이션 교육은 시나리오가 다양하게 개발되고 있으며 (Park, Seo, Jeon, & Song, 2016), 시뮬레이션의 설계 구성요소에 따라 평가해야 할 범위도 광범위해 지고 있다. 따라서 학습자의 역량을 체계적으로 평 가하기 위해서는 시뮬레이션의 특성과 환경을 바탕 으로 다양한 학습목표를 반영하는 평가도구의 개발 이 필요하다.

본 연구 결과에 따르면 학습내용에 대한 학습자의 지식을 의미하는 인지적 영역을 평가한 도구 중 80.0%가 관찰법을 통해 이루어졌으며, 신체동작과 생각이 동시에 어우러지는 심동적 영역을 평가한 도 구도 관찰법을 통해 이루어졌다. 이는 학습자가 스 스로 평가하는 지식과 실제 이들이 가진 지식 간의 차이가 큰 것으로 판단되어(Liaw, Scherpbier, Rethans, & Klainin-Yobas, 2012) 평가자에 의 한 관찰이 주가 되었을 수 있다. 그러나 관찰법은 평가자가 교수진이며, 이들의 가치관, 태도, 신념, 편견에 따라 학습성과를 평가할 수 있기 때문에 평 가의 객관성 및 일관성이 저하될 가능성이 있다 (Oermann, Saewert, Charasika, & Yarbrough, 2009). 관찰법을 사용하는 도구는 평가자가 학습자 들의 수행에 대한 평가를 내리기 전 충분한 자료를 수집하는 등의 오류를 줄일 수 있는 방안을 마련할 필요가 있다(Oermann & Gaberson, 2016). 또한, 여러 명의 평가자가 관찰법으로 평가하는 도구의 경 우, 평가자 간 일관성을 향상시킬 수 있는 방안이 필요할 것으로 여겨진다.

평가도구가 평가자에 의한 관찰을 통해 이루어진 다면 평가자 내 신뢰도 혹은 평가자 간 신뢰도를 측 정할 수 있다. 특히, 평가자 내 신뢰도는 평가자 간 신뢰도를 나타낼 때 선행적으로 이루어져야 한다 (Seong, 2002). 본 연구의 도구 중 평가방법이 관 찰법이지만 문항 내적 일관성 신뢰도만 측정하거나 평가자 내 신뢰도 측정 없이 평가자 간 신뢰도 만을 측정한 도구는 다각적인 신뢰도를 확보할 수 있는 방안이 필요해 보인다. 또한, 타당도는 한 유형의 타 당도만으로 근거를 제시하기보다는 다양한 유형의 타당도를 제시하는 것이 평가도구를 목적에 맞게 사 용할 수 있다(Lee & Shin, 2013). 본 연구에서 한가 지 타당도만 측정한 평가도구가 23.5%로 보고되었 다. 타당도의 기준은 절대적이지 않으나, 하나의 접 근만으로는 타당도가 적절하다고 판단할 수 없다 (Lee & Shin, 2013). 구성타당도를 측정하는 방법 인 요인분석 중 누적 설명 분산비율이 60% 이상이 어야 적절하다고 평가하지만(Polit & Beck, 2006) 2개의 평가도구가 60% 미만으로 측정되었지만 구 성타당도를 측정하는 유일한 방법은 아니므로 상관 계수법, 집단비교법 등을 활용하여 타당도를 확보할 수 있다면 타당한 도구임을 증명할 수 있을 것이다.

간호 시뮬레이션 교육의 목표와 포함되어야 할 구 성요소를 포함하여 제대로 평가할 수 있는 평가도구 인지에 대한 논의가 구체적으로 이루어진다면 간호 실무 분야에서 시뮬레이션 교육을 받는 간호사의 역 량을 평가하기 위한 도구로 활용될 수 있을 것이다. 간호교육 분야에서 시뮬레이션 교육을 받는 간호대 학생이 공통적으로 갖추어야 할 간호역량을 평가하 여 교육 프로그램 운영을 효과적으로 할 수 있다. 또한 교수자는 학습자의 학습성과와 달성도를 한눈 에 파악할 수 있어 체계적으로 피드백을 줄 수 있고, 간호대학생은 이러한 경험을 통해 학습자는 학습자 원을 능동적으로 활용할 수 있는 수준까지 나아갈 수 있다. 간호연구 분야에서 시뮬레이션 교육의 질 적 향상을 위하여 학습목표에 따라 평가할 수 있는 시뮬레이션 평가도구를 개발하고 도구에 대한 타당 도 검증을 지속적으로 하여 연구의 기틀을 마련하는 데 도움이 될 것으로 사료된다.

본 연구에는 몇 가지 제한점이 있다. 문헌을 체계 적으로 평가하기 위한 질적 평가가 이루어지지 않아 잠재적인 비뚤림 위험이 있을 수 있다. 또한 문헌 선정 기준에서 간호대학생을 대상으로 개발된 평가 도구와 출간 언어를 한국어로 한정하였기에 다양한 간호 시뮬레이션 평가도구가 누락되었을 수 있다는 제한점이 있다.

Ⅴ. 결론 및 제언

본 연구는 초기간호연구부터 2022년 3월까지 간 호대학생을 대상으로 시뮬레이션 교육 평가를 위한 도구개발 연구 동향을 파악하고 평가도구의 연구관 련 특성을 고찰하기 위해 최종 16개의 논문에서 17 개의 평가도구를 대상으로 연구를 시행하였다. 그 결과, 시뮬레이션 교육에서의 평가도구는 2012년부 터 시뮬레이션 교육 평가도구 개발 간호 연구가 출 판되기 시작되었으며, 6개의 평가도구만이 인지적, 심동적, 정의적 영역을 통합적으로 간호역량을 평가 하고 있어 평가도구의 측정영역이 시뮬레이션 교육 의 설계 구성요소를 고려한 것인지에 대한 성찰이 필요하였다. 평가자 간 신뢰도를 측정한 평가도구 중 평가자 내 신뢰도가 선행된 평가도구는 1개만이 보고되어 다각적인 신뢰도를 확보할 수 있는 방안이 필요하다. 타당도 또한 1개의 타당도 만을 보고한 평 가도구가 있었으며, 요인분석을 통한 구성타당도를 검증한 평가도구 중 누적 설명분산비율이 60% 미만 인 평가도구의 경우 추가적인 타당화 과정이 필요하 다. 따라서 간호 연구자는 시뮬레이션 교육의 학습 목표에 따라 평가할 수 있는 시뮬레이션 도구를 개 발하고 도구에 대한 타당도 검증을 지속적으로 해 나가야 할 것이다. 간호교육 현장에서도 시뮬레이션 평가도구를 다양한 대학교와 학년에 적용하여 신뢰 도와 타당도를 평가하는 연구를 시도할 수 있다. 더 나아가 시뮬레이션 평가도구를 간호대학생이 아닌 간호사로 확대하여 교육 효과를 평가하는 연구를 제 언한다. 이는 근거 기반 간호교육을 통해 교육의 질 향상에 기여할 것이다.