현대 교육은 새로운 디지털 기술의 진보로 인해 기존 강의식 교육의 한계를 뛰어넘어 플립러닝, 팀기반학습 등과 같이 학습자 중심의 교육방법을 적용하는 데 보다 수월하게 접근할 수 있게 되었다. 이러한 교육의 변화는 교육방법뿐만 아니라 평가방법 및 도구에도 나타나고 있는데, 그 예로 진료영상, 검사영상, 시술영상 등이 포함된 멀티미디어 문항을 출제할 수 있는 평가도구인 컴퓨터 기반 평가(computer-based test, CBT)가 있다[1-3].

CBT는 평가부터 결과분석까지 모든 과정을 컴퓨터로 진행하는 평가도구로 정의된다. 평가도구가 종이에서 모니터로 변화한 시험을 컴퓨터화시험(computerized test), 응시자의 능력이나 특성을 반영하여 응시자의 수준에 적합한 문항을 선택하여 개별적으로 실시하는 시험을 개별적응시험(computerized adaptive testing)으로 구분할 수 있다[4,5].

치과기공사 국가시험은 치과기공사로서의 직무 자격을 검증하는 중요한 시험으로, 최근 기술 발전과 시험 관리의 효율성을 높이기 위해 CBT 방식이 검토되고 있다. CBT는 기존의 종이 기반 시험(paper-based test, PBT) 방식과는 달리 컴퓨터를 통해 시험을 진행하며, 멀티미디어 문항의 출제가 가능하고, 문항관리가 편리하며, 응시자의 문제풀이 시간 등의 통계자료 수집이 가능하다는 특성을 지닌다. 그리고 시험지 인쇄, 채점 등에 소요되는 시간 및 비용을 절약할 수 있으며, 시험감독에 있어서는 PBT보다 용이하다는 장점이 있다[1-3,6]. 그러나 응시자가 시험지에 메모를 하면서 문제를 해결하고자 할 경우에는 CBT 사용에 불편함을 느끼고, 집중도가 떨어지며, 시스템 오류와 같은 전산 등으로 평가 수행과정에 어려움을 겪을 수 있어 이에 대한 개선이 요구된다[6].

현재 의료인 및 의료기사 등의 CBT 적용에 대한 연구가 활발히 진행되고 있으며[7-12], 한국보건의료인국가시험원(국시원)은 2010년대부터 의사, 치과의사, 한의사 면허시험을 비롯하여 보건의료인 전 직종에 대한 국가시험을 CBT로 시행한다고 발표하였고, 2022년 제86회 의사 국가시험을 시작으로 2023년에는 치과의사와 한의사, 요양보호사, 1급 응급구조사 국가시험에 CBT를 적용하였다. 2024년에는 조산사, 한약사, 보건교육사, 보조공학사 국가시험이 CBT로 전환될 예정이며, 2025년 1급 언어재활사, 2급 언어재활사 시험까지 CBT가 실시될 예정이다[13]. 이에 따라 치과기공사 국가시험에서도 CBT 도입에 대비한 준비가 필요하다. 다른 직종에서 CBT 방식이 도입되면서 시험의 효율성, 공정성, 그리고 신속한 결과 제공과 같은 장점들이 확인되고 있다. 따라서 치과기공사 분야에서도 이러한 변화에 발맞추어 CBT 방식을 도입할 경우, 시험 환경과 시스템 구축, 응시자 적응 교육 등을 미리 준비하는 것이 필요하다. 또한 시험문제를 출제해야 할 교수, 실제 직무에서 활동 중인 임상가, 시험에 참여해야 할 학생들이 CBT 시험에 얼마나 필요성을 느끼고, 타당한지에 대해 알아보는 것도 중요하다. 이에 본 연구는 치과기공사 국가시험의 CBT 적용에 대한 필요성과 타당성을 조사하고, 이를 바탕으로 실제 CBT 도입에 앞서 국가시험의 효율적인 운영 기반을 마련하는 기초자료로 사용하고자 한다.

1. 연구대상

전국의 치기공(학)과 학생 중 자발적 참여를 원하는 3, 4학년 중에서 180명의 학생과 편의표본추출한 교수 30명, 임상가 32명을 대상으로 2020년 9월 15일부터 9월 23일까지 설문 응답을 받았다. 설문지에는 개인정보 보호법에 따라 개인의 비밀을 보장하고 설문 내용은 연구 이외의 목적에는 사용하지 않을 것임을 명시하였고 성실히 응답해 줄 것을 부탁하여 242부를 분석에 이용하였다.

2. 연구방법

본 연구에 사용된 도구는 2018년 보건의료직종별 MAT 문항개발 및 SBT 국가시험체제에 대한 타당성 연구에 사용된 선행연구[14]를 참고하였고, 본 연구목적에 맞게 수정 및 보완을 하였다.

설문문항은 응답자의 일반적인 사항 8문항(성별, 연령, 직업, 거주지역, 학생-학년, 교수-국가시험 출제경험 여부, 교수-경력, 임상가-경력), CBT 적용 시험에 대한 필요성 2문항, CBT 적용 시험의 장점 11문항, CBT 적용 시험과 직무 연관성 4문항, CBT 적용 시험의 타당성 1문항으로 구성되었다. 설문의 신뢰도는 Cronbach’s α로 나타내었으며, 전체 설문의 신뢰도는 Cronbach’s α=0.808, CBT 적용 시험에 대한 필요성은 Cronbach’s α=0.847, CBT 적용 시험의 장점은 Cronbach’s α=0.909, CBT 적용 시험과 직무 연관성 Cronbach’s α=0.904로 나타났다.

3. 통계분석

수집된 자료는 SPSS (Statistical program For the Social Sciences ver. 21.0, IBM)를 사용하여 통계 처리하였다. 인식조사에 대한 문항의 신뢰도를 확보하기 위해 Cronbach’s α를 산출하였고, 조사된 자료의 특성에 따라 일반적 특성은 빈도와 백분율로 정리하였다. 또한 학생, 교수, 임상가 직종에 따른 CBT 적용 시험의 필요성, 장점, 직무 연관성, 타당성에 대한 인식을 알아보기 위해 일원분산분석(one-way ANOVA)을 실시하였다. 사후 검정으로는 Scheffe test를 사용하였고, 유의 수준은 0.05로 설정하였다.

1. 연구대상자의 일반적 특성

연구대상자의 일반적 특성은 Table 1과 같다. 연구대상자의 특성은 남자 53.7%, 여자 46.3%로 조사되었고, 연령은 20~30세 이하가 75.2%, 41~50세 이하가 9.9%, 31~40세 이하가 7.9% 순으로 조사되었으며, 직업은 학생 74.4%, 임상가 13.2%, 교수 12.4% 순으로 조사되었다. 소속 지역은 경상이 42.5%, 서울 21.9%, 충청 15.3%, 전라 12.8% 순으로 조사되었다. 학생 응답자의 학년은 3학년 66.7%, 4학년 33.3% 순으로 조사되었고, 교수 응답자의 국가고시 출제경험은 ‘있음’이 76.7%, ‘없음’이 23.3% 순으로 조사되었으며, 근무기간은 11~20년 48.3%, 1~10년 31.0% 순으로 조사되었다. 임상가의 근무기간은 1~10년이 39.5%, 11~20년이 36.8%, 21~30년 21.1% 순으로 조사되었다.

Table 1 . General characteristics of the subjects (n=242).

Characteristic	n (%)
Sex
Man	130 (53.7)
Woman	112 (46.3)
Age (yr)
20~30	182 (75.2)
31~40	19 (7.9)
41~50	24 (9.9)
51~60	14 (5.8)
≥61	3 (1.2)
Job
Student	180 (74.4)
Professor	30 (12.4)
Clinician	32 (13.2)
Area
Seoul	53 (21.9)
Gyeongsang	37 (42.5)
Gyeonggi, Incheon	70 (1.7)
Chungcheong	37 (15.3)
Gangwon	13 (5.4)
Jeonra	31 (12.8)
Jeju	1 (0.4)
(Student) Grade
3	120 (66.7)
4	60 (33.3)
(Professor) Experience in taking national exams
No	7 (23.3)
Yes	23 (76.7)
(Professor) Period of service (yr)
1~10	9 (31.0)
11~20	14 (48.3)
21~30	3 (10.3)
>31	3 (10.3)
(Clinician) Career (yr)
1~10	15 (39.5)
11~20	14 (36.8)
21~30	8 (21.1)
>31	1 (2.6)

2. CBT 적용 시험의 필요성

학생, 교수, 임상가 집단의 CBT 적용 시험의 필요성에 대해서는 학생이 리커트 5점 척도 평균 3.69점, 교수 4.20점, 임상가 4.28점으로 조사되었고 통계적으로 유의한 것으로 나타났다(p<0.001). 치과기공사 국가시험의 CBT 적용 시험은 시대의 흐름을 반영하므로 필요하다는 의견에서 학생 4.04점, 교수 4.43점, 임상가 4.28점으로 통계적으로 유의하게 조사되었다(p<0.01) (Table 2).

Table 2 . The need for CBT application testing (n=242).

Item	n	Mean±SD	F	p
CBT application test required
Student	180	3.69±0.964a	8.179	<0.001
Professor	30	4.20±0.887b
Clinician	32	4.28±0.683b
CBT-applied tests reflect the trend of the times
Student	180	4.04±0.758a	4.838	0.009
Professor	30	4.43±0.626b
Clinician	32	4.28±0.523b

Values are presented as number only or mean±SD deviation..

CBT: computer-based test, SD: standard deviation..

One-way ANOVA, ^a,bScheffe’s post-hoc test..

3. CBT 적용 시험의 장점

학생, 교수, 임상가 집단의 CBT 적용 시험의 장점에 대해 지필시험에 비해 몰입 및 집중도를 높이고(p<0.05), 시험 도중 발생하는 부정행위를 방지할 수 있다(p<0.001)는 항목에서 통계적으로 유의하였다.

CBT 적용 시험은 시험 상황에서 답안 작성 시(예: 밀려 쓰기 등) 측정 오차를 감소시킬 수 있고, 멀티미디어 문항은 사진, 오디오, 동영상 등을 활용하여 임상현장의 실제상황을 현장감 있게 표현할 수 있으므로 지필시험의 한계 요인을 극복할 수 있으며, CBT 적용 시험은 종이시험지를 인쇄, 운반, 보관할 필요가 없어서 시험문항 내용에 대한 정보유출의 가능성을 최소화하며 장기적으로 시험실시에 따르는 경비절감에 기여할 수 있다는 장점에서 리커트 3점 이상으로 조사되었다(Table 3).

Table 3 . Advantages of applying CBT (n=242).

Item	n	Mean±SD	F	p
Increase immersion and concentration on the test
Student	180	3.51±1.101	3.960	0.020
Professor	30	4.00±0.947
Clinician	32	3.88±0.833
It can reduce measurement errors when checking the answer sheet
Student	180	4.32±0.736	2.803	0.063
Professor	30	4.23±0.858
Clinician	32	3.97±0.861
Make the problem easier and more accurate to understand
Student	180	3.78±0.955	1.469	0.232
Professor	30	4.10±1.029
Clinician	32	3.84±0.884
You can vividly express the actual situation of the clinical field by using photos, audio, video, etc.
Student	180	4.04±0.868	2.703	0.069
Professor	30	4.27±0.868
Clinician	32	4.38±0.707
Prevents cheating during exams
Student	180	3.17±1.018a	12.436	<0.001
Professor	30	4.00±0.695b
Clinician	32	3.75±0.916b
It can shorten the time taken for the test
Student	180	4.00±0.852	1.546	0.215
Professor	30	3.80±0.961
Clinician	32	3.75±0.950
You can get fair and accurate results
Student	180	3.92±0.731	0.502	0.606
Professor	30	4.07±0.907
Clinician	32	3.91±0.893
Contributes to reducing the cost of conducting tests in the long term
Student	180	4.06±0.763	0.489	0.614
Professor	30	4.20±0.714
Clinician	32	4.03±0.782
Minimizes the possibility of information leakage by eliminating the need to print, transport, and store paper test papers
Student	180	4.09±0.882	0.083	0.921
Professor	30	4.17±1.020
Clinician	32	4.09±0.963
Create interest in the test
Student	180	3.72±0.992	1.408	0.247
Professor	30	4.03±0.928
Clinician	32	3.69±0.896
You can check whether you are aware of the contents related to experiments and practice
Student	180	3.88±0.810	0.048	0.953
Professor	30	3.83±1.053
Clinician	32	3.84±0.954

Values are presented as number only or mean±SD deviation..

CBT: computer-based test, SD: standard deviation..

One-way ANOVA, ^a,bScheffe’s post-hoc test..

4. CBT 적용 시험과 직무 연관성

학생, 교수, 임상가 집단의 CBT 적용 시험과 직무 연관성에 대해 ‘멀티미디어 문항은 다양한 매체를 활용한 직무중심의 문항으로 응시자의 임상 수행 능력을 보다 정확히 평가할 수 있음’에 학생 3.87점, 교수 3.83점, 임상가 4.00점으로 조사되었고(p<0.01), ‘실시상의 어려움이 따르던 수행평가도 다양하고 편리한 방법으로 실시할 수 있음’에서 학생 3.84점, 교수 4.13점, 임상가 4.00점으로 조사되었고 통계적으로 유의하였다(p<0.01) (Table 4).

Table 4 . CBT application and job relevance (n=242).

Item	n	Mean ±SD	F	p
Job-oriented questions using various media can more accurately evaluate the clinical performance ability of the examinee
Student	180	3.87±0.842	3.365	0.005
Professor	30	3.83±1.020
Clinician	32	4.00±0.916
The use of various media can more accurately evaluate the clinical performance ability of the examinee
Student	180	3.68±0.931	0.806	0.448
Professor	30	3.90±1.094
Clinician	32	3.78±0.792
Even assessments that were difficult to implement can now be carried out in a variety of convenient ways
Student	180	3.84±0.790	4.066	0.009
Professor	30	4.13±0.681
Clinician	32	4.00±0.803
It can measure job-related abilities that could not be measured through PBT
Student	180	3.81±0.838	0.508	0.603
Professor	30	3.97±0.999
Clinician	32	3.91±0.928

Values are presented as number only or mean±SD deviation..

CBT: computer-based test, SD: standard deviation, PBT: paper-based test..

One-way ANOVA..

5. CBT 적용 시험의 타당성

학생, 교수, 임상가 집단의 CBT 적용 시험의 타당성은 Table 5와 같다. 학생 3.69점, 교수 4.03점, 임상가 4.13점으로 나타났고 각 그룹 간에는 치과기공사 국가시험을 컴퓨터 적용하는 것에 대해 타당하다는 의견을 보였고, 통계적으로 유의한 값을 나타냈다(p<0.05).

Table 5 . Validity of CBT application (n=242).

Item	n	Mean±SD	F	p
Validity of CBT application
Student	180	3.69±0.891a	4.636	0.011
Professor	30	4.03±0.809b
Clinician	32	4.13±0.793b

Values are presented as number only or mean±SD deviation..

CBT: computer-based test, SD: standard deviation..

One-way ANOVA, ^a,bScheffe’s post-hoc test..

치과기공사 국가시험의 CBT 적용 필요성에 대해서는 리커트 5점 척도 평균 4점 이상으로 나타나 의사, 한의사, 언어재활사 학생들이 CBT를 선호하는 것과 일치된 결과이다[2,13,15].

본 연구에서 CBT 적용 시험의 장점에 대해 지필시험에 비해 몰입 및 집중도를 높이고, 시험 도중 발생하는 부정행위를 방지할 수 있다는 항목에서 통계적으로 유의하였다. 또한 CBT 적용 시험은 시험 상황에서 답안 작성 시 측정 오차를 감소시킬 수 있고, 멀티미디어 문항은 사진, 오디오, 동영상 등을 활용하여 임상현장의 실제상황을 현장감 있게 표현할 수 있으므로 지필시험의 한계 요인을 극복할 수 있으며, 종이시험지를 인쇄, 운반, 보관할 필요가 없어서 시험문항 내용에 대한 정보유출의 가능성을 최소화하며 장기적으로 시험실시에 따르는 경비절감에 기여할 수 있다는 장점이 있는 것으로 조사되었다. 선행연구에서도 CBT 수행 방식은 시간적, 공간적 제약을 없앨 수 있고 기존의 지필방식의 시험에 비해 컴퓨터의 사용도의 우수성이나 성별, 기타 다른 요소들에 영향을 받지 않으면서도 우수한 학생의 능력신장에 큰 도움이 된다는 장점[16], 학습자의 측정결과에 대한 체계적인 피드백이 가능하고, 과제 수행자의 학습능력을 정확하게 진단하여 더 나은 방향으로 바꾸는 것이 수월하며 시험결과 점수의 통보 등에 소요되는 시간이나 경비 역시 일반 지필고사에 비해 획기적으로 줄일 수 있다[17,18]는 장점이 본 연구와 동일한 결과를 보였다. 그러나 CBT 방식은 이러한 장점에도 불구하고, 시험 수행 시 부정행위에 대한 관리가 어렵고, 컴퓨터 혹은 네트워크의 오작동에 의한 시험의 중단, 보안설정이 복잡하고 까다로우며, 이미지 등의 평가 문항이 있을 시에 오류가 발생되기 쉽다는 단점이 있을 수 있다[3]. 그러므로 긍정적 의견과 함께 개선사항에 대해서도 계속된 연구와 발전이 있어야 할 것이다.

학생, 교수, 임상가 집단의 CBT 적용 시험과 직무 연관성에 대해 ‘멀티미디어 문항은 다양한 매체를 활용한 직무 중심의 문항으로 응시자의 임상 수행 능력을 보다 정확히 평가할 수 있음’에 학생 3.87점, 교수 3.83점, 임상가 4.00점으로 조사되었고, ‘실시상의 어려움이 따르던 수행평가도 다양하고 편리한 방법으로 실시 할 수 있음’에서 학생 3.84점, 교수 4.13점, 임상가 4.00점으로 조사되었다. 결국 직종별 국가시험은 실제 직무상황에서 문제해결 능력을 평가할 수 있어야 한다. 현재 지필시험은 문제해결능력보다는 직무 수행에 필요한 관련지식을 기억하거나 이해하고 있는지를 주로 평가하고 있어, 해당 직무의 실제성과 현실성을 반영하는 시험이 되기 위해서는 많은 변화가 필요한 실정이며 이에 대한 해결방안의 하나로 CBT 방식으로의 국가시험이 필요한 것이다[14].

CBT에 대한 초기의 관심은 주로 형성 평가에서 표준 PBT와 비교하여 제공하는 시간 효율성에 의해 시작되었다. 이후 CBT가 종합 평가에 사용되기 시작하면서, CBT의 성능이 PBT의 성능과 동등한지를 결정하는 것이 중요해졌는데, 선행연구에 따르면 CBT와 PBT의 문항반응이론에 의거하여 문항을 비교분석한 결과 난이도와 변별도에서 CBT와 PBT가 동일한 기준구간에 해당하여 시험유형별 큰 차이가 없었다고 나타났다[19,20]. 이는 시험 유형에 따른 시험결과에 큰 영향을 미치지 않는 것으로 해석할 수 있다.

치과기공사 국가시험의 CBT 적용 시험에 대하여 설문분석 결과 필요성과 타당성에서 긍정적인 의견들을 확인하였다. 그러나 개방형 질문을 통하여 연구한 자료에 따르면, 장시간 컴퓨터를 보며 시험을 보는 것에 대한 피로감이나 컴퓨터를 능숙하게 다루지 못할 경우에 대한 걱정, 그리고 서버의 안정 등에 대한 부정적 의견도 있었다. 따라서 바로 시스템을 적용하기 보다는 지필시험의 장점을 잘 활용하며 변화해가기를 제언한다.

본 연구는 치과기공사 국가시험의 CBT 적용 시험에 대한 인식을 바탕으로 효율적인 운영 기반을 마련하는 기초자료로 사용하고자 242명의 자료를 분석하여 다음과 같은 결과를 얻었다.

1. 치과기공사 국가시험의 컴퓨터시험 적용을 위한 필요성과 시대의 흐름을 반영한다는 의견에 과반 이상이 긍정의 의견을 보였다.

2. CBT 적용 시험의 장점에 대해 PBT에 비해 시험에 대한 몰입 및 집중도를 높이고, 시험 도중 발생하는 부정행위를 방지할 수 있다는 항목에서 통계적으로 유의하였다(p<0.05).

3. CBT 적용 시험과 직무 연관성에 대해 멀티미디어 문항은 다양한 매체를 활용한 직무 중심의 문항으로 응시자의 임상 수행 능력을 보다 정확히 평가할 수 있고, 실시상의 어려움이 따르던 수행평가도 다양하고 편리한 방법으로 실시 할 수 있다는 항목에서 통계적으로 유의하였다(p<0.05).

4. 학생, 교수, 임상가 집단 간에는 치과기공사 국가시험을 CBT 적용 하는 것에 대해 타당하다는 의견을 보였고, 통계적으로 유의한 값을 보였다(p<0.05).

CBT 적용 시험 도입은 치과기공사 직무를 평가하는 데 있어 효율적이고 정확한 방법을 제공하며, 직무 수행 능력의 평가를 디지털 기술과 접목함으로써 현실적인 직무 환경을 반영할 수 있다. 이를 통해 응시자의 능력을 보다 공정하고 객관적으로 평가할 수 있을 것이다. CBT 도입은 치과기공사 직무 평가의 질을 높이고, 디지털 기술에 적응할 수 있는 인재를 양성하는 데 중요한 역할을 할 것이다.

None to declare.

None.

No potential conflict of interest relevant to this article was reported.