Neuartiger innovativer Computer

Aug 19, 2023

BMC Medical Education Band 23, Artikelnummer: 560 (2023) Diesen Artikel zitieren

203 Zugriffe

Details zu den Metriken

Ein wirksamer Testmechanismus zur Bewertung des klinischen Wissens und der Fähigkeiten von Berufseinsteigern im Gesundheitswesen ist wichtig für die Bereitstellung klinischer Kompetenz und die Verbesserung der Patientenversorgung. Ziel dieser Studie war die Entwicklung neuartiger, innovativer computergestützter Testaufgabentypen (Inno-CBT) zur Anwendung bei der nationalen Prüfung koreanischer Gesundheitsfachkräfte.

Diese explorative Studie wurde von Mai 2021 bis März 2022 von einem Team aus Fakultätsmitgliedern von Pharmazieschulen in Südkorea durchgeführt. Es wurde eine Literatursuche mit PubMed, Google Scholar, RISS, Web of Science und KoreaMed durchgeführt. Einbezogen wurden Forumspräsentationen, Medienartikel und frühere Berichte des Korea Health Personnel Licensing Examination Institute (KHPLEI). Es wurden Workshops abgehalten, Informationen und Ideen gesammelt und konzipiert sowie Artikeltypen entworfen, entworfen und verfeinert. Durch die Wiederholung dieses Vorgangs wurden die Inno-CBT-Artikeltypen finalisiert.

Es wurden 41 Inno-CBT-Itemtypen mit 28 Subtypen entwickelt. Bei diesen neuartigen Typen wurden neue digitale Technologien wie eine reaktiv reagierende Medienschnittstelle, das Einfügen von Animationen, die Einbettung von Multimedia-Inhalten und das Surfen im Netzwerk genutzt. Es wurde erwartet, dass diese Inno-CBT-Elementtypen die Fähigkeiten in den Bereichen Gesundheitswissen, Problemlösungsfähigkeiten und berufliches Verhalten effektiv messen würden. Zu den potenziellen Hindernissen für die Implementierung der Inno-CBT-Elementtypen gehören die Schwierigkeit der Elemente, die Unvertrautheit mit der Bedienung, die Komplexität der Bewertungsprotokolle und die Netzwerksicherheit.

Es wurden verschiedene Stile neuartiger Inno-CBT-Elementtypen entwickelt, um die vielfältigen und tiefgreifenden beruflichen Fähigkeiten zu bewerten, die für medizinisches Fachpersonal erforderlich sind. Vor der Implementierung dieser Artikeltypen in die nationale Prüfung sollten eine Artikelvalidierung und technische Unterstützung durchgeführt werden.

Peer-Review-Berichte

Die Bedeutung der klinischen Kompetenz bei Nachwuchskräften wurde im letzten Jahrzehnt betont. Es wurden Anstrengungen unternommen, den Schullehrplan für Erfahrungslernprogramme durch das Angebot verschiedener Gesundheitsumgebungen und fortschrittlicher Gesundheitstechnologien zu verbessern [1]. Gleichzeitig wurde ein wirksamer Testmechanismus zur Bewertung der klinischen Kenntnisse und Fähigkeiten der Kandidaten gefordert, um sicherzustellen, dass sie für den Eintritt in den Gesundheitsberuf geeignet sind.

Ein computergestützter Test (CBT), der Informationstechnologie (IT) integriert, wurde in Lizenzprüfungen eingeführt [2]. Im Vergleich zu einem papierbasierten Test (PBT) bietet ein CBT mehrere Vorteile, darunter mehrere Bewertungsmethoden, kurze Testzeiten und zuverlässigere Bewertungsansätze [3, 4]. Ein CBT liefert auch Längsschnittdaten aus Beurteilungen, sodass Trends und Verbesserungen der Lernleistung identifiziert werden können. Darüber hinaus kann CBT Testfragen leicht an den Schwierigkeitsgrad und den Bewertungszweck anpassen [5]. Darüber hinaus können die Prüflinge die Bewertungsergebnisse zeitnah über ein automatisiertes Bewertungsprotokoll erhalten [3,4,5,6]. Dennoch weisen die derzeit verwendeten CBT-Aufgabentypen im Allgemeinen zu einfache Strukturen auf, um die präzisen Fähigkeiten und komplexen Konzepte der Gesundheitswissenschaften zu bewerten, die in der aktuellen Praxisumgebung häufig anzutreffen sind. Die Item-Typen der vom Korea Health Personnel Licensing Examination Institute (KHPLEI) verwalteten Prüfung bestehen überwiegend aus Multiple-Choice-Item-Typen (MCITs) vom Typ A (eine einzige beste Antwort unter fünf Optionen). In der Zwischenzeit wurden vom National Council of State Boards of Nursing neue CBT-Artikeltypen angefordert [7]; Die Vielfalt der neu entwickelten Artikeltypen ist jedoch begrenzt und ihre Anwendbarkeit ist noch nicht vollständig geklärt.

In dieser Studie stellen wir neuartige, innovative CBT-Elementtypen (Inno-CBT) vor, die die Funktionen der vielfältigen Benutzeroberfläche computergestützter Technologie integrieren. Ziel dieser Studie war es, die Testqualität und deren Verwendbarkeit bei den nationalen Prüfungen für medizinisches Fachpersonal zu verbessern.

Hierbei handelte es sich um eine explorative Studie, die von Mai 2021 bis März 2022 durchgeführt wurde und an der 14 Fakultätsmitglieder verschiedener Pharmazieschulen in Südkorea teilnahmen. Diese Forscher wurden speziell aufgrund ihrer bisherigen Erfahrung in der Entwicklung von Testfragen für die Korea Health Personnel Licensing Examination (KHPLE) ausgewählt und verfügen über einen Doktortitel. Abschlüsse in Bereichen wie Grundlagenwissenschaften, angewandte pharmazeutische Wissenschaften sowie industrielle und klinische Pharmazie. Die Studie wurde vom Institutional Review Board (IRB) der Ewha Womans University mit der IRB-Registrierungsnummer ewha-202112-0022-03 genehmigt. Die Teilnehmer gaben ihr Einverständnis, indem sie ihre Zustimmung zur Teilnahme an der Studie erteilten. Es wurde eine Literaturrecherche durchgeführt, um Informationen über den Entwicklungsstand und die Trends von CBT-Elementtypen in verschiedenen Lizenzprüfungen in Datenbanken wie PubMed, Google Scholar, RISS, Web of Science und KoreaMed zu sammeln. Forumpräsentationen bei internationalen Vorstandsausschüssen, Medienartikel und Forschungsberichte des KHPLEI waren ebenfalls enthalten [8,9,10,11,12]. Es wurden auch bereits vorhandene CBT-Aufgabentypen erfasst, die in Prüfungen für Gesundheitsberufe verwendet werden. Multimedia-Elementtypen standen nicht im Fokus, da sie bereits in einigen nationalen Prüfungen in Südkorea verwendet wurden. Diese Studie wurde von einem Experten von KHPLEI überprüft, um die Angemessenheit der Datenerhebung und Forschungsrichtung zu verbessern.

Zur Entwicklung der Inno-CBT-Artikeltypen wurde das folgende Verfahren verwendet:

Vorbereitungsphase – Das Forschungsteam erhielt von KHPLEI eine Präsentation über frühere Studien im Zusammenhang mit typischen PBT- und CBT-Itemtypen in nationalen Prüfungen für medizinisches Fachpersonal und einen Bedarf an der Entwicklung neuartiger CBT-Itemtypen. Unser Forschungsteam sammelte auch bereits vorhandene CBT-Artikeltypen aus der Literaturrecherche und organisierte die Websites verschiedener Organisationen.

Entwicklungsphase – Jeder Forscher erhielt den Auftrag, vor der Teilnahme an einer Workshop-Sitzung einen Entwurf neuartiger Inno-CBT-Artikeltypen auf der Grundlage der referenzierten CBT-Artikeltypen zu erstellen, um unseren Anforderungen besser gerecht zu werden. Das Forschungsteam wurde in vier Gruppen mit jeweils einem Teamleiter aufgeteilt. Beim ersten Workshop sammelten und erarbeiteten die Forscher Ideen für neue Funktionen, die in neuartige Inno-CBT-Artikeltypen integriert werden könnten. Sie wurden ermutigt, ihre Ideen mit den Gruppen zu teilen.

Bewertungs- und Zusammenfassungsphase – Während der Workshops diskutierte das Forschungsteam die Benutzerfreundlichkeit und Funktionalität der von den einzelnen Forschern erstellten Entwürfe der Inno-CBT-Elementtypen sowie deren Anwendbarkeit auf nationale Prüfungen. Unter Benutzerfreundlichkeit versteht man die Fähigkeit von Artikelentwicklern, Artikel zu entwickeln, und von Benutzern, Artikel ohne technische Schwierigkeiten zu lösen. Unter Funktionalität versteht man das Ausmaß, in dem die Testaufgaben die in den Prüfungen geforderten Fähigkeiten effektiv und korrekt messen können. Am Ende der Workshops fasste jede Gruppe die neu entwickelten Inno-CBT-Elementtypen zusammen und hob die wichtigsten Merkmale hervor, darunter die Kategorie der Elementtypen, ihre Eigenschaften, die Benutzerfreundlichkeit für Prüflinge, Vorteile und Einschränkungen bei der Wiedergabetreue und die Anwendbarkeit auf KHPLE.

Die Verfeinerung erfolgte iterativ durch Feedback- und Überarbeitungsprozesse. Das Feedback wurde von einzelnen Gruppen oder dem gesamten Team im Rahmen von Workshops gegeben. Die Anwendbarkeit der Artikeltypen auf das KHPLE wurde durch die Überprüfung von Berichten von KHPLEI [8,9,10,11,12] weiter bewertet und die Ergebnisse wurden zur Optimierung der Artikeltypen angewendet. Abschließend wurden die Artikeltypen anhand der innovativen Zielkonzepte jedes Typs benannt und kategorisiert (Abb. 1).

Kategorie der Inno-CBT-Artikeltypen

CBT-Elementtypen wurden anhand ihrer Merkmale in drei Hauptklassen eingeteilt: semantische (A), technische (B) und verschiedene (C). Jede Klasse besteht wiederum aus einer hierarchischen Struktur von Kategorien und Unterkategorien, und es werden Elementtypen dargestellt, die jeder Unterkategorie entsprechen. (A) Die semantische Klasse besteht aus den Kategorien „Anordnung“, „Klassifizierung“, „Vergleich“, „Vervollständigung“ und „Übereinstimmung“. (B) Die technische Klasse umfasst die Kategorien „Mutimedia“, „Navigation“, „Simulation – Tool“, „Spotting on Image“ und „Benutzerresponsiv“. (C) Die verschiedenen Klassenelementtypen, bei denen dies nicht der Fall war

Wir haben 21 bereits vorhandene CBT-Artikeltypen und 20 neu entwickelte Inno-CBT-Artikeltypen gesammelt. Um ein umfassendes Verständnis zu gewährleisten, haben wir diese 41 CBT-Elementtypen anhand ihrer Merkmale klassifiziert (siehe Ergänzungstabelle 1, in der die 41 identifizierten und entwickelten Elementtypen ausführlich beschrieben und mit Beispielen versehen sind). Um die Artikeltypen zu klassifizieren, haben wir Gemeinsamkeiten aus verschiedenen Merkmalen identifiziert und sie in einer hierarchischen Struktur organisiert.

Auf der höchsten Ebene haben wir die Elementtypen in drei Klassen unterteilt: die „semantische“ Klasse, die „technische“ Klasse und die „verschiedene“ Klasse. Die „semantische“ Klasse besteht aus Elementtypen, die die Arten der gemessenen Fähigkeiten widerspiegeln, während die „technische“ Klasse auf den Fähigkeiten basiert, die typisch für CBT-Elementtypen sind. Artikeltypen, die nicht zu diesen beiden Kategorien gehörten, wurden als „Sonstiges“ klassifiziert.

Jede Klasse wurde weiter in eine hierarchische Struktur aus „Kategorie“ und „Unterkategorie“ unterteilt, und die entsprechenden „Elementtypen“ wurden in Abb. 1 dargestellt. Die „semantische“ Klasse umfasst Kategorien wie „Anordnung“, „Klassifizierung“, „ „Vergleich“, „Vervollständigung“ und „Übereinstimmung“, die nach der Art der gemessenen Fähigkeiten gruppiert sind. Diese Kategorien wurden weiter in Unterkategorien unterteilt, die die Implementierungsmethode der Elemente beschreiben. Die „technische“ Klasse umfasst Kategorien wie „Multimedia“, „Navigation“, „Simulation – Tool“, „Spotting on Image“ und „User-Responsive“, die nach der Art der verwendeten Technologie gruppiert sind. Diese Kategorien wurden außerdem weiter in Unterkategorien unterteilt, die die Details der Technologie angeben. Beispielsweise verfügt die Kategorie „Matching“ in der Klasse „Semantik“ über drei Unterkategorien: Zeilenvergleich, Listenvergleich und Tabellenvergleich. Die drei CBT-Elementtypen, die sich auf diese Unterkategorien beziehen, wurden „Matching“, „Random Short-Antwort Matching“ bzw. „Matrix/Raster“ genannt.

Wir haben festgestellt, dass die bereits vorhandenen CBT-Elementtypen einfache Fragetypen wie „Bowtie“, „Berechnung“, „Wahr oder falsch“ und „Übereinstimmung“ sowie komplexere Fragetypen wie „Rich Media-Szenario“ umfassen. Im Allgemeinen wurden die meisten der bereits vorhandenen Elementtypen als unterstützende Tools für unterstütztes Lernen über ein webbasiertes Programm innerhalb eines Lernmanagementsystems (LMS) verwendet. Interessanterweise wurden die meisten anspruchsvollen Aufgabentypen selten in nationalen Prüfungen verwendet. Der am weitesten verbreitete Elementtyp unter ihnen war der Elementtyp „Multimedia“.

Die neu entwickelten Inno-CBT-Artikeltypen boten verschiedene Merkmale, die den Wandel im Gesundheitsversorgungssystem und eine breite Palette innovativer Umweltveränderungen im Gesundheitswesen widerspiegelten. (Detaillierte Beschreibungen und Beispiele aller Artikeltypen finden Sie in den Ergänzenden Daten.) Die Elementtypen „dynamisches Sieben“ und „Informationen suchen“ bieten Vorteile bei der Messung der Fähigkeit, mit Gesundheitsinformationsdaten umzugehen. Bei der „dynamischen Siebung“ werden insbesondere die Fähigkeiten bewertet, die Relevanz von Informationen zur Lösung von Problemen zu identifizieren und zu erkennen. Der Elementtyp „Suche nach Informationen“, der dem „dynamischen Sieben“ ähnelt, aber eine Umgebung zum Surfen im Internet erfordert, kann die Fähigkeit zum Surfen im Internet messen, um Informationen selektiv zu finden, indem nicht benötigte Informationen von Zielinformationsseiten extrahiert werden.

Einige Artikeltypen wurden entwickelt, um digitale Gesundheitsumgebungen widerzuspiegeln. Der Elementtyp „Chat“ simulierte beispielsweise eine durch digitale Technik gesteuerte Konversation, wie ein Chatbot. Dieser Gegenstandstyp könnte vermutlich zwischen Patienten und medizinischem Fachpersonal vorkommen. „Rich Media“ war ein weiterer neuartiger Artikeltyp, der eine interaktive Antworttechnik erforderte. Es wurde entwickelt, um die Fähigkeit zu bewerten, mit Risiken in der Patientenversorgung umzugehen.

Weitere Itemtypen wurden entwickelt, um den Grad des Verständnisses experimenteller Prinzipien, der Interpretation von Laborergebnissen und Behandlungsverfahren zu bewerten. Diese Beispiele waren „Aktionsknopf“, „bedingtes Gleichgewicht“, „dynamische Darstellungen und konstruierte Reaktion“ und „Lösungsbehälter“.

Darüber hinaus wurden bestimmte Artikeltypen entwickelt, um das konzeptionelle Wissen der Gesundheitswissenschaften anhand einfacher Formen zu messen. Ein solcher Itemtyp, „Balance“, wurde speziell entwickelt, um die Fähigkeit zu messen, das Konzept von Nutzen und Risiko zu verstehen, Entscheidungsprozesse zu priorisieren, die Wirksamkeitsäquivalenz zu bewerten und die Kosteneffizienz zu bewerten. Der Gegenstandstyp „Mosaik“ wurde entwickelt, um die Fähigkeit zu bewerten, ein wichtiges Puzzleteil zur Vervollständigung des Gesamtbildes zu finden, beispielsweise die Identifizierung einer chemischen Verbindung zur Vervollständigung eines biochemischen Reaktionszyklus eines menschlichen physiologischen Prozesses. Darüber hinaus könnte dieser Itemtyp verwendet werden, um die Fähigkeit von Prüflingen zu beurteilen, ein erforderliches Medikament oder eine erforderliche Behandlung als schrittweisen Prozess unter Berücksichtigung von Behandlungsalgorithmen zu finden. Die Itemtypen „Bowtie“, „Trichter“ und „Venn-Diagramm“ wurden entwickelt, um die Problemlösungsfähigkeiten bei der Bestimmung verwandter Komponenten von Vorher und Nachher, Ursache und Ergebnis sowie hierarchischer Strukturen durch Erkennung konzeptioneller Diagramme zu bewerten. Diese Elementtypen können dabei helfen, die Fähigkeit zu beurteilen, komplexe Situationen zu analysieren und die Beziehungen zwischen verschiedenen Elementen in einem System zu verstehen.

Darüber hinaus wurden in Inno-CBT-Elementtypen eine Vielzahl von Optionsstilen eingeführt, z. B. „Dropdown (Lückentext)“, „Drag and Drop“, „Drag and Click“ und „Drag Out and Drag In“. Diese verschiedenen Optionsstile können der Prüfung Abwechslung und Interaktivität verleihen und unterschiedliche kognitive Fähigkeiten wie Liebe zum Detail und räumliches Denken bewerten.

Das Ziel nationaler Lizenzprüfungen besteht darin, die Kernkenntnisse, Fähigkeiten und Verhaltensweisen von Fachkräften zu testen, die neu in ihrer Praxis in Südkorea sind. Diese Praktiken wurden auf unterschiedliche Weise einbezogen, z. B. als Bereitschaft für eine sichere Praxis, zum Umgang mit Unsicherheit und zur Erbringung personenzentrierter Pflege. Daher sollten die Untersuchungen auf dem neuesten Stand sein, um sicherzustellen, dass sie den tatsächlichen medizinischen Alltag widerspiegeln. In diesem Sinne sind neuartige Elementtypen erforderlich, und Prüfungen sollten unter Berücksichtigung der Absicht der Testentwickler durchgeführt werden, die Fähigkeiten der Testteilnehmer zu messen. Solche Item-Typen sind bei der Beurteilung komplexer Kompetenzen, wie z. B. der klinischen Praxis, nützlich. Bei MC-Fragen ist die Menge an Informationen, die ein Prüfling über das Verständnis einiger Phänomene erhält, begrenzt. Darüber hinaus sind MCQs keine realistischen Darstellungen von Aktivitäten, die in der Praxis stattfinden, sodass neuartige Itemtypen die Vielzahl tatsächlicher Aktivitäten, die in der Praxis stattfinden, besser beurteilen können.

Wir haben 41 Inno-CBT-Elementtypen entwickelt und neuartige und innovative Tools integriert, mit denen die Fähigkeiten und die Wissensbereitschaft von Berufseinsteigern im Gesundheitswesen bewertet werden können. Zu den wichtigsten Entwicklungsverfahren gehörten die Ermittlung des Bedarfs an neuen Artikeltypen, die Erstellung und Einführung innovativer Funktionen, das Entwerfen von Prototypen, die Verfeinerung und Überarbeitung sowie die Definition von Artikeltypen [13, 14].

Das Gesundheitswesen hat aufgrund der umfangreichen Informations- und sozialen Kommunikationsmedientechnologien große digitale Transformationen durchlaufen [15]. Die Verwendung mobiler Gesundheits-Apps, elektronischer Gesundheitsakten (EHRs) und Websites von Berufsverbänden ist zu einer täglichen Routinepraxis geworden. Unter diesen Umständen sind Maßnahmen zur Nutzung und Sortierung der erforderlichen Informationen zur Problemlösung häufig vorläufiger Natur; Allerdings sollten medizinische Fachkräfte die Fähigkeit entwickeln, Kerninformationen sicher zu erkennen und auszuwählen.

Unser Hauptziel bestand darin, Artikeltypen zu entwickeln, die die jüngsten Veränderungen in der Gesundheitspraxis widerspiegeln, bei denen Bereitstellungsmethoden wie Multiple-Choice-Fragen (MCQs) ungeeignet waren, und letztendlich neue Artikeltypen in das KHPLE zu implementieren. Daher wurden die Elementtypen „dynamisches Sieben“ und „Suchen von Informationen“ von unserem Forschungsteam für den Einsatz im KHPLE priorisiert. Darüber hinaus wurde auch der Itemtyp „Chat“ aufgrund seiner hohen Anwendbarkeit bei der Beurteilung der virtuellen Kommunikationsfähigkeit im Zeitalter der digitalen Transformation des Gesundheitswesens empfohlen. Der Austausch von Meinungen und das Führen von Gesprächen mithilfe von SMS-Tools sind weit verbreitet, da sie schnell und einfach sind. Darüber hinaus wurde die Wirksamkeit hervorgehoben, insbesondere aufgrund der sozialen Distanzierung im Rahmen der jüngsten Pandemie [16] und der öffentlichen Forderung nach Fernbetreuung für isolierte, allein lebende Personen [17]. Dies stimmte mit der Studie von de Oliveira et al. überein. (2021), in dem Textnachrichten nützliche Hilfsmittel zur Unterstützung von Menschen mit Verdacht auf COVID-19 waren, die häusliche Isolation erlebten [17].

Zuvor wurde der Elementtyp „Multimedia“ im KHPLE [12] und in anderen Ländern [18, 19] verwendet. Die Genauigkeit der Untersuchung wurde durch die Einbindung von Bildern, Tönen, Animationen und Videoclips verbessert. Die Elementtypen mit hoher Wiedergabetreue wurden auch mit dem Elementtyp „Hot Spot“ anstelle eines einfachen „Klicks“ berücksichtigt, da in einem „Hot Spot“-Element „Distraktoren“ vorhanden sind. Beispielsweise müssen die Prüflinge auf einem Knie-Röntgenbildschirm den genauen Ort einer arthritischen Läsion auswählen, während ein Computerbildschirm die Cursorpositionen der Prüflinge in jedem Teil des Bildes erkennt.

Es gab einige Aufgabentypen, die für die nationalen Prüfungen in Frage kamen. Ein „maschinenbetriebener“ Gegenstandstyp erforderte eine Technologie zur Reproduktion betrieblicher Fähigkeiten. Trotz der erforderlichen technologischen Unterstützung wurden bei diesem Aufgabentyp direkt praktische Fähigkeiten bewertet (z. B. die Bedienung eines Taschenrechners, eines Geräts zur Überwachung des Elektrokardiogramms und eines Defibrillators).

Darüber hinaus wurden auch die Itemtypen „Flussdiagramm“, „Raster/Matrix“ und „Rangfolge/Reihenfolge“ identifiziert, die in den nationalen Untersuchungen Potenzial zur Messung des Wissens über Reihenfolgen oder die Priorisierung medizinischer Verfahren haben. Die „Fliege“ und die „Matrix“ könnten in ähnlicher Weise zur Bewertung der Problemlösung verwendet werden. Für diese Itemtypen sind jedoch möglicherweise Bewertungsprotokolle für Teil- oder gewichtete Punkte erforderlich, und die Steuerung des Schwierigkeitsgrads hängt von der Anzahl der mehreren richtigen Antworten ab. Die Itemtypen „Abstrakte Formate“ und „Reihenfolge“ hatten Vorteile für die Messung der Vollständigkeit im Clinical Reasoning. Mit „Auftragssatz“ wurde beispielsweise die Fähigkeit bewertet, Verfahrensabläufe zu lösen, was eine entscheidende Fähigkeit für Gesundheitsfachkräfte ist, aber die Umsetzung dieser Art von Elementen hatte aufgrund der Zeitbeschränkung, die für eine Frage in der nationalen Prüfung vorgesehen war, eine niedrige Priorität.

Typ-A-Optionsaufgaben (MCQs) waren in den nationalen Prüfungen in Südkorea der häufigste Aufgabentyp. In dieser Studie haben wir verschiedene Optionsstile vorgeschlagen, wie „Drag & Drop“, „Einziehen und Herausziehen“, „Dropdown (Lückentext)“ und „Markieren“ sowie eine einfache „Klick“-Option. Diese Stile würden einen glücklichen Tipp verhindern.

Darüber hinaus sorgten Zusatzfunktionen für „kombinierte“ und „erweiterte“ Artikeltypen für Freiheit bei der Erweiterung und eine erhöhte Anwendbarkeit vorhandener Artikeltypen. Ein „Kombinations“-Itemtyp wurde aus der Kombination von zwei oder mehr Itemtypen erstellt, und ein „erweiterter“ Itemtyp war der Itemtyp, der ein Case-Szenario im Stamm (Frageteil eines Items) zuließ. Beispielsweise bestand der Elementtyp „erweiterte Rich Media“ aus einem „Rich Media“, das ein Fallskript enthielt, und ein „Kombinations-Rich Media-Sound“ umfasste die Funktionen eines „Rich Media“ und eine Sounddatei eines „Multimedia“-Elements Typ. Da die verschiedenen Arten des Stammes darüber hinaus auf vielfältige Art und Weise mit unterschiedlichen Optionsstilen (einer Liste auszuwählender Antworten) kombiniert werden können, könnten Inno-CBT-Elementtypen zusätzliche Elementtypen mit hoher Flexibilität bereitstellen, die an den angepasst werden können Zweck der Testfragen.

Die Umstellung von PBT- und traditionellen CBT-Elementtypen auf Inno-CBT-Elementtypen könnte die Schwierigkeit für Benutzer aufgrund der Komplexität des Inhalts und der für den Benutzer ungewohnten Technologie der Computerbedienung erhöhen [20]. Die Komplexität des Inhalts kann sich aus den Elementtypen ergeben, darunter lange Fälle, eine Reihe von Unterfragen, mehr als eine richtige Antwort und die Installation eines Berechnungstools zur Lösung von Fragen. Darüber hinaus klagen die Prüflinge möglicherweise darüber, dass sie es ermüden, zusätzliche Zeit für die Lösung von Prüfungsfragen aufzuwenden, weil sie möglicherweise mit unterschiedlichen Aufgabentypen konfrontiert werden. Bei der Anwendung von Inno-CBT auf eine Testfrage ist es notwendig, den Schwierigkeitsgrad, die Unterscheidungskraft und das Unterscheidungsvermögen von Gegenständen zu kontrollieren.

Bewertungsprotokolle für derzeit verfügbare CBT-Items verwenden eine herkömmliche Methode zur Zahlen-Rechts-Bewertung. Richtige Antworten werden mit einem positiven Wert bewertet, falsche Antworten und fehlende oder ausgelassene Antworten mit einem Wert von Null basierend auf den Typ-A-MCQs in Südkorea. Ein Hauptanliegen des Bewertungsprotokolls bestand darin, dass die Schüler durch Raten richtig antworten konnten. Inno-CBT-Aufgabentypen können die Wahrscheinlichkeit verringern, die richtige Antwort zu erraten. Es bestehen jedoch weiterhin Bedenken hinsichtlich der Einführung eines fairen Bewertungssystems für eine Vielzahl von Artikeltypen. Wichtig ist, dass Bewertungsrubriken und -protokolle für Inno-CBT-Elementtypen unter Berücksichtigung unterschiedlicher Typen, Schwierigkeitsgrade und der Anzahl richtiger Antworten für jeden Elementtyp entwickelt werden. Protokolle zur automatischen Bewertung der Bewertung müssen auch für unmittelbare Testergebnisse nach der Bewertung als vollständige oder keine, teilweise oder unterschiedlich gewichtete Bewertung vorbereitet werden, was in ähnlicher Weise von der National Council Licensure Examination for Registered Nurses in den USA erwähnt wurde [21].

Wir haben festgestellt, dass die Infrastrukturen für den technischen Support zur Implementierung neuer Artikeltypen sehr mangelhaft waren. „Chat“ erfordert beispielsweise die Technologie, einen Eingabetext gefolgt von einer Ausgabeantwort abwechselnd anzuzeigen; „Hotspot“ erfordert eine Erkennungstechnik, bei der ein Cursor auf eine Stelle auf dem Computerbildschirm zeigt; Für die „Suche nach Informationen“ sind Zugangs- und Abrufberechtigungen für Datenserver erforderlich, wobei gleichzeitig ein hohes Maß an Informationssicherheit aufrechterhalten werden muss, um betrügerische Vorfälle zu verhindern. und „Rich Media“ und „Simulation“ erfordern IT-Unterstützung, um eine breite Palette digitaler interaktiver Medien innerhalb eines Szenarios zu betreiben. Es wurden mehrere kommerzielle Lösungen gefunden, beispielsweise ein LMS für die Primar- und Sekundarschulbildung [22, 23], jedoch nicht für Prüfungen im Gesundheitswesen.

Für eine reibungslose Implementierung der Inno-CBT-Artikeltypen müssen die Zuverlässigkeit und Eignung jedes Artikeltyps validiert und die Qualitätssicherung fortgesetzt werden. Die Priorisierung einer schrittweisen Einführung von Aufgabentypen in nationale Prüfungen sollte in Betracht gezogen werden. Darüber hinaus müssen Schulungen für die Artikelschreiber zur Einführung in Strukturen, Charakterisierungen und die gezielte Befähigung zur Beurteilung einzelner Artikeltypen angeboten werden. Darüber hinaus wäre eine Computerplattform unerlässlich, die es den Artikelautoren ermöglicht, die Gebäudedemoartikel zu erleben. Darüber hinaus müssen den Testteilnehmern ein Handbuch zur Vorbereitung von Inno-CBT-Tests und Tutorial-Websites zum Üben von Manövriertechniken zur Verfügung gestellt werden.

Die Investition in den Aufbau eines nachhaltigen Artikelentwicklungssystems und von Systemverwaltungsunternehmen ist ein dringendes Thema. Darüber hinaus sollte die Wahrung der Vertraulichkeit von Gegenständen und der Internetsicherheit bei Prüfungen gewährleistet sein. Darüber hinaus sollte Serverkapazität zur Bewältigung des starken Verbindungsverkehrs während eines Tests reserviert werden. Zur Anwendung der Inno-CBT-Artikeltypen in naher Zukunft ist eine Pilotstudie erforderlich. Eine solche Studie würde die Machbarkeit der Inno-CBT-Aufgabentypen bewerten, indem sie die Schwierigkeit des Tests, das Bewertungssystem und die Testsicherheit verwaltet.

Die Studie weist einige Einschränkungen auf. Während der Evaluierungs- und Zusammenfassungsphase wurde keine qualitative Analyse eingesetzt, das Forschungsteam investierte jedoch erhebliche Anstrengungen, um umfassende Diskussionen und Überprüfungen durchzuführen, um die neu entwickelten Artikeltypen zu bewerten. Eine weitere Einschränkung wäre, dass die Studie nur die Fakultätsmitglieder von Pharmazieschulen umfasste. Nichtsdestotrotz erforderte der Entwicklungsprozess eine gemeinsame Anstrengung interner und externer Experten aus verschiedenen Fachbereichen des Gesundheitswesens, einschließlich der medizinischen Fakultät.

Wir haben neuartige Inno-CBT-Aufgabentypen für Bewertungen in nationalen Lizenzprüfungen entwickelt. Diese Inno-CBT-Elementtypen können dazu beitragen, die Kompetenzen und Fähigkeiten von Berufseinsteigern im Gesundheitswesen auf vielfältige und tiefgreifende Weise zu messen. Es ist zu beachten, dass vor der Implementierung der Item-Typen in den nationalen Prüfungen eine ausreichende Validität und Reliabilität festgestellt werden sollte.

Alle während dieser Studie generierten oder analysierten Daten sind in diesem veröffentlichten Artikel enthalten.

Computerbasierter Test

Elektronische Krankenakte

Elektronische Gesundheitsakte

Informations-und Kommunikationstechnologie

Innovativer computerbasierter Test

Informationstechnologie

Zulassungsprüfung für Gesundheitspersonal in Korea

Korea Health Personnel Licensing Examination Institute

Unterstützungssystem für das Lernmanagement

Artikeltyp „Mehrfachauswahl“.

Papierbasierter Test

Lim WK. Dysfunktionale, problembasierte Lehrpläne: Lösung des Problems. BMC Med Educ. 2012;12:89.

Artikel Google Scholar

Melnick DE, Clauser BE. Computergestützte Tests zur Berufszulassung und Zertifizierung von Gesundheitsfachkräften. In: Bartram D, Hambleton R, Herausgeber. Computerbasiertes Testen und das Internet: Probleme und Fortschritte. 1. Aufl. Hoboken, NJ: John Wiley & Sons Ltd.; 2006. S. 165 – 86.

Google Scholar

Cantillon P, Irish B, Sales D. Verwendung von Computern zur Beurteilung in der Medizin. Bmj-Brit Med J. 2004;329(7466):606–9.

Artikel Google Scholar

Vrabel M. Computergestützte versus Papier-und-Bleistift-Testmethoden für eine Krankenpflegezertifizierungsprüfung: eine Überprüfung der Literatur. Cin-Comput Inf Nu. 2004;22(2):94–8.

Artikel Google Scholar

Ich bin EJ, Lee WK, Lee YC, Choe BH, Chung SK, Lee TH, et al. Entwicklung eines computergestützten Tests (CBT) und einer Studentenanerkennungsumfrage zu CBT. Koreanische J Med Educ. 2008;20(2):145–54.

Artikel Google Scholar

Kim M, Han Ch. Eine Umfrage zur Wahrnehmung und Zufriedenheit koreanischer Studenten der traditionellen Medizin bei computergestützten Tests. SPKOM. 2021;25(3):57–71.

Google Scholar

Nationaler Rat der State Boards of Nursing (NCSBN). Detaillierter NCLEX-RN®-Testplan 2016 – Pädagogische Version. 2016. https://www.ncsbn.org/2016_RN_DetTestPlan_Educator.pdf. Zugriff am 7. Februar 2022.

Han Ch, Kim M, Hwangbo M, Jeong M. Computergestützter Testeinführungsplan für die nationale Prüfung koreanischer Medizinärzte und Entwicklung und Bewertung von Fragen in Vorbereitung. Korea Health Personnel Licensing Examination Institute. 2021. https://rnd.kuksiwon.or.kr/last/selectFileDown.do?attach_id=2021041200001.

Huh S, Lim EY, Yim MK. Studie zum Smart-Device-basierten Test: SBT-Ausführungsplan. Korea Health Personnel Licensing Examination Institute. 2016. https://rnd.kuksiwon.or.kr/last/selectFileDown.do?attach_id=2016101400002.

Hwang KS, Shin J, Kim NJ, Ryu JK, Lee CJ, Lee SK et al. Eine Studie zur Entwicklung multimedialer Fragen zur Anwendung der computergestützten Prüfung zur Zahntechniker-Staatsprüfung. Korea Health Personnel Licensing Examination Institute. 2020. https://rnd.kuksiwon.or.kr/last/selectFileDown.do?attach_id=2021012500001.

Ma DS, Kim YJ, Kim J, Park BK, Park HJ, Shin DH et al. Eine Studie zur Fachintegration und zur Entwicklung von Fragetypen für die bundeszahnärztliche Prüfung. Korea Health Personnel Licensing Examination Institute. 2021. https://rnd.kuksiwon.or.kr/last/selectFileDown.do?attach_id=2021032500001.

Yim MK, Seo M, Huh S. Eine Studie über die Entwicklung computergestützter Tests für die Zulassungsprüfung für Gesundheitspersonal in Korea. Korea Health Personnel Licensing Examination Institute. 2014. https://rnd.kuksiwon.or.kr/last/selectFileDown.do?attach_id=2016082400003.

Parshall CG, Harmes JC. Verbesserung der Qualität innovativer Artikeltypen: vier Aufgaben für Design und Entwicklung. JATT. 2009;10(1):1–20.

Google Scholar

Parshall CG, Harmes JC, Davey T, Pashley PJ. Innovative Artikel für computergestützte Tests. In: van der Linden WJ, Glas CAW, Herausgeber. Elemente des adaptiven Testens. New York: Springer; 2009. S. 215–30.

Kapitel Google Scholar

Kraus S, Schiavone F, Pluzhnikova A, Invernizzi AC. Digitale Transformation im Gesundheitswesen: Analyse des aktuellen Forschungsstandes. J Bus Res. 2021;123:557–67.

Artikel Google Scholar

Campbell KJ, Blackburn BE, Erickson JA, Pelt CE, Anderson LA, Peters CL, et al. Bewertung des Nutzens der Verwendung von Textnachrichten zur Kommunikation mit Patienten während der COVID-19-Pandemie. JAAOS Glob Res Rev. 2021;5(6):e2100042.

Artikel Google Scholar

de Oliveira ASS, de Sousa KMP, de Luis AdA, de Araujo EM, Felipe GF, Silvestre RCQ, et al. Handy-SMS zur Unterstützung der Heimisolierung von Verdachtsfällen von COVID-19. Rev Enferm Atual In Derme. 2021;95(35):e–021136.

Google Scholar

Egarter S, Mutschler A, Tekian A, Norcini J, Brass K. Medizinische Beurteilung im Zeitalter der Digitalisierung. BMC Med Educ. 2020;20(1):101.

Artikel Google Scholar

Wendt A, Harmes JC. Bewertung innovativer Elemente für NCLEX, Teil I: Benutzerfreundlichkeit und Pilottests. Krankenpfleger-Ausbildung. 2009;34(2):56–9.

Artikel Google Scholar

Leucht RM, Sireci SG. Eine Überprüfung von Modellen für computergestützte Tests. In: Forschungsbericht 2011-12. College Board. 2011. https://files.eric.ed.gov/fulltext/ED562580.pdf.

Nationaler Rat der State Boards of Nursing (NCSBN). NCLEX der nächsten Generation: Scoring-Modelle. 2021. https://www.ncsbn.org/NGN_Summer21_ENG.pdf. Zugriff am 7. Februar 2022.

Permana H, Sekataji AAD, Muliyati D. Entwurf eines computergestützten Tests mit der Moodle-Plattform für die Physikklasse X der High School. In: AIP Conference Proceedings. AIP-Veröffentlichung. 2021;2320(020019). https://doi.org/10.1063/5.0037509.

Rachmadtullah R, Subandowo M, Rasmitadila, Humaira MA, Aliyyah RR, Samsudin A, et al. Einsatz von Blended Learning mit Moodle: Studieneffektivität bei Grundschullehramtsstudierenden während der COVID-19-Pandemie. Int J Adv Sci Technol. 2020;29(7):3272–7.

Google Scholar

Referenzen herunterladen

Wir danken NPTech für die Unterstützung bei der Kommentierung der Machbarkeit der Übertragung von Inno-CBT-Artikeltypen auf Computerverwaltungssysteme.

Diese Studie wird vom Forschungsfonds des Korea Health Personnel Licensing Examination Institute (Fondsreferenz-ID: RE02-2203-02) (2021) unterstützt. Diese Studie wurde auch durch einen Zuschuss der National Research Foundation of Korea (NRF) unterstützt, der vom koreanischen Ministerium für Wissenschaft und IKT finanziert wurde (2020R1A2C1009224).

Kwang-Hoon Chun und Hye Kyung Jin Erstautor haben gleichermaßen zu dieser Arbeit beigetragen. Sandy Jeong Rhie und der korrespondierende Autor Young Sook Lee haben gleichermaßen zu dieser Arbeit beigetragen.

Gachon Institute of Pharmaceutical Sciences, College of Pharmacy, Gachon University, Incheon, Südkorea

Kwang-Hoon Chun

College of Pharmacy, Dongguk University-Seoul, Goyang, Südkorea

Hye Kyung Jin

College of Pharmacy, Pusan ​​National University, Busan, Südkorea

Jeong-Hyun Yoon

College of Pharmacy und Graduate School of Pharmaceutical Sciences, Ewha Womans University, Seoul, Südkorea

Myeong Gyu Kim und Sandy Jeong Rhie

College of Pharmacy, Gachon University, Incheon, Südkorea

Kyung Hee Choi

Abteilung für Gesundheit, soziale und klinische Pharmazie, College of Pharmacy, Chung-Ang-Universität, Seoul, Südkorea

Eunyoung Kim

College of Pharmacy, Sookmyung Women's University, Seoul, Südkorea

Hyunah Kim

College of Pharmacy, Institut für Pharmazeutische Wissenschaft und Technologie, Hanyang-Universität, Ansan, Südkorea

Jin-Ki Kim

College of Pharmacy, Chonnam National University, Gwangju, Südkorea

Gyudong Kim

College of Pharmacy, Korea University, Sejong, Südkorea

Kyungim Kim

College of Pharmacy und Forschungsinstitut für Pharmazeutische Wissenschaften, Seoul National University, Seoul, Südkorea

Ju-Yeun Lee

Abteilung für Pharmazie, College of Pharmacy, Kyung-Hee-Universität, Seoul, Südkorea

Eun Kyoung Chung

College of Pharmacy, Keimyung University, Daegu, Südkorea

Der junge Sook Lee

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Konzeptualisierung: JHY, SJR, YSL. Methodik/formale Analyse/Validierung: MGK, KHC, KHC, EK, HK, JKK, GK, KK, JYL, JHY, EKC, YSL, SJR. Untersuchung: KHC, KHC, EK, KK, JYL. Ressourcen: MGK, KHC, KHC, EK, HK, JKK, GK, KK, JYL, JHY, YSL, SJR. Schreiben – Originalentwurf: SJR, HKJ. Schreiben – Rezension und Bearbeitung: SJR, KHC, YSL, HKJ. Visualisierung: SJR, HKJ. Aufsicht: JHY, YSL, SJR. Projektverwaltung: KK, SJR. Finanzierungseinwerbung: SJR. Alle Autoren haben die veröffentlichte Version des Manuskripts gelesen und ihr zugestimmt.

Korrespondenz mit Young Sook Lee oder Sandy Jeong Rhie.

Diese Studie wurde vom Institutional Review Board (IRB) der Ewha Womans University (ewha-202112-0022-03) genehmigt und das IRB der Ewha Womans University verzichtete auf die Einwilligung nach Aufklärung zur Teilnahme (Risikostufe 1, 2021 − 0321). . Alle Methoden wurden in Übereinstimmung mit den relevanten Richtlinien und Vorschriften durchgeführt.

Unzutreffend.

Die Autoren erklären, dass sie keine konkurrierenden Interessen haben.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Unten finden Sie den Link zum elektronischen Zusatzmaterial.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/. Der Creative Commons Public Domain Dedication-Verzicht (http://creativecommons.org/publicdomain/zero/1.0/) gilt für die in diesem Artikel zur Verfügung gestellten Daten, sofern in einer Quellenangabe für die Daten nichts anderes angegeben ist.

Nachdrucke und Genehmigungen

Chun, KH., Jin, HK, Yoon, JH. et al. Neuartige innovative computergestützte Testaufgabentypen (Inno-CBT) für nationale Zulassungsprüfungen für medizinisches Fachpersonal. BMC Med Educ 23, 560 (2023). https://doi.org/10.1186/s12909-023-04444-5

Zitat herunterladen

Eingegangen: 30. August 2022

Angenommen: 12. Juni 2023

Veröffentlicht: 09. August 2023

DOI: https://doi.org/10.1186/s12909-023-04444-5

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt