Мобильная версия

Журнал «Почки» Том 6, №3, 2017

Комп’ютерний іспит та клінічне мислення: сучасний підхід до оцінки знань лікаря

Авторы: Вороненко Ю.В., Мінцер О.П., Іванов Д.Д.
Національна медична академія післядипломної освіти імені П.Л. Шупика, м. Київ, Україна

Рубрики: Нефрология

Разделы: Справочник специалиста

Існуюча система оцінки знань лікаря в післядипломній освіті та його безперервному професійному розвитку недосконала, вона не враховує його особистий рівень знань та фізіологічний стан. Це призводить до недооцінки практичного досвіду та ускладнює проходження іспиту. Нами запропонована нова індивідуалізована система формування питань та множинного альтернативного вибору відповіді з ваговою характеристикою відкритого типу. Очікується, що її впровадження як пілотного проекту дозволить гармонізувати іспит і підвищити об’єктивність оцінки знань лікаря.

Существующая система оценки знаний врача в последипломном образовании и его непрерывном профессиональном развитии несовершенна, она не учитывает его личный уровень знаний и физиологическое состояние. Это приводит к недооценке практического опыта и затрудняет прохождение экзамена. Нами предложена новая индивидуализированная система формирования вопросов и множественного альтернативного выбора ответа с весовой характеристикой открытого типа. Ожидается, что ее внедрение в качестве пилотного проекта позволит гармонизировать экзамен и повысить объективность оценки знаний врача.

The current system of medical exam in postgraduate education and continuing professional development is imperfect, it does not take into account the personal level of knowledge and doctor’s physiological state. This leads to an underestimation of practical experience and makes it difficult to pass the exam for some categories, for example elderly doctors. We have proposed a new individualized system of the multiple-choice question and multiple-choice response, which has the weight characteristics in the open type testing. It is expected that its implementation as a pilot project will allow to harmonize the exam and to increase the objectivity in the assessment of doctor’s knowledge.

Ключевые слова

післядипломна освіта в медицині; індивідуальна оцінка знань; адаптивне питання; множинна за вибором відповідь; об’єктивність оцінки знань

последипломное образование в медицине; индивидуальная оценка знаний; адаптивный вопрос; множественный по выбору ответ; объективность оценки знаний

postgraduate medical education; individual examining; adaptive question; multiple-choice answer; objectivity of knowledge assessment

doi: http://dx.doi.org/10.22141/2307-1257.6.3.2017.109028

Вступ

Проведення комп’ютерного іспиту для отримання лікарської спеціальності або підтвердження категорії є необхідною процедурою верифікації знань здобувача. На сьогодні в Україні, як і в більшості країн Європи, для оцінки знань лікарів використовують традиційний вид комп’ютерних іспитів «питання з вибором» закритого типу, в якому пропонується множинний чи альтернативний вибір, встановлення відповідності або послідовності. Тестові завдання відкритого типу, що передбачають вільну відповідь або доповнення до наявної відповіді, на жаль, майже не використовуються в медичних іспитах.

Сучасний освітній процес є надзвичайно складним. Його успіх залежить від корекції безліч факторів. Вважається, що в процесі проектування і функціонування системи контролю знань необхідно враховувати різнорідність груп лікарів із точки зору віку, стану здоров’я, освітніх навиків, рівня соціальної захищеності. У зв’язку з цим виникає необхідність в розробці різнорідних і різнорівневих діагностичних та контролюючих матеріалів, тобто потрібна індивідуалізація формулювання питань для іспитів [1]. Це, на наш погляд, є першою невирішеною проблемою в комп’ютерних іспитах лікарів.

Другий аспект полягає в тому, що практичне мислення не може згенерувати лише одну абсолютно правильну відповідь на клінічне питання. Набуття досвіду лікарем спонукає його до подання двох або більше альтернативних шляхів вирішення клінічної ситуації. Таким чином, клінічний досвід вступає у протиріччя із заученим теоретично або не опрацьованим достатнім чином на практиці матеріалом.

З цієї причини, а також унаслідок розвитку зниження когнітивних здібностей успішно пройти комп’ютерне тестування лікарям після 45–50 років буде важко. Актуальність питання зростає із старінням населення, серед якого частка літніх лікарів буде збільшуватися. Заборона використання довідкового матеріалу, який при незнанні питання не допоможе в обмежений іспитом час, імовірне збільшення тривалості іспиту за прикладом європейського тестування значно впливають на кінцевий результат, що втрачає свою об’єктивність із віком та набутою практикою лікаря.

Яке вирішення проблеми може бути запропоноване?

Основна частина

Згідно з сучасною практикою [1, 2], тести для комп’ютерних іспитів розподіляються на традиційні і нетрадиційні (рис. 1).

Традиційний тест має зміст, цілісність і структуру. Він включає завдання, правила їх застосування, оцінки виконання кожного завдання і рекомендації з інтерпретації тестових результатів. Результат традиційного тесту залежить від кількості питань, на які було дано правильну відповідь. І традиційно він використовується для медичних іспитів.

До нетрадиційних тестів можна віднести інтегративні, адаптивні, багатоступінчасті і так звані критеріально-орієнтовані тести. Виділяють декілька їх видів, серед яких найчастіше використовують:

— Інтегративні тести. Інтегративним можна назвати тест, до якого входить система завдань, націлених на узагальнену підсумкову діагностику підготовленості спеціаліста. Діагностика проводиться шляхом постановки таких завдань, правильні відповіді на які вимагають інтегрованих (узагальнених, явно взаємозалежних) знань двох навчальних дисциплін і більше.

— Адаптивні тести. Адаптивний тест становить собою варіант автоматизованої системи тестування, в якій заздалегідь відомі параметри, рівень складності та диференційовані характеристики кожного завдання, вікові, індивідуальні та інші особливості того, знання якого контролюють. Ця система створена у вигляді комп’ютерного банку завдань, упорядкованих відповідно до потрібних характеристик завдань. Найголовніша характеристика завдань адаптивного тесту — це рівень їх складності, отриманий шляхом досвіду, що означає: перш ніж потрапити в банк, кожне завдання проходить емпіричну апробацію на досить великому числі типових учнів зацікавленого контингенту.

Найбільш популярна класифікація тестових завдань виділяє дві групи: відкритого та закритого типів (рис. 2) [2].

Завдання відкритого типу включають:

— множинний вибір: випробуваному необхідно вибрати один (One Choice Answer) або кілька правильних відповідей з наведеного списку (Multiple Choice Answer) [3–6] та враховувати стандарти акредитації [7];

— альтернативний вибір: випробуваний повинен відповісти «так» або «ні»;

— установлення відповідності: випробуваному пропонується встановити відповідність елементів двох списків;

— установлення послідовності: випробуваний повинен розташувати елементи списку в певній послідовності;

— установлення інформативності: випробуваний повинен вибрати з наданої бібліотеки найбільш значущі;

— установлення комплексності: випробуваний повинен вибрати правильну відповідь із списку наданих, включаючи дистрактори з негативним значенням.

Завдання закритого типу передбачають:

— вільний виклад: випробуваний повинен самостійно сформулювати відповідь; ніякі обмеження на них у завданні не накладаються, або

— доповнення: випробуваний повинен сформулювати відповіді з урахуванням передбачених у завданні обмежень (наприклад, доповнити пропозицією).

Вибір типів тестів визначається:

— особливостями інструментальних тестових програм (тестовими оболонками);

— особливостями спеціальності;

— досвідом і майстерністю експертів.

До речі, вже маючи медичну спеціальність, є можливість оцінити, чи відповідає вона вашим здіб–ностям [5].

Тепер проведення комп’ютерного іспиту для отримання сертифіката спеціаліста та підтвердження лікарської кваліфікаційної категорії передбачає набір визначеного відсотка правильних відповідей. Кожне питання іспиту має 5 відповідей, з яких може бути: 1) лише одна правильна відповідь або 2) всі відповіді правильні, що загалом класифікується як зараховане правильне питання. Ця світова практика дозволяє українським лікарям отримувати не лише сертифікат спеціаліста в Україні, а і за кордоном, наприклад при проходженні онлайн-іспиту для отримання сертифіката спеціаліста європейського зразка від Pearson VUE. Деякі системи іспитів за кордоном ускладнені дистракторами, що мають негативну оцінку, тобто знижують загальну суму правильних відповідей. Нагадаємо, що дистрактор (distracters) — це варіант відповіді в тестових завданнях закритої форми, що є близькою до правильної відповіді, але не є нею. Проте з огляду на набутий практичній досвід лікаря та його вік ця найпростіша в підготовці тесту система тестування стає недосконалою.

Особистий внесок у вирішення проблеми

Розроблене технічне завдання і рішення, що готові до загального обговорення, є новими для медичного тестування підходами до оцінки клінічних знань лікаря при проведенні комп’ютерного іспиту. Їх основу становлять: 1) індивідуалізація вибору питань залежно від особистості, що складає іспит; 2) множинний вибір відповіді з ваговими характеристиками та відкритий алгоритм дії на негативну відповідь (рис. 3) [8].

Результати

Насамперед слід зауважити, що прийняття рішень при обґрунтуванні стратегії контролю знань у системі післядипломної медичної освіти здійснюється в умовах як певної невизначеності щодо рівня знань слухачів, їх сприйняття навчального матеріалу, так й відсутності єдиних критеріїв успішності процесу [9]. Тому вважаємо, що контроль знань може бути валідним, якщо забезпечується режим постійного моніторингу. Крім того, для системного аналізу якості підготовки слід користуватися спеціальними математичними критеріями валідності та оптимальності векторного характеру.

Перший блок (рис. 3) — індивідуалізація вибору питань шляхом інтелектуалізованого контролю знань — поєднують у собі методи штучного інтелекту й інтернет-технології [7]. Вони повинні забезпечувати: інтерактивний діалог із тими, знання яких перевіряються, здійснювати контроль і підтримку в режимі реального часу, удосконалювати стратегію тестування на основі визначеного рівня індивідуальних знань, навичок і здібностей того, кого екзаменують.

На сьогодні реалізація індивідуального підбору питання нами визначена за віком слухача (до 30 років, 30–45 років, 46–65 років і старше), статтю (додаткові хвилини для жіночої статті), неносіями мови (додаткові хвилини), стажем спеціаліста (загальноприйняті). Індивідуалізація за результатами попереднього іспиту та фізіогномічними особливостями нині проходить тестування (бета-версія).

Принциповими характеристиками другого блоку (індивідуалізації оцінки відповідей) є:

1. Нетрадиційний тест із поєднанням інтегративних, адаптивних, багатоступінчастих, критеріально-орієнтованих елементів в одній клінічній задачі. Усі питання є клінічними задачами, що включають 5–20 блоків, які становлять собою розвиток хвороби, її лікування, ускладнення, катамнез. Кожне питання передбачає відповідь за різним алгоритмом [10].

Такий підхід ускладнює підготовку тестів укладачами, проте дає можливість отримання правильної відповіді, якщо лікар не зрозумів питання або алгоритм відповіді на нього, за рахунок адаптивності питання. Тобто, якщо відповідь неправильна, питання подається в іншій редакції з поясненням. У разі повтору неправильної відповіді слухач дає пояснення, що аналізується експертом і дозволяє йому визначити логіку лікаря та глибину знання питання.

2. Проведення оцінки за ваговими складовими відповідей.

Як і раніше, питання, що стосуються здебільшого клінічної ситуації, на відміну від теоретичних завдань будуть мати 5 відповідей. Це клінічні питання з алгоритмом дій (установлення відповідності та послідовності) та множинним вибором. Усі відповіді правильні тією чи іншою мірою. Кожна правильна відповідь має вагову характеристику, тобто на 100, 80, 60, 40 і 20 % правильна або в більш простому варіанті має такий вигляд: «абсолютно згоден», «згоден», «може бути так», «не згоден», «абсолютно не згоден». 100 % ваги питання є абсолютно правильним рішенням клінічної задачі, і, навпаки, 20 % ваги питання може бути правильним у малої кількості пацієнтів за окремих умов. Загальна оцінка іспиту включатиме відсоток питань із вагою понад 60, 75, 85 і 95 % для отримання сертифіката спеціаліста та відповідно до другої та вищої категорій.

3. Використання суміжної системи оцінки тесту закритого типу для формування доповнення при виборі найнижчої вагової відповіді в 20 %.

При цьому такий тест автоматично переходить до ручної оцінки експертом (групи експертів). Якщо пояснення лікаря, що складає екзамен, будуть прий–няті на основі елементів доказової медицини, тест зараховується.

4. Вільне користування інформаційними засобами.

Це питання щодо доброзичливості іспиту до лікаря. Добре відомо, що не всі лікарі впевнено працюють з комп’ютером. З віком у людини зменшується можливість швидких реакцій, знижується пам’ять. Тому літнім лікарям, навіть самим викладачам, нерідко тяжко скласти комп’ютерний іспит у відведений час. Тобто ми пропонуємо дозволити використання адаптивної підтримки навігації — підтримка того, хто складає іспит, шляхом створення видимих/невидимих посилань для орієнтації в –гіперпросторі.

Запропоновано дозволити лікарям використовувати всі наявні джерела інформації (Iнтернет, мобільні пристрої, конспект, книжка, але не думка іншого лікаря) для формування правильної відповіді на іспиті. Обізнаний спеціаліст в обмежений час, якщо не може пригадати правильну відповідь, але обізнаний в тому, де її шукати, зможе правильно відповісти. Якщо знань немає, обмежений час на відповідь не дозволить знайти правильне рішення. Такій підхід підвищує доброзичливість до лікаря, що атестується, та дозволяє більш об’єктивно оцінити його практичні навички під час комп’ютерного іспиту.

5. Банк даних клінічних задач, що використовується при іспиті, оновлюється (не менше 25 %, 2 іспити) і є відкритим для тренування тільки для завдань, що були на попередніх іспитах.

Табл. 1 демонструє порівняння існуючого іспиту і нової системи оцінки за ваговими показниками питань.

Як бачимо, в стандартній ситуації 50 правильних відповідей не дають шансу скласти іспит. Проте вагові характеристики правильних відповідей дозволяють продемонструвати клінічне мислення і досвід лікаря й успішно скласти тестування.

Далі наводимо приклад, коли система при негативних відповідях (20 % ваги) автоматично запросила пояснення, які в подальшому були прийняті експертами та зараховані як правильна відповідь (табл. 2).

Важливим є те, що впровадження такої системи, з одного боку, дозволяє підвищити рівень завдань, зробити їх більш складними та ґрунтовними, з іншого — «не згубити» кількість правильних рішень від маючих великий досвід лікарів, що складають іспит.

Цей пілотний проект розпочато кафедрою нефрології та нирковозамісної терапії і медичної інформатики в НМАПО імені П.Л. Шупика.

При цьому загальний механізм запобігання ризикам помилкової оцінки знань полягає в постійному моніторингу якості засвоєння та постійної корекції технологій навчання. Звертається увага на те, що істинні характеристики медичної освіти (навчання) виявляються лише через певний час і здебільшого при практичному застосуванні інформаційного матеріалу тим, хто навчається, у конкретній відповідній ситуації. Висновки ж стосовно якості передачі знань потрібно робити безпосередньо. Тому досягти безпомилкової оцінки знань практично неможливо [6].

Що стосується ризиків, пов’язаних з якістю навчального матеріалу, то можливості запобігання їм пов’язані з двома моментами: чіткою системою вимог до розробників курсів і якісною експертизою використовуваних ресурсів.

Висновки

1. Існуюча система оцінки знань у післядипломній медичній освіті недосконала з огляду на професійний рівень знань лікаря та не враховує його фізичні можливості і психоемоційні характеристики, тому не є об’єктивною.

2. Прийняття рішень при обґрунтуванні стратегії контролю знань у системі післядипломній медичній освіти здійснюється в умовах певної невизначеності щодо рівня знань слухачів, їх сприйняття навчального матеріалу, а також при відсутності єдиних критеріїв успішності процесу.

3. Потребує додаткових досліджень проблема оцінки валідності іспитів за різними професійними напрямками з індивідуальним множинним або альтернативним вибором тестових завдань і відповідей, що передбачають установлення відповідності або послідовності вирішення клінічних задач із ваговою системою оцінки відповіді та вільним викладенням доповнень при 20% вазі відповіді.

Конфлікт інтересів. Автори заявляють про відсутність конфлікту інтересів при підготовці даної статті.

Список литературы

1. Voronenko Y.V., Mintser O.P., Ivanov D.D. Promissory Concept of medical education // Journal of European CME. — 2015. — Vol. 4, Iss. 1. — http://dx.doi.org/10.3402/jecme.v4.25135.

2. Использование тестов в учебном процессе. — Available from: http://testobr.narod.ru/3.htm.

3. Griebenow R., Campbell C., Graham T. et al. Roles and Responsibilities in the Provision of Accredited Continuing Medical Education/Continuing Professional Development // Journal of European CME. — 201. — Vol. 6, Iss. 1. — doi: 10.1080/21614083.2017.1314416.

4. Medical definition of examination. — Available from: http://www.merriam-webster.com/dictionary/multiple%20choice.

5. Origins and Purposes of Multiple Choice Tests, San Francisco State University. — Available from: http://ctfd.sfsu.edu/teaching-practices/origins-and-purposes-of-multiple-choice-tests. — Accessed: 2016.04.02.

6. Kehoe J. Writing multiple-choice test items Practical Assessment, Research & Evaluation. — 1995. — 4(9). — Retrieved February 12, 2008. — http://pareonline.net/getvn.asp?v=4&n=9.

7. Типы компьютерных тестов. — Available from: http://www.psciences.net/main/sciences/computer_sciences/articles/komptesty.html.

8. Medical spesialty atitude test. — Available from: https://www.med-ed.virginia.edu/specialties/Home.cfm.

9. Schaffer M., Weisshardt I. Beyond accreditation systems — the identification of different implementation models for CME across Europe // J. Eur. CME. — 2013. — 2. — 22602. — doi: http://dx.doi.org/10.3402/jecme.v2i0.22602.

10. Минцер О.П., Краснов В.В. Вопросы систематизации автоматизированных аттестационных систем в медицине (методические рекомендации). — Тернополь: Укрмедкнига, 2000. — С. 56.