Матеріали лабораторії
Оприлюднені матеріали
https://ir.library.knu.ua/handle/15071834/5478
Дефініції
Метод кореляції нейрофізіологічних показників суб'єктів дослідження з елементами медійних явищ - це електрофізіологічний метод заміру електропровідності, серцевого ритму, пульсу та інших показників суб'єкта дослідження під час сприймання певних медійних явищ, зокрема таких, як звук, зображення і т.д. Передбачається, що ті чи інші медійні явища викликають у суб'єкта одну й ту ж підсвідому реакцію на рівні фізіологічних показників. Ці показники є маркерами психофізіологічних станів, викликаних медійними явищами. Уперше цей метод застовано у листопаді-грудні 2024 року в Лабораторії прихованих медіаефектів Навчально-наукового інституту журналістики Київського національного університету імені Тараса Шевченка під керівництвом наукового керівника лабораторії професора Володимира Різуна, який і запропонував цей метод аспірантові кафедри кіно- і телемистецтва Арсенові Різуну для дослідження комунікаційної функції музичних новинних заставок. Дослідження проводилося під наглядом та участю асистента кафедри соціальних комунікацій, кандидата філологічних наук Інни Бєлінської.
АПРОБАЦІЯ МЕТОДУ
1. Аналіз даних апробації методу здійснюється на основі таблиць кореляції даних, отриманих після кожного дослідження з використанням цього методу.
2. Результати аналізу апробації методу відповідним чином оформляються, переважно теж у вигляді таблиць, та зберігаються на диску лабораторії у папці «Аналіз апробації методу кореляції».
3. Вимоги до апробації:
Апробація методу дослідження передбачає перевірку його ефективності, надійності та валідності. Щоб стверджувати, що метод є валідним, точним і надійним, потрібно оцінити його за такими критеріями:
1. Валідність (Validity)
Це ступінь, до якого метод вимірює саме те, що він повинен вимірювати. Валідність поділяється на кілька типів:
- Змістова валідність (Content Validity) – чи охоплює метод усі необхідні аспекти явища, що вивчається?
- Конструктна валідність (Construct Validity) – чи відповідає метод теоретичним очікуванням і чи корелює з іншими методами, що вимірюють той самий показник?
- Критеріальна валідність (Criterion Validity) – чи можна порівняти результати цього методу з результатами перевірених методик?
- Прогностична валідність (Predictive Validity) – наскільки добре метод передбачає майбутні результати?
- Конкурентна валідність (Concurrent Validity) – чи корелює метод з уже існуючими надійними методами?
✔ Як перевірити: порівняти результати з іншими методиками, провести експертну оцінку.
2. Надійність (Reliability)
Визначає стабільність та узгодженість результатів. Основні показники:
- Повторюваність (Test-Retest Reliability) – якщо провести дослідження ще раз, чи отримаємо подібні результати?
- Внутрішня узгодженість (Internal Consistency, α-Кронбаха) – наскільки добре корелюють між собою питання чи показники всередині методу?
- Міжекспертна надійність (Inter-rater Reliability) – чи отримують різні дослідники однакові результати при використанні методу?
✔ Як перевірити: повторні вимірювання, аналіз коефіцієнтів надійності (наприклад, α-Кронбаха для анкет).
3. Точність (Accuracy)
Це ступінь відповідності отриманих результатів реальному значенню.
- Чутливість (Sensitivity) – наскільки добре метод виявляє певні зміни?
- Специфічність (Specificity) – чи дозволяє метод уникнути хибнопозитивних результатів?
- Похибка вимірювання (Measurement Error) – наскільки результати можуть відрізнятися через випадкові фактори?
✔ Як перевірити: оцінити рівень похибки, проводити тести на контрольних вибірках.
4. Репрезентативність (Generalizability)
Чи можна застосовувати метод до різних груп людей, обставин або ситуацій?
✔ Як перевірити: протестувати метод на різних вибірках, оцінити, чи результати узгоджуються з іншими дослідженнями.
5. Об’єктивність (Objectivity)
Чи залежать результати від суб’єктивного впливу дослідника? Хороший метод має мінімізувати упередження.
✔ Як перевірити: використання сліпого або подвійного сліпого методу, залучення незалежних експертів.
6. Практичність (Practicality)
Чи є метод зручним у використанні? Чи вимагає він надто багато ресурсів або часу?
✔ Як перевірити: оцінити ресурсозатратність і простоту використання.
Як можна підтвердити валідність і точність методу на практиці?
Статистичний аналіз – розрахунок коефіцієнтів кореляції (наприклад, Пірсона або Спірмена) для оцінки відповідності інших методик.
Тестування на контрольних вибірках – перевірка роботи методу в різних умовах.
Порівняння з еталонними методами – перевірка схожості результатів із перевіреними методиками.
Експертна оцінка – запитати думку спеціалістів у відповідній галузі.
Аналіз внутрішньої узгодженості – розрахунок α-Кронбаха або інших статистичних показників.
4. Якщо ви маєте дані дослідження, отримані за допомогою нового методу, потрібно провести комплексну перевірку, щоб стверджувати, що метод працює. Одного дослідження зазвичай недостатньо, оскільки необхідно підтвердити відтворюваність, надійність і валідність методу на різних вибірках. Ось що треба зробити:
1. Оцінити надійність (Reliability)
Перевіряємо, чи метод дає стабільні результати при повторних вимірюваннях.
Тест-ретест надійність: застосувати метод до тих самих об’єктів двічі через певний проміжок часу та порівняти результати (кореляція між вимірюваннями повинна бути високою).
Внутрішня узгодженість (α-Кронбаха): якщо метод включає кілька показників або питань (наприклад, анкета), варто перевірити, наскільки добре вони узгоджуються між собою.
Міжекспертна надійність (Inter-rater reliability): якщо оцінювання здійснюється експертами, треба перевірити, чи різні експерти дають подібні оцінки (коефіцієнт Каппа або кореляція Спірмена).
✔ Що зробити: провести повторні вимірювання та розрахувати відповідні статистичні показники.
2. Оцінити валідність (Validity)
Переконуємось, що метод дійсно вимірює те, що він має вимірювати.
Конструктна валідність: порівняти результати нового методу з перевіреними методиками (коефіцієнт кореляції Пірсона або Спірмена).
Критеріальна валідність:
Конкурентна (Concurrent Validity) – порівняти результати з іншими методами, що вимірюють те ж саме.
Прогностична (Predictive Validity) – перевірити, чи можуть результати передбачати майбутні події або стани.
Змістова валідність: оцінити, чи метод охоплює всі важливі аспекти об’єкта дослідження (експертна оцінка).
✔ Що зробити: провести кореляційний аналіз між даними нового методу та даними, отриманими за допомогою перевірених методик.
3. Перевірити точність (Accuracy)
Визначити, наскільки отримані результати відповідають реальності.
Оцінити середню абсолютну похибку (Mean Absolute Error, MAE) або середньоквадратичну похибку (RMSE), якщо є «золотий стандарт» для порівняння.
Перевірити чутливість (Sensitivity) і специфічність (Specificity), якщо метод передбачає класифікацію.
✔ Що зробити: розрахувати похибки та побудувати графік порівняння реальних і прогнозованих значень.
4. Аналіз відтворюваності (Reproducibility)
Переконатися, що метод дає подібні результати при застосуванні на різних вибірках або в різних умовах.
✔ Що зробити: провести дослідження на різних вибірках і перевірити, чи результати залишаються стабільними.
5. Перевірити статистичну значущість результатів
Щоб зрозуміти, чи отримані результати не випадкові, потрібно:
Провести тест на нормальність даних (наприклад, тест Шапіро-Вілка).
Використати t-тест або U-тест Манна-Вітні для порівняння груп.
Якщо метод має прогнозну силу, розрахувати ROC-криву для оцінки його ефективності.
✔ Що зробити: перевірити, чи результати статистично значущі (p < 0.05).
6. Відповісти на питання: чи достатньо одного дослідження?
Ні, одного дослідження недостатньо! Ось чому.
Одне дослідження може мати випадкові похибки або особливості вибірки, які спотворюють результати.
Потрібно перевірити метод у різних умовах (наприклад, на інших вибірках, у різний час).
У науковій практиці прийнято проводити реплікацію досліджень для підтвердження результатів.
✔ Що зробити: повторити дослідження з іншими вибірками та порівняти результати.
Висновок
Щоб стверджувати, що метод працює, необхідно:
- Перевірити надійність (повторюваність, узгодженість, кореляції між експертами).
- Оцінити валідність (порівняти з іншими методами, провести кореляційний аналіз).
- Проаналізувати точність (розрахувати похибки, побудувати порівняльні графіки).
- Визначити відтворюваність (провести тести на різних вибірках).
- Переконатися у статистичній значущості (перевірити p-значення).
- Повторити дослідження на інших вибірках.
5. У звітах, наукових статтях, монографіях тощо вказувати основні показники валідності, точності й надійності методу на момент його застосування. Дані про характеристики методу оприлюднюються на сайті Лабораторії прихованих медіаефектів у розділі «Дослідження/ Методи дослідження».