КОМПЛЕКСНА МОДЕЛЬ РЕЙТИНГУ ЕЛЕКТРОННИХ КУРСІВ В СИСТЕМІ MOODLE
Святаш Д.В.
бакалавр
svyatash98@gmail.com
Яценко Р.М.
к.е.н., доцент
roman.yatsenko@hneu.net
ХНЕУ ім. С. Кузнеця
Тема управління якістю електронних навчальних курсів є актуальною на сучасному етапі розвитку суспільства, оскільки все більшої популярності набуває напрямок персоналізованого навчання та шляхи досягнення його якості. У наш час поширюється практика саме якісної розробки навчальних систем та курсів для збільшення ефективності процесу навчання. Тому необхідним є використання нової моделі та методів для дослідження цієї теми.
Комплексна модель рейтингу якості курсу повинна містити саме ті показники, як кількісні, так і якісні, що дозволяють максимально достовірно визначити, до якого саме рівня віднести курс.
Важливим аспектом такої моделі буде включення у неї самооцінки викладача, тобто розробка певної анкети на курсі, яку викладач заповняє самостійно, відзначаючи наявність на своєму курсі тих чи інших елементів, тим самим подаючи заявки на певний рівень. Це є певною рекомендацією та передумовою застосування моделі.
Структура такої моделі може складатися з двох великих кластерів: якісного та кількісного, що при об’єднанні будуть являти собою певний інтегральний показник якості курсу (рис. 13).
Рис. 13: Схема трирівневої моделі рейтингу курсу.
Якісний кластер може являти собою власне кваліметричний показник, або рівень. За цим кваліметричним показником курсу будуть привласнюватись певні бали від 0 до 300. Відповідно, якщо курс отримує контентний, початковий, рівень його бал якості буде дорівнювати 100, інтерактивний, – 200, автономний, продвинутий – 300. При цьому перехід з одного рівня на інший становиться все важчим.
Таксономічний показник складається з трьох інтегральних показників, що відповідають за певний напрям розвитку курсу – його наповнення, активність та комунікацію.
Відповідно до наповнення відносяться такі показники, які відображають кількісну наявність тих чи інших контентних елементів на курсі. До активності можна віднести ті показники, що характеризують взаємодію студентів із різними типами елементів курсу та використовуваність курсу взагалі. Комунікація поєднує у собі відповідно усі критерії, можна віднести ті показники, що характеризують взаємодію студентів із різними типами елементів курсу та використовуваність курсу взагалі.
Спочатку за кожною групою окремо будується інтегральний показник із застосуванням методу рівня розвитку.
Попередньою процедурою для використання методів таксономії є:
- формування матриці вихідних даних;
- стандартизація і нормалізація вихідних даних:
Найбільш поширеним способом стандартизації даних [1] є стандартизація за такою формулою:
\[ x_j=\frac{x_j-\overline{x_j}}{\sigma_j} \tag{1} \]
Після стандартизації виникає проблема так званих «викидів». Викид - це елемент малопотужної підмножини вибірки, що істотно відрізняється від інших елементів вибірки, тобто показник деякого курсу, що за тими чи іншими ознаками занадто виділяються з-поміж інших та утворює проблему при формуванні еталонного значення. Викиди можуть спотворювати і скорочувати інформацію, що міститься в джерелі даних або процедурі їх генерації.
Виявлення та аналіз викидів в процесі вимірювання ведуть до більш повного розуміння досліджуваних процесів і більш глибокого аналізу даних, і як наслідок, до більш достовірним висновків.
Викиди не завжди слід трактувати як «погані» чи «помилкові» дані. У деяких випадках викиди дають важливу інформацію, яку необхідно враховувати в процесі досліджень. У даному випадку - викидами можуть бути ті курси, що набагато випереджають за деякими ознаками інші курси. Тому при розрахунку еталонного значення їх показник буде братися, як максимальний, тому відстань кожного із інших курсів буде набагато більшою, ніж повинна. Але просто прибирати такі викиди із генеральної сукупності теж неправильно, тому що це суперечить сенсу політики розвитку курсу.
Метод “трьох сигм” дозволяє перевірити дані на наявність в них аномальних значень [2]. За допомогою цього методу так само можна здійснювати контроль за перебуванням параметра в допустимих межах.
Формула для обчислення середнього значення ряду:
\[\overset{\overline{}}{x} = \frac{1}{n}\sum_{i = 1}^{n}{x_{i}\ , \tag{2} }\]
де n - кількість елементів вибірки,
\(x_i\)- i-й елемент вибірки.
Формула для обчислення середньоквадратичного відхилення:
\[\sigma = \sqrt{\frac{1}{n}\sum_{i = 1}^{n}{{(x_{i} - \overset{\overline{}}{x})}^{2}\ }} \tag{3}\]
Суть даного методу зводиться до того, що будь-які значення ряду, що відрізняються від середнього більше, ніж на два середньоквадратичних відхилення, є потенційними аномаліями. Поріг визначення аномалій задається формулою:
\[T = x_{i} \pm 3 \times \sigma \tag{4}\]
Після визначення таких викидів їх можна подавити, привласнивши їм значення максимально можливих.
- Використання Евклідової відстані для побудови матриці відстаней; можна використовувати також матрицю парних кореляцій.
Евклідова відстань [3]. Це, мабуть, найбільш загальний тип відстані. Вона просто є геометричною відстанню в багатовимірному просторі і обчислюється таким чином:
\[vidstan'\left( x,y \right) = \sqrt{\sum_{i}^{}{(x_{i} - y_{i})}^{2}} \tag{5}\]
Треба зауважити, що евклідова відстань (і її квадрат) обчислюється за вихідними, а не за стандартизованими даними. Це звичайний спосіб її обчислення, який має певні переваги (наприклад, відстань між двома об’єктами не змінюється при введенні в аналіз нового об’єкта, який може виявитись викидом).
Квадрат евклідової відстані. Іноді може виникнути бажання звести в квадрат стандартну евклідову відстань, щоб надати великі ваги більш віддаленим один від одного об’єктів. Ця відстань обчислюється таким чином:
\[vidstan'\left( x,y \right) = \sum_{i}^{}{(x_{i} - y_{i})}^{2} \tag{6}\]
Рівень розвитку - синтетичний показник, який є рівнодіючою всіх ознак, що беруть участь в розгляді або описі багатовимірного об’єкта. Величина рівня розвитку дозволяє провести лінійне упорядкування розглянутих об’єктів.
Основною процедурою методу є:
- Формування еталонної точки . Всі ознаки, які беруть участь в описі, діляться на стимулятори і дестимулятори.
Стимулятори - ознаки, які надають позитивний вплив на досліджуваний об’єкт.
Дестимулятори - ознаки, що здійснюють негативний вплив.
Для формування еталонної точки обирається максимальне значення ознаки-стимулятора і мінімальне значення ознаки-дестимулятора.
- Визначаємо відстань кожного об’єкта від еталонної точки. В якості запобіжної відстані обирається Евклідова відстань:
\[d_{0i} = \sqrt{\sum_{}^{}{(x_{\text{ij}} - X_{\text{oj}})}^{2}} \tag{7}\],
де\(\ x_{\text{ij}}\)– значення j-ої ознаки для і-го об’єкту;
\(X_{\text{oj }}\)– еталонне значення j-ої ознаки.
- Визначення коефіцієнта рівня розвитку:
\[ K_i= \frac{d_{oi}}{d_0} \tag{8}\]
\[ d_0=\overline{d_0}+2*\sigma_0 \tag{9} \]
\[\sigma_0 = \sqrt{\frac{\sum_{}^{}{{(d_{0i} - \overset{\overline{}}{d_0})}^{2}\ }}{n}} \tag{10}\]
\[ K_i= 1-\frac{d_{oi}}{d_0} \tag{11}\]
Значення коефіцієнта рівня розвитку змінюються від 0 до 1. чим ближче значення коефіцієнта рівня розвитку до 1, тим ближче об’єкт до ідеалу, тобто, тим вище рівень розвитку даного елемента. І навпаки, якщо значення коефіцієнта рівня розвитку ближче до 0, то тим далі елемент від еталона.
Отже, за допомогою даного методу таксономії можна провести лінійне упорядкування багатовимірних об’єктів. При цьому отриманий інтегральний показник є нормованим і змінюється в межах від 0 до 1, що дозволяє проранжувати досліджувані об’єкти за рівнем розвитку. Даний показник легко інтерпретується: його значення, близькі до 1, відповідають великим значенням показників, що роблять позитивний вплив на рівень розвитку аналізованих об’єктів, а значення, близькі до 0, - великим значенням показників, що негативно впливають на рівень розвитку об’єктів.
Після розрахунку трьох інтегральних показників для кожного курсу проводиться шкалювання показників, щоб врівноважити їх між собою та розрахувати загальний таксономічний інтегральний показник шляхом знаходження середнього з врівноважених трьох частин.
Таким чином, складемо алгоритм розрахунку рейтингу:
- Визначення рівня курсу.
- За досягненням рівня визначається бал за якісну складову – 0, 100, 200 та 300.
- Збір даних за визначеними раніше критеріями трьох векторів розвитку курсу для усіх курсів, що досліджуються.
- Розрахунок трьох інтегральних показників – наповнення, активності та комунікації: 4.1. Стандартизація матриці вихідних даних. 4.2. Подавлення викидів. 4.3. Застосування методу рівня розвитку для визначення сумарного значення інтегрального показника.
- Нормування інтегральних показників.
- Розрахунок підсумкового значення таксономічного критерію або кількісної оцінки курсу та переведення його у 100-бальну шкалу.
- Визначення сумарного рейтингову балу курсу шляхом складання значень кількісної та якісної складовї.
- Побудова рейтингу досліджуваних курсів.