Рекомендации по созданию оценок в тестах

Компьютерные тесты – мощный инструмент для оценки знаний учащихся, однако его использование требует аккуратности. К примеру, очень популярно использование тестов, состоящих из вопросов одиночного выбора. Предположим для простоты, что во всех этих вопросах есть три варианта ответа. Несложно показать, что учащийся, не желающий затруднять себя анализом вопросов и вариантов ответов, который решил положиться на судьбу и на все вопросы ответил наугад, в среднем наберет 33.3% возможных баллов. Если положительная оценка за тест может быть получена при меньшем количестве баллов, то любой учащийся, не обладающий знаниями, но умеющий считать, без труда получит положительную оценку.

Разумеется, приведенный выше случай является вырожденным, приведем другой более реальный. Предположим, что в тесте, состоящем из вопросов одиночного выбора с тремя вариантами ответов, проходной балл выставляется при правильном ответе на 2/3 вопросов.  Учащийся, знающий верные ответы только на 50% вопросов, легко задействует стратегию угадывания и, ответив на половину вопросов, в ответах на которые он уверен, не станет тратить время, а ответит на оставшиеся вопросы случайным образом. Очевидно, что в этом случае полученная им оценка (в среднем) составит 50% + 1/3*50% = 2/3, то есть именно то, что ему требовалось.

Из сказанного можно сделать простой вывод: составляя тест, необходимо учитывать возможность, что учащиеся применят стратегию угадывания, и принимать решение о шкале оценок с учетом этого фактора. Ниже приведены рекомендации на эту тему.

Для начала предложим два принципа, которые едва ли нуждаются в подробном обосновании:

  1. Двое учащихся, одинаково ответивших на все вопросы теста, должны получить одинаковую оценку.
  2. Учащийся, не знающий, как ответить ни на один вопрос, и применивший стратегию угадывания, должен получить нулевую оценку.

Следствием этих принципов является то, что нулевая оценка должна выставляться за количество баллов, меньшее или равное тому, которое в среднем получает учащийся, выбравший стратегию угадывания (то есть математическому ожиданию набранных баллов при этой стратегии). 

Рассмотрим четыре наиболее популярных типа вопроса и приведем некоторые рекомендации.

  1. Контрольные вопросы одиночного выбора.
    Этот тип вопроса был уже рассмотрен выше. Вклад этого вопроса в математическое ожидание набранных баллов при задействовании стратегии угадывания , где h – оценка за вопрос, n – число вариантов ответа, а m – количество ответов, принимаемых как верные (использование параметра m, отличного от единицы – довольно редкая возможность, но, формально говоря, она также может быть использована).
  2. Балльные вопросы одиночного выбора.
    Этот тип вопроса незначительно отличается от предыдущего. Его вклад в математическое ожидание , где – оценка за вариант ответа, а n – число вариантов ответа.
  3. Контрольные вопросы множественного выбора.
    Преимуществом этого типа вопроса является то, что вероятность угадывания верного ответа в нем существенно ниже, чем в вопросе одиночного выбора, разумеется, в том случае, если учащемуся не известно заранее, какое именно количество ответов – верные. В самом деле, при трех вариантах ответа вероятность угадать верный ответ равна 1/8, а при четырех – 1/16 (с той оговоркой, что как возможность отсутствия верных вариантов ответов, так и возможность того, что все ответы верные, не исключаются из рассмотрения). Однако этот тип вопроса имеет и существенный недостаток: в самом деле, в данном случае не предусмотрены «частично верные» ответы, любой ответ – либо верный (и тогда он вознаграждается предусмотренным количеством баллов), либо неверный (и тогда оценка за вопрос нулевая). Представим себе, что в вопросе десять вариантов ответа, и учащийся верно указал (то есть верно отметил как верные или верно не отметил как неверные) девять из них. В этом случае выставление нулевого количества баллов выглядит не вполне справедливо. Поэтому мы рекомендуем использовать этот тип вопроса при небольшом количестве вариантов ответа. Вклад этого вопроса в математическое ожидание , где h – оценка за вопрос, n – число вариантов ответа.
  4. Балльные вопросы множественного выбора.
    Этот тип вопроса позволяет учитывать «частично верные» ответа, однако «не бесплатно». Приведем два важных замечания. 
  • Во-первых, в отличие от балльных вопросов одиночного выбора, в балльном вопросе множественного выбора необходимо использовать отрицательные баллы, выставляемые за неверный вариант ответа, ошибочно отмеченный как верный. В самом деле, если не выставлять отрицательные баллы, то учащийся может просто отметить все варианты ответа как верные и, тем самым, получить максимально возможный балл. Следствие: при использовании вопросов этого типа учащийся может набрать отрицательное количество баллов, что может вызвать у него некоторое недоумение. Поэтому мы рекомендуем показывать учащемуся только оценку, не уточняя, какое количество баллов ей соответствует.
  • Во-вторых, поскольку учащийся отмечает каждый вариант ответа как верный или не отмечает его как неверный независимо от того, как он отмечает иные варианты, то эти события независимы, и, следовательно, балльный вопрос множественного выбора с n вариантами ответа эквивалентен n контрольным вопросам одиночного выбора с двумя вариантами ответа. Иными словами, использование вопроса этого типа может сильно поднять планку «нулевой оценки». С учетом этого фактора данный тип вопроса показал себя как вполне эффективный. Итак, вклад этого вопроса в математическое ожидание  где  – оценка за вариант ответа.

Резюмируем

При использовании вопросов одиночного и множественного выбора мы рекомендуем установить планку «нулевой оценки» (то есть количество баллов, за которое или за меньшее которого устанавливается нулевая оценка) на уровне , где N – число вопросов в тесте, а  — вклад каждого вопроса, вычисляемый по приведенным выше формулам. Отрезок же от «нулевой планки» до максимального количества баллов может быть разделен на равные сегменты, соответствующие оценке, предъявляемой учащемуся.

Отметим, что в данном случае мы не включили в рассмотрение вопросы открытого типа, поля, выпадающие списки, а также вопросы соответствия и упорядочения списка. По нашему мнению, вероятность угадывания в этих случаях существенно ниже (за исключением выпадающего списка, эквивалентного контрольному вопросу одиночного выбора), чем в рассмотренных типах вопроса, или нулевая (в открытых вопросах или в полях). При необходимости же аналогичные вычисления могут быть легко проведены для вопросов соответствия и упорядочения списка.

WEB Class

SunRav WEB Class в облаке

Рады сообщить, что мы начали оказывать услугу по предоставлению облачного доступа к SunRav WEB Class на нашем сервере: mywebclass.ru.

Преимущества такого подхода

🌐 Вам не нужен собственный сервер — мы разместим всё у себя

Адрес вашего сайта будет вида mywebclass.ru/company, где company — название вашей организации (можете выбрать любое название).

👨‍🔧 Отсутствие установки и настройки

Вам не нужно ничего устанавливать и настраивать — мы это сделаем сами.

📥 Обновления

Мы сами обновим платформу для реализации новых функций.

📦 Сохранность данных

Мы постоянно создаём резервные копии всех ваших данных.

 

Перейти в Мой SunRav WEB Class

SunRav WEB Class 4.3

SunRav WEB Class обновился до версии 4.3.

Что нового

  • В результатах по темам теперь хранится ID темы теста и набранные по теме баллы.
  • Запрет перевода браузером текста вопросов/ответов.
  • В групповом отчёте учитываются дополнительные группы пользователей.
  • Импорт пользователей: возможность задать язык и визуальную тему импортируемых пользователей.
  • Создание пользователей и регистрация: по умолчанию устанавливается тема и язык из настроек конфигурации.
  • Переработана страница показа результатов тестирования. Показываются баллы по темам.
  • Переработан шаблон показа форм: кнопка подтверждения стала больше, кнопка справки стала меньше, изменила внешний вид и перенесена в левый угол.
  • Переработана страница показа вопроса: кнопка ответа на вопрос стала крупнее и перенесена в центр, выровнены по вертикали варианты ответа в некоторых темах, установлен верхний отступ для подсказок вопроса в некоторых темах.
  • Тема superhero: установлен светлый фон в стилях для более читаемого текста вопроса и ответов.
  • Книги в списке книг для просмотра внутри курса были отсортированы по ID — сейчас по алфавиту.
  • В импорте пользователей группы были отсортированы в обратном порядке.
  • Упорядочение по алфавиту разных списков при редактировании.
  • При перемешивании элементов списка выбирается пустой элемент (если он есть).
  • Ускорена процедура показа описания теста.
  • Экранируется ответ на открытый вопрос.
  • Переименована кнопка начала тестирования: «Начать тестирование».
  • Некоторые тесты могли не обновляться.
  • Не работала установка параметра «Уведомлять по эл. почте об окончании тестирования».
  • Убрано предупреждение при первом показе модуля проверки злоупотреблений.

tMaker

  • Проверка орфографии в комментарии к вопросу.
  • Улучшена работа с линейками: отступы с помощью линейки можно регулировать теперь и в комментарии к вопросу, линейки теперь масштабируются, добавлена локализация линейки.
  • Новый параметр программы: показывать всплывающие подсказки.
  • Если включён показ всплывающих подсказок, то можно включить показ подробных подсказок в статусной строке или как в Word.
  • В настройках программы можно задать стиль (CSS) спойлера для отображения в браузере.
  • При щелчке по заголовку или кнопке сворачивания спойлера он выделяется в редакторе.
  • Оптимизация запуска программы.
  • Оптимизация открытия теста.
  • Оптимизация показа вопроса.
  • Автоматически выставляется корректная ширина колонок в таблицах проверки теста.
  • При использовании спойлера сбивалось форматирование текста.

SunRav BookEditor

  • Импорт документов Word (.docx).
  • Скрытие/показ верхнего/нижнего колонтитула книги.
  • Новый параметр программы «Показывать закладки».
  • Если включён показ всплывающих подсказок, то можно включить показ подробных подсказок в статусной строке или как в Word.
  • Сброс настроек программы в начальное состояние.
  • В настройках программы можно задать стиль (CSS) спойлера для отображения в браузере.
  • При щелчке по заголовку или кнопке сворачивания спойлера он выделяется в редакторе.
  • Изменён начальный экран: шаблоны книг теперь находятся рядом со списком недавних книг, убрана вкладка обращения в поддержку (доступно в меню Справка).
  • После вставки содержания страница прокручивается к концу главы.
  • Улучшена работа с линейками. Теперь их можно скрывать/показывать. Линейки масштабируются. Для верхнего/нижнего колонтитула книги используются свои вертикальные линейки. Локализация подсказок к линейкам.
  • Редактирование верхнего или нижнего колонтитула книги не воспринималось как изменение книги и, соответственно, не показывался запрос на сохранение книги при закрытии программы.
  • В некоторых случаях при выполнении команды «Сохранить как…» нарушались ссылки на главы внутри книги.
  • Были перепутаны местами иконки верхнего и нижнего индекса текста.

Загрузить SunRav WEB Class

Вебинар «Средства разработки интерактивных материалов по иностранным языкам»

Приглашаем на вебинар «Средства разработки интерактивных материалов по иностранным языкам», посвященный программе SunRav WEB Class. Вебинар пройдёт 5 мая в 19.00 мск.

Вебинар будет полезен как преподавателям, методистам, специалистам по организации обучения, так и тем, кто занимается аттестацией и переаттестацией сотрудников.

Посетив данный вебинар, его участники получат информацию о том, какие есть решения по обучению и/или контролю знаний учащихся, студентов, сотрудников.

Вебинар предназначен для всех занимающихся разработкой разнообразных интерактивных компьютеризированных материалов по иностранным языкам — преподавателям, методистам, специалистам по организации обучения.

Будут продемонстрированы инструменты для создания материалов разных типов: учебника, обучающих и контрольных упражнений, а также пример полностью разработанного учебного курса по языку иврит.

Записаться на вебинар.

WEB Class

SunRav WEB Class 4.2

SunRav WEB Class обновился до версии 4.2.

Что нового

  • Возможность записи голоса с микрофона в качестве ответа на вопрос/комментария к ответу.
  • Архивация/восстановление результатов тестирования. Со временем, количество результатов может значительно вырасти, что может привести к замедлению работы программы. Архивация позволяет перенести результаты тестирования из основных таблиц базы данных во вспомогательные, что приведет к ускорению работы. При необходимости, эти данные всегда можно будет вернуть.
  • Новые права: «Ограниченные тесты» и «Ограниченные книги». Отличаются от обычных только тем, что пользователь может видеть/редактировать только те книги/тесты, автором которых он является. Не относится к просмотру тестов/книг.
  • Право «Ограниченные отчеты» позволяет создавать отчеты только для групп, в которых находится сам пользователь, создающий отчет.
  • Работа с языками интерфейса. Теперь языки можно дублировать, экспортировать в файл и импортировать из файла.
  • Язык импортируемых пользователей устанавливается такой же, как у и того, кто производит импорт.
  • Новый отчет по просмотренным пользователями книгам «Групповые отчеты по просмотрам книг».
  • Новый отчет «Лучшие результаты» наглядно показывает успеваемость по выбранным тестам.
  • Новый параметр «Показать лучший результат» в групповых отчетах позволяет включить в отчет только лучший результат тестирования.
  • Теперь при включенном перемешивании вариантов ответа перемешивается и порядок в полях-списках, вставляемых непосредственно в текст вопроса.
  • При обращении в поддержку теперь можно прикрепить файл.
  • Возможность отправить сообщение на электронную почту пользователя при отправке сообщения внутри SunRav WEB Class.
  • Контроль прочтения сообщений, отправленных внутри SunRav WEB Class.
  • Проверка возможных злоупотреблений по IP: анализа уже собранной статистики за заданный период на предмет выявления параллельного выполнение двух тестов одновременно одним пользователем с разными IP, ориентируясь на время начала и время завершения выполнения каждого теста.
  • Если «Стиль выбора теста» в Настройках тестирования установлен в «Все тесты в одном списке», то показ тестов для тестирования производится списком с указанием доступности теста.
  • Возможность указать в пояснении полученные за вопрос баллы. Для этого в комментарии используется макрос %SCORE%, который заменяется на полученный балл.
  • Не работало упорядочение в Управлении пользователями.
  • После показа отчета по просмотренным книгам некорректно показывались собственные просмотренные книги.
  • После удаления теста он не удалялся из разделов.

tMaker

  • Выгрузка XML файлов тестов прямо из программы tMaker на сервер. Один раз нужно настроить параметры FTP доступа.
  • Вставка прямой ссылки на медиа файл. Это помогает избежать дублирования одинаковых файлов в разных книгах/тестах, экономит место на диске и позволяет, при необходимости, легко изменить его сразу для всех книг/тестов.
  • + Новые проверки теста: корректность позиций в упорядоченном списке и в соответствии.

SunRav BookEditor

  • Выгрузка XML файлов книг прямо из программы BookEditor на сервер. Один раз нужно настроить параметры FTP доступа.
  • Вставка прямой ссылки на медиа файл. Это помогает избежать дублирования одинаковых файлов в разных книгах/тестах, экономит место на диске и позволяет, при необходимости, легко изменить его сразу для всех книг/тестов.
  • В некоторых случая неверно формировалось содержание книги в XML файле.
WEB Class

SunRav WEB Class 4.1

SunRav WEB Class обновился до версии 4.1.

Что нового

  • Множественная принадлежность пользователя группам. Теперь один пользователь может находиться в разных группах. Это позволяет гибко настраивать доступ тестов и книг для пользователей.
  • Показ статистики по просмотру книг пользователями. По умолчанию эта возможность выключена так как размер базы данных может существенно вырасти. Включить её можно в настройках SunRav WEB Class.
  • Добавлена возможность помещать книги в «Избранное» и получить к ним быстрый доступ.
  • Рассылка сообщений по группам пользователей. При входе в систему пользователь получит уведомление о новом сообщении и сможет его прочитать.
  • Показ предыдущего вопроса и ответа пользователя в сообщении о правильности ответа.
  • Выделение красной рамкой полей с неправильным ответом в логе тестирования.
  • Показ ссылки на просмотр результата тестирования по окончании тестирования (если это разрешено в свойствах теста).
  • Показ пояснений к вопросу в логе тестирования.
  • Возможность временного ограничения доступа группы к курсу/разделу. Позволяет заранее планировать доступность разделов тестов и курсов для групп пользователей.
  • Объединение пользователей.
  • Удаление администратором «пустых» результатов тестирования — завершенных тестов с нулевым временем выполнения — при условии, что не установлено ограничение на количество тестирований.
  • Удаление администратором ответов пользователей при сохранении общего результата тестирования. Позволяет уменьшить объём базы данных, сохранив итоговые результаты тестирования.
  • Завершение администратором незаконченных тестов других пользователей.
  • Использование языковых констант из переводов для создания мультиязычных тестов и книг. Позволяет показывать текст в зависимости от выбранного языка пользователя.
  • Задание языка при регистрации пользователя.
  • Новые визуальные темы. Основанные на теме twibootstrap: cosmo, flatly, paper, sandstone, superhero(тёмная), yeti. Специально созданная тема sunrav.
  • Улучшено позиционирование при переходе на закладку в главе.
  • В лог результата тестирования добавлен идентификатор результата (ID).
  • При регистрации пользователя поле e-mail теперь обязательное.
  • Проверка на существование книги/теста по GUID и MediaID при добавлении.
  • Новые колонки в списке книг: GUID и MediaID.
  • Улучшен вид всплывающих подсказок в книгах.
  • Если книга не найдена, то будет показано сообщение об этом.
  • В список выбора количества записей на странице добавлено значение 250.

tMaker

  • Вставка кода для встраивания Youtube ролика.
  • Новые визуальные стили Windows 11.

SunRav BookEditor

  • Вставка кода для встраивания Youtube ролика.
  • Новые визуальные стили Windows 11.
  • Вставка спойлера добавлена в меню и на инструментальную панель.
  • В некоторых случаях неверно формировалось название главы книги при экспорте в XML. Исправлено.
WEB Class

SunRav WEB Class 4.0.11

SunRav WEB Class обновился до версии 4.0.11.

Что нового

При регистрации и добавлении пользователя можно выбрать язык и визуальную тему.

tMaker

  • Теперь можно точно задать размер видео в пикселях.
  • Теперь имя видео показывается в заголовке окна воспроизведения.
  • Исправлена ошибка импорта тестов.
  • При нажатии на иконку неотображаемых символов она не фиксировалась.
  • При перемещении элемента упорядоченного списка, его позиция тоже менялась.

SunRav BookEditor

  • Удаление главы нажатием клавиши Del.
  • Теперь можно точно задать размер видео в пикселях.
  • Теперь имя видео показывается в заголовке окна воспроизведения.
  • Неверно экспортировались некоторые изображения формата EMF/WMF (например, импортированные из Word).
  • Иногда при повторном открытии книги глава могла оказаться не на своем месте.

При обновлении с 4.0 на 4.0.11 обновление БД не требуется.

Архив для разворачивания на ВЕБ сервере (входит в состав дистрибутива для Windows).

Загрузить ZIP архив

WEB Class

SunRav WEB Class 4

Компания SunRav Software, c 1999 года разрабатывающая программное обеспечение для образования и бизнеса, выпустила 4-ю версию программы SunRav WEB Class для организации дистанционного обучения и тестирования. С помощью SunRav WEB Class можно создавать онлайн библиотеки с электронными книгами и учебниками, проводить тестирование учащихся и студентов, аттестацию персонала. Continue reading →