Фрагмент статьи "Методы экспертной оценки в управлении персоналом":
Использование коэффициента конкордации, для оценки согласованности мнений экспертов.
Коэффициент конкордации Кендала используется для определения взаимосвязи (согласованности) оценок экспертов.
Значение коэффициента конкордации может находится в диапазоне от 0 до 1. Если W=0, считается, что мнения экспертов не согласованны. Если W=1, то оценки экспертов полностью согласованны.
Очень часто, в литературе, описание коэффициент конкордации Кендала, ограничивается формулами, в которых не учитываются связанные ранги, а критерий ограничивается требованием стремления W к единице, что существенно затрудняет его практическое использование. Тогда как в абсолютном выражении W может оказаться очень малым, но его значение будет статистически значимым для проверки гипотезы о равномерном распределении рангов (согласии ранжировок). Вычисление коэффициента конкордации без введения поправочных коэффициентов и проверки на статистическую значимость, может привести к существенным ошибкам.
Можно выделить 2 ограничения в использовании коэффициент конкордации Кендала:
- невозможность рассчитать согласованность мнений экспертов по каждой переменной в отдельности.
- коэффициент измеряет согласованность мнений в смысле их коррелированности, но не совпадения.
Для примера, рассчитаем коэффициент конкордации и оценим согласованность мнений экспертов относительно необходимости включения в профиль должности торгового представителя отобранных 13 ключевых компетенций, в программах Statistica и SPSS.
Пример (Statistica).
1. Так, нами была сформирована выборка из 4 экспертов, задачей которых являлось оценить по 5 балльной шкале необходимость включения в профиль должности торгового представителя 13 компетенций.
2. Для того, чтобы рассчитать коэффициент конкордации нам необходимо в программе Statistica создать новый лист и построить таблицу где в качестве переменных (Variables) будут выступать оцениваемые компетенции, а в качестве случаев (Case) эксперты.
3. Запускаем модуль «Непараметрическая статистика и распределения» и выбираем опцию «Anova Фридмана и конкордация Кендалла.
4. В окне переменны выбираем все 13 компетенций. Нажимаем на кнопку «Summary».
4. В результате вы получите следующую таблицу результатов:
Коэффициент конкордации равен 0,26376. Много это или мало? Из этой таблицы следует, что различия во мнениях экспертов в данном примере значимы p=0.39418.
Пример (SPSS).
1. Формируем точно такую же таблицу как и в описанном выше примере, где в качестве переменных (Variables) будут выступать оцениваемые компетенции, а в качестве случаев (Case) эксперты
2. В меню «Analyze» выбираем опцию «K Related Samples»
3. В открывшемся окне выбираем все переменные (компетенции) и переносим их в окно «Test Variables», выбираем критерий «Kenadall’s W» и нажимаем на кнопку ОК.
4. В результате вы получите следующую таблицу:
Как мы можем видеть из представленной таблице, значение коэффициента конкордации W = 0.264, а уровень значимости p=0.394.
Данные полученные в программе SPSS, аналогичны данным полученным в программе Statistica.
Таким образом, мы можем сделать вывод о том, что эксперты расходятся во мнениях относительно необходимости включения в профиль должности торгового представителя всех отобранных компетенций.
К сожалению, коэффициент конкордации не позволяет ответить на вопрос, какие из отобранных компетенций оставить, а какие исключить. Для ответа на этот вопрос можно использовать значения коэффициента вариации.
Полностью со статьей "Метод экспертной оценки в управлении персоналом" вы сможете ознакомиться в 1-м выпуске "журнала HR-Portal.ru". В статье рассмотрен перечень требований, которым должны отвечать эксперты, приведен ряд методов оценки достоверности полученных результатов, рассмотрена процедуры присвоения весов, построения рейтингов, а также приведены методы оценки степени согласованности мнений экспертов.
