Рефераты. Организация проведения экспертных оценок






Непосредственная оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. На рис. 2.6 в качестве примера приведено такое представление для пяти объектов на отрезок числовой оси [0,1].

Поскольку за начало отсчета выбрана нулевая точка, то в данном примере измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов, рис.1.



Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов. Эти условия на практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы.


Рис.1. Пример сравнения пяти объектов по шкале


Эксперт, приписывая объекту балл, тем самым измеряет его с точностью до определенного отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.

Метод Черчмена Акоффа (последовательное сравнение). Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем:

- каждой альтернативеставится в соответствие действительное неотрицательное число

- если альтернатива ai предпочтительнее альтернативы а,, тоесли же альтернативы а{ и а. равноценны, то

- если оценки альтернатив а{ и а, то соответствует совместному осуществлению альтернатив ai и а-. Наиболее сильным является последнее предположение об аддитивности оценок альтернатив.

Согласно методу Черчмена-Акоффа альтернативы а,, а2, ... , аn ранжируются по предпочтительности. Пусть для удобства изложения альтернатива а, наиболее предпочтительна, за ней следует а2 и т.д. Эксперт указывает предварительные численные оценки ф (а) для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы а, и суммы альтернатив а2, ... , aN. Если ах предпочтительнее, то эксперт корректирует оценки так, чтобы



В противном случае должно выполняться неравенство



Если альтернатива а, оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив а2,аъ,..., aN_} и т.д. После того как альтернатива а, оказывается предпочтительнее суммы альтернатив  она исключается из рассмотрения, а вместо оценки альтернативы ах рассматривается и корректируется оценка альтернативы а2. Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это по-( зволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

Метод Черчмена-Акоффа является одним самых эффективных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтительная альтернатива ап. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем ап. Для корректировки численных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена-Акоффа, так и попарное сравнение предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их предпочтительности, производится корректировка.

Метод фон Неймана-Моргенштерна. Он заключается в получении численных оценок альтернатив с помощью так называемых вероятностных смесей. В основе метода лежит предположение, согласно которому эксперт для любой альтернативы «,, менее предпочтительной, чем а{, но более предпочтительной, чем с/, может указать числотакое, что альтернатива а. эквивалентна смешанной альтернативе (вероятностной смеси)Смешанная альтернатива состоит в том, что альтернатива а; выбирается с вероятностью Р, а альтернатива а/- с вероятностью /Р. Очевидно, что если Р достаточно близко к 1, то альтернативаменее предпочтительна, чем смешанная альтернативаВ литературе помимо упомянутого выше предположения рассматривается система предположений (аксиом) о свойствах смешанных и несмешанных альтернатив. К числу таких предположений относятся предположение о связности и транзитивности отношения предпочтительности альтернатив, предположение о том, что смешанная альтернатива и др.

 предпочтительнее, чемесли

Если указанная система предпочтений выполнена, то для каждой из набора основных альтернатив а1, а2, ..., aN определяются числа х1, x2, … , xN, характеризующие численную оценку смешанных альтернатив.

Численная оценка смешанной альтернативы  равна

Смешанная альтернативапредпочтительнее смешанной альтернативыесли



Таким образом, устанавливается существование функции полезности



значение которой характеризует степень предпочтительности любой смешанной альтернативы, в частности и несмешанной. Более предпочтительна та смешанная альтернатива, для которой значение функции полезности больше.

Рассмотренные выше методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность делаемых выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким метод последовательного сравнения (Черчмена Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.

2. Экспертные оценки

2.1 Методы типа «Дельфи»


Название методов экспертной оценки типа Дельфи связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям находился Дельфийский оракул.

В отличие от традиционных методов экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура «мозговой атаки», которая должна помочь снизить влияние психологических факторов и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев за счет использования обратной связи, ознакомления экспертов с результатами предшествующего тура опроса и учета этих результатов при оценке значимости мнений экспертов.

Процедура Дельфи-метода заключается в следующем:

1) организуется последовательность циклов «мозговой атаки»;

2) разрабатывается программа последовательных индивидуальных опросов с помощью вопросников, исключающая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;

3) в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Первое практическое применение метода Дельфи к решению некоторых задач министерства обороны США, осуществленное RAND Corporation во второй половине 40-х гг., показало его эффективность и целесообразность распространения на широкий класс задач, связанный с оценкой будущих событий.

Недостатки метода Дельфи:

- значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок;

- необходимость неоднократного пересмотра экспертом своих ответов, вызывающая у него отрицательную реакцию, что сказывается на результатах экспертизы.

В 60-е гг. область практического применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспертные оценки. Среди них особого внимания заслуживают методы QUEST, SEER, PATTERN.

Метод QUEST (Qualitative Utility Estimates for Science and Technology - количественные оценки полезности науки и техники) был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого метода экспертной оценки) различных отраслей и научных направлений в решение какого-либо круга задач.

Метод SEER (System for Event Evaluation and Review система оценок и обзора событий) предусматривает всего два тура оценки. В каждом туре привлекается различный состав экспертов. Эксперты первого тура - специалисты промышленности, эксперты второго тура - наиболее квалифицированные специалисты из органов, принимающих решения, и специалисты в области естественных и технических наук. Эксперт каждого тура не возвращается к рассмотрению своих ответов за исключением тех случаев, когда его ответ выпадает из некоторого интервала, в котором находится большинство оценок (например, интервала, в котором находится 90 % всех оценок).



Заключение


Группа методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова expert - «опытный».

Рассмотренные выше методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность делаемых выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким метод последовательного сравнения (Черчмена Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов.

В отличие от традиционных методов экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений.


экспертный оценка ранжирование дельфи


Список литературы


1.Анфилатов А.А., Емельянов А.А. Кукушкин А.А. Системный анализ в управлении. Учебное пособие. М.: ФиС, 2007. – 113-127

2.Новосельцев В.И., Тарасов Б.В., Голиков В.К., и др. Теоретические основы системного анализа. М.:Майор, 2006. – 33 -44 с.

Размещено на


Страницы: 1, 2, 3



2012 © Все права защищены
При использовании материалов активная ссылка на источник обязательна.