În prima etapă a metodei de analiză a ierarhiei, sunt construite matrice de comparații perechi ale opiniilor experților (DM) despre toate alternativele pentru toate criteriile.

Definiție

Matrice de comparație în perechi elemente de ierarhie x p X. 2 ,..., x n se numește matrice pătrată de dimensiune P X P,în celulele cărora se află prioritățile, i.e. indicatori de greutate care caracterizează cantitativ ponderile elementelor x, x 2 ,..., xn în raport cu un element de un nivel superior al ierarhiei.

De regulă, sunt luate în considerare două tipuri de matrice de comparație pe perechi, corespunzătoare la două niveluri de ierarhie (vezi Fig. 7.1.1):

• matrice de comparații pereche ale alternativelor în raport cu criteriile parțiale;
• matrice de comparaţii pereche ale unor criterii particulare privind realizarea scopului principal al decidentului.

Completarea matricelor pătrate de comparații perechi se efectuează conform următoarei reguli. Dacă elementul x domină elementul x 2 , atunci celula matricei corespunzătoare rândului x și coloanei x 2 se umple cu numărul întreg " 12 , iar celula corespunzătoare rândului x 2 și coloana x se umple cu numărul său invers A. P= 1/a |2 . Dacă elementul x 2 domină x, atunci numărul întreg A. P este plasată în celula corespunzătoare rândului x 2 și coloanei x, iar fracția 1/a 21 este plasată în celula corespunzătoare rândului x și coloanei x 2. Dacă elementele x și x 2 sunt în mod egal preferate, atunci ambele poziții ale matricei sunt setate la unul. Restul matricei este umplut în același mod. Elementele diagonale, desigur, sunt egale cu unul (elementul x k la fel de preferat cu sine).

Pentru a obține fiecare matrice, expertul scoate n(n 2- 1)/2 hotărâri (aici P- ordinea matricei de comparaţii perechi; p 1 este numărul total de elemente din matrice; (p 2 - p) - numărul de elemente din matrice, cu excepția P diagonală; (p 2 - p) / 2 - numărul de elemente din matricea triunghiulară superioară, i.e. deasupra diagonalei).

Procesul de construire a unei matrice de comparații pereche este simplu, intuitiv și în concordanță cu caracteristicile psihologice ale unei persoane. Compararea alternativelor în perechi este întotdeauna mai ușoară decât clasarea sau notarea, deoarece nu este nevoie să comparați setul complet de alternative în același timp.

Notă!

Compararea obiectelor în perechi este inerentă naturii umane însăși. Nu este nevoie să păstrați toate elementele la vedere în orice moment x v x 2 ,..., xtl sau măcar un grup dintre ele permite expertului să se concentreze asupra unei probleme specifice: cât de mult element.r, este superior x 2 sau cedează în fața lui. Ca urmare, ar trebui să se aștepte rezultate mai precise din partea MAI.

Notă!

Scalele numerice convenționale nu sunt întotdeauna convenabile pentru compararea elementelor exprimate în diferite dimensiuni și concepte. Este deosebit de dificil de comparat elemente ai căror indicatori, pe de o parte, sunt valori cantitative, iar pe de altă parte, calitativi. Astfel, scara Harrington cel mai frecvent utilizată „acceptă la intrare” doar caracteristici cantitative relative distribuite în intervalul de la 0 la 1. Scale verbal-numerice, una dintre variante ale cărora este scara Saaty în 10 puncte, sunt concepute pentru a evalua indicatori atât de diferiți ca natură.

Atunci când se fac comparații în pereche, trebuie să se răspundă la următoarele întrebări: care dintre cele două elemente comparate este mai importantă sau are un impact mai mare, care este mai probabil și care este de preferat? Când se compară criteriile, de obicei se întreabă care dintre criterii este mai important; la compararea alternativelor în raport cu criteriul – care dintre alternative este mai preferabilă sau mai probabilă.

Notă!

Fiecare element aik matricea de comparație perechi arată de câte ori un element X, mai important (sau de preferat, mai probabil) decât un element x k relativ la un anumit criteriu (sau scop) situat la un nivel superior al ierarhiei.

Cu alte cuvinte, matricea de comparații pereche vă permite să exprimați superioritatea relativă a unui obiect față de altul în termenii unei caracteristici comune pentru acestea.

Luați în considerare în termeni generali un exemplu de formare a unei matrice de comparații pereche.

Exemplul 7.3.1

Matrice de comparații perechi ale elementelor cu ponderi date

Lasa x v x 2 ,..., x n - set de P elemente (alternative), a v vv 2 ,..., v n -în funcție de greutatea sau intensitatea lor. Să comparăm în perechi greutatea, sau intensitatea, i>. fiecare element x i cu greutate sau intensitate, v k orice alt element x k seturi cu privire la proprietatea sau criteriul lor comun. Cel mai simplu mod de a face o astfel de comparație este să faci raportul dintre greutăți vjv k .În acest caz, matricea de comparație pe perechi DAR va lua următoarea formă (Tabelul 7.3.1).

Tabelul 73.1

Notă!

O matrice completată în acest fel are următoarele două proprietăți:

Simetrie inversă: aik = -;

Omogenitatea, adică consistența logică a tuturor estimărilor între ele: a jk =

A este * un domn_

Desigur, în majoritatea situațiilor reale, greutatea v v v 2 , ..., v n nu sunt cunoscute în prealabil, astfel încât matricea este completată de un expert nu conform formulei vjv k ,și în conformitate cu evaluările experților, i.e. nu trebuie să aibă ambele proprietăți. Cu toate acestea, aceste proprietăți sunt încă de dorit, deoarece arată reguli logice naturale care reflectă relațiile dintre elemente.

Notă!

La completarea matricei de comparații pereche, de regulă, experților li se recomandă să respecte cu strictețe proprietatea simetriei inverse, adică prin introducerea unui număr într-o celulă a matricei. aki, intra imediat într-o simetrică în raport cu

numărul de celule diagonale aik = A doua proprietate a omogenității A. k = a este A, la fel-

în același timp, perturbarea este minimă.

A cere unui expert să respecte cu strictețe proprietatea omogenității ar însemna să-i impună, pe lângă sarcina principală a evaluării expertului, și responsabilități suplimentare pentru acordul reciproc al tuturor estimărilor.

În acest caz, expertul ar trebui să țină cont de toți factorii în același timp, întrucât, atribuind o anumită valoare numerică unui anumit indicator de greutate, trebuie să-l compare simultan cu toți ceilalți. Complexitatea aici crește exponențial pe măsură ce crește numărul de alternative. Acest lucru ar minimiza unul dintre principalele avantaje ale AHP - ușurința de a obține evaluări de la egal la egal.

Un alt avantaj important al AHP este posibilitatea de a completa matricea originală. În practica cercetării sistemelor, deseori apar situații când se modifică numărul de alternative sau criterii. Acest lucru se întâmplă atât ca urmare a impactului proceselor naturale, cât și ca urmare a schimbărilor în condițiile socio-economice.

Notă!

La aplicarea AHP, schimbarea alternativelor sau criteriilor conduce doar la necesitatea de a compara perechile nou apărute sau de a șterge rândurile și coloanele de matrice de comparație perechi corespunzătoare elementelor retrase din considerare, de exemplu. la formarea unei matrice minore. Rezultatele evaluărilor anterioare ale experților sunt salvate și nu este necesară o actualizare completă a chestionarului, așa cum este cazul altor metode.

Procedura ulterioară a AHP, în esență, se reduce la prelucrarea numerică a matricei corespunzătoare, prin urmare, din punct de vedere „tehnic”, includerea variabilelor suplimentare (sau excluderea acestora) reprezintă o schimbare în dimensiunea matrice, adică spaţiul liniar corespunzător. Prin urmare, modificările în algoritmul de calcul ulterior sunt minime.

• Saaty T. Luarea deciziilor în funcție de dependențe și feedback: Rețele analitice: per. din engleza. / științific ed. A. V. Andreichikov, O. N. Andreichikova. M.: LKI, 2008.

Metoda de comparare pereche este una dintre cele mai comune metode de evaluare a preferinței relative a opțiunilor alternative.

La utilizarea acestei metode, expertului i se oferă secvenţial perechi de opţiuni alternative, dintre care trebuie să indice pe cea mai preferată.

Dacă unui expert îi este dificil să facă acest lucru cu privire la orice pereche de obiecte, el are dreptul de a considera alternativele comparate ca echivalente sau incomparabile.

După prezentarea succesivă a tuturor perechilor de opțiuni alternative către expert, preferința lor comparativă este determinată în funcție de estimările acestui expert.

Ca urmare a comparațiilor pereche, dacă expertul s-a dovedit a fi consecvent în preferințele sale, toate alternativele evaluate se pot dovedi a fi clasificate în funcție de unul sau altul criteriu, indicator sau proprietate. Dacă expertul a recunoscut unele opțiuni alternative ca fiind incomparabile, atunci se va obține doar ordonarea parțială a acestora.

În practica utilizării metodei comparațiilor pereche, se întâlnește adesea inconsecvență și chiar inconsecvență în evaluările experților. În aceste cazuri, este necesar să se efectueze o analiză specială a rezultatelor examinării.

De asemenea, observăm că, având în vedere un număr suficient de mare de opțiuni alternative evaluate, procedura de comparare în perechi a tuturor perechilor lor posibile devine consumatoare de timp pentru un expert. În acest caz, este recomandabil să folosiți modificările corespunzătoare ale metodei comparațiilor pereche.

De exemplu, dacă presupunem consistența evaluărilor experților, atunci este practic suficient să prezentăm fiecare alternativă o dată în pereche cu oricare alta.

3. Clasificarea opțiunilor alternative.

O procedură destul de comună este și ierarhizarea directă de către expert în funcție de preferința alternativelor evaluate. În această metodă, expertului i se prezintă opțiuni alternative selectate pentru evaluare comparativă, dar de preferință nu mai mult de 20 ÷ 30, pentru ordonarea lor după preferință. Dacă există mai multe opțiuni alternative, atunci este recomandabil să folosiți modificările corespunzătoare ale metodei de clasare.

De exemplu, în acest caz, ierarhizarea opțiunilor alternative poate fi precedată de împărțirea lor în clase ordonate după preferință folosind metoda clasificării experților.

Clasificarea obiectelor comparate poate fi efectuată de un expert în diferite moduri. Vă prezentăm două dintre ele.

În conformitate cu prima, expertului i se prezintă întregul set de opțiuni alternative și el indică pe cea mai preferată dintre ele. Apoi expertul indică alternativa cea mai preferată dintre cele rămase și așa mai departe, până când toate alternativele evaluate sunt clasate de el.

În a doua metodă, expertului i se prezintă inițial două opțiuni alternative sau mai multe, pe care i se cere să le sorteze după preferință. Dacă expertului i se oferă inițial mai multe opțiuni alternative pentru a comanda în funcție de preferințe, atunci în această etapă poate folosi metoda de primă clasare.

După clasarea inițială, expertului i se oferă în mod constant opțiuni alternative noi, neevaluate încă de el. Expertul trebuie să stabilească locul alternativei nou prezentate printre cele deja clasate.

Procedura se încheie după prezentarea și evaluarea ultimei alternative.

Plan:

1. Descrierea metodei comparațiilor perechi.

2. Avantajele și dezavantajele metodei comparațiilor pereche.

1. Descrierea metodei comparațiilor perechi

Metoda de comparare pereche- unul dintre instrumentele de evaluare și alegere a deciziilor, este utilizat pe scară largă în evaluările experților atunci când este necesară prioritizarea în procesul oricărei activități sau ierarhizarea diferitelor obiecte.

Ideea metodei este că fiecare două obiecte sunt comparate în perechi și superioritatea unuia dintre ele este determinată, de aceea numele este „comparație în perechi (sau pereche). Se crede că la rezolvarea unei probleme este mult mai ușor să faci o comparație calitativă a două obiecte, pe baza părerii experților, decât să stabilești criterii cantitative. Strict vorbind, metoda PS este o metodă de obținere a datelor inițiale, o metodă a unui fel de anchetă a respondenților. Pe baza datelor obținute se pot rezolva diverse probleme, care nu includ neapărat construcția unei scale de evaluare. Să presupunem că ne interesează modul în care respondenții populației studiate evaluează orice obiect - profesii, lideri politici, programe radio, anumite tipuri de bunuri etc. Să desemnăm aceste obiecte prin а1, а2, ..., an (n este numărul de obiecte evaluate).

Tabelul 1. Un exemplu de utilizare a metodei PS

Metoda luată în considerare face posibilă obținerea unui răspuns la această întrebare într-o formă destul de particulară. Fiecărui respondent i se oferă toate perechile posibile formate din obiectele luate în considerare. Pentru fiecare pereche, el trebuie să spună ce obiect din această pereche îi place cel mai mult. Sa zicem, in cazul considerarii unor profesii drept obiecte ale noastre - de exemplu, un strungar, un brutar, un medic etc. - intrebam pe fiecare respondent ce meserie ii place cel mai mult: strungar sau brutar (fixati raspunsul), strungar sau medic (fixati raspunsul), brutar sau medic (fixati raspunsul) etc. pentru toate perechile posibile de obiecte luate în considerare.

2. Avantajele și dezavantajele metodei comparațiilor pereche

Principalele avantaje ale metodei sunt următoarele:

Este permisă măsurarea importanței în schimbare inegală a indicatorilor, care este atât de necesar pentru rezolvarea majorității problemelor economice practice;

Expertul în procesul de analiză nu se concentrează pe toți indicatorii deodată, ci doar pe doi, comparați la fiecare moment dat, ceea ce facilitează munca și, prin urmare, îi îmbunătățește calitatea;

Puteți obține un număr mare de comparații ale fiecărui indicator cu alții, ceea ce crește acuratețea evaluării și deschide posibilitatea studierii calității unui număr mai mare de aspecte ale obiectului de studiu decât utilizarea altor metode;

Este posibil să se obțină nu numai evaluarea medie a indicatorului dat de fiecare expert, ci și varianța acestei evaluări, ceea ce face posibilă efectuarea unei analize economice și matematice mai profunde în viitor.

Metoda de comparare pereche este cea mai simplă dintre testele de clasificare existente, deoarece presupune compararea doar a două mostre de produs.

Avantajul comparațiilor în perechi față de clasamente este că este mai ușor să faci o judecată, deoarece supervizorul trebuie să compare doar două persoane odată. Al doilea avantaj este că oferă o oportunitate de a pune oameni cu aceleași abilități la același nivel.

Metoda comparațiilor pereche face posibilă efectuarea unei analize riguroase, fundamentate statistic, a consistenței opiniilor experților, pentru a identifica dacă estimările obținute sunt aleatorii sau nu. Fără îndoială, procedura metodei comparațiilor perechi este mai complicată decât metoda ierarhizării simple, dar mai simplă decât metoda comparațiilor secvențiale.

Această metodă este foarte simplă și vă permite să explorați un număr mai mare de obiecte (comparativ, de exemplu, cu metoda rank) și cu o mai mare acuratețe.

Principalele dezavantaje metodele sunt după cum urmează:

- în necesitatea de a efectua un număr mare de comparații în perechi dacă trebuie să evaluați grupuri mari. Un supervizor cu 60 de angajați va trebui să efectueze 1770 de comparații! Dacă comparația este efectuată pe cinci parametri separați, atunci numărul de comparații pereche va crește de cinci ori. De obicei, metoda comparației perechi este utilizată în două cazuri: fie la evaluarea unor grupuri mici, fie la evaluarea unui singur parametru - performanța generală a activităților de producție.

Un dezavantaj al comparațiilor perechi ca metodă experimentală este că compararea n stimuli necesită efectuarea de (n - 1) x (n/2) judecăți. De exemplu, pentru 10 stimuli, sunt necesare 45 de judecăți, iar dacă am dori să scalam un set de 50 de stimuli, am avea nevoie de 1225 de judecăți.

Principalul dezavantaj al metodei de comparare pereche este că nu există dezvoltări software gata făcute.

Pentru a utiliza această metodă, va trebui să instruiți angajații competenți ai companiei să dezvolte un program special sau să îl comandați de la un dezvoltator terță parte. De asemenea, deși nu există soluții dovedite de evaluare a afacerilor bazate exclusiv pe comparații în perechi, este mai mult un produs semifabricat matematic care servește la crearea instrumentelor de scalare. În plus, procedura de testare în sine pare destul de monotonă, ceea ce afectează obiectivitatea rezultatelor cercetării. Iar calitatea rezultatelor depinde direct de numărul de evaluări și de indicatori evaluați, precum și de selecția corectă a perechilor și de interpretarea lor fără ambiguitate.

De regulă, se consideră că metoda comparațiilor în perechi este mai bună decât clasarea directă. Acest punct de vedere nu este în întregime corect și iată de ce.

Alegerea metodei este întotdeauna determinată de situația cercetării, de obiectivele studiului. Desigur, dacă este posibil să se formuleze fără ambiguitate baza ierarhiei, atunci metoda comparațiilor pereche oferă un rezultat excelent și ar trebui aleasă această metodă. Dar există situații în care este imposibil și nu foarte necesar să existe o bază clară înțeleasă pentru clasare.

Dezavantajul metodei este creșterea complexității procedurii cu creșterea numărului de obiecte: deja cu 12-15 obiecte, procedura devine laborioasă. În plus, perechi diferite de obiecte sunt uneori comparate de respondenți în funcție de criterii diferite, ceea ce duce la preferințe netranzitive. Metoda este utilizată pe scară largă în evaluările experților.

Întrebări pentru autocontrol

Definiți metoda comparațiilor în perechi.

Care este ideea din spatele metodei?

Descrieți procesul de comparație?

Enumerați avantajele metodei de comparare în perechi.

Enumerați dezavantajele metodei de comparare în perechi.

Dificultățile utilizării ierarhizării, evaluării directe și a metodei comparațiilor secvențiale în identificarea preferințelor pentru un număr mare de factori pot fi reduse într-o anumită măsură dacă experții sunt rugați să facă compararea factorilor în perechi, pentru a seta în fiecare pereche pe cea mai importantă. În cazul general, un expert poate stabili egalitatea obiectelor sau poate indica preferințele sale la o anumită scară.

Comparația în perechi este convenabilă nu numai atunci când numărul de factori este mare, ci și când diferențe dintre obiecte atât de mulți factori diferiți putini, că clasarea directă nu oferă o ordonare rezonabilă.

Astfel, metoda comparațiilor perechi are un oarecare avantaj față de alte metode de ordonare în cazurile în care sunt mulți factori sau sunt greu de distins.

Există două abordări principale pentru determinarea preferințelor folosind această metodă.

Primul constă în faptul că expertul se limitează la o simplă afirmaţie că un factor este preferabil altuia – fără a indica gradul de preferinţă. Apoi, în matricea comparațiilor în perechi, 0 sau 1 sunt scrise în celule - o astfel de matrice este cunoscută ca „masa de turneu”.

Matricea de comparație pe perechi este întotdeauna invers simetrică față de diagonala principală, deoarece dacă Ai este mai preferabil decât A 3 , adică elementul A 13 = 1, atunci A 3 este mai puțin preferabil decât A1 și A 13 = 0. În de fapt, expertul trebuie să completeze doar jumătate din matrice. Suma scorurilor fiecărui factor poate fi interpretată ca rangul său. Deci in exemplu rangurile factorilor sunt înregistrate în ultima coloană.

În primul rând, fiecare expert completează o astfel de matrice, se determină rangurile individuale și apoi se face media, ținând cont de opiniile tuturor experților (matricea A).

Pe baza acesteia, se construiește o a doua matrice P, care arată procentul cazurilor în care factorul i s-a dovedit a fi mai semnificativ decât factorul j, în numărul total de estimări primite.

De exemplu, dacă 10 experți au dat evaluări, atunci tabelul P bazat pe evaluările lor ar putea arăta astfel.

Deoarece erau 10 experți, ponderea preferințelor se calculează împărțind numărul din fiecare celulă din tabelul A la numărul de experți. Rezultatul este un tabel R.

Acum putem aplica cea mai simplă tehnică de ierarhizare a factorilor: împărțiți evaluarea relativă totală a fiecărui factor la suma lor, obținând importanța relativă normalizată a fiecărui factor.

a 2-a cale. Este folosit atunci când este important să se determine gradul de preferință pentru un factor față de altul. Această metodă acoperă atât acei factori asupra cărora sunt posibile anumite măsurători, cât și factori intangibili (calitativi) asupra cărora sunt necesare judecăți.

Pentru a efectua comparații subiective perechi, se folosește o scală care s-a dovedit eficientă în multe aplicații, validitatea acesteia a fost teoretic dovedită în comparație cu alte scale (Tabelul 10.7).

Ca și în prima metodă, mai întâi fiecare expert face o comparație pereche a factorilor (proprietăți, consecințe ale deciziei etc.) în funcție de scara propusă.

Ca și în metoda anterioară, acum trebuie să prioritizăm sau să ierarhăm factorii. Acest lucru poate fi obținut în orice mod

normalizarea rangului. De exemplu, se aplică următoarele metode:

- experții discută în comun estimările lor și, ca urmare, adoptă estimări uniforme pentru fiecare factor, dezvoltându-se astfel o matrice de comparații perechi pentru toate;

> experții nu pot să dezvolte un consens, să-și prezinte tabelele de comparații pereche și, pe baza lor, prin unele mijloace de mediere, obțin un singur tabel; poate fi folosită ca metodă de mediere medie geometrică pentru fiecare celulă, medie (aritmetică) ponderată alte.

Cu orice abordare, se obține o matrice generalizată de comparații în perechi ale factorilor.

La pasul următor în procesarea opiniilor experților, este necesar să se evalueze gradul de consistență a opiniilor lor IP - indice de coerență.

Clasamentul ca metodă de cercetare evaluativă este o procedură în care analistul, pe baza cunoștințelor și experienței sale, aranjează obiectele studiate în ordinea preferințelor. El selectează cel mai bun obiect care le depășește pe toate celelalte într-o trăsătură (un set de caracteristici) și îi atribuie un indicator egal cu 1, care caracterizează locul ordinal (rangul) al obiectului evaluat printre alte obiecte. Dintre opțiunile rămase, se selectează din nou cea mai bună și se obține rangul 2 etc. Scala ordinală bazată pe rezultatele clasamentului trebuie să îndeplinească condiția ca numărul de ranguri să fie egal cu numărul de obiecte de clasare.

Clasamentul are ca rezultat o succesiune de preferințe:

A > C > D > D > B - preferințe;

În consecință: 1, 2, 3, 4, 5 - rang.

unde > - semn de preferință;

A, B, C, D, D - obiecte de analiză.

Rândurile unui număr nu fac posibilă tragerea unei concluzii despre cât de mult sau de câte ori este de preferat un obiect în comparație cu altul.

Avantajul metodei este simplitatea ei. Dezavantajul este imposibilitatea practică de a comanda un număr mare de obiecte.

Comparație pereche - o metodă care vă permite să setați preferința pentru obiectele de analiză atunci când comparați toate perechile lor posibile. Compararea în perechi a obiectelor poate proveni din faptul că unul dintre obiecte este mai preferabil decât celălalt.

Comparațiile perechi pot fi reprezentate ca o matrice, ca urmare, opțiunile sunt ordonate după suma preferințelor.

Există variante de comparații multiple, care diferă prin aceea că nu perechile de obiecte sunt comparate secvențial, ci triplele, cvadruplele, etc.

Metoda de punctare este o procedură de atribuire a valorilor numerice obiectelor de analiză cu o scară dată. În acest caz, se pot folosi scale continue și discrete. În primul caz, estimările aparțin oricărui punct al unui segment numeric limitat, în al doilea, estimările corespund numerelor întregi. Scalele sunt caracterizate de puncte minime și maxime. Limitele superioare și inferioare ale scalei pot fi fie pozitive, fie negative. Obiectul cu cel mai mare punctaj este considerat cel mai bun.

Metoda evaluării expertului (de grup) a fenomenelor este folosită cel mai adesea în practica evaluării sistemelor complexe. De regulă, această metodă este utilizată pentru a obține valori cantitative atunci când este imposibil să le calculăm.

La implementarea acestei metode, se presupune următoarea secvență de acțiuni:

• - selecția experților;
• - stabilirea baremului de punctaj al aprecierilor;
• - evaluări de către experți pentru toate obiectele de analiză comparate;
• - evaluarea coerenței opiniilor experților;
• - calculul unei evaluări de grup pentru fiecare obiect;
• - utilizarea estimărilor obţinute în scopuri practice (de exemplu, alcătuirea rangurilor obiectelor de analiză).

Trebuie remarcat faptul că evaluările experților prezintă atât caracteristici strict subiective inerente fiecărui expert, cât și caracteristici subiective colectiv inerente unui grup de experți. Primele sunt eliminate în procesul de prelucrare a evaluărilor individuale ale experților, cele din urmă nu dispar, indiferent de metodele de prelucrare utilizate.

Pentru a cuantifica gradul de acord între opiniile experților, se utilizează coeficientul de concordanță (consecvență) W, care vă permite să evaluați cât de consistente sunt opiniile participanților la examen. Valoarea sa este în 0< W < 1, где W=0 означает полную противоположность, a W=1 полное совпадение оценок. Практически достоверность считается хорошей, если W более 0,7.

Valoarea scăzută a coeficientului de concordanță indică un acord slab între opiniile experților.

Există o metodă a unei comisii de experți - un fel de metodă de examinare în grup. Metoda comisiei de experți se bazează pe identificarea unei singure opinii colective de către experți special selectați atunci când se discută problema pusă și alternativele de rezolvare a acesteia ca urmare a unor compromisuri.