Nella prima fase del metodo di analisi gerarchica, vengono costruite matrici di confronti accoppiati di opinioni di esperti (DM) su tutte le alternative per tutti i criteri.

Definizione

Matrice di confronto a coppie elementi della gerarchia x p X. 2 ,..., x nè chiamata matrice quadrata di dimensione P X P, nelle celle in cui si trovano le priorità, ad es. indicatori di peso che caratterizzano quantitativamente i pesi degli elementi x, x 2 ,..., xn in relazione a qualche elemento di livello superiore della gerarchia.

Di norma si considerano due tipi di matrici di confronto appaiate, corrispondenti a due livelli di gerarchia (vedi Fig. 7.1.1):

• matrici di confronti a coppie di alternative rispetto a criteri parziali;
• matrici di confronti a coppie di criteri particolari riguardanti il ​​raggiungimento dell'obiettivo principale del decisore.

Il riempimento delle matrici quadrate dei confronti accoppiati viene eseguito secondo la regola seguente. Se l'elemento x domina l'elemento x 2 , la cella della matrice corrispondente alla riga x e alla colonna x 2 viene riempita con l'intero "12" e la cella corrispondente alla riga x 2 e alla colonna x viene riempita con il suo numero inverso un. P= 1/a |2 . Se l'elemento x 2 domina x, allora l'intero un. P viene posto nella cella corrispondente alla riga x 2 e alla colonna x, e la frazione 1/a 21 viene inserita nella cella corrispondente alla riga x e alla colonna x 2. Se gli elementi x e x 2 sono ugualmente preferiti, allora entrambe le posizioni della matrice sono impostate su uno. Il resto della matrice viene riempito allo stesso modo. Gli elementi diagonali, ovviamente, sono uguali a uno (l'elemento xk ugualmente preferito con se stesso).

Per ottenere ciascuna matrice, l'esperto tira fuori n(n 2- 1)/2 sentenze (qui P- l'ordine della matrice dei confronti appaiati; p 1è il numero totale di elementi nella matrice; (p 2 - p) - il numero di elementi nella matrice, eccetto P diagonale; (p 2 - p) / 2 - il numero di elementi nella matrice triangolare superiore, cioè sopra la diagonale).

Il processo di costruzione di una matrice di confronti accoppiati è semplice, intuitivo e ben coerente con le caratteristiche psicologiche di una persona. Confrontare le alternative a coppie è sempre più facile della classifica o del punteggio, poiché non è necessario confrontare l'intero set di alternative contemporaneamente.

Nota!

Il confronto di oggetti in coppia è inerente alla natura umana stessa. Non c'è bisogno di tenere sempre sotto controllo tutti gli elementi xv x 2 ,..., xtl o almeno un gruppo di essi permette all'esperto di concentrarsi su un problema specifico: quanto element.r, è superiore x 2 o cedere a lui. Di conseguenza, ci si dovrebbe aspettare risultati più accurati dal MAI.

Nota!

Le scale numeriche convenzionali non sono sempre convenienti per confrontare elementi espressi in dimensioni e concetti differenti. È particolarmente difficile confrontare elementi i cui indicatori, da un lato, sono valori quantitativi e, dall'altro, qualitativi. Pertanto, la scala di Harrington più comunemente utilizzata "accetta all'input" solo caratteristiche quantitative relative distribuite nell'intervallo da 0 a 1. Le scale verbali-numeriche, una delle cui varianti è la scala Saaty a 10 punti, sono progettate per valutare indicatori di natura così diversa.

Quando si effettuano confronti a coppie, è necessario rispondere alle seguenti domande: quale dei due elementi confrontati è più importante o ha un impatto maggiore, quale è più probabile e quale è preferibile? Quando si confrontano i criteri, di solito ci si chiede quale dei criteri sia più importante; quando si confrontano le alternative in relazione al criterio - quale delle alternative è più preferibile o più probabile.

Nota!

Ogni elemento aik la matrice di confronto a coppie mostra quante volte un elemento X, più importante (o preferibile, più probabile) di un elemento xk rispetto a un criterio (o obiettivo) situato a un livello superiore della gerarchia.

In altre parole, la matrice dei confronti accoppiati consente di esprimere la relativa superiorità di un oggetto rispetto a un altro in termini di caratteristica comune per loro.

Si consideri in termini generali un esempio di formazione di una matrice di confronti a coppie.

Esempio 7.3.1

Matrice di confronti a coppie di elementi con pesi dati

Lascia stare xv x 2 ,..., x n - set di P elementi (alternative), a vvv 2 ,..., v n - secondo il loro peso o intensità. Confrontiamo a coppie il peso, o intensità, i>. ogni elemento x io con peso, o intensità, v k qualsiasi altro elemento xk insiemi rispetto alla loro proprietà o criterio comune. Il modo più semplice per fare un simile confronto è fare il rapporto tra i pesi vjv k . In questo caso, la matrice di confronto a coppie MA assumerà la seguente forma (Tabella 7.3.1).

Tabella 73.1

Nota!

Una matrice riempita in questo modo ha le seguenti due proprietà:

Simmetria inversa: aik = -;

Omogeneità, cioè coerenza logica di tutte le stime tra di loro: un jk =

A è * un signore_

Naturalmente, nella maggior parte delle situazioni reali, il peso v v v 2 , ..., vn non sono noti in anticipo, quindi la matrice viene riempita da un esperto non secondo la formula vjv k , e in base a valutazioni di esperti, vale a dire non è necessario che abbia entrambe queste proprietà. Tuttavia, queste proprietà sono ancora desiderabili perché mostrano regole logiche naturali che riflettono le relazioni tra gli elementi.

Nota!

Quando si compila la matrice dei confronti accoppiati, di norma, si consiglia agli esperti di osservare rigorosamente la proprietà della simmetria inversa, ad es. inserendo un numero in qualche cella della matrice aki, entrare immediatamente in una simmetria rispetto a

numero di cella diagonale aik = La seconda proprietà dell'omogeneità un. k = a è un, stesso-

allo stesso tempo, l'interruzione è minima.

Richiedere a un esperto di osservare rigorosamente la proprietà dell'omogeneità significherebbe imporgli, oltre al compito principale della perizia, responsabilità aggiuntive per il reciproco accordo di tutte le stime.

In questo caso l'esperto dovrebbe tenere in considerazione tutti i fattori contemporaneamente, in quanto, assegnando un determinato valore numerico ad uno specifico indicatore di peso, deve confrontarlo contemporaneamente con tutti gli altri. La complessità qui aumenta esponenzialmente all'aumentare del numero di alternative. Ciò ridurrebbe al minimo uno dei principali vantaggi dell'AHP: la facilità di ottenere revisioni tra pari accoppiate.

Un altro importante vantaggio dell'AHP è la possibilità di integrare la matrice originale. Nella pratica della ricerca sui sistemi, spesso si verificano situazioni in cui il numero di alternative o criteri cambia. Ciò accade sia come risultato dell'impatto dei processi naturali, sia come risultato dei cambiamenti nelle condizioni socio-economiche.

Nota!

Quando si applica l'AHP, la modifica delle alternative o dei criteri porta solo alla necessità di confrontare le coppie appena emerse o all'eliminazione di righe e colonne di matrici di confronto a coppie corrispondenti agli elementi sottratti alla considerazione, ad es. alla formazione di una matrice minore. I risultati delle precedenti valutazioni degli esperti vengono salvati e non è richiesto un aggiornamento completo del questionario, come nel caso di altri metodi.

L'ulteriore procedura dell'AHP, in sostanza, si riduce all'elaborazione numerica della matrice corrispondente, pertanto, dal punto di vista “tecnico”, l'inclusione di variabili aggiuntive (o la loro esclusione) è un cambiamento nella dimensione della matrice, cioè spazio lineare corrispondente. Pertanto, le modifiche nell'ulteriore algoritmo di calcolo sono minime.

• Saaty T. Processo decisionale in base alle dipendenze e ai feedback: Reti analitiche: per. dall'inglese. / scientifico ed. A. V. Andreichikov, O. N. Andreichikova. M.: LKI, 2008.

Il metodo di confronto accoppiato è uno dei metodi più comuni per valutare la preferenza relativa delle alternative.

Quando si utilizza questo metodo, all'esperto vengono proposte in sequenza coppie di opzioni alternative, di cui deve indicare quella più preferibile.

Se un esperto ha difficoltà a farlo rispetto a qualsiasi coppia di oggetti, ha il diritto di considerare le alternative confrontate come equivalenti o incomparabili.

Dopo la successiva presentazione di tutte le coppie di opzioni alternative all'esperto, la loro preferenza comparativa viene determinata in base alle stime di questo esperto.

Come risultato di confronti accoppiati, se l'esperto si è rivelato coerente nelle sue preferenze, tutte le alternative valutate possono essere classificate in base all'uno o all'altro criterio, indicatore o proprietà. Se l'esperto ha riconosciuto alcune opzioni alternative come incomparabili, di conseguenza si otterrà solo il loro ordinamento parziale.

Nella pratica di utilizzare il metodo dei confronti accoppiati, si riscontrano spesso incoerenze e persino incoerenze nelle valutazioni degli esperti. In questi casi, è necessario condurre un'analisi speciale dei risultati dell'esame.

Notiamo anche che con un numero sufficientemente ampio di opzioni alternative valutate, la procedura per il confronto a coppie di tutte le loro possibili coppie diventa dispendiosa in termini di tempo per un esperto. In questo caso si consiglia di utilizzare le opportune modifiche del metodo dei confronti appaiati.

Ad esempio, se assumiamo la coerenza delle valutazioni dell'esperto, allora è praticamente sufficiente presentare ciascuna alternativa una volta in coppia con un'altra.

3. Classifica delle opzioni alternative.

Una procedura abbastanza comune è anche la graduatoria diretta da parte dell'esperto in base alla preferenza delle alternative valutate. In questo metodo, all'esperto vengono presentate opzioni alternative selezionate per la valutazione comparativa, ma preferibilmente non più di 20 ÷ 30, per il loro ordinamento per preferenza. Se ci sono più opzioni alternative, allora è consigliabile utilizzare le opportune modifiche del metodo di graduatoria.

Ad esempio, in questo caso, la graduatoria delle opzioni alternative può essere preceduta dalla loro suddivisione in classi ordinate di preferenza secondo il metodo della classificazione per esperti.

La classifica degli oggetti confrontati può essere effettuata da un esperto in vari modi. Ne presentiamo due.

In accordo con la prima, all'esperto viene presentata l'intera serie di opzioni alternative e indica la più preferibile tra loro. Quindi l'esperto indica l'alternativa più preferita tra quelle rimanenti, e così via, fino a quando tutte le alternative in fase di valutazione sono da lui classificate.

Nel secondo metodo, all'esperto vengono inizialmente presentate due o più opzioni alternative, che gli viene chiesto di ordinare per preferenza. Se all'esperto vengono inizialmente offerte diverse opzioni alternative per ordinare in base alle preferenze, in questa fase può utilizzare il primo metodo di classificazione.

Dopo la graduatoria iniziale, all'esperto vengono costantemente proposte nuove, non ancora valutate da lui, opzioni alternative. L'esperto deve determinare il posto della nuova alternativa presentata tra quelle già classificate.

La procedura si conclude dopo la presentazione e la valutazione dell'ultima alternativa.

Piano:

1. Descrizione del metodo dei confronti appaiati.

2. Vantaggi e svantaggi del metodo dei confronti accoppiati.

1. Descrizione del metodo dei confronti appaiati

Metodo di confronto accoppiato- uno degli strumenti per la valutazione e la scelta delle decisioni, è ampiamente utilizzato nelle valutazioni degli esperti quando è necessario dare priorità nel processo di qualsiasi attività o classificare vari oggetti.

L'idea del metodo è che ogni due oggetti vengono confrontati a coppie e viene determinata la superiorità di uno di essi, quindi il nome è "confronto a coppie (o a coppie)". Si ritiene che quando si risolve un problema, sia molto più facile fare un confronto qualitativo di due oggetti, basato sull'opinione di esperti, piuttosto che stabilire criteri quantitativi. A rigor di termini, il metodo PS è un metodo per ottenere i dati iniziali, un metodo di una sorta di indagine tra gli intervistati. Sulla base dei dati ottenuti è possibile risolvere diversi problemi, che non prevedono necessariamente la costruzione di una scala di valutazione. Supponiamo di essere interessati a come gli intervistati della popolazione studiata valutano qualsiasi oggetto: professioni, leader politici, programmi radiofonici, determinati tipi di beni, ecc. Designiamo questi oggetti tramite а1, а2, ..., an (n è il numero di oggetti valutati).

Tabella 1. Un esempio di utilizzo del metodo PS

Il metodo in esame permette di ottenere una risposta a questa domanda in una forma alquanto peculiare. Ad ogni rispondente vengono offerte tutte le possibili coppie composte dagli oggetti in esame. Per ogni coppia, deve dire quale oggetto di questa coppia gli piace di più. Diciamo, nel caso di considerare alcune professioni come nostri oggetti - ad esempio un tornitore, un fornaio, un medico, ecc. - chiediamo a ogni intervistato quale professione gli piace di più: tornitore o fornaio (aggiusta la risposta), tornitore o medico (aggiusta la risposta), fornaio o medico (aggiusta la risposta), ecc. per tutte le possibili coppie di oggetti in esame.

2. Vantaggi e svantaggi del metodo dei confronti accoppiati

I principali vantaggi del metodo sono i seguenti:

È consentito misurare l'importanza mutevole in modo non uniforme degli indicatori, che è così necessaria per risolvere la maggior parte dei problemi economici pratici;

L'esperto nel processo di analisi non si concentra su tutti gli indicatori contemporaneamente, ma solo su due, confrontati in ogni dato momento, il che facilita il lavoro e quindi ne migliora la qualità;

È possibile ottenere un gran numero di confronti di ciascun indicatore con altri, il che aumenta l'accuratezza della valutazione e apre la possibilità di studiare la qualità di un numero maggiore di aspetti dell'oggetto di studio rispetto all'utilizzo di altri metodi;

È possibile ottenere non solo la valutazione media dell'indicatore fornita da ciascun esperto, ma anche la varianza di tale valutazione, che consente di condurre in futuro un'analisi economica e matematica più approfondita.

Il metodo di confronto accoppiato è il più semplice dei test di classificazione esistenti, poiché prevede il confronto di solo due campioni del prodotto.

Il vantaggio dei confronti accoppiati rispetto alle classifiche è che è più facile esprimere un giudizio perché il supervisore deve confrontare solo due persone alla volta. Il secondo vantaggio è che offre l'opportunità di mettere sullo stesso livello persone con le stesse capacità.

Il metodo dei confronti accoppiati consente di effettuare un'analisi rigorosa e statisticamente motivata della coerenza delle opinioni degli esperti, per rivelare se le stime ottenute sono casuali o meno. Indubbiamente, la procedura del metodo dei confronti accoppiati è più complicata del metodo del semplice ranking, ma più semplice del metodo dei confronti sequenziali.

Questo metodo è molto semplice e permette di esplorare un numero maggiore di oggetti (rispetto, ad esempio, al metodo rank) e con maggiore accuratezza.

Principali svantaggi i metodi sono i seguenti:

- nella necessità di eseguire un numero enorme di confronti a coppie se si devono valutare gruppi numerosi. Un supervisore con 60 dipendenti dovrà eseguire 1770 confronti! Se il confronto viene eseguito su cinque parametri separati, il numero di confronti accoppiati aumenterà di cinque volte. Di solito, il metodo di confronto accoppiato viene utilizzato in due casi: o quando si valutano piccoli gruppi o quando si valuta un solo parametro: la performance complessiva delle attività di produzione.

Uno svantaggio dei confronti accoppiati come metodo sperimentale è che il confronto di n stimoli richiede di formulare (n - 1) x (n/2) giudizi. Ad esempio, per 10 stimoli sono necessari 45 giudizi e se volessimo scalare un insieme di 50 stimoli, avremmo bisogno di 1225 giudizi.

Lo svantaggio principale del metodo di confronto accoppiato è che non ci sono sviluppi software già pronti.

Per utilizzare questo metodo, dovrai istruire i dipendenti competenti dell'azienda a sviluppare un programma speciale o ordinarlo da uno sviluppatore di terze parti. Inoltre, sebbene non esistano soluzioni di valutazione aziendale comprovate basate esclusivamente su confronti a coppie, si tratta piuttosto di un semilavorato matematico che serve a creare strumenti di ridimensionamento. Inoltre, la stessa procedura del test sembra piuttosto monotona, il che influisce sull'obiettività dei risultati della ricerca. E la qualità dei risultati dipende direttamente dal numero di valutazioni e indicatori da valutare, nonché dalla corretta selezione delle coppie e dalla loro interpretazione univoca.

Di norma, si ritiene che il metodo dei confronti a coppie sia migliore del ranking diretto. Questo punto di vista non è del tutto corretto, ed ecco perché.

La scelta del metodo è sempre determinata dalla situazione della ricerca, dagli obiettivi dello studio. Naturalmente, se è possibile formulare in modo univoco le basi della classifica, allora il metodo dei confronti accoppiati dà un risultato eccellente e questo metodo dovrebbe essere scelto. Ma ci sono situazioni in cui è impossibile e poco necessario avere una base univoca per la classifica.

Lo svantaggio del metodo è l'aumento della complessità della procedura con un aumento del numero di oggetti: già con 12-15 oggetti, la procedura diventa laboriosa. Inoltre, le diverse coppie di oggetti vengono talvolta confrontate dagli intervistati in base a criteri diversi, il che porta a preferenze non transitive. Il metodo è ampiamente utilizzato nelle valutazioni di esperti.

Domande per l'autocontrollo

Definire il metodo dei confronti a coppie.

Qual è l'idea alla base del metodo?

Descrivi il processo di confronto?

Elenca i vantaggi del metodo di confronto a coppie.

Elenca gli svantaggi del metodo di confronto a coppie.

Le difficoltà nell'utilizzo del ranking, della valutazione diretta e del metodo dei confronti sequenziali nell'individuare le preferenze per un gran numero di fattori possono essere ridotte in una certa misura se si chiede agli esperti di confronto di fattori a coppie, in modo da inserire in ogni coppia quella più importante. Nel caso generale, un esperto può stabilire l'uguaglianza degli oggetti o indicare le sue preferenze su una certa scala.

Il confronto a coppie è conveniente non solo quando il numero di fattori è elevato, ma anche quando differenze tra gli oggetti tanti fattori diversi pochi, che la classifica diretta non fornisce un ordinamento ragionevole.

Pertanto, il metodo dei confronti accoppiati ha qualche vantaggio rispetto ad altri metodi di ordinamento nei casi in cui ci sono molti fattori o sono difficili da distinguere.

Esistono due approcci principali per determinare le preferenze utilizzando questo metodo.

Primo consiste nel fatto che l'esperto si limita alla semplice affermazione che un fattore è preferibile a un altro - senza indicare il grado di preferenza. Quindi nella matrice dei confronti a coppie, 0 o 1 sono scritti nelle celle - tale matrice è ​​nota come "tabella del torneo".

La matrice di confronto a coppie è sempre inversamente simmetrica rispetto alla diagonale principale, perché se Ai è più preferibile di A 3 , cioè l'elemento A 13 = 1, allora A 3 è meno preferibile di A1 e A 13 = 0. In infatti, l'esperto deve solo riempire metà della matrice. La somma dei punteggi di ciascun fattore può essere interpretata come il suo rango. Quindi nell'esempio i ranghi dei fattori sono registrati nell'ultima colonna.

Innanzitutto, ogni esperto compila tale matrice, vengono determinati i singoli ranghi e quindi viene calcolata la media, tenendo conto delle opinioni di tutti gli esperti (matrice A).

Sulla base di ciò, viene costruita una seconda matrice P, che mostra la percentuale di casi in cui il fattore i è risultato essere più significativo del fattore j nel numero totale di stime ricevute.

Ad esempio, se 10 esperti hanno fornito valutazioni, la tabella P basata sulle loro valutazioni potrebbe essere simile a questa.

Essendoci 10 esperti, la quota di preferenze è calcolata dividendo il numero in ciascuna cella della tabella A per il numero di esperti. Il risultato è una tabella R.

Ora possiamo applicare la tecnica più semplice per classificare i fattori: dividere la valutazione relativa totale di ciascun fattore per la loro somma, ottenendo l'importanza relativa normalizzata di ciascun fattore.

2a via. Viene utilizzato quando è importante determinare il grado di preferenza di un fattore rispetto a un altro. Questo metodo copre sia quei fattori su cui sono possibili determinate misurazioni, sia i fattori immateriali (qualitativi) su cui sono richiesti giudizi.

Per condurre confronti soggettivi accoppiati, viene utilizzata una scala che si è dimostrata efficace in molte applicazioni, la cui validità è stata teoricamente dimostrata rispetto ad altre scale (Tabella 10.7).

Come nel primo metodo, ogni esperto effettua prima un confronto accoppiato dei fattori (proprietà, conseguenze della decisione, ecc.) secondo la scala proposta.

Come nel metodo precedente, ora dobbiamo dare la priorità, o classificare, i fattori. Questo può essere ottenuto in qualsiasi modo

normalizzazione del rango. Ad esempio, si applicano i seguenti metodi:

- gli esperti discutono congiuntamente le loro stime e, di conseguenza, adottano stime uniformi per ciascun fattore, sviluppando così una matrice di confronti accoppiati per tutti;

> gli esperti non possono sviluppare un consenso, presentare le loro tabelle di confronti accoppiati e sulla base, tramite qualche mezzo di media, ottengono una tabella; può essere utilizzato come metodo di media media geometrica per ogni cellula, media (aritmetica) pesata Altro.

Con qualsiasi approccio, si ottiene una matrice generalizzata di confronti a coppie di fattori.

Nella fase successiva nell'elaborazione delle opinioni degli esperti, è necessario valutare grado di consistenza delle loro opinioni IP - indice di consistenza.

La classificazione come metodo di ricerca valutativa è una procedura in cui l'analista, sulla base della sua conoscenza ed esperienza, dispone gli oggetti in studio in ordine di preferenza. Seleziona l'oggetto migliore che supera tutti gli altri in qualche caratteristica (insieme di caratteristiche) e gli assegna un indicatore pari a 1, che caratterizza la posizione ordinale (grado) dell'oggetto valutato tra gli altri oggetti. Tra le opzioni rimanenti, viene nuovamente selezionata quella migliore e si ottiene il rango 2, ecc. La scala ordinale basata sui risultati del ranking deve soddisfare la condizione che il numero dei ranghi sia uguale al numero degli oggetti del ranking.

La classifica risulta in una sequenza di preferenze:

A > C > D > D > B - preferenze;

Di conseguenza: 1, 2, 3, 4, 5 - grado.

dove > - segno di preferenza;

A, B, C, D, D - oggetti di analisi.

I ranghi di un numero non consentono di trarre una conclusione su quanto o quante volte un oggetto sia preferibile rispetto a un altro.

Il vantaggio del metodo è la sua semplicità. Lo svantaggio è la pratica impossibilità di ordinare un gran numero di oggetti.

Confronto accoppiato: un metodo che consente di impostare la preferenza per gli oggetti di analisi quando si confrontano tutte le loro possibili coppie. Il confronto a coppie di oggetti può derivare dal fatto che uno degli oggetti è più preferibile dell'altro.

I confronti accoppiati possono essere rappresentati come una matrice, di conseguenza, le opzioni sono classificate in base alla somma delle preferenze.

Esistono varianti di confronti multipli, che differiscono in quanto non vengono confrontate in sequenza coppie di oggetti, ma le loro triple, quadruple, ecc.

Il metodo di punteggio è una procedura per assegnare valori numerici a oggetti di analisi con una determinata scala. In questo caso possono essere utilizzate scale continue e discrete. Nel primo caso le stime appartengono a un punto qualsiasi di un segmento numerico limitato, nel secondo le stime corrispondono a numeri interi. Le scale sono caratterizzate da punti minimo e massimo. I limiti superiore e inferiore della scala possono essere positivi o negativi. L'oggetto con il punteggio più alto è considerato il migliore.

Il metodo di valutazione di esperti (di gruppo) dei fenomeni è più spesso utilizzato nella pratica di valutazione di sistemi complessi. Di norma, questo metodo viene utilizzato per ottenere valori quantitativi quando è impossibile calcolarli.

Quando si implementa questo metodo, si presuppone la seguente sequenza di azioni:

• - selezione di esperti;
• - determinazione della scala di punteggio delle valutazioni;
• - valutazioni da parte di esperti per tutti gli oggetti di analisi confrontati;
• - valutazione della coerenza dei pareri degli esperti;
• - calcolo di una valutazione di gruppo per ogni oggetto;
• - l'utilizzo delle stime ottenute a fini pratici (ad esempio, la compilazione delle graduatorie degli oggetti di analisi).

Va notato che le valutazioni degli esperti portano sia caratteristiche strettamente soggettive inerenti a ciascun esperto, sia caratteristiche collettivamente soggettive inerenti a un gruppo di esperti. I primi vengono eliminati nel processo di elaborazione delle valutazioni dei singoli esperti, i secondi non scompaiono, indipendentemente dalle modalità di elaborazione utilizzate.

Per quantificare il grado di concordanza tra le opinioni degli esperti si utilizza il coefficiente di concordanza (coerenza) W, che consente di valutare quanto siano coerenti le opinioni dei partecipanti all'esame. Il suo valore è compreso tra 0< W < 1, где W=0 означает полную противоположность, a W=1 полное совпадение оценок. Практически достоверность считается хорошей, если W более 0,7.

Il basso valore del coefficiente di concordanza indica una debole concordanza tra le opinioni degli esperti.

C'è un metodo di una commissione di esperti - una specie di metodo di esame di gruppo. Il metodo della commissione di esperti si basa sull'individuazione di un unico parere collettivo da parte di esperti appositamente selezionati nella discussione del problema posto e delle alternative per risolverlo a seguito di determinati compromessi.