Patientengewichtete Endpunkte: Conjoint Analyse (CA) versus Analytic Hierarchy Process (AHP)

Die so genannte Multikriterielle Entscheidungsanalyse (MKEA) kann zur Unterstützung komplexer Technologiebewertungen eingesetzt werden. Ihren Ursprung haben multikriterielle entscheidungsanalytische Verfahren in der Entscheidungstheorie bzw. Operations Research und werden dort eingesetzt, um Entscheidungen unter Unsicherheit zu treffen. Sie unterstützen Entscheidungsträger bei der Bewertung einer endlichen Anzahl alternativer Gesundheitsinterventionen unter Verwendung einer endlichen Anzahl von Leistungskriterien. Zu den am meisten verbreiteten multikriteriellen Entscheidungsanalyseinstrumenten gehört neben der Conjoint-Analyse, dem Elimination and Choice translating Reality-Verfahren (ELECTRE) und der Multiattributiven Nutzwerttheorie (MAUT) (Lootsma/Schujit 1997) der Analytic Hierarchy Process (AHP).

>> Diese Instrumente unterscheiden sich hauptsächlich in ihren Ansätzen, Gewichte für Attribute der untersuchten Technologien zu erheben und präsentieren unterschiedliche statistische Modelle bei der Strukturierung der Präferenzen der Entscheidungsträger zu den zur Verfügung stehenden Alternativen. In dem von uns betrachteten Anwendungsbereich wären primär die befragten Patienten Entscheidungsträger und die jeweiligen Endpunkte innerhalb des betrachteten Krankheitsbildes die Leistungskriterien der zur Anwendung kommenden Gesundheitsinterventionen. Der Theorie nach liegt der Mehrwert dieser Instrumente in der Unterstützung der klinischen bzw. (gesundheits)ökonomischen Bewertung der Gesundheitstechnologien, die als multifaktorieller Prozess in entsprechende Entscheidungsfindungen eingehen.
Nichtsdestotrotz wird die Anwendbarkeit und Validität multikriterieller Entscheidungsanalyse hinterfragt. Beispielsweise liefern verschiedene multikriterielle Entscheidungsanalyseverfahren unterschiedliche Ergebnisse bei Anwendung im Rahmen desselben Entscheidungsproblems (Zanakis et al. 1998). Des Weiteren bleibt ihre prädiktive Validität oft genug spekulativ. Unternommene experimentelle Vergleiche schlussfolgerten, dass jede multikriterielle Entscheidungsanalysemethode ihre eigenen Vor- und Nachteile hat. Diese gilt es in vorliegender Abhandlung für die zwei etablierten Instrumente CA und AHP, die auch im Gesundheitsbereich (de Bekker-Grob et al. 2010; Wallenius et al. 2008) bzw. bei der Erhebung von Patientenpräferenzen immer mehr eingesetzt werden, kurz zu beleuchten und gegenüberzustellen.
Mathematisch-theoretische Grundlagen des AHP
AHP als kompositionelles Verfahren
Die Grundannahme des AHP lautet, dass der berechnete rechte Eigenvektor der zugrundegelegten Matrix A ungefähr dem Vektor der relativen Gewichte entspricht. Es handelt sich somit um ein kompositionelles Verfahren, das einem gewichteten additiven Nutzenmodell folgt (Abb. 1).
Rechter Eigenvektor
Das AHP bietet einen Ansatz an, der zur Abschätzung von Gewichten der einzelnen Entscheidungskriterien und zur Priorisierung von zur Verfügung stehenden Alternativen geeignet ist. Diese Quantifizierung wird aus einer Matrix von paarweisen Vergleichen zweier Kriterien bzw. Alternativen hergeleitet. Der paarweise Vergleich der Entscheidungskriterien zeigt die relative Wichtigkeit dieser Kriterien bei der Zielerreichung, der Vergleich der Alternativen die relative Präferenz für die betrachteten Alternativen in Abhängigkeit von einem entsprechenden Entscheidungskriterium. Beide - relative Wichtigkeit der Kriterien und relative Präferenz der Alternativen - beruhen auf einer ordinalen Skala, die den numerischen Wertebereich von 1 für gleiche Wichtigkeit bzw. Präferenz bis zu 9 für extreme Wichtigkeit oder Präferenz innerhalb eines paarweisen Vergleichs einnimmt. Dabei stehen die einzelnen numerischen Ausprägungen der Ordinalskala für folgende Ausprägungen der relativen Wichtigkeit oder Präferenz:
• 1 für indifferente bzw. gleich wichtige Aussagen (Kriterien),
• 3 für etwas wichtiger,
• 5 für viel wichtiger,
• 7 für sehr viel wichtiger und
• 9 für extrem viel wichtiger.
• 2, 4, 6 und 8 werden jeweils als intermediäre Werte eingesetzt.
Die innerhalb des paarweisen Vergleichs betrachteten Kriterien können umgedreht werden, wenn die Richtung der Wichtigkeit sich umkehrt. Es entsteht eine Matrix von paarweisen Vergleichen über n Kriterien, mit A = (aij):
Sowohl Reflexivität (aij = 1 auf der Diagonalen) als auch Reziprozität (aij = 1/aji) werden in dieser Matrix vorausgesetzt. Aus diesem Grund müssen nur die Werte über die Diagonale eingetragen werden. Dies bedeutet, dass für n Kriterien nur n(n-1)/2 distinkte paarweise Vergleiche notwendig sind. Wenn im Rahmen des AHP Gruppen mit x Beteiligten befragt werden (x > 1), können die einzelnen Zellen der Matrix mit aggregierten paarweisen Vergleichen ausgefüllt werden, in dem das geometrische Mittel der individuellen Einzelbewertungen gebildet wird:
aij = (aij(1) * aij(2) * … * aij(x))(1/x) für alle i,j = 1, 2, …, n.

Wenn alle paarweisen Vergleiche in perfekter Konsistenz zu den verbleibenden Vergleichen stehen, dann gilt die Transitivität, formal ausgedrückt wie folgt:
aik * akj = aij für alle i, j, k = 1, 2, …, n.

Das AHP liefert ein Konsistenzmaß, um auf mögliche Inkonsistenzen beim Kriterienvergleich hinzuweisen. Dieses Maß fußt auf dem maximalen Eigenwert λmax der Matrix mit den paarweisen Vergleichen. Dieser Eigenwert ist immer größer oder gleich n für positive, reziproke Matrizen und gleich n, wenn die Matrix der paarweisen Vergleiche konsistent ist. Durch Normalisierung mit der Matrixgröße definiert Saaty den sogenannten Konsistenzindex C.I. in folgender Weise:
C.I. = (λmax – 1)/(n – 1).

Saaty (1989) generiert für eine Matrix der Größe n in einem Randomisierungsverfahren zufällig 500 Matrizen und berechnet den durchschnittlichen Konsistenzindex C.I. aus diesen Matrizen, den er Random Index (R.I.) nennt. Die Konsistenzratio (C.R.) wiederum gibt an, wie weit die paarweisen Bewertungen von einer völlig zufälligen Matrix paarweiser Vergleiche abweichen und wird definiert als Verhältnis zwischen Konsistenzindex und Random Index: C.R. = C.I./R.I.
Nach Saaty sind 10% der Inkonsistenz der zufälligen Matrix erlaubt. Dies bedeutet, dass ein Wert für die Konsistenzratio von unter 10% (C.R. < 0,1) toleriert bzw. akzeptiert werden kann. Derselbe Eigenwert der Matrix mit den paarweisen Vergleichen wird nun eingesetzt, um die Gewichte der Kriterien abzuschätzen:
wi = (Σn j=1 aij * wj) / λmax für alle I = 1, 2, …, n.

Diese Eigenvektormethode kann interpretiert werden als einfacher Mittelungsprozess, bei welchem die finalen Gewichte die Durchschnitte aller Vergleichsmöglichkeiten der Wichtigkeit der zu bewertenden Kriterien darstellen.

Die CA als dekompositionelles Verfahren
Die CA baut auf die Werttheorie nach Lancaster auf (Lancaster 1966). Der Nutzen eines „Gutes“ leitet sich aus den Eigenschaften und nicht aus dem „Gut“ selbst ab. Sie folgt somit der Theorie des stochastischen Nutzens (Random Utility Theory), wonach das Prinzip der Nutzenmaximierung gilt: Individuen entscheiden sich jeweils für die Alternative mit dem voraussichtlich höchsten Nutzen. Bei unvollständigen Informationen kann der Nutzen nicht vollständig erfasst werden. Er setzt sich additiv zusammen aus der beobachtbaren deterministischer Komponente (z.B. Merkmale/Attribute der Technologie, persönliche Eigenschaften) in Form einer linearen Nutzenfunktion (Schätzung der Gewichtung der Attribute) und aus einer nicht beobachtbaren stochastischer (Zufalls-)Komponente. Je nach Verteilungsannahmen erfolgt die Schätzung über ein Probit- oder Logit-Modell. Es handelt sich somit um ein dekompositionelles Verfahren, das einem additiven Teilwertmodell folgt (Tab. 1).

Logistische Regression
Die Conjoint Analyse folgt in der hier primär im Fokus stehenden Discrete Choice Variante einem (logistischen) Regressionsmodell, wonach für den zu ermittelnden Nutzen die Beziehung gilt:
Uij = Vij + Ɛij
(Uij = Nutzen („utility“), Ɛij = stochastische unbeobachtbare Komponente (u.a. Unterbewusstsein, körperliche Verfassung, Gemütszustand), Vij = deterministische Komponente (Merkmale des Gutes/der Leistung und des Individuums), X = Merkmale (Attribute) des Gutes/der Leistung j; z = Merkmale des Individuums i; β = Maß für die Stärke der Gewichtung der Merkmale (Attribute) des Gutes/der Leistung j und γ = Maß für die Stärke der Gewichtung der Merkmale des Individuums i.

Die Gleichungen Vij = V (Xij, zij) und Vij = βXij + γzij setzen dann die deterministische Komponente in Relation zu den Attributen des Gutes und den Merkmalen des Individuums.

Die Schätzung der relativen Bedeutung (Gewichtung) eines Attributes (hier Endpunktes) erfolgt dann im Rahmen einer logistischen Regression nach den folgenden Gleichungen zu den jeweiligen deterministischen Komponenten, wobei die β-Koeffizienten die Endpunktgewichte liefern:
(i) V (A) = α + β1X1A + ... + βnXnA
(ii) V (B) = α + β1X1B + ... + βnXnB
und
(iii) lnp(A)/p(B) = β1(X1A - X1B) + ... + βn(XnA -XnB)

Theoretische Verortung: ökonomische Nutzen-theorie (CA) versus deskriptive Theorie (AHP)
Zwar fußen beide Verfahren auf den Axiomen der Nutzentheorie, aber beim AHP wird aufgrund der Schwierigkeiten präziser Präferenzbeurteilung durch Anwender auf restriktive Annahmen der Konsistenz und Transitivität der Präferenzäußerungen verzichtet. Somit werden wegen der weniger strengen Annahmen hinsichtlich der Präferenzstruktur auch teils irrationale nicht als falsche Entscheidungen identifiziert. Das AHP-Verfahren erfüllt somit wesentliche Anforderungen der ökonomischen Nutzentheorie nicht und gilt nutzentheoretisch als nicht fundiert. Saaty (1990) bezeichnet die dem AHP zugrunde liegenden Theorie als deskriptive - von der normativen Nutzentheorie abzugrenzende - Theorie.

Methodische Gütekriterien CA versus AHP
Bei den aus der Sozialempirie, Psychometrie und Biometrie etablierten methodischen Gütekriterien wie Augenscheinvalidität, interne Validität, Konvergenzvalidität, prädiktive Validität und Modellpassung schneiden die beiden Methoden zwar in den jeweiligen Studien unterschiedlich ab, ohne dass sich aber dadurch ein Trendvorteil für eine Methode ergibt. Lediglich bei verschiedenen Dominanztests, bei denen die Übereinstimmung des Ergebnisses in Relation zur von den Befragten vorab als dominierend bezeichneten Alternative gemessen wird, scheint die CA etwas unterlegen zu sein. CA kann bezogen auf a priori Annahmen somit zu widersprüchlicheren Ergebnissen führen. Dominanztest sind ein Kriterium für die prädiktive Validität. Beispielhaft aus der hierzu vorhandenen Literatur seien zwei Studien zitiert (Mulye 1998; Scholl et al. 2005). Triantafyllou (2000) definiert allerdings in seiner Arbeit zwei Kriterien zur Bewertung der methodischen Güte: 1. Akkurate Methoden in multidimensionalen Entscheidungsfindungen sollen auch in eindimensionalen Fragestellungen erfolgreiche Lösungen liefern. Dies wird in den meisten Fällen von AHP (als gewichtetes Summenmodell) erfüllt. 2. Die Reihenfolge der Alternativen hin zur besten soll nicht geändert werden, wenn eine Alternative (nicht die beste) durch eine andere ersetzt wird, wobei die Attributsgewichte unverändert bleiben.
Hier tritt allerdings das Phänomen des Rank Reversal bei AHP auf, also der Nichteinhaltung genau dieses zweiten Gütekriteriums. Als Ursache des Rank Reversal wird die Ermittlung der relativen Gewichtungen mittels der Eigenwertmethode diskutiert. Obwohl das AHP-Verfahren auf den Axiomen der Nutzentheorie basiert, wird aufgrund der Schwierigkeiten einer präzisen Präferenzbeurteilung durch die Anwender auf die restriktiven Annahmen der Konsistenz und Transitivität der Präferenzäußerungen verzichtet. Somit werden wegen der weniger strengen Annahmen hinsichtlich der Präferenzstruktur auch teils irrationale nicht als falsche Entscheidungen identifiziert (Saaty & Vargas 2001). Das AHP-Verfahren erfüllt somit wesentliche Anforderungen der ökonomischen Nutzentheorie nicht und gilt nutzentheoretisch als nicht fundiert. Allerdings kann dieser Argumentation von Seiten der Verhaltensökonomie auch entgegengehalten werden, dass die auf den Annahmen des Homo economicus basierende Nutzentheorie einer nutzenmaximierend agierenden, der ökonomischen Rationalität folgenden individuellen Verhaltensweise nach dem Standardmodel der Ökonomie nicht dem realen menschlichen Verhalten in ökonomischen Entscheidungen entspricht (Tversky/Kahneman 1974).
Bezogen auf die Rationalität als komplexe Verhaltenstheorie leitet der Nobelpreisträger McFadden (1998) spezifisch für die Aspekte Präferenzen, Perzeptionen und Prozess über entsprechende Experimente her, dass die meisten kognitiven Anomalien aus Fehlern in der Perzeption herrühren, die damit zusammenhängen, wie Informationen gespeichert, abgerufen und verarbeitet werden bzw. aus Fehlern im Entscheidungsprozess selber, die zu einer Formulierung von - kognitiv betrachtet - inkonsistenten Entscheidungsproblemen, zumindest wenn man Rationalität in ihrer engen, nutzentheoretisch fundierten Definition wahrnimmt, führen. Shafir und LeBoef (2002) zeigen auch auf, dass Individuen oft Rationalitätsannahmen zu logischen Schlussfolgerungen, Beurteilungen und Wahlmöglichkeiten in ihren Entscheidungen abweichend vom normativen Verhaltensmodell verletzen. Sie unterstützen die mittlerweile in den Sozialwissenschaften aufkommende Kritik an der Rationalität als axiomatische Verhaltensform.
Kognitive Überforderung (CA) versus unreale Entscheidungssituationen (AHP)
Einem fiktiven Beispiel mit fünf Attributen (N=5) und jeweils drei Ausprägungen bzw. Levels (L=3) für ein zu bewertendes Gut mit Alternativen folgend, ergeben sich nach den weiter oben beschriebenen mathematischen Grundlagen beider Verfahren beim AHP n (n‑1)/2 = 10 Paarvergleiche (Trade-offs) und bei der CA 5³ = 125 Szenarien, was bei einem simplifizierenden sogenannten orthogonalem Design, wonach die Annahme gilt, dass keine Interaktionseffekte zwischen den Attributen bestehen und somit keine Interaktionseffekte gemessen werden müssen mit der Konsequenz, dass jede Ausprägung eines Attributs mit jeweils einer Ausprägung eines anderen Attributes in einem Szenario vorkommen, 12 Szenarien pro befragten Patient ergibt. Berücksichtigt man die Trade-offs innerhalb der Szenarien erscheint die kognitive Herausforderung, ja sogar Überforderung bei der CA selbstevident im Vergleich zum AHP. Andererseits wird die Versorgungsrealität allerdings viel besser über solche Szenarien abgebildet, als durch abstrakte paarweise Vergleiche beim AHP. Abbildung 2 zur paarweisen Befragung beim AHP und Abbildung 3 zu den präferierten Szenarien im Rahmen einer CA, beide patientenseitige Endpunktgewichtungen zum Krankheitsbild Hepatitis C betreffend, sollen die jeweiligen Herausforderungen verdeutlichen.
Vergleichende Studien CA versus AHP
Ijzerman et al (2012) vergleichen AHP und CA bei der Bewertung von Alternativen in der Rehabilitation von Schlaganfällen. In den Gewichtungen der betrachteten Attribute dieser Alternativen - wobei aus methodischen Gründen die Attribute des einen Verfahrens für das andere zusammengelegt werden müssen - kommen sie zum Ergebnis, dass es eine Übereinstimmung der jeweiligen Gewichte bei vergleichbaren Mittelwertstandartabweichungen für drei Attribute gibt (AHP versus CA: klinischer Outcome 0,30 versus 0,33; Einfachheit der Anwendung 0,16 mit beiden Methoden, Komplikationen 0,20 versus 0,19), Abweichungen dagegen bei zwei Attributen (AHP versus CA: Kosmetik und Komfort 0,28 versus 0,05; Einfluss der Behandlung operationalisiert als Dauer und Invasivität 0,06 versus 0,28). Der Vergleich zeigt darüber hinaus Unterschiede im Ressourcenverbrauch und in der kognitiven Beanspruchung der Befragten. Die CA ist aufwendiger und komplizierter.
Andere Vergleiche wiederum, wie die Studie von Ijzerman et al. aus dem Jahre 2008 zur Erhebung von Präferenzen bei Patienten mit neurologischen Störungen, zeitigen relativ ähnliche Attributsgewichte, wobei nicht-medizinische Faktoren wie soziale Akzeptanz und Anwenderfreundlichkeit der jeweiligen unterstützenden Behandlungen eine große Rolle zu spielen scheinen. In dieser Studie unterschieden sich die Gewichte zwischen Patienten und befragten klinischen Experten unabhängig von der angewandten Methode. Ein Phänomen, auf das man auch in anderen Indikationen wie beispielsweise der Depressionsbehandlung trifft (Hummel et al. 2012; Danner et al. 2011). In einer weiteren Studie (Benaïm et al. 2010) verwenden die Autoren CA und AHP zur Gewichtung der 6 Items der London Handicap Scale, eines Erhebungsinstruments der Beeinträchtigung, das bei der Schlaganfallprävention oft Anwendung findet. Mit beiden Methoden wird die physische Unabhängigkeit am höchsten gewichtet, Unterschiede zeigen sich jedoch in der Reihenfolge der anderen Items. Bei Anwendung der sogenannten „10 binary choices“ Methode nach Schoenemaker & Waid (1982), wonach 10 zufällige fiktive Patientenprofilpaare mit ähnlichen Summenscores gewählt werden und die Konkordanz zwischen schlechteren Profilen mit AHP & CA Ergebnissen verglichen wird (ein Kappa-Wert > 0,40 führt zu einer guten Übereinstimmung, ein Kappa-Wert ≤ 0 zeigt eine sehr schlechte Übereinstimmung), sind bei der CA in 3 von 10 Fällen gute Übereinstimmungen erzielt worden, in 1 eine moderate und in 6 ein schlechte Übereinstimmung, wohingegen beim AHP in 6 von 10 Fällen eine gute und in jeweils 2 eine moderate und eine schlechte Übereinstimmung erzielt wurden.
Verwertbarkeit von CA und AHP für das IQWiG
In ihrem Diskussionspapier zum Methodenvergleich bei der Gewichtung multipler patientenrelevanter Endpunkte entwickeln Neidhardt et al. (2012) einen Kriterienkatalog. Dieser orientiert sich an (i) den gesetzlichen Vorgaben, (ii) den Anforderungen aus der IQWiG-Methodik (Effizienzgrenzkonzept) und (iii) den allgemeinen Anforderungen an das wissenschaftliche Vorgehen. Unter den gesetzlichen Vorgaben subsumieren die Autoren die Transparenz und ein international etabliertes Verfahren der Gesundheitsökonomie. Zu den Anforderungen aus der IQWiG-Methodik zählen sie die approximative Kardinalität des aggregierten Nutzenmaßes, die Flexibilität und die Möglichkeit zur Aggregation von Präferenzen. Als allgemeine Anforderungen an das wissenschaftliche Vorgehen definieren sie die nutzentheoretische Fundierung, die Erfüllung von vorbestimmten Gütekriterien, die Wirtschaftlichkeit und Praktikabilität des Ansatzes und die Vollständigkeit der Bewertung mittels der eingesetzten Methoden. Die Bewertung der Methoden anhand dieses Kriterienkatalogs schlussfolgern die Autoren, konnte zeigen, dass weder CA noch AHP alle Anforderungen erfüllen, die an eine Methode zur Endpunktgewichtung im Rahmen des Effizienzgrenzenansatzes unter Berücksichtigung der gesetzlichen Vorgaben, der IQWiG-Methodik und der allgemeinen Anforderungen an wissenschaftliches Vorgehen zu stellen sind und sie empfehlen die Durchführung weiterer empirischer Vergleichsstudien, die beide Methoden gezielt im Hinblick auf die Fragestellung der Verwertbarkeit zur Endpunktgewichtung im Rahmen der IQWiG-Methodik überprüfen. Wenn man allerdings die bereits vorliegenden und auch hier vorgestellten Vergleichsarbeiten hinsichtlich des vorgestellten Kriterienkatalogs analysiert, gelangt man zur selben Schlussfolgerung. Letztlich müssen die Anwender die Kriterien des vorgestellten Kriterienkatalogs anhand ihrer eigenen Präferenzen priorisieren, um sich für das eine oder andere Verfahren zu entscheiden (Tab. 3).
Ausblick
Multikriterielle Entscheidungsverfahren zur Patientenpräferenzerhebung bei Endpunktgewichtung gewinnen immer mehr an Bedeutung in Gesundheitssystemen. In Deutschland sind sie für die gesundheits-ökonomische Evaluation nach dem vom IQWiG vorgeschlagenen Effizienzgrenzenansatz eine Prämisse, um endpunktbezogenen Nutzen zu aggregieren. Das IQWiG nennt in seinem aktuellen Methodenpapier (Version 4.0) CA und AHP auch als eine Möglichkeit, endpunktbezogene Nutzen- und Schadensaspekte gegenüberzustellen (IQWiG 2011).
Die FDA (2012) sieht in ihrer Guidance for Industry and FDA Administration Staff 03/2012 unter der Rubrik „Factors to Consider When Making Benefit-Risk Determinations“ Patientenpräferenzen hinsichtlich der Nutzen- und Schadensaspekte von medizinischen Anwendungen als nützliche Informationsquelle. Aber auch die EMA (2010) hat den Stellenwert der Ermittlung von Patientenpräferenzen durch multikriterielle Entscheidungsanalyseverfahren zur Nutzen-Schaden-Abwägung in ihrem Benefit-Risk Methodology Project erkannt. Es bleibt abzuwarten, ob auch Entscheidungsträger wie der G-BA sich Methoden wie die CA und das AHP bei ihren Beschlussfassungen zum Zusatznutzen von neuen Arzneimitteln im Rahmen der frühen Nutzenbewertung für die Saldierung von Nutzen- und Schadensaspekten anstelle intuitiver Heuristiken bedienen werden. Patientenrelevante Endpunkte, die den Nutzen und Schaden für die betroffenen Patienten abbilden, sollten zur Herleitung einer Gesamtaussage hinsichtlich eines vorliegenden Zusatznutzens in Zeiten von Shared-decision making auf der Arzt-Patienten-Entscheidungsebene von den betroffenen Patienten auch auf Systemebene gewichtet werden. Dies verlangt auch, dass das System dem mündigen Patienten Vertrauen schenkt, und zwar nicht nur auf der rein rhetorisch-verbalen Ebene, sondern auch im Rahmen der unmittelbar die betroffenen Patienten tangierenden Entscheidungsfindung. <<