top

Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps

Mit der Digitalisierung im Gesundheitswesen sind große Erwartungen an die Qualitätssteigerung der gesundheitlichen Versorgung geknüpft (Mathews et al., 2019), dies gilt besonders für Diagnostik, Prävention sowie für das Management chronischer Krankheiten (Gordon, Landman, Zhang & Bates, 2020). Gesundheits- und Medizin-Apps (GuMA) werden aufgrund der ubiquitären Verfügbarkeit von Smartphones in der Bevölkerung eine besondere Rolle zugesprochen. Jedoch besteht seit längerem eine breite Diskussion hinsichtlich der noch eingeschränkten Evidenz von GuMA, welche in verschiedenen systematischen Übersichtsarbeiten als heterogen eingeschätzt wird (Agarwal, Lefevre & Labrique, 2017; Felix et al., 2018; Mathews et al., 2019). In einem systematischen Review von Bayambasuren et al. recherchierten die Autoren nach systematischen Reviews über randomisiert kontrollierte Studien (RCT) mit verschreibungsfähigen (Prescribable) GuMAs, die zum Download frei verfügbar waren (Byambasuren, Sanders, Beller & Glasziou, 2018). Verschreibungsfähige Apps definieren die Autoren als Apps, die derzeit verfügbar sind, die effektiv sind und die alleinstehend (stand-alone), ohne die Einbindung von Professionellen im Gesundheitswesen angewendet werden. Die Autoren schlossen insgesamt sechs systematische Reviews in ihre Analyse ein, aus denen sie wiederum 23 RCTs zu 22 unterschiedliche GuMAs extrahierten. In lediglich 11 dieser 23 RCTs konnte ein aussagekräftiger Effekt auf die Gesundheit oder auf ausgewählte Surrogatendpunkte nachgewiesen werden, die möglicherweise auf eine GuMA zurückzuführen waren. In der Gesamtbetrachtung war der Nachweis der Wirksamkeit jedoch von eingeschränkter Qualität, was gerade die Verschreibungsfähigkeit dieser Apps für Ärzte deutlich erschwert (Mathews et al., 2019). Ebenfalls monierten die Autoren sowohl bei den sechs eingeschlossenen systematischen Reviews als auch bei den 23 extrahierten RCTs ein hohes Risk of Bias, was ebenfalls zu einer Einschränkung der Ergebnisse beiträgt. Gleichermaßen finden sich in verschiedenen Anwendungsbereichen positive Ergebnisse hinsichtlich der Effektivität. Dies lässt sich etwa für das Selbstmanagement der Hypertonie (Li, Liang, Bu & Hesketh, 2020) oder das Selbstmanagement psychischer Krankheiten konstatieren (Linardon, Cuijpers, Carlbring, Messer & Fuller-Tyszkiewicz, 2019).

Mehr lesen
Erstveröffentlichungsdatum: 30.03.2021

Abstrakt: Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps

Hintergrund: Ähnlich der wenig qualitätsgesicherten Leitlinien Ende der 90er Jahre erlebt das deutsche Gesundheitssystem vor dem Hintergrund der Digitalisierung erneut eine Inflation an wenig qualitätsgesicherten Publikationen von digitalen Anwendungen. Vor diesem Hintergrund wird vielerorts eine schwache Evidenz von Gesundheits- und Medizin-Apps moniert. Um die Qualität von Studien und die Transparenz bei der Berichterstattung von Studien als Leistungserbringer und Anwendern einschätzen zu können, bedarf es gerade für Ärzte als auch Wissenschaftler einheitlicher Kriterien.Methodik: Im September 2019 und ergänzend im Februar 2020 wurde eine Literaturrecherche in PubMed sowie Google Scholar durchgeführt. Gesucht wurden Frameworks und Reporting Guidelines, die bei Evaluationen zu Gesundheits- und Medizin-Apps angewendet werden können. Als Vergleichskriterien wurden Framework, Phasen/Items, Methodik und Fokus gegenübergestellt und explorativ ausgewertet.Ergebnis: Es wurden sieben Publikationen zu Frameworks und Reporting Guidelines eingeschlossen. Diese unterscheiden sich in dem intendierten Fokus und dem Umfang sowie dem Inhalt der Bewertungskriterien. Die Frameworks und Reporting Guidelines adressieren Studien, die mit Gesundheits- und Medizin-Apps durchgeführt werden, wie z. B. das Mobile Health Evidence Reporting and Assessment (mERA) sowie den sog. DiGA-Leitfaden für das Fast-Track-Verfahren für digitale Gesundheitsanwendungen. Zudem sind methodenbezogene Reporting Guidelines hervorzuheben, welche primär einen methodischen Fokus auf die Anwendung legen, bspw. bei randomisiert kontrollierten Studien.Schlussfolgerung: Angesichts der in dieser Arbeit dargestellten Optionen von Standards in der Berichterstattung von digitalen Anwendungen konnte der vom BfArM vorgestellte Leitfaden um weitere Items erweitert werden, um Leistungserbringern und Anwendern mehr Sicherheit zu geben und gleichzeitig Abstriche im Qualitätsanspruch zu verhindern.

Literatur

Abbey, E., Maiken, H., Camilla, V., Lyngsie, H., Lisa, Utoft, N., Carsten, Kirsten, B., & Helle, P. (2018). Cocreated Smartphone App to Improve the Quality of Life of Adolescents and Young Adults with Cancer (Kræftværket): Protocol for a Quantitative and Qualitative Evaluation. JMIR Res Protoc, 7(5), e10098. doi: 10.2196/10098Adu, M. D., Malabu, U. H., Callander, E. J., Malau-Aduli, A. E., & Malau-Aduli, B. S. (2018). Considerations for the Development of Mobile Phone Apps to Support Diabetes Self-Management: Systematic Review. JMIR MHealth and UHealth, 6(6), e10115. doi: 10.2196/10115Agarwal, S., Lefevre, A. E., & Labrique, A. B. (2017). A Call to Digital Health Practitioners: New Guidelines Can Help Improve the Quality of Digital Health Evidence. JMIR MHealth and UHealth, 5(10), e136. doi: 10.2196/mhealth.6640Agarwal, S., LeFevre, A. E., Lee, J., L’Engle, K., Mehl, G., Sinha, C., … Group, W. mHealth T. E. R. (2016). Guidelines for reporting of health interventions using mobile phones: mobile health (mHealth) evidence reporting and assessment (mERA) checklist. BMJ, 352, i1174. doi: 10.1136/bmj.i1174Ahmadiankalati, M., Steins-Loeber, S., & Paslakis, G. (2020). Review of Randomized Controlled Trials Using e-Health Interventions for Patients With Eating Disorders. Frontiers in Psychiatry, 11, 568. doi: 10.3389/fpsyt.2020.00568Allner, R., Wilfling, D., Kidholm, K., & Steinhäuser, J. (2019). Telemedizinprojekte im ländlichen Raum Deutschlands. Eine systematische Bewertung mit dem „Modell zur Evaluation von telemedizinischen Anwendungen“. Zeitschrift Für Evidenz, Fortbildung Und Qualität Im Gesundheitswesen, 141–142, 89–95. doi: 10.1016/j.zefq.2019.03.005Ann, M., Sarah, N, R., Thomas, C, K., Abby, D, G., Christopher, & Sutton,Stephen. (2016). IDEAS (Integrate, Design, Assess, and Share): A Framework and Toolkit of Strategies for the Development of More Effective Digital Interventions to Change Health Behavior. J Med Internet Res, 18(12), e317. doi: 10.2196/jmir.5927BfArM (2020a) Bundesinstitut für Arzneimittel und Medizinprodukte. Digitale Gesundheitsanwendungen. In https://www.bfarm.de/DE/Medizinprodukte/DVG/_node.html (Abgerufen am 20.05.2020)BfArM. (2020b). Das Fast-Track-Verfahren für digitale Gesundheitsanwendungen (DiGA) nach § 139e SGB V. Ein Leitfaden für Hersteller, Leistungserbringer und Anwender. In https://www.bfarm.de/DE/Medizinprodukte/DVG/_node.html (Abgerufen am 20.05.2020)Byambasuren, O., Sanders, S., Beller, E., & Glasziou, P. (2018). Prescribable mHealth apps identified from an overview of systematic reviews. Npj Digital Medicine, 1(1), 12. doi: 10.1038/s41746-018-0021-9Collins, L. (2018). Optimization of Behavioral, Biobehavioral, and Biomedical Interventions: The Multiphase Optimization Strategy (MOST). Springer International Publishing.Craig, P., Dieppe, P., Macintyre, S., Michie, S., Nazareth, I., & Petticrew, M. (2012). Developing and evaluating complex interventions: the new Medical Research Council guidance. International Journal of Nursing Studies, 50(5), 587–592. doi: 10.1016/j.ijnurstu.2012.09.010EbM-Netzwerk. (2019). Stellungnahme des Deutschen Netzwerks Evidenzbasierte Medizin zum Entwurf eines Gesetzes für eine bessere Versorgung durch Digitalisierung und Innovation (Digitale Versorgung-Gesetz – DVG) vom 15.5.2019.Ekelend, A., Bowes, A., & Signe, F. (2010). Effectiveness of telemedicine: A systematic review of reviews. International Journal of Medical Informatics, 79, 736–771. doi: https://doi.org/10.1016/j.ijmedinf.2010.08.006Enam, A., Torres-Bonilla, J., & Eriksson, H. (2018). Evidence-Based Evaluation of eHealth Interventions: Systematic Literature Review. Journal of Medical Internet Research, 20(11), e10971. doi: 10.2196/10971Eysenbach, G., & Group, C.-E. (2011). CONSORT-EHEALTH: Improving and Standardizing Evaluation Reports of Web-based and Mobile Health Interventions. Journal of Medical Internet Research, 13(4), e126. doi: 10.2196/jmir.1923Felix, G., Indra, J., Mark, C., Samantha, R., Neelam, P., & John, P. (2018). What is an appropriate level of evidence for a digital health intervention? The Lancet, 392(10165), 2665–2667. doi: 10.1016/s0140-6736(18)33129-5Gordon, W. J., Landman, A., Zhang, H., & Bates, D. W. (2020). Beyond validation: getting health apps into clinical practice. Npj Digital Medicine, 3(1), 14. doi: 10.1038/s41746-019-0212-zHennessy, M., Heary, C., Laws, R., Rhoon, L., Toomey, E., Wolstenholme, H., & Byrne, M. (2019). The effectiveness of health professional-delivered interventions during the first 1000 days to prevent overweight/obesity in children: A systematic review. Obesity Reviews, 20(12), 1691–1707. doi: 10.1111/obr.12924Hoffmann, T. C., Glasziou, P. P., Boutron, I., Milne, R., Perera, R., Moher, D., … Michie, S. (2014). Better reporting of interventions: template for intervention description and replication (TIDieR) checklist and guide. BMJ, 348(mar07 3), g1687–g1687. doi: 10.1136/bmj.g1687Kidholm, K., Clemensen, J., Caffery, L. J., & Smith, A. C. (2017). The Model for Assessment of Telemedicine (MAST): A scoping review of empirical studies. Journal of Telemedicine and Telecare, 23(9), 803–813. doi: 10.1177/1357633x17721815Kidholm, K., Ekeland, A. G., Jensen, L. K., Rasmussen, J., Pedersen, C. D., Bowes, A., … Bech, M. (2012). A MODEL FOR ASSESSMENT OF TELEMEDICINE APPLICATIONS: MAST. International Journal of Technology Assessment in Health Care, 28(1), 44–51. doi: 10.1017/s0266462311000638Kowatsch, T., Otto, L., Harperink, S., Cotti, A., & Schlieter, H. (2020). A design and evaluation framework for digital health interventions. It - Information Technology, 61(5–6), 253–263. doi: 10.1515/itit-2019-0019Kristian, K., K., J., Lise, Tue, K., Emilie, N., & B., H., Mette. (2018). Validity of the Model for Assessment of Telemedicine: A Delphi study. J Telemed Telecare, 24(2), 118–125. doi: 10.1177/1357633x16686553Krüger-Brand, & E., H. (2019). Digitale Versorgung-Gesetz: Im Detail noch nachschärfen. Dtsch Arztebl.Li, R., Liang, N., Bu, F., & Hesketh, T. (2020). The Effectiveness of Self-Management of Hypertension in Adults Using Mobile Health: Systematic Review and Meta-Analysis. JMIR MHealth and UHealth, 8(3), e17776. doi: 10.2196/17776Linardon, J., Cuijpers, P., Carlbring, P., Messer, M., & Fuller‐Tyszkiewicz, M. (2019). The efficacy of app-supported smartphone interventions for mental health problems: a meta-analysis of randomized controlled trials. World Psychiatry, 18(3), 325–336. doi: 10.1002/wps.20673Mathews, S. C., McShea, M. J., Hanley, C. L., Ravitz, A., Labrique, A. B., & Cohen, A. B. (2019). Digital health: a path to validation. NPJ Digital Medicine, 2(1), 38. doi: 10.1038/s41746-019-0111-3Moher, D., Schulz, K. F., Simera, I., & Altman, D. G. (2010). Guidance for developers of health research reporting guidelines. PLoS Medicine, 7(2), e1000217. doi: 10.1371/journal.pmed.1000217NICE. (2019). Evidence standards framework for digital health technologies. In: https://www.nice.org.uk/about/what-we-do/our-programmes/evidence-standards-framework-for-digital-health-technologies (Abgerufen am 10.12.2020)Sauerland, S. (2019). Digitale Gesundheitsinterventionen - Wann braucht es welche Evidenz? KVH-Journal, 4/2019.Thurnheer, S. E., Gravestock, I., Pichierri, G., Steurer, J., & Burgstaller, J. M. (2018). Benefits of Mobile Apps in Pain Management: Systematic Review. JMIR MHealth and UHealth, 6(10), e11231. doi: 10.2196/11231Tønning, M. L., Kessing, L. V., Bardram, J. E., & Faurholt-Jepsen, M. (2019). Methodological Challenges in Randomized Controlled Trials on Smartphone-Based Treatment in Psychiatry: Systematic Review. Journal of Medical Internet Research, 21(10), e15362. doi: 10.2196/15362Vilardaga, R., Casellas-Pujol, E., McClernon, J. F., & Garrison, K. A. (2019). Mobile Applications for the Treatment of Tobacco Use and Dependence. Current Addiction Reports, 6(2), 86–97. doi: 10.1007/s40429-019-00248-0Wang, Y., Min, J., Khuri, J., Xue, H., Xie, B., Kaminsky, L. A., & Cheskin, L. J. (2020). Effectiveness of Mobile Health Interventions on Diabetes and Obesity Treatment and Management: Systematic Review of Systematic Reviews. JMIR MHealth and UHealth, 8(4), e15400. doi: 10.2196/15400WHO. (2020). mHealth: new horizons for health through mobile technologies: second global survey on eHealth. Global observatory for eHealth Series, 3.

Zusätzliches

Zitationshinweis: Kernebeck et al.: „Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps “, in: „Monitor Versorgungsforschung“ (02/21), S. 69-75. doi: http://doi.org/10.24945/MVF.02.21.1866-0533.2300

Plain-Text

Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps

Mit der Digitalisierung im Gesundheitswesen sind große Erwartungen an die Qualitätssteigerung der gesundheitlichen Versorgung geknüpft (Mathews et al., 2019), dies gilt besonders für Diagnostik, Prävention sowie für das Management chronischer Krankheiten (Gordon, Landman, Zhang & Bates, 2020). Gesundheits- und Medizin-Apps (GuMA) werden aufgrund der ubiquitären Verfügbarkeit von Smartphones in der Bevölkerung eine besondere Rolle zugesprochen. Jedoch besteht seit längerem eine breite Diskussion hinsichtlich der noch eingeschränkten Evidenz von GuMA, welche in verschiedenen systematischen Übersichtsarbeiten als heterogen eingeschätzt wird (Agarwal, Lefevre & Labrique, 2017; Felix et al., 2018; Mathews et al., 2019). In einem systematischen Review von Bayambasuren et al. recherchierten die Autoren nach systematischen Reviews über randomisiert kontrollierte Studien (RCT) mit verschreibungsfähigen (Prescribable) GuMAs, die zum Download frei verfügbar waren (Byambasuren, Sanders, Beller & Glasziou, 2018). Verschreibungsfähige Apps definieren die Autoren als Apps, die derzeit verfügbar sind, die effektiv sind und die alleinstehend (stand-alone), ohne die Einbindung von Professionellen im Gesundheitswesen angewendet werden. Die Autoren schlossen insgesamt sechs systematische Reviews in ihre Analyse ein, aus denen sie wiederum 23 RCTs zu 22 unterschiedliche GuMAs extrahierten. In lediglich 11 dieser 23 RCTs konnte ein aussagekräftiger Effekt auf die Gesundheit oder auf ausgewählte Surrogatendpunkte nachgewiesen werden, die möglicherweise auf eine GuMA zurückzuführen waren. In der Gesamtbetrachtung war der Nachweis der Wirksamkeit jedoch von eingeschränkter Qualität, was gerade die Verschreibungsfähigkeit dieser Apps für Ärzte deutlich erschwert (Mathews et al., 2019). Ebenfalls monierten die Autoren sowohl bei den sechs eingeschlossenen systematischen Reviews als auch bei den 23 extrahierten RCTs ein hohes Risk of Bias, was ebenfalls zu einer Einschränkung der Ergebnisse beiträgt. Gleichermaßen finden sich in verschiedenen Anwendungsbereichen positive Ergebnisse hinsichtlich der Effektivität. Dies lässt sich etwa für das Selbstmanagement der Hypertonie (Li, Liang, Bu & Hesketh, 2020) oder das Selbstmanagement psychischer Krankheiten konstatieren (Linardon, Cuijpers, Carlbring, Messer & Fuller-Tyszkiewicz, 2019).
Mit der Digitalisierung im Gesundheitswesen sind große Erwartungen an die Qualitätssteigerung der gesundheitlichen Versorgung geknüpft (Mathews et al., 2019), dies gilt besonders für Diagnostik, Prävention sowie für das Management chronischer Krankheiten (Gordon, Landman, Zhang & Bates, 2020). Gesundheits- und Medizin-Apps (GuMA) werden aufgrund der ubiquitären Verfügbarkeit von Smartphones in der Bevölkerung eine besondere Rolle zugesprochen. Jedoch besteht seit längerem eine breite Diskussion hinsichtlich der noch eingeschränkten Evidenz von GuMA, welche in verschiedenen systematischen Übersichtsarbeiten als heterogen eingeschätzt wird (Agarwal, Lefevre & Labrique, 2017; Felix et al., 2018; Mathews et al., 2019). In einem systematischen Review von Bayambasuren et al. recherchierten die Autoren nach systematischen Reviews über randomisiert kontrollierte Studien (RCT) mit verschreibungsfähigen (Prescribable) GuMAs, die zum Download frei verfügbar waren (Byambasuren, Sanders, Beller & Glasziou, 2018). Verschreibungsfähige Apps definieren die Autoren als Apps, die derzeit verfügbar sind, die effektiv sind und die alleinstehend (stand-alone), ohne die Einbindung von Professionellen im Gesundheitswesen angewendet werden. Die Autoren schlossen insgesamt sechs systematische Reviews in ihre Analyse ein, aus denen sie wiederum 23 RCTs zu 22 unterschiedliche GuMAs extrahierten. In lediglich 11 dieser 23 RCTs konnte ein aussagekräftiger Effekt auf die Gesundheit oder auf ausgewählte Surrogatendpunkte nachgewiesen werden, die möglicherweise auf eine GuMA zurückzuführen waren. In der Gesamtbetrachtung war der Nachweis der Wirksamkeit jedoch von eingeschränkter Qualität, was gerade die Verschreibungsfähigkeit dieser Apps für Ärzte deutlich erschwert (Mathews et al., 2019). Ebenfalls monierten die Autoren sowohl bei den sechs eingeschlossenen systematischen Reviews als auch bei den 23 extrahierten RCTs ein hohes Risk of Bias, was ebenfalls zu einer Einschränkung der Ergebnisse beiträgt. Gleichermaßen finden sich in verschiedenen Anwendungsbereichen positive Ergebnisse hinsichtlich der Effektivität. Dies lässt sich etwa für das Selbstmanagement der Hypertonie (Li, Liang, Bu & Hesketh, 2020) oder das Selbstmanagement psychischer Krankheiten konstatieren (Linardon, Cuijpers, Carlbring, Messer & Fuller-Tyszkiewicz, 2019).