Autor: Dr. Susanna Schaffer

Kritisches Lesen von Forschungsarbeiten im EBN

„EBN bzw. Evidence – based Nursing ist die Nutzung der derzeit besten wissenschaftlich belegten Erfahrungen Dritter im Arbeitsbündnis zwischen einzigartigen Pflegebedürftigen und professionell Pflegenden“ (Behrens, Langer 2004, 21).

1 Einleitung

Pflegenden sollte es möglich sein, Forschungsberichte zu lesen und die Ergebnisse für die Praxis zu nützen. Dazu ist es notwendig, sich mit den Forschungsarbeiten konstruktiv-kritisch auseinander zu setzen. Es muss in diesem Zusammenhang daher auch darauf hingewiesen werden, dass nicht alle veröffentlichten Publikationen qualitativ hochwertig sind.
Weiters sollte beim kritischen Lesen die Frage wie viel Vertrauen der Arbeit bzw. deren Ergebnissen entgegengebracht werden kann, einfließen.
Das kritische Beurteilen von Forschungsarbeiten setzt von den Pflegenden gute Kenntnisse im Bereich des Forschungsprozesses sowie der wissenschaftlichen Methoden und Vorgangsweisen voraus.
Beim Lesen von Artikeln in Zeitschriften muss berücksichtigt werden, dass dies meist Zusammenfassungen einer an sich größeren Studie sind und daher in manchen Aspekten der Wert einer Forschungsarbeit schwer oder nicht korrekt zu beurteilen ist (vgl. Mayer 2003, 151).
Das kritische Lesen von Forschungsarbeiten ist notwendig, damit die Pflegepraxis auf seriöses Wissen bauen kann. Es muss angeführt werden, dass es selten perfekte Forschungsarbeiten gibt, dies bedeutet jedoch nicht, dass diese ohne Aussagekraft sind. Wenn kritisch gelesen wird, kann auch einer solchen Studie etwas abgewonnen werden und diese Erkenntnisse können nützlich für die Pflege sein (vgl. Mayer 2003, 153).
In den nachfolgenden Kapiteln wird auf das qualitative und das quantitative Forschungsdesign und die Beurteilungen der jeweiligen Studien eingegangen.

2 Kritische Beurteilung von Forschungsarbeiten

Das kritische Beurteilen von Studien stellt den 4. Schritt im EBN Prozess[1] dar.
Mit der Einstellung, dass Forschung für die Pflegepraxis etwas leisten kann, grundlegenden Kenntnissen im Bereich der Pflegeforschung und den entsprechend formulierten Forschungsfragen kann dieser Schritt in Angriff genommen werden.
Für ein Pflegeproblem / eine Pflegefrage sollten mehrere zu beurteilende Studien im Volltext vorliegen. Es genügt nicht eine einzige Studie, um auf Grund deren Erkenntnisse eine Pflegepraxis verändern zu wollen. Weiters muss überlegt werden, ob die Ergebnisse aus der untersuchten Patientengruppe auf die gefragte Situation übertragbar sind.
Um Studien zu beurteilen, liegen unterschiedliche Beurteilungsbögen (abhängig von der Studie) vor (vgl. Behrens, Langer 2004, 105).
Da jedes Jahr viele Studien veröffentlicht werden, wäre es günstig, wenn genaue Parameter für die Güte einer Studie vorliegen würden. Es gibt solche, doch sind sie stark von Fragestellungen und Zweck abhängig. Laut Behrens (vgl. 2004, 107) gilt als oberste Regel für klinische Pflegeentscheidungen, wenn keine Laborforschungsergebnisse vorliegen, dass die quantitativen Untersuchungen in qualitative eingebettet sein müssen. Es gibt keinen für alle Handlungsprobleme geeigneten besten Studientyp, sondern es ist der im jeweiligen Handlungskontext geeignetste wichtig.
Daher ist es notwendig, in der Beurteilung von Pflegestudien, das jeweilige Forschungsdesign zu berücksichtigen.

2.1 Forschungsdesign

Darunter versteht man die Planung einer Forschung je nach Forschungsfrage. Nach verfügbaren Messinstrumenten wird das entsprechende Design ausgewählt.
Qualitativ wird unter anderem dann angewendet, wenn PatientInnen von gelebten Erfahrungen in Bezug auf eine Erkrankung berichten, quantitativ dann, wenn etwas mit Zahlen zu erheben ist (wie viele Personen sind von einer bestimmten Erkrankung betroffen).
EBN konzentriert sich auch darauf, ob das beste verfügbare Wissen auf eine Fragestellung aus der Praxis angewendet wurde und ob diese Fragestellung mit dem verwendeten Design optimal beantwortet wurde. Idealerweise geht eine qualitative Erhebung einer quantitativen voraus (vgl. Behrens, Langer 2004,110f).
Zusammenfassend lässt sich sagen, es gibt kein besseres oder schlechteres Untersuchungsdesign, sondern nur ein für die entsprechende Fragestellung aus der Pflegepraxis ein Geeignetes.

2.1.1 Qualitatives Forschungsdesign

Dieser Ansatz hat seine Wurzeln in den verstehenden wissenschaftstheoretischen Ansätzen wie im Interpretativismus, in der Phänomenologie und im symbolischen Interaktionismus. Der Mensch wird ganzheitlich als komplexes Wesen betrachtet. Die Wahrheit ist nicht wie in den Naturwissenschaften etwas Objektives, sondern etwas Subjektives (eine vom Subjekt ausgehende Beobachtung). Jeder Mensch nimmt Situationen und Dinge unterschiedlich wahr und interpretiert sie daher auch unterschiedlich – daher kann es keine objektive Wahrheit geben. Im qualitativen Forschungsdesign will man menschliches Erleben aus der Perspektive des Betroffenen wahrnehmen und verstehen.

Qualitative Forschung ist nicht theoriegeleitet, also induktiv[2], man bedient sich offener nicht standardisierter Methoden und wertet die Daten aus, indem man sie interpretiert. Eine Verallgemeinerung der Daten ist nicht das Ziel, sondern Ziel ist Theorien zu entwickeln.


Zu den qualitativen Methoden zählen:

Phänomenologie: ist die Lehre von den konkreten Erscheinungen, hier werden Dinge und Phänomene untersucht, wie sie erscheinen.
Grounded Theory: man möchte gesellschaftliche Prozesse (im Gegensatz zu Einzelphänomen) aus der Perspektive der menschlichen Interaktion untersuchen. Datensammlung und Datenauswertung werden einander abwechselnd durchgeführt.
Ethnografie: es werden kulturelle Gruppen oder Lebenswelten aus deren Sichtweise beschrieben.
Historische Methode: kann sowohl qualitativ wie auch quantitativ sein, im Zentrum stehen vergangene Ereignisse (vgl. Mayer 2003,65 – 68).
Biografische Verfahren: ist in der deutschsprachigen Pflegeforschung verbreitet und wird heute meist mit narrativen Interviews betrieben (vgl. Behrens, Langer 2004, 125).

2.1.1.1 Methoden der Datensammlung

Meist werden in nachstehender Abfolge - Handlungsprotokolle, Beobachtungen (teilnehmend, nichtteilnehmend), Interviews (Unterscheidungen auf Grund des Strukturierungsgrades[3], nach Typ des Interviews[4]) und Dokumentenanalysen (Aufzeichnungen aus Pflegedokumentationen, Tagebüchern, Notizen eines Teilnehmers, ua.) durchgeführt.
Auf Tonband / Video aufgezeichnete Interviews werden transkribiert und dann analysiert (vgl. Behrens / Langer 2004, 127f).

2.1.1.2 Methoden der Datenauswertung

Qualitative Daten können mit unterschiedlichen Methoden[5], abhängig von den Forschungsfragen und der Methode der Datensammlung, ausgewertet werden.

2.1.1.3 Allgemeine Beurteilungskriterien

Zuerst muss die Frage nach der Glaubwürdigkeit der Studienergebnisse und danach, ob die Ergebnisse für die Pflege meiner PatientInnen / KlientInnen nützlich sind, gestellt werden.
Glaubwürdigkeit:

• Geben die ForscherInnen unvoreingenommen die Aussagen ihrer Interviewpartner wider?
• Wie wurden die Textmengen bearbeitet (Schritt für Schritt – Analyse)?
• Sind alternative Lesarten zum interpretierten Text gesucht worden?
• Ist die Leseart mit dem Text vereinbar – nicht vereinbar – durch den Text selbst nicht überprüfbar?
• Werden die Ergebnisse auf das theoretische Vorverständnis bezogen?
• Ergebnis wird als materialgesättigter, methodisch kontrollierter expliziter Fall für die nächste Untersuchung angesehen (Grounded Theory).

Nutzen für die eigenen PatientInnen:

2.1.1.4 Einzelfragenbeurteilung

Auch in qualitativen Studien gilt es zu beschreiben, wie die Auswahl der Probanden erfolgte. Weitere Beurteilungskriterien werden angeführt (vgl. Behrens, Langer 2004, 131 – 134):

• Ist die Forschungsfrage klar formuliert?
• Welches qualitative Design wurde mit welcher Begründung gewählt?
• Wurde eine Literaturrecherche durchgeführt
• Wurden die Probanden adäquat zur Forschungsfrage ausgewählt und die Auswahl auch begründet?
• Wurden sowohl die Teilnehmer, wie ihr Umfeld und die ForscherInnen beschrieben?
• Wurde die Datensammlung genau beschrieben?
• Wie erfolgte die Datenanalyse?
• Erfolgte die Datensammlung bis zur Sättigung[6]?
• Sind die Ergebnisse ausführlich und nachvollziehbar?
• Wurden die Ergebnisse bestätigt?
• Helfen mir die Ergebnisse, die untersuchten Probanden in ihrer Umgebung besser zu verstehen?
• Gibt es konkrete Möglichkeiten die Ergebnisse anzuwenden?
  

2.1.2 Quantitatives Forschungsdesign

Die Wurzeln der quantitativen Forschung liegen im Positivismus und im kritischen Realismus. Menschen unterscheiden sich auf Grund biologischer, psychologischer und sozialer Merkmale. Man geht davon aus, dass die Wahrheit objektive Wirklichkeit ist, die gemessen werden kann und mit den Sinnen erfassbar ist.
Ziel der quantitativen Forschung ist, theoretische Annahmen deduktiv[7] zu prüfen. Es geht darum allgemeine Aussagen zu machen und daraus Gesetzmäßigkeiten ableiten (vgl. Mayer 2003, 64).

Wie im qualitativen Studiendesign, gibt es auch im quantitativen verschiedene Designs der Datensammlung und Datenauswertung.

2.1.2.1 Randomisierte kontrollierte Studien (RCT)

Diese Studien sind experimentelle Studien, die Teilnehmer werden durch Zufall[8] ausgewählt und so der Interventionsgruppe und Kontrollgruppe zugeteilt (jeder hat die gleiche Chance in jede Gruppe zu kommen). ForscherInnen beurteilen dann, ob ein bestimmtes Ereignis in einer Gruppe häufiger auftritt als in der anderen Gruppe.
Verblindung des Untersuchers: Untersucher weiß nicht, ob ein Teilnehmer eine Intervention erhält oder nicht.
Doppelblindstudie: Verblindung von Teilnehmer und Untersucher (fast alle beeinflussenden Faktoren sind ausgeschaltet, dies ist auch der Goldstandard für Interventionsstudien. Die Datensammlung erfolgt von der Exposition zum Ereignis. (vgl. Behrens, Langer 2004, 135f).

2 1.2.2 Kontrollierte klinische Studien

Merkmale die untersucht werden sollten, sind in der Interventionsgruppe schon vorhanden, die Kontrollgruppe wird aus möglichst „ähnlichen“ Individuen zusammengestellt, eine Verblindung ist daher oft sehr schwierig.

2.1.2.1.3 Querschnittsstudie

Bei einer Gruppe ausgewählter Individuen werden bestimmte Merkmale zum gleichen Zeitpunkt untersucht. Diese Studien sind kostengünstig, da sie kein Follow – Up benötigen. Diese Studien sind nicht geeignet, wenn es darum geht Ursachen und die Auswirkungen zu erheben (vgl. Behrens, Langer 2004, 139).

2.1.2.1.4 Meta-Analysen und systematische Übersichtsarbeiten

Diese bieten eine relativ objektive Übersicht zum Forschungsstand in einem speziellen Gebiet. Auf Grund der Stichprobengröße sind die Schlussfolgerungen präziser. Die daraus resultierenden unterschiedlichen Ergebnisse und Studien können zu neuen Hypothesen führen (vgl. Behrens, Langer 2004, 148).

2.1.3 Interventionsstudien

Interventionsstudien sind oft in der Pflege angewendete Studien.
Nachfolgend sollten wichtige Begriffe aus der Statistik und Beurteilungen von Interventionsstudien besprochen werden.

2.1.31 Beurteilungen von Interventionsstudien

Anhand verschiedener Bewertungsbögen / Checklisten ist es möglich Interventionsstudien zu beurteilen.
Grundlagen der Bewertung sind:

• Wie wurden die Teilnehmer rekrutiert und den Untersuchungsgruppen zugeteilt?
• Wie viele zu Pflegende, die zu Beginn in der Studie waren, waren am Ende noch dabei?
• Welche Art der Verblindung wurde angewendet?
• Waren sich die Untersuchungsgruppen zu Beginn der Studie ähnlich?
• Wurden die Untersuchungsgruppen – außer der Intervention – gleich behandelt?
• Wurden die Teilnehmer in der per Randomisierung zugeteilten Gruppe bewertet?
• War die Größe der Stichprobe (Power) entsprechend?
• Stehen die Ergebnisse in Einklang mit anderen Untersuchungen zu diesem Thema?
• Wie ausgeprägt war der Behandlungseffekt?
• Sind die Ergebnisse nicht nur durch Zufall zustande gekommen?
• Wie präzise sind die Ergebnisse?
• Sind die Ergebnisse auf meine PatientInnen und meine Organisation übertragbar?
• Wurden alle wichtigen Ergebnisse betrachtet?
• Ist der Nutzen die möglichen Risken und Kosten wert?

Gesamtbeurteilung der Glaubwürdigkeit der Studie (vgl. Behrens, Langer 2004, 163 – 167).

2.1.3.2 Begriffsklärungen

2.1.4 Diagnosestudien

Die nächsthäufigsten Studien im Gesundheitsbereich sind Diagnosestudien, sowohl in der Diagnostik wie im Screening.
Um diagnostische Tests zu überprüfen, werden Pflegebedürftige die ein bestimmtes Merkmal, welches mit dem Test erfasst werden soll, aufweisen ausgewählt. Man führt bei diesen Individuen sowohl den neuen Test und auch den als am zuverlässigsten beschriebenen Test (Goldstandard) zum Vergleich durch.
Beide Tests werden unabhängig voneinander ausgewertet (vgl. Behrens, Langer 2004, 168 – 169).

2.1.4.1 Beurteilung von Diagnosestudien

Auch für diese Studien liegen Checklisten vor.

• Wurde der neue Test mit einem validierten Goldstandard verglichen?
• Wie war die Verblindung?
• Waren die getesteten PatientInnen beispielhaft für jene die später mit diesem Test überprüft werden?
• Hatte das Ergebnis des neuen Tests einen Einfluss auf die Entscheidung, den Goldstandard zum Vergleich durchzuführen?
• Sind die Testmethoden so genau beschrieben, dass dieser wiederholt werden kann?
  Wurde genau definiert was normal ist und was krankhaft?
• Ist der Test für mich überhaupt durchführbar?
• Sind die Ergebnisse übertragbar?
• Ist ein Nutzen/Kosten/Risikovergleich möglich (vgl. Behrens, Langer 2004, 174 – 176)?

2.1.4.2 Statistische Werte und Begriffe

• Sensitivität: Ist die Anzahl der Personen mit einer Erkrankung, also Kranke, die ein positives Testergebnis haben. Damit ist es möglich Gesunde richtig zu identifizieren und es wird ermöglicht keine Krankheit zu übersehen (vgl. Behrens, Langer 2004, 171). Die Sensitivität sollte im Test 80% sein.
• Spezifität: Ist die Anzahl der Personen ohne Erkrankung, also Gesunde, die einen negativen Test haben. Hohe Spezifität identifiziert vor allem Kranke als krank und wird zur Diagnosebestätigung verwendet. Der Wert sollte 80% erreichen.
• ROC-Kurven: sind grafische Darstellungen eines mehrstufigen diagnostischen Tests, seine Ergebnisse können verschiedene Werte für die Sensitivität und Spezifität annehmen.
• Genauigkeit und Prävalenz: meint die Anzahl der erkrankten Personen, also wie viel Prozent der Menschen wurden richtig als krank und richtig als gesund eingestuft (vgl. Behrens, Langer 2004, 171 – 173).
• Effizienz: Instrumente können unterschiedlich effizient sein. Wie viel Zeit ist notwendig um einen bestimmten Test auszufüllen. Dies ist abhängig von der Itemszahl. Grundsätzlich sollte ein möglichst effizientes Instrument eingesetzt werden. Mit der Spearman-Brown Formel kann vorausgesagt werden, um wie viel geringer die Reliabilität des Instrumentes wird, wenn die Itemszahl von 40 auf 30 reduziert wird (vgl. Schwarz 2004, Lehrunterlage).
• Reliabilität: Gibt an wie zuverlässig eine Studie ist, und gibt dadurch Antwort, ob bei Wiederholung der Studie gleiche Ergebnisse erzielt werden könnten.
• Stabilität: Stimmen die Ergebnisse wiederholter Messungen miteinander überein?
  Equivalenz: Übereinstimmung von zwei Versionen des gleich paper-and-pencil Instrumentes oder die Übereinstimmung von zwei Beobachtern welche die gleiche Situation bewerten (= die Interrater Reliabilität). Voraussetzung sind 10 Personen oder Situationen zu beurteilen. Durchgeführte Varianzanalysen müssen einen Wert von mindestens 0.80 ergeben.
• Interne Konsistenz: zeigt, wie verschiedene Items miteinander korrelieren. Cronbach´s alpha wird berechnet, 1.00: jedes Item würde genau das gleiche Thema messen. Anzustreben ist ein Wert von 0.80 bis 0.90. Die Cohen´s Kappa zeigt die Korrelation eines Items mit einem anderen oder die Korrelation eines Items mit dem Gesamtwert des Instrumentes. Die Durchführung erfolgt mit einer Faktorenanalyse – Items mit niedrigen Wert sind zu streichen (vgl. Schwarz 2004, Lehrunterlage).
• Validität: Gültigkeit bzw. Generalisierbarkeit der Studie, die Validität gibt Antwort auf die Frage, ob die Studie das misst, was sie messen soll und ob die Ergebnisse der Studie auch auf außerhalb übertragbar ist.
  • Inhaltliche Validität: Enthält die Frage, ob der Begriff alle wesentlichen Elemente beinhaltet. Erhebbar aus der Literatur, Experten und Vertreter der für den Begriff relevanten Population (vgl. Schwarz 2004, Lehrunterlage).
  • Kriterienbezogene Validität: Besteht eine Verbindung zwischen einem bestimmten Kriterium und dem Instrument.
  • Konstruktvalidität: Was misst dieses Instrument wirklich? (vgl. Schwarz 2004, Lehrunterlage)

2.1.5 Meta-Analysen und Systematische Übersichtsarbeiten

Eine Übersichtsarbeit oder Review enthält den Stand der Forschung auf einem speziellen Gebiet, ohne Ein- und Ausschlusskriterien.
Eine Systematische Übersichtsarbeit wählt streng nach festgelegten Methoden Beiträge / Studien ausgewählt, daher sind dort nur Studien bestimmter Qualität enthalten. Daher sollte zuerst immer nach einer Übersichtsarbeit gesucht werden – es verkürzt, wenn eine zum gesuchten Thema vorhanden ist, den Schritt der Suche und der Beurteilung von Einzelstudien (vgl. Behrens, Langer 2004, 195).

2.1.5.1 Beurteilung einer Systematischen Übersichtsarbeit und Meta-Analyse

Auch für diese Studien gibt es unterschiedliche Bewertungsbögen[9], welche teilweise modifiziert und angepasst wurden.

• Wurde eine genaue Fragestellung untersucht?
• Waren die Einschlusskriterien für die Auswahl der Studie angemessen?
• Ist es unwahrscheinlich, dass relevante Studien übersehen wurden?
• Wurde die Glaubwürdigkeit der Studien mit passenden Kriterien eingeschätzt?
• Ist die Beurteilung nachvollziehbar?
• Stimmen die Forscher bei der Bewertung überein?
• Waren die Studien ähnlich?
• Welche Ergebnisse liegen vor?
• Wie genau sind diese Ergebnisse?
• Sind diese auf meine PatientInnen übertragbar?
• Wurden alle wichtigen Ergebnisse angeschaut?
• Wie ist die Kosten-Risiko-Nutzenrechnung?

Diese Kriterien müssen einzeln genau durchgegangen und einer Bewertung zugeführt werden.

2.1.5.2 Statistiken in Systematischen Übersichtsarbeiten und Meta-Analysen

3 Literaturverzeichnis

Behrens, Johann; Langer, Gero (2004): Evidence-based Nursing. Vertrauensbildende Entzauberung der Wissenschaft. Bern / Göttingen / Toronto / Seattle.

Mayer, Hanna (2003): Pflegeforschung. Elemente und Basiswissen. Wien.

Schwarz, Waltraud (2004): Legende zur kritischen Bewertung von Studien. Lehrunterlage. Wien.

[1] Schritt 1: Aufgabenklärung, Schritt 2: Probleme formulieren, 3: Literaturrecherche, Schritt 4: Kritische Beurteilung von Studien, Schritt 5: Veränderung der Praxis, Schritt 6: Evaluation von Wirkungsketten – Qualitätsmanagement und EBN (vgl. Behrens / Langer 2004)
[2] Induktiv bedeutet ein Schlussfolgern vom Besonderen zum Allgemeinen
[3] in der qualitativen Forschung nicht strukturierte und semistrukturierte Interviews
[4] narratives, fokussiertes, problemzentriertes und Tiefeninterview
[5] auf Grund der Vielfältigkeit an Auswertungsmöglichkeiten sollte in entsprechender Literatur nachgelesen werden: Mayring, Philipp 1990: Qualitative Inhaltsanalyse. Grundlagen und Techniken. Weinheim.
Mayring, Philipp 1990: Einführung in die qualitative Sozialforschung. München.
Friebertshäuser, Barbara; Prengel, Annedore (Hrsg.) 1997: Handbuch Qualitative Forschungsmethoden in der Erziehungswissenschaft. Weinheim und München.
Lamnek, Siegfried 1995: Qualitative Sozialforschung. Methodologie. Band 1 – Methoden und Techniken. Band 2. München / Weinheim.
[6] Zustand bei der Auswertung von qualitativen Daten, indem durch die Analyse von neuen Daten keine weiteren Ergänzungen und Erkenntnisse erlangt werden (Behrens, Langer 2004, 249).
[7] Schlussfolgern vom Allgemeinen zum Besonderen
[8] Randomisierung bewirkt eine gleichmäßige Verteilung von bekannten und unbekannten Einflussgrößen (vgl. Behrens, Langer 2004, 136).
[9] Vgl. Oxman et al. 1994, Brown 1999, Sackett et al. 2000)
[10] Darstellung einer Meta-Analyse (vgl. Behrens, Langer 2004, 200)

EBN-Netzwerk Österreich