Trafność i rzetelność narzędzia badawczego w pracy dyplomowej

Napisałeś własną ankietę, rozdałeś ją stu osobom i masz komplet wyników. Potem na seminarium pada pytanie, na które trudno odpowiedzieć z marszu: skąd wiesz, że twój kwestionariusz w ogóle mierzy to, co miał mierzyć, i że zrobił to dokładnie? To są dwa osobne pytania, a odpowiadają na nie dwa pojęcia, które studenci najczęściej mylą: trafność i rzetelność. Recenzent sprawdzi je w rozdziale metodologicznym, zanim w ogóle spojrzy na twoje wnioski, bo jeśli narzędzie jest wadliwe, to wszystko, co z niego wyliczyłeś, jest wątpliwe. Poniżej rozkładamy oba pojęcia na części: czym się różnią, jakie mają rodzaje, jak je sprawdzić w pracy licencjackiej i magisterskiej, i co naprawdę znaczy słynna alfa Cronbacha.

Trafność i rzetelność: dwa różne pytania o narzędzie

Trafność odpowiada na pytanie, czy narzędzie mierzy to, co zamierzałeś zmierzyć. Jeśli budujesz skalę satysfakcji z pracy, a pytania w rzeczywistości dotyczą relacji z przełożonym, narzędzie jest nietrafne, choćby działało bardzo precyzyjnie. Rzetelność odpowiada na inne pytanie, czy pomiar jest dokładny i powtarzalny, czyli w jakim stopniu wynik jest wolny od błędu losowego. Rzetelne narzędzie użyte dwukrotnie w tych samych warunkach daje zbliżone wyniki.

Najprościej zobaczyć różnicę na tarczy strzeleckiej. Rzetelność to ciasne skupienie strzałów, wszystkie trafiają blisko siebie, nieważne gdzie. Trafność to skupienie wokół środka tarczy. Da się strzelać bardzo równo, lecz systematycznie obok dziesiątki, czyli mieć narzędzie rzetelne, a nietrafne. Nie da się natomiast trafiać w sam środek przy strzałach rozrzuconych po całej tarczy. Dlatego w metodologii powtarza się, że rzetelność jest warunkiem koniecznym trafności, ale niewystarczającym. Narzędzie musi najpierw mierzyć dokładnie, żeby w ogóle mogło mierzyć trafnie, lecz sama dokładność nie gwarantuje, że mierzy właściwą cechę.

Z tej zależności płynie praktyczny wniosek dla kolejności pracy. Najpierw ustalasz, co dokładnie chcesz zmierzyć i jak zamieniasz pojęcie na konkretne pytania, czyli robisz operacjonalizację zmiennych i wskaźników. Dopiero potem sprawdzasz, czy zbudowane na tej podstawie pytania są dokładne i czy trzymają się pojęcia, które miały reprezentować.

Po co to sprawdzać w pracy dyplomowej

Łatwo potraktować trafność i rzetelność jako formalność z podręcznika, ale recenzent czyta to jako sygnał, czy potrafisz myśleć o pomiarze. Zakres obowiązków zależy przy tym od jednej decyzji, którą podejmujesz na etapie metodologii: korzystasz z gotowego, sprawdzonego narzędzia czy budujesz własne.

Gdy sięgasz po kwestionariusz ankiety opublikowany i zwalidowany przez innych badaczy, nie musisz dowodzić jego trafności od zera. Wystarczy, że powołasz się na autorów i podasz właściwości psychometryczne, które oni ustalili, a sam policzysz rzetelność na własnej próbie, żeby pokazać, że w twoich warunkach narzędzie też działa. Gdy tworzysz autorską ankietę, odpowiedzialność przechodzi na ciebie. Wtedy recenzent oczekuje, że opiszesz, jak zadbałeś o trafność treściową i jak sprawdziłeś spójność pytań, a przynajmniej że przeprowadziłeś badanie pilotażowe.

Rodzaje trafności

Trafność nie jest jedną liczbą, tylko zbiorem argumentów na rzecz tego, że narzędzie mierzy właściwą cechę. W pracy dyplomowej spotkasz przede wszystkim cztery jej odmiany.

Rodzaj trafności	Na co odpowiada	Jak się ją sprawdza
Treściowa	Czy pytania pokrywają całą mierzoną cechę	ocena sędziów kompetentnych, analiza definicji pojęcia
Fasadowa	Czy narzędzie na pierwszy rzut oka wygląda na sensowne	ocena wrażenia badanych i odbiorców
Kryterialna	Czy wynik zgadza się z zewnętrznym kryterium	korelacja z inną miarą (diagnostyczna) lub z przyszłym zdarzeniem (prognostyczna)
Teoretyczna	Czy narzędzie zachowuje się zgodnie z teorią cechy	analiza czynnikowa, trafność zbieżna i różnicowa

Trafność treściowa pyta, czy pozycje kwestionariusza pokrywają całe pojęcie, a nie tylko jego wycinek. Ocenia się ją najczęściej metodą sędziów kompetentnych, czyli ekspertów w danej dziedzinie, którzy orzekają, czy każda pozycja należy do mierzonej cechy i czy razem reprezentują ją w całości. Trafność fasadowa dotyczy pierwszego wrażenia, tego, czy narzędzie wygląda na sensowne dla osoby, która je wypełnia; sama w sobie jest słabym dowodem, lecz jej brak potrafi zniechęcić badanych. Trafność kryterialna sprawdza, czy wynik zgadza się z niezależnym kryterium, przy czym dzieli się na diagnostyczną, gdy kryterium mierzysz w tym samym czasie, i prognostyczną, gdy przewidujesz coś w przyszłości. Trafność teoretyczna, nazywana też konstruktową, bada, czy narzędzie zachowuje się tak, jak przewiduje teoria stojąca za mierzoną cechą, i to ją najczęściej potwierdza się analizą czynnikową.

Rodzaje rzetelności

Rzetelność także ma kilka ujęć, bo błąd pomiaru można oszacować na różne sposoby. Trzy podejścia wracają w pracach dyplomowych najczęściej.

Zgodność wewnętrzna mówi, w jakim stopniu pozycje jednej skali mierzą to samo, i to ją wyraża alfa Cronbacha. Stabilność bezwzględna ocenia, czy narzędzie daje zbliżone wyniki przy powtórzeniu po jakimś czasie, i mierzy się ją metodą test-retest, czyli dwukrotnym badaniem tej samej grupy w odstępie kilku tygodni, a następnie policzeniem korelacji między obydwoma pomiarami. Równoważność sprawdza zgodność dwóch wersji tego samego narzędzia albo zgodność ocen różnych sędziów, gdy pomiar polega na obserwacji.

W pracy magisterskiej opartej na własnym kwestionariuszu zwykle raportuje się co najmniej zgodność wewnętrzną, a jeśli pozwala na to czas, dokłada się test-retest na mniejszej podgrupie. Obie liczby liczy się na danych, więc warto mieć z tyłu głowy, że to już jest analiza statystyczna, a nie opis jakościowy.

Alfa Cronbacha: jak ją czytać

Alfa Cronbacha to współczynnik zgodności wewnętrznej, opisany po raz pierwszy przez Lee Cronbacha, który przyjmuje wartości od 0 do 1 i mówi, na ile pozycje jednej skali są ze sobą powiązane. Im wyższa wartość, tym bardziej pytania mierzą wspólną cechę. W raportowaniu przyjęło się kilka progów interpretacyjnych.

Za minimalną wartość pożądaną w pracach uznaje się zwykle przedział 0,6–0,7. Wynik poniżej 0,6 sygnalizuje, że skala prawdopodobnie miesza kilka różnych cech albo zawiera pozycje źle sformułowane. Są tu dwie pułapki, o których warto wiedzieć, zanim wpiszesz liczbę do pracy. Pierwsza: wysoka alfa nie dowodzi, że skala jest jednowymiarowa, bo współczynnik rośnie wraz z liczbą pozycji, więc długi kwestionariusz potrafi osiągnąć zadowalającą wartość nawet przy słabym powiązaniu pytań. Druga: alfa mówi o rzetelności, a nie o trafności, więc świetna zgodność wewnętrzna nie przesądza, że mierzysz właściwą cechę. Dlatego alfę raportuje się razem z argumentami za trafnością, nie zamiast nich.

Jak walidacja wygląda w praktyce

Najlepiej zobaczyć to na realnym przykładzie, bo pokazuje, w jakiej kolejności układa się dowody. Magdalena Boczkowska opisała polską adaptację Skali Resilience Nauczycieli, narzędzia służącego do pomiaru zdolności adaptacyjnych, które sprawdziła na próbie 317 nauczycieli (Boczkowska 2021, s. 109). Procedura przeszła przez kilka wyraźnych etapów, które dobrze oddają całą logikę walidacji.

• Krok 1 Opracowanie polskiej wersji językowej narzędzia, czyli tłumaczenie i dostosowanie pozycji do realiów badanej grupy.
• Krok 2 Sprawdzenie struktury wewnętrznej, w którym analiza czynnikowa potwierdziła czteroczynnikowy układ skali (Boczkowska 2021, s. 109).
• Krok 3 Oszacowanie rzetelności współczynnikiem alfa Cronbacha.
• Krok 4 Weryfikacja stabilności metodą test-retest.
• Krok 5 Ustalenie trafności teoretycznej, zbieżnej i kryterialnej.

W kroku trzecim rzetelność całej skali wyniosła 0,84, a poszczególne podskale uzyskały wartości od 0,65 do 0,89 (Boczkowska 2021, s. 120). Przy okazji autorka przytacza wartości dla znanych narzędzi pokrewnych, podając alfę 0,89 dla skali CD-RISC i przedział od 0,73 do 0,83 dla skali RSA (Boczkowska 2021, s. 112), co daje punkt odniesienia, jaki poziom uznaje się w tej dziedzinie za dobry. Stabilność sprawdzono na podgrupie 65 osób badanych dwukrotnie w odstępie dwóch tygodni; współczynniki korelacji między pomiarami ułożyły się w przedziale od 0,73 do 0,83 przy p poniżej 0,001 (Boczkowska 2021, s. 121). To jest wzorcowy test-retest, bo pokazuje, że wynik nie zmienia się przypadkowo z tygodnia na tydzień.

Strukturę teoretyczną potwierdza się zwykle konfirmacyjną analizą czynnikową, a jej wynik raportuje się zestawem wskaźników dopasowania modelu. W przywołanej adaptacji model czteroczynnikowy uzyskał między innymi RMSEA równe 0,073 (Boczkowska 2021, s. 120). Takie wskaźniki są dziś standardem także poza Polską. W badaniu walidacyjnym skali gotowości studentów medycyny do pracy ze sztuczną inteligencją model czteroczynnikowy osiągnął RMSEA 0,094, CFI 0,938 i TLI 0,928 (Karaca, Çalışkan i Demir 2021, s. 1), czyli zbliżony zestaw miar, które recenzent chce zobaczyć przy dowodzeniu trafności teoretycznej.

Co zrobić, gdy czasu i próby jest mało

Większości prac licencjackich nie stać na pełną procedurę psychometryczną z analizą czynnikową, bo wymaga ona dużej próby i zaawansowanej statystyki. To nie znaczy, że masz pominąć temat. Minimum, którego oczekuje promotor, da się zrobić mniejszym nakładem.

• Zadbaj o trafność treściową zawczasu. Zanim zbierzesz dane, pokaż kwestionariusz dwóm, trzem osobom znającym temat i poproś o ocenę, czy pytania pokrywają całe pojęcie. To uproszczona wersja metody sędziów kompetentnych.
• Przeprowadź badanie pilotażowe. Rozdaj narzędzie kilkunastu osobom z grupy docelowej, żeby wychwycić pytania niezrozumiałe, dwuznaczne albo pomijane. Pilotaż chroni przed sytuacją, w której błąd w ankiecie wychodzi dopiero po zebraniu całej próby.
• Policz alfę Cronbacha dla skal. Jeśli twój kwestionariusz zawiera skale złożone z kilku pozycji, zgodność wewnętrzną policzysz w każdym programie statystycznym i zaraportujesz jedną liczbą na skalę.
• Dobierz próbę świadomie. Rzetelność i trafność liczy się na danych, więc ich jakość zależy od tego, jak zaplanujesz dobór próby badawczej; zbyt mała albo przypadkowo zebrana grupa zaniża wiarygodność każdego współczynnika.

Dla narzędzia gotowego procedura jest krótsza. Wystarczy powołać autorów i podane przez nich właściwości psychometryczne, a dla pewności policzyć alfę na własnej próbie i porównać ją z wartością oryginalną. Jeśli twój wynik jest wyraźnie niższy, warto zastanowić się, czy narzędzie pasuje do badanej grupy.

Najczęstsze błędy

Przy opisie trafności i rzetelności wracają te same potknięcia, niezależnie od kierunku.

• Mylenie obu pojęć. Studenci piszą „narzędzie jest rzetelne, więc mierzy to, co trzeba”. To skrót myślowy, bo rzetelność nic nie mówi o trafności.
• Alfa jako jedyny dowód. Sama zgodność wewnętrzna nie wystarcza; recenzent chce zobaczyć też argument za trafnością treściową albo teoretyczną.
• Brak pilotażu przy autorskiej ankiecie. Własne narzędzie bez żadnego sprawdzenia przed badaniem zasadniczym to najłatwiejszy zarzut do postawienia.
• Przepisana definicja bez zastosowania. Rozdział, który recytuje rodzaje trafności z podręcznika, lecz nie mówi, które z nich i jak sprawdzono w tej konkretnej pracy, nie liczy się jako dowód.
• Pomylenie poziomu pomiaru. Alfę Cronbacha liczy się dla skal złożonych z wielu pozycji, a nie dla pojedynczego pytania czy zmiennej nominalnej.

Najczęstsze pytania

Czy w pracy licencjackiej muszę liczyć alfę Cronbacha? Nie zawsze, ale jeśli twój kwestionariusz zawiera skale złożone z kilku pozycji mierzących jedną cechę, to warto, bo jest to najprostszy dowód rzetelności i policzysz go w każdym programie statystycznym.

Jaka wartość alfy jest wystarczająca? W badaniach przyjmuje się zwykle minimum w przedziale 0,6–0,7, a wartości powyżej 0,8 uznaje się za dobre. Niższy wynik nie przekreśla pracy, ale wymaga komentarza, co mogło go obniżyć.

Czym różni się trafność od rzetelności w jednym zdaniu? Trafność mówi, czy mierzysz właściwą cechę, a rzetelność, czy mierzysz ją dokładnie i powtarzalnie. Narzędzie może być rzetelne, a mimo to nietrafne.

Czy muszę robić analizę czynnikową? W pracy licencjackiej zwykle nie, bo wymaga dużej próby i zaawansowanej statystyki. W pracy magisterskiej opartej na autorskim narzędziu bywa oczekiwana, zwłaszcza gdy twierdzisz, że skala ma określoną strukturę.

Podsumowanie

Trafność i rzetelność to dwa osobne pytania o to samo narzędzie: czy mierzy właściwą cechę i czy robi to dokładnie. Rzetelność jest warunkiem koniecznym trafności, lecz jej nie gwarantuje, więc dobre narzędzie musi spełniać oba warunki naraz. Rodzaje trafności, treściowa, kryterialna i teoretyczna, dostarczają różnych argumentów za tym, że pomiar trafia w cel, a rzetelność sprawdzisz alfą Cronbacha i metodą test-retest. Jeśli korzystasz z gotowego, zwalidowanego narzędzia, powołaj autorów i policz alfę na własnej próbie. Jeśli budujesz własne, zadbaj o trafność treściową, przeprowadź pilotaż i opisz zgodność wewnętrzną. Reszta warsztatu badawczego, od wyboru między podejściem ilościowym a jakościowym po pełny plan metodologii badań, składa się w całość, w której trafne i rzetelne narzędzie jest fundamentem wiarygodnych wniosków. Gotowe wzory opisu narzędzia i walidacji krok po kroku znajdziesz w poradniku na praca-magisterska.pl.