SCIENCE

Z wędzidłem czy bez, czyli „Trudne sprawy” w nauce…

Bardzo często i chętnie powołujemy się na badania naukowe. Badanie naukowe – to brzmi dumnie! Wiecie co mam na myśli, tak elegancko błysnąć w towarzystwie niczym kot-naukowiec w hipsterskich oksach, że niby prenumerujemy jakiś naukowy periodyczek i jak zwykle ci Amerykańscy naukowcy odkryli… Niestety rzadko kiedy sprawdzamy jaki jest poziom danego dowodu naukowego, jak dane badanie zostało zaprojektowane, jaka jest liczebność grup badanych, zastosowane metody statystyczne… czy ktoś z was w ogóle to sprawdza czy tylko ja mam takie skrzywienie? A wszystko to ma olbrzymie znaczenie, aby móc powiedzieć, że wnioski z badania są rzetelne i wiarygodne.
[O badaniach naukowych pisałam w ostatnim wpisie – O TUTAJ].

Postanowiłam wziąć na tapetę pewne dość kontrowersyjne badanie o którym głośno było w zeszłym roku zaraz po jego publikacji. Mój najukochańszy Małżonek mówi do mnie: „Zastanów się czy chcesz pisać o tym badaniu, bla bla bla, to się może komuś nie spodobać, bla bla bla, przecież nie chcesz wywoływać g.burzy, bla bla bla, po co zrażać do siebie ludzi”. On czasami lubi tak posmęcić, wiecie to taki typ trochę zamknięty w sobie, trochę introwertyk, a tak naprawdę zwykły chłopak z politechniki. Tak sobie myślę i myślę, ale to badanie idealnie nada się na przykład, nie ma dla mnie znaczenia kto i co badał, chodzi o edukację i po cichu liczę, że wszyscy przeczytają moje wypociny do końca i wysuną logiczne wnioski.

O które badanie chodzi? Chodzi o badanie dra Cooka porównujące jazdę na ogłowiu wędzidłowym i bezwędzidłowym. Sympatycy ruchu bitless-owego śpiewali („All you need is love”), że jazda na ogłowiu bezwędzidłowym jest dużo lepsza dla konia (zmniejszenie oznak bólu aż u 87% koni!), ale… ale czy na pewno potwierdzono to w TYM KONKRETNYM BADANIU? Przyjrzyjmy się bliżej kroczek po kroczku… Pamiętajcie, że „science doesn’t care what you believe”, więc spójrzcie na to badanie obiektywnie, z pewnego dystansu i bez zbędnych emocji obojętnie czy jeździcie na wędzidle czy bez niego. Peace&Love.

Artykuł w języku angielskim możemy znaleźć tutaj: https://onlinelibrary.wiley.com/doi/abs/10.1111/eve.12916

Badanie opublikowano w „Equine Veterinary Education” (Impact factor: 0.97), który w rankingu ISI Journal Citation Reports za rok 2017 plasuje się w połowie stawki 71/140 (Veterinary Sciences). Nieźle.
Pierwszy autor to dr W. Robert Cook, profesor emerytowany Uniwersytetu Tufts w Massachusetts, USA, a także twórca znanego na całym świecie ogłowia bezwędzidłowego: https://bitlessbridle.com/dr-robert-cook-bitless-bridle/

Uczestnicy badania mieli w specjalnym kwestionariuszu ocenić zachowanie swoich koni podczas jazdy na wędzidle (106 pytań na temat zachowania konia z odpowiedziami tak/nie oraz 10 pytań o odczucia jeźdźca), a następnie rozpocząć jazdę na ogłowiu bezwędzidłowym, po czym kolejny raz uzupełnić ankietę. Wyniki pokazały dramatyczny spadek „wskaźników bólu” w przypadku stosowania ogłowia bezwędzidłowego. Wszystko pięknie, ale przed bezkrytycznym rozpowszechnianiem takich informacji warto się trochę wysilić i przyjrzeć bliżej samemu badaniu. Na końcu artykułu możemy znaleźć ograniczenia badania wymienione przez samych jego autorów – brak randomizacji, zaślepienia, standaryzacji, nie do końca poprawny kwestionariusz, takie tam pierdołeczki…

Niestety, publikację tę trudno nazwać rzetelnym badaniem naukowym z wielu powodów (o tym za chwilę), a do eksperymentu jej dalej niż mi do figury Ewy Chodakowskiej, więc chyba najtrafniej wkomponuje się tu określenie „quasi-eksperyment”, choć też nie do końca…

Najcięższy grzech popełniono na samym początku – próba nie była losowa. Informacja o możliwości wzięcia udziału w badaniu zamieszczona została na końcu 8-stronnicowej instrukcji do ogłowia bezwędzidłowego dr. Cooka (konflikt interesów?), co oznacza, że osoby biorące udział w badaniu już podjęły decyzję o zmianie ogłowia na bezwędzidłowe. Badum bum! To jest naprawdę duuuży błąd selekcji (ang. selection bias). To tak jakby stanąć w Polsce w niedzielę pod kościołem i pytać osoby wychodzące po mszy o wyznanie… Czujecie ten klimat? Jeżeli jeździec jest zadowolony z pracy na wędzidle zazwyczaj nie szuka innych rozwiązań, więc idąc tym tokiem myślenia nie kupi on ogłowia bezwędzidłowego i nie ma szans wziąć udziału w ankiecie. Natomiast, gdy ktoś zdecyduje się wydać pieniądze na nowy sprzęt, często oczekuje się od niego pozytywnych wyników… Najważniejszym mechanizmem ograniczającym błąd selekcji jest randomizacja, czyli losowy dobór koni do porównywanych grup – czego tu również zabrakło… [1]

 

Kolejny spory problem to efekt responderski (ang. response bias). Dane zostały zebrane z kwestionariuszy wypełnianych przez ludzi – właścicieli i jeźdźców badanych koni. W tego typu badaniach niemal zawsze można mieć wątpliwości co do szczerości i obiektywności uzyskanych odpowiedzi. Ostrożnie i krytycznie należy interpretować uzyskane odpowiedzi i na ich podstawie stawiać wyważone wnioski. Wady badań ankietowych to także małe możliwości co do motywacji (96 ankiet przez 14 lat) i poprawności (tylko 66) wypełnienia kwestionariusza oraz brak możliwości słownego instruktażu w poprawnym zrozumieniu treści pytań. Krótko mówiąc dostając taki kwestionariusz ankiety do ręki możesz zaznaczyć cokolwiek uważasz, możesz nawet coś zmyślić i nikt się nigdy nie dowie (jak to mawia dr House – everybody lies…). Nie wspominając o tym, że większość ludzi nie wysiliła się aby formularz ściągnąć ze strony i udzielić swoich odpowiedzi. Warto zwrócić uwagę, że kwestionariusz był wypełniany przez właściciela/jeźdźca danego konia, a w takich wypadkach osoba często jest nieobiektywna (sami często widzimy to, co chcemy zobaczyć). Dobrą praktyką jest włączenie oceny przez osobę trzecią i dopiero gdy ocena ta zgadza się z oceną jeźdźca, może być włączona do obliczeń statystycznych.

Nie mam całego życia na wytykanie innym ich błędów (he he, własne żarty śmieszą najbardziej), więc krótko wypunktuje kolejne wątpliwości:

Kwestionariusz ankiety. Sformułowane pytania użyte w kwestionariuszu są nie do końca poprawne. Dla przykładu jeździec miał ocenić czy jego koń „nienawidzi” wędzidła i to zarówno podczas jazdy na wędzidle jak i bez niego! Jak ocenić tę „nienawiść” do czegoś czego nie ma? Nie dziwi, że w tabeli pojawiło się okrągłe zero… a więc zmniejszenie danego wskaźnika bólu aż o 100%. Ale czy konie w ogóle mogą odczuwać nienawiść? Czy to już nie jest antropomorfizm? Sam autor wspomina, że kwestionariusz wymaga dopracowania i powinien zawierać opracowany przez dr Sue Dyson i jej współpracowników etogram reakcji bólowej identyfikowanej na podstawie mimiki koni (lista 24 zachowań), aby we wczesnym etapie móc ocenić czy dane konie odczuwają ból podczas jazdy [2].

Grupa kontrolna. To nie jest tak, że kontrola to ta sama grupa co grupa badana tylko przed wprowadzeniem zmian (u nas zmiana to zabranie wędzidła). Grupa kontrolna to taka grupa, w której nie wprowadzamy żadnych zmian w trakcie badania, natomiast w grupie badawczej wprowadzamy jakąś zmianę (występuje zmienna niezależna, w kontroli jej brak). W naszym badaniu zmienną niezależną powinno być – zabranie wędzidła (jazda na ogłowiu dra Cooka), a zmienną zależną ocena zachowania konia. Grupy kontrolna i badawcza powinny iść sobie razem za rączkę przez badanie, robiąc po drodze pompki, przysiady i kółka w kłusie, ale w kontroli nie wprowadzamy zmian w sprzęcie z którego korzystamy a grupa badana jak najbardziej zmienia ogłowie na bezwędzidłowe. To co zostało tu nazwane grupą kontrolną i grupą badawczą to tak naprawdę badanie z powtórzonymi pomiarami (pretest i posttest), ale bez grupy kontrolnej [3].

Stan zdrowia koni. Nie wspomniano czy przed rozpoczęciem badania wędzidła były sprawdzone zarówno pod względem dopasowania do pyska konia jak i jego potrzeb treningowych. Co ze stanem uzębienia? Nie zweryfikowano poziomu na jakim jeżdżą dane osoby, czy posiadają niezależną rękę od dosiadu… to całkiem sporo czynników, które mogły wpływać na wynik badania.

Konflikt interesów. Na końcu artykułu możemy znaleźć informację, że autor nie deklaruje żadnego konfliktu interesów… ale za to w źródłach finansowania badań wspomina, że w czasie trwania badania był dyrektorem małej firmy produkującej ogłowia bezwędzidłowe „Bitless Bridle Inc.”… Hmmm… Małe koszty badania były częścią bieżących kosztów tej firmy. Oczywiście nie unieważnia to samych wyników badania, ale sugeruje pewną stronniczość głównego autora.

Czy w tym konkretnym badaniu wykazano…
… że jazda na wędzidle krzywdzi konia? Nie.
… że jazda na ogłowiu bezwędzidłowym jest lepsza od jazdy na wędzidle? Nie.

No to co?
A nico 😉 Przy bardzo dużym przymrużeniu oka możemy stwierdzić, że wśród osób które wybrały ogłowie bezwędzidłowe dra Cooka i na dodatek zadały sobie trud wzięcia udziału w ankiecie – wskaźniki bólu występowały rzadziej po zmianie na ogłowie bezwędzidłowe niż wcześniej podczas jazdy na wędzidle.

Jak idealnie powinno wyglądać takie badanie? Może nie idealne, ale bardziej wiarygodne. Jak można było uniknąć błędów powyżej? Powiedzmy, że chcemy zbadać populację polskich koni użytkowanych pod siodłem i mamy taką bazę kontaktową. Losujemy komputerowo 60 koni i przydzielamy do dwóch grup – kontrolnej (30) i badawczej (30). Ogarniamy komisję etyczną, niezależny weterynarz ocenia stan zdrowia, dentysta stan uzębienia, sadle-fitter siodło. Jedziemy do każdego konia z niezależnym jeźdźcem testowym, najpierw jakaś rozgrzewka 10 minut bez jeźdźca, potem właściciel jeździ elegancko na swoim koniu np. 15 minut i robi określone elementy, przejścia, koła, proste, a potem to samo robi jeździec testowy przez 15 minut (u połowy koni losowo zamiana kolejności, żeby uniknąć wpływu zmęczenia konia). Właściciel i jeździec z badania po jeździe oceniają konia w specjalnym wystandaryzowanym kwestionariuszu, dodatkowy przeszkolony obserwator z ziemi też ocenia konia – w sumie mamy aż 3 oceny. Następnie połowa koni z grupy badawczej dostaje w prezencie ogłowie bezwędzidłowe i po ustalonym czasie np. 120 dni (właściciel konia ma nic nie zmieniać w treningu) znowu jedziemy ekipą do wszystkich 60 koni i cała procedura od początku, badanie wet, jazda i ocena zachowania. Potem piękna i soczysta analiza statystyczna, no i wnioski… na koniec jedno małe, malutkie pytanie – kto zapłaci za te wycieczki krajoznawcze? ;))))

[1] https://eu.cmkp.edu.pl/css_bart/dok_eu/Elementy%20oceny%20organizacji.pdf
[2] https://www.sciencedirect.com/science/article/pii/S1558787817301727
[3] http://www.naukowiec.org/wiedza/metodologia/pre-test-i-post-test_663.html