Wykonujący badania nie przywiązują wagi do wniosków?
Właśnie powinni przywiązywać wagę do wniosków, jednak firmy wykonując badania – szczególnie mam na myśli podmioty mniej doświadczone – robiące projekty stosunkowo rzadko, mają tendencję do poświęcania 3/4 czasu na przygotowania i realizację badań, a niewiele czasu poświęcają na analizę.
Tymczasem są wnioski, które mają oparcie w danych i można je formułować oraz takie, które oparcia w danych nie mają i nie powinny znaleźć się w raporcie. Jednak większość błędów wnioskowania nie bierze się z tego, że badający są źle przygotowani bądź intencjonalnie popełniają błąd. Większość nieuzasadnionych wniosków wynika z faktu, że poświęca się na ten ostatni, ale ważny, etap badania po prostu najmniej czasu.
Presja czasu?
Presja też, na pewno. Szef naciska na marketing (ileż mogą trwać te badania), ten naciska na specjalistę od badań, specjalista na agencję lub sam analizuje w pośpiechu i finał to między innymi ryzyko, że jakichś wniosków wcale się nie wyciągnie lub wyciągnie się takie, które mają słabe lub żadne pokrycie w danych.
Ale przecież osoby, które regularnie robią badania w firmach, mają doświadczenie, agencje zresztą też. Zatem takie sytuacje chyba nie są powszechne?
Powszechne chyba nie :). Zakładam, że nie. Doświadczenie odgrywa niebagatelną rolę. Im wyższe kompetencje ma analityk, tym ryzyko kiepskiej analizy i nietrafionych wniosków maleje, nawet jeśli działa się pod presją czasu. A przeważnie tak jest.
Jednak bez wątpienia „wpadki” mogą się pojawić nawet u najbardziej doświadczonych analityków i badaczy. Jeśli czas, jaki zaplanujemy w harmonogramie na projekt badawczy ustalono w taki sposób, że analiza ma trwać trzy dni, podczas gdy dane zbierano 20 dni, to jest to zdecydowanie za mało, bo zebrany materiał po prostu wymaga namysłu. I to niezależnie od tego, czy badanie wykonywano metodą jakościową czy ilościową.
Czasami jednak potrzebne są szybkie decyzje i firmy pracują w ograniczonym terminarzu?
To prawda. Dlatego w praktyce nawet trzy dni na wnioski to wykonalne zadanie. Ale osobiście wyznaję zasadę: albo szybko albo dobrze.
Dlatego na pewno firmom, które robią badania we własnym zakresie, czy decydują się na współpracę z agencją, proponuję, aby planując projekt uwzględniły mniej więcej 1/2 czasu na zebranie danych i 1/2 na analizę. Wypaczenie tych proporcji i doprowadzanie do skrajności owocuje tym, że możemy zebrać dużo interesujących danych, ale na przeanalizowanie ich i wyciągnięcie wniosków rezerwuje się margines. Trzeba pamiętać, że taka sytuacja zawsze działa na niekorzyść.
Najczęściej popełniane błędy?
Trywializowanie wyników. Wyciąganie wniosków banalnych, nasuwających się najszybciej, bez uwzględnienia kontekstu. Kiedyś przykładowo wyczytałam taki wniosek z badań konsumenckich, że 86 proc. konsumentów deklaruje chęć spożywania wysokich jakościowo produktów. Tymczasem, jak stwierdzał autor, widzimy, że większość kupowanych w praktyce produktów to tanie lub najtańsze wyroby. Zatem jak to możliwe? Wysnuto wniosek, że ludzie nie przyznają się w trakcie badań do prawdziwych preferencji.
A tak nie jest?
Moim zdaniem tak nie jest. Jak można powiedzieć, że większość konsumentów chce spożywać jakościowo wysoko produkty, a skoro takich nie spożywa (nie kupuje) to co, kłamią? Z tego powodu, że nie potrafimy wyjaśnić zaskakujących wyników, jeszcze nie wynika, że respondenci to hipokryci.
A skąd wiadomo, że większość nie kupuje takich produktów, wysoko jakościowych?
No właśnie. Słuszne pytanie. Autor wniosku sam to dopowiedział, bazując na własnym przeświadczeniu, że generalnie ludzie kupują nisko gatunkowe produkty. Mało tego, wywnioskował to z faktu, że najtańsze równa się niskiej jakości.
Bo przeważnie tak jest.
Nie zawsze tak jest. Poza tym, tanie taniemu nie równe. Jakie narty są tanie? Od tysiąca w dół czy od pięciu tysięcy w dół?
Raczej od tysiąca w dół.
Właśnie. I mamy rozbieżności, wynikają one po prostu z odmienności w postrzeganiu. Zacznijmy od tego, co znaczy
Marka i cena też?
Naturalnie wszystkie te elementy: opakowanie, pozycjonowanie, cena, a zwłaszcza marka mają wytworzyć w Pani umyśle określone postrzeganie. Kupuje Pani kawę X, sądząc, że jest wysokiej jakości, ponieważ 20 razy przed filmem i 10 razy po filmie opija się nią znany aktor. Ale czy to faktycznie wysokiej jakości produkt? Sprawa gustu.
To jednak, która kawa jest lepsza, jest kwestią drugoplanową. Pierwszoplanowe – mam na myśli proces wnioskowania – jest, by pamiętać, że różne rzeczy dla różnych osób oznaczają co innego. A w każdym razie mogą oznaczać co innego.
Wydawać nam się może, że wszyscy myślimy o tym samym mówiąc wysoka jakość produktu. W rzeczywistości możemy mieć na myśli kompletnie odrębne kategorie produktów i myśleć możemy o zupełnie innych rzeczach.
Na co jeszcze uważać przy wnioskowaniu?
Z pewnością na rozciąganie wniosków na całe populacje, podczas gdy wyniki dotyczą grupy, segmentu. Możemy przeczytać np. takie wnioski w różnych opracowaniach: Według badań zrealizowanych przez X, wynika, że w ciągu dwóch lat zainteresowanie usługami outsourcingowymi wśród polskich firm wzrosło o blisko 10 proc. Spośród przedsiębiorstw biorących udział w tegorocznym badaniu, aż 60 proc. zadeklarowało, że korzysta z usług instytucji zewnętrznych. Do najchętniej outsourcowanych obszarów należą procesy back-office i technologia informatyczna.
Często czytamy takie raporty, takie informacje?
I rzadko zwracamy uwagę, do czego się odnoszą, tym bardziej jeśli takim wnioskom nie towarzyszy wzmianka o metodologii, próbie. Zero. Zrobiono badanie na firmach, ale jakich? Dużych, małych, średnich, zagranicznych? Z jakiejś konkretnej branży czy wszystkich branż? Jako czytelnik takiego wniosku rozumiem, że w Polsce po prostu na blisko 2 mln wszystkich firm aż 58 proc. zleca na zewnątrz procesy biznesowe.
A nie jest tak?
Oczywiście że nie, bo o jakich firmach mowa? Ja się osobiście domyślam, że chodzi o firmy największe, zatrudniające minimum 250 osób, zajmujące się konkretnymi usługami typu banki, ubezpieczania, usługi IT. Ale Pani jako czytelnik tego nie przeczyta. Pani się nie dowie, że wyniki odnoszą się do wąskiej grupy przedsiębiorstw, które w Polsce wynoszą góra dziesięć tysięcy. Jak to się ma do milionów? Tymczasem ma Pani we wnioskach wyraźnie napisane, że oto zjawisko outsourcingu procesów biznesowych dotyczy większości, bo 60 proc. firm w kraju.
Kiedy jeszcze takie niepoprawne wnioski najczęściej się wyciąga?
Kiedy analizuje się dane ilościowe i nie mając kompletnie żadnych przesłanek, w jakim kierunku interpretować, orzeka się coś, bo tak nam się wydaje, że jest prawdziwe, choć może mieć niewiele wspólnego z prawdą.
Na przykład?
Robi Pani badanie czytelników „Gazety MSP” i otrzymuje m.in. rezultat: 64 proc. badanych czyta nie więcej niż trzy artykuły z każdego numeru.
To byłby kiepski rezultat.
Właśnie. Co Pani myśli? Chyba coś jest nie tak? Do diaska, jak to możliwe? Dlaczego czytają tylko trzy artykuły, a nie idą dalej?
Chyba zaczęlibyśmy przestawiać kolejność tekstów.
Albo myślałaby Pani, aby skrócić teksty, myśląc, że są za długie? Może czytelnik jest zamęczony i dlatego nie więcej tekstów.
Coś wokół tego też mogłoby być prawdą?
To taki może prosty przykład, ale świetnie ilustruje, jak można wpaść w pułapkę, w labirynt błędnego wnioskowania, kiedy właśnie tak jak teraz próbujemy w wyniku stricte ilościowego, wyciągać wnioski o charakterze jakościowym. Czego brakuje? Odpowiedzi na pytanie dlaczego?
Jak nie zapytam to się nie dowiem?
Jeśli Pani nie doda tego pytania do swojej ankiety, wówczas pozostanie na koniec z wiedzą o tym progu trzech tekstów i powodów można po omacku szukać miesiącami. Można kombinować, zmieniać, rwać włosy z głowy.
A powody mogą być zupełnie inne niż moje wnioski?
Powodem może być choćby to, że jeden egzemplarz trafia na biuro, a następnie krąży po firmie i korzystają z niego nawet cztery osoby. Najzwyczajniej w świecie właściciel zdąży wyczytać z gazety maks trzy teksty. Potem gazetę konfiskuje księgowa (a w domu na spokojnie sobie przejrzę), potem magazyn trafia do informatyka. Też zajrzy i właściciel pytany o czytanie, zgodnie z prawdą powie no przeczytałem ze trzy artykuły. Tyle.
Jeśli go nie dopytam, wnioski pozostaną moją hipotezą?
I tego nikomu nie życzę: by robiąc badania został na koniec z jedną z wielu możliwych, wciąż prawdopodobnych, ale niekoniecznie prawdziwych interpretacji.
Właśnie powinni przywiązywać wagę do wniosków, jednak firmy wykonując badania – szczególnie mam na myśli podmioty mniej doświadczone – robiące projekty stosunkowo rzadko, mają tendencję do poświęcania 3/4 czasu na przygotowania i realizację badań, a niewiele czasu poświęcają na analizę.
Tymczasem są wnioski, które mają oparcie w danych i można je formułować oraz takie, które oparcia w danych nie mają i nie powinny znaleźć się w raporcie. Jednak większość błędów wnioskowania nie bierze się z tego, że badający są źle przygotowani bądź intencjonalnie popełniają błąd. Większość nieuzasadnionych wniosków wynika z faktu, że poświęca się na ten ostatni, ale ważny, etap badania po prostu najmniej czasu.
Presja czasu?
Presja też, na pewno. Szef naciska na marketing (ileż mogą trwać te badania), ten naciska na specjalistę od badań, specjalista na agencję lub sam analizuje w pośpiechu i finał to między innymi ryzyko, że jakichś wniosków wcale się nie wyciągnie lub wyciągnie się takie, które mają słabe lub żadne pokrycie w danych.
Ale przecież osoby, które regularnie robią badania w firmach, mają doświadczenie, agencje zresztą też. Zatem takie sytuacje chyba nie są powszechne?
Powszechne chyba nie :). Zakładam, że nie. Doświadczenie odgrywa niebagatelną rolę. Im wyższe kompetencje ma analityk, tym ryzyko kiepskiej analizy i nietrafionych wniosków maleje, nawet jeśli działa się pod presją czasu. A przeważnie tak jest.
Jednak bez wątpienia „wpadki” mogą się pojawić nawet u najbardziej doświadczonych analityków i badaczy. Jeśli czas, jaki zaplanujemy w harmonogramie na projekt badawczy ustalono w taki sposób, że analiza ma trwać trzy dni, podczas gdy dane zbierano 20 dni, to jest to zdecydowanie za mało, bo zebrany materiał po prostu wymaga namysłu. I to niezależnie od tego, czy badanie wykonywano metodą jakościową czy ilościową.
Czasami jednak potrzebne są szybkie decyzje i firmy pracują w ograniczonym terminarzu?
To prawda. Dlatego w praktyce nawet trzy dni na wnioski to wykonalne zadanie. Ale osobiście wyznaję zasadę: albo szybko albo dobrze.
Dlatego na pewno firmom, które robią badania we własnym zakresie, czy decydują się na współpracę z agencją, proponuję, aby planując projekt uwzględniły mniej więcej 1/2 czasu na zebranie danych i 1/2 na analizę. Wypaczenie tych proporcji i doprowadzanie do skrajności owocuje tym, że możemy zebrać dużo interesujących danych, ale na przeanalizowanie ich i wyciągnięcie wniosków rezerwuje się margines. Trzeba pamiętać, że taka sytuacja zawsze działa na niekorzyść.
Najczęściej popełniane błędy?
Trywializowanie wyników. Wyciąganie wniosków banalnych, nasuwających się najszybciej, bez uwzględnienia kontekstu. Kiedyś przykładowo wyczytałam taki wniosek z badań konsumenckich, że 86 proc. konsumentów deklaruje chęć spożywania wysokich jakościowo produktów. Tymczasem, jak stwierdzał autor, widzimy, że większość kupowanych w praktyce produktów to tanie lub najtańsze wyroby. Zatem jak to możliwe? Wysnuto wniosek, że ludzie nie przyznają się w trakcie badań do prawdziwych preferencji.
A tak nie jest?
Moim zdaniem tak nie jest. Jak można powiedzieć, że większość konsumentów chce spożywać jakościowo wysoko produkty, a skoro takich nie spożywa (nie kupuje) to co, kłamią? Z tego powodu, że nie potrafimy wyjaśnić zaskakujących wyników, jeszcze nie wynika, że respondenci to hipokryci.
A skąd wiadomo, że większość nie kupuje takich produktów, wysoko jakościowych?
No właśnie. Słuszne pytanie. Autor wniosku sam to dopowiedział, bazując na własnym przeświadczeniu, że generalnie ludzie kupują nisko gatunkowe produkty. Mało tego, wywnioskował to z faktu, że najtańsze równa się niskiej jakości.
Bo przeważnie tak jest.
Nie zawsze tak jest. Poza tym, tanie taniemu nie równe. Jakie narty są tanie? Od tysiąca w dół czy od pięciu tysięcy w dół?
Raczej od tysiąca w dół.
Właśnie. I mamy rozbieżności, wynikają one po prostu z odmienności w postrzeganiu. Zacznijmy od tego, co znaczy
Marka i cena też?
Naturalnie wszystkie te elementy: opakowanie, pozycjonowanie, cena, a zwłaszcza marka mają wytworzyć w Pani umyśle określone postrzeganie. Kupuje Pani kawę X, sądząc, że jest wysokiej jakości, ponieważ 20 razy przed filmem i 10 razy po filmie opija się nią znany aktor. Ale czy to faktycznie wysokiej jakości produkt? Sprawa gustu.
To jednak, która kawa jest lepsza, jest kwestią drugoplanową. Pierwszoplanowe – mam na myśli proces wnioskowania – jest, by pamiętać, że różne rzeczy dla różnych osób oznaczają co innego. A w każdym razie mogą oznaczać co innego.
Wydawać nam się może, że wszyscy myślimy o tym samym mówiąc wysoka jakość produktu. W rzeczywistości możemy mieć na myśli kompletnie odrębne kategorie produktów i myśleć możemy o zupełnie innych rzeczach.
Na co jeszcze uważać przy wnioskowaniu?
Z pewnością na rozciąganie wniosków na całe populacje, podczas gdy wyniki dotyczą grupy, segmentu. Możemy przeczytać np. takie wnioski w różnych opracowaniach: Według badań zrealizowanych przez X, wynika, że w ciągu dwóch lat zainteresowanie usługami outsourcingowymi wśród polskich firm wzrosło o blisko 10 proc. Spośród przedsiębiorstw biorących udział w tegorocznym badaniu, aż 60 proc. zadeklarowało, że korzysta z usług instytucji zewnętrznych. Do najchętniej outsourcowanych obszarów należą procesy back-office i technologia informatyczna.
Często czytamy takie raporty, takie informacje?
I rzadko zwracamy uwagę, do czego się odnoszą, tym bardziej jeśli takim wnioskom nie towarzyszy wzmianka o metodologii, próbie. Zero. Zrobiono badanie na firmach, ale jakich? Dużych, małych, średnich, zagranicznych? Z jakiejś konkretnej branży czy wszystkich branż? Jako czytelnik takiego wniosku rozumiem, że w Polsce po prostu na blisko 2 mln wszystkich firm aż 58 proc. zleca na zewnątrz procesy biznesowe.
A nie jest tak?
Oczywiście że nie, bo o jakich firmach mowa? Ja się osobiście domyślam, że chodzi o firmy największe, zatrudniające minimum 250 osób, zajmujące się konkretnymi usługami typu banki, ubezpieczania, usługi IT. Ale Pani jako czytelnik tego nie przeczyta. Pani się nie dowie, że wyniki odnoszą się do wąskiej grupy przedsiębiorstw, które w Polsce wynoszą góra dziesięć tysięcy. Jak to się ma do milionów? Tymczasem ma Pani we wnioskach wyraźnie napisane, że oto zjawisko outsourcingu procesów biznesowych dotyczy większości, bo 60 proc. firm w kraju.
Kiedy jeszcze takie niepoprawne wnioski najczęściej się wyciąga?
Kiedy analizuje się dane ilościowe i nie mając kompletnie żadnych przesłanek, w jakim kierunku interpretować, orzeka się coś, bo tak nam się wydaje, że jest prawdziwe, choć może mieć niewiele wspólnego z prawdą.
Na przykład?
Robi Pani badanie czytelników „Gazety MSP” i otrzymuje m.in. rezultat: 64 proc. badanych czyta nie więcej niż trzy artykuły z każdego numeru.
To byłby kiepski rezultat.
Właśnie. Co Pani myśli? Chyba coś jest nie tak? Do diaska, jak to możliwe? Dlaczego czytają tylko trzy artykuły, a nie idą dalej?
Chyba zaczęlibyśmy przestawiać kolejność tekstów.
Albo myślałaby Pani, aby skrócić teksty, myśląc, że są za długie? Może czytelnik jest zamęczony i dlatego nie
Coś wokół tego też mogłoby być prawdą?
To taki może prosty przykład, ale świetnie ilustruje, jak można wpaść w pułapkę, w labirynt błędnego wnioskowania, kiedy właśnie tak jak teraz próbujemy w wyniku stricte ilościowego, wyciągać wnioski o charakterze jakościowym. Czego brakuje? Odpowiedzi na pytanie dlaczego?
Jak nie zapytam to się nie dowiem?
Jeśli Pani nie doda tego pytania do swojej ankiety, wówczas pozostanie na koniec z wiedzą o tym progu trzech tekstów i powodów można po omacku szukać miesiącami. Można kombinować, zmieniać, rwać włosy z głowy.
A powody mogą być zupełnie inne niż moje wnioski?
Powodem może być choćby to, że jeden egzemplarz trafia na biuro, a następnie krąży po firmie i korzystają z niego nawet cztery osoby. Najzwyczajniej w świecie właściciel zdąży wyczytać z gazety maks trzy teksty. Potem gazetę konfiskuje księgowa (a w domu na spokojnie sobie przejrzę), potem magazyn trafia do informatyka. Też zajrzy i właściciel pytany o czytanie, zgodnie z prawdą powie no przeczytałem ze trzy artykuły. Tyle.
Jeśli go nie dopytam, wnioski pozostaną moją hipotezą?
I tego nikomu nie życzę: by robiąc badania został na koniec z jedną z wielu możliwych, wciąż prawdopodobnych, ale niekoniecznie prawdziwych interpretacji.
