Refleksje o badaniach statystycznych

Pozornie niniejszy wpis nie będzie miał nic wspólnego z rynkiem finansowym. Zajmę się bowiem problemem bus-pasów w Warszawie. Ściślej mówiąc nie tym czy są potrzebne i w jakiej formie, tylko sondażami, w których Warszawiacy wypowiadają się na temat sensowności bus-pasów.

Czemu zastrzegłem na początku, że ?pozornie? ten wpis nie będzie miał nic wspólnego, ano dlatego, że chodzi o metodologię różnego rodzaju badań i statystyk. Pisałem o tym przy okazji badań ?Diagnoza Społeczna? (link 1 i link 2). Zajmował się tym niedawno DAPI , przy okazji błędów w statystykach gospodarczych, zainspirowany wpisem Trystero (). Przy tej okazji warto zerknąć na niezły tekst o metodologii liczenia inflacji przez GUS (choć tekst tej samej autorki o psychologii inwestowania, pozostawiał wiele do życzenia.

Wróćmy więc do bus-pasów. Dwa dni temu TVN Warszawa opublikował sondaż wykonany na ich zlecenie przez GFK Polonia, z którego wynikało, że aż 60% respondentów jest za powstaniem większej liczby bus pasów w Warszawie (link do materiału).

Dziś podobny materiał opublikował portal gazeta.pl. Tym razem badanie zlecono PBS DGA i tym razem wyszło, że aż 71% ankietowanych popiera wyznaczanie bus-pasów (żeby było śmieszniej jedynie 22% uważa, że wprowadzenie najnowszego na Trasie Łazienkowskiej przyspieszyło dojazdy, a 32%, że korki wzrosły).

Nie. nie będę tropił spisku, skąd wzięła się różnica 11 pkt.proc., chciałem tylko w ramach sceptycyzmu pozastanawiać się nad metodologią badań i tym czego brakuje mi w obu tekstach. Drugi z materiałów jest o tyle ?solidniejszy?, że zwraca uwagę, iż badanie odbyło się na ?500-osobowej reprezentatywnej grupie dorosłych warszawiaków?. W materiale TVN Warszawa, niema o tym ani słowa. Ale, trzeba oddać honor firmie wykonującej badanie, czyli GFK Polonia, że jej przedstawiciel ? Maciej Siejewicz ? błyskawicznie odpowiedział na moje pytanie mailowe:

?było to badanie telefoniczne CATI, próba 500 mieszkańców Warszawy.?.

Na razie nie otrzymałem odpowiedzi na pytanie ? na jaki rodzaj telefonów wykonywane są połączenia ? stacjonarne, czy komórkowe.

Nie znam się aż tak na badaniach, ale zapytałem znajomą, która niegdyś pracowała w PBS DGA i jak sama powiedziała, że telefony były realizowane wyłącznie na telefony stacjonarne.

I tu pojawia się problem związany z metodologią. Telefony stacjonarne są w odwrocie. W grupie moich znajomych oraz rodziny mało kto korzysta już z telefonów stacjonarnych. Myślę, że śmiało można założyć, że największą grupą będą osoby starsze. Chyba, że telefonowano również do firm i ankieterzy nie byli zbywani. Czy te osoby mają samochody? Czy takie pytanie padało w badaniach? Pewnie nie. Choć pewnie powinno i wyniki powinny się pojawić w materiałach medialnych. Jeśli badanie obejmowało również telefony komórkowe, to jaki był ich udział w całości ankietowanych?

Mam świadomość tego, że w materiale gazetowym, gdzie było się ograniczonym wielkością miejsca na papierze należało teksty pisać dość skrótowo, ale Internet pod tym względem jest fenomenalnym medium.

Warto czasem zastanowić się nad takimi niuansami, by jakiekolwiek badania miały sens. Bo inaczej śmiało można wymyślać pytania w rodzaju ?czy uważa Pan że warto znieść podatek giełdowy? i zapytać aktywnych graczy giełdowych o to co myślą, a później wykorzystać to w takiej czy innej kampanii reklamowej.

16 Komentarzy

  1. Arkadiusz Balwierz

    Ależ żadna pracownia badań opinii publicznych nie przeprowadza tych badań w sposób rzetelny. Jestem w stanie się założyć, że przy dowolnych badaniach na „reprezentatywnej próbie” 1000 osób jej rozkład w kraju nie będzie się pokrywał z rozkładem ludzi głosujących w kraju.

    Pozdrawiam,

  2. RobertP

    Polecam wyniki badania natężenia ruchu http://www.zw.com.pl/artykul/1,428071_Buspas_zatkal_mosty.html

    Korki wzrosły, a natężenie ruchu zmalało :-/

  3. zarafiq

    Przepraszam, że się czepiam ale:

    http://sjp.pwn.pl
    bus-pas/buspas/bus pas – nie znaleziono 🙁

  4. kajet

    Panie Grzegorzu, reprezentatywność reprezentatywnością – kolosalne znaczenie ma już sam sposób zadania pytania. Trzeba albo głupoty, albo złej woli, żeby pytać, „czy dojazdy zostały przyspieszone, czy też korki wzrosły”. Przecież buspas nie jest od walki z korkami. Buspas ma za zadanie UMOŻLIWIĆ ludziom dojazd do i z centrum w rozsądnym czasie. Autobusem. Inaczej wszyscy stoją w korkach – i podróżujący samochodami, i autobusami.

    To a propos fragmentu:

    „Kolejne pytanie dotyczyło nowej organizacji ruchu na Trasie Łazienkowskiej. Tu opinie warszawiaków są już mniej przychylne. Tylko 22 proc. uważa, że najnowszy buspas przyspieszył codzienne dojazdy. 18 proc. twierdzi, że nic się nie zmieniło, 32 proc. narzeka, że korki tylko wzrosły.”

  5. lesserwisser

    @ zarafiq

    Nie przepraszaj, bo się wcale nie czepiasz. Nie ma go prawa być w słowniku bo to taki nasz lokalny nełologizm jest – winno być chyba bus-pas .

    Coś mi się widzi, że się coś komuś pochrzaniło z bus passem
    (biletem wieloprzejazdowym) i utożsamił to z bus lane – pasem swobodnego przejazdu autonusów.

    Chyba nasze urzędniki za dużo Londyńczyków oglądają, albo już mają takie swoje skojarzonka.

    Jak są takie zmyślne to niech wymyślą, że zakaz przejazdu dla osobówek obowiązuje tylko w godzinach szczytu – gdzieś 7-9 oraz 15-18, podobnie jak na swiecie jest.

    A może już to obowiązuje ?? Moze ktoś wie ?

  6. gzalewski

    Przez moment pisania zastanowiłem się nad tym bus-pasem z identycznych powodów, o jakich piszecie. Niemniej jednak języki żyją i się rozwijają. Nie zawsze w stronę jaka nam się podoba.
    „Bus” w naszym słowniki istnieje i połączenie go z tym pasem będzie i tak ok. O wiele gorsze jest to co słysze czasami w radio lub TV czyli „bas-pas”. To jest dopiero potworek

  7. lesserwisser

    Lepszy pomysł mnie nawiedził.

    Aż się prosi by użyć tu określenia medycznego – by-pass lub bypass – stosowanego – przeszczepu (pomostu) naczyniowego omijającego chorobowo zmieniony odcinek naczynia krwionośnego.

    Widzę oczywistą analogię między sztucznym ominięciem miażdżycowego zawężenia żył a ominięciem korków ulicznych przez autobusy na bus pasach.

    Chyba jednak jestem bystry gościu !!

  8. Maciej Siejewicz

    Panie Grzegorzu,
    intuicja Pana nie myli i pisząc „(…)I tu pojawia się problem związany z metodologią. Telefony stacjonarne są w odwrocie. W grupie moich znajomych oraz rodziny mało kto korzysta już z telefonów stacjonarnych.” ma Pan oczywiście rację, natomiast przy realizacji badania istotniejsze jest, aby zrealizować próbę o zamierzonej strukturze, niż pozyskać ją w ten, a nie inny sposób. Zatem jeśli w zbiorze występują respondenci o właściwych parametrach demograficznych to jest to OK. Bo badanie jest reprezentatywne nie ze względu na posiadany rodzaj telefonu, a ze względu na cechy socjo-demograficzne.

    BTW. Reprezentatywność nie ma związku z liczebnością (@ Arkadiusz Balwierz)

    Poz. – MS

  9. Dapi

    @Maciej Siejewicz

    A nie zastanawia Pana tak różnica w wynikach badania pomiędzy GFK i DGA ?
    Mniemam że konkurencja także dokonała należytego starania metodycznego…

  10. lesserwisser

    Warto by, przede wszystkim, wiedzieć jak sformułowane były pytania tych badań, jaka była struktura wiekowa respondentów, czy ankietowani byli użytkownikami transportu miejskiego czy automobilii, czy doświadczyli osobiście dobrodziejstw czy też udręki bb, aby mieć jasność co do metodologicznej poprawności tego badania.

    Ciekawy jestem też czy spytano ich na wstępie czy w ogóle orientują się co to są te busy-pussy i czy to w jakiś właściwy sposób zweryfikowano.

    A te telefony to osobna sprawa.

  11. exnergy

    A ja się przyczepię do telefonów. Co to znaczy, że stacjonarne są w odwrocie.
    Ja obserwuję, a raczej już obserwowałem jakiś czas temu jak w mojej okolicy telefonia VOIP wyparła TPsa, a komórki nie miały tu nic do gadania. Mało tego, są już od dawna technologie umożliwiające korzystanie z VOIP nawet „on the go” ogólnie pisząc. Jestem stosunkowo (podkreślam 😉 ) młodym człowiekiem i cenię sobie zalety taniego Voipa, który razem z netem i tv na jednym kablu chodzi 10x szybciej niż TPSA i to za dużo mniejsze pieniądze, przy tej samej „odporności na awarie”, QoS etc…
    Chyba, że faktycznie w Warszawie takie zacofanie, że tylko TPSA.

  12. Maciej Siejewicz

    @ Dapi
    Jakaś część tej różnicy może wynikać choćby z tego, że u nas wynik uwzględnia odpowiedź „nie wiem”, a w PBS może jej nie uwzględniać (piszę „może” bo na stronie GW jest podany tylko odsetek odpowiedzi pozytywnych). Zatem gdyby z naszej podstawy procentowania usunąć odpowiedzi „nie wiem” i pokazać rozkład tylko dla „zwolenników” i „przeciwników” to te odsetki też byłyby u nas wyższe (więc zwolenników byłoby nie 60 proc., a więcej). Poza tym redakcja kwestionariusza, termin realizacji badania, itp. – wszystkie takie parametry mają wpływ na ostateczne wyniki. No i jest jeszcze coś takiego, nierozerwalnie związanego z badaniami, jak margines błędu przy wnioskowaniu. Każdy z wyników jest obciążony błędem, niestety nie wiemy, który jest obciążony w jakim stopniu, bo znamy tylko margines tego błędu (ok. 4 proc.), więc to też należałoby wziąć pod uwagę zestawiając ze sobą oba pomiary. Generalnie wydaje mi się, że w tego typu badaniach mniej chodzi o to aby trafić z pomiarem w punkt, a bardziej o to by pokazać panującą tendencję w populacji.

  13. gzalewski

    Panie Maćku dzięki za udział w dyskusji i wyjaśnienie części rzeczy. Niemniej jednak warto byloby jakos zachęcać media do informowania troche bardziej szczegółowo właśnie o tych „wątpliwych” parametrach.
    CHoćby po to, by ludzi uczyć czym są sondaże, a czym zupełnie nie są.

  14. Maciej Siejewicz

    Ja zawsze chętnie wyjaśniam, tylko mało kto ma dobrą wolę, aby tego wysłuchać, nie mówiąc o chęci zrozumienia…

    Poz. – MS

  15. lesserwisser

    @ Maciej Sajewicz

    W takim razie pozwolę sobie zadać Panu kilka pytań, ale tym razem explicit :

    1. jak były sformułowane pytania ankiety i warianty odpowiedzi
    2. jaki były zasady doboru respondentów i jaka była ich struktura
    wiekowa respondentów,
    3. czy ankietowani byli użytkownikami transportu miejskiego czy
    też kierowcami samochodów, czy próbka była mieszana
    4. czy badano czy ankietowani doświadczyli osobiście dobrodziejstw
    lub niedogodności bus-passów
    5. czy jakoś sprawdzono czy ankietowani w orientują się
    wystarczająco co to są bus-pussy i czemu służą

    Z góry dziękuję za odpowiedź i obiecuję że ją przeczytam i przemyślę choć nie mogę zagwarantować, że zrozumiem.

    Pozdrawiam.

  16. Jason Bourne

    Abstrahując od bus pasów w Warszawie, ile osób je popiera a ile nie, kiedy i czy w ogóle powstaną dodatkowe, pojawia się pytanie: Jak przeprowadzać badania na rynku/giełdzie, aby rzeczywiście były wiarygodne i dawały reprezentatywne wyniki?

    Bo chyba przecież nikt nie zagląda na blog Grzegorza Zalewskiego, bo się interesuje bus pasami na Łazienkowskiej.

    Niuanse, szczegóły są ważne. Tylko właśnie, jak najlepiej robić badania ruchów cen, ewentualnie z czyich badań najlepiej korzystać?
    Jest to bardzo szeroki temat, ale na pewno wszystkich zainteresuje.
    Może by Pan Grzegorz poszedł za ciosem i rozwinął temat?

Skomentuj kajet Anuluj pisanie odpowiedzi

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *


Twoje dane osobowe będą przetwarzane przez Dom Maklerski Banku Ochrony Środowiska S.A. w celu: zapewnienia najwyższej jakości naszych usług oraz dla zabezpieczenia roszczeń. Masz prawo dostępu do treści swoich danych osobowych oraz ich sprostowania, a jeżeli prawo na to pozwala także żądania ich usunięcia lub ograniczenia przetwarzania oraz wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do organu nadzorczego.

Więcej informacji w sekcji "Blogi: osoby komentujące i zostawiające opinie we wpisach" w zakładce
"Dane osobowe".

Proszę podać wartość CAPTCHA: *