Ne kezelje a kísérleti résztvevőket úgy, mint a szarvasmarha

Komolyan. Hagyd abba.

A társadalomtudósok jelenleg aggódnak a statisztikák felhasználása (és helytelen felhasználása) miatt. Ez nem új. Csak először csinálják újra.

Ennek az aggodalomnak néhány formája van: rossz módszerekkel, helytelen tesztekkel, rossz hipotézisek megértésének kereteivel, „működő” módszerrel, rossz szignifikanciakritériumokkal (vagy egyáltalán) és így tovább.

De nem kell ezt magyaráznom, és nem vagyok statisztikus. Legalábbis nem azért, ami számít.

Csináljuk én.

Egyes kutatók ugyanúgy használják a számokat, mint az újrahasznosítást. Alapvetően morzsába zúzzák a szemetet, adagolják egy statisztikai nagyolvasztó kemencébe és rézöntvényeket öntöttek. Csak azért, mert fényes, gyakran azt mondják, hogy arany. Kezdeti értékelése után Fort Knox-ban bezárják, és a biztonságos ajtót bezárják.

Egyes kutatók többszintű modellezéssel használnák a Tunnock tea sütemények csomagjának megnyitását.

NEM KIFEJEZETT

Egyes kutatók szerint a „Confirmation Bias” indie zenekar.

Mi megerősítő torzítás vagyunk, és ez a következő dal elmarad a második EP-től, a Staring Sadly

Ó, és néhány kutató nem teheti hozzá.

Ha nem tudja, kire gondolok, akkor itt lehet először.

Koncepcionális hibák, eljárási hibák, túlzott magabiztosság és a régi iskola inkompetenciájának megszüntetése. Ezt mind hosszan megvitatták.

Valójában nagyon hosszú.

Hosszú, unalmas, brutális, véget nem érő, kibővíthető-a -80-beavatkozás-tweet hosszúságú.

Ha valaha is nézegette a statisztikákkal kapcsolatos érveket személyesen vagy online, akkor rájössz, hogy gyakran embereket kiabálnak különböző célokon, különböző időzónákban, amíg egyiküknek nem kell lefeküdnie, elegendő kicsomagolással és feltételezés-kérdőívekkel, és újradefiniálva és megrendelve, hogy egy ügyvéd adja fel a léptéket, hogy búvár oktatóvá váljon.

A közelmúltban hasonló vita sorozat jött létre az elmélet körül. Az elképzelései reprezentálják-e azt, amit véleményed szerint kellene? Mennyire erős a hipotéziseid? Elegendő-e a kísérleti működtetés? Fontolta-e az indukciós problémát? Ha az eredmény „szignifikáns, de fordított” lenne (azaz olyan jelentős OPPOSITE hatást találtál, amire képzelted), az megöli az elméletét, de hagyja, hogy a papír éljen?

Vagy másként fogalmazva: a kísérlete hasznos analógként szolgál-e bármilyen tágabb kontextusban, mint amelyben történt? Vagy csak hihetetlenül különleges ház építése hihetetlenül szép háznak hihetetlenül gyenge gólyalábasokon?

Ön egy dagályhullámmal távol van attól, hogy ott legyen az esti hírek, szupervéd

És amíg itt vagyok, emlékszem, hogy a móka nem ér véget, amikor a tanulmány befejeződik, és minden eredményünket nyárson csiszoltuk, szépszerűen. Akkor találkozunk régi barátunkkal, túlzott extrapoláció!

"Nos, ez a beavatkozás tizenhét Virginia-i nőnél működött, akiket mind Qcindee-nek (a Q csendes) vagy Chadleen-nek hívtak, tehát nem látom indokot, hogy ne dobjam el a dél-szudáni mezőgazdasági dolgozókra."

Ezek bonyolult kérdések, és ezek gyors leírása az, ha nem írjuk le őket jól. Ha részt vesz a fentiek bármelyikében, ellenálljon a szorgalomnak, hogy túl szigorúan javítson meg. A statisztikákkal és az elmélettel kapcsolatos érveket nehéz megérteni a szükséges részletesség és előzetes ismeretek szintje miatt, és nehéz meghallgatni, mert gyakran megkövetelik, hogy megkérdőjelezzék saját munkájuk feltételezéseit.

De.

Amit azt mondom, hogy nem bonyolult, sem nehéz, sem nehéz megjavítani. Ez a mocsári átlag józan ész és az emberi tisztesség szippantásának kombinációja.

Ugyanakkor problémát jelent a társadalmi, pszichológiai, orvosi, magatartási stb. Kutatások során, talán akár hasonló mértékű is, és így jár:

Ne kezelje a tanulmány résztvevőit szarral.

Nem tudom megmondani, hányszor láttam, hogy valaki kísérleti tárgyat kever el a The Glorious Study of valami-másokról, morog rájuk, bedugja őket egy laboratóriumi nyikorgó sarokülésre, a Balkán konfliktusának otthoni kényelme érdekében. , tolja a szék négyzetét egy számítógép termináljáig, hallgasson el néhány útmutatást arról, hogyan lehet a gombokat leengedni, majd ismét húzza ki őket.

Vagy valami szégyenlős Hooray Henrietta egy vastag nyomtatványcsomagot oszt ki egy hihetetlen szobájába.

Mindezt ki kell töltenünk?
 Igen, kötelező, ugorj rá.
Mi, mind a hat? 40 oldalnak kell lennie.
 Igen, kötelező, ugorj rá.
Néhány kérdés ugyanaz.
 SZAKADÓKÉNEK, JEREMY.

Alapvetően a társadalomtudományokban sok adatgyűjtés olyan teljesen felnőtt felnőttekkel foglalkozik, mint a szarvasmarha, mintha az általuk előállított adatok egy szerencsétlen szükségesség, amelyet el kellett volna érniük a fő munkavégzéshez… Nos, ezeket az adatokat visszaélve. A meg nem nevezett testek bekerülnek, és egy sor érthetetlen feladatot kapnak, amelyekben nem lehetnek kevésbé elkötelezettek, majd kivezetik őket.

Nos, az elutasító unalmas, kontextus nélküli kísérletek nyugtalanító unalmas, kontextus nélküli válaszokat keresnek. Beruházás nélkül a résztvevők hazudnak, szétszórják vagy kitöltik azt, amit reálisnak gondolnak. Vagy valószínűbb, mint a fentiek, csak el fogják mondani, hogy mit jelent „bármi”.

Nem fogja tudni elkapni őket a válaszukban szereplő mintákon keresztül (és szinte senki sem fog gondolni, hogy úgy néz ki).

A szilárd elmélet és a megfelelő statisztikák nem akadályozzák meg a résztvevőket abban, hogy unatkoznak, kíváncsiak, rombolóak, vagy egyenesen elvonják a seggüket, hogy elinduljanak a kocsmába, mielőtt a boldog óra megállna. Ez nem akadályozza meg őket abban, hogy kipróbálják a Curious George rutinját, és megpróbálják feltételezni, amit csinálsz, megbontani az elméletedet apróbbra, boldoggá tenni ... vagy nyomorúságossá tenni.

Tudom, mert ezt tettem, amikor 17 éves voltam. Istenem, rosszul voltam kísérleteimben. Megbüntettem az elbocsátásokat (hol van most a Cronbach-alfa?), Zavaró válaszokat tettem le, és alkalmanként becsíptem a nyelvemet az arcomba, és csináltam valami ostobaságot. Megpróbáltam feltörni a válaszidő-feladatokat. Megpróbáltam megfordítani a mérnöki kísérleti célokat. Ó, és ha valami igazán tiszteletlen vagy túlzó volt, alkalmanként valami szörnyű dolgot teszek. Azt hiszem, kaptam egy IAT-t, hogy elmondjam, hogy „erősen implicit módon elfogult vagyok a fehér emberekkel szemben”, és tekintve, hogy én vagyok a világ legfehérebb ember, aki nem finn albínó, ezért némi cselekedetre került.

Alapvetően hegedtem, olyasmit, amit mindig unatkoztam.

És felejtsd el a „manipulációs ellenőrzéseket”. Ha az embereket mereven fedi, és aztán megkérdezi tőlük, hogy a kísérlete jó-e vagy sem, csak talán mondják el neked. Valószínűleg nem fogják mondani, ha úgy érzik, hogy egyenesen elhanyagolják a szörnyű eljárásait. Megmondják a szobából való kijutáshoz szükséges szavakat.

Olyan embereket vonzok, akik pszichológiai kutatásokat végeznek, és csak a legszorgalmasabban tudják, hogyan viselkednek a normális emberek. Hírlevél: az emberek neheztelnek a szarra.

Szóval, beszélj a résztvevőkkel. Ne add el a tanulmány céljait, és ne töltse meg azokat olyan elvárásokkal, amelyek torzítják a válaszokat. De! Annak minden szeretetéért, amely a megbukott köztársaság fekete himnuszát énekli, adj nekik valamilyen nevezési lehetőséget. Próbáld megmagyarázni a kutatási területet. Csak azokat a szavakat használja, amelyekre szükség van. Ne tegye a mérleget a mérleg tetejére a mérleg tetejére, ha nem kell. Nézze meg az embereket a szemében. Tudja meg, mi a nevük, ha tudod.

És ha elkötelezett a hosszú pszichometriai eszközök mellett - tudom, hogy néhány rövid formájú kérdőív teljes egészében megbízható-e egy hurkolt kosztümmel -, szünetet ad az embereknek. És fizetj nekik. És a fentiek mindegyike kettős.

Ja, és ha bármilyen formájú asszisztense van a tanulmányainak vezetésében, akkor segítsen nekik a fentiek elvégzéséhez. Próbálj emlékezni arra, hogy ők a szívességet csinálják.

Sajnálom, ha fárasztó. Tudod, mi más fárasztó? Kísérlet elvégzése.
Nincs együttérzésem az érvre. Nincs időnk befektetni ezekbe az emberekbe. Nagyon sok időt fog befektetni az írásba, amelybe bármilyen számot meg fog tenni, hogy megírja számodra. Nem akarod, hogy ez a lehető legjobban menjen?

Nyilvánvalóan elfogadjuk azt a tényt, hogy van valamilyen unalom a kérdőív alapú kutatásban. Nem tehet mindent izgalmasnak. (Ne feledje, hogy néhány évvel ezelőtti fáradtságos hóbort, amikor mindent megpróbáltunk "játékszerezni"?

Alapvetően néha valaki unatkozni kell, különösen akkor, ha a mérleget a semmiből építjük. Vagy elvégzi az összes pszichometria elvégzését. Tehát vegye fontolóra még ezt az okot, hogy gondolkozzon a dizájnnal és a saját módjával, és adjon meg mindent - bármilyen! - fajta tisztelet az ön BS-n keresztül ülő emberek iránt.

Nem tudom, hogy ez önmagában is készség-e. Talán igen. Vagy, ahogy már mondtam, talán csak az emberi tisztesség / józan ész. De bármi is legyen, javításra várhat.