Csalás és megkérdőjelezhető kutatás: Felismerje, de ne indítsa el

Fotó: Jason Coudriet az Unsplash-en

Először hallottam a Kérdéses Kutatási Gyakorlatról (QRP), amikor néhány évvel ezelőtt elolvastam a pszichológia replikációs válságát. Csak nemrégiben, egy hosszú átgondolt beszélgetés után a kollégáimmal emlékeztettem arra, hogy fontos a QRP ismerete a felhasználói élmény kutatásában.

A QRP arra utal, hogy a kutatók hogyan hajtják végre az adatok kizárását hipotézisük alátámasztására. A következőképpen írják le: „Az ilyen gyakorlatok magukban foglalnak olyan tervezési, elemzési vagy jelentési gyakorlatokat, amelyek elfogult bizonyítékokat vezethetnek be, és amelyek káros következményekkel járhatnak a bizonyítékokon alapuló gyakorlatra, az elmélet kidolgozására és a tudomány szigorúságának felismerésére.” Ez új lehet a néhány ember, de tudományos környezetben gyakran említik. További információ itt olvasható.

A QRP ugyanazon oldalán van egy extrém változat, amelyet minden kutatónak el kell kerülnie. Ez kutatási csalás. Ez különbözik a QRP-től, de a QRP csalásokhoz vezethet. Az emberek azt hívják kutatási csalásnak, amikor a kutató hamisítja, hamisítja vagy elkészíti adatait. Szörnyű igaz? Ez tudományos kötelességszegés.

Találtam egy cikket, amely kielégíti az iránti kíváncsiságomat a csalások kutatóinak motívumai, elme és oka iránt. A The New York Times kiadta „Egy ember elme” címmel. Az írásból megtudtam Driederik Stapelről, egy holland szociálpszichológusról, aki kutatási csalást követett el. Kutatási adatait készítette, a cikkben megemlítették, hogy ő volt az egyetlen tanulmánya. Ahelyett, hogy a kutatási eredményekről igazságot jelentett volna, az „esztétika és szépség keresése - az igazság helyett” volt. Ami meglepő is, az a kijelentés, hogy „Mindig ellenőriztem - ez lehet egy ravasz manipulációs gondolkodásmód -, hogy a kísérlet ésszerű volt, hogy az előző kutatásokból következett, hogy csak ez az extra lépés volt mindenki várok."

A QRP és a kutatási csalások bekövetkeznek, nem számít, hogy hol vannak a munkabeállítások. Többet hallottunk az egyetemi környezetből, de ez nem jelenti azt, hogy az üzleti környezetben ritkán fordul elő. Ha különbözteti azokat a motiváló tényezõket, amelyek miatt a QRP megtörténhet, az egyetlen meghatározó tényezõ a kutató. A Reuters egy másik publikációjában Stapel megemlítette, hogy „nem tudtam ellenállni a pontszerzési nyomásnak, a közzétételnek, hogy mindig jobbnak kell lennem”, és hogy „túl sokat, túl gyorsan akartam. És egy olyan rendszerben, ahol kevés az irányítás, és ahol az emberek gyakran egyedül dolgoznak, rossz utat választottam. ”

Miközben a kutatók végzik a kutatást, a különböző munkakörök további csatát jelentenek: láthatóság, meghallgatás, meggyőzés, befolyásolás, sőt az érdekelt felek összekapcsolása. Az összes munka között a kutatóknak mindig lesz lehetőségük arra, hogy kutatásaikat saját személyes haszonszerzés céljából használják fel, és így megkérdőjelezhető kutatási gyakorlatokat végezzenek. Íme néhány példa, amelyekre gondolok, miként tudják a kutatók QRP-t végrehajtani a munkahelyen:

  • Helyes a hipotézis megváltoztatása az összegyűjtött adatok áttekintése és az előrejelzés megállapítása után. Emlékeznünk kell arra, hogy nem tudjuk teljes mértékben megjósolni a felhasználói viselkedést.
  • Ha félreteszi a „nagy képet” az adatokból, csak azokat az adatokat vagy betekintést választja, amelyeket az érdekelt felek számára „stratégiai”, „kellemes” vagy „szexi”.
  • Olyan megállapítások előírása, amelyek nem érik el az adatok telítettségét, a felhasználó teljes ábrázolása vagy általánosítása az összes felhasználó számára.
  • Jelentések írása anélkül, hogy adatnyomokat hagynának a résztvevőkről (kutatási dokumentumok, például: kutatási terv, kutatási forgatókönyv, felvételek és / vagy adatátírások). Nem veszi figyelembe a megbízhatóságot: más kutatóknak meg kell érteniük a következtetések logikáját a szintézis folyamatától a jelentéskészítésig.
  • Egy olyan hátsó motívummal rendelkezik, amely akadályozhatja a kutatási etikát. Például, ha elvonja a nagy kutatások lelkesedése, nagy várakozással tekintve egy nagyon értelmes kutatás megszerzésére. Ha az eredmény nem felel meg az elvárásoknak, a kutató figyelmen kívül hagyja a módszertant, és az eredményt a kívánt formájában jeleníti meg.

A legrosszabb, amit a QRP-ről és a kutatási csalásokról tudtam, a hatás nagysága volt. Amikor Staple esetét felfedték, a csapadék nemcsak őt, hanem hallgatóit, kutatói kiadókat és politikai döntéshozókat, valamint más kutatókat is érintette, akik munkájukhoz a Staple kutatásába utalták. Nem is beszélve, a bizalmatlanság nyilvános reakciójáról. Ezért úgy gondolom, hogy az üzleti környezetben alkalmazott QRP hasonló káros hatással jár majd egyetemi környezetben is. Hasonló, de nem olyan következményekkel, mint például a kutatási eredmények visszavonása és a munkakör megsemmisítése.

Először: a vállalati üzleti tevékenységről a kutatási jelentés szolgál hivatkozásként a termék ötletének javaslatára. Amikor megosztom a kutatási jelentést, azt más kutatók is felhasználják munkájuk referenciájához. A legfontosabb, hogy az érdekelt felek ezt fogják felhasználni, hogy segítsenek nekik döntéshozatalban egy bizonyos állapot tekintetében. Lehet, hogy nem teljesen félrevezető a társaság, mivel Stapel azt írta, hogy ez valami olyan, ami „jól átgondolt” volt, mielőtt megosztották volna. Képzelje el azonban azt a költséget, amelyet mindenki másnak meg kell fizetnie, ha hiányos jelentést készít a felhasználói igényekről. Személy szerint azt hiszem, hogy ebből származik a kutatás jelentése. Lehet, hogy fokozhatja a büszkeségét, hogy meg tudja jósolni a viselkedést, de ezt nem gondolom szórakoztató készségként.

Másodszor, a munkatársakkal folytatott munkáról. Jelenleg a vállalati kutatóknak nincs kezdeményezése vagy ajánlása a QRP-vel és a csalással kapcsolatban, hasonlóan a pszichológiai replikációs válság esetéhez (lásd az APA nyilatkozatát a kutatási csalásokról és a kutatás előzetes regisztrálásáról). Ha QRP-t hajtottam végre, akkor nem tudhatnád, hogy megtettem. Különösen akkor, ha nem kérte a dokumentációomat, nem dolgozta fel, vagy nem próbált egy lyukat szúrni, és kíváncsi elméjét előrevetíteni arra, amit csinálok. Többször meg tudom csinálni, és észrevétlenül marad, akkor megszabadulhatok tőle. De amint munkatársam felveti a gyanúját, ott jönnek a jó kapcsolataim az irodában lévőkkel. Munkatársam eltérően viselkedhet: kételkedik a munkámban, habozik idézni a jelentésemet, vagy megtagadhatja, hogy referenciaként kezelje. A bizalmatlanság továbbra is fennáll, még akkor is, ha helyesen tettem. Nem gondolom, hogy kellemes légkör lenne a működéshez.

Fotó: chuttersnap az Unsplash-en

Kutatóként szabadon dönthetünk a kutatás irányáról, referenciákat találhatunk, kiválaszthatjuk a módszert és a felhasználói mintát, az adatok feldolgozásának módját, és leírhatjuk a jelentést. De ez nem azt jelenti, hogy a kutató elhanyagolhatja a felelősséget a megfelelő kutatási gyakorlat elvégzéséért. A hatáson kívül a kvalitatív kutatásnak olyan alapelvei vannak, amelyek segítenek a kutatóknak a kutatási gyakorlat értékelésében: megbízhatóság (az eredmények egységesek lesznek, ha egy másik kutató megismételte azokat, és biztosítva, hogy az adatok ne legyenek elfogultak), belső érvényesség (a kutatónak gondoskodnia kell arról, hogy A negatív bizonyítékokat figyelembe veszik, a következtetés pontosan leírja az összes résztvevőt és a kutató előrejelzésének pontosságának beszámolására), valamint a külső érvényesség (megállapításainak elmélettel történő ellenőrzése és mintavétel, amely biztosítja az eredmények széles körű alkalmazhatóságát).

A QRP lehetőségeinek tudatában az egyik módja annak, hogy segítsük a kutatókat a helyes úton maradni. Kétféle módon működhet. Először is kritikusnak kell lennünk munkánk szempontjából: próbáljunk különböző visszajelzéseket kapni a munkatársaktól, tisztában kell lennünk saját elfogult elméjükkel, átláthatóak kell lennünk a nyers adatokkal kapcsolatban, és kezdjük el a szokást, hogy a folyamatot és a dokumentumokat nyomon követhetővé tegyük. Másodszor, a munkatársak felé, aktívan keressen egyértelműséget az adatgyűjtés és -folyamat terén, hogyan juthatnak be a jelentés következtetéséhez, és legyen óvatos, ha az adatok túl jóak (hajtsák végre az eredeti feltételezést, negatív bizonyítékok említése nélkül). Talán még nem említik a kutatásról szóló vállalati politikában, de ez az egyik módja annak, hogy elkezdjük felhívni a figyelmet. Nem büntetendő az üzleti környezetben, nincs olyan kutató-auditor, aki rámutatna, de tükrözi a munka etikáját.

Mi lenne a megfelelő vonal a megfelelő és a rossz kutatási gyakorlat között? Lelkiismeret és igazság? Vagy hírnév és dicsőség? Te döntesz.

Csapatok és egyének, akiknek kritikus öntudatuk van és mindennap javulni akarnak, ezek vagyunk itt a Bukalapakon! Kíváncsivá? Gondolod, hogy rendelkezel tehetséggel és alázattal, hogy hozzájárulj egy ambiciózus és növekvő csapathoz? Nézze meg munkalehetőségeinket!