Átláthatóság és bizalom a kutatási ökoszisztémában

Ezt a posztot Jen Sturdy, a BITSS tanácsadója írta. A BITSS Bloggal keresztbe kerül.

A CEGA elindította a társadalomtudományok átláthatóságának Berkeley kezdeményezését (BITSS) azzal az érvelés alapján, hogy a kutatás nagyobb átláthatósága képes kezelni a publikációs elfogultságot okozó alapvető tényezőket, a megbízhatatlan kutatási eredményeket, a közzétett irodalomban a reprodukálhatóság hiányát és a problémás ösztönző struktúrát. a kutatási ökoszisztéma. Időközben egyre növekvő számú eszköz jelent meg a tudomány javításának érdekében: Együttműködési platformok! Nagy adat! Gépi tanulás! Olyan sok szoftver!

Ezért úgy gondoljuk, hogy a nyílt társadalomtudományi mozgalom eszközként szolgálja az új világ megteremtését - a közös kutatás és a tanulás lehetőségeinek megteremtésével - és enyhítését - az átláthatóság új eszközeinek és módszereinek kiaknázásával, hogy enyhítse a publikációt és a kutatói elfogultságot, amelyek vezette a hitelességi válságot.

Úgy gondoljuk, hogy mindkettő megvalósítható, különösen a tanulmányi regisztráció, az előzetes elemzési tervek (PAP) és az adattár + kódok tárolóinak fejlesztésével és széles körű elfogadásával, valamint a nyilvánosságra hozatali gyakorlatokkal, mint például a regisztrált jelentések, nyomtatványok és nyílt hozzáférésű folyóiratok. Úgy gondoljuk azonban, hogy a kutatás tervezésének, megvalósításának és közzétételének előnyei csak akkor teljes mértékben valósíthatók meg, ha megértjük, hogy ezek az előnyök bizalmon épülnek - a közvélemény bizalmába a kutatási ökoszisztéma és a benne lévők bizalma.

Noha az átláthatóság eszköz lehet a bizalom erősítésében, akkor is károsíthatja, ha nem megfelelően mûködik. Ezt szem előtt tartva négy gondolatot kínálunk arra, hogyan működhet a bizalom és az átláthatóság a jelenlegi kutatási ökoszisztémában:

  1. Az átláthatóság jelentheti a megnövekedett hatókört, nem pedig a scoopingot. Az a érv, amelyet gyakran hallunk a tanulmánytervezés nagyobb nyitottsága ellen, az, hogy a kutatókat „elvonultatják”. A tipikusan bemutatott forgatókönyv: egy innovatív ötlettel rendelkező fiatal kutató feladja PAP-ját és / vagy regisztrációját, csak hogy megalapozottabb (és jobb finanszírozott) kutató megragadja az ötletet, gyorsabban finanszírozza a tanulmányt, és közzéteszi azt, mielőtt az eredeti kutatónak ideje lenne befejezni a tanulmányt. Ez az aggodalom rávilágít a kutatók iránti bizalom hiányára. De vegye figyelembe két ellenérvet: Először is, a szokásos gyakorlathoz képest, amikor a korai stádium kialakítását és az ötleteket akadémiai konferenciákon vagy finanszírozási javaslatokon mutatják be, a regisztrált PAP-nak (például az OSF-ben) erősebb papírköve van, hogy az eredetinek megfelelő hitelt nyújtson. kutató. Másodszor, különösen akkor, ha az ötlet újszerű, miért nem tekinthetjük a PAP közzétételét együttműködési felhívásnak (adott esetben)? Az eredeti kutató csak annyit képes megtenni a hatókörét tekintve - a minta mérete és teljesítménye, földrajzi elhelyezkedése, összefüggései stb. - a rendelkezésre álló finanszírozás alapján. De ha a PAP-k közzététele felkérhető más kutatók számára az együttműködésre (és megbízhatnánk őket mint együttműködőket), az eredmény lehet a minta méretének növekedése és / vagy hozzájárulhat a metaanalízis egyesítéséhez és más források kiaknázásához a az eredeti tanulmány statisztikai ereje, külső érvényessége vagy egyéb kihívásai. (Ezt szem előtt tartva, olyan érdeklődésre számítunk, mint a StudySwap, de kíváncsi vagyunk hallani minden pozitív / negatív tapasztalatot egy ilyen megközelítéssel!)
  2. Újra kell építeni a kutatók és a folyóiratok közötti bizalmat. Gyakran feltételezik, hogy a folyóiratok csak olyan statisztikailag szignifikáns innovatív eredményeket tesznek közzé - vezetik a kutatókat, hogy a p-hack-ot (lásd itt a példát) egy bizonyos statisztikai küszöbértékre vezessék (bár nagy vita folyik arról, hogy e küszöbértéknek p≤0,0-ről p-re kell változnia) ≤ 005, vagy ha egyáltalán legyen küszöbérték!). Gyakori az is, hogy a folyóiratok csak az eredeti tanulmány eredményeit megcáfoló replikákat publikálják. Ennek eredményeként a kutatók megismételhető eredményeket hagyhatnak a fájlfiókokban (soha nem fogunk tudni!), Vagy aktívan keresnek különbségeket. Nagyon nagy hangsúlyt fektetünk arra, hogy a kutatóknak miként kell reagálniuk és alkalmazkodniuk kell a hitelességi válsághoz, de mennyit lehet megtenni, ha a folyóiratok sem reagálnak a bizalom újjáépítésére? Míg a folyóiratok felhívják a kutatók erőfeszítéseinek kiegészítését a továbbfejlesztett adatok és kódok javítása érdekében, a folyóiratok által vezetett egyéb erőfeszítések - például az eredmények előzetes áttekintésének kísérleti tesztelése és a replikációs tanulmányok közzététele az eredményektől függetlenül - biztatóak, mert azt mutatják, hogy a folyóiratok hajlandók vállalja a felelősséget és a kockázatot, és bizonyítsa, hogy nem hihetetlen eredmények, hanem a publikált, megbízható tudomány.
  3. Mennyire átláthatóak vagyunk az etikai kötelezettségeinkkel. A tudomány nagy része a bizalomra támaszkodik, amelyet a kutatás résztvevői a kutatókban szenvednek a személyes és / vagy érzékeny adatok védelme érdekében. Ez a bizalom beépül a tájékozott jóváhagyási folyamatba, és azt, hogy a résztvevők mennyire értik meg, milyen adatokat kérnek fel nekik, hogyan fogják felhasználni és hogyan fogják megvédeni. Fontolja meg, hogy létezik (legalább!) Három adatcsoport - i. Olyan adatok, amelyek nem nyilvánosak, és amelyeket tulajdonosaik, érzékenysége vagy a résztvevők számára esetleges egyéb károk miatt soha nem lehet nyilvánosságra hozni; ii. nem nyilvános adatok, amelyek azonosíthatóak vagy más módon kezelhetők oly módon, hogy az átláthatóság lehetővé tegye a résztvevőket nem sértő módon (lásd az azonosításhoz szükséges hasznos látványt); és (iii) nyilvános - vagy legalább hozzáférhető - adatok, amelyeket kutatási célokra gondosan figyelembe kell venni (gondolom, az OKCupid vagy a Facebook). Hogy mennyire átláthatóak lehetünk, és az átláthatóság etikája e három (vagy több) csoportonként eltérő - alapvetően létezik egy átláthatóság spektruma. Ezért állunk a képzéseink átláthatóságának kiegyensúlyozott megközelítésére, és nyomon követjük a tájékozott beleegyezés és az adatok megosztása terén fejlődő gyakorlatokat (mint például a felülvizsgált közös szabály). A tudomány gyakorlásába vetett bizalom fenntartása és a tudomány megnyitása érdekében a kutatóknak a kezdetektől kezdve egyértelműen meg kell határozniuk, mikor tanulmányaik a várható előnyök és kockázatok alapján az átláthatóság spektrumába esnek. (Ezt szem előtt tartva örülünk annak a munkának, mint például a Pervade révén a kvalitatív és több módszertani kutatás, a számítástechnikai etika és az Open Data Initiative adat etikai vászonának megnyitása).
  4. A bizalom fenntartása és erősítése jó védelem azokkal szemben, akik fegyverbe helyezik az átláthatóságot. Van egy egyszerű érv, amelynek mindenkinek, akit érdekel a jó tudományos aggodalom, fel kell vetnie - ez a kutatás csak akkor hiteles, ha 100% -ban átlátható. Ez az érv nem veszi figyelembe a fent tárgyalt spektrumot. Szóval, hogyan kell megvédeni magunkat? Nos, jó kiindulási pont a Lewandowsky & Bishop összefoglalása arról, hogy miként lehet fegyverezni az átláthatóságot! A kettős élű kard felismerésével tájékoztatni kell az átláthatóság fokozására irányuló erőfeszítéseinket a tudomány javítása érdekében, és nem azért, hogy többet ártanak, mint haszon. Másodszor, mindenkinek meg kell tennie a részét a kutatási ökoszisztéma iránti bizalom újjáépítésében és fenntartásában. Például: ha kutató vagy, akkor hamisan nem állíthatja az emberi alanyok védelmét arra, hogy ürügyként szolgáltasson az elemzés alapjául szolgáló adatok megosztására, ha lehetséges (azonosítás nélkül vagy más módszerekkel); ha Ön finanszírozó vagy politikai döntéshozó, akkor ne írjon elő általános követelményeket a kutatók számára az összes olyan adat megosztására, amely nem veszi figyelembe az átláthatóság spektrumát.

Végül: a társadalomtudomány átláthatóságának (és az általa közölt szakpolitikai elemzésnek) mellett állunk, amennyiben úgy gondoljuk, hogy a kutatás megnyitása javítja annak szigorát és hitelességét. Ez a feltételezés azonban csak akkor érvényes, amikor az átláthatóság építi és erősíti a kutatási ökoszisztéma iránti bizalmat, nem pedig csökkenti azt.