Szakértői áttekintés, a szerzők elfogadják: A gyors, egymással áttekinthető publikáció modellje

TL; DR: Ez a véleménye kompromisszumot javasol az arXiv gyors közzétételi modellje és a szakértői értékelés minőségvezérelt folyamata között. Az ötlet az, hogy minden cikket áttekintsenek, de a végső döntést arról, hogy kiadják-e a cikket, és annak áttekintését - a szerzők hagyják el.

Az arXiv népszerű eszközévé vált a tudományos munkák széles közönség számára történő közzététele anélkül, hogy át kellene mennie a több hónapos szakértői értékelés folyamatán. Noha a nyílt közzétételi modell felgyorsítja az ötlet terjesztését, a kutatási minőség költségeire számít. A vizsgálat nem jelenti azt, hogy több publikáció tartalmaz hibákat, így nehezebb megkülönböztetni, hogy mely eredményekre lehet támaszkodni. A szerzők számára is kockázatos lehet: egy jó becsület egy becsületes hibával széteshet a nyilvános színpadon, mielőtt a szerzők még esélyt kapnak arra, hogy kijavítsák. Ennek ellenére a hagyományos áttekintési folyamat messze nem tökéletes, és gyakran akadályozza a kicsit szokatlanul jó munkát a közzétételétől.

Gondolkodó kísérletet javasolok: vehetnénk-e a szakértői értékelés és az arXiv pozitív aspektusait, és összevonhatjuk őket egyetlen kiadványmodellben?

Peers Review, szerzők elfogadják

Amit én leírni fogok, az egyik lehetséges kompromisszum a gyorsan szabályozatlan arXiv modell és az óvatos, minőségvezérelt szakértői értékelési folyamat között: Peers Review, Authors Accept (PRAA). A fő különbség a szakértői véleményhez képest az, hogy a szerkesztő szerepe megszűnik. Ehelyett a recenzenseket azonnal egy automatikus folyamat jelöli ki, és az elfogadási döntést a szerzők delegálják. Az arXiv-lel ellentétben a papírokat mindig áttekintésükkel együtt teszik közzé, így további összefüggéseket biztosítva az olvasók számára. A szerkesztő szerepének kiküszöbölése (kézi hozzárendelés, felülvizsgálat utáni megbeszélés és a kemény elfogadási döntési folyamatok) jelentősen felgyorsítja a folyamatot, és potenciálisan csökkenti a tipikus áttekintési időt két hónapról két hétre. Ugyanakkor felhatalmazza a szerzőket azokban az esetekben, amikor egy recenzens becsületesen félreért, elhanyagolhatóan eloszlatja vagy csak nem találja érdekes anyagot. A szerzők alapvetően felülbírálhatják az értékelők ajánlásait, és úgy döntenek, hogy közzéteszik, mind a papír, mind a (potenciálisan negatív) áttekintéseket nyilvánosságra hozva.

A PRAA-ban a szerzők feltöltik kéziratukat egy weboldalra, beleértve a forrásokat is, amelyek lehetővé teszik az automatikus névtelenítést, az áttekintő hozzárendelését, a szerkesztés követését és a visszaélések észlelését. A potenciális ellenőrök azonnali automatikus folyamattal kerülnek kinevezésre. Az értékelőknek rövid idő áll rendelkezésre (például 24 óra) ahhoz, hogy elfogadják a felülvizsgálati feladatot. Ha a recenzens a megadott időtartamon belül nem fogadja el a feladatot, automatikusan kineveznek egy másik recenzort. A felülvizsgálati feladat elfogadása azt jelenti, hogy a felülvizsgálatot egy meghatározott határidőn belül (pl. 2 hét) be kell fejezni.

Amint a szerzők megkapják az értékeléseket, 3 lehetőséget kapnak:

  1. Tegye közzé a papírt a vélemények szerint. Ez anonimizálja a papírt, és azonnal közzéteszi, a recenzsek által kiosztott numerikus pontszámokkal együtt. A teljes áttekintés a cikk végén jelenik meg. A szerzők ezt az opciót választhatják, függetlenül az értékelők véleményétől.
  2. Szerkessze a papírt korlátozott ideig (például 1 hét), és küldje be újra. Ugyanezek az áttekintők látják majd a kézirat új verzióját, a korábbi verzióhoz képest szerkesztési különbségek mellett (a forrásfájlokból automatikusan felismerve), és ennek megfelelően módosítják áttekintéseiket. Hasonlóan rövidebb időtartamú (például 1 hét) lesz a véleményük módosítására.
  3. Végleges, ebben az esetben a papírt nem teszik közzé. A szerzők nem küldhetik be újra a papírt. Ha a cikk jelentős szerkesztéseken megy keresztül, a szerzők benyújthatják a szerkesztett kéziratot teljesen új kéziratként. Az eredeti papírt belsőleg archiválják a visszaélések felderítése érdekében.

Előnyök

A PRAA előnyei három szerepben láthatók:

Az olvasók

  • Friss eredmények. A gyors közzétételi ciklus azt jelenti, hogy az olvasók naprakészek lehetnek a legfrissebb eredményekkel. Ez vitathatatlanul az egyik fő tényező, amely felgyorsítja a tudományos haladást.
  • Napi takarmány. A konferencia határideje közzétételi cunamákat hoz létre, amelyek egyszerre hatalmas mennyiségű papírral terhelik az olvasót. Ehelyett a PRAA határidőhiánya lehetővé teszi az új irodalom folyamatos áramlását.
  • Minden felül van. A PRAA biztosítja, hogy egyetlen cikk sem szakértői értékelés nélkül ne kerüljön nyilvánosságra. A numerikus értékek további információkat nyújtanak az olvasóknak az elolvasandó papírok kiválasztásához, míg a megjegyzések összefüggéseket adnak a munka lehetséges hatásaival és annak korlátaival kapcsolatban.

A szerzők

  • Az elfogadás a szerzők döntése. A szakértői értékelés sztochasztikus folyamat, és messze nem tökéletes. Az elfogadási döntés átadása a szerzőknek ellenőrzi a recenzens hatalmát. Ha a szerzők nem értenek egyet az értékelők megjegyzéseivel, úgy dönthetnek, hogy közzéteszik.
  • A vélemények privát jellegűek. Míg a szerzők ritkán értenek egyet a felülvizsgálat minden érvével, a felülvizsgálati folyamat gyakran feltár néhány tényleges hibát a cikkben. A szerzők ezután dönthetnek úgy, hogy kijavítják ezeket a hibákat, és javítják munkájukat egy privát felülvizsgálati folyamat védelme alatt. Ez éles ellentétben áll az arXiv és az Open Review modellekkel, amelyekben a kijavítható hiba nyilvánosan diskreditálhat egy jó ötletét.
  • Az értékelések kettős vakok. Az ellenőrzött kísérletek kimutatták, hogy az egy vak vak értékeléseket általában a híres kutatók és intézmények elfogultságában részesítik, és így „gazdagabbá válnak” (lásd például az adatbányász közösségben egy nemrégiben készült tanulmányt). A kettős vak áttekintés tagadja ezt az elfogultságot, lehetővé téve a jó mű terjesztését, függetlenül a szerző azonosságától.
  • Minden nap határidő. A határidő eltörlése lehetővé teszi a kutatók számára, hogy munkát nyújtsanak be felülvizsgálatra, ha úgy gondolják, hogy a munka elég jó. Noha a határidők hasznosak lehetnek a kutatási erőfeszítések belső irányításában, a külsőleg előírt határidők ösztönözhetik a félig sütött munka benyújtását, vagy alternatívaként pazarolhatják az időt a már telített kutatási erőfeszítések tökéletesítésére.
  • Gyors áttekintési ciklus. A gyors áttekintési ciklus korlátozza a kontextusváltás mennyiségét, amelyet a szerzők okoznak, lehetővé téve számukra, hogy gyorsan visszamerüljenek a papírba, és szükség szerint módosítsák.

Az áttekintők

  • Könnyebb felülvizsgálati terhelés. Hosszú távon a PRAA három okból csökkentheti a felülvizsgálathoz kapcsolódó munkaterhelést. Először az összes szerkesztési feladat automatizálódik; ez nemcsak felszabadítja a szerkesztőket és a területi székeket, de kiküszöböli az ajánlattételi és az utólagos értékelési beszélgetéseket is. Másodszor, a gyors áttekintési és módosítási ciklusok drasztikusan csökkenthetik a kontextusváltást, míg a szerkesztések automatikus kiemelése megtakaríthatja az értékelők idejét azáltal, hogy ezekre a változásokra összpontosít. Végül, ha az elfogadási döntést a szerzők kezébe helyezik, akkor az ismételt és a kettős benyújtások mennyiségének csökkentésével csökkentheti a felülvizsgálatok számát.
  • A vélemények összefüggéseket biztosítanak. A hagyományos felülvizsgálati modellben három hosszú áttekintés végül bináris döntéssé válik. A vélemények közzététele a cikk mellett a beszámolót sokkal értékesebbé teszi a közösség számára, amint az az Open Review modellben is látható (azonban a PRAA-tól eltérően, a vélemények nyilvánosságra hozatala előtt a szerzők hozzájárulására van szükség.

Még mindig van sok nyitott kérdés és a megvalósítás részletei, amelyeket alaposan meg kell vizsgálni egy ilyen rendszer megvalósításakor. Például:

  • Mennyi időt kell fordítani a felülvizsgálatra?
  • Hogyan tudjuk automatikusan kiosztani az értékelőket?
  • Hogyan ösztönözhetjük az értékelőket a részvételre?
  • Hogyan lehet ösztönözni a visszaéléseket és a modell játékát?
  • Hogyan lehet a PRAA alkalmazni a konferenciákra?

Noha nem tudom megjósolni, hogy a PRAA mennyire működik hatékonyan a gyakorlatban, remélem, hogy ez az ötlet további vitákat ösztönöz majd jobb publikációs modellek keresése felé, amelyek lehetővé teszik a gyors és megalapozott tudományos haladást.