Ahol közzéteszik

miért nem szabad a Journal Impacts kutatóit ítélni?

[Plútó sorozat] # 0 - Akadémia, szerkezetileg feljavítva
[Plútó sorozat] # 1 - Kutatás, a tudást létrehozó ipar
[Plútó sorozat] # 2 - Tudomány, könyvkiadás és tudományos kommunikáció
[Plútó sorozat] # 3 - közzéteszi, de tényleg elpusztul?
[Plútó sorozat] # 4 - Közzététel vagy elveszítés és elveszítés Vainban
[Plútó sorozat] # 5 - Ahol közzéteszik
[Plútó sorozat] # 6 - Publikációk száma
[Plútó sorozat] # 7 - A hivatkozási alapokról
[Plútó sorozat] # 8 - A hivatkozási gyakorlatokról
[Plútó sorozat] # 9 - A hivatkozások követéséről
[Plútó sorozat] # 10 - Szakértői vélemények
[Plútó sorozat] # 11 - A sorozat befejezése

Az előző bejegyzésben már arról beszéltünk, hogy mi a rossz ösztönző struktúra az egyetemi közösségben. A tudományos élet egészének általános célja több, eredeti és robusztus tudás. Ha az ösztönző indukálja a nem ezen pozitív értékeken kívüli nem kívánt következményeket, vagy ha a pozitív értékeket megfelelő módon nem sikerül megragadni, akkor az ösztönzőnek rossznak mondhatják.

Folyóirat, forrás: Plüss Design Studio, Unsplash

Ez a bejegyzés az első ilyen eset, nevezetesen a kutatók értékelése azzal, hogy hol jelennek meg. Kérdéses, hogy ezt a gyakorlatot hogyan próbálja kiértékelni, és függetlenül attól, hogy mit értékel, a tudás összetett értékeit nem lehet ilyen egyszerűsített eszközökkel mérni. Az a gyakorlat, amelyben ezt a gyakorlatot fenntartják, túlzott hatásköröket adott egyes érdekelt feleknek, ami átláthatóság hiányához, felesleges politikákhoz és etikátlan magatartáshoz vezet.

Miért hol?

A tudományos élet ösztönző struktúráját egy korábbi bejegyzésben leírva azt mondták, hogy a kutatókat gyakran értékelik termelékenységüket bibliográfiai nyilvántartásukkal, vagy a tudományos folyóiratokban közzétett cikkek listájával, a „hol teszik közzé” elemzésével, a Journal Impact Factors segítségével. ennek a „hol” proxy értéke. Ez a „hol” természetesen rövidítés az „melyik recenzált folyóirat” kifejezéshez, és többnyire inkább feltételezi a nagyobb indexekben szereplő folyóiratokat, mint például a Clarivate Analytics Web of Science Core Collection (WoSCC) vagy az Elsevier SCOPUS. .

A felszínen hihetetlenül fontosnak tűnik a közzététel helye. Attól függően, hogy hol közzéteszi kutatási eredményeit, a kiadvány terjesztésének mértéke súlyosan eltérhet. Vagyis ha megfelelő folyóiratot választ a kiadványához, akkor ez több száz vagy több ezer társának továbbadódhat, míg a rossz választás azt eredményezheti, hogy a releváns területen senki sem olvassa el azt. Ezt láthatja, amikor a Google-on „hol közzéteszi”. (természetesen sok olyan „könyvtári útmutatóval”, amely azt mondja, hogy meg kell vizsgálnia, hogy a folyóiratok a WoS-ban vagy a SCOPUS-ban vannak-e indexelve)

Egy másik jelentős szempont, amelyet figyelembe kell venni a „közzététel helyének” kiválasztásakor, a folyóirat szerkesztősége. Az akadémiai folyóiratok legkülönlegesebb funkcionalitása a peer-review, a helyszíni szakértők által végzett vizsgálat tudományos folyamata. Ezt a szakértői értékelési folyamatot a szerkesztőség és a csapatok irányítják. Előzetesen átvizsgálják a benyújtott kéziratokat, kiválasztják a szakértőket, és végső döntést hoznak a kéziratok elfogadásáról, elutasításáról vagy felülvizsgálatáról. Mivel a különböző folyóiratokban különböző szerkesztők vannak, tehát különböző áttekintési gyakorlatok, valószínűleg nagyon fontos, hogy válasszon egy tisztességes folyóiratot, amelyet a saját területének hiteles szakértői szerkesztnek, és akik elég jól képzettek a kiadványuk megfelelő ellenőrzéséhez.

Miért nem hol?

Noha egyértelműen úgy tűnik, hogy fontos a megfelelő közzétételi hely megválasztása, ez még mindig nem jelenti azt, hogy a kutatást a közzététel helyén kell értékelni. Mindenekelőtt nem egyértelmű, hogy milyen értékről van szó. Nagyon nagyszerű, ha fel akarjuk venni a fentebb leírt terjesztés mértékét. De ez mind kontextuális, mind műszaki szempontból nagyon kihívást jelent. Figyelembe kell vennünk az egyedülálló emberek abszolút számát, amelyet egy folyóirat elér? Egyedi ülések és hozzáférések egyetemektől és intézményektől? A folyóiratok ilyen fajtája reprezentálja-e az egyes kiadványok terjesztésének mértékét is? A folyóiratok és információs szolgáltatások képesek-e valóban követni ezeket a statisztikákat? A válasz nevetséges, hogy igen vagy sem, a rendszer valójában soha nem törődik ezzel a kérdéssel.
(Az altmetrika, az online információs szolgáltatások felhasználási statisztikái erre a vonatkozásra vonatkoznak. Ennek ellenére ezek a mutatók közvetlenül az egyes kiadványokból származnak, nem pedig azoktól, ahol vannak.)

Ki dönti el hol?

A „hol” értékkel rögzített érték valószínűleg a mutatók beillesztési kritériumaiból és értékelési folyamataiból (WoSCC kritériumok és folyamat, SCOPUS folyamat és fórum) következtethető be. Mindkettőnek közös követelményei vannak, mint például az ISSN regisztráció és az angol (vagy római) bibliográfiai metaadatok (kivonatok, hivatkozások stb.), Amelyek rendkívül fontosak az egész adatbázis tisztaságának és kezelhetőségének fenntartásában. További szükséges feltétel az, hogy a folyóiratok tartalmát szakértői véleményezi. Ez természetesen pozitív. A probléma az, hogy miként jelennek meg. Mivel ez SZÜKSÉGES feltétel, ezért az ezekbe az indexekbe beépített naplót kölcsönösen felül kell vizsgálni. De honnan tudhatjuk meg, amikor soha nem bizonyítják, hogy vannak? Vannak olyan folyóiratok, amelyek publikálják a szakértői értékelési jelentéseket az eredeti kiadványokkal együtt. Az indexek folyóiratainak többi részében csak bízunk-e az indexszolgáltatókban abban, hogy őszintén ellenőrizték a szakértői értékelési gyakorlatokat és a tényleges bizonyítékokat?

Ez a dolog pontosan ugyanaz a beillesztési folyamat többi részével. A szükséges feltételek mellett sokkal több kritérium található, amelyek szerint állnak. Néhányat megnevezhetnénk: „Tudományos hozzájárulás a területhez”, „A folyóirat megfogalmazott célkitűzéseinek és terjedelmének minősége és azoknak való megfelelés”, „Szerkesztő állása”, „Új szempont” és „Célközönség”. Ezek szintén többnyire általánosak mindkét indexben, bár a kifejezésekben vannak bizonyos különbségek. Ezek a kritériumok mindegyik jól néz ki és képzeletbeli, és ismét a kérdés az, hogy hogyan teszik valóban ezt. A magyarázatuk alapján leginkább azt tapasztalom, hogy szerkesztői csoportjuk vagy testületük kiértékelte őket (ne keverje össze ezt a folyóirat-szerkesztőkkel). Végül nem találok információt a szerkesztőségről a WoSCC-n, és a SCOPUS fórumának oldala 17 véletlenszerű tudósot ad azokhoz tartozó tagságával, amelyek mindegyike egy metafegyemet képvisel (17 ember felelős az egész akadémiai taxonómia „meghatározásáért, wow”). Röviden összefoglalva: VAGYATTAL vagyunk arról, hogy ki dönti el a folyóirat-zárványokat, miért kell felelősnek lennie azért a munkáért, vagy hogy mi a tényleges döntés alapján melyik bizonyíték alapján döntött.

Az index indexéről beszélünk. A dolgokat a szakértők által szerkesztett folyóiratokban teszik közzé (tehát a folyóirat részeként indexelik). Ezen a ponton ellazultunk, mivel sok folyóirat-weboldal ad információt szerkesztői testületéről. * És akkor ezeket a folyóiratokat meta-indexelik olyan bibliográfiai adatbázisokban, mint a WoSCC vagy a SCOPUS, amelyet néhány véletlenszerű ember szerkesztett, ahol teljesen eltévedtünk. kik ők és mit csináltak. Figyelembe véve azt a tényt, hogy ezeket az indexeket sok akadémiai döntés során használják értékelési kritériumként, engedjük, hogy egyes kereskedelmi vállalkozások eldöntsék, hol kell a tudósoknak benyújtani dokumentumaikat, hogy homályos műveletekkel „tudományos ismereteknek” lehessen őket tekinteni. Erősen megkérdőjelezem, hogy erről álljon-e tudomány.
(* Lásd például a Lancet-et. Személy szerint úgy gondolom, hogy a szerkesztőkkel kapcsolatos sok információ minimális követelmény.)

A hatás rögzítése

Lehet, hogy a választ legjobban az a szám reprezentálja, amelyet ehhez elsősorban proxyként használunk: Journal Impact Factors (JIF). Nyilvánvaló, amint a neve mondja, úgy tűnik, hogy a JIF felméri a folyóiratok hatását. Hagyja félre a kérdést, hogy mit jelent ez a hatás, úgy tűnik, hogy a folyóiratok hatása szorosan összefügg a hivatkozásokkal, mivel a JIF-eket a hivatkozási grafikonokkal számolják. (A JIF az idén az index összes kiadványa alapján az érdeklődésre számot tartó folyóirat kiadásaiban az elmúlt két évben kapott idézetek átlagos száma. További leírást a Wikipedia tartalmaz)

Egy madárkővel több madár sem ölhető meg

Valóban zavaró, hogy mit jelent ez a hatás. Egy dolgot egyértelműen elmondhatunk. Ez átlagos idézést jelent. Legyen az hatás, érték, haladás, hozzájárulás vagy bármi más, az egyszerűsített, egyetlen mutató nem (és nem szabad) a tudás bonyolult és sokrétű aspektusait képviseli (és nem szabad). A beillesztési folyamatok indexek által ábrázolt hozzájárulásai hozzájárulnak a területhez, a célokhoz és a hatályhoz, valamint azok megfelelőségéhez és minőségéhez, a téren belüli elhelyezkedéshez, az ötletek eredetiségéhez, a közönséghez, az etikához, az átláthatósághoz ... ezek közül csak néhányat említenek. Soha senki sem fogja megtalálni a módját, hogy ezeket az értékeket egyetlen mutatóval rögzítse.

Egyszerűsített és egyetlen mutató használata súlyos károkat okoz az egyetemi közösségnek: hatalmi törvényhez vezet *. Robert Merton „Matthew Effect” -ként alkotta ezt a hatalmi törvényt jól ábrázolja a „Rich gazdagabbá válnak, a szegények szegényebbek” kifejezés. Ez az akadémiai hatalmi törvény két fő okból nem kívánatos. i) A feltörekvő kutatóknak korai karrierjük során kevesebb lehetőséget biztosítanak. ii) Kevés kívülállónak adnak hatalmat, mint a közösségnél, amely ellenzi a modern tudomány „szervezett szkepticizmusát”. A tudományt a kortársak, nem a kevés ország hatóságai ellenőrzik.
(* E hatalmi törvény bizonyítékai között szerepel: az árak, a Lotka, a Zipf, a Bradford törvényei)

„Hol” soha nem helyettesíti a „mit”

Az egységes metrika használatával kapcsolatos aggodalmak mellett kritikákat is maga a JIF mutat. Mindenekelőtt azért, mert az idézetekből számítják, és a legtöbb idézetre vonatkozó kritikát örököl. Például, idézetek játszhatók, a tényleges szám jelentősen eltérhet a használt idézőindextől függően, és ami a legfontosabb: a idézetek száma nem jelenti a kiadvány értékét. Ugyanúgy, mint a JIF-ek. Erről a témáról bővebben egy idézetekről szóló későbbi postában foglalkozunk.

Azt is meg kell jegyezni, hogy a JIF-eket nem szabad felhasználni az egyes kiadványok értékelésére. Az átlag jelentését általában prediktív mérőszámként értelmezik, de arról számoltak be, hogy a JIF-rel nem tudják megjósolni egy folyóiratban szereplő kiadvány hivatkozásait. Ez elsősorban a hivatkozások ferde eloszlásának tudható be. A JIF-eket nagyon nagy mértékben érintik a túlmutatók. Tegyük fel, hogy van egy folyóiratunk, amelynek JIF = 40, véletlenszerű publikációkat válogatunk belőle, hogy megnézze a hivatkozási számot, és valószínűleg 40-nél kisebb számot fogunk látni. Ezt az óvintézkedést leírva, a Nature Materials egy szerkesztőségben azt javasolta, hogy a folyóiratok jobban közöljék hivatkozási eloszlásuk.

A legfontosabb, hogy egy kiadvány értéke Universal (U a CUDOS-tól). Nem változhat attól, hogy hol helyezkedik el. Ön elvégezte az A kísérletet, összegyűjtötte a B adatállományt, elemezte a C módszerrel, megkapta a D eredményt. Akár felteszi a Facebook-hírcsatornájába, csipogja, blogba helyezi, arxiválja, vagy egy naplóban közzéteszi rendkívül magas JIF-értékkel, ennek értékét nem kellene nem változtat.

Teljesítmény túlnyomó

Mivel a kutatókat arra értékelik, hogy hol jelennek meg, néhány érdekelt fél ezzel a „hol” -val kapcsolatban nagy befolyást gyakorolhat az egyetemekre. Mint fentebb leírtuk, a tudomány virtuális meghatározását (vagy „ahol tudománynak kell nyilvánosságra hoznunk”) nagyjából kevés indexszolgáltató irányítja.

A kiadók és a folyóiratok is hiteles hatalmat szereznek. Mivel a folyóiratok többségében bináris döntések vannak a benyújtott kéziratokról (azaz elfogadják vagy elutasítják), a kutatók e határozatok hatálya alá tartoznak. Sok kiadó és folyóirat nem hivatalosan támogatja az archiválást * (azaz nyomtatványokat és tárolókat). Noha vannak olyan közzétételi helyek, amelyek támogathatják az archiválást, a kutatók továbbra is hajlamosak nem használni nyomtatványokat, ha a területük nagy hatású folyóirata nem támogatja azt. Ez az egyetlen, amely megakadályozza a kutatókat a közzététel előtti archiválásban, és más irányba terelni, ezért a kiadók és folyóiratok dönthetnek úgy, hogy nem támogatják azt.
(** A SHERPA / RoMEO szerint a 2566 kiadó közül 487 (19%) nem támogatja „hivatalosan az archiválást”. Ennek a státusznak a folyóirat szintre történő kiterjesztése biztosan növeli az arányt. *)

Publikációs túlcsordulás

A hiteles hatalommal bíró kiadók több publikációhoz vezethetnek, nem pedig jobb és erőteljesebb tudáshoz. Mivel a legtöbb kiadó üzleti modellje a nyereség betakarítása előfizetések és APC-k útján (a szerzők ezt fizetik, amikor a kéziratokat benyújtják a nyílt hozzáféréshez), nyilvánvaló, hogy több kiadványt részesítenének előnyben. Egyes folyóiratokban ez nem igaz, mivel több kiadvány csökkentheti a JIF-et. (a nevezőben található) De kiadói szinten ezt össze lehet hangolni a publikációk számának növelésével, ugyanakkor több idézetet generálnak a folyóiratukban. Valójában a kiadványok száma drasztikusan növekedett évtizedek óta, de felmerül a kérdés, vajon ez több, jobb ismerethez is vezet-e?

Erkölcsi veszélyek

További óvintézkedés az, hogy a kiadók és folyóiratok befolyásolhatják a kutatóközösségek és a trendek általános irányát. Amint azt már az előző bejegyzésben megvitatták, hajlamosak olyan politikák kidolgozására, amelyek megnövekedett JIF-hez vezetnének, mint például a szemet gyönyörködtető, trendi vagy akár helytelen állítások elfogadása, valamint az inkrementális, negatív vagy másolatú tanulmányok elutasítása.

Még rosszabb a hibás magatartás, amelynek célja a metrika növelése. A folyóiratok, különösen a szerkesztők, etikátlanul kényszeríthetik benyújtó szerzőiket arra, hogy idézjenek az adott folyóiratban szereplő cikkeket. A több folyóirat körüli szerkesztők és szerzők idéző ​​kartelleket hozhatnak létre, ahol hivatkoznak egymás papíraira, hogy szándékosan növeljék mindegyik hatásukat. Ezek a rossz gyakorlatok nemcsak rosszak, és etikátlanok, de tovább rontják a JIF mint metrika megbízhatóságát. Mint ilyenek, szennyezik az egész irodalmat, kevésbé releváns, vagy néha akár értelmetlen hivatkozásokat generálva a kiadványok között. A nap végén rontják a tudományos élet iránti bizalmat.

Javítani, nem elriasztani

Mindig megvitatható kérdések maradnak azokon a területeken, ahol a kutatási eredményeket meg kell osztani. A tudományos kommunikáció alapvető részeként a tudományos tartalom terjesztése mindig magában foglalja az értékes kutatási információk átadását az egyik játékosról a másikra. Ezenkívül a JIF által végzett értékelés (vagy ahol közzéteszik) megszerzi ezt az előnyt az idézéshez képest, számít, hogy az egyes kiadványok idézése komoly hosszú időt vesz igénybe, míg a folyóirat proxyja azonnal felhasználható. Mindazonáltal javítani kell a kutatók és tartalmaik jelenlegi értékelési gyakorlatait annak alapján, ahogyan közzéteszik.

Mivel az egyszerűsített mutató kérdéseket vet fel arra vonatkozóan, hogy mekkora, ezért átfogóbb eszközöket kell megvizsgálni a tudás különféle aspektusainak jobb felvétele érdekében. Mindig figyelembe kell venni, hogy a tudás egy része és értéke nem változik a közzététel helyén, miközben emlékeztetünk arra, hogy továbbra is fontos kérdés, hogy kinek adják tovább.

Néhány olyan játékos esetén előfordulhatnak visszaélések, akiknek túl sok hiteles hatalma van, és amelyek érdekei távol állnak a valódi tudás generálásától. Pontosabban, az átláthatóság elengedhetetlen ahhoz, hogy néhány profit-orientált szereplő átláthatatlan működése hagyja eldönteni, hogy mit kell kutatásnak tekinteni.

KÖVETKEZÖ

A közelgő posztban a rossz ösztönzés egy másik esetéről beszélünk, amikor a publikációk számát használják értékelési kritériumként, ez a legfontosabb „közzététel vagy elpusztítás” kérdése.

Mindig köszönöm a támogatást, és kérjük, CLAP & Ossza meg a történetet társaival, barátaival és családtagjaival, hogy hívjanak fel további vitákat.

[Plútó sorozat] # 0 - Akadémia, szerkezetileg feljavítva
[Plútó sorozat] # 1 - Kutatás, a tudást létrehozó ipar
[Plútó sorozat] # 2 - Tudomány, könyvkiadás és tudományos kommunikáció
[Plútó sorozat] # 3 - közzéteszi, de tényleg elpusztul?
[Plútó sorozat] # 4 - Közzététel vagy elveszítés és elveszítés Vainban
[Plútó sorozat] # 5 - Ahol közzéteszik
[Plútó sorozat] # 6 - Publikációk száma
[Plútó sorozat] # 7 - A hivatkozási alapokról
[Plútó sorozat] # 8 - A hivatkozási gyakorlatokról
[Plútó sorozat] # 9 - A hivatkozások követéséről
[Plútó sorozat] # 10 - Szakértői vélemények
[Plútó sorozat] # 11 - A sorozat befejezése

Plútó hálózat
Honlap / Github / Facebook / Twitter / Távirat / Közepes
Scinapse: Tudományos keresőmotor
E-mail: team@pluto.network