Algoritmusok meggyőzése AI fejjel

A tények ellenőrzése csökkentheti a megbízhatatlan hírek terjedését. Megteheti az ellenkezőjét is.

(ez a bejegyzés eredetileg a civilservant.io oldalon jelent meg)

A reddit r / worldnews olvasói gyakran bulvárlap híreket jelentenek az önkéntes moderátoroknak, és felkérik őket, hogy tiltsák meg a bulvárlapokat szenzációjú cikkeikért. Ezek a díszített történetek felhívják az emberek figyelmét, vonzzák a vitákat és észreveszik a reddit rangsoroló algoritmusa segítségével, amely ezeket tovább terjeszti.

A bulvárhírek betiltása véget vethet ennek a visszajelzésnek, de a közösség moderátorai ellenzi az általános tilalmakat. Ennek a rejtvénynek a megoldásához a moderátoroknak meg kellett válaszolniuk az úgynevezett „hamis híreket” érintő viták középpontjában álló kérdést: hogyan lehet megőrizni a közreműködők szabadságát, miközben befolyásolhatjuk az emberek kölcsönös viselkedését és az algoritmusokat a közösség érdekében?

Ezen a télen a moderátorok együtt dolgoztak a CivilServant céggel egy ötlet kipróbálására: milyen hatással jár a tényellenőrzés ösztönzése a megbízhatatlan hírekre adott válaszokra? Látni akartuk, hogyan reagál az r / worldnews közösség. Megfigyeltük a reddit rangsorolására gyakorolt ​​hatást is. Ha a reddit algoritmusai a tényellenőrzést népszerűségnek értelmezték, akkor a megbízhatatlan cikkek tovább terjedhetnek.

A bulvárhírek a 15 millió előfizetői közösségbe benyújtott beadások nagyjából 2,3% -át teszik ki, amely az USA-n kívüli híreket tárgyalja. Az r / worldnewsban 70 moderátor napi körülbelül 450 cikket vizsgál meg, és hagyja, hogy ezen cikkek 68% -a megmaradjon. Mivel ez alapértelmezett alhirdetés, a legtöbb reddit olvasó világhíreket kap a közösségen keresztül. Noha a közösség elérhetőségét a Facebook megrontja, az r / worldnews lehet a legnagyobb egyetlen csoport a világhírek megvitatására az angol nyelvű interneten bárhol. Még a közösség kis hatása is nagyban befolyásolhatja azt, hogy az emberek milliói hogyan értelmezik a világgal kapcsolatos potenciálisan megbízhatatlan információkat.

November 27-től január 20-ig tartó tanulmányunkban az A / B üzeneteket teszteltük, amelyek arra ösztönzik a közösséget, hogy ellenőrizze és szavazzon bulvárhírekről. Íme, amit találtunk:

A tény-ellenőrzés ösztönzésének hatása a közösségi viselkedésre

Az r / worldnews táblázatos beadványainak megbeszéléseinél a tényellenőrzés ösztönzése átlagosan 2x-rel növeli a linkekkel fűzött megjegyzések előfordulási arányát, és a tény-ellenőrzés + szavazás ösztönzése hasonló hatással jár.

A tény-ellenőrzés ösztönzésének hatása a Reddit algoritmusaira

A 24 órás megfigyelés során azt is megállapítottuk, hogy a tények ellenőrzését ösztönző ragacsos megjegyzések átlagosan kétszer csökkentették a bulvárlapok beadásainak reddit pontszámát, amely statisztikailag szignifikáns hatás, amely valószínűleg befolyásolta az alhitelek rangsorolását. Amikor az olvasókat szavazásra is buzdítottuk, ez a hatás megszűnt.

AI Nudges: Meggyőző algoritmusok a szabadság megőrzése közben

A bulvárhírekkel kapcsolatos kérdéseink algoritmikus dimenzióval egészítették ki a klasszikus kormányzási kérdést: hogyan tudnak a hatalommal rendelkező emberek a közjó felé dolgozni, miközben minimalizálják az egyéni szabadság korlátozásait?

meggyőzhetjük az algoritmusokat, hogy eltérő módon viselkedjenek, meggyőzve az embereket másképp viselkedni.

Az interneten keresztül az emberek megtanulják élni olyan AI rendszerekkel, amelyeket nem tudnak ellenőrizni. Például az Uber vezetõi csúsztatják vezetésüket a jövedelmük optimalizálása érdekében. Kollektív viselkedésünk már folyamatosan befolyásolja az AI rendszereket, de eddig a nyilvánosságnak nincs információja arról, hogy mi ez a befolyás valójában. Ezek az átlátszatlan eredmények problémát okozhatnak, amikor az algoritmusok kulcsszerepet játszanak a társadalomban, például az egészség, a biztonság és az igazságosság szempontjából. Ennek a problémanak a megoldására egyes kutatók „a hurokban társadalom” rendszereket terveznek [4]. Mások módszereket fejlesztenek ki az algoritmusok ellenőrzésére [5] [6]. Egyik megközelítés azonban nem kínál módot a rendszerek mindennapi viselkedésének kezelésére, amelyek kódját nem tudjuk ellenőrizni. Az r / worldnews-nal végzett tanulmányunk harmadik irányt kínál; meggyőzhetjük az algoritmusokat, hogy eltérő módon viselkedjenek, meggyőzve az embereket másképp viselkedni.

Néhányan azt gondolhatják, vajon ez a kísérlet szavazati manipulációnak minősül-e, ami ellentétes a reddit politikájával. Öntapadó jegyzeteink nem sértik a reddit személyes haszonszerzésre vonatkozó szabályait (mi sem készítettünk hamis fiókokat, nem mondtuk el az embereknek, hogyan kell szavazni, vagy nem szerveztünk szavazási blokkokat). De megmutattuk, hogy a tények ellenőrzésének ösztönzése szisztematikus hatással volt a reddit algoritmusaira.

Az „AI bütykök” gondolata lehetőséget ad arra, hogy gondolkodjunk az emberek és a gépek viselkedésének befolyásolására irányuló szocialista erőfeszítésekről, miközben megőrizzük az egyéni szabadságot. Richard Thaler és Cass Sunstein először „belecsúsztatást” javasolt az intézmények számára a hatalom gyakorlására, miközben megőrizte az egyéni szabadságot [7]. A bulvárhírek betiltásával összehasonlítva, a tények ellenőrzésének ösztönzésére irányuló AI-bűnözés a legkönnyebben végrehajtható művelet, amelyet a moderátorok megtehetnek. Senki sem veszti el a hírek megosztására, megjegyzésére vagy szavazására való képességét, ám az AI botránya még mindig gátolja a megbízhatatlan hírek terjedését.

Amint Sunstein és Thaler rámutatnak, nem mindig egyértelmű, hogy ezeknek a könnyű érintéseknek a kívánt eredménye lesz-e. Ezért kell szisztematikusan tesztelnünk azok hatásait, különösen mivel a nem tesztelt rendszerek váratlan eredményekkel járhatnak.

Az AI bütykök irányítása és etikája

A kormányok hanyagai és az online platformok által végzett társadalmi kísérletek gyakran hasonló kritikát vonzanak. Úgy gondolom, hogy az embereknek igaza van, hogy elszámoltathatóságot várnak el azoktól, akik a becsukható hatalmat gyakorolják. Az önkéntes moderátorokkal együttműködve nagyobb átláthatósággal és elszámoltathatósággal tudtam dolgozni, mint a szociális számítástechnika jellemző. Az összes CivilServant tanulmányt moderációs csapatokkal és moderátorokkal tervezték, és az eredményeket először a közösségnek adják át subreddit ismertetőben. Tanulmányunk tervét nyilvánosan felveszik a nyílt tudományos keretrendszerbe, mielőtt megkezdenénk, és minden kódunk nyílt forráskódú. A teljes elemzés részletei szintén nyilvánosak, így bárki megnézheti következtetéseinket. Az egyetlen dolog, amit visszatartunk, a tényleges adatok, mivel tiszteletben tartjuk minden érintett magánéletét.

Összességében remélem, hogy az AI-nudget, különösen, ha maguk a közösségek vezetik, izgalmas irányt kínál a nyilvánosság számára az algoritmusok társadalmi szerepének kezelésére, miközben megőrzi az egyéni szabadságot.

Hogyan működött a tanulmány?

A teszthez a moderátorok olyan hírforrások listájával kezdték, amelyek gyakran panaszt kapnak. November 27-től január 20-ig véletlenszerűen adtunk minden új bulvárlap-linket a három feltétel egyikéhez: a) nincs ragadós megjegyzés, b) ragadós megjegyzés ösztönzi a szkepticizmust, c) ragadós megjegyzés ösztönzi a szkepticizmust + szavazást (teljes részlet itt található) ).

Ezt az üzenetet a bulvárlapú hírbeszélgetések tetejére tettük közzé

A második arra buzdítja az embereket, hogy ellenőrizzék a cikk tényét, és fontolják meg a link leképezését, ha nem találnak alátámasztó bizonyítékot az állításaira:

Ez a második üzenet arra ösztönözte az embereket, hogy fontolják meg az aláírás leküzdését

Befolyásolhatja-e a tények ellenőrzése a viselkedést. Hogyan látja a reddit algoritmusai a megbízhatatlan híreket?

Miközben bíztuk abban, hogy az r / worldnews olvasók segítséget nyújtanak, ha a moderátorok megkérdezik, azon gondolkodtunk, hogy ha növekszik a bulvárlap híreinek kommentálása, véletlenül okozhatunk reddit algoritmusait a bulvárlap hivatkozásaihoz?

Ha a tényellenőrzés növeli a megbízhatatlan hírforrások népszerűségét, akkor a közösségnek fontolóra kell vennie, hogy átgondolja-e az erőfeszítéseit. Ezért tesztelték a moderátorok egy második ragadós megjegyzést, az egyik arra ösztönzi az olvasókat, hogy fontolják meg az aláírást.

A ragadós megjegyzések reddit algoritmusokra gyakorolt ​​hatásának tesztelésére a CivilServant szoftver négy percenként adatokat gyűjtött a hozzászólások pontszámáról. A platform nem teszi közzé pontosan azt, ami belekerül a pontszámba, vagy pontosan hogyan működik a rangsorolása (megkérdeztem). Ugyanakkor képesek voltunk megbízhatóan megjósolni a bejegyzés korábbi és pontszerűbb HOT-rangsorolását az életkor és a pontszám alapján (a részleteket itt találja). Alapvetően, ha a tényellenőrzés nagy hatással volt a cikk pontszámára, akkor ez valószínűleg befolyásolta a cikk rangsorolását az idő alatt az alhirdetés kezdőlapján. Ezt kétféle módon teszteltem: a pontszámok 24 óra elteltével történő összehasonlításával és az eredmények időbeli változásának modellezésével.

Negatív binomiális modellt alkalmaztam a pontszámra gyakorolt ​​hatás vizsgálatára 24 óra elteltével. Mivel a reddit algoritmusai álltak kísérletünk során, a tények ellenőrzésének ösztönzése miatt a bulvárlap benyújtásai átlagosan 24 óra után 49,1% (2,04-szer alacsonyabb) eredményt kaptak anélkül, hogy ragadós megjegyzés lenne, r / worldnews. A hatás statisztikailag szignifikáns. Ebben a modellben nem találtam eredményt azokról a ragacsos megjegyzésekből, amelyek arra buzdították az olvasókat, hogy fontolják meg a leszavazást.

Megvizsgáltam a tények ellenőrzésének a bejegyzés pontszáma növekedési ütemére gyakorolt ​​hatását az idő múlásával. A kérdés feltevéséhez egy véletlenszerű intercepciós lineáris regressziós modellt illesztek a naplóban átalakított pontszámhoz négy percenként. Megállapítottam, hogy a tények ellenőrzésének ösztönzése alacsonyabb a pontszámnövekedés aránya. Itt azt tapasztaltam, hogy a szavazás ösztönzése valójában csekély pozitív hatással van a pontszám növekedésének ütemére átlagosan az idő múlásával. Mivel 2016. december elején végeztük a kísérletet a reddit algoritmusainak megváltoztatása során, azt is megállapítottam, hogy ezeknek a ragadós megjegyzéseknek a reddit algoritmusaira gyakorolt ​​hatása megváltozhatott, miután a reddit módosította az algoritmusokat (részletek).

Ki segített a hírcikkek tények ellenőrzésében?

A 930 nem bot megjegyzésből, amelyek hivatkozásaival a moderátorok megengedett maradni, 737 felhasználói fiók hozzájárult linkekhez további bizonyítékokhoz. Ezek közül 133 fiók egynél több megjegyzést fűzött hivatkozással. Sokan tényszerűen ellenőrizték saját beadványukat, a benyújtók pedig 81 észrevételt tettek közzé további információkért.

Mit nem tudhatunk ebből a tanulmányból?

Ez a teszt a vita eredményeit veszi figyelembe, nem pedig az egyedi beszámolókat, tehát nem tudhatjuk, hogy az egyes emberek meggyőződtek-e arról, hogy szkeptikusabbak, vagy ha a ragadós megjegyzések miatt a már szkeptikus emberek megvizsgálták és megoszthatták őket. Nincs tényem sem a tényellenőrzésnek az olvasókra gyakorolt ​​hatásáról, bár más kutatások azt sugallják, hogy a tényellenőrzés befolyásolja az olvasó meggyőződését [2] [3].

Ez a tanulmány nem sokat mond nekünk arról, hogy miért látunk ilyen nagy változást az algoritmikus hatásokban, amikor az üzenetet úgy módosítottuk, hogy az olvasókat arra buzdítottuk, hogy fontolják meg az aláírást. Ez a különbség példa lehet arra, amit a pszichológusok „reaktanciának” neveznek, amely ellenáll a autoritások javaslatainak. Vagy ha a hírküldők attól tartanak, hogy linkjeik lehangolódnak, segítségüket kérhetik, amely kiegyensúlyozza az olvasók viselkedését.

Működne más típusú linkekkel, más aldíjakban vagy más oldalakon? Ez a tanulmány egy meghatározott közösségre és a webhelyek listájára korlátozódik. Noha gyanítom, hogy sok nagy online olvasói közösség segítene a tények ellenőrzésében, ha a moderátorok kérik, a reddit algoritmussal kapcsolatos megállapításaink sokkal inkább megtalálhatók.

Válaszolhatnánk ezekre a kérdésekre, ha több alegység úgy döntött, hogy hasonló kísérleteket kipróbál. Ha érdekli, vegye fel a kapcsolatot reddit-lel, hogy megvitassák egy hasonló kísérlet végrehajtását, és iratkozzon fel e-mail frissítésekre.

Tudjon meg többet erről a kísérletről

Doktori doktori munkám a közösségek támogatását jelenti a saját moderációs gyakorlataik tesztelése érdekében. Ezt a kísérletet az r / worldnews moderátorokkal közösen terveztem, és azt az MIT bizottság jóváhagyta az ember kísérleti alanyként való felhasználásáról. Ha bármilyen kérdése vagy problémája van, kérjük, vegye fel a kapcsolatot a natematias-szal a redditmail-en.

Ez a kísérlet, akárcsak az eddigi reddit-kutatásaim, a reddit platformtól függetlenül zajlott, akiknek nem volt szerepe a kísérlet megtervezésében vagy megtervezésében. A kísérlet még nem került felülvizsgálatra. A CivilServant összes eredményét nyilvánosan visszajuttatják az érintett közösségekhez, amint az eredmények elkészülnek, a tudományos publikációk később érkeznek.

A kísérlet részleteit előre közzétették egy előzetes elemzési tervben, az osf.io/hmq5m/ címen. Ha érdekli a statisztika, közzétettem az elemzés teljes részleteit.

Irodalom

[1] Salganik, M. J., és Watts, D. J. (2008). Az állomány félrevezetése: Kísérleti tanulmány az önmegvalósító próféciákról egy mesterséges kulturális piacon. Szociálpszichológia negyedévente, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz és John Cook. A téves információk és azok helyesbítése folytonos befolyás és sikeres torzítás. Közérdekű pszichológiai tudomány, 13. (3): 106–131, 2012. december.

[3] Thomas Wood és Ethan Porter. Az exkluzív visszatükröződés hatása: a tömeges attitűdök folyamatos tényleges betartása. SSRN Scholarly Paper ID 2819073, Társadalomtudományi Kutatási Hálózat, Rochester, New York, 2016. augusztus.

[4] Rahwan, Iyad (2016) A hurokban lévő társadalom: Az algoritmikus társadalmi szerződés programozása. Közepes

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios és Cedric Langbort. 2014. Auditáló algoritmusok: Kutatási módszerek az internetes platformon történő megkülönböztetés észlelésére. Adatok és diszkrimináció: A kritikus aggodalmak eredményes vizsgálatká alakítása, Nemzetközi Kommunikációs Szövetség éves találkozója, 2014

[6] Diakopoulos, N., és Koliska, M. (2016). Algoritmikus átláthatóság a sajtóban. Digitális újságírás, 1–20.

[7] Thaler, R. H. és Sunstein, C. R. (2003). Libertari apátság. Az American Economic Review, 93 (2), 175–179.