A 2019-es legjobb mély tanulási kutatás eddig

Már csak 2019 első negyedévének befejezése vagyunk, és a mély tanulási technológia kutatási oldala egy nagyon jó klip előtt áll. Rendszeresen figyelemmel kíséri az AI kutatóinak erőfeszítéseit annak érdekében, hogy felfedezzék a technológia irányát. Ez az előrelátás lehetővé teszi számomra, hogy jobban optimalizáljam az időmet, hogy megbizonyosodjak arról, hogy tudom, mit nem tudok. Ennek eredményeként megpróbálom hetente legalább egy kutatási munkát fogyasztani egy potenciálisan száz vagy talán több ezer cikkből álló területen.

Ebben a cikkben segítenek Önnek időt megtakarítani, ha 2019-ben eddig közzétett kutatási erőfeszítéseket a következő kezelhető rövid listára állítottuk. Szűrtem a választásaimat, hogy olyan papírokat szerepeltessek, amelyekhez társított GitHub repó is tartozik. Élvezd!

Gyors grafikon ábrázolás elsajátítása a PyTorch Geometric segítségével

Ez a kutatás bevezette a PyTorch Geometrikus könyvtárat, amely a PyTorchra épített, szabálytalanul strukturált bemeneti adatok, például grafikonok, pontfelhők és kollektorok mély megtanulására szolgál. Az általános gráf-adatszerkezetek és a feldolgozási módszerek mellett számos nemrégiben közzétett módszert tartalmaz a relációs tanulás és a 3D-s adatfeldolgozás területein. A PyTorch Geometric nagy adatátvitelt ér el a ritka GPU-gyorsítás kihasználásával, dedikált CUDA-magok biztosításával és hatékony mini-kötegelt kezelés bevezetésével különböző méretű bemeneti példákhoz. A kód elérhető a GitHub-on.

[Kapcsolódó cikk: A legbefolyásosabb 2018. évi adattudományi kutatási dokumentumok]

Maszk pontozása R-CNN

A példányok szegmentálása során a legtöbb esetben a szegmentációs keretekben a példányok osztályozásának megbízhatóságát maszk minőségi pontszámként használják. Ez a cikk tanulmányozza ezt a problémát, és javasolja az Mask-pontozási R-CNN-t, amely hálózati blokkot tartalmaz a becsült példány-maszkok minőségének megismeréséhez. A maszk pontozási stratégiája kalibrálja a maszk minősége és a maszk pontszáma közötti eltérést, és javítja a példányok szegmentálási teljesítményét azáltal, hogy a COCO AP kiértékelése során a pontosabb maszk előrejelzéseket rangsorolja. A kód elérhető a GitHub-on.

Nagy hűségű képgenerálás kevesebb címkével

A mély generációs modellek a modern gépi tanulás sarokkövévé válnak. A feltételes generatív egymással szembeni hálózatokkal (GAN) kapcsolatos közelmúltbeli munkák azt mutatták, hogy a természetes képek összetett, nagy dimenziós eloszlásainak tanulása elérhető. Noha a legújabb modellek nagy hűségű, változatos természeti képeket tudnak generálni nagy felbontással, ők hatalmas mennyiségű, címkézett adatra támaszkodnak. Ez a cikk bemutatja, hogyan lehet hasznot húzni az önálló és félig felügyelt tanulással kapcsolatos közelmúltbeli munkával, hogy felülmúlhassuk a legkorszerűbb technikát (SOTA) mind a felügyelet nélküli ImageNet szintézis, mind a feltételes körülmények között. A kód elérhető a GitHub-on.

GCNv2: Hatékony levelezés-előrejelzés a valós idejű SLAM számára

Ez a cikk bemutatja a GCNv2 mély, tanuláson alapuló hálózatát a kulcspontok és leírók előállításához. A GCNv2 egy korábbi módszerre épül, a GCN-re, egy 3D-s projektív geometria számára kiképzett hálózatra. A GCNv2-t egy bináris leíró vektorral tervezték, mint ORB tulajdonságot, így könnyen helyettesítheti az ORB-t olyan rendszerekben, mint az ORB-SLAM. A kód elérhető a GitHub-on.

[Kapcsolódó cikk: Mély tanulás a szöveg osztályozásához]

ALiPy: Aktív tanulás Pythonban

A felügyelt gépi tanulási módszerekhez általában nagyméretű, címkézett példák szükségesek a modellképzéshez. Számos valódi alkalmazásban azonban rengeteg, nem címkézett adat található, de korlátozott címkézési adatok vannak; és a címkék megszerzése költséges. Az aktív tanulás (AL) csökkenti a címkézési költségeket azáltal, hogy iteratívan kiválasztja a legértékesebb adatokat a címkék lekérdezéséhez a jelölőből. Ez a cikk egy Python toobox ALiPy-t mutat be az aktív tanuláshoz. A kód elérhető a GitHub-on.

DeepFashion2: Sokoldalú referenciaérték a ruházati képek észlelésére, pózok becslésére, szegmentálására és újbóli azonosítására

A divatképek megértését olyan referenciaértékek hajtották végre, amelyek gazdag feliratokkal rendelkeznek, például a DeepFashion, amelynek címkéi ruházati kategóriákat, tereptárgyakat és fogyasztói-kereskedelmi képpárokat tartalmaznak. A DeepFashionnak azonban olyan elhanyagolható kérdései vannak, mint például az egyes ruhadarabok képekenként, a ritka tereptárgyak (csak 4 ~ 8), és nincsenek pixelekre eső maszkok, ami jelentős eltérést eredményez a valós helyzetekben. Ez a cikk kitölti a hiányosságot a DeepFashion2 bemutatásával, hogy foglalkozzon ezekkel a kérdésekkel. Ez a négy feladat sokoldalú összehasonlító eleme, beleértve a ruhák észlelését, a pózok becslését, a szegmentálást és a visszakeresést. A kód elérhető a GitHub-on.

A StarCraft multi-agent kihívás

Az elmúlt néhány évben a mély multi-agent megerősítő tanulás (RL) rendkívül aktív kutatási területgé vált. Ezen a területen egy különösen kihívást jelentő problémaosztály a részben megfigyelhető, együttműködő, több ügynöki tanulás, amelyben az ügynökök csoportjainak meg kell tanulniuk viselkedésük összehangolását, miközben csak a saját megfigyeléseikre támaszkodnak. Ez vonzó kutatási terület, mivel ezek a problémák számos valós rendszer szempontjából relevánsak, és jobban ki is képesek értékelni, mint az általános összegű problémák. Az olyan szabványosított környezetek, mint az ALE és a MuJoCo, lehetővé tették az egyszeres ügynöknek, hogy az RL átjuthasson a játéktartományokon, például a grid világokon. A multi-agent RL esetében azonban nincs összehasonlítható referenciaérték. Ennek eredményeként a legtöbb irat ezen a téren egyszeri játékproblémákat alkalmaz, így megnehezíti a valódi haladás mérését. Ez a cikk a StarCraft Multi-Agent Challenge-t (SMAC) javasolja referenciaproblémaként e hiányosság kitöltése érdekében. A kód elérhető a GitHub-on.

A kimaradás a sztochasztikus delta-szabály speciális esete: gyorsabb és pontosabb mély tanulás

A többrétegű neurális hálózatok figyelemre méltó teljesítményt nyújtanak a szöveg, a beszéd és a képfeldolgozás sokféle benchmark feladatában. A nemlineáris paraméterek becslése a hierarchikus modellekben ismert, hogy túlságosan illeszkedő és hibásan meghatározható. A becslés és a kapcsolódó problémák (helyi minimumok, ko-linearitás, tulajdonság-felfedezés stb.) Egyik megközelítését Dropoutnak hívják. A kimaradási algoritmus eltávolítja a rejtett egységeket egy Bernoulli véletlen változó szerint p valószínűséggel minden frissítés előtt, véletlenszerű „sokkokat” hozva létre a hálózat számára, amelyek átlagolása a frissítések alapján történik. Ez a cikk megmutatja, hogy a kimaradás egy eredetileg 1990-ben publikált, a sztochasztikus delta szabálynak (SDR) nevezett általánosabb modell különleges esete. A kód elérhető a GitHub-on.

Lingvo: Moduláris és méretezhető keret a szekvencia-szekvencia modellezéshez

A Lingvo egy Tensorflow keretrendszer, amely teljes megoldást kínál az együttműködésen alapuló mély tanulás kutatására, különös tekintettel a szekvencia-sorozat modellekre. A Lingvo modellek rugalmas és könnyen bővíthető moduláris építőelemekből állnak, a kísérleti konfigurációk központosítottak és nagymértékben testreszabhatók. Az elosztott képzést és a kvantált következtetéseket közvetlenül a keretrendszer támogatja, és nagyszámú segédprogram meglévő megvalósítását, segítő funkciókat és a legújabb kutatási ötleteket tartalmazza. A Lingvót több tucat kutató közreműködésével használták több mint 20 cikkben az elmúlt két évben. Ez a dokumentum felvázolja a Lingvo alapjául szolgáló mintát, és bevezetésként szolgál a keret különféle elemeire, miközben példákat kínál a fejlett szolgáltatásokra is, amelyek bemutatják a keret képességeit. A kód elérhető a GitHub-on.

Adaptív gradiens módszer dinamikus tanulási sebességgel

Olyan adaptív optimalizálási módszereket javasoltak, mint például AdaGrad, RMSProp és Adam, amelyek célja a gyors képzési folyamat elérése, a tanulási arány elemek elem szerinti méretezésével. Noha ezek dominálnak, megfigyelték, hogy azok általánosulnak az SGD-hez képest gyengén, vagy pedig instabil és szélsőséges tanulási arányok miatt nem képesek konvergálni. Ez a cikk bemutatja, hogy a szélsőséges tanulási arányok rossz teljesítményhez vezethetnek. Az Adam és az AMSGrad új, AdaBound és AMSBound elnevezésű változatait alkalmazzák, amelyek dinamikus korlátokat alkalmaznak a tanulási sebességre az adaptív módszerekről az SGD-re történő fokozatos és zökkenőmentes átmenet elérése érdekében, és a konvergencia elméleti igazolását adják. További kísérleteket folytattak különféle népszerű feladatokkal és modellekkel. A kísérleti eredmények azt mutatják, hogy az új változatok kiküszöbölhetik az adaptív módszerek és az SGD közötti általánosítási rést, és fenntarthatják a magasabb tanulási sebességet az edzés korai szakaszában. A kód elérhető a GitHub-on.

A szerkesztő megjegyzése: Szeretne többet megtudni a mélyreható személyes tanulásról? Vegyen részt az ODSC East 2019 idén április 30-án és május 3-án Bostonban, és kérjen tanácsot közvetlenül a szakértőktől!

Olvassa el az adattudományi cikkeket az OpenDataScience.com webhelyen, ideértve az oktatóanyagokat és útmutatásokat a kezdőtől a haladó szintig! Iratkozzon fel heti hírlevelünkre itt, és minden csütörtökön megkapja a legfrissebb híreket.