Kutatásra szólít fel

Az Octavianusban végzett munkánk során számos olyan problémával találkozunk, amelyekre szívesen látnánk, ha több munkára összpontosítanánk. Ezt a listát itt osztjuk meg, hogy remélhetőleg segítsünk azoknak, akik érdekes problémákat keresnek.

Örömmel segítünk támogatni az ezen problémákkal foglalkozó embereket, valamint közzétesszük megoldásainkat a Medium és a Twitter csatornánkon keresztül.

  • A tudás grafikonjainak QA érvelése: Ez egy otthonhoz közeli téma számunkra. Úgy gondoljuk, hogy az RNN alapú megközelítés, amely magában foglalja a grafikon figyelmét és a konvolúciókat, nagyon hatékony lehet, és megoldotta a saját adatkészlet kihívását, hogy ezt bizonyítsa. A jó indulás a MacGraph, a CLEVR-Graph adatkészlet általános megoldása.
  • A Transformers algoritmikus képességei: A Transformer architektúra gyorsan de facto sorozatfeldolgozó hálózatává vált. Habár hihetetlenül hatékony a bányászati ​​sorrend korrelációkban, és úgy tűnik, hogy sokkal nagyobb előnye származik a nagyobb méretezésből, úgy véljük, hogy a transzformátorok nem hatékonyak, és nem is elégségesek az érzékenység / algoritmikus műveletek sokféle típusához, amire az AGI megköveteli. Valószínűleg más létesítményekkel kell őket kibővíteni. Bizonyítsuk be ezt a képlet és algoritmus fordítópárok és algoritmusok létrehozásával, kimeneteikkel, képezzék meg rajtuk a Transformer fordítási modellt, és nézzék meg, mikor fordulnak sikertelenül.
  • Hogyan írjunk egy gráfra: A figyelem használatával egyszerű módszer olvasható le egy neurális hálózat gráfjából, azonban az írás módja nem olyan nyilvánvaló. Tervezze meg a hálózatot (akár felügyelt, akár megerősítéses tanuláson alapuló), amely mind a grafikonból beolvassa, mind pedig ír egy grafikont annak végrehajtása során, hogy valami hasznosat elérjen. Vegyük például az egyik megoldott MacGraph feladatot, és készítsünk olyan verziót, amelyben a fontos grafikon tények egy részét a grafikontól külön-külön bemeneti formában adjuk be.
  • Jobb minőségi pontszám a GAN-ok számára: A GAN-ok legnépszerűbb mutatói egy képzett kezdő hálózat használatán alapulnak, amely segít megmérni, hogy a generált képek milyen formában vannak kialakítva. Ennek jelentős hiányossága van: csak olyan erős, mint az Inception hálózat, és a konvolúciós hálózatok úgy tűnik, hogy leginkább a helyi textúrákra támaszkodnak. A technika jelenlegi állása A GAN rosszul koordinálja a részleteket (lásd a képet a függelékben). A jelenlegi minőségi mutatóink valószínűleg nem észlelik ezt. Ez a kutatás két részből áll: (1) bizonyítja a jelenlegi minőségi mutatók hiányosságát, (2) javasol egy jobb mutatót
  • Automatikus tantervek: Az algoritmusos tanulási hálózatoknak általában szükségük van tantervekre (például kezdetben könnyebb képzési példákra, amelyek fokozatosan egyre nehezebbé válnak, amikor a hálózat edzett), hogy megtanulják feladataikat. Ezeket a tanterveket gyakran kézzel készítik. Készítsen el egy sémát a tanterv automatikus telepítéséhez (például a DNC-hez a rendezés megtanulásához). Inspirációként a Generatív Versenytárs Hálózatok egy második hálózatot használnak, amely megtanulja, amikor az elsődleges hálózat megtanul egyfajta tanterv létrehozására. Ezenkívül a hálózat elvesztése jó jel lehet, amikor az edzőkészlet megnehezíthető.
  • A nyelv mint az érvelés kontrollszerkezete: A fejünkben lévő hang alapvető fontosságú része annak, hogy miként gondolkodunk és elérjük céljainkat. Felépíthet egy olyan Transformer modellt, amely felteszi a kérdést, egy ideig beszél magával, majd megadja a választ?
  • Internet-szintű GAN-képzés: Az OpenAI megmutatta, hogy ha az Internet feltérképezi egy hatalmas képzési adatkészletet, akkor egy Transformer modellt képzve értékes eredményeket hozhat. Ugyanezt tegye a GAN-eknél. Ennek néhány figyelemre méltó kihívása van: (1) Számítógépes erőforrások ahhoz, hogy elég nagy modellt képezzenek ki az adatkészlet bányászatához, (2) Tud-e hasznos feltételes jelet generálni a GAN számára a képek kontextusából?
  • Mondat a tudáshoz grafikon automatikus kódoló: A grafikonok nagyszerű módszer a kapcsolódó fogalmak ábrázolására. A grafikonok sokféle lehetőséget kínálnak az ismeretek átjárására és kinyerésére. A szöveget az emberi tudás nagy részének ábrázolására használják. Készítsen olyan típusú auto-kódoló struktúrát, amely bemeneti mondatok halmazát veszi át, átalakítja azokat gráfokká, majd átalakítja azt a gráfot olyan halmaz mondatokká, amelyek bizonyos szintű ekvivalenciát mutatnak a bemeneti halmazhoz. Vegye figyelembe, hogy az ideiglenes gráfnak nem kell lennie olyan formátumnak, amelyet az emberek megértenek (amint ez a szó, a kép és a mondat beágyazásakor gyakori).
  • Növekvő építészet az edzés során: A progresszív GAN-ek megmutatták, hogy sikeres lehet az idegsejtek idővel történő hozzáadása a hálózathoz, miközben az edz. Ennek a képzési megközelítésnek az az előnye, hogy a korábbi hálózatok gyorsabban képesek kiképzésre, mivel kevesebb paraméterrel rendelkeznek. Ezenkívül lehetőséget ad arra, hogy éppen annyi neuront adjunk hozzá, amíg a kívánt teljesítményt el nem érjük. Ez lehetővé teszi a különböző architektúrák párhuzamos tesztelését is (például a népesség alapú képzés). Próbáljon meg egy fokozatosan növekvő megközelítést alkalmazni egy másik környezetben (előrejelzés, szekvencia, kép osztályozás), és ellenőrizze, hogy működik-e.

Ha érdekli ezek, beszéljen a közösségünkkel!

Függelék

A BigGAN a textúrák koordinálásával küzd

A Google BigGAN bemutató segítségével generálva