Kezdőtől kutatóig; Két év mély tanulás a Fast.ai-nál

Miután visszatértem az apasági szabadságból, márciusban izgatottan örülök annak, hogy csatlakoztam az NVidia-hoz, ahol teljes munkaidőben alkalmazott mély tanulási kutatásokat végeztem, a táblázatos (néha strukturált) adatok és a rapids.ai kereszteződésén dolgozva. Ez az utazás nem lett volna lehetséges a csodálatos tanfolyam, könyvtár és közösség nélkül, amely a fast.ai.

Mint Sylvain Gugger, a kurzus egy másik alumja, aki jelenleg a fastai kutatójaként dolgozik, és amelynek blogbejegyzése ezt inspirálta, a fastai megváltoztatta az életem, és nagyon hálás vagyok Jeremy-nek és Rachel-nek a könnyebben elérhető mélység látásáért. oktatási tanulás mindenki számára. Beosztása szellemében el akartam mondani az utamat és a dolgok, amelyek segítettek nekem az út mentén, abban a reményben, hogy segítenek és inspirálnak másokat, akik ezen az úton indulnak.

Az utazás

Sok Fastai hallgatóval ellentétben gépi tanulási háttérrel érkeztem. Még egy ember számítógépes interakciójára és az előzetes mélyreható tanulásra összpontosítottam, így az értekezésem során elvégzett munkát egy fastai hallgató órákban meg tudta valósítani, de a matematika / programozás alapja és a papírok olvasásának képessége határozottan segített. Ennek ellenére ritkán emlékszem vissza erre az időre, és teljesen egyetértek Jeremy állításával, miszerint PhD-t nem kell mélyen tanulni.

Az egyetem után rengeteg halat dolgoztam az online társkereső oldalon, illusztráltam algoritmusokat, csalás-felderítő rendszereket és végül vezettem a kutatócsoportot. Egy évvel azután hagytam el, hogy eladták a Match csoportnak, és egy kereszteződésen találtam magam, kutatva az adatgyűjtési lehetőségeket, és nem igazán érdekelve az adattudományba való visszatérés.

A Fastai v1 v1 tanfolyam ugyanezen tavasszal jelent meg, és amint végigmentem rajta, és megismertem az embereket a fórumon, egyre inkább bekapcsoltam. Felülről lefelé, az alkalmazott fejlesztés egy olyan tanulási megközelítés, amely jól működik nekem, és gyorsan beleszerettem Jeremy tanítási stílusába. Amikor rájöttem, hogy van egy 2. rész, azonnal jelentkeztem, és szó szerint örömömre ugrottam, amikor rájöttem, hogy bekerültem.

A javasló rendszerekkel kapcsolatos háttérrel való nagy érdeklődésem miatt a kurzus ezen alkotóeleme és egyre inkább elkezdtem kutatni ezen a területen. A folyamat során szerepem volt a Realtor.com-nál az ajánlás és a keresési rangsorolás projektjeinél, és ott voltam, hogy valóban elkezdtem látni annak lehetőségeit, amit tanítottak. A mélyreható tanulás a javasló rendszerek iránt szenvedélyem lett, és először a fejemben végiggördültem, olvastam minden témát, és mindent elfogyasztottam, amit a YouTube-on találtam. A következő részben többet beszélek azokról a szokásokról, amelyeket az elmúlt két évben kialakítottam, és amelyek a kutatói szerephez vezettek, de ez az idő nagyon formáló volt számomra a készségek és tudásbázis fejlesztése szempontjából, ami a jelenlegi szerepe az NVidia-ban.

Mindeközben minden egyes fastai felajánlást megtettem. Jelenleg a harmadik iteráción vagyok, és minden osztályban valami újat tanulok. Ha nem figyelte a régi tanfolyamokat, akkor nagyon ajánlom visszamenni, és ugyanez vonatkozik a gépi tanfolyamra is, amely megtanította, amit tudok a véletlenszerű erdőmodellekről. A fastai által nyújtott oktatás olyan magas színvonalú, hogy a csapata köré szervezte az ingatlanügynököt, az osztályokat felhasználva pontok kiépítésére projekteknél, amelyek rendkívül sikeresnek bizonyultak.

A lépések az út mentén

Noha számomra egyedülálló utazásom van, segítséget szeretnék ajánlani azoknak, akik szeretnék elérni ugyanazt az álmot, hogy mély tanulási kutatóvá vagy jobb gyakorlóvá váljanak.

A fórumban bőven találhatók azok a tippek, amelyek segítségével hatékonyan teljesíthető a fastai, és nagyon ajánlom, hogy keresse meg őket, és kövesse őket, ha még nem tette meg. Az osztályon túllépés további erőfeszítéseket igényel, de véleményem szerint amikor a varázslat valóban megtörténik. Számos szokás valóban segített nekem jobb kutatóvá és jobb fejlesztővé válni. Egyszerűek, de hatékonyak. Könnyű szellőzni rajtuk keresztül, például átválthat a lapokon a notebookokon, de ha tudod ezeket végrehajtani, garantálom, hogy hatással lesznek.

  1. Kényeztesse magát a papírokkal. Hetente ellenőrizze az Arxivot, minden este olvassa el a papírt. Régebben arxiv-normákat használtam, de sajnos úgy tűnik, hogy már nem tartják fenn. Még mindig keresek egy megoldást, tehát ha van valami, tudassa velem. Azt javasolnám, hogy válasszon egy konkrét kutatási területet, ahol elolvashatja a megjelenő cikkeket. Keressen egy érdeklő témát, például ajánlás vagy stílusátadás, és lépjen fel ezen a kis területen. Most az a szuperhatalom, hogy rendszeresen olvassa el a papírokat. Ez az egyik akkor is lehet, ha kialakítja a szokást.
  2. Konvertálja a fastai videókat csak audióvá, hogy útközben „podcastként” hallgassa meg. Számomra nem lehetséges időt találni a videókat kétszer vagy háromszor megnézni, különösen akkor, ha két fiatal fiúm van, de az anyag sűrűsége megköveteli. Nézze meg egyszer, és hallgassa meg újra és újra az ingázáson, sétát vagy bárhol. Több tucat alkalommal hallgattam, és még mindig felveszek új koncepciókat és ötleteket.
  3. Végül végezzen olyasmit, amely eltér a notebookok által biztosítottól. Ez volt a kulcsa számomra, hogy felszabadítsam a fastai lehetőségeit. Kidolgoztam a zavaró automatikus kódolót a megoldástól a porto seguro biztonságos sofőr versenyig. Ez a táblázatos adatokkal kapcsolatos mély tanulás teljes körének kiindulópontjává vált, és vezetett jelenlegi szerepemhez. Válasszon valamit, ami különbözik attól, amit a legtöbb ember végrehajt, és jól hajtsa végre.
  4. Legyen aktív a fórumokon, és vegyen részt a közösségben. Az a véleményem, hogy ez a kurzus egyik leginkább figyelmen kívül hagyott aspektusa, egy egész csomó embert kínál ugyanolyan izgatottan a mély tanuláshoz, mint te. Számomra ez nagy ötletek, tudás és érdeklődés katalizátora volt.
  5. Keressen más tanfolyamokat a látókör bővítéséhez. Nagyon ajánlom a Stanford NLP CS224n tanfolyamát, amelyet Chris Manning tanított, a CS231n-t Andrej Karpathy tanította, Gene Kogannak a művészetben alkalmazott mély tanulás tanfolyamát, a Neurális Esztétika és a PyData-t, amely rendszeresen tart nagy mély tanulási beszélgetéseket.

A Fastai nagyon sokat adott nekem, és továbbra is ezt teszi, és izgatottan örülök, hogy olyan helyzetbe kerültem, ahol végre tudok valamit visszaadni. Ha az utazás elején elmondta nekem, amikor megtekintettem a YouTube-on az első videót, hogy egy ingyenes online MOOC kutatómunkához vezet a világ egyik csúcstechnikai vállalatánál, nem vagyok biztos benne, hogy hittél, de itt vagyok. Nem kétséges, hogy szinte teljes egészében a fast.ai okozta.