Neurális megközelítések a fejlett érzelemzéshez

Ruidan He, Wenya Wang és Daniel Dahlmeier (Machine Learning Singapore)

Az érzelemzés a természetes nyelvfeldolgozás egyik legaktívabb kutatási területévé vált, mivel a digitális formában rögzített vélemények növekszik. Széles körű alkalmazásokat kínál különféle vállalkozásokban és társadalmi területeken, segítve mind a vállalatokat, mind az egyéneket abban, hogy jobban megértsék a véleményezett információkat a döntéshozatalhoz. Az utóbbi időben egyre népszerűbbé válnak a fejlettebb feladatok, például a aspektus alapú érzelmi elemzés (ABSA). Az ABSA azon az elképzelésen alapszik, hogy egy vélemény érzésből és célból áll. A vélemény meghatározása anélkül, hogy a célt meghatározná, korlátozottan használható. Ezért célja az entitásokkal és / vagy azok aspektusaival kapcsolatos érzelmek felfedezése. Például egy étterem áttekintésében „azt kell mondanom, hogy a városban az egyik leggyorsabb szállítási idő áll rendelkezésre” a kifejezés a „szállítási idő”, amelyről pozitív vélemény szól. Az ABSA első lépése általában aspektuskivonás, amelynek célja a kifejezések kinyerése a bemeneti szövegből. Ebben a bejegyzésben összefoglaljuk legutóbbi kutatási munkánkat a hatékony idegmodellek kiépítésének problémájáról a szempontok kinyerése érdekében, mind felügyelt, akár nem felügyelt körülmények között. Ezt a munkát az SAP Industry Ph.D. keretében végezték el. program a szingapúri Nemzeti Egyetemen és a Nanyang Technológiai Egyetemen együttműködve.

A szekvencia-címkézési problémaként kezelt aspektuskivonás

Ebben a kategóriában a feladat magában foglalja az egyes mondatokban kifejezetten megjelenő aspektusszavak és véleményszavak kibontását. A fent említett példát figyelembe véve, mivel azt kell mondanom, hogy „azt kell mondanom, hogy az egyik leggyorsabb szállítási idő a városban”, feladatunk az, hogy a kézbesítési időket szemináriumként és leggyorsabban vélemény véleményként azonosítsuk. Ez az ismeret hasznos a strukturált véleményösszefoglaláshoz, amely nagy mennyiségű szövegből világosan áttekintést nyújt a fő témákról / szempontokról és a hozzájuk kapcsolódó véleményeloszlásokról. Az 1. ábra két digitális fényképezőgépről alkotott strukturált vélemény-összefoglalók példáját mutatja.

1. ábra: Két digitális kamera megjelenítési véleményének összehasonlítása

Mivel a kibontott célok több szóból állhatnak, a BIO címkézési rendszert alkalmazzuk, azaz a mondatban szereplő minden szót az öt címke egyikének jelöljük: „BA” (szemszög eleje), „IA” (a aspektus ”,„ BO ”(a vélemény kezdete),„ IO ”(a vélemény belsejében) és„ O ”(más). Ilyen módon a feladatot megfogalmazzák felügyelt szekvencia-címkézési problémaként.

A problémára azáltal kerülünk, hogy az egyes mondatokban szereplő szavak szintaktikai függőségi viszonyaira összpontosítunk. A függőségekre való összpontosítás oka az, hogy bizonyos aspektusú szavak és a véleményszavak között vannak bizonyos szintaktikai kapcsolatok, amelyeknek elősegíteniük kell egymás azonosítását. Például, amint az a 2. ábrán látható, a hamburger és az íz az igazság szempontjából lényeges kifejezés, a véleményekkel együtt pedig a legjobb és a legfrissebb. Tekintettel az ízekre, mint egy kifejezésre, a friss felhasználható vélemény kifejezésként, közvetlen kapcsolat révén. És ha egy burgert mint kifejezést használunk, akkor az ízek egy másik aspektus kifejezésként kinyerhetők az indirekciós viszonyon keresztül. Ezen megfigyelés alapján felépítünk egy függőség-fa alapú rekurzív neurális hálózatot, amely képes kiszámítani minden szó magas szintű reprezentációját, amely magában foglalja a másokkal fennálló függőségi viszonyokat. Emellett a szekvenciális kontextus-interakciókat is figyelembe vesszük egy feltételes véletlenszerű mező (CRF) grafikus modell segítségével. Ha mindkét modellt egy teljes struktúrába egyesítjük, amelyet végpontokig képezünk, ígéretes eredményeket kapunk a meglévő módszerekhez képest. Ezt a munkát az EMNLP'16-ban publikálják rekurzív neurális feltételes véletlenszerű mezőkként a szempontokra épülő érzelmi elemzéshez.

2. ábra: Példa az érzelmi elemzésre

Összpontosítva ugyanazt a feladatot, kiadtunk egy újabb, többrétegű figyelmeztetést az AAAI'17 szemszögéből és véleményszavakból történő kibontás céljából. Ez a munka tovább halad az előző módszerrel azáltal, hogy az előre feldolgozott függőségi viszonyokat felváltja egy automatikus figyelemmechanizmusra. Az előző módszer egyik korlátozása az, hogy az előre létrehozott függőségi viszonyok hibára hajlamosak, különösen az informális szövegek elemzésekor. A helytelen szintaktikai struktúra károsíthatja a tanulási folyamatot. Ezért javaslatot teszünk egy végpontok közötti figyelmi modellre, amely automatikusan megtanulja az említett szavak közötti interakciókat. A 3. ábra a modell architektúráját szemlélteti. A kapcsolt figyelmeztetések vonatkoznak egy aspektusra és egy véleményre való figyelemre. Összekapcsolódnak (interaktív) a tanulási folyamatban, lehetővé téve a szempontok és a véleményszavak közötti korrelációt. A figyelmességgel kiválasztjuk az egyes mondatokban a legmegfelelőbb szavakat a szempontok és a vélemények kiszámítása szempontjából. Ez a modell nem igényel nyelvi forrásokat, és mégis magasabb pontszámokat érhet el, mint a függőségi alapú modell.

3. ábra: A kapcsolt figyelmeztetési modell ábrája

A témák modellezésével foglalkozó aspektuskivonás

A felügyelt aspektuskivonáshoz olyan szintszintű címkével ellátott adatokra van szükség a képzéshez, amelyeket a valóságban nehéz megszerezni. Ezzel szemben a közelmúltbeli ACL-tanulmányunk egy aspektuskivonat nélküli, felügyelet nélküli idegi figyelmi modell a téma modellezésével felügyelet nélküli környezetben közelíti meg a problémát. Ebben az esetben, figyelembe véve a nyers, címkézetlen szöveget, a cél az (1) a rangsorolt ​​szavak listája által képviselt aspektusok (témák) kibontása, ahol az egyes szempontok felső szavait szempontoknak tekintik; (2) térképezzen meg minden egyes mondatot a korpuszban a felfedezett szempontok egyikére. A 4. ábra a magas szintű munkafolyamatot mutatja.

4. ábra: Magas szintű munkafolyamat

A termékértékelések megértésének összefüggésében a kimeneti szempontok és a szempont szempontjából releváns mondatok felhasználhatók egy strukturált áttekintő összefoglaló elkészítésére. Az 5. ábra egy példaösszefoglalót mutat, amely segít a felhasználóknak a sok véleményből származó legfontosabb információk gyors megértésében.

5. ábra: Példa az étterem áttekintésére

Ennek a feladatnak az egyik fő kihívása az, hogy a következtetett szempontok inkább nem koherensek - a aspektusok gyakran egymással nem összefüggő vagy lazán összefüggő aspektusokból állnak. A szokásos témamodellektől eltérően, mint például a látens Dirichlet Allocation (LDA) variánsai, amelyek diszkrét szótípusokon dolgoznak, egy egyszerű, mégis hatékony neurális architektúrát javasoltunk, amely jelentősen javítja a következtetett szempontok koherenciáját.

Amint a 6. ábra szemlélteti, a figyelem-alapú aspektuskivonási (ABAE) modellünkben beágyazott szavakkal reprezentáljuk a feladatot, és a cél az, hogy megtanuljunk egy aspektusbeágyazás-készletet, ahol mindegyik aspektus a beágyazási térben lévő legközelebbi szavakkal értelmezhető. A modell áttekintő mondatot vesz bemenetként, minden szót leképezve egy előre képzett szó beágyazására. A szóbeágyazásokat először egy figyelmeztető mechanizmus segítségével szűrjük le a nem aspektusú szavak súlyozásával, és a mondatot a szűrt szóbeágyazások súlyozott összegzéseként ábrázoljuk. Ezután megpróbáljuk a mondatbeágyazást megközelíteni a szembeszakítások lineáris kombinációjaként. Az oktatási folyamat analóg az autoencoderekkel, ahol a dimenzió csökkentését használjuk a beágyazott mondatok közös tényezőinek kibontására, és a mondat rekonstruálására a méretbeágyazások súlyozott összegzéseként. A figyelemmechanizmus nem hangsúlyozza azokat a szavakat, amelyek nem képezik semmilyen szempontot, lehetővé téve a modellnek, hogy csak a szempontokra összpontosítson.

6. ábra: Az ABAE modell illusztrációja

Érdemes megjegyezni, hogy a neurális figyelemmodellt felügyelet nélküli környezetben képzik, ahol a cél az rekonstrukciós hiba minimalizálása. Meglepő módon azt tapasztaltuk, hogy az ebben a helyzetben megtanult figyelmeztető mechanizmus továbbra is nagyon jól működik, és képes az informatív szempontú szavakra összpontosítani. Kísérleteinkben a modellt két kritérium alapján értékeltük: (1) képes-e jelentős és szemantikusan koherens szempontokat találni; (2) Képes-e pontosan leképezni egy bemeneti mondatot a felfedezett aspektusok egyikére. Kísérleti eredményeink szerint modellünk jelentősen és következetesen felülmúlhatja a korábbi témamodelleket a különféle értékelési feladatok során.

Annak ellenére, hogy ebben a munkában a aspektuskivonatra összpontosítunk, egy érzelmi elemzés alatt álló konkrét feladatra, valójában egy általános téma modellezési problémát vettünk fontolóra, amelynek célja a főbb témák kinyerése a címkézetlen szövegekből. Így modellünket potenciálisan lehet alkalmazni hasonló feladatokra, különféle típusú szövegekkel.

A aspektuskivonás jelentős lépés a finom érzékenység elemzése felé, és az irodalomban különféle feladatokként fogalmazzák meg, például szekvencia-címkézést vagy téma modellezést. Ebben a blogbejegyzésben röviden bemutattunk három, a közelmúltban végzett munkánk három elemét, különböző körülmények között vizsgálva a problémát. A modell részletes magyarázatával és a kísérleti eredményekkel kapcsolatban olvassa el a dokumentumokat. Arra számítunk, hogy munkáink ösztönözni fogják a aspektuskivonat jövőbeni kutatását, és segítik az iparág embereit hatékony rendszerek felépítésében a fejlett érzelmi elemzéshez.