How Can Self-Attention Networks Recognize Dyck-n Languages?

كيف يمكن لشبكات الانتباه الذاتي التعرف على لغات ديك-n؟

Clicks: 107
ID: 282326
2020
Free PDF
Article Quality & Performance Metrics
Overall Quality
Not rated
Combines reader engagement with the AI quality analysis. This article has not been analysed, so there is no overall score — reader engagement is measured and shown alongside.
AI Quality Assessment
Not analyzed
Readership in this journal
Steady

Ranked #253 of 803 articles by views in arXiv

Most read Least read

Bar heights use a square-root scale. Only the 120 most-read articles are drawn; the journal has 803 in total.

Mint this article as an NFT
Not yet minted

Create a permanent, verifiable on-chain record of this article on the Scimatic Network. The NFT is held in your Journament account, and you can withdraw it to your own wallet at any time.

5 SUSD one-off · no wallet required
Sign in to mint
Abstract
We focus on the recognition of Dyck-n ($\mathcal{D}_n$) languages with self-attention (SA) networks, which has been deemed to be a difficult task for these networks. We compare the performance of two variants of SA, one with a starting symbol (SA$^+$) and one without (SA$^-$). Our results show that SA$^+$ is able to generalize to longer sequences and deeper dependencies. For $\mathcal{D}_2$, we find that SA$^-$ completely breaks down on long sequences whereas the accuracy of SA$^+$ is 58.82$\%$. We find attention maps learned by $\text{SA}{^+}$ to be amenable to interpretation and compatible with a stack-based language recognizer. Surprisingly, the performance of SA networks is at par with LSTMs, which provides evidence on the ability of SA to learn hierarchies without recursion.
نركز في هذه الدراسة على التعرّف على لغات دايك-$n$ ($\mathcal{D}_n$) باستخدام شبكات الانتباه الذاتي (SA)، وهو ما اعتُبر مهمةً صعبة لهذه الشبكات. ونقارن بين أداء نسختين من شبكات الانتباه الذاتي (SA): إحداهما برمز بداية (SA$^+$) والأخرى بدونه (SA$^-$). تُظهر نتائجنا أن SA$^+$ قادرة على التعميم على تسلسلات أطول وتبعيات أعمق. وبالنسبة للغة $\mathcal{D}_2$، نجد أن أداء SA$^-$ ينهار تمامًا مع التسلسلات الطويلة، في حين تبلغ دقة SA$^+$ نسبة 58.82$\%$. كما وجدنا أن خرائط الانتباه التي تعلمتها $\text{SA}{^+}$ قابلة للتفسير ومتوافقة مع مُتعرِّف لغوي قائم على المكدس. ومما يثير الدهشة أن أداء شبكات الانتباه الذاتي يكافئ أداء شبكات LSTMs، مما يقدم دليلاً على قدرة الانتباه الذاتي على تعلّم البنى الهرمية دون عودية.
Reference Key
zhang2020how Use this key to autocite in the manuscript while using SciMatic Manuscript Manager or Thesis Manager
Authors Javid Ebrahimi; Dhruv Gelda; Wei Zhang
Journal arXiv
Year 2020
DOI
DOI not found
URL
http://arxiv.org/abs/2010.04303v1
Keywords
cs.lg cs.cl cs.fl

Citations

No citations found. To add a citation, contact the admin at info@scimatic.org

Comments

No comments yet. Be the first to comment on this article.