Interpretable Visual Question Answering by Reasoning on Dependency Trees.

Bağımlılık Ağaçları Üzerinde Akıl Yürüterek Yorumlanabilir Görsel Soru Cevaplama.

Clicks: 491
ID: 53758
2019
Article Quality & Performance Metrics
Overall Quality
Not rated
Combines reader engagement with the AI quality analysis. This article has not been analysed, so there is no overall score — reader engagement is measured and shown alongside.
AI Quality Assessment
Not analyzed
Readership in this journal
Steady

Ranked #1 of 23 articles by views in ieee transactions on pattern analysis and machine intelligence

Most read Least read

Bar heights use a square-root scale.

Mint this article as an NFT
Not yet minted

Create a permanent, verifiable on-chain record of this article on the Scimatic Network. The NFT is held in your Journament account, and you can withdraw it to your own wallet at any time.

5 SUSD one-off · no wallet required
Abstract
Collaborative reasoning for understanding each image-question pair is very critical but underexplored for an interpretable visual question answering system. Although very recent works also attempted to use explicit compositional processes to assemble multiple subtasks embedded in the questions, their models heavily rely on annotations or handcrafted rules to obtain valid reasoning processes, leading to either heavy workloads or poor performance on composition reasoning. In this paper, to better align image and language domains in diverse and unrestricted cases, we propose a novel neural network model that performs global reasoning on a dependency tree parsed from the question, and we thus phrase our model as parse-tree-guided reasoning network (PTGRN). This network consists of three collaborative modules: i) an attention module to exploit the local visual evidence for each word parsed from the question, ii) a gated residual composition module to compose the previously mined evidence, and iii) a parse-tree-guided propagation module to pass the mined evidence along the parse tree. Our PTGRN is thus capable of building an interpretable VQA system that gradually derives the image cues following a question-driven parse-tree reasoning route. Experiments on relational datasets demonstrate the superiority of our PTGRN over current state-of-the-art VQA methods.
Yorumlanabilir bir görsel soru cevaplama sistemi için her bir görüntü-soru çiftinin anlaşılmasında işbirlikçi akıl yürütme oldukça kritiktir, ancak henüz yeterince araştırılmamıştır. Çok yakın tarihli çalışmalar sorularda yer alan birden fazla alt görevi bir araya getirmek için açık bileşimsel süreçler kullanmayı denemiş olsa da modelleri, geçerli akıl yürütme süreçleri elde etmek adına büyük ölçüde ek açıklamalara veya elle tasarlanmış kurallara dayanmakta; bu durum da ya ağır iş yüklerine ya da bileşimsel akıl yürütmede düşük performansa yol açmaktadır. Bu makalede, çeşitli ve kısıtlanmamış durumlarda görüntü ve dil alanlarını daha iyi hizalamak amacıyla, sorudan ayrıştırılan bir bağımlılık ağacı üzerinde küresel akıl yürütme gerçekleştiren özgün bir yapay sinir ağı modeli öneriyor ve bu doğrultuda modelimizi ayrıştırma ağacı kılavuzluğunda akıl yürütme ağı (PTGRN) olarak adlandırıyoruz. Bu ağ üç işbirlikçi modülden oluşmaktadır: i) sorudan ayrıştırılan her bir sözcük için yerel görsel kanıtlardan yararlanan bir dikkat modülü, ii) önceden elde edilen kanıtları birleştiren kapılı bir artık bileşim modülü ve iii) elde edilen kanıtları ayrıştırma ağacı boyunca aktaran ayrıştırma ağacı kılavuzluğunda bir yayılım modülü. Böylelikle PTGRN modelimiz, soru güdümlü bir ayrıştırma ağacı akıl yürütme rotasını izleyerek görüntü ipuçlarını kademeli olarak çıkaran yorumlanabilir bir VQA sistemi oluşturabilmektedir. İlişkisel veri kümeleri üzerinde gerçekleştirilen deneyler, PTGRN modelimizin güncel en gelişmiş VQA yöntemlerine kıyasla üstünlüğünü ortaya koymaktadır.
Reference Key
cao2019interpretableieee Use this key to autocite in the manuscript while using SciMatic Manuscript Manager or Thesis Manager
Authors Cao, Qingxing;Liang, Xiaodan;Li, Bailin;Lin, Liang;
Journal ieee transactions on pattern analysis and machine intelligence
Year 2019
DOI
10.1109/TPAMI.2019.2943456
URL
Keywords

Citations

No citations found. To add a citation, contact the admin at info@scimatic.org

No comments yet. Be the first to comment on this article.