Learning-material

综述

1 Emergent Logical Structure in Vector Representations of Neural Readers

针对最近提出的各种各样的attention based reader models,本文作者做了一个比较全面的总结和分析，并且通过数学分析和实验展示了模型之间的相关性。

论文

1 Learning Recurrent Span Representations for Extractive Question Answering

【机器阅读】不同的阅读理解数据集产生答案的方式不同，有的是给定N个候选答案，有的是规定从原文中的entity中进行选择，有的是从原文中的任意token进行选择等等。本文所用的数据集是SQuAD，候选答案是原文中的任意字符串，难度较大，答案可能是一个词或者几个词都有可能。本文在前人研究的基础上提出了一种显式表示answer span的模型，取得了不错的效果。

2 Answering Complicated Question Intents Expressed in Decomposed Question Sequences

【复杂问答】基于语义分析的问答系统最近流行于解决长、难问题，本文研究的内容是如何处理多个相互关联的简单问题？（即将复杂问题分解成多个相关简答问题）并给出了一个任务数据集。这个问题的一大难点在于相互关联的问题需要共指消解的工作。本文将单轮问答对话分解成多轮问题过程，上下文的处理非常重要。建议研究聊天机器人的童鞋来精读此文。

3 The Amazing Mysteries of the Gutter: Drawing Inferences Between Panels in Comic Book Narratives

【问答系统】基于上下文的问答已经有很多数据集了，基于图像的问答也有一些数据集了。漫画是一类大家小时候都喜欢的读物，包含了丰富的图像和文本数据（对话）。本文给出了一个大型数据集，包括了丰富的图像和文本，规模在120万（120GB）左右。数据给出了几个任务，基于图像的问答任务，基于对话文本的问答任务和文本排序任务。对问答感兴趣，想找一些新数据来刷一刷榜的童鞋可以看过来。

5 Broad Context Language Modeling as Reading Comprehension

不久前发布的LAMBADA dataset中，作者尝试的各种baseline models都给出了比较差的结果。在观察了LAMBADA dataset之后，我们认为可以利用Reading comprehension models来提升准确率，而不必使用传统的language model。这篇文章中，作者利用了简单的方法和模型将LAMBADA dataset的准确率从7.3%提高到45.4%，非常简单有效。

6 Easy Questions First? A Case Study on Curriculum Learning for Question Answering

8 Machine Comprehension Using Match-LSTM and Answer Pointer

本文提出的模型结合了match-LSTM(mLSTM)和Pointer Net(Ptr-Net)两种网络结构。

9 Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering

作者给出了一个新的中文的QA数据集, 并且提出了一个非常有意思的baseline model.

模型

1 Memory Networks

1.1 Memory Network

Memory Networks为解决长期记忆问题, 提出一类称为Memory Networks的模型框架, 基于该框架构造的模型可以拥有长期(大量)和易于读写的记忆。

1.2 End-To-End Memory Networks

本文提出了一个可以端到端训练的Memory Networks，并且在训练阶段比原始的Memory Networks需要更少的监督信息。

1.3 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing

Question Answering: 给定一段Context，一个与此Context相关的Question，利用模型生成一个单词的Answer。

1.4 Key-Value Memory Networks for Directly Reading Documents

鉴于知识库有知识稀疏、形式受限等问题，本文提出了一种可以通过直接读取文档来解决QA问题的新方法Key-Value Memory Networks。

1.5 The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations

本文对于语言模型（RNN/LSTM/Memory Network生成）到底能够多好或者在多大程度上表示The Children’s Book做了一项测试。测试结果表面Memor　Network上的效果最好。

1.6 Can Active Memory Replace Attention?

Memory Networks和Attention是解决长距离依赖问题的两大方法，Attention模型在NLP的很多任务中都有更好的表现，本文对Memory Networks类模型的缺点进行了分析，并且提出了一种改进模型。改进版的memory模型有不错的表现，并且在长句子机器翻译任务中得到了验证。本文作者来自Google Brain。建议关注自然语言处理的童鞋，不管是关注什么任务，都应该精读一下本文。

2 DeepMind Attentive Reader

2.1 Teaching Machines to Read and Comprehend

3 Danqi’s Stanford Reader

4 Attention Sum Reader

5 Gated Attention Sum Reader

6 Attention Over Attention Reader

6.1 Attention-over-Attention Neural Networks for Reading Comprehension

本文优化了attention机制，同时apply question-to-document and document-to-question attention，提升了已有模型在Cloze-Style Question Answering Task上的准确率。

数据集

• SQuAD

  SQuAD: 100,000+ Questions for Machine Comprehension of Text

• LAMBADA

  The LAMBADA dataset: Word prediction requiring a broad discourse context

• Who do What

  Who did What: A Large-Scale Person-Centered Cloze Dataset

• BookTest

  Embracing data abundance: BookTest Dataset for Reading Comprehension 本文发布了一个新的机器阅读理解数据集BookTest，该数据集最大的亮点是规模大，是Facebook发布的Children’s Book Test的60倍之大。