转+译 Deep Learning for NLP Best Practices

这篇文章翻译自:原文,已取得作者授权.

介绍
本文收集了关于深度学习用于自然语言处理领域的最佳实践集合,将随着新观点的出现定期进行更新,从而不断提升我们对用于 NLP 的深度学习的理解.

在NLP社区有一个”running joke”就是,LSTM with attention 能在任何任务上实现当前最佳的表现。尽管在过去两年中这种情况一直如此,但nlp社区正在逐渐从现在的标准基线转向更有趣的模型。

然而,我们作为一个社区不希望在接下来的两年中独立(重新)发现下一个LSTM with attention.我们不想重塑已经显示可行的技巧或方法。尽管现存的深度学习库已经从整体上编码了神经网络的最佳实践,比如初始化方案,但许多其他细节,尤其是特定任务或特定领域还有待从业者解决。

本文并不打算盘点当前最佳,而是为了收集与广泛任务相关的最佳实践。换言之,本文并不描述某个特定架构,而是旨在收集那些构建成功框架的特征。其中的很多特征对于推动当前最佳是最有用的,因此我希望对于它们的更广泛了解将会带来更强的评估、更有意义的基线对比,以及更多灵感,帮助我们觉察那些可能奏效的方法。

我假设你对神经网络应用于 NLP 的情况已经很熟悉(如果不熟悉,我建议你看一下 Yoav Goldberg 写的A Primer on Neural Network Modelsfor Natural Language Processing),并大体上对 NLP 或某个特定任务感兴趣。本文的主要目标是使你快速掌握相关的最佳实践,从而尽快做出有意义的贡献。

发表评论

邮箱地址不会被公开。 必填项已用*标注