---

0. 引言

神经网络中的注意机制就是参考人类的视觉注意机制原理。即人眼在聚焦视野区域中某个小区域时，会投入更多的注意力到这个区域，即以“高分辨率”聚焦于图像的某个区域，同时以“低分辨率”感知周围图像，然后随着时间的推移调整焦点。

参考文献：

1. [arxiv] - .
2. [CV] - Mnih V, Heess N, Graves A. [J]. arXiv preprint arXiv:1406.6247, 2014.
3. [Bahdanau] - Bahdanau D, Cho K, Bengio Y. [J]. arXiv preprint arXiv:1409.0473, 2014.
4. [CV] - Ba J, Mnih V, Kavukcuoglu K. [J]. arXiv preprint arXiv:1412.7755, 2014.
5. [CV] - Xu K, Ba J, Kiros R, et al. [J] .arXiv preprint arXiv:1502.03044, 2015.
6. [Speech] - Chorowski J K, Bahdanau D, Serdyuk D, et al. [J]. arXiv preprint arXiv:1506.07503, 2015.
7. [Luong ] - Luong M T, Pham H, Manning C D. [J]. arXiv preprint arXiv:1508.04025, 2015.
8. [Speech] - Bahdanau D, Chorowski J, Serdyuk D, et al. [J]. arXiv preprint arXiv:1508.04395, 2015.
9. [QA] - Yang Z, He X, Gao J, et al. [J]. arXiv preprint arXiv:1511.02274, 2015.
10. [Weight normalization] - Salimans T, Kingma D P. [J]. arXiv preprint arXiv:1602.07868, 2016.
11. [Text] - Nallapati R, Xiang B, Zhou B. [J]. 2016.
12. [Survey] - Wang F, Tax D M J. [J]. arXiv preprint arXiv:1601.06823, 2016.
13. [Translation] - Wu Y, Schuster M, Chen Z, et al. [J]. arXiv preprint arXiv:1609.08144, 2016.
14. [Translation] - Neubig G. [J]. arXiv preprint arXiv:1703.01619, 2017.
15. [BahdanauMonotonic] - Raffel C, Luong T, Liu P J, et al. [J]. arXiv preprint arXiv:1704.00784, 2017.
16. [survey] - .Vaswani A, Shazeer N, Parmar N, et al. [J].arXiv preprint arXiv:1706.03762v4, 2017.
17. [Blog] - .
18. [Quora] - .
19. [Quora] - .
20. [Quora] - .
21. [Quora] - .
22. [Quora] - .
23. [Quora] - .
24. [Quora] - .
25. [Quora] - .
26. [Quora] - .