数据词典：注意力机制（Attention Mechanism）

赵老师

注意力机制是近年来出现的一种十分有效的人工神经网络方法，可以大大提升深度学习效果。甚至有的学者称只使用注意力机制神经网络就可以解决各种分类问题。注意力机制最早在视觉图像领域被提出来，在RNN模型上使用注意力机制来进行图像分类获得了良好的效果。后来，Bahdanau等人把注意力机制应用到自然语言处理领域中，提升机器翻译的准确率。注意力机制已经成为提升基于RNN（LSTM或GRU）的编码器-解码器框架的学习效果的主流方式。最近，在CNN中使用注意力机制成为研究热点。

注意力机制来源于人类视觉的选择性注意力机制。视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，而后对这一区域投入更多的注意力资源，以获取更多所关注目标的细节信息，而抑制其他无用信息。所以人类能够快速地重点处理所感兴趣的“焦点”区域信息，而对其他区域视而不见。这是人类利用有限资源从大量信息中快速筛选出高价值信息的一种手段。人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。

深度学习中的注意力机制思想就是借鉴了人类的选择性视觉注意力机制，核心目标是从众多信息中选择出对当前任务目标更为关键的信息，忽略大多不重要的信息。注意力机制的聚焦过程体现在权重系数的计算上。权重越大越聚焦于其对应的信息值（Value）上，即权重代表了信息的重要性，而Value是其对应的信息。

【出处】鲍军鹏,张选平.人工智能导论（第2版）,机械工业出版社,2021年1月.