数据词典：混合型神经网络（Hybrid Neural Network）

赵老师

混合型神经网络是把CNN和RNN当作模块混合在一起构成整个网络，如编码器-解码器框架。编码器-解码器框架可以实现“端到端”式的深度学习，在看图说话、机器翻译、自动问答等应用中非常流行。在看图说话应用中，编码器-解码器框架可以用CNN处理输入端的图像获得特征向量（即用CNN作编码器），然后用RNN来生成输出端的自然语言文本（即用RNN作解码器）。从而实现了网络一端输入一幅图像，而另一端直接输出自然语言文本的“端对端”式智能应用。在神经网络机器翻译应用中，往往是LSTM-LSTM的编码器-解码器框架。在自然语言处理应用中，编码器-解码器框架也被称为Sequence to Sequence模型。所谓编码就是将输入序列转化成一个固定长度的向量。所谓解码，就是将之前生成的固定长度向量再转化成输出序列。其实，编码器和解码器部分可以是任意的文字、语音、图像、视频数据，其模型可以采用CNN、RNN、BiRNN、LSTM、GRU等。所以，基于编码器和解码器框架可以设计出各种各样的应用算法。

【出处】鲍军鹏,张选平.人工智能导论（第2版）,机械工业出版社,2021年1月.