本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练语言模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练语言模型的实际使用。

本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练语言模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练任务及训练策略。

本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练语言模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练语言模型及其历史。

开源一些基于TensorFlow 2.x的CNN模块/网络的实现，可能不定时更新。仓库链接：TensorFlow-2-Implementations-of-CNN-Based-Networks

目前的实现包括：

1. 卷积神经网络的组成

1981年诺贝尔医学奖得主，神经生物学家David Hubel 和Torsten Wiesel对人脑视觉系统的研究表明：人脑视觉系统首先通过眼睛来成像，图像通过瞳孔、晶状体最终在视网膜上成像。视网膜上布满了大量的光感受细胞，可以把光刺激转换为神经冲动，神经冲动通过视觉通路传递到大脑的初级视觉皮层（Primary Visual Cortex，V1），V1初步处理得到边缘、方向等特征信息，而后经由V2的进一步抽象得到轮廓、形状等特征信息，如此迭代地经由多层（V1层至V5层）的抽象后得到高层特征。高层特征是低层特征的组合^[1]，从低层特征到高层特征的抽象过程中，语义的表现越来越清晰，存在的歧义越来越少，对目标的识别也就越来越精确。这就是人脑视觉系统的分层处理机制。

TensorFlow Object Detection API的安装相当麻烦，其 官方安装指导要求使用者先克隆下整个tensorflow/models仓库，然后安装Protobuf，编译出object_detection模块，再使用pip进行安装。虽然从开发者的角度看，此安装方法足以满足在各个系统平台下安装TensorFlow Object Detection API的需求，但对于使用者来说，安装这一个API可能就需要耗费大量的时间。

卷积神经网络的前身与早期发展：

• 1980年日本学者福岛邦彦（Kunihiko Fukushima）提出的神经认知机模型（Neocognitron）
  Fukushima K, Miyake S. Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition[M].Competition and cooperation in neural nets. Springer, Berlin, Heidelberg, 1982: 267-285.
• 1989年Yann LeCun提出第一个真正意义上的CNN：LeNet 1989
  LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541-551.
• 1998年Yann LeCun在其博士论文中详细介绍了LeNet（又称LeNet-5），影响力巨大
  LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.