Sharmin, S., Panda, P., Sarwar, S. S., Lee, C., Ponghiran, W., & Roy, K. (2019). A Comprehensive Analysis on Adversarial Robustness of Spiking Neural Networks. Proceedings of the International Joint Conference on Neural Networks, 2019-July. https://doi.org/10.1109/IJCNN.2019.8851732

本文主要是AAAI-18上发表的论文《A Plasticity-Centric Approach to Train the Non-Differential Spiking Neural Networks》的阅读笔记。

脉冲神经网络概述

之前转载的文章：脉冲神经网络（Spiking Neural Network，SNN）概述)

人工神经网络的无监督学习

输入的是无标签数据，没有用来指导突触权值修改过程的实际输出和期望输出之间的误差或者奖励信号。

神经网络通过一些学习算法自动调整网格参数，一般分为两种算法：

1. 全局学习算法，参照全局视图来修改突触；
2. 局部学习算法，每一个神经元自己通过算法根据输入输出来修改权值。

脉冲神经网络的无监督学习是一种具有生物可解释性的学习规则，在机器学习中占用重要的地位。

以下为脉冲神经网络的研究现状。

主要讨论脉冲神经网络的拓扑结构、信息的脉冲序列编码方法、脉冲神经网络的学习算法和进化方法等。

一. 脉冲神经网络的拓扑结构

同传统的人工神经网络一样，脉冲神经网络同样分为三种拓扑结构。它们分别是前馈型脉冲神经网络（feed-forward spiking neural network）、递归型脉冲神经网络（recurrent spiking neural network）和混合型脉冲神经网络（hybird spiking neural network）。

​ 从之前的学习可以了解到，并不是复杂的模型就可以得到更好的训练结果。复杂的模型可能造成过拟合(overfitting)的情况。简单来讲，以线性回归为例，就是在过于贴合训练集上每一个数据点，导致曲线过于“崎岖”，而在测试集上的表现并没有更好，loss 变的更大了。

训练结果的错误来自于两方面：偏差bias和方差variance

1. The Problem of Overfitting

1

还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。

如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。

1.概念

Beam Search（集束搜索）：是一种启发式图搜索算法，在图的解空间比较大的情况下，为了减少搜索所占用的空间和时间，在每一步深度扩展的时候，剪掉一些质量比较差的结点，保留下一些质量较高的结点。

好处：减少了空间消耗，并提高了时间效率。

（补充说明：启发式搜索是利用问题拥有的启发信息来引导搜索，达到减少搜索范围、降低问题复杂度的目的）

以下为出现在文章《Satellite System Graph: Towards the Efficiency Up-Boundary of Graph-Based Approximate Nearest Neighbor Search(卫星系图：接近基于图的近似最近邻搜索效率的上界)》中的两个算法，下面做简单注释。

最近阅读了论文《Satellite System Graph: Towards the Efficiency Up-Boundary of Graph-Based Approximate Nearest Neighbor Search(卫星系图：接近基于图的近似最近邻搜索效率的上界)》

接下来做简单的介绍：