C++从零实现深度神经网络之五——模型的保存和加载以及画出实时输出曲线

模型的保存和加载

在我们完成对神经网络的训练之后,一般要把模型保存起来。不然每次使用模型之前都需要先训练模型,对于data hungry的神经网络来说,视数据多寡和精度要求高低,训练一次的时间从几分钟到数百个小时不等,这是任何人都耗不起的。把训练好的模型保存下来,当需要使用它的时候,只需要加载就行了。

现在需要考虑的一个问题是,保存模型的时候,我们到底要保存哪些东西?

之前有提到,可以简单的认为权值矩阵就是所谓模型。所以权值矩阵一定要保存。除此之外呢?不能忘记的一点是,我们保存模型是为了加载后能使用模型。显然要求加载模型之后,输入一个或一组样本就能开始前向运算和反向传播。这也就是说,之前实现的时候,forward()之前需要的,这里也都需要,只是权值不是随意初始化了,而是用训练好的权值矩阵代替。基于以上考虑,最终决定要保存的内容如下4个:

  1. layer_neuron_num,各层神经元数目,这是生成神经网络需要的唯一参数。
  2. weights,神经网络初始化之后需要用训练好的权值矩阵去初始化权值。
  3. activation_function,使用神经网络的过程其实就是前向计算的过程,显然需要知道激活函数是什么。
  4. learning_rate,如果要在现有模型的基础上继续训练以得到更好的模型,更新权值的时候需要用到这个函数。

再决定了需要保存的内容之后,接下来就是实现了,仍然是保存为xml格式,上一篇已经提到了保存和加载xml是多么的方便:

实时画出输出曲线

有时候我们为了有一个直观的观察,我们希望能够是实时的用一个曲线来表示输出误差。但是没有找到满意的程序可用,于是自己就写了一个非常简单的函数,用来实时输出训练时的loss。理想的输出大概像下面这样:

img

为什么说是理想的输出呢,因为一般来说误差很小,可能曲线直接就是从左下角开始的,上面一大片都没有用到。不过已经能够看出loss的大致走向了。

这个函数的实现其实就是先画俩个作为坐标用的直线,然后把相邻点用直线连接起来:

至此,神经网络已经实现完成了。完整的代码可以在Github上找到。

下一步,就是要用编写的神经网络,用实际样本开始训练了。下一篇,用MNIST数据训练神经网络。

源码链接

Github: https://github.com/LiuXiaolong19920720/simple_net


cvpy.jpg

0 条评论
发表一条评论