RMSProp——使用Gluon

在Gluon里,使用RMSProp很方便,我们无需重新实现该算法。

首先,导入本节中实验所需的包或模块。

In [1]:
import sys
sys.path.append('..')
import gluonbook as gb
from mxnet import gluon, init, nd
from mxnet.gluon import nn

下面生成实验数据集并定义线性回归模型。

In [2]:
# 生成数据集。
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = nd.random.normal(scale=1, shape=(num_examples, num_inputs))
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += nd.random.normal(scale=0.01, shape=labels.shape)

# 线性回归模型。
net = nn.Sequential()
net.add(nn.Dense(1))

我们可以在Trainer中定义优化算法名称rmsprop并定义\(\gamma\)超参数gamma1。以下几组实验分别重现了“RMSProp——从零开始”一节中实验结果。

In [3]:
net.initialize(init.Normal(sigma=0.01), force_reinit=True)
trainer = gluon.Trainer(net.collect_params(), 'rmsprop',
                        {'learning_rate': 0.03, 'gamma1': 0.9})
gb.optimize(batch_size=10, trainer=trainer, num_epochs=3, decay_epoch=None,
            log_interval=10, features=features, labels=labels, net=net)
w:
[[ 2.00496054 -3.40064096]]
<NDArray 1x2 @cpu(0)>
b:
[ 4.18783283]
<NDArray 1 @cpu(0)>

../_images/chapter_optimization_rmsprop-gluon_5_1.png
In [4]:
net.initialize(init.Normal(sigma=0.01), force_reinit=True)
trainer = gluon.Trainer(net.collect_params(), 'rmsprop',
                        {'learning_rate': 0.03, 'gamma1': 0.999})
gb.optimize(batch_size=10, trainer=trainer, num_epochs=3, decay_epoch=None,
            log_interval=10, features=features, labels=labels, net=net)
w:
[[ 2.0008142  -3.39978004]]
<NDArray 1x2 @cpu(0)>
b:
[ 4.19934416]
<NDArray 1 @cpu(0)>

../_images/chapter_optimization_rmsprop-gluon_6_1.png

小结

  • 使用Gluon的Trainer可以方便地使用RMSProp。

练习

  • 试着使用其他的初始学习率和\(\gamma\)超参数的组合,观察并分析实验结果。

扫码直达讨论区