首先，据说这个问题名字的来源是这样的，赌场里的老虎机[slot machine]有一个绰号叫单臂强盗[single-armed bandit]，因为它即使只有一只胳膊，也会把你的钱拿走。所以，当你进入一个赌场，面对一排老虎机，就像面对了一个多臂强盗，而Multi-Armed Bandit就是这样引申而来[当然还有一个说法是，可以把一排老虎机想象成一个老虎机有很多个臂，其实本质是一样的]。那么问题来了，由于不同老虎机的期望收益和期望损失不同，你采取什么老虎机选择策略来保证你的总收益最高呢？这就是经典的Multi-Armed Bandit问题。

OpenAI Gym库是一个兼容主流计算平台[例如TensorFlow，PyTorch，Theano]的强化学习工具包，可以让用户方便的调用API来构建自己的强化学习应用。

本文记录了一些笔者在使用 python[如无特别说明，主要是 python3]的技巧或者需要注意的地方，其他 python 的主要特性或者重要的使用方式，会单独成文不会列在这里。本文会持续更新。

在 Python[如无说明特指 Python3]中， 有将近 70 个内置函数[1]，他们不需要用户定义或者声明引入，即可直接使用。在最近的项目中使用到了 globals()和 locals()两个函数，说一下自己的理解。

1. low on the totem pole

在使用TensorFlow[1.x版本]搭建模型过程中，tf.variable_scope和tf.name_scope，tf.Variable和tf.get_variable是两组重要但是容易混淆的用法。其主要作用是解决部分模型中需要的变量共享。

##################################################

We use # to show example stenances