I never believed that there is a book that can fill the gap between theory and practice, especially for system design, but I do believe that the book “A Philosophy of Software Design” is the best one that narrows the gap.

个人认为的Python虚拟环境的最佳实践。

并发[concurrency]和并行[parallelism]是两个相关但是不完全相同的概念。

数据并行[Data Parallelism]是用来解决深度学习中单批次训练数据[training batch data]过大无法放入GPU内存中的方法，其理论基础来源于分割数据进行梯度计算再合并结果并不会印象直接计算梯度的结果。所以可以将一个模型复制多份放入一台机器的多个GPU中或者多台机器的多个GPU中，然后将训练数据分割让每个GPU进行梯度计算，最后将计算结果汇总。

GPU的硬件参数直接决定了例如深度学习等计算密集型任务的运行时间，本文列出一些重要的参数[因为目前机器学习模型训练依赖CUDA，所以这里以N卡为主，希望OpenCL成熟后A卡也能加入深度学习]。

The summarized points of the book writing for computer science [1].

前文Name Scope vs Variable Scope in TensorFlow比较了作用域variable_scope和name_scope在TensorFlow中如何共享变量，但是它们需要分别和tf.get_variable和tf.Variable搭配使用。一般情况下，tf.variable_scope和tf.get_variable和搭配使用，tf.name_scope和tf.Variable搭配使用。

首先，据说这个问题名字的来源是这样的，赌场里的老虎机[slot machine]有一个绰号叫单臂强盗[single-armed bandit]，因为它即使只有一只胳膊，也会把你的钱拿走。所以，当你进入一个赌场，面对一排老虎机，就像面对了一个多臂强盗，而Multi-Armed Bandit就是这样引申而来[当然还有一个说法是，可以把一排老虎机想象成一个老虎机有很多个臂，其实本质是一样的]。那么问题来了，由于不同老虎机的期望收益和期望损失不同，你采取什么老虎机选择策略来保证你的总收益最高呢？这就是经典的Multi-Armed Bandit问题。