Python中多线程无法利用多核优势，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程，这里最Python提供了multiprocessing。通过multiprocessing包可以实现多进程，不过因为不是多线程，无法向多线程一样方便的共享数据[因为多线程往往属于一个进程，进程内共享比较方便]。但是， multiprocessing包也提供了共享变量这样的功能。

I never believed that there is a book that can fill the gap between theory and practice, especially for system design, but I do believe that the book “A Philosophy of Software Design” is the best one that narrows the gap.

个人认为的Python虚拟环境的最佳实践。

并发[concurrency]和并行[parallelism]是两个相关但是不完全相同的概念。

数据并行[Data Parallelism]是用来解决深度学习中单批次训练数据[training batch data]过大无法放入GPU内存中的方法，其理论基础来源于分割数据进行梯度计算再合并结果并不会印象直接计算梯度的结果。所以可以将一个模型复制多份放入一台机器的多个GPU中或者多台机器的多个GPU中，然后将训练数据分割让每个GPU进行梯度计算，最后将计算结果汇总。

GPU的硬件参数直接决定了例如深度学习等计算密集型任务的运行时间，本文列出一些重要的参数[因为目前机器学习模型训练依赖CUDA，所以这里以N卡为主，希望OpenCL成熟后A卡也能加入深度学习]。

The summarized points of the book writing for computer science [1].

前文Name Scope vs Variable Scope in TensorFlow比较了作用域variable_scope和name_scope在TensorFlow中如何共享变量，但是它们需要分别和tf.get_variable和tf.Variable搭配使用。一般情况下，tf.variable_scope和tf.get_variable和搭配使用，tf.name_scope和tf.Variable搭配使用。