并行总线带宽 = 总线主频 \times 总线宽度
例：假设主板频率为150MHz，总线宽度为64位，则该总线宽度位1.2GB/s
计算机存储的单位换算：
1位 = 1比特（bit）=1b ：表示二进制位，是计算机内部数据存储的最小单位。
1字节（byte）= 1B = 8b ：是计算机数据处理的基本单位，计算机以字节为单位存储和解释信息。
1字（word）：在这个特定电脑中，字是其用来一次性处理事务的一个固定长度的位（bit）组。一个字的位数（即字长）是电脑系统结构中的一个重要特性。
1GB = 10^3MB = 10^6KB = 10^9 B
所谓并行计算就是把一个比较大的原本需要顺序完成的任务分解为多个子任务，让不同的计算机同时分别去完成，这样总任务的完成时间就会大大缩短，从而加快了速度。在这里请大家注意，并行运算是把本该顺序即先后执行的任务同时进行。
1.首先我们要准备好工具，需要的工具有集线器或者是路由器，还有就是安装有网卡的电脑。准备好了之后我们就可以开始做了。
2.大家肯定都知道吧，要是想实现两台电脑的连接的话，最简单的方法就是利用USB连接数据线进行直接连接。这个也是比较方便的操作方法。如果是想要直接连接的话，我们可以到市场上面购买专用的USB 电缆 。当然了，从扩展的角度来说，我们最好还是使用下面的方法来进行连接。
3.首先我们要用一根 网线 来把两台电脑的网卡直接连接起来。通常来说，这个网线是那种交叉的网线，现在的网卡的借口一般都是可以自动的识别并行网络及交叉的网线的。所以说我们只需要任意的购买一根网线就可以了。如果是想要组建局域网的电脑是多于两台的话，那么我们就只能借助集线器来帮助组建了。
不容易。
高性能计算是人类不断冲击算力极致顶峰的“极限运动”。最终的落脚点还是在提升算力上。
高性能计算的原理，就是将计算机和服务器聚合在一起，通过集群式并行工作提高处理速度，因为计算能力强大，可以帮助人类探索科学、工程和商业的一些世界最大计算问题的答案。
你做并行计算需要的是CPU运算能力，建议选择Intel I3系列的本子，现在市面销售技嘉的E 2432 14寸 I3 2310 2G 320G 刻录机，价格不足3000，应该够你用了，笔记本的配置高低不是看多大内存，多大硬盘，和多大显存，和台式机一样，需要看型号，看性能，GT610的独显2G 还没有I3集成核芯3000快呢！
其实有这种主板，你去看看大型服务器的主板就知道了，那上面有两个或者多个CPU插槽，单纯的将两台主机串联起来是不会有作用的，因为供电啊计算啊什么的都是分开的，实际上是不会并行计算的，需要专门的设备来协调，比如说像前面所说的那种主板。
两台电脑都需手动配置IP地址及DNS，其中一台做主机，另一台电脑DNS地址设置其中一台主机的IP地址即可互联互通。
有个软件叫做 synergy 。 全平台通用linux win OSX （貌似ios andoird不行）
TensorFlow 是一个为数值计算（最常见的是训练神经网络）设计的流行开源库。在这个框架中，计算流程通过数据流程图（data flow graph）设计，这为更改操作结构与安置提供了很大灵活性。TensorFlow 允许多个 worker 并行计算，这对必须通过处理的大量训练数据训练的神经网络是有益的。此外，如果模型足够大，这种并行化有时可能是必须的。
当在多个计算节点间分配神经网络训练时，通常采用两种策略：数据并行和模型并行。在前者中，在每个节点上单独创建模型的实例，并馈送不同的训练样本；这种架构允许更高的训练吞吐量。相反，在模型并行中，模型的单一实例在多个节点间分配，这种架构允许训练更大的模型（可能不一定适合单节点的存储器）。如果需要，也可以组合这两种策略，使给定模型拥有多个实例，每个实例跨越多个节点。
当使用 TensorFlow 时，数据并行主要表现为两种形式：图内复制（in-graph replication）和图间复制（between-graph replication）。两种策略之间最显著的区别在于流程图的结构与其结果。
图内复制
图内复制通常被认为是两种方法中更简单和更直接（但更不可扩展的）的方法。当采用这种策略时，需要在分布式的主机上创建一个包含所有 worker 设备中副本的流程图。可以想象，随着 worker 数量的增长，这样的流程图可能会大幅扩展，这可能会对模型性能产生不利影响。然而，对于小系统（例如，双 GPU 台式计算机），由于其简单性，图内复制可能是最优的。
图间复制
认识到图内复制在扩展上的局限性，图间复制的优势在于运用大量节点时保证模型性能。这是通过在每个 worker 上创建计算图的副本来实现的，并且不需要主机保存每个 worker 的图副本。通过一些 TensorFlow 技巧来协调这些 worker 的图——如果两个单独的节点在同一个 TensorFlow 设备上分配一个具有相同名称的变量，则这些分配将被合并，变量将共享相同的后端存储，从而这两个 worker 将合并在一起。
但是，必须确保设备的正确配置。如果两个 worker 在不同的设备上分配变量，则不会发生合并。对此，TensorFlow 提供了 replica_device_setter 函数。只要每个 worker 以相同的顺序创建计算图，replica_device_setter 为变量分配提供了确定的方法，确保变量在同一设备上。这将在下面的代码中演示。
由于图间复制在很大程度上重复了原始图，因此多数相关的修改实际上都在集群中节点的配置上。因此，下面的代码段将只针对这一点进行改动。重要的是要注意，这个脚本通常会在集群中的每台机器上执行，但具体的命令行参数不同。
运行分布式 TensorFlow 的第一步是使用 tf.train.ClusterSpec 来指定集群的架构。节点通常分为两个角色（或「job」）：含有变量的参数服务器（「ps」）和执行大量计算的「worker」。下面提供每个节点的 IP 地址和端口。接下来，脚本必须确定其 job 类型和在网络中的索引；这通常是通过将命令行参数传递给脚本并解析来实现的。job_type 指定节点是运行 ps 还是 worker 任务，而 task_idx 指定节点在 ps 或 worker 列表中的索引。使用以上变量创建 TensorFlow 服务器，用于连接各设备。
接下来，如果节点是参数服务器，它只连接它们的线程并等待它们终止。虽然似乎没有特定的 ps 代码，但图元素实际上是由 worker 推送到 ps 的。
相反，如果设备是 worker，则使用 replica_device_setter 构建我们的模型，以便在前面讨论的这些 ps 服务器上连续分配参数。这些副本将在很大程度上与单机的流程图相同。最后，我们创建一个 tf.Session 并训练我们的模型。
两台电脑不可以直接用一条网线上网，如果原来的网线不需要拨号可直接上网，需要用交换机
，分2条网线给2台电脑用；如果需要拨号上网，需要一个路由器才能使多台电脑同时上网（路由器需要设置）有2种常见的方法，1，一台电脑做主机，装双网卡，另一台电脑同过主机上网，缺点是主机不能随便关机。2，2台电脑同过路由器或集线器连接上网。优点是2台电脑是分离的。。
