分布式计算

2023-06-28

Ray

官方文档:https://docs.ray.io/en/master/

Install

安装手册:https://docs.ray.io/en/master/ray-overview/installation.html

强化学习环境:

pip install -U "ray[all]"

Cluster deployment

Head node (m10):

ray start --head --port=6333 --dashboard-host=0.0.0.0 --node-ip-address=192.168.1.10 --num-cpus=4 --num-gpus=0

Slave node

(m8):

ray start --address=192.168.1.10:6333 --node-ip-address=192.168.1.80 --num-cpus=16 --num-gpus=0

(m9):

ray start --address=192.168.1.10:6333 --node-ip-address=192.168.1.90 --num-cpus=16 --num-gpus=0

Optimization Algorithms

https://docs.ray.io/en/latest/tune/api/schedulers.html

https://optuna.readthedocs.io/en/stable/reference/samplers/index.html

PBT schedulers (PBT调度器)

Ray PBT实现的参数说明

time_attr: 用于定义训练时长的测度,要求单调递增,比如 training_iteration 或 time_total_s。

metric: 训练结果目标值属性。如果不设用模型定义的如:metric=”episode_reward_mean”

mode: (str, one of “min”, “max”)

perturbation_interval: 模型会以time_attr为间隔来进行perturbation

quantile_fraction: (浮点数介于 0 和 0.5 之间)定义用于利用的顶级和性能最低模型的比例。 决定按多大比例将表现好的头部模型克隆到尾部模型。 较高的值有利于开发顶级模型,较低的值有利于探索。

resample_probability: 当对超参进行exploration时从原分布中重新采样的概率,否则会根据现有的值调整。 值越高,引入新超参数值的机会就越大。 较低的值有利于搜索空间中现有值的扰动。

hyperparam_mutations: 需要变异的超参。它是一个dict,对于每个key对应list或者function。如果没设这个,就需要在custom_explore_fn中指定。

custom_explore_fn: 自定义的exploration函数。

Optimization Cluster parameter

.rollouts()

num_rollout_workers: 这个参数决定了要创建多少个rollout worker actors来进行并行采样。如果将此参数设置为0,那么所有的rollouts将在本地worker中执行(即驱动进程或者在使用Tune时的算法actor)。这意味着不会有额外的并行性,所有的采样都将在一个进程中顺序进行。

num_envs_per_worker: 这个参数指定每个worker将同时评估多少个环境。这允许模型推理批处理,可以提高那些受推理性能瓶颈影响的工作负载的性能。简单来说,如果你的模型推理是计算瓶颈,增加每个worker的环境数量可以让你在每次推理时处理更多的数据,从而提高整体性能。

.training()

train_batch_size:

它控制在模型的内部参数更新之前要处理的训练样本数量。这是梯度下降算法的一个超参数。

具体来说,如果你有1050个训练样本,并且你设置了 train_batch_size 等于100,算法将取训练数据集中的前100个样本(从第1个到第100个)来训练网络。然后,它会取下一个100个样本(从第101个到第200个)来再次训练网络。这个过程会一直重复,直到所有样本都通过网络传播。

使用小于所有样本数量的 train_batch_size 有以下优点:

    1.它需要更少的内存。因为你使用更少的样本来训练网络,所以整个训练过程需要的内存更少。这在你无法将整个数据集放入机器内存时尤其重要。
    2.网络训练通常会更快。这是因为我们在每次传播后都会更新权重。在我们的例子中,我们传播了11个批次(10个批次有100个样本,1个批次有50个样本),并且在每个批次后都更新了网络的参数。如果我们在传播过程中使用了所有样本,那么我们只会对网络的参数进行一次更新。

使用小于所有样本数量的 train_batch_size 的缺点是:

    1.批次越小,对梯度的估计就越不准确。小批量梯度的方向比全批量梯度的方向波动得多。


在设置 train_batch_size 时,需要考虑以下因素:

    数据集的大小和样本分布。如果数据集很大且样本分布均匀,则可以设置较大的 train_batch_size。
    算法的复杂性。如果算法复杂,则需要较大的 train_batch_size 才能有效地学习。
    资源的限制。如果计算资源有限,则需要设置较小的 train_batch_size。
    一般来说,建议从较小的 train_batch_size 开始,然后根据训练效果逐步增加。

以下是 train_batch_size 的几个典型值:

    小型数据集(数千个样本):16-64
    中型数据集(数十万个样本):64-256
    大型数据集(数百万个样本):256-1024

model:

算法模型配置
"fcnet_hiddens": [128, 128, 128] 

PPOConfig.training()

lr_schedule: 学习率计划。格式为 [[timestep, lr-value], [timestep, lr-value], …]。中间时间步将被分配插值后的学习率值。计划通常应从时间步 0 开始。

use_critic: 是否使用 critic 作为基线(否则不使用 value baseline;使用 GAE 时必需)。

use_gae: 如果为 True,则使用具有价值函数的广义优势估计器 (GAE),请参阅 https://arxiv.org/pdf/1506.02438.pdf。

lambda_: GAE (lambda) 参数。

use_kl_loss: 是否在损失函数中使用 KL 项。

kl_coeff: KL 散度的初始系数。

kl_target: KL 散度的目标值。

sgd_minibatch_size: SGD 在所有设备上用于 SGD 的总 SGD 批处理大小。这定义了每个 epoch 内的 minibatch 大小。

num_sgd_iter: 每个外部循环中的 SGD 迭代次数(即,每个训练批处理执行的 epoch 数)。

shuffle_sequences: 是否在训练时对批次中的序列进行洗牌(推荐)。

vf_loss_coeff: 价值函数损失的系数。重要提示:如果您在模型的配置中设置了 vf_share_layers=True,则必须调整此参数。

entropy_coeff: 熵正则化器的系数。

entropy_coeff_schedule: 熵正则化器的衰减计划。

clip_param: PPO clip 参数。

vf_clip_param: 价值函数的 clip 参数。请注意,这对奖励的规模很敏感。如果您期望的 V 很高,请增加它。

grad_clip: 如果指定,则按此量裁剪梯度的全局范数。

.resources()

num_gpus: 分配给算法进程的 GPU 数量。注意,并非所有算法都能利用 GPU。目前,仅支持 tf-[PPO/IMPALA/DQN/PG] 多 GPU 功能。可以是小数(例如,0.3 个 GPU)。

_fake_gpus: 设置为 True 以在 CPU 机器上调试 (多)GPU 功能。在这种情况下,GPU 塔将由位于 CPU 上的图模拟。使用 num_gpus 测试不同数量的假 GPU。

num_cpus_per_worker: 分配给每个工作者的 CPU 数量。

num_gpus_per_worker: 分配给每个工作者的 GPU 数量。可以是小数。通常只有当环境本身需要 GPU(例如,它是 GPU 密集型视频游戏)或模型推理异常昂贵时才需要它。

num_learner_workers: 用于训练的工作者数量。值为 0 意味着将在头节点 CPU 或 1 个 GPU 上的本地工作者上进行训练(由 num_gpus_per_learner_worker 决定)。对于多 GPU 训练,将工作者数量设置为大于 1 并相应设置 num_gpus_per_learner_worker(例如,总共 4 个 GPU,模型需要 2 个 GPU:num_learner_workers = 2 和 num_gpus_per_learner_worker = 2)

num_cpus_per_learner_worker: 分配给每个 Learner 工作者的 CPU 数量。仅在每个 Learner 内部自定义处理管道需要多个 CPU 内核时才需要。如果 num_learner_workers = 0,则忽略。

num_gpus_per_learner_worker: 分配给每个工作者的 GPU 数量。如果 num_learner_workers = 0,任何大于 0 的值都将在头节点上的单个 GPU 上运行训练,而 0 值将在头节点 CPU 内核上运行训练。如果设置了 num_gpus_per_learner_worker,则不能设置 num_cpus_per_learner_worker。

local_gpu_idx: 如果 num_gpus_per_worker>0 且 num_workers<2,则该 gpu 索引将用于训练。这是可用 cuda 设备的索引。例如,如果 os.environ[“CUDA_VISIBLE_DEVICES”] = “1”,则 local_gpu_idx 为 0 将使用节点上 id 为 1 的 gpu。

custom_resources_per_worker: 任何要分配给每个工作者的自定义 Ray 资源。

num_cpus_for_local_worker: 为算法分配的 CPU 数量。注意:这仅在 Tune 中运行时有效。否则,算法在主程序(驱动程序)中运行。

placement_strategy: Algorithm.default_resource_request() 返回的放置组工厂的策略。PlacementGroup 定义了哪些设备(资源)应该始终共存于同一个节点上。

例如,一个有 2 个 rollout worker 的算法,运行时 num_gpus=1 将请求具有以下包的放置组:

    [{"gpu": 1, "cpu": 1}, {"cpu": 1}, {"cpu": 1}],其中第一个包用于驱动程序,其他 2 个包用于两个 worker。

现在可以根据 placement_strategy 的值将这些包“放置”在相同或不同的节点上:

    "PACK": 将包尽可能打包到尽可能少的节点中。

    "SPREAD": 将包尽可能均匀地放置在不同的节点上。

    "STRICT_PACK": 将包打包到一个节点中。不允许组跨越多个节点。

    "STRICT_SPREAD": 将包打包到不同的节点上。

nfs共享

分布式checkpoints需要共享存储,搭建过程:

要在Ubuntu 22.04上搭建nfs,你需要在服务器和客户端上安装不同的软件包,并配置共享目录和挂载选项。具体的步骤如下:

在服务器上,安装nfs-kernel-server软件包,它将允许你共享你的目录。你可以使用以下命令来安装:

sudo apt update
sudo apt install nfs-kernel-server

在客户端上,安装nfs-common软件包,它提供了nfs功能,但不包含任何服务器组件。你可以使用以下命令来安装:

sudo apt update
sudo apt install nfs-common

在服务器上,创建你想要共享的目录,并设置相应的权限。例如,你可以创建一个名为/nfsroot的目录,并赋予所有人读写权限:

sudo mkdir /nfsroot
sudo chmod 777 /nfsroot

在服务器上,编辑/etc/exports文件,指定你的共享目录和它们的属性。你可以使用以下格式来添加一行:

/nfsroot *(rw,sync,no_root_squash,no_subtree_check)

这表示/nfsroot目录可以被任何客户端以读写模式挂载,同步写入内存和硬盘,允许root用户访问,不检查父目录的权限。

在服务器上,重启nfs-kernel-server服务,使配置生效。你可以使用以下命令来重启:

sudo service nfs-kernel-server restart

在客户端上,创建一个用于挂载服务器共享目录的本地目录。例如,你可以创建一个名为/nfsroot的目录:

sudo mkdir /nfsroot

在客户端上,使用mount命令来挂载服务器共享目录。你需要将host_ip替换为服务器的IP地址。你可以使用以下命令来挂载:

sudo mount -t nfs -o nolock host_ip:/nfsroot /nfsroot

这表示使用nfs类型和nolock选项来挂载服务器的/nfsroot目录到客户端的/nfsroot目录。

在客户端上,你可以使用df -h命令来查看挂载的目录的信息。你可以使用以下命令来查看:

df -h /nfsroot

这表示显示/nfsroot目录的磁盘使用情况。

在客户端上,你可以使用umount命令来卸载服务器共享目录。你可以使用以下命令来卸载:

sudo umount /nfsroot

这表示卸载/nfsroot目录。

查看共享:

showmount -e [NFS服务器IP地址]

网卡速度测试

在两台 Linux 机器上安装 iperf。
sudo apt install iperf
在其中一台机器上启动 iperf 服务器。
iperf -s
在另一台机器上启动 iperf 客户端,连接到服务器。
iperf -c <服务器 IP 地址>

issues

1.ray 2.x版本与3.x版本不兼容,启动会报错,而且不同的python版本也不兼容!!!:

RuntimeError: Version mismatch: The cluster was started with:
    Ray: 2.4.0
    Python: 3.8.10
This process on node 10.147.19.20 was started with:
    Ray: 3.0.0.dev0
    Python: 3.8.10

2.遇到过一次WSL2下启动节点,但注册失败,检查环境日志无果,重启系统后成功。

可能是端口占用,或特定文件未被关闭。

分布式群控 clusterssh

解决中文字体不显示(在发起控制机上安装中文字体):
apt-get install fonts-wqy-zenhei

$ cat ~/.clusterssh/config
terminal_args=-fa 'DejaVu Sans Mono:style=Bold' -fs 8
auto_close=0.1

$ cat ~/.bashrc
# DISPLAY 环境变量通知图形程序应该将窗口显示到何处
export DISPLAY=:0
alias f1='cssh --fillscreen m8 m9 m10'

$ cat ~/.ssh/config
Host m8
	HostName m8
	User root
	Port 1822

# 调整登录显示
chmod -x /etc/update-motd.d/*
touch /etc/motd
# 固件更新,解决更新提示
sudo fwupdmgr get-upgrades
sudo fwupdmgr update