目前是否支持大规模多机多卡训练？

[qinger521]

您好，请问当前是否支持多机多卡训练？如何配置呢？如果是多agent系统如何管理集群资源？

[binary-husky]

支持：

经典模式：

1. 手动配置ray，或者ajet --with-ray-cluster根据集群提供的环境变量自动配置ray
2. 修改配置

ajet:
  trainer_common:
    nnodes: 4  # four machines
    n_gpus_per_node: 8  # 8 gpus per machine

蜂群模式

1. 手动配置ray，或者ajet --with-ray-cluster根据集群提供的环境变量自动配置ray
2. ajet-swarm start 启动蜂群 server
3. 从蜂群client上，向server发送一个多节点的job

    ajet_job = AgentJetJob(
        base_yaml_config="tutorial/example_werewolves_swarm/werewolves.yaml",  # 这个yaml也配置 nnodes > 1
    )