分发本地文件

文件分发是分布式并行计算的重要功能。它负责把用户的代码还有配置文件分发到不同的机器上,让所有的机器都运行同样的代码进行并行计算。默认情况下,XPARL分发主文件(例如: main.py )所在目录下所有 .py 结尾文件。但是有时候用户需要分发一些特定的文件,比如模型文件、配置文件、子目录下的Python代码(用于import的子模块)。为了满足这个需求,parl.connect 提供了接口,用户可直接指定需要分发的文件或代码。

示例:

文件目录结构如下,我们想分发policy文件夹中的 .py 文件。 我们可以在 connect 的时候传入想要分发的文件到 distributed_files 参数中,该参数支持正则表达式。

.
├── main.py
└── policy
    ├── agent.py
    ├── config.ini
    └── __init__.py
parl.connect("localhost:8004", distributed_files=['./policy/*.py', './policy/*.ini'])