Open Fabrics Enterprise Distribution (OFED) Performance Tests
https://github.com/linux-rdma/perftest
Infiniband network 성능 검증이 필요한 경우,
Server(host_a): 트래픽을 수신하는 장비/서버
Client(host_b): 트래픽을 발생하는 장비/클라이언트
Note. Server/Client 각 System에 동일 perftest package가 설치되어야 함.
General:
[root@host_a]# ib_write_bw -F -R -a
[root@host_b]# ib_write_bw -F -R -a <server_info:ipaddress or hostname>
GPUDirect:
[root@host_a]# ./ib_write_bw -d ib_dev --use_cuda=<gpu index> -a
[root@host_a]# ./ib_write_bw -d mlx5_0 --use_cuda=0 -a -b
[root@host_b]# ./ib_write_bw -d ib_dev --use_cuda=<gpu index> -a <server_info:ipaddress or hostname>
[root@host_b]# ./ib_write_bw -d mlx5_0 --use_cuda=0 -a -b host_a
Note. gpu index: 장착된 GPU 0 ~ x.
Note. ib_dev: Mellanox NIC(HCA) port
참고. gpu index 및 ib_dev 정보는 아래 명령이 결과를 통해 열람/확인 가능
# nvidia-smi topo -m
# nvidia-smi -a
# udevadm info --export-db