[우분투] 인피니밴드 링크 레이어 변경

인피니밴드 드라이버(MLNX_OFED)는 설치되어 있다고 가정 (설치가 필요한 경우 참고)

서버의 네트워크 포트가 어떻게 생겼는지 미리 파악하면 좋음

예를 들어 DGX H100의 네트워크 포트는 이렇게 구성되어있음

 

1. 변경하려는 장치의 PCI 주소 확인

sudo ibdev2netdev -v

 

2. mlxconfig 명령어로 설정 변경

sudo mlxconfig -d {PCI} set LINK_TYPE_P1={LT} LINK_TYPE_P2={LT}

예시. mlx5_11 이름을 가진 HCA의 링크 레이어를 이더넷으로 변경 (DGX H100 기준)

 

3. 재확인

sudo mlxconfig -d {PCI} q | grep -i link_type

예시. 설정이 잘 반영되었는지 확인

 

4. 데몬 재시작 또는 재부팅

sudo /etc/init.d/openibd restart
sudo reboot

 

5. ibstat 명령어로 확인

ibstat {HCA}

예시. 변경이 제대로 적용되었는지 확인

 

만약 재부팅해도 적용이 안된다면 Mellanox 장치를 리셋해야함

sudo mlxfwreset -d {PCI} reset --yes

---

참고: https://docs.nvidia.com/holoscan/sdk-user-guide/set_up_gpudirect_rdma.html#switch-the-board-link-layer-to-ethernet

Enabling RDMA - NVIDIA Docs