인피니밴드 드라이버 설치
1. [master, worker] 인피니밴드 컨트롤러 확인: lspci | grep -i mellanox
2. [master, worker] 공식 홈페이지(Linux InfiniBand Drivers)에서 OS에 맞는 드라이버(MLNX_OFED)를 다운로드
3. [master, worker] 압축 해제
tar xvf MLNX_OFED_LINUX-5.8-3.0.7.0-ubuntu22.04-x86_64.tgz
4. [master, worker] 설치
4.1. 폴더 내부로 이동
cd MLNX_OFED_LINUX-5.8-3.0.7.0-ubuntu22.04-x86_64
4.2. force 옵션을 추가하여 드라이버 설치에 필요한 패키지 설치 및 HCA 펌웨어 업데이트도 같이 진행
sudo ./mlnxofedinstall --force
5. [master, worker] 드라이버 재시작 (HCA 펌웨어 업데이트도 했다면 재부팅)
sudo /etc/init.d/openibd restart
6. [master, worker] 인피니밴드 인터페이스가 잡히는지 확인
ifconfig -a | grep ib
7. [master, worker] 인피니밴드 상태 확인 (Port의 State가 Active인지)
ibstat
인피니밴드 인터페이스에 IP 주소 할당 (IPoIB를 사용할 경우)
1. [master, worker] 인터페이스 상태(Down) 및 이름 확인
ibdev2netdev
2. IP 할당 (각각의 CA 포트가 고유한 IP와 서브넷을 할당 받아야함 → 참고)
2.1. [master]
sudo ifconfig {IF_NAME} 192.168.12.1
2.2. [worker]
sudo ifconfig {IF_NAME} 192.168.12.2
3. [master, worker] 인터페이스 상태(Up) 및 이름 확인
ibdev2netdev
4. 통신 테스트 (ib_send_bw 옵션 확인 → 참고)
4.1. [master]
ib_send_bw -d {CA} -F --report_gbits
4.2. [worker]
ib_send_bw -d {CA} -F --report_gbits 192.168.12.1
4.3. CA는 ibstat으로 확인 가능 (mlx5_0, mlx5_1)
참고: https://enterprise-support.nvidia.com/s/article/howto-install-mlnx-ofed-driver
'우분투' 카테고리의 다른 글
[우분투] 비밀번호 입력 없이 sudo 사용 (0) | 2023.08.10 |
---|---|
[우분투] 구글 드라이브 마운트 (0) | 2023.07.31 |
[우분투] CPU 사용률 출력 (0) | 2021.06.15 |
[우분투] 유저 생성, 권한 부여, 목록 출력 (0) | 2021.02.02 |
AWS EC2 접속, 파일 및 폴더 전송 (0) | 2020.12.03 |