1. 헬름 3 설치 (선택)curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash 2. 디폴트 스냅샷 컨트롤러 설치 (선택)git clone https://github.com/kubernetes-csi/external-snapshotter/cd ./external-snapshottergit checkout release-6.2kubectl kustomize client/config/crd | kubectl create -f -kubectl -n kube-system kustomize deploy/kubernetes/snapshot-controller | kubectl create -f - 3. 깃 클론 및 진입gi..
├── np4-bs256-da0-node4 │ ├── checkpoint.1.pth.tar (target_file) │ ├── checkpoint.2.pth.tar (target_file) │ ├── nccl (target_dir) │ └── torch.log ├── np4-bs256-da2-node5 │ ├── checkpoint.1.pth.tar (target_file) │ ├── checkpoint.2.pth.tar (target_file) │ ├── nccl (target_dir) │ └── torch.log ├── np4-bs256-da1-node6 │ ├── checkpoint.1.pth.tar (target_file) │ ├── checkpoint.2.pth.tar (target_file) ..
1. 우분투 서버에 필요한 패키지 설치 sudo apt install ubuntu-server sudo reboot 2. multi-user로 default target 변경 그래픽 세션을 시작하지 않음으로써 RAM 및 CPU 리소스를 절약 sudo systemctl set-default multi-user.target sudo reboot 3. 필요 없는 패키지 삭제 sudo apt purge ubuntu-desktop -y && sudo apt autoremove -y && sudo apt autoclean sudo reboot
1. IPoIB 인터페이스 하드웨어 주소 확인 ip a | grep ib 2. 설정 파일 (/etc/udev/rules.d/70-persistent-ipoib.rules) 수정 # This is a sample udev rules file that demonstrates how to get udev to # set the name of IPoIB interfaces to whatever you wish. There is a # 16 character limit on network device names. # # Important items to note: ATTR{type}=="32" is IPoIB interfaces, and the # ATTR{address} match must start with ..
인피니밴드 드라이버(MLNX_OFED)는 설치되어 있다고 가정 (설치가 필요한 경우 참고)서버의 네트워크 포트가 어떻게 생겼는지 미리 파악하면 좋음예를 들어 DGX H100의 네트워크 포트는 이렇게 구성되어있음 1. 변경하려는 장치의 PCI 주소 확인sudo ibdev2netdev -v 2. mlxconfig 명령어로 설정 변경sudo mlxconfig -d {PCI} set LINK_TYPE_P1={LT} LINK_TYPE_P2={LT}예시. mlx5_11 이름을 가진 HCA의 링크 레이어를 이더넷으로 변경 (DGX H100 기준) 3. 재확인sudo mlxconfig -d {PCI} q | grep -i link_type예시. 설정이 잘 반영되었는지 확인 4. 데몬 재시작 또는 재부팅sudo /etc..
