1. IPoIB 인터페이스 하드웨어 주소 확인 ip a | grep ib 2. 설정 파일 (/etc/udev/rules.d/70-persistent-ipoib.rules) 수정 # This is a sample udev rules file that demonstrates how to get udev to # set the name of IPoIB interfaces to whatever you wish. There is a # 16 character limit on network device names. # # Important items to note: ATTR{type}=="32" is IPoIB interfaces, and the # ATTR{address} match must start with ..
인피니밴드 드라이버(MLNX_OFED)는 설치되어 있다고 가정 (설치가 필요한 경우 참고) 1. MFT 시작 sudo mst start 2. vendor_part_id 확인 ibv_devinfo | grep vendor_part_id 3. 디바이스 설정 확인 (그랩을 통해 포트별 링크 타입만 확인 가능) sudo mlxconfig -d /dev/mst/{VENDOR_PART_ID} q sudo mlxconfig -d /dev/mst/{VENDOR_PART_ID} q | grep LINK_TYPE 4. 설정 변경 (TYPE_NUM: 0은 인피니밴드, 1은 이더넷) mlxconfig -d /dev/mst/{VENDOR_PART_ID} set LINK_TYPE_P1={TYPE_NUM} 5. 재부팅 sudo r..
1. 설정 파일 열기 (visudo로 열거나 해당 파일 권한을 수정해야함) sudovi /etc/sudoers 2. 가장 아래 줄에 다음 라인 추가 후 저장 {USER} ALL=(ALL) NOPASSWD: ALL ALL --> 시스템 호스트 이름 (특정 호스트 이름만 지정 가능) (ALL) --> 터미널 이름 (특정 터미널만 지정 가능) NOPASSWD: ALL --> 모든 명령어에 대해서 실행 시 비밀번호를 묻지 않음
PVC를 PV에 바인딩하기 위한 수단은 아래와 같이 3가지가 있음 1. 볼륨 이름이 같은 경우 (참고) PV > metadata > name PVC > spec > volumeName 2. 레이블 셀렉터가 같은 경우 (참고) PV > metadata > labels PVC > spec > selector 3. 스토리지 클래스 이름이 같은 경우 (참고) PV > spec > storageClassName PVC > spec > storageClassName
환경 - Infiniband 드라이버 설치 및 IP 할당 (master: 192.168.12.1, worker-1: 192.168.12.2) --> 참고 - NCCL_SOCKET_IFNAME라는 환경변수를 통해서 인터페이스 이름을 설정 가능 --> 참고 - OS 및 GPU 드라이버에 맞는 CUDA toolkit 설치 --> 참고 - Accelerate로 실행 가능한 pytorch 학습 파일 (train_multi.py) --> 참고 - pdsh 설치 및 아래 라이브러리 설치 --extra-index-url https://download.pytorch.org/whl/cu118 torch==2.0.1 transformers==4.30.2 evaluate==0.4.0 scikit-learn==1.2.2 acc..
