[깃] 이슈 정리: Numpy reader test (GDS)

이슈를 작성하게 된 계기

Nvidia DALI를 이용해 GDS 기능을 실험하던 중 이해가 되지 않는 결과가 나타나 이에 관련하여 질문함

1. GDS 청크 크기가 16M인 경우를 마치 캐싱을 쓴 것과 같은 결과가 나옴

2. 데이터셋의 크기가 클수록 첫 에폭 시간이 더 빠름

 

답변

매 측정 전에 디스크 캐시를 청소해야함

청크 크기가 작을수록 성능 차이가 발생한다는 결과가 있음

GDS 속도는 데이터셋이 매우 작지 않은 이상 영향을 받지 않음

DALI는 prefetching을 하기 때문에 이상적인 로딩 시간은 거의 0에 가까움

더 자세한 분석을 위해서라면 nsight profile을 사용하길 바람

 

해결

매 측정 전마다 echo 3 | tee /proc/sys/vm/drop_caches으로 캐시를 삭제하니 이상 값은 나오지 않음

대신 데이터 리더가 GPU 타입이고 작은 데이터셋인 경우 첫 에폭 시간부터 CPU 타입에 비해 월등하게 빨랐는데 이것은 prefetching 기능 때문에 일어나는 현상이라는 것을 알게 됨

 

이슈 링크

https://github.com/NVIDIA/DALI/issues/5418

Numpy reader test (GDS) · Issue #5418 · NVIDIA/DALI