[태그:] GPU분할

이번에 GPU 정부지원 사업을 신청하여 H100 4장을 할당 받았습니다. 각 본부에서 LLM 개발 및 fine tuning을 목적으로 할당 하여 사용할 계획입니다. 아무래도 지원 사업 자체가 하나의 인스턴스에 GPU 자원을 나눠서 사용해야 하는 방식이다보니 자원을 어떻게 할당하는 것이 좋을지 알아보다가 정리된 내용을 포스트로 기록합니다. GPU 자원을 관리하는 가장 대표적인 두 가지 방식, NVIDIA MIG(Multi-Instance GPU)와 CUDA_VISIBLE_DEVICES…