GPU 메모리 할당 제한
- 둥지
- ETC
- 분류
- MacOS
- 등록일
로컬 LLM을 돌리면 사용할 모델에 따라 메모리 공간을 확보해야 하는데 Mac은 CPU와 GPU 메모리를 같이 사용하고 있기 때문에 어느정도 확보해줘야 할 필요가 있다.
GPU 메모리 확보하는 방법
터미널에서 다음과 같이 실행하면 된다.
sudo sysctl iogpu.wired_limit_mb=[할당 메모리 용량]
하지만 터미널에서 실행할때 재부팅하면 원래대로 돌아오니 참고!
만약 재부팅하고도 설정이 유지되도록 하려면 백그라운드 서비스(LaunchDaemon) 등록해야한다. (이건 AI 한테 물어보면 알려준다.)
용량 가이드
설정할 수 있는 값은 다음과 같다.
대충 써도 되지만 정확한 값은 다음과 같다.
| Mac 전체 램 | 기본 할당 한도 (약 66%) | 추천 최대 할당량 (안전 마지노선) | 터미널 입력 값 (MB) |
|---|---|---|---|
| 8GB | 약 5.3GB | 최대 6GB (여유 2GB, 조작 비추천) | 6144 |
| 16GB | 약 10.6GB | 최대 12GB (여유 4GB) | 12288 |
| 24GB | 약 16.0GB | 최대 18GB ~ 20GB | 18432 ~ 20480 |
| 32GB | 약 21.3GB | 최대 26GB ~ 28GB | 26624 ~ 28672 |
| 36GB | 약 24.0GB | 최대 30GB (여유 6GB) | 30720 |
추천 용량 케이스
메모리가 32GB 라면
- Qwen3.5 35B 4-bit 양자화 모델로 26GB ~ 28GB 정도로 제한둬서 사용해볼만하다.
0개의 댓글
등록된 댓글이 없습니다.