로컬 LLM 구축 가이드, Ollama 설치부터 하드웨어 선택과 보안까지 (Ollama·GGUF 양자화·온프레미스·VRAM)
새벽에 ChatGPT API 청구서를 확인하다가 흠칫한 적 있으신가요.
호출 몇 번 안 한 것 같은데 토큰 비용이 꾸준히 쌓여 있는 걸 보면 묘하게 불안해지거든요.
로컬 LLM은 이 고민에 대한 다른 답입니다. 모델을 내 PC에 직접 내려받아 구동하는 방식이라, 인터넷이 끊겨도 돌아가고 데이터가 바깥으로 나가지 않아요.
오늘은 Ollama를 중심으로 로컬 LLM 환경을 어떻게 구축하는지, 어떤 하드웨어가 필요한지, 그리고 클라우드 대비 무엇이 달라지는지 차근차근 정리해볼게요.
로컬 LLM 구축의 시작, Ollama란 무엇인가
Ollama는 Llama 3, Mistral, Gemma, Phi 같은 오픈소스 LLM을 로컬 컴퓨터에서 다운로드하고 실행하고 관리하는 과정을 단순화해주는 도구예요. (출처: apidog 블로그)
기술적으로 보면 CLI 기반의 로컬 서버입니다. 자체 그래픽 화면은 없지만, OpenAI와 호환되는 REST API를 localhost:11434에서 띄워주는 게 핵심이에요. 이 API 덕분에 다른 프로그램이나 스크립트에서 바로 붙여 쓸 수 있어요.
설치와 실행은 사실 세 단계면 끝나요.
- 설치 — 리눅스 기준
curl -fsSL https://ollama.com/install.sh | sh한 줄 - 모델 다운로드 —
ollama pull [모델명] - 실행 —
ollama run [모델명]
윈도우, macOS, 리눅스를 모두 지원하고요. 전체 모델 목록은 ollama.com/library에서 확인할 수 있습니다. (출처: Ollama 공식 GitHub)
Python·JavaScript용 공식 라이브러리도 따로 제공돼요. 자동화 스크립트나 챗봇을 직접 만들고 싶다면 이 SDK들을 그대로 가져다 쓰면 됩니다.
내 PC로 가능할까, 하드웨어 요구사항부터 따져보기
여기서 가장 많이 막히는 부분이 바로 이거예요. "내 컴퓨터로 돌릴 수 있나요?"
대답은 모델 크기에 따라 다릅니다. 일반적으로 통용되는 기준은 다음과 같아요.
- 7B(70억 파라미터)급 모델: 최소 8GB VRAM
- 13B급 모델: 12~16GB VRAM
- 70B급 모델: 48GB 이상 VRAM, 아니면 CPU 오프로딩을 감당해야 함
대부분의 일반 사용자에게는 8~12GB VRAM이 적당한 지점으로 꼽혀요. 이 정도면 Llama 3.1 8B나 Qwen 3 8B 같은 모델을 Q4_K_M 양자화로 초당 40토큰 이상 속도로 돌릴 수 있거든요.
GPU가 없어도 아예 안 되는 건 아니에요. Qwen3 0.6B 같은 초소형 모델은 8GB RAM 노트북에서도 돌아가긴 합니다. 다만 속도는 초당 2~10토큰 수준으로, GPU 환경(초당 30~60토큰 이상)과는 꽤 차이가 나요.
| 모델 크기 | 최소 VRAM | 적정 환경 |
|---|---|---|
| 7B | 8GB | 보급형 GPU |
| 13B | 12~16GB | 중급 GPU |
| 32B | 24GB | 고급 GPU |
| 70B | 48GB 이상 | 워크스테이션급 |
이 수치들, 사실 단일 공식 출처에서 표로 정리해둔 건 아니고 여러 정보성 자료에서 공통적으로 반복되는 일반론이라는 점은 감안하고 보시는 게 좋아요. 그래도 7B=8GB, 70B=48GB+ 라는 큰 틀은 거의 일치하더라고요.
양자화(Quantization) 개념도 같이 알아두면 좋아요. 모델 가중치의 정밀도를 낮춰서 용량을 줄이고 속도를 높이는 기법인데, 이 덕분에 700억 파라미터급 모델도 데이터센터 없이 소비자용 GPU 한 대로 돌릴 수 있게 됐어요. (출처: Cast AI 블로그)
GGUF라는 파일 포맷도 자주 보일 거예요. llama.cpp 팀이 만든 양자화 모델 저장 표준 포맷인데, 텐서 데이터와 토크나이저를 한 파일에 통합해서 로딩 속도를 크게 끌어올린 게 특징이에요. 참고로 GGUF는 양자화 "기법"이 아니라 양자화된 모델을 담는 "파일 형식"이라는 점, 헷갈리지 않으면 좋겠어요.
클라우드 API 대신 로컬을 쓰면 뭐가 달라질까
로컬 LLM 커뮤니티 후기들을 보면 "API 비용이 무서워서 로컬로 옮겼다"는 분들이 꽤 많아요.
클라우드 API는 토큰 단가만 보면 저렴해 보이지만, 호출이 누적되면 얘기가 달라지거든요. 챗봇이나 문서 요약기처럼 한 번에 수천 토큰을 쓰는 서비스를 반복 호출하면 비용이 생각보다 빠르게 쌓여요.
로컬 LLM의 핵심 장점은 사용량에 따라 늘어나는 비용 부담이 없다는 거예요. 데이터가 컴퓨터 밖으로 나가지 않고, 인터넷이 끊겨도 작동합니다.
다만 솔직히 말하면, "비용이 80% 절감된다"거나 "그래픽카드 한 장이면 월 구독료 없이 GPT급 성능"이라는 식의 단정적인 수치도 검색 과정에서 꽤 보였어요. 이런 숫자들은 공식 벤치마크가 아니라 개인 블로그성 주장에 가까워서, 이 글에서는 정량적인 절감률로 못 박지는 않을게요. "사용량 기반 비용이 사라진다"는 정성적 장점 정도로 받아들이는 게 안전합니다.
보안 측면은 좀 더 명확해요. 금융, 의료, 법률처럼 정보 보안 요구가 높은 업종에서는 클라우드 AI 활용에 한계가 분명히 있다는 인식이 자리잡고 있어요. (출처: 코드스테이츠 블로그)
온프레미스 LLM은 질문부터 답변, 데이터 처리까지 전부 회사 내부에서만 이뤄지는 방식이에요. 데이터 주권 확보와 보안 리스크 원천 차단이 핵심 가치로 꼽히고, 폐쇄망·망분리 환경에서 외부 연결을 최소화하는 게 기본 전제예요.
실제로 LG CNS는 2025년 코히어와 공동 개발한 1,110억 파라미터급 추론형 LLM을 온프레미스 방식으로 출시했어요. 고객사가 민감한 데이터를 외부로 내보내지 않고 자체 인프라 안에서 처리할 수 있게 한 사례입니다.
어떤 도구를 골라야 할까, Ollama·LM Studio·Open WebUI 차이
막상 시작하려고 하면 도구가 너무 많아서 헷갈릴 수 있어요. 셋의 역할은 사실 분명히 나뉩니다.
Ollama는 CLI 기반 로컬 서버로, 모델을 받고 관리하고 실행하는 역할을 해요. LM Studio는 그래픽 인터페이스를 갖춘 데스크톱 앱이라 채팅창에서 바로 모델을 골라 대화할 수 있고요. Open WebUI는 Ollama 같은 백엔드에 연결해서 ChatGPT와 비슷한 화면을 씌워주는 웹 클라이언트예요. 자체 추론 엔진은 없고, Docker로 띄워서 쓰는 구조입니다.
개인적으로 처음 써보는 분들께는 LM Studio가 진입장벽이 가장 낮다고 느꼈더라고요. GUI가 잘 갖춰져 있어서 5분 안에 첫 대화를 시작할 수 있어요. 반면 서버에 올려서 팀 단위로 쓰거나 다른 시스템과 연동하려면 Ollama 쪽이 자연스러워요. CLI 기반이라 서버 환경에 맞고, OpenAI 호환 API로 다른 도구와 묶기도 쉽거든요.
Docker로 묶어서 운영한다면 구성도 단순해요. compose.yaml에 컨테이너 정보를 정의해두고 docker compose up -d로 한 번에 띄우는 식이에요. 기본 포트는 11434/TCP고, 모델 데이터는 컨테이너 내부 /root/.ollama 경로에 볼륨으로 마운트합니다. 컨테이너 안에서 모델을 새로 받을 때는 docker exec -it ollama ollama pull [모델명] 명령을 쓰면 되고요.
GPU를 컨테이너 안에서 쓰고 싶다면 NVIDIA/CUDA 드라이버까지 포함한 Docker Compose 구성도 이미 여러 공개 예제로 나와 있어서, 처음부터 다 짤 필요는 없어요.
결국 선택은 워크로드와 보안 요구가 정한다
정리하면, 로컬 LLM은 만능 해결책은 아니에요.
7B급 모델 하나 돌리는 데도 최소 8GB VRAM이 필요하고, 70B급으로 가면 워크스테이션급 장비가 있어야 해요. 누구나 무조건 클라우드보다 싸진다고 단정할 수 없는 이유예요.
그런데 보안이 우선인 업무라면 얘기가 달라져요. 데이터가 한 번도 회사 밖으로 나가지 않는다는 것만으로도 충분한 이유가 되거든요.
결국 질문은 "로컬이 싸냐 비싸냐"가 아니라 "내 워크로드와 보안 요구가 어느 쪽에 더 가깝냐"인 것 같아요. 그 기준 하나만 분명히 세우면, Ollama든 LM Studio든 도구 선택은 그다음 문제예요.
참고: 코드스테이츠 공식 블로그 - 기업용 온프레미스 LLM, Ollama 공식 GitHub