구글 코랩으로 오픈소스 AI 직접 실행하기, GPU 없어도 됩니다 (딥러닝 모델 실습·LLM·이미지 생성)
딥러닝을 공부하고 싶은데 GPU가 없어서 포기했던 분, 의외로 많거든요.
관련 커뮤니티나 AI 공부 카페에서 "노트북 사양이 너무 낮아서 모델을 못 돌리겠다"는 얘기가 심심찮게 올라옵니다. 근데 사실 지금은 구글 코랩(Google Colab) 이라는 무료 환경만 있으면, 그 문제가 깔끔하게 해결돼요.
브라우저 하나만 열면 NVIDIA T4 GPU를 무료로 쓸 수 있고, PyTorch부터 Hugging Face까지 주요 라이브러리가 이미 깔려 있어요. 이 글에서는 코랩을 처음 쓰는 분도 따라 할 수 있도록, 실제로 오픈소스 AI를 코드로 돌려보는 과정을 정리했어요.
구글 코랩 GPU 연결, 이렇게 하면 됩니다
우선 시작 전에 GPU부터 붙여야 해요. 코랩은 기본 상태로 접속하면 CPU 전용으로 연결되거든요.
런타임 메뉴 → 런타임 유형 변경 → T4 GPU 선택 → 저장 순서로 하면 됩니다.
연결이 완료되면 우측 상단에 RAM·디스크 게이지가 뜨는 걸 확인할 수 있어요. 코드 셀에 !nvidia-smi를 입력해서 실행하면 GPU 정보가 나오는데, 거기서 T4가 보이면 제대로 붙은 거예요.
코랩 무료 플랜에서 T4가 제공하는 VRAM은 약 15~16 GB입니다. 시스템 RAM은 약 12~13 GB 수준이고요. CPU 대비 처리 속도 차이가 상당한데, 실제로 노트북에서 8시간 걸리는 모델 학습이 코랩 T4 환경에서는 약 15분으로 줄어든다는 수치가 있어요. (출처: Geeky Gadgets, 2026)
한 가지 알아둘 점이 있는데, 무료 플랜은 단일 세션 최대 실행 시간이 약 12시간이에요. 그리고 90분 이상 아무 조작이 없으면 세션이 자동으로 종료됩니다. 장시간 학습 돌려놓고 자리 비울 때는 이 부분을 주의해야 해요.
텍스트 생성 LLM, 코드 몇 줄이면 실행됩니다
가장 많이 써보고 싶어 하는 게 아마 언어 모델일 거예요. Hugging Face의 transformers 라이브러리를 쓰면, 공개된 수천 개의 오픈소스 LLM을 코드 몇 줄로 불러올 수 있어요.
코랩에서 Llama 3.2 1B 같은 소형 모델을 실행하는 가장 간단한 방법은 pipeline API를 쓰는 거예요:
!pip install transformers accelerate
from transformers import pipeline
pipe = pipeline("text-generation", model="meta-llama/Llama-3.2-1B-Instruct")
result = pipe("오늘 날씨가 좋으니", max_new_tokens=100)
print(result[0]['generated_text'])Llama 3.2 1B는 무료 T4 VRAM 안에서 넉넉하게 돌아가는 경량 모델이에요. 직접 여러 모델을 테스트해보면서 느끼는 건, 소형 모델이더라도 추론 결과가 꽤 쓸 만한 수준이라는 점이에요.
7B급 이상 모델(Mistral-7B 등)은 어떨까요? 풀 정밀도(FP16)로 로드하면 약 14 GB 이상의 VRAM이 필요해서 T4 한계를 아슬아슬하게 넘어요. 이럴 때는 4비트 양자화를 적용하면 됩니다:
!pip install transformers accelerate bitsandbytes
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import torch
bnb_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForCausalLM.from_pretrained(
"mistralai/Mistral-7B-Instruct-v0.2",
quantization_config=bnb_config,
device_map="auto"
)4비트 양자화를 쓰면 7B 모델도 5~6 GB 수준의 VRAM으로 실행할 수 있어요. 메모리가 도저히 부족하다면 TinyLlama나 Phi-2 같은 초소형 모델로 내려가는 방법도 있습니다.
이미지 생성 AI도 코랩에서 직접 돌립니다
텍스트 프롬프트로 이미지를 뽑는 Stable Diffusion도 코랩에서 실행할 수 있어요. Hugging Face의 diffusers 라이브러리를 쓰면 돼요.
!pip install diffusers transformers accelerate torchvision
from diffusers import StableDiffusionPipeline
import torch
pipe = StableDiffusionPipeline.from_pretrained(
"CompVis/stable-diffusion-v1-4",
torch_dtype=torch.float16
)
pipe = pipe.to("cuda")
prompt = "a futuristic city at sunset, digital art, highly detailed"
image = pipe(prompt, guidance_scale=7.5).images[0]
image.save("output.png")패키지 설치에 약 2~3분 걸리고, 이후 모델을 불러오는 데 추가로 몇 분 기다리면 실제 이미지가 생성돼요. 코드 딱 10줄 안팎으로 텍스트를 이미지로 바꿀 수 있다는 게 신기한 경험이에요.
참고로 코랩 무료 플랜에서는 Automatic1111 같은 GUI 기반 인터페이스 사용이 제한되어 있어요. diffusers 라이브러리 기반 코드 실행은 2025~2026년 현재도 가능한 방식이니, 코드를 직접 작성하는 방향으로 접근하면 됩니다.
결국 코랩은 "입문용 GPU 서버"예요
코랩을 사용해본 분들 사이에서 가장 자주 나오는 얘기가 있어요. "처음에는 무료라서 별거 없겠지 싶었는데, 실제로 써보니 생각보다 쓸 만하다"는 거예요.
맞아요. 입문, 실습, 빠른 프로토타이핑에는 코랩이 정말 충분합니다. TensorFlow, PyTorch, Hugging Face Transformers 같은 라이브러리가 이미 설치되어 있으니 환경 구축 시간을 완전히 아낄 수 있고, 구글 드라이브와 연동되니까 작업물 보관도 간편해요.
다만 솔직히 말하면, 대규모 모델을 며칠씩 파인튜닝하거나 상업 수준의 프로젝트를 돌리기에는 한계가 있어요. 세션 12시간 제한, 유휴 90분 자동 종료, GPU 배정 보장 불가 — 이 세 가지가 발목을 잡는 순간이 분명히 옵니다. 그 지점에 다다르면 RunPod, AWS, GCP 같은 전문 클라우드로 넘어갈 때가 된 거예요.
시작점으로는 지금도 최선의 선택이에요.
참고: Geeky Gadgets Google Colab Beginners Guide (2026), Hugging Face Transformers 공식 문서, MarkTechPost Stable Diffusion on Colab (2025.05)