이미지 한 장을 첨부하고 "이 표에서 숫자만 뽑아줘"라고 물어본 적 있나요?
작년까지는 GPT-4V 같은 폐쇄형 API를 쓰는 게 거의 유일한 선택지였어요. 근데 지금은 다릅니다. 오픈소스 멀티모달 모델들이 텍스트뿐 아니라 이미지까지 읽어내는 수준에 올라왔거든요. Llama 3.2 Vision, Phi-3.5-vision 같은 모델을 로컬이나 사내 서버에 올려서 문서 처리, 화면 분석, 인보이스 자동화에 쓰는 회사들이 늘고 있어요. 그런데 막상 도입하려고 보면 라이선스부터 하드웨어까지 따져야 할 게 한두 가지가 아니더라고요.
오픈소스 멀티모달 모델, Llama 3.2 Vision과 Phi-3.5는 뭐가 다를까요
Llama 3.2 Vision은 11B와 90B 두 가지 크기로 나와요. 텍스트와 이미지를 같이 입력받아서 텍스트로 답을 내놓는 구조고, 시각 인식, 이미지 추론, 캡셔닝, 이미지 관련 질의응답에 맞춰 instruction-tuned 버전으로 제공됩니다. Meta는 이 모델이 이미지 인식과 시각 이해 과제에서 Claude 3 Haiku, GPT-4o-mini 같은 폐쇄형 모델과 경쟁할 수준이라고 밝혔어요. (출처: Meta AI Blog)
벤치마크로 보면 Artificial Analysis Intelligence Index 기준 11B 모델이 9점, 90B 모델이 12점이에요. 추론, 지식, 수학, 코딩을 종합 평가하는 지수입니다.
반면 Phi-3.5-vision-instruct는 마이크로소프트가 만든 경량 모델이에요. 파라미터가 41.5억 개밖에 안 되는데 컨텍스트는 128K 토큰까지 지원해요. 이미지 인코더, 커넥터, 프로젝터, Phi-3-Mini 언어 모델 네 부분으로 구성돼 있고요. 메모리·연산이 제한된 환경, 지연시간에 민감한 상황, 일반 이미지 이해, OCR(광학 문자 인식), 차트·표 이해, 다중 이미지나 비디오 클립 요약 작업에 맞춰 설계됐어요. 학습에는 A100-80G GPU 256장으로 5,000억 개의 시각·텍스트 토큰을 6일간 학습시켰다고 합니다. 벤치마크에서는 LLaVA-Interleave-Qwen-7B, InternVL-2-4B 같은 모델을 능가하는 결과도 나왔어요. (출처: Hugging Face 모델 카드)
쉽게 말하면, Llama 3.2 Vision은 "성능을 끌어올린 무거운 선택", Phi-3.5-vision은 "가볍게 빠르게 돌리는 선택"인 셈이에요.
Qwen2.5-VL, InternVL3까지 넣으면 선택지가 더 넓어져요
Llama와 Phi-3만 보고 끝내면 곤란해요. 오픈소스 비전-언어 모델(VLM) 생태계 자체가 빠르게 넓어지고 있거든요. Qwen2.5-VL-72B와 InternVL3-78B는 폐쇄형 모델 대비 5~10% 격차 수준까지 따라잡았다는 평가를 받습니다. (출처: BentoML)
Qwen2.5-VL은 알리바바 Qwen 시리즈의 최신 플래그십 비전-언어 모델이에요. 객체 위치 파악, 문서 파싱, 장시간 비디오 이해에서 강점을 보이고, 동적 해상도 처리와 절대 시간 인코딩으로 공간·시간 신호를 원천적으로 인식하게 설계됐어요. MMMU(val) 70.2점, MathVista_MINI 74.8점, MMStar 70.8점을 기록했습니다.
InternVL3-78B는 총 784.1억 개 파라미터 규모인데, MMMU 벤치마크에서 72.2점으로 오픈소스 멀티모달 대형 언어 모델 중 새로운 최고 기록을 세웠어요. Qwen2.5 계열 언어 백본을 기반으로 시각 인식·추론·지시 따르기 능력을 개선한 모델입니다.
| 모델 | 파라미터 | 강점 | 적합한 단계 |
|---|---|---|---|
| LLaVA 1.6 | 7B대 | 풍부한 문서, 활발한 커뮤니티 | 프로토타이핑 |
| Llama 3.2 Vision (11B/90B) | 11B~90B | 일반 시각 추론, 캡셔닝 | 범용 운영 |
| Phi-3.5-vision-instruct | 4.15B | 경량, OCR·차트 이해 | 경량 환경, 엣지 |
| Qwen2.5-VL-72B | 72B | 문서 파싱, 영상 이해 | 프로덕션 |
| InternVL3-78B | 78.41B | 최고 수준 정확도 | 고성능 프로덕션 |
실무 가이드에서도 "프로토타이핑은 LLaVA 1.6으로 시작하고, 파인튜닝이나 데이터 프라이버시가 필요한 프로덕션 단계에서는 Qwen2.5-VL이나 InternVL3로 옮겨가라"는 권고가 나와요. (출처: BentoML)
실무 프로세스에 통합하는 법, 로컬 구동부터 에이전트 연동까지
가장 흔한 시작점은 Ollama예요. 로컬 머신에서 모델을 관리·실행하는 프레임워크인데, 비전 변형 모델도 지원해요. CLI로 직접 써볼 수 있고, 다른 애플리케이션과 통신할 수 있도록 REST API를 제공하는 로컬 웹 서버도 같이 떠요. 입력과 응답이 사용자 기기에만 저장되고 명시적으로 설정하지 않으면 외부로 전송되지 않는다는 점이 프라이버시 측면에서 강점이에요. (출처: apidog.com)
문서·인보이스 자동화 쪽 활용도 활발합니다. 멀티모달 OCR 기술을 쓰면 한글 PDF 문서에서 표와 그래프까지 정확하게 이해하고, 이를 요약하거나 ERP 시스템과 연동하는 작업까지 할 수 있어요. 실제로 기업 현장에서는 PDF 인식, 청구서 자동 처리, 문서 데이터베이스화 같은 작업에 멀티모달 모델을 붙이는 시도가 늘고 있어요. 종이로 처리되던 양식·인보이스·계약서를 스캔 이미지나 사진 형태로 받아 재입력하던 수작업 부담을 줄이려는 목적이 큽니다. (출처: koreadeep.com)
좀 더 앞서가는 활용은 에이전틱 워크플로우 쪽이에요. GLM-4.6V 같은 모델은 인지-추론-행동을 하나의 루프로 묶어서, 화면을 보고 판단하고 실제로 동작까지 수행하는 비주얼 에이전트에 적합하다는 평가를 받아요. UI 스크린샷을 텍스트로 변환하지 않고 그대로 도구 파라미터로 넘기는 네이티브 멀티모달 도구 호출 기능도 들어가 있고요. 다만 화면 속 UI 요소를 정확히 식별하고 그 역할과 공간적·기능적 관계까지 추론하는 "그라운딩" 문제는 여전히 해결 과제로 남아 있다고 합니다. (출처: arXiv, dev.to/getstreamhq)
직접 도입을 검토하는 과정에서 느낀 건, 모델 선택보다 먼저 "이 작업이 진짜 비전 모델이 필요한 작업인가"를 따져봐야 한다는 거예요. 텍스트로만 처리 가능한 일을 굳이 멀티모달로 돌리면 비용만 늘어나거든요.
파인튜닝까지 가려면 LoRA나 QLoRA를 쓰는 게 일반적이에요. 모델 전체가 아니라 저랭크 어댑터 일부만 학습시키는 방식이라 속도가 빠르고 VRAM 요구량도 낮습니다. 100~1,000개 수준의 프롬프트-응답 쌍으로도 효과를 볼 수 있다고 알려져 있어요. LLaMA Factory 같은 프레임워크는 Llama, Qwen3, Phi 등 여러 모델에 LoRA·QLoRA를 지원하고, Unsloth 역시 Llama 3.2 Vision이나 Qwen3-VL 같은 멀티모달 모델 파인튜닝을 지원합니다. (출처: Jenova AI, tilnote.io)
하드웨어와 비용, 그리고 라이선스에서 발 걸리는 부분들
로컬에서 LLM을 돌리려면 최소 16GB 시스템 RAM, 최신 CPU, 6GB 이상 VRAM GPU나 Apple Silicon Mac이 필요해요. 모델 크기별로 보면 7B 모델에는 4~6GB, 13B 모델에는 8~10GB, 70B 모델에는 40GB 이상의 VRAM이 필요하다고 안내됩니다. 비전-언어 모델은 좀 더 무거워서, 8B급은 A100 80GB 한 장으로 프로덕션 운영이 가능하지만 72B급은 H100 80GB 4장이 필요하다는 분석도 있어요. (출처: localaimaster.com, dasroot.net)
Q4_K_M 양자화를 쓰면 가중치를 4비트로 압축해서 FP16 대비 VRAM 요구량을 약 75%까지 줄이면서도 출력 품질을 꽤 유지할 수 있어요. RTX 3090·4090·5090 같은 소비자용 GPU가 24GB VRAM을 데이터센터 카드보다 훨씬 싼 값에 제공해서 로컬 구동의 스위트 스폿으로 꼽히고, Apple Silicon은 통합 메모리 구조 덕분에 시스템 RAM을 VRAM처럼 쓸 수 있어 M5 Max 64GB 모델이 H100급 대안으로 거론되기도 해요.
라이선스는 의외로 자주 놓치는 부분이에요. Llama 3.2 커뮤니티 라이선스는 상업적 사용을 허용하지만, 멀티모달 모델에 한해 EU에 본거지를 둔 개인이나 기업에는 권리가 부여되지 않는다는 제한 조항이 있거든요. 이 제한은 EU 기반 기업·개인이 모델을 직접 사용하는 경우에만 적용되고, Llama 멀티모달 모델이 탑재된 제품·서비스를 최종 사용자로 이용하는 데는 적용되지 않아요. 비EU 기반 기업 직원은 업무 범위 내에서 사용할 수 있지만, EU에 거주하는 개인이 개인 목적으로 쓰는 건 제한됩니다. 이 조항은 Meta가 EU 데이터보호당국과 겪고 있는 공개 데이터 학습 관련 갈등에서 비롯됐다고 알려져 있어요. (출처: Llama 공식 Use Policy, Medium)
해외 개발자 커뮤니티에서 가장 자주 나오는 하소연이 바로 이 라이선스 조항이에요. "성능 비교만 보고 모델 골랐다가 배포 직전에 라이선스 때문에 다시 바꿔야 했다"는 사례가 적지 않게 보입니다. Phi-3.5-vision-instruct는 영어 기반의 폭넓은 상업·연구 목적 사용을 염두에 두고 공개돼 있어 이런 지역 제한 이슈는 상대적으로 적은 편이에요.
환각과 보안, 도입 전에 반드시 짚어야 할 것들
성능 숫자만 보고 들어가면 꼭 부딪히는 문제가 환각(hallucination)이에요. 멀티모달 모델은 실제 이미지에 없는 내용을 그럴듯하게 만들어낼 위험이 있고, 해상도가 매우 높거나 텍스트가 빽빽한 문서 이미지에서는 인식 오류가 발생할 수 있어요. (출처: 한컴테크)
기술적으로는 언어 모델에 비전 인코더가 합쳐지면서 메모리와 연산량이 기하급수적으로 늘어나 배포 비용이 비싸지는 구조적 문제도 있어요. 모델이 실제 복합적인 상황에서 얼마나 신뢰도 있게 작동하는지 측정하는 평가 표준 자체가 아직 초기 단계라는 점도 알아둘 필요가 있습니다.
보안 쪽에서는 입력 이미지에서 위치 정보나 신원 정보 같은 개인정보가 추론될 수 있다는 우려가 꾸준히 나와요. 그래서 완전 온프레미스로 배포하면 데이터가 사내 네트워크를 벗어나지 않아 가장 높은 수준의 보안을 확보할 수 있지만, 그 대가로 GPU를 포함한 서버 사양, 초기 구축 비용, 모델 업데이트를 직접 관리해야 하는 부담을 떠안게 돼요. (출처: AhnLab, blog.windyflo.com)
도입 전 체크리스트 한 줄: "이 작업, 정말 이미지를 직접 봐야 풀리는 문제인가?"
이 질문에 답이 "아니오"라면 굳이 멀티모달 모델을 끌어들일 필요가 없어요.
결국 모델 하나로 끝나는 문제가 아니에요
오픈소스 멀티모달 모델을 실무에 넣는다는 건, 모델 하나 골라서 끼우는 일이 아니라 라이선스·하드웨어·보안까지 한 세트로 검토하는 일이에요.
성능표만 보고 가장 점수 높은 모델을 선택했다가, 막상 EU 라이선스 조항이나 GPU 비용 앞에서 발이 묶이는 경우를 적지 않게 봤어요.
Phi-3.5처럼 가볍게 시작해서 검증한 다음, 필요할 때 Qwen2.5-VL이나 InternVL3 같은 더 무거운 모델로 옮겨가는 단계적 접근이 현실적인 선택지로 보입니다.
기술은 이미 충분히 와 있어요. 남은 건 우리 업무에 맞는 크기와 조건을 고르는 일뿐이에요.
참고: Meta AI Blog, Hugging Face(microsoft/Phi-3.5-vision-instruct), BentoML, Llama 공식 Use Policy