AI 음성 합성 1인 미디어 제작기, ElevenLabs와 HeyGen 립싱크 활용기 (ElevenLabs·HeyGen·LivePortrait·보이스클로닝·AI기본법)
성우 섭외할 돈도 없고, 마이크 앞에서 말하는 것도 부담스러운데 채널은 키워야 한다.
요즘 1인 미디어 제작자들 사이에서 이 고민을 푸는 방식이 거의 똑같아졌다. AI 음성 합성으로 내레이션을 입히고, 거기에 립싱크 기술로 얼굴까지 붙이는 거다.
실제로 ElevenLabs 하나로 3개월 만에 누적 조회수 800만 회, 구독자 6,000명을 모은 채널도 나왔다. 녹음 장비도, 성우도 없이 만든 결과다.
오늘은 ElevenLabs 보이스 클로닝과 HeyGen·LivePortrait 립싱크 기술을 실제로 적용해보면서 느낀 것들을 정리해본다.
ElevenLabs 보이스 클로닝, 1인 미디어 제작의 진입장벽을 낮추다
ElevenLabs는 AI 음성 합성 기술로 1인 미디어 제작 풍경을 바꿔놓은 대표 사례다. 2022년 런던에서 시작한 AI 음성 생성 스타트업이다. 지금은 전 세계 300만 명 이상이 쓰는 플랫폼으로 커졌고, 2026년 2월 기준 기업가치 110억 달러를 인정받아 데카콘 반열에 올랐다.
처음엔 텍스트를 음성으로 바꿔주는 TTS 전문 툴이었다. 그런데 2025년 말부터 이미지·비디오 생성, 대화형 에이전트까지 끌어안으면서 종합 멀티모달 콘텐츠 플랫폼으로 영역을 넓혔다.
음성 복제 기능은 두 단계로 나뉜다. 짧은 샘플 몇 마디로 바로 만드는 인스턴트 클로닝, 그리고 긴 녹음 분량을 학습시켜 훨씬 정교한 디지털 트윈을 만드는 프로페셔널 보이스 클로닝(PVC)이다.
요금제는 무료부터 엔터프라이즈까지 6단계다. 무료 플랜은 월 10,000자, 커스텀 보이스 3개까지 가능하고, 1인 제작자가 많이 쓰는 Creator 플랜은 월 22달러에 10만 크레딧과 프로급 클로닝, 192kbps 음질을 제공한다.
직접 몇 가지 스크립트를 넣고 돌려봤는데, 문장을 너무 길게 쓰면 억양이 뭉개지는 느낌이 있더라. 긴 문장을 짧게 끊고 강조하고 싶은 단어 앞뒤에 쉼을 넣어주면 훨씬 자연스러워진다.
AI 크리에이터 커뮤니티 후기들을 보면, 정보성 스크립트나 스토리텔링 구조를 먼저 텍스트로 짜놓고 그걸 ElevenLabs에 넣어서 음성으로 뽑아내는 분들이 수두룩하다. 한국어 콘텐츠 제작자들 사이에선 Voice Library에서 "Korean"으로 검색해 커뮤니티가 공유한 한국어 특화 보이스를 찾아 쓰는 것도 이미 자리 잡은 루틴이다.
국내에는 네이버 클로바더빙이나 수퍼톤 같은 대안도 있다. 클로바더빙은 한국어 발음과 억양이 자연스럽다는 평가가 많고, 수퍼톤은 성별·연령대별로 감정 표현이 가능한 보이스를 내세운다.
HeyGen 립싱크, 얼굴 없이도 토킹헤드 영상이 나온다
AI 음성 합성만으로는 아직 부족하다. 얼굴이 말하는 영상이 있어야 시청 지속 시간이 늘어난다는 건 1인 미디어를 해본 사람이라면 다 아는 얘기다. 여기서 HeyGen이 등장한다.
HeyGen이 정의하는 AI 립싱크는 아바타의 입 모양을 음성에 자동으로 맞추는 기술이다. AI가 오디오 트랙을 음소 단위로 쪼개고, 이를 실제 입 모양에 매핑한 다음 프레임 단위로 영상과 동기화시킨다. 말이 자연스럽게 들리는 이유가 여기에 있다.
영상 제작 방식은 크게 세 가지다.
- 포토 아바타: 사진 한 장으로 아바타를 만들고 스크립트에 맞춰 입을 움직이는 토킹헤드 영상을 뽑는다.
- 텍스트-투-비디오: 이미지와 스크립트만 넣으면 립싱크와 발화 타이밍, 표현력 있는 음성까지 한 번에 결합된다.
- 비디오 번역: 기존 영상을 175개 이상의 언어로 번역하면서 맥락을 고려한 립싱크와 성별 인식까지 자동으로 처리한다. 원래 화자의 목소리 톤은 그대로 유지된다.
요금제는 무료(워터마크, 월 3개 영상)부터 시작해서 Creator, Pro, Business, Enterprise로 나뉜다. Creator 플랜은 자료마다 가격과 크레딧 수치가 조금씩 다르게 나온다. 한쪽에서는 월 29달러에 200크레딧이라 하고, 다른 쪽에서는 월 24달러부터 시작해 600크레딧을 준다고 설명한다. Avatar IV 영상이 분당 20크레딧을 쓴다는 걸 감안하면, 200크레딧으로는 프리미엄 아바타 영상을 10분 정도밖에 못 만든다는 계산이 나온다.
여기서 하나 더. API는 웹 구독과 완전히 별개의 과금 체계다. Creator나 Pro 플랜을 구독해도 API 접근권이 자동으로 따라오지 않는다. 직접 영상 자동화 파이프라인을 짜려는 사람이라면 이 부분에서 한 번 막힐 수 있다.
LivePortrait, 돈 안 들이고 립싱크를 돌리는 방법
HeyGen이 구독형 서비스라면, LivePortrait는 완전히 다른 길이다. 중국 콰이쇼우(Kuaishou)의 KwaiVGI 팀이 공개한 오픈소스 초상화 비디오 생성 프레임워크다.
정지된 사진 한 장을 외형 참고로 쓰고, 별도의 구동 비디오나 오디오, 텍스트, 생성된 모션으로부터 생동감 있는 영상을 합성한다. 최근 유행하는 디퓨전 방식이 아니라 암시적 키포인트 기반 프레임워크를 써서 계산 효율과 제어력의 균형을 맞췄다는 게 논문에서 밝힌 핵심이다.
약 6,900만 개의 고품질 프레임으로 학습 데이터를 확장했고, 스티칭 모듈과 두 개의 리타겟팅 모듈을 더해 제어 가능성을 높였다. 성능도 인상적이다. RTX 4090 GPU 기준 프레임당 12.8밀리초 생성 속도가 나온다. 기존 디퓨전 모델보다 훨씬 빠르고, 거의 실시간에 가까운 수준이다.
라이선스는 MIT 계열로 완전히 무료다. 콰이쇼우/KwaiVGI 표기를 권장하는 수준에서 상업적으로도 쓸 수 있다. 다만 산업 보도 기준으로는 도우인, 위챗 채널스 같은 주요 플랫폼과 다수의 스타트업이 이미 채택했다는 얘기가 돌지만, 이 부분은 원 논문에 직접 명시된 내용은 아니라는 점도 같이 알아둘 필요가 있다.
직접 로컬에 설치해서 돌려보니 결과물 자체는 꽤 그럴듯했다. 다만 GPU 환경을 갖춰야 하고 설치 과정이 손이 좀 가는 편이라, 진입장벽은 HeyGen보다 확실히 높다고 느꼈다. 빠르게 결과물을 뽑고 싶으면 HeyGen, 비용 없이 직접 만져보고 싶으면 LivePortrait 쪽이 맞는 선택 같다.
AI 생성물 표시 의무, 모르고 넘기면 채널이 흔들린다
기술이 좋아진 만큼 표시 의무도 같이 따라왔다. 한국은 2026년 1월 22일 AI 기본법을 전면 시행했다. AI 규제법을 전면 시행한 세계 최초 국가라는 점에서 의미가 있다.
이 법에 따르면 생성형 AI로 만든 결과물에는 워터마크 같은 표시 의무가 부여된다. 특히 실제 사진·영상처럼 보일 수 있는 딥페이크 결과물은 일반 이용자가 한눈에 알아볼 수 있을 정도로 AI 생성물임을 명확히 표시해야 한다. 다행히 직접 규제 대상은 AI 모델을 개발·서비스하는 기업이고, 유튜브를 시청하거나 ChatGPT를 쓰는 일반 소비자는 규제 대상이 아니다. 법 시행 후 최소 1년은 위반해도 과태료 없이 시정명령 위주로 계도한다.
유튜브 쪽 정책은 이미 한발 앞서 움직였다. 2024년 3월 18일부터 AI로 만든 콘텐츠는 생성·합성 여부를 표시해야 했고, 2025년 5월 27일부터는 크리에이터가 표기하지 않아도 시스템이 자동으로 감지해 라벨을 붙이는 기능까지 들어갔다. 일반 영상은 플레이어 바로 아래에, 쇼츠는 영상 위에 오버레이로 라벨이 노출된다. 다행히 라벨이 붙어도 추천 노출이나 수익 창출 자격에는 영향을 주지 않는다고 안내하고 있다.
문제는 따로 있다. 같은 기술이 보이스피싱에도 그대로 쓰인다는 거다. 2023년 부산에서는 "딸이 잡혀갔다"는 전화를 받은 60대 여성이 AI 딥보이스에 속아 2,000만 원을 송금한 사건이 있었다. 해외에서는 홍콩 다국적기업이 합성된 영상통화에 속아 약 340억 원을 송금한 사례, 영국 에너지 회사가 복제된 CEO 음성에 속아 24만 달러를 보낸 사례도 보고됐다. 미국 FTC 집계로는 2023년 한 해 AI 음성 사기 피해 신고가 85만 건, 피해액은 20억 달러를 넘었다.
기술 자체는 죄가 없는데, 같은 도구가 콘텐츠 제작과 사기 양쪽에 다 쓰인다는 게 솔직히 묘하게 느껴진다.
결국 도구보다 표시 의무를 먼저 챙기는 게 맞는 이유
AI 음성 합성과 립싱크 영상 기술이 만든 시장은 이미 숫자로 증명되고 있다. AI 비디오 생성기 시장은 2026년 2분기 기준 96억 8천만 달러 규모로 집계됐다. 국내 1인 미디어 창작자 시장도 2022년 기준 연간 총수입이 처음으로 1조 원을 넘었고, 수입을 신고한 사업자 수는 2019년 대비 12배 이상 늘었다.
숫자만 보면 지금이 뛰어들 때가 맞다. ElevenLabs로 목소리를 만들고 HeyGen이나 LivePortrait로 얼굴을 붙이는 조합은, 예전 같으면 스튜디오 단위로 했어야 할 작업을 혼자서도 끝낼 수 있게 만들어줬다.
다만 개인적으로는 도구 선택보다 표시 의무를 먼저 챙기는 쪽을 권하고 싶다. AI 기본법과 유튜브 라벨링 정책이 이미 같은 방향을 보고 있다.
기술은 계속 좋아질 거다. 그런데 신뢰를 잃은 채널은 좋아진 기술로도 복구가 안 된다.