문장 300개 말하면, 나랑 똑같은 가상인단 만든다

문장 300개 말한뒤 일주일... 나랑 똑같은 가상인간 탄생했다

조유미 기자

입력 2021.12.19 20:32

가상 인간, 어떻게 만들어지나

지난 15일 오후 서울 강남구에 있는 인공지능(AI) 가상 인간 스타트업 딥브레인AI 스튜디오. 20㎡(6평) 규모 녹화실 안에서 “안녕하세요, 제 이름은 OOO입니다.” “식사는 맛있게 하셨어요?” 같은 목소리가 흘러나왔다. 배경 합성용 스크린(크로마키) 앞에 선 한 남성이 2~3초 간격으로 프롬프터에 뜨는 문장을 읽고 있었다. 그 모습을 맞은편 카메라 1대가 촬영했다. 자신과 똑같은 목소리와 모습을 가진 ‘가상 인간’을 만드는 과정이었다. 줄무늬 티셔츠 차림이던 남성은 1시간 뒤에는 정장으로 갈아입고, 같은 과정을 반복했다.

누구나 자신과 똑 닮은 모습의 가상 인간을 만들 수 있는 ‘가상 인간 2.0′ 시대가 성큼 다가오고 있다. AI(인공지능)가 사람의 목소리 톤 변화는 물론 눈·입 주변 근육 수백 개의 움직임까지 세세하게 분석해 구현하는 것이다. 딥브레인 AI 장세영 대표는 “기술 발전으로 작년까지만 해도 수백 시간에 걸쳐 1만여 개 문장을 녹음해야 목소리를 구현할 수 있었는데 지금은 300~400개 문장만 녹음해도 충분하다”며 “앞으로는 스튜디오 촬영 없이 집에서 30여 분 녹화하는 것만으로도 자신과 똑같은 모습의 가상 인간을 만들 수 있는 기술을 개발할 예정”이라고 했다.

15일 오후 인공지능(AI) 가상 인간 스타트업‘딥브레인AI’스튜디오에서 한 남성이 자신의 행동과 목소리를 빼닮은 가상 인간을 만들기 위한 촬영 작업을 하고 있다. /고운호 기자

◇잡음 제거하고 발음 받아 치고… 일주일 만에 가상 인간 뚝딱

2016년 창업한 딥브레인AI는 가상 인간 제작 기술 관련 국내 대표 스타트업이다. 누구나 가상 인간을 이용해 영상을 만들 수 있는 ‘AI스튜디오스’란 플랫폼을 개발, 내년 1월 열리는 세계 최대 IT 전시회 ‘CES 2022′ 스트리밍 부문 혁신상을 받았다. 윤석열 국민의힘 대선 후보도 이 회사에서 ‘AI 윤석열’을 만들었다. 이 같은 기술력을 바탕으로 최근 2000억원의 기업 가치를 인정받아 500억원의 추가 투자를 유치했다.

이 회사가 가상 인간을 하나 만드는 데 걸리는 시간은 단 일주일. 스튜디오에서 녹화한 영상을 바탕으로 음성을 추출하고 거친 숨소리나 코 훌쩍이는 소리, 헛기침 등 불필요한 대목은 잘라낸다. 이 잡음 제거 과정에 40여 명의 직원이 투입된다. 이후 개개인 특유의 발음을 살리는 과정에 착수한다. 기술진이 다시 한번 사람의 음성을 들으며 문장을 새로 받아친다. 예를 들어, 똑같은 단어를 말하더라도 사람마다 ‘선생님’을 ‘슨생님’으로, ‘컴퓨터’를 ‘콤퓨타’ ‘컴푸타’로 읽는 특징을 그대로 구현하는 과정이다. 회사 측은 “자체 개발한 음성·영상 합성 딥러닝 프로그램에 데이터를 입력하면 일주일 만에 가상 인간 1명이 만들어진다”고 했다.

 

◇메타버스 속 아바타, 가상 인간이 대체

가상 인간 제작 기술·시장은 메타버스(3차원 가상 세계) 시장 확대와 맞물려 급속히 커지고 있다. 네이버 제페토나 미국 로블록스 같은 메타버스 세상에서 나를 대체할, 나와 유사한 가상 인간이 필요하기 때문이다. 최근 가상 인간 관련 스타트업에는 수백억원의 뭉칫돈이 몰리고 있다. 가상 인간 개발사인 온마인드도 잇따라 투자를 유치, 카카오 계열 모바일 게임사 넵튠과 투자 전문 회사인 SK스퀘어가 각각 지분 40%를 보유하고 있다. 이 밖에도 AI 가상 은행원·기상캐스터를 만든 마인즈랩을 비롯해 라이언로켓, 펄스나인, 디오비스튜디오 등 관련 기술 기업들이 속속 등장하고 있다.

일반인을 위한 가상 인간뿐 아니라 광고 모델, 유튜버로 활동하는 가상 유명인, 이른바 ‘가상 인플루언서(virtual influencer)’ 시장도 커지고 있다. 블룸버그는 지난해 2조4000억원이었던 가상 인간 인플루언서 시장 규모가 2025년 14조원으로 커지며, 실제 인간 인플루언서(13조원) 시장을 넘어설 것으로 전망했다.

1세대 가상 인플루언서로 꼽히는 ‘로지’를 만든 싸이더스스튜디오엑스의 백승엽 대표는 “지금까진 귀여운 캐릭터 아바타를 골라서 쓰는 경우가 많았지만, 40대 이상 연령층의 흥미를 끌지 못해 확장성에 한계가 있었다”며 “메타버스 안에서 실물경제가 돌아가려면 경제력 있는 세대를 끌어들이는 게 핵심”이라고 말했다.