[비바100] 아나운서·작가에 편집까지… 방송도 'AI 천하'

세계적인 미디어학자 마샬 맥루한은 “미디어는 인간의 확장이다”라고 했다. 실제로 미디어는 인간의 오감과 뇌의 영역까지 확장되었다. 인간을 닮은 지능을 지향하는 인공지능이 미디어와 자연스럽게 융합하면서 이제 인공지능은 우리 삶과 일상에 더욱 가깝게 다가오고 있다.
 

한국지능정보사회진흥원이 대발한 재난안전문자 실시간 수어 영상 서비스 장면.

◇ 인공지능과 미래 방송

인공지능은 방송 제작 프로세스를 혁신적으로 바꾸고 있다. 인공지능 PD의 연출에 따라 인공지능 사회자가 인공지능이 작성한 방송 시나리오 대본으로 인공지능 연예인 출연자와 인터뷰한다. 인공지능이 장착된 방송 카메라와 인공지능 조명, 그리고 인공지능 영상 편집기외 송출기가 최적의 결과물을 제작해 다수의 플랫폼과 디바이스에 적합하게 변환시켜 송출한다. 멀지 않은 미래에 구현될 방송 제작 시스템의 모습이다.

방송은 아날로그에서 디지털 영역으로 넘어왔고 이제 인공지능의 다양한 기술이 접목되어 변화하고 있다. 촬영 카메라와 조명, 분장, 방송 세트장, 영상 편집, 방송 송출 시스템 등 모든 영역이 급속도로 디지털 인공지능화되고 있다. 인공지능 기술이 방송의 전 영역에 접목되는 시점이 시작된 것이다. 게다가 인간만의 고유 영역이라 여겨왔던 시나리오 대본 작성이나 방송 출연자, 편집 연출 분야에도 인공지능이 접목되면서 새로운 방송 제작 환경이 만들어지고 있다. 

MBN의 김주하 앵커와 인공지능 김주하 앵커.

MBN은 2020년 9월 21일부터 하루 2회 이상 MBN 인터넷을 통해 종합뉴스 예고부터 당일 주요 뉴스 소식까지 김주하 AI 앵커를 내보내고 있다. 딥러닝 기반의 실시간 영상 합성 기술로 실제 인물과 동일하게 표현하는 AI 인물 영상을 제작한 것이다. 실제 앵커 말의 뉘앙스나 제스처, 표정에서 별 차이를 느끼지 못한다. 덕분에 기존의 영상 수준을 유지하면서도 촬영 시간과 인원, 비용이 대폭 절약되었다. YTN 플러스나 KBS를 비롯해 대부분의 방송사들도 AI 앵커·아나운서 서비스를 진행 중이다.

해외에서도 인공지능이 출연하는 방송이 늘고 있다. 중국은 2018년에 세계 최초로 인공지능 아나운서가 WIC 인터넷대회 방송에 등장해 화제를 모았다. 2019년엔 중국 최대 방송 프로그램인 CCTV 춘절 방송 축제에 인공지능 MC가 등장했다. 이후에도 중국은 인공지능 가수, 인공지능 앵커 등 다양한 영역으로 AI 방송 출연자의 폭이 확대되고 있다. 미국과 영국, 일본에서도 인공지능 방송 출연자가 선을 보였다.

방송의 뼈대가 되는 시나리오를 작성하는 인공지능도 등장해 화제다. 인공지능이 대본을 쓰고 콘텐츠를 제작할 수도 있다. 영화감독 오스카 샤프와 인공지능 연구자 로스 굿윈이 공동 개발한 인공지능 시나리오 작가 ‘벤자민(Benjamin)’이 대표적이다. AI 벤자민이 2016년에 최초로 쓴 ‘시나리오 선스프링(Sunspring)’이 단편 영화로 제작되어 방송되기도 했다.

방송 제작 시스템에도 AI 머신러닝 기술들이 접목되어 콘텐츠 제작부터 개인 맞춤형 콘텐츠 생성까지 널리 활용되고 있다. 영국의 BBC는 ‘인공지능 미디어 프로덕션(AI in Media Production)’으로 AI 자동 편집 모델 ‘에드(Ed)’를 활용 중이다. 광각 촬영된 고해상도 이미지에서 적합한 카메라 앵글을 찾아 자동화된 최적의 샷 프레임 추출과 샷 선택으로 영상을 편집한다. 시청자들은 이전보다 훨씬 깨끗한 화질의 영상과 음성을 감상할 수 있다.
 

인공지능 ‘벤자민’이 시나리오를 써 영화화한 <선스프링>의 한 장면.

◇ 방송 제작을 바꾸는 인공지능 기술들

인공지능기술은 거의 모든 방송제작 영역에 영향을 미친다. 방송에 접목되고 있는 인공지능 기술 가운데는 크게 보아 인공지능 머신러닝을 통한 방송 시나리오 창작 기술, 인공지능 음성 인식·음성 합성 기술, 인공지능 이미지 인식 기술, 그리고 인공지능 영상 편집·복원 기술 등이 있다.

AI 머신러닝을 통한 방송 시나리오 창작 기술의 대표격은 ‘AI 벤자민(AI Benjamin)’이다. 영화학교 출신의 오스카 샤프(Oscar Sharp)와 인공지능 자연어 처리와 신경망을 연구한 로스 굿윈(Ross Goodwin) 뉴욕대 동창생들이 함께 의기투합해 개발했다. 이들은 AI 벤자민이 머신러닝 알고리즘으로 시나리오 작업을 학습하도록 스타 트렉, 2001 스페이스 오디세이, 엑스파일 등 수많은 유명 영화의 시나리오를 제공했다. 덕분에 2016년 세계 최초로 9분 분량의 인공지능 SF 영화 시나리오 ‘선스프링’의 시나리오가 완성됐고 이후 더욱 완성도를 높여 ‘It’s No Game‘ 이라는 단편 SF 영화 시나리오도 제작했다.

AI 벤자민은 개발자가 수만 개로 분류된 스토리를 입력하면 이를 단어 단위로 분해한 뒤 어떤 단어나 절들이 서로 함께 어울려 등장하는지를 분석한다. 시나리오를 각각 다른 인공지능 신경망(Neural Network)으로 개별 문단, 문단 간 조화, 전체 맥락 등 3가지 측면에서 분석하고 그 패턴을 학습하는 작업을 반복하면서 시나리오 구조와 시나리오 작법을 익힌다. 벤자민은 스스로 시나리오를 작성하고 또한 평가하는 작업을 반복하면서 점차 수준 높은 시나리오를 작성하게 된다.

2020년에는 미국 채프먼대학교(Chapman University) 4학년 학생 두 명이 개방형 딥러닝 인공지능 GPT-3를 활용해 시나리오 대본을 작성해 영화 ‘방문판매원(Solicitors)’을 제작하기도 했다. 인공지능이 만들어 낸 시나리오에는 대사는 물론 배우에게 전달할 무대 지시, 영화에 사용할 노래의 가사까지 포함되기도 한다. 인공지능 시나리오 작가를 통해 방송 제작에 필요한 새로운 시나리오 발상이나 기존 시나리오의 완성도를 높이는 데 도움을 받을 수 있게 된 것이다. 

SBS의 인공지능 방송 시스템 개요도.

다음은 인공지능 음성 인식·음성 합성 기술이다. 사람과 구별하기 힘들 만큼 유사한 인공 음성을 만들어 내는 자연어 처리 기술(NLP: Natural Language Processing)과 딥러닝 언어 기술, 사람이 말하는 음성 및 오디오를 인공지능이 실시간 해석하여 문자로 전환하는 음성 텍스트 변환 기술(STT: Speech to Text)이 대표적이다. 다양한 언어의 텍스트를 원하는 사람의 목소리로 변환하는 텍스트 음성 변환 기술(TTS: Text to Speech)을 탑재해 AI 아나운서, AI 사회자, AI 가수 등 AI 방송 출연자를 통해 재난방송 및 쇼 방송 등을 만드는 데 활용될 수 있다.

인공지능 이미지 인식 기술은 동영상이나 이미지 사진 자료에서 특정 객체를 식별하고 장면을 이해하는 기술이다. 특정 사물을 분류(Classification)하고, 사물을 동시에 검출(Detection)하고, 픽셀(Pixel) 단위로 식별해 분할(Segmentation)하는 세 가지 태스크가 존재한다. SBS의 인공지능 방송 클립 영상 제작 송출 시스템은 방송 하이라이트 클립 영상을 딥러닝 기반으로 인물 또는 객체 인식 기술을 수행해 자동 제작 송출함으로써 제작 비용과 시간을 획기적으로 낮추면서도 안정적인 품질을 확보했다.

마지막으로, 인공지능 영상 편집·복원 기술은 방송 영상의 완성도를 높이는데 결정적 역할을 한다. IBM의 왓슨은 동시에 18경기가 진행된 US 오픈의 하이라이트 영상으로 히트를 쳤다. 멋진 득점 장면, 군중의 환호, 테니스 선수의 움직임과 표정 등으로 경기 주요 장면을 극적으로 편집해 순식간에 고품질의 하이라이트 영상을 스스로 만들어 냈다. 하이라이트 영상을 편집하면서 동시에 자동으로 메타 데이터화해 AI가 방송 영상 콘텐츠의 활용가능성을 비약적으로 높이는 데도 기여하게 되었다. 

인공지능 영상 복원 기술은 좋지 못한 화질을 깨끗하게 개선하거나 과거 흑백 영상을 컬러로 복원해 방송 콘텐츠로 만들 수 있게 해 준다. 인공지능 딥러닝 기술인 초기 초해상화(Super Resolution) 기반의 ‘고해상도 기술’과 ‘생성적 적대 신경망 기술(GAN: Generative Adversarial Network)’, ‘얼굴 인식 기술’을 적용해 저해상도 영상과 사진을 고화질로 개선하고 고인의 모습도 복원해 방송 영상으로 활용할 수 있게 된다.

인공지능의 생성적 적대 신경망(GAN) 기술은 영상 복원과 홀로그램기술 및 음성 합성 기술과 결합해 이전의 유명인을 복원시켜 줌으로써 ‘가수 AI 복원’ 방송이 가능케 해 주었다. 음악 전문 채널 Mnet은 ‘AI 프로젝트 다시 한번’ 방송에서 2008년에 작고한 거북이의 리더 터틀맨(임성훈)이 인공지능 기술인 GAN으로 자연스럽게 복원되어 12년 만에 지이, 금비 등 다른 맴버들과 완전체 혼성 그룹 거북이로 무대에 서기도 했다. 가수 신해철, 김현식, 김광석도 복원되어 방송을 통해 공연을 선보였다.

MBC 다큐멘터리 ‘너를 만났다 시즌2’ 방송에서는 GAN 기술에 모션 캡처와 VR 기술, 보이스 컨버전(Voice Conversion) 기술을 적용해 고인이 되기 전 아내의 모습과 음성을 그대로 구현하여 남편과 다시 만나는 장면을 구현해 감동을 주었다. 2021년에는 SBS도 신년 특집으로 ‘세기의 대결! AI vs 인간’ 첫 편에 가수 김범수의 ‘보고 싶다’를 부르는 김광석을 AI로 구현해 주목을 끌었다.

안종배 국제미래학회 회장·대한민국 인공지능메타버스포럼 공동회장 daniel@cleancontents.org