[비바100] 실감 콘텐츠, AI로 더 실감나게 즐긴다

국립중앙박물관이 AI를 활용한 실감 콘텐츠 기술로 제작한 조선 정조의 화성 행차 기록화 ‘왕의 행차, 백성과 함께하다’ 시연 모습.

‘콘텐츠는 왕이다(Contents is King)’라는 말이 있을 정도로 콘텐츠의 영향력이 갈수록 커지고 있다. 관련 산업 규모도 계속 확대되고 있다. 한국 아이돌 그룹 BTS의 노래가 빌보드 1위에 오르고, 오징어게임이 드라마분야 넷플렉스 세계 1위를 차지하고, 한국 동요 ‘아기상어 댄스’ 영상이 70억 회 넘은 유튜브 조회 수를 기록하며, 상상도 못했던 일들이 현실이 되고 있다. 개인화된 미디어를 타고 시공과 세대를 초월한 콘텐츠가 양산되며 세상을 움직이고 있다. 이런 콘텐츠 분야에도 인공지능과 메타버스가 접목되면서 또 다른 세상이 만들어지고 있다.
 

영화 ‘아바타’는 3D영화의 본격 시작을 알리며 영화 콘텐츠의 새로운 지평을 열었다는 평가를 듣는다.

◇AI가 바꾸는 VR·AR·MR·홀로그램… 실감 영상으로 메타버스 구현

3D 영화 ‘아바타’를 시작으로 디지털과 현실 구분이 힘들 정도로 실감나는 콘텐츠 제작 및 재생 기술이 발전하고 인공지능 기술까지 접목되면서 우리의 오감(五感)과 감성을 만족시키는 체감·체험적 메타버스 실감 콘텐츠가 확산되고 있다. 가상현실(VR)과 증강현실(AR), 혼합현실(MR), 홀로그램이 발전하며 현존감과 현장감, 상호 작용감 및 몰입감을 높여 주고 있다.

가상현실(Virtual Reality)은 어떤 특정 환경이나 상황을 컴퓨터로 가상화해 사람의 실세계를 몰입감 있게 대체 경험하게 해 준다. 증강현실(Augmented Reality)은 가상의 콘텐츠가 실제로 존재하는 것처럼 실제 화면에 보여주어 현실감 있는 경험을 선사한다. 혼합현실(Mixed Reality)은 VR의 몰입감과 AR의 현실감을 살려 가상 객체가 현장에 있는 것처럼 시각화하고 가상 정보를 제공해 직관적인 경험을 제공한다. VR, AR, MR 모두 이를 구현하기 위한 HMD(Head Mounted Display)나 스마트폰, 홀로렌즈 같은 별도의 사용자 디바이스가 필요하다. 

홀로그램을 비롯한 새로은 기술들은 차원이 다른 입체 영상을 가능케 함으로써 메타버스 초실감 사회를 더욱 앞당기고 있다.

반면 홀로그램(Hologram)은 별도의 사용자 디바이스 없이 사물이 가지는 모든 빛에 대한 정보를 홀로그래피 원리를 통해 실제와 같은 자연스러운 입체 영상으로 재현한다. 사용자에게 깊이감과 실제와 같은 입체감, 그리고 자연스러운 움직임을 영상으로 제공하는 실감 콘텐츠 궁극의 기술로, ‘메타버스 초실감 사회’를 구현한다.

가상현실과 증강현실, 혼합현실, 홀로그램으로 사실감, 현장감 및 몰입감을 제공하는 메타버스 실감 콘텐츠는 인공지능 알고리즘과 결합해 더욱 고도화되면서 영화와 영상, 방송, 광고, 게임 및 제조, 의료, 국방, 주거, 여가, 교육, 회의, 업무 활동 등 생활 전반에서 활용될 전망이다.


◇AI가 바꾸는 첨단 영상 콘텐츠로 메타버스 강화

첨단 영상 콘텐츠는 첨단 컴퓨터그래픽(CG), 실시간 렌더링, 컴퓨터 비전, 360도 다면 영상, 플렌옵틱 영상 등에 AI 알고리즘이 접목되어 더욱 몰입형 경험을 제공하고 사실감과 현장감을 높여 메타버스를 강화시켜 준다. 첨단 컴퓨터그래픽은 영상의 디지털화 및 3D로 재구성, AI 영상 합성 및 영상 보정 및 복원 기술과 접목되어 실제 실물과 구분하기 힘든 수준의 극사실적 영상 콘텐츠로 메타버스가 강화된다.

실시간 렌더링은 컴퓨터그래픽을 사용해 2D 또는 3D 모델에서 사실적 혹은 비사실적 이미지를 자동 생성하는 프로세스다. AI와 접목되어 실사와 자연스럽게 결합하는 고품질 실시간 렌더링이 디바이스에 자동 맞춤형으로 제공된다. 컴퓨터 비전은 입력된 영상에서 다양한 고차원 정보를 인식·분석해 3D로 재구성해 준다. AI와 접목된 센서 기술, 신호 처리 기술, 깊이 추출기술 등으로 야외 환경에서도 깊이를 획득할 수 있다. 사람과 사물의 실제 움직임이나 상세 표정을 더 정확히 구현할 수 있다. 

ETRI가 입체 영상 콘텐츠 플렌옵틱 기술을 활용해 고품질의 영상을 제작하는 모습.

360도 다면 영상은 전용 특수 카메라나 다수의 카메라를 이용해 전 방위 영상을 취득하고 정합해, 사용자가 원하는 시점에서 다양한 디스플레이로 콘텐츠를 시청할 수 있게 해 준다. AI와 접목된 고품질 자동 촬영과 영상 추출로 입체감과 몰입감을 더욱 높일 수 있다. 플렌옵틱(Plenoptic)은 라이트 필드(Light Field)를 기반으로 촬영 시 빛의 모든 방향과 세기를 인식해 공간 정보로 받아들여 실제 물리계와 동일한 시각 경험을 제공하는 촬영과 영상 취득, 편집·가공 기술이다. 인공지능과 접목되어 실제 공간에서 물체들을 극사실적 영상으로 구현하게 해 준다.



◇AI와 메타버스로 오감 체험 콘텐츠

인공지능의 기계학습(machine learning)을 실감 콘텐츠 제작에 활용하면 현실감과 몰입감이 더욱 고도화되고 효율적인 작업이 가능해 진다. 또 인간의 시각 동선과 감정 흐름까지 인지해 더욱 실감나게 영상 콘텐츠가 구현되어 현실같은 메타버스가 실현된다.

AR·MR·VR·홀로그램 등에 자연어 처리 기술이 적용되면 실감 콘텐츠를 사용자가 음성으로 작동할 수 있게 된다. 인공지능 음성 분석으로 사용자의 감정과 의도를 파악해 적합한 영상 콘텐츠를 제공할 수도 있다. 딥러닝을 통한 강화된 자연어 처리 기술이 적용되면 아바타나 가상 개인비서를 통해 실감 콘텐츠와 사람 간에 언어적 상호 작용도 가능하게 된다. 

AI 스피커는 이제 우리 주변에서 생활의 일부분이 되고 있다.

인공지능의 컴퓨터 비전을 실감 콘텐츠 제작에 활용하면 영상 식별과 추적, 매핑 등을 통해 몰입형 경험이 더욱 풍부해 진다. 컴퓨터 비전 기술은 구글 글래스, 마이크로소프트의 홀로렌즈 등에 적용되어 특정 객체를 인식·식별해 사용자에게 관련 정보를 제공해 주고 제스처 및 모션 트래킹을 통해 동작과 미묘한 제스처를 분석해 작동케 한다.

강화된 시선 추적 기술로 시선 추적을 통해 사용자의 감정을 감지해 낼 수도 있다. 매핑 알고리즘은 사용자의 주변 환경을 인식하고 가상의 객체를 실제 공간에 배치하게 해 주기도 한다. 인공지능이 단순한 기계 작동을 넘어 인간의 몸과 공간 및 감정까지 연계한 인간의 지각 시스템과 일치시키는 통합적 사용자 인터페이스(UI/UX)를 구현하게 해 준다.

AI를 활용한 실감 콘텐츠는 사용자가 오감으로 느끼고 몰입적 경험을 체험할 수 있게 해 준다. 인간의 오감과 느낌(feeling), 감성(sensibility)까지 인식하고 분석해 현실과 가상이 접목된 다차원적 메타버스 초실감을 체험하게 만들어 준다. 특히 코로나19로 비대면이 일상화되면서 실감 콘텐츠의 혁신이 앞당겨지며 지금까지 볼 수 없었던 초실감 콘텐츠가 구현되고 있다.



◇AI와 메타버스가 바꾸는 실감 공연 콘텐츠

실감 콘텐츠를 통한 언택트 공연으로 현장 공연 이상의 몰입감을 제공하는 시대가 됐다. 그룹 슈퍼엠(SuperM)은 ‘비욘드 라이브’ 언택트 무대에서 신곡 ‘호랑이’를 발표하면서 실제 호랑이가 등장하는 듯한 역동적인 실감 콘텐츠 공연을 펼쳐 전세계 팬들의 큰 호응을 받았다.

방탄소년단(BTS)도 2020년 ‘방에서 즐기는 방탄소년단 콘서트(방방콘)’, ‘BTS 맵 오브 더 솔 원(BTS MAP OF THE SOUL ONE)’이라는 이름으로 실감 콘텐츠 기술을 접목해 화제를 뿌렸다. 실감 콘텐츠 기술로 4개 대형 무대를 오가며 공연하는 장면과 증강현실(AR), 확장현실(XR), 홀로그램을 도입한 초실감 화질의 비대면 콘서트로 107개국에서 90만명이 유료 관람했다.
 

방탄소년단(BTS)은 지난 2020년에 실감 콘텐츠 기술을 접목한 ‘BTS MAP OF THE SOUL ONE’ 영상으로 큰 화제를 뿌렸다.

2021년 12월 14일 국미 NBC방송 예능 오디션 프로그램 ‘더 보이스’ 최종 결선 무대 축하 공연이 시작되자 BTS 멤버들이 공연을 펼쳤다. BTS 팬들은 함성을 질렀다. 그런데 이 BTS는 홀로그램이었다. 방송국 현장의 콜드플레이 밴드와 BTS의 홀로그램이 실제 현실 같은 메타버스 합동 공연을 구현한 것이다.

뮤지컬과 연주회, 연극 등 다양한 문화 공연도 현장 및 비대면 공히 실감 콘텐츠가 중요한 역할을 담당하게 되었다. AI 기술이 접목되어 고인이 된 예술인도 복원해 콘서트를 열게 해 준다. 세기의 소프라노 마리아 칼라스는 AI 홀로그램으로 부활해 세계 6개국 14개 도시에서 순회 콘서트를 열어 큰 감동을 주었다. 전설적 재즈 가수 빌리 할러데이와 마이클 잭슨, 로이 오비슨도 홀로그램으로 부활해 마니아들에게 큰 감동을 선사했다.



◇ AI가 바꾸는 박물관 전시 메타버스 실감 콘텐츠

실감 콘텐츠는 박물관과 문화 자료 영상화에도 널리 활용된다. 국립중앙박물관은 디지털 실감 파노라마 스크린 영상을 통해 관람객에게 극강의 몰입감을 주었다. 박물관 전시품을 오감으로 느낄 수 있게 디지털 실감 영상관도 운영한다. 영국 대영박물관도 AI가 접목된 VR 기술로 청동기 시대의 집을 복원해 화제를 모았다. 뉴욕 메트로폴리탄 미술관도 중세 수도원을 VR 콘텐츠로 제작해 서비스한다. 영국 브리스톨 박물관은 빙산 위에서 범고래와 펭귄을 만날 수 있는 MR 콘텐츠를 제공하고 있다.

홀로코스트 뮤지엄은 유대인 학살에서 살아남은 사람들을 AI 홀로그램으로 만들어 관람객들과 질의 응답하며 대화하는 실감 콘텐츠를 제공한다. 미국 플로리다의 달리 박물관에서는 초현실주의 화가 달리를 인공지능 홀로그램으로 만들어 관람객들과 대화하며 작가의 삶을 소개한다.

인공지능이 접목된 실감 콘텐츠 기술로 국립중앙박물관은 정선의 ‘신묘년 풍악도첩(辛卯年楓嶽圖帖)’과 조선 후기 금강산 실경산수, 정조의 화성 행차 기록화 ‘왕의 행차, 백성과 함께하다’, ‘요지연도(瑤池宴圖)’, ‘십장생도(十長生圖)’ 등의 문화재를 폭 60m, 높이 5m의 파노라마 스크린에 영상으로 복원해 엄청난 몰입감을 선사하기도 했다.

AI가 접목된 메타버스 실감 콘텐츠는 이제 시공간을 초월해 전 세계인이 함께 소통하며 즐기며 과거와 현재 그리고 미래를 이어 주는 가교 역할을 해 주고 있다.

안종배 국제미래학회 회장·대한민국인공지능메타버스포럼 공동회장 daniel@cleancontents.org