시각 효과

시각 효과는 카메라로 찍을 수 없는 장면을 컴퓨터로 만들어 영상에 넣습니다. 하늘을 나는 용처럼 세상에 없는 것도 화면에서는 진짜처럼 보이게 합니다. 촬영이 끝난 뒤 찍은 영상 위에 컴퓨터 그림을 겹쳐 한 장면으로 만드는 것이 기본 방식입니다.

쉽고 빠른 이해

영화 속 장면 가운데 찍지 못한 부분을 컴퓨터로 그려 채우는 일입니다. 배우가 초록색 천 앞에서 연기하면, 나중에 그 천을 지우고 컴퓨터로 만든 도시를 넣습니다.

이게 없으면 위험하거나 불가능한 장면을 직접 만들어야 합니다. 건물을 진짜로 무너뜨릴 수는 없고, 없는 생물은 찍을 수조차 없습니다.

어떻게 도나:

1. 배우와 세트를 먼저 찍습니다
2. 찍은 영상을 보고 카메라가 어떻게 움직였는지 알아냅니다
3. 같은 움직임의 가상 카메라로 컴퓨터 그림을 그립니다
4. 찍은 영상과 컴퓨터 그림을 겹쳐 한 장면으로 만듭니다

대가는 시간과 계산입니다. 그림 한 장을 그리는 데 오래 걸려서 컴퓨터 여러 대가 나눠 그립니다. 무엇을 나중에 넣을지는 촬영 전부터 계획해 둬야 합니다.

그래서 안전하게 진짜로 찍을 수 있는 것은 그냥 찍는 편이 낫습니다. 빛과 그림자를 따로 맞출 일이 없기 때문입니다. 위험하거나 세상에 없는 것만 컴퓨터로 넘깁니다.

상세

단체 사진에 못 온 친구를 나중에 오려 붙인다고 생각해 봅니다. 붙일 사진의 밝기와 얼굴 방향을 맞추면 그 친구가 그날 함께 있었던 것처럼 보입니다. 보는 사람은 어디를 붙였는지 알아채지 못합니다.

시각 효과는 촬영한 영상에 컴퓨터로 만든 그림을 더하거나, 영상 속 무언가를 지우고 바꾸는 일입니다. 영어 Visual Effects 를 줄여 VFX 라고 부릅니다. 이때 컴퓨터로 만든 그림을 CGI(Computer-Generated Imagery, 컴퓨터 생성 이미지)라고 합니다.

예를 들어 배우가 빈 스튜디오 바닥에 서서 절벽 끝에 선 연기를 합니다. 완성된 영상에서는 배우 뒤로 깎아지른 절벽과 바다가 펼쳐집니다. 절벽과 바다는 컴퓨터가 그렸습니다. 배우만 진짜입니다.

더하는 쪽만 있는 것은 아닙니다. 배우를 매단 줄이나 화면에 걸린 전선을 지우는 것도 시각 효과입니다. 관객이 끝까지 알아채지 못하는 작업도 많습니다.

특수 효과와 가르는 기준

촬영장에서 진짜로 일으키는 효과는 특수 효과라고 따로 부릅니다. 화약을 터뜨리거나 살수차로 비를 뿌리는 것이 그렇습니다. 영어 Special Effects 를 줄여 SFX 라고 씁니다.

둘을 가르는 기준은 언제, 어디서 만드느냐입니다. 아래 표가 그 차이를 모읍니다.

한 장면에 둘이 함께 쓰이는 일도 흔합니다. 작은 폭발을 진짜로 터뜨려 찍고, 그 위에 컴퓨터로 만든 파편을 더하는 식입니다.

어느 쪽을 고를지는 대개 안전과 비용이 정합니다. 안전하게 일으킬 수 있는 것은 진짜로 찍으면 빛과 그림자를 따로 맞출 일이 없습니다. 위험하거나 세상에 없는 것은 시각 효과로 넘어갑니다.

찍지 않고 그리는 이유

시각 효과를 쓰는 까닭은 크게 넷입니다.

첫째는 안전입니다. 불길 속을 달리거나 높은 곳에서 떨어지는 장면을 진짜로 찍으면 사람이 다칩니다. 배우는 안전한 곳에서 연기합니다. 위험한 부분만 그림으로 채웁니다.

둘째는 세상에 없는 것입니다. 상상 속 생물이나 먼 행성은 카메라 앞에 세울 수가 없습니다. 오래전에 사라진 거리도 마찬가지입니다.

셋째는 비용입니다. 경기장을 가득 채운 관중을 전부 부르는 대신 몇십 명만 찍습니다. 그 사람들을 여러 번 복사해 관중석에 퍼뜨립니다.

넷째는 고치기입니다. 찍은 뒤에 발견한 흠을 다시 찍지 않고 지웁니다. 하늘을 지나간 비행기나 옛 시대 장면에 비친 요즘 간판이 그런 흠입니다.

한 장면이 거치는 단계

시각 효과 한 장면은 여러 사람이 단계를 나눠 맡아 만듭니다. 이 소절은 배우가 초록색 천 앞에서 찍은 장면 하나가 완성될 때까지를 차례로 따라갑니다.

영상은 정지 그림 여러 장을 빠르게 넘겨 보여 줍니다. 그 한 장 한 장을 프레임이라고 부릅니다. 아래 단계는 전부 이 프레임 단위로 일합니다.

flowchart TD
    A["촬영 · 초록색 천 앞에서 연기"] --> B["카메라 추적 · 카메라 움직임 되짚기"]
    B --> C["3차원 제작 · 모델과 움직임 만들기"]
    C --> D["렌더링 · 컴퓨터 그림 그리기"]
    D --> E["합성 · 찍은 영상과 겹치기"]
    A -->|찍은 영상| E
    E --> F["완성 장면"]

그림에서 찍은 영상은 두 번 쓰입니다. 한 번은 카메라 움직임을 알아내는 데, 또 한 번은 마지막에 컴퓨터 그림과 겹치는 데 쓰입니다.

촬영. 배우는 흔히 초록색이나 파란색 천 앞에서 연기합니다. 이 천을 그린 스크린이라고 부릅니다. 사람 피부나 옷에 잘 없는 색이라서 나중에 그 색만 골라 지우기 쉽습니다.

이렇게 특정한 색 하나를 골라 투명하게 빼내는 기법을 크로마 키라고 합니다. 날씨 예보에서 기상 캐스터 뒤에 지도가 보이는 것도 같은 기법입니다.

카메라 추적. 다음은 촬영 때 카메라가 어떻게 움직였는지 알아내는 일입니다. 컴퓨터 그림은 컴퓨터 안에 놓은 가상 카메라의 눈으로 그립니다. 촬영 카메라가 걸어가며 찍었다면 이 가상 카메라도 똑같이 걸어가야 합니다. 그래야 배경이 배우와 따로 놀지 않습니다.

방법은 거꾸로 계산하는 것입니다. 영상 속 점 여러 개가 프레임마다 어떻게 옮겨 가는지를 봅니다. 그 옮겨 간 모양에서 카메라의 위치와 방향을 풀어냅니다. 계산이 잘 되도록 초록색 천에 작은 표시를 붙여 두기도 합니다.

매치무브는 이렇게 카메라 움직임을 되짚는 일을 가리키는 이름입니다. 사진 여러 장에서 3차원 모양을 되살리는 3D 재현도 같은 계산을 씁니다.

3차원 제작. 가상 카메라가 준비되면 화면에 넣을 물체를 만듭니다. 물체의 겉모양을 점과 면으로 빚는 일을 3D 모델링이라고 합니다.

진짜 건물이나 소품을 여러 각도에서 찍어 모델을 되살리기도 합니다. 이 방법을 사진 측량이라고 부릅니다. 카메라 추적과 같은 원리라서 같은 계산 도구를 함께 씁니다.

움직이는 생물이라면 한 단계가 더 붙습니다. 모델 안에 뼈대를 심어 뼈대가 움직이면 몸 전체가 따라오게 합니다. 리깅은 이렇게 뼈대를 심는 일입니다.

뼈대를 심었으면 이제 움직일 차례입니다. 그 뼈대를 시간에 따라 조금씩 움직여 동작을 만드는 일이 애니메이션입니다. 프레임마다 뼈대 자세가 달라지면서 생물이 걷고 뛰는 것처럼 보입니다.

렌더링. 모델과 움직임이 정해지면 가상 카메라 눈에 보이는 장면을 그림으로 그립니다. 이 일을 렌더링이라고 합니다. 빛이 물체에 닿아 튀고 스며드는 모습을 계산해야 진짜처럼 보입니다.

게임은 1초에 수십 장을 그 순간에 그려야 해서 계산을 아낍니다. 시각 효과는 관객이 볼 때 다시 그릴 필요가 없습니다. 그래서 한 장에 오래 걸려도 됩니다.

오프라인 렌더링은 이렇게 미리 시간을 들여 그려 두는 방식입니다. 게임처럼 화면에 띄우는 그 순간 그리는 방식과 정반대입니다.

시간을 넉넉히 쓰니 계산이 많이 드는 방법도 아끼지 않습니다. 광선 추적이 대표입니다. 빛이 물체 사이를 여러 번 튀는 경로를 하나하나 따라가며 그립니다. 그만큼 그림자와 반사가 진짜에 가까워집니다.

합성. 마지막 단계인 합성은 그림을 아래부터 겹겹이 쌓아 한 장으로 누르는 일입니다. 먼저 찍은 영상에서 초록색 천을 빼냅니다. 그 빈 곳 뒤에 렌더링한 배경을 깝니다. 그 위에 연기나 불꽃 그림을 한 겹 더 얹습니다.

겹을 쌓으려면 그림마다 어디가 비치고 어디가 가리는지를 알아야 합니다. 그래서 픽셀마다 색과 함께 투명도 값을 하나 더 둡니다. 알파 채널은 이 값을 담는 칸입니다.

컴퓨터 그림의 밝기와 색을 찍은 영상에 맞추는 일도 이 단계에서 합니다. 빛의 방향이 다르거나 색이 튀면 관객은 이유를 몰라도 어색함을 느낍니다. 앞의 사진 오려 붙이기에서 밝기를 맞추던 일이 이것입니다.

렌더링을 나눠 돌리는 렌더 팜

렌더링은 한 장에 오래 걸리고 장수도 많습니다. 4초짜리 장면 하나만 해도 1초에 24장씩이면 프레임이 96장입니다. 컴퓨터 한 대로는 끝이 안 납니다.

그래서 여러 대의 컴퓨터를 묶어 프레임을 나눠 그립니다. 렌더링만 하려고 모아 둔 이 컴퓨터 무리를 렌더 팜이라고 부릅니다.

프레임은 대개 앞 프레임의 결과를 기다리지 않아도 됩니다. 그래서 일감을 프레임 단위로 잘라 작업 큐에 넣습니다. 놀고 있는 컴퓨터가 하나씩 꺼내 그립니다. 실패한 프레임만 다시 돌립니다.

큰 일을 독립된 조각으로 쪼개 여러 일꾼에게 나눠 주는 배치 처리와 같은 구조입니다. 조각끼리 서로 기다리지 않으니 컴퓨터를 늘릴수록 빨리 끝납니다.

게임에서 말하는 시각 효과

게임 개발에서도 시각 효과라는 말을 씁니다. 뜻은 조금 좁습니다. 칼을 휘두를 때의 빛줄기나 마법 불꽃처럼 캐릭터와 배경 위에 덧그리는 짧은 효과를 가리킵니다. 줄여서 이펙트라고도 부릅니다.

이런 효과는 작은 점이나 조각 수백 개를 한꺼번에 띄워 움직이는 방식으로 많이 만듭니다. 이 방식을 파티클 시스템이라고 합니다.

영화와 달리 게임은 매 프레임을 화면에 띄우는 그 순간에 그려야 합니다. 이런 방식이 실시간 렌더링입니다. 그래서 게임의 시각 효과는 진짜 같음보다 계산을 아끼는 쪽에 무게를 둡니다.

시각 효과의 대가

첫째 대가는 시간과 계산입니다. 렌더링이 오래 걸리니 고칠 거리가 생기면 다시 그리는 데 또 시간이 듭니다. 렌더 팜을 굴리는 컴퓨터와 전기도 적지 않게 듭니다.

둘째 대가는 계획을 앞당겨야 한다는 점입니다. 나중에 무엇을 넣을지 모르고 찍으면 카메라 추적에 쓸 표시가 없거나 조명 방향이 어긋납니다. 그래서 시각 효과가 들어갈 장면은 촬영 전부터 담당자가 함께 계획합니다.

관련 항목

시각 효과 한 장면이 거치는 처리 단계

그린 스크린 · 크로마 키 · 매치무브 · 3D 모델링 · 리깅 · 애니메이션 · 렌더링 · 합성 · 색 보정

시각 효과가 기대는 그래픽스 기술

오프라인 렌더링 · 광선 추적 · 전역 조명 · 물리 기반 셰이딩 · 알파 채널 · 스켈레탈 애니메이션 · 카메라 · RenderMan

카메라 추적과 같은 원리를 쓰는 비전 기술

3D 재현 · 사진 측량 · 카메라 캘리브레이션 · 컴퓨터 비전 · 특징 검출기 · 모션 캡처

렌더링 일감을 나눠 돌리는 수단

렌더 팜 · 작업 큐 · 배치 처리 · GPU · 병렬성 · 객체 저장소

시각 효과와 헷갈리는 이웃

특수 효과 · CGI · 파티클 시스템 · 실시간 렌더링 · 모션 그래픽스

시각 효과가 쓰이는 분야

그래픽스 · 게임 개발 · 가상 현실 · 증강 현실 · 애니메이션 영화