shapepage blog 서비스 바로가기
← 글 목록

서버 없이 브라우저 안에서 사진 배경 지우기

· Team Exit · 13분 읽기

shapepage에는 사진 속 인물이나 물건만 오려내 스티커처럼 쓰는 자동 누끼 기능이 있습니다. 이 기능을 만들면서 가장 먼저 한 고민은 “이 계산을 어디서 할까?”였습니다.

결론부터 말하면, 계산을 사용자의 브라우저 안에서 하기로 했습니다. 이 글은 그 선택의 이유와, 선택한 뒤에 만난 문제들을 어떻게 풀었는지 정리한 기록입니다.

이 글에서 다루는 것

  • 누끼가 컴퓨터 안에서 어떤 원리로 만들어지는지
  • 서버에서 처리할지, 브라우저에서 처리할지 고르는 기준
  • 큰 파일 받기, 화면 멈춤, 메모리 부족 같은 현실적인 문제와 해결 방법
  • 아직 해결하지 못한 것들

1. 누끼는 어떻게 만들어질까?

누끼는 “배경을 지운다”고 말하지만, 컴퓨터 입장에서는 각 픽셀마다 얼마나 남길지 숫자로 정하는 일입니다.

누끼가 만들어지는 과정 선인장 사진 한 장, 그 사진에서 남길 부분을 흰색으로 표시한 흑백 마스크, 마스크를 적용해 배경이 투명해진 결과를 나란히 보여 줍니다. ① 원본 사진 배경이 복잡해요 ② 마스크 흰색은 남기고, 검정은 지워요 ③ 결과 바둑판 무늬 = 투명한 부분
같은 선인장이라도, 어디를 남길지 알려 주는 흑백 그림(마스크) 한 장이 있으면 배경을 지울 수 있습니다.

가운데 흑백 그림을 마스크라고 부릅니다. 흰색이면 그 픽셀을 남기고, 검정이면 지우고, 중간 회색이면 반쯤 남깁니다. 머리카락이나 털 같은 경계가 자연스럽게 보이는 건 이 중간값 덕분입니다.

마스크를 적용해 원래 사진과 새 배경을 섞는 식은 아주 단순합니다.

C=αF+(1−α) BC = \alpha F + (1-\alpha)\,B

FF는 사진(앞), BB는 새로 깔 배경, α\alpha는 마스크 값이고, CC가 화면에 보이는 최종 색입니다. 예를 들어 사진의 밝기가 F=200F=200, 배경이 B=40B=40이고 마스크가 반쯤(α=0.5\alpha=0.5)이면 다음과 같습니다.

C=0.5×200+0.5×40=120C = 0.5 \times 200 + 0.5 \times 40 = 120

그러면 남은 일은 하나입니다. 사진을 보고 마스크를 만들어 주는 것입니다. 이 일을 하는 것이 학습된 모델입니다.

2. 서버에서 할까, 브라우저에서 할까?

모델을 돌릴 곳은 크게 세 가지였습니다.

외부 서비스에 맡기기직접 서버 운영하기브라우저에서 돌리기
사진이 가는 곳외부 회사 서버우리 서버사용자 기기 안에서만 처리
비용 구조쓴 만큼 요금쓰든 안 쓰든 서버 유지비계산 비용은 사용자 기기가 부담
장점만들기 쉽고 품질이 안정적속도와 품질을 직접 조절개인정보 이동이 줄고, 사용자가 늘어도 서버가 안 느려짐
단점사진이 밖으로 나감, 요금 부담운영 부담, 사진을 우리가 받아야 함첫 실행 때 큰 파일 필요, 기기 성능에 좌우됨

우리가 가장 중요하게 본 것은 사용자의 사진이 우리 서버나 다른 회사 서버를 거치지 않는 것이었습니다. 소셜 페이지에는 개인적인 사진이 많이 올라오기 때문입니다. 그래서 세 번째를 골랐습니다.

대신 브라우저 방식에는 분명한 대가가 있습니다. 모델 파일을 사용자가 내려받아야 하고, 오래된 기기에서는 느릴 수 있습니다. 이 글의 나머지는 대부분 그 대가를 줄이려는 노력입니다.

3. 전체 흐름

자동 누끼의 처리 순서 사진 고르기, 크기 줄이기, 모델이 읽는 숫자로 바꾸기, 모델 계산, 마스크 얻기, 투명도로 적용하기의 여섯 단계가 모두 내 기기 안에서 진행됩니다. 모델 파일은 처음 한 번만 외부에서 내려받습니다. 1 사진 고르기 파일은 브라우저 메모리에만 올라가요 2 크기 줄이기 긴 변이 최대 1280px (모바일은 960px) 3 모델이 읽는 숫자로 바꾸기 1024×1024로 맞추고, 값은 −0.5 ~ 0.5로 4 모델 계산 WebAssembly로, 별도 작업자(Worker)에서 5 마스크 얻기 픽셀마다 0~1 사이 값 (남길 정도) 6 투명도로 적용 원래 크기로 키워서 알파값으로 사용 처음 한 번만 모델·실행 파일을 외부 정적 호스트에서 내려받아요 점선 안쪽은 모두 내 기기 안에서만 일어나요
사진은 우리 서버로 올라가지 않습니다. 밖에서 가져오는 것은 모델 파일뿐입니다.

점선 안쪽은 모두 사용자의 기기 안에서 일어납니다. 모델 파일과 실행 도구는 처음 한 번 외부에서 받아 와야 하는데, 이 부분은 8장에서 다룹니다.

여기서 눈여겨볼 곳은 4번입니다. 모델 계산은 WebAssembly로 실행합니다.

4. 사진을 모델이 읽는 숫자로 바꾸기

모델은 사진 파일을 그대로 읽지 못합니다. 정해진 크기와 정해진 숫자 범위로 맞춰 줘야 합니다. 우리가 쓰는 모델은 가로세로 1024픽셀의 사진을 기대합니다. 그래서 어떤 크기의 사진이든 먼저 1024×1024로 맞춥니다.

그다음 픽셀 값(0~255)을 모델이 익숙한 범위로 옮깁니다.

x′=x−128256x' = \frac{x - 128}{256}

x=0x=0(가장 어두운 값)은 −0.5-0.5가 되고, x=255x=255(가장 밝은 값)는 약 0.4960.496이 됩니다. 이렇게 값의 범위를 비슷하게 맞춰 주는 일을 정규화라고 합니다. 모델이 학습할 때 본 숫자와 비슷한 범위로 넣어 줘야 제대로 판단하기 때문입니다.

크기를 바꿀 때는 양선형 보간을 씁니다. 목표 위치가 원본 픽셀 사이에 걸치면, 주변 네 픽셀을 가까운 정도에 따라 섞어서 값을 만드는 방식입니다.

v=(1−dx)(1−dy) v11+dx(1−dy) v21+(1−dx) dy v12+dx dy v22\begin{aligned} v ={}& (1-d_x)(1-d_y)\,v_{11} \\ &+ d_x(1-d_y)\,v_{21} \\ &+ (1-d_x)\,d_y\,v_{12} \\ &+ d_x\,d_y\,v_{22} \end{aligned}

dxd_x, dyd_y는 목표 위치가 왼쪽 위 픽셀에서 얼마나 떨어져 있는지(0~1)를 뜻합니다. 가까운 픽셀일수록 더 많이 반영됩니다. 코드에서는 크기 조절과 정규화를 한 번의 반복문으로 처리합니다.

// 크기 조절 + 정규화를 한 번에 (실제 코드를 줄여서 옮겼습니다)
float32Data[dstIdx]              = (r - 128) / 256; // 빨강 채널
float32Data[dstIdx + stride]     = (g - 128) / 256; // 초록 채널
float32Data[dstIdx + stride * 2] = (b - 128) / 256; // 파랑 채널

이렇게 만든 입력은 숫자 1×3×1024×10241 \times 3 \times 1024 \times 1024개짜리 덩어리(텐서)가 됩니다. 이 덩어리가 메모리를 얼마나 차지하는지 계산해 보면 다음과 같습니다.

1024×1024×3×4 bytes=12,582,912 bytes=12 MiB1024 \times 1024 \times 3 \times 4\,\text{bytes} = 12{,}582{,}912\,\text{bytes} = 12\,\text{MiB}

숫자 하나당 4바이트(32비트 소수)라서, 사진 한 장을 넣을 때마다 입력만 12MiB가 필요합니다. 이 숫자는 뒤의 메모리 이야기에서 다시 나옵니다.

5. 문제 1: 44MB짜리 파일을 어떻게 받을까?

모델 파일은 작게 줄인 상태에서도 약 44MB입니다. 한 번에 받으면 모바일에서는 시간이 오래 걸리고, 중간에 실패하면 처음부터 다시 받아야 합니다.

이미 작게 만든 모델을 쓴다

원래 모델은 숫자 하나를 32비트로 저장합니다. 우리가 쓰는 모델은 이것을 8비트 정수로 줄인 양자화 버전(quint8)입니다.

x≈s (q−z)x \approx s\,(q - z)

실제 값 xx를 “정수 qq에 배율 ss를 곱하고 기준점 zz만큼 옮긴 값”으로 근사한다는 뜻입니다. 숫자 하나가 4바이트에서 1바이트로 줄어서, 이론상 파일 크기는 약 4분의 1이 됩니다. 대신 값이 조금 거칠어지기 때문에 품질이 약간 떨어질 수 있습니다. 용량과 정확도를 맞바꾸는 셈입니다.

파일을 조각으로 나눠서 동시에 받는다

모델 파일은 여러 조각(chunk) 으로 나뉘어 제공됩니다. 우리는 이 조각들을 한꺼번에 요청하고, 각 조각이 “파일의 몇 번째 바이트부터인지” 알려 주는 위치 정보를 이용해 제자리에 채워 넣습니다.

큰 파일을 조각으로 나눠 받기 약 44MB 모델 파일을 여러 조각으로 나누어 동시에 내려받고, 각 조각을 정해진 위치에 채워 넣어 하나의 데이터 덩어리로 합칩니다. 외부 정적 호스트 내 브라우저 조각 1 조각 2 조각 3 조각 4 조각 5 조각 6 하나의 버퍼(Uint8Array)로 합쳐짐 동시에 요청
각 조각이 “파일의 몇 번째 바이트부터인지” 알고 있어서, 먼저 도착한 조각부터 제자리에 채울 수 있습니다.
// 실제 코드를 줄여서 옮겼습니다
const out = new Uint8Array(entry.size); // 완성될 파일 크기만큼 빈 공간

await Promise.all(
  entry.chunks.map(async (chunk) => {
    const res = await fetch(new URL(chunk.name, publicPath));
    const buffer = await res.arrayBuffer();
    out.set(new Uint8Array(buffer), chunk.offsets[0]); // 정해진 위치에 채우기
  })
);

Promise.all은 여러 요청을 동시에 시작하고, 모두 끝날 때까지 기다려 주는 자바스크립트 기능입니다. 조각마다 도착한 크기를 확인하고, 크기가 다르면 오류로 처리해서 망가진 파일로 계산하는 일을 막습니다.

6. 문제 2: 계산하는 동안 화면이 멈춰요

모델 계산은 오래 걸리는 작업입니다. 브라우저는 화면 그리기와 자바스크립트 실행을 한 줄(메인 스레드) 에서 하기 때문에, 그 줄이 계산에 붙잡혀 있으면 버튼도 눌리지 않고 진행률 바도 멈춥니다.

Worker가 있을 때와 없을 때 위쪽은 한 줄에서 모든 일을 하다가 모델 계산 동안 화면이 멈추는 모습, 아래쪽은 화면 담당과 계산 담당을 나누어 화면이 계속 움직이는 모습을 시간 순서로 비교합니다. Worker 없이 한 줄에서 다 하면, 계산하는 동안 화면이 멈춰요 화면 담당 모델 계산 중… 화면이 멈춤 Worker 사용 계산은 다른 곳에서 하고, 화면은 계속 움직여요 화면 담당 계산 담당 모델 계산 (Worker) 시간 → 진행률 바가 계속 움직여요
무거운 계산을 Worker에 맡기면, 화면 담당은 그동안 진행률 바와 애니메이션을 계속 그릴 수 있습니다.

해결책은 계산을 Web Worker라는 다른 일꾼에게 넘기는 것입니다.

사진 데이터를 Worker에 보낼 때는 복사하지 않고 소유권만 넘깁니다.

// 두 번째 인자로 버퍼를 넘기면, 복사 없이 소유권이 Worker로 이동합니다
worker.postMessage(req, [req.rgbaBuffer]);

수 MB짜리 사진 데이터를 복사하면 그것만으로 시간과 메모리를 쓰기 때문에, 이 방식(Transferable)으로 낭비를 피했습니다. 계산이 끝난 마스크도 같은 방식으로 돌려받습니다.

7. 문제 3: 메모리가 부족한 기기

브라우저 탭이 쓸 수 있는 메모리는 기기마다 다르고, 부족하면 탭이 갑자기 종료될 수 있습니다. 특히 모바일에서 위험합니다. 그래서 세 가지를 했습니다.

첫째, 작업할 사진 크기에 상한을 둡니다.

export const MAX_CUTOUT_WORK_DIM = 1280;    // 데스크톱: 긴 변 최대 1280px
export const MOBILE_CUTOUT_WORK_DIM = 960;  // 화면 폭 768px 미만: 최대 960px

사진 한 장을 불러오면 픽셀당 4바이트(빨강, 초록, 파랑, 알파)가 듭니다. 가로세로 1280px와 960px의 차이는 다음과 같습니다.

12802×4≈6.25 MiB,9602×4≈3.5 MiB1280^2 \times 4 \approx 6.25\,\text{MiB}, \qquad 960^2 \times 4 \approx 3.5\,\text{MiB}

작아 보이지만, 계산 중에는 이런 덩어리가 여러 개 겹쳐서 존재합니다. 모바일에서는 상한을 더 낮춰서 여유를 둡니다.

둘째, 모델 실행 설정을 메모리 절약에 맞춥니다. 계산용 스레드를 1개로 제한하고, 실행 엔진이 미리 넉넉히 메모리를 잡아 두는 기능(enableCpuMemArena)은 끕니다.

셋째, 쓴 자원은 바로 정리합니다. 입력과 출력 텐서, 모델 실행 세션, 임시로 만든 주소(Blob URL)를 계산이 끝나는 즉시 해제합니다. 모델 파일을 담았던 변수도 실행 엔진이 복사해 간 직후 비웁니다.

8. 아직 남은 숙제

  • 모델 파일은 외부에서 받아 옵니다. 모델과 실행 도구는 imgly가 제공하는 정적 호스트(staticimgly.com)에서 내려받습니다. 사진이 이곳으로 가는 것은 아닙니다. 하지만 파일을 받기 위한 요청이 그 호스트로 가므로, “외부와 전혀 통신하지 않는다”고 말할 수는 없습니다. 모델을 우리 쪽에서 직접 제공하는 것이 개선 후보입니다.
  • 다운로드한 모델을 따로 저장하지 않습니다. 브라우저의 기본 캐시가 도와줄 수도 있지만, 두 번째부터 반드시 빠르다고 보장하지는 않습니다.
  • 오프라인에서는 쓸 수 없습니다. 처음 모델을 받아야 하기 때문입니다.
  • 사진 밖으로 나가는 것은 없지만, 결과는 따로 생각해야 합니다. 누끼를 따는 계산은 기기 안에서만 이루어집니다. 다만 완성된 이미지를 페이지에 올리는 단계는 일반 이미지 업로드와 같은 과정입니다.

정리하며

  • 누끼는 픽셀마다 얼마나 남길지 정하는 마스크를 만드는 일이고, 그 마스크는 학습된 모델이 만들어 줍니다.
  • 사용자의 사진이 밖으로 나가지 않게 하려고 브라우저 안에서 계산하기로 했습니다.
  • 대신 생기는 문제는 양자화와 조각 받기(큰 파일), Web Worker(화면 멈춤), 작업 크기 제한과 자원 정리(메모리)로 줄였습니다.

용어 정리

용어한 줄 설명
누끼사진에서 주인공만 오려내고 배경을 지우는 일
마스크어디를 남길지 흑백으로 나타낸 그림
알파(α)픽셀의 불투명도 (0은 투명, 1은 불투명)
모델사진을 보고 마스크를 만들어 주도록 학습된 프로그램
WebAssembly브라우저에서 계산 코드를 빠르게 실행하는 기술
ONNX Runtime WebONNX 모델을 브라우저에서 실행해 주는 도구
정규화값의 범위를 모델이 익숙한 범위로 맞추는 일
텐서숫자를 여러 겹으로 쌓은 표
양자화정밀한 숫자를 적은 비트로 줄여 파일을 작게 만드는 방법
청크큰 파일을 나눈 조각
메인 스레드브라우저에서 화면 그리기를 맡는 한 줄
Web Worker화면과 따로 일하는 추가 한 줄