서버 없이 브라우저 안에서 사진 배경 지우기
shapepage에는 사진 속 인물이나 물건만 오려내 스티커처럼 쓰는 자동 누끼 기능이 있습니다. 이 기능을 만들면서 가장 먼저 한 고민은 “이 계산을 어디서 할까?”였습니다.
결론부터 말하면, 계산을 사용자의 브라우저 안에서 하기로 했습니다. 이 글은 그 선택의 이유와, 선택한 뒤에 만난 문제들을 어떻게 풀었는지 정리한 기록입니다.
이 글에서 다루는 것
- 누끼가 컴퓨터 안에서 어떤 원리로 만들어지는지
- 서버에서 처리할지, 브라우저에서 처리할지 고르는 기준
- 큰 파일 받기, 화면 멈춤, 메모리 부족 같은 현실적인 문제와 해결 방법
- 아직 해결하지 못한 것들
1. 누끼는 어떻게 만들어질까?
누끼는 “배경을 지운다”고 말하지만, 컴퓨터 입장에서는 각 픽셀마다 얼마나 남길지 숫자로 정하는 일입니다.
가운데 흑백 그림을 마스크라고 부릅니다. 흰색이면 그 픽셀을 남기고, 검정이면 지우고, 중간 회색이면 반쯤 남깁니다. 머리카락이나 털 같은 경계가 자연스럽게 보이는 건 이 중간값 덕분입니다.
마스크를 적용해 원래 사진과 새 배경을 섞는 식은 아주 단순합니다.
는 사진(앞), 는 새로 깔 배경, 는 마스크 값이고, 가 화면에 보이는 최종 색입니다. 예를 들어 사진의 밝기가 , 배경이 이고 마스크가 반쯤()이면 다음과 같습니다.
그러면 남은 일은 하나입니다. 사진을 보고 마스크를 만들어 주는 것입니다. 이 일을 하는 것이 학습된 모델입니다.
2. 서버에서 할까, 브라우저에서 할까?
모델을 돌릴 곳은 크게 세 가지였습니다.
| 외부 서비스에 맡기기 | 직접 서버 운영하기 | 브라우저에서 돌리기 | |
|---|---|---|---|
| 사진이 가는 곳 | 외부 회사 서버 | 우리 서버 | 사용자 기기 안에서만 처리 |
| 비용 구조 | 쓴 만큼 요금 | 쓰든 안 쓰든 서버 유지비 | 계산 비용은 사용자 기기가 부담 |
| 장점 | 만들기 쉽고 품질이 안정적 | 속도와 품질을 직접 조절 | 개인정보 이동이 줄고, 사용자가 늘어도 서버가 안 느려짐 |
| 단점 | 사진이 밖으로 나감, 요금 부담 | 운영 부담, 사진을 우리가 받아야 함 | 첫 실행 때 큰 파일 필요, 기기 성능에 좌우됨 |
우리가 가장 중요하게 본 것은 사용자의 사진이 우리 서버나 다른 회사 서버를 거치지 않는 것이었습니다. 소셜 페이지에는 개인적인 사진이 많이 올라오기 때문입니다. 그래서 세 번째를 골랐습니다.
대신 브라우저 방식에는 분명한 대가가 있습니다. 모델 파일을 사용자가 내려받아야 하고, 오래된 기기에서는 느릴 수 있습니다. 이 글의 나머지는 대부분 그 대가를 줄이려는 노력입니다.
3. 전체 흐름
점선 안쪽은 모두 사용자의 기기 안에서 일어납니다. 모델 파일과 실행 도구는 처음 한 번 외부에서 받아 와야 하는데, 이 부분은 8장에서 다룹니다.
여기서 눈여겨볼 곳은 4번입니다. 모델 계산은 WebAssembly로 실행합니다.
4. 사진을 모델이 읽는 숫자로 바꾸기
모델은 사진 파일을 그대로 읽지 못합니다. 정해진 크기와 정해진 숫자 범위로 맞춰 줘야 합니다. 우리가 쓰는 모델은 가로세로 1024픽셀의 사진을 기대합니다. 그래서 어떤 크기의 사진이든 먼저 1024×1024로 맞춥니다.
그다음 픽셀 값(0~255)을 모델이 익숙한 범위로 옮깁니다.
(가장 어두운 값)은 가 되고, (가장 밝은 값)는 약 이 됩니다. 이렇게 값의 범위를 비슷하게 맞춰 주는 일을 정규화라고 합니다. 모델이 학습할 때 본 숫자와 비슷한 범위로 넣어 줘야 제대로 판단하기 때문입니다.
크기를 바꿀 때는 양선형 보간을 씁니다. 목표 위치가 원본 픽셀 사이에 걸치면, 주변 네 픽셀을 가까운 정도에 따라 섞어서 값을 만드는 방식입니다.
, 는 목표 위치가 왼쪽 위 픽셀에서 얼마나 떨어져 있는지(0~1)를 뜻합니다. 가까운 픽셀일수록 더 많이 반영됩니다. 코드에서는 크기 조절과 정규화를 한 번의 반복문으로 처리합니다.
// 크기 조절 + 정규화를 한 번에 (실제 코드를 줄여서 옮겼습니다)
float32Data[dstIdx] = (r - 128) / 256; // 빨강 채널
float32Data[dstIdx + stride] = (g - 128) / 256; // 초록 채널
float32Data[dstIdx + stride * 2] = (b - 128) / 256; // 파랑 채널
이렇게 만든 입력은 숫자 개짜리 덩어리(텐서)가 됩니다. 이 덩어리가 메모리를 얼마나 차지하는지 계산해 보면 다음과 같습니다.
숫자 하나당 4바이트(32비트 소수)라서, 사진 한 장을 넣을 때마다 입력만 12MiB가 필요합니다. 이 숫자는 뒤의 메모리 이야기에서 다시 나옵니다.
5. 문제 1: 44MB짜리 파일을 어떻게 받을까?
모델 파일은 작게 줄인 상태에서도 약 44MB입니다. 한 번에 받으면 모바일에서는 시간이 오래 걸리고, 중간에 실패하면 처음부터 다시 받아야 합니다.
이미 작게 만든 모델을 쓴다
원래 모델은 숫자 하나를 32비트로 저장합니다. 우리가 쓰는 모델은 이것을 8비트 정수로 줄인 양자화 버전(quint8)입니다.
실제 값 를 “정수 에 배율 를 곱하고 기준점 만큼 옮긴 값”으로 근사한다는 뜻입니다. 숫자 하나가 4바이트에서 1바이트로 줄어서, 이론상 파일 크기는 약 4분의 1이 됩니다. 대신 값이 조금 거칠어지기 때문에 품질이 약간 떨어질 수 있습니다. 용량과 정확도를 맞바꾸는 셈입니다.
파일을 조각으로 나눠서 동시에 받는다
모델 파일은 여러 조각(chunk) 으로 나뉘어 제공됩니다. 우리는 이 조각들을 한꺼번에 요청하고, 각 조각이 “파일의 몇 번째 바이트부터인지” 알려 주는 위치 정보를 이용해 제자리에 채워 넣습니다.
// 실제 코드를 줄여서 옮겼습니다
const out = new Uint8Array(entry.size); // 완성될 파일 크기만큼 빈 공간
await Promise.all(
entry.chunks.map(async (chunk) => {
const res = await fetch(new URL(chunk.name, publicPath));
const buffer = await res.arrayBuffer();
out.set(new Uint8Array(buffer), chunk.offsets[0]); // 정해진 위치에 채우기
})
);
Promise.all은 여러 요청을 동시에 시작하고, 모두 끝날 때까지 기다려 주는 자바스크립트 기능입니다. 조각마다 도착한 크기를 확인하고, 크기가 다르면 오류로 처리해서 망가진 파일로 계산하는 일을 막습니다.
6. 문제 2: 계산하는 동안 화면이 멈춰요
모델 계산은 오래 걸리는 작업입니다. 브라우저는 화면 그리기와 자바스크립트 실행을 한 줄(메인 스레드) 에서 하기 때문에, 그 줄이 계산에 붙잡혀 있으면 버튼도 눌리지 않고 진행률 바도 멈춥니다.
해결책은 계산을 Web Worker라는 다른 일꾼에게 넘기는 것입니다.
사진 데이터를 Worker에 보낼 때는 복사하지 않고 소유권만 넘깁니다.
// 두 번째 인자로 버퍼를 넘기면, 복사 없이 소유권이 Worker로 이동합니다
worker.postMessage(req, [req.rgbaBuffer]);
수 MB짜리 사진 데이터를 복사하면 그것만으로 시간과 메모리를 쓰기 때문에, 이 방식(Transferable)으로 낭비를 피했습니다. 계산이 끝난 마스크도 같은 방식으로 돌려받습니다.
7. 문제 3: 메모리가 부족한 기기
브라우저 탭이 쓸 수 있는 메모리는 기기마다 다르고, 부족하면 탭이 갑자기 종료될 수 있습니다. 특히 모바일에서 위험합니다. 그래서 세 가지를 했습니다.
첫째, 작업할 사진 크기에 상한을 둡니다.
export const MAX_CUTOUT_WORK_DIM = 1280; // 데스크톱: 긴 변 최대 1280px
export const MOBILE_CUTOUT_WORK_DIM = 960; // 화면 폭 768px 미만: 최대 960px
사진 한 장을 불러오면 픽셀당 4바이트(빨강, 초록, 파랑, 알파)가 듭니다. 가로세로 1280px와 960px의 차이는 다음과 같습니다.
작아 보이지만, 계산 중에는 이런 덩어리가 여러 개 겹쳐서 존재합니다. 모바일에서는 상한을 더 낮춰서 여유를 둡니다.
둘째, 모델 실행 설정을 메모리 절약에 맞춥니다. 계산용 스레드를 1개로 제한하고, 실행 엔진이 미리 넉넉히 메모리를 잡아 두는 기능(enableCpuMemArena)은 끕니다.
셋째, 쓴 자원은 바로 정리합니다. 입력과 출력 텐서, 모델 실행 세션, 임시로 만든 주소(Blob URL)를 계산이 끝나는 즉시 해제합니다. 모델 파일을 담았던 변수도 실행 엔진이 복사해 간 직후 비웁니다.
8. 아직 남은 숙제
- 모델 파일은 외부에서 받아 옵니다. 모델과 실행 도구는 imgly가 제공하는 정적 호스트(
staticimgly.com)에서 내려받습니다. 사진이 이곳으로 가는 것은 아닙니다. 하지만 파일을 받기 위한 요청이 그 호스트로 가므로, “외부와 전혀 통신하지 않는다”고 말할 수는 없습니다. 모델을 우리 쪽에서 직접 제공하는 것이 개선 후보입니다. - 다운로드한 모델을 따로 저장하지 않습니다. 브라우저의 기본 캐시가 도와줄 수도 있지만, 두 번째부터 반드시 빠르다고 보장하지는 않습니다.
- 오프라인에서는 쓸 수 없습니다. 처음 모델을 받아야 하기 때문입니다.
- 사진 밖으로 나가는 것은 없지만, 결과는 따로 생각해야 합니다. 누끼를 따는 계산은 기기 안에서만 이루어집니다. 다만 완성된 이미지를 페이지에 올리는 단계는 일반 이미지 업로드와 같은 과정입니다.
정리하며
- 누끼는 픽셀마다 얼마나 남길지 정하는 마스크를 만드는 일이고, 그 마스크는 학습된 모델이 만들어 줍니다.
- 사용자의 사진이 밖으로 나가지 않게 하려고 브라우저 안에서 계산하기로 했습니다.
- 대신 생기는 문제는 양자화와 조각 받기(큰 파일), Web Worker(화면 멈춤), 작업 크기 제한과 자원 정리(메모리)로 줄였습니다.
용어 정리
| 용어 | 한 줄 설명 |
|---|---|
| 누끼 | 사진에서 주인공만 오려내고 배경을 지우는 일 |
| 마스크 | 어디를 남길지 흑백으로 나타낸 그림 |
| 알파(α) | 픽셀의 불투명도 (0은 투명, 1은 불투명) |
| 모델 | 사진을 보고 마스크를 만들어 주도록 학습된 프로그램 |
| WebAssembly | 브라우저에서 계산 코드를 빠르게 실행하는 기술 |
| ONNX Runtime Web | ONNX 모델을 브라우저에서 실행해 주는 도구 |
| 정규화 | 값의 범위를 모델이 익숙한 범위로 맞추는 일 |
| 텐서 | 숫자를 여러 겹으로 쌓은 표 |
| 양자화 | 정밀한 숫자를 적은 비트로 줄여 파일을 작게 만드는 방법 |
| 청크 | 큰 파일을 나눈 조각 |
| 메인 스레드 | 브라우저에서 화면 그리기를 맡는 한 줄 |
| Web Worker | 화면과 따로 일하는 추가 한 줄 |