Higgsfield Genjutsu는 어떻게 작동할까? Maboroshi가 같은 작업을 더 싸게 하는 방법 (2026)

By DeHub Team — 2026-10-24

How Higgsfield Genjutsu works, and how DeHub Maboroshi does the same job for less

Higgsfield Genjutsu는 실제 영상을 가져와 그 안의 한 가지를 바꿉니다. 사람, 반려동물, 제품, 의상 같은 것입니다. 카메라 움직임, 타이밍, 배경은 촬영한 그대로 남습니다. Higgsfield가 작동 방식을 밝히지 않아서 대부분은 하나의 비밀 모델이라고 생각합니다.

그렇지 않습니다. 분해해 보면 Genjutsu 스타일 편집은 8단계의 연결이고, 거의 모든 고리가 잘 알려진 오픈 모델입니다. 저희는 이 연결을 DeHub Creator 안의 Maboroshi로 다시 만들었습니다. 직접 돌려 보니 비용이 실제로 어디에 드는지 알 수 있었고, 그래서 더 저렴하게 제공할 수 있습니다.

이 가이드는 각 단계를 실제 프레임과 함께 하나씩 보여줍니다. 그다음 장면 전체를 바꾸는 방법, 옵션별 비용, 클립이 완성된 뒤 무엇을 할 수 있는지 다룹니다.

Higgsfield Genjutsu가 하는 일

Higgsfield의 공식 Genjutsu 페이지에 따르면 두 가지 모드가 있습니다.

Motion Transfer. 클립의 움직임이 새 캐릭터나 다시 만든 장면을 움직입니다.
Object Swap. 지정한 요소 하나만 바꾸고 나머지 장면은 그대로 둡니다. Higgsfield의 예시는 제품, 소품, 의상입니다.

4~30초 길이의 클립 하나를 올리고, 참고 이미지를 최대 30장 추가한 뒤, 30개 이상의 프리셋 중 하나를 고르거나 짧은 설명을 씁니다. 출력은 최대 1080p입니다. 내부에서 어떤 모델이 돌아가는지는 밝히지 않습니다.

보이는 것은 결과입니다. 카메라 움직임은 유지되고, 조명은 맞고, 새 피사체는 알맞은 물체 뒤에 서 있으며, 입은 목소리에 맞춰 움직입니다. text-to-video 모델 하나로는 이렇게 할 수 없으니, 먼저 원본 클립을 측정하는 무언가가 필요합니다. 이 측정이 사람들이 리버스 엔지니어링이라고 부르는 부분이고, 8가지 작업으로 나뉩니다.

단계별 작동 방식

저희의 출발점은 Sirio Berati가 만든 MIT 라이선스의 Genjutsu Open Source Workflow였습니다. 이 효과를 오픈 부품으로 다시 만들 수 있다는 걸 보여줬습니다. 중요한 단계는 남기고, 실제 사용자에게 안전하지 않은 부분은 바꾸고, 결제, 검토, 복구 기능을 더했습니다. 아래 모든 이미지는 실제 클립에 해당 단계를 실행해서 만들었습니다.

1단계: 클립 정규화

업로드된 모든 영상은 일정한 초당 24프레임으로 변환되고, 긴 변이 최대 960픽셀이 되도록 줄어듭니다. 휴대폰 영상은 프레임 속도가 가변인 경우가 많아 모델의 싱크가 어긋납니다. 고정된 속도와 크기는 이후 모든 단계에 같은 격자를 주고, 처리를 빠르고 저렴하게 유지합니다.

클립은 30초 이하여야 하고 사운드 트랙이 있어야 합니다. Maboroshi의 Kling 경로에서는 3~15초 길이에 각 변이 최소 720픽셀이어야 합니다.

일정한 초당 24프레임으로 정규화한 뒤의, 타임스스퀘어를 걷는 남성의 프레임 세 장

2단계: 사운드트랙 분리

생성이 시작되기 전에 오디오를 떼어냅니다. 오픈 모델인 Demucs가 목소리와 음악을 분리해서, 영상 모델에는 필요한 것만 전달됩니다. 원본 트랙 전체는 손대지 않고 따로 보관합니다.

그래서 완성된 클립이 원본과 똑같이 들립니다. 영상 모델은 오디오에 약해서 타이밍을 바꾸거나, 뭉개거나, 새로운 소리를 만들어 냅니다. 그래서 원본 트랙은 처음부터 모델을 거치지 않습니다.

원본 사운드트랙은 생성 전에 따로 두었다가 마지막에 비트 단위 그대로 다시 입힙니다

3단계: 깊이 지도 만들기

깊이 모델이 각 픽셀이 카메라에서 얼마나 떨어져 있는지 프레임마다 추정합니다. Maboroshi는 영상용으로 만들어져 프레임 간에 안정적인 Video Depth Anything을 사용합니다. 아래 이미지는 더 작은 단일 프레임 깊이 모델로 만들었지만 원리는 같습니다. 가까우면 밝고, 멀면 어둡습니다.

깊이 덕분에 새 피사체가 같은 자리에, 알맞은 크기로, 택시 앞과 가로등 뒤에 설 수 있습니다. 깊이가 없으면 바뀐 캐릭터가 붕 떠 보입니다.

타임스스퀘어 프레임과 깊이 지도. 걷는 남성이 카메라에 가장 가까워 가장 밝게 보입니다

4단계: 피사체 잘라내기

Meta의 영상용 Segment Anything인 SAM 3 Video가 지정한 피사체(예: "person")를 찾아 모든 프레임에서 깔끔한 마스크를 그립니다. 가장자리의 작은 조각은 자동으로 정리되어 엉뚱한 픽셀이 모델을 헷갈리게 하지 않습니다. 마스크는 렌더러에게 무엇을 바꾸고 무엇을 그대로 둘지 정확히 알려줍니다.

타임스스퀘어 프레임 속 피사체를 하나의 깔끔한 흰색 마스크로 잘라내고 주변 거리를 어둡게 한 모습

5단계: 얼굴 추적

MediaPipe Face Landmarker가 매 프레임 모든 얼굴에 478개 점으로 된 메시를 그립니다. 이 메시가 표정, 고개 돌림, 입술 움직임을 새 캐릭터에 그대로 옮깁니다. 바뀐 고양이가 여전히 노래를 부르는 것처럼 보이는 이유입니다.

기차역 승강장에서 찍은 셀카에 478개 점의 얼굴 메시를 그린 모습

6단계: 컨트롤 영상 검토

깊이, 마스크, 얼굴 메시가 하나의 컨트롤 영상으로 합쳐지고, 비용이 드는 작업 전에 이를 확인할 수 있습니다. 잘라낸 부분이 틀렸다면 거기서 멈추고 더 이상 비용을 내지 않습니다. 최종 렌더링은 승인한 바로 그 버전에서만 실행됩니다. 클립, 피사체, 참고 이미지를 바꾸면 승인은 초기화됩니다.

Higgsfield는 이 단계를 보여주지 않습니다. 저희는 이 단계가 가장 유용하다고 생각합니다. 유료 렌더링이 잘못 나오는 가장 큰 이유가 나쁜 마스크이기 때문입니다.

원본 프레임과 합성된 컨트롤 영상: 회색 깊이와 흰색 피사체 마스크, 그리고 승인 버튼

7단계: 렌더링

렌더링은 두 가지 방식 중 하나로 진행됩니다.

Seedance Premium 경로. Seedance 2.5 reference-to-video가 컨트롤 영상과 참고 이미지로 저렴한 초안을 렌더링합니다. 초안이 마음에 들 때만 1080p 비용을 내고, 최종본은 같은 초안에서 마무리되므로 승인한 그대로 받게 됩니다.
Kling 경로. 원본 클립과 캐릭터 이미지 1~2장을 Kling O3 video-to-video edit에 한 번에 보냅니다. 준비 과정도 초안도 없습니다. 더 빠르고 저렴해서 대부분의 교체에서 기본값으로 씁니다.

비포 앤 애프터: 횡단보도의 남성이 복슬복슬한 고양이로, 걸음도 거리도 그대로

8단계: 원본 소리 되돌리기

두 경로 모두 마지막에 원본 오디오 트랙 전체를 다시 입힙니다. 재인코딩하지 않고 복사합니다. 목소리, 비트, 타이밍이 촬영한 그대로라서, 결과물을 나란히 비교할 때 사람들이 가장 먼저 알아차리는 부분입니다.

어떤 장면이든, 장면 속 무엇이든 바꾸기

2026년 10월 12일, Higgsfield는 AI 채팅 안에서 실행되는 편집 스킬 Katana를 출시했습니다. 참고 영상이나 라이브러리의 프리셋과 함께 사람, 제품, 의류 사진을 최대 5장 주면, 그것들을 중심으로 편집 전체를 다시 만듭니다. 참고 영상의 샷 구성과 속도는 유지하고, 수정한 샷만 다시 렌더링합니다. 활성화된 Higgsfield 요금제가 필요하고 그 요금제의 크레딧을 씁니다.

어떤 장면이든, 무엇이든: DeHub에서 참고 편집을 샷 단위로 다시 만들기

DeHub는 같은 작업을 세 가지 도구로 처리하며, 모두 클립 단위 요금입니다.

Remake: 여러 샷 편집용. 컷이 있는 클립을 올리세요. Maboroshi가 컷 지점을 스스로 찾거나 직접 표시하면(최대 7곳), 클립을 최대 8개 샷으로 나눕니다. 샷마다 따로 연출할 수 있고, 다른 샷은 건드리지 않고 원하는 샷만 최대 5번까지 다시 만들 수 있습니다. 마음에 들면 샷들이 원본 오디오와 함께 순서대로 다시 이어지고, 이어 붙이는 데 추가 비용은 없습니다. 각 샷은 일반 Kling 교체와 같은 가격입니다.
Kling O3 Character Swap: 프레임 속 무엇이든. DeHub Creator에서 이 모델은 최대 4장의 이미지로 캐릭터, 제품, 배경을 클립에 바꿔 넣습니다. 자동차, 손에 든 음료, 재킷, 뒤쪽 거리를 바꿀 때 쓰세요.
Seedance 2.0 리스타일: 장면 전체용. 역시 Creator에서 영상을 올리고 밤, 클레이 애니메이션, 눈보라 같은 새로운 분위기를 설명하세요. 움직임은 그대로이고 주변 세계 전체가 바뀝니다.

아래 이미지는 저희 홍보 영상에서 Remake가 컷을 감지한 모습입니다. 컷 3개를 자동으로 찾아 클립을 4개 샷으로 나눴습니다.

Remake가 19초 홍보 영상을 자동 감지한 컷 지점 세 곳에서 네 개 샷으로 나눈 모습

저희가 더 싸게 할 수 있는 이유

렌더링을 제외한 위의 모든 단계는 돌리는 비용이 적습니다. 정규화, 오디오 분리, 깊이, 마스킹, 얼굴 메시는 자체 서버에서 돌아가고 비용은 몇 센트입니다. 돈이 드는 곳은 초 단위로 과금되는 최종 렌더링 모델입니다. 그래서 저희는:

초 단위로 과금합니다. 5초 클립에 15초 클립 요금을 받지 않습니다.
필요 없는 유료 단계는 건너뜁니다. Kling 경로에는 준비 비용도 별도 HD 비용도 없습니다.
먼저 확인하게 합니다. 결제 전에 마스크를 승인하니 버려지는 유료 렌더링이 줄어듭니다.
구독료가 없습니다. 지금 만드는 클립 값만 내고, DeHub에 충전한 크레딧은 만료되지 않습니다.

15초 교체 비용: Higgsfield $7.20(1080p), $5.20(720p), $2.00(480p), DeHub Maboroshi $4.55, DeHub Creator Kling O3 교체 $3.02

15초 클립 비교:

Higgsfield Genjutsu, 1080p: 144 크레딧, 약 $7.20, 요금제 필요
Higgsfield Genjutsu, 720p: 104 크레딧, 약 $5.20, 요금제 필요
DeHub Maboroshi, Kling 경로, 마스크 검토 및 원본 오디오 포함: $4.55
DeHub Creator, 1080p Kling O3 Character Swap: $3.02
Higgsfield Genjutsu, 480p: 40 크레딧, 약 $2.00, 요금제 필요

짧은 클립에서는 초 단위 과금이 유리합니다:

5초: Maboroshi $1.75, Creator 교체 $1.01
10초: Maboroshi $3.15, Creator 교체 $2.02
15초: Maboroshi $4.55, Creator 교체 $3.02

DeHub의 길이별 가격: Maboroshi $1.75, $3.15, $4.55, Creator $1.01, $2.02, $3.02(Kling O3 교체), Higgsfield의 15초 기준선보다 아래

솔직한 주의 사항 두 가지. 480p 클립이면 충분하고 이미 Higgsfield 요금제를 쓰고 있다면 그쪽의 $2.00이 더 쌉니다. 그리고 저희 Seedance Premium 경로를 풀 1080p로 쓰면 Higgsfield보다 훨씬 비싸서 15초에 약 $31입니다. 입력과 출력의 1초마다 모델 원가에 가까운 요금이 붙기 때문입니다. 자세한 내용은 Higgsfield Genjutsu 대안 가이드에 정리했습니다.

편집하고, 올리고, 수익 내기

Higgsfield는 다운로드 버튼에서 끝납니다. DeHub에서 클립은 작업의 끝이 아니라 시작점입니다.

편집, 게시, 수익: DeHub 동영상 편집기와 피드

내장 동영상 편집기. DeHub의 동영상 편집기는 브라우저와 DeHub 앱에서 작동합니다. 자르기 슬라이더가 아니라 제대로 된 멀티트랙 타임라인입니다. Maboroshi 클립을 다른 영상 옆에 놓고 다음을 할 수 있습니다.

장면 전환과 음악 비트에 맞춰 자르기.
자막을 추가하고 자막 트랙 전체를 다른 언어로 번역.
배경 제거.
배경음악이나 효과음 생성.
화면이나 목소리를 타임라인에 바로 녹화·녹음.

프로젝트는 버전 기록과 함께 클라우드에 저장되고, 편집본을 공유해 타임스탬프가 달린 검토 댓글을 받을 수 있습니다.

이를 둘러싼 소셜 앱. DeHub는 스튜디오이자 소셜 네트워크라서, 완성된 편집본이 편집기에서 바로 게시물이나 Short가 됩니다. 거기서 시청자가 팁을 보낼 수 있고, 조회수는 watch-to-earn 보상에 반영됩니다. 다른 언어를 쓰는 시청자는 자동 더빙을 켤 수 있습니다. DeHub는 피드, Shorts, 라이브 스트리밍, 예약 게시가 가능한 AI 에이전트를 계속 늘려가고 있습니다.

계정 하나로 전체 과정이 끝납니다. 교체를 만들고, 편집하고, 올리고, 수익을 받으세요.

직접 해보기

피사체 교체는 dehub.io/creator/maboroshi를 열고, 프레임 속 무엇이든 바꾸려면 DeHub Creator에서 Kling O3 Character Swap을 고르세요.
소리가 있는 짧은 클립과 선명한 참고 이미지 1~2장을 올리세요.
마스크를 확인하고 승인한 뒤 렌더링하세요. 가격은 결제 전에 달러로 표시됩니다.
결과를 동영상 편집기에서 열어 편집을 마무리하고 피드에 올리세요.

자주 묻는 질문

Higgsfield Genjutsu는 어떻게 작동하나요?

Higgsfield는 파이프라인을 공개하지 않습니다. 이런 효과는 먼저 원본 클립을 측정해서 만듭니다. 프레임 속도, 소리, 깊이, 피사체 윤곽, 얼굴 메시입니다. 그다음 reference-to-video 또는 video-edit 모델이 피사체만 다시 렌더링하고, 마지막에 원본 오디오를 다시 입힙니다. Maboroshi는 바로 이 연결을 실행하며, 이 가이드가 각 단계를 보여줍니다.

Genjutsu 스타일 편집에는 어떤 모델이 쓰이나요?

Maboroshi에서는 오디오에 Demucs, 깊이에 Video Depth Anything, 마스크에 SAM 3 Video, 얼굴에 MediaPipe Face Landmarker, 렌더링에 Seedance 2.5 reference-to-video 또는 Kling O3 video-to-video edit를 씁니다.

Maboroshi가 Higgsfield Genjutsu보다 싼가요?

720p와 1080p에서는 그렇습니다. 15초 클립은 Maboroshi의 Kling 경로에서 $4.55, Creator의 Kling O3 Character Swap으로 $3.02이고, Higgsfield에서는 약 $5.20과 $7.20입니다. DeHub의 두 옵션 모두 구독이 필요 없습니다. Higgsfield의 480p 옵션은 약 $2.00으로, 이미 요금제가 있다면 더 쌉니다.

Higgsfield Katana는 무엇이고, DeHub에도 비슷한 게 있나요?

Katana는 참고 편집을 내 사람, 제품, 의류로 다시 만드는 Higgsfield의 채팅 기반 스킬입니다. DeHub에서는 Remake가 여러 샷 클립을 샷 단위로 다시 만들고, Kling O3 Character Swap이 캐릭터, 제품, 배경을 바꾸며, Seedance 2.0이 장면 전체의 스타일을 바꿉니다. 세 가지 모두 클립 단위 요금입니다.

사람뿐 아니라 배경이나 물건도 바꿀 수 있나요?

네. DeHub Creator의 Kling O3 Character Swap으로 참고 이미지에서 제품이나 배경을 바꾸거나, Seedance 2.0으로 프롬프트를 써서 클립 전체의 스타일을 바꿀 수 있습니다. Maboroshi 자체는 배경을 촬영한 그대로 유지하는데, 깔끔한 피사체 교체에는 그게 맞습니다.

원본 오디오는 유지되나요?

네. Maboroshi의 두 경로 모두 원본 트랙 전체를 손대지 않고 완성된 클립에 다시 복사합니다.

유의 사항

Higgsfield Genjutsu 수치는 2026년 9월에 확인한 Genjutsu 페이지에서 가져왔습니다. Katana 정보는 2026년 10월 12일자 Higgsfield의 Katana 글에서 가져왔습니다. Higgsfield는 크레딧으로 가격을 매기고 요금제를 자주 바꾸므로, 비교하기 전에 현재 가격을 확인하세요. DeHub 가격은 작성 시점의 정가이며, 각 단계 전에 표시되는 가격이 항상 실제로 내는 가격입니다. 3단계의 깊이 이미지는 설명을 위해 단일 프레임 깊이 모델로 만들었습니다. Maboroshi 자체는 Video Depth Anything을 씁니다.