Higgsfield Genjutsuの仕組みとは？Maboroshiが同じことをもっと安くできる理由（2026）

By DeHub Team — 2026-10-24

Higgsfield Genjutsuは実際の動画を取り込み、その中の1つを入れ替えます。人物、ペット、商品、衣装などです。カメラの動き、タイミング、背景は撮影したときのまま残ります。Higgsfieldは仕組みを公開していないため、多くの人は1つの秘密のモデルだと思っています。

そうではありません。分解してみると、Genjutsu風の編集は8つのステップの連鎖で、そのほぼすべてがよく知られたオープンモデルです。私たちはこの連鎖をDeHub Creatorの中のMaboroshiとして作り直しました。自分たちで動かしてみて、コストが本当にどこにかかるのかがわかりました。だからこそ安く提供できるのです。

このガイドでは、各ステップを実際のフレームで1つずつ説明します。そのあと、シーン全体を変える方法、各オプションの費用、そしてクリップ完成後に何ができるかを紹介します。

Higgsfield Genjutsuでできること

Higgsfield公式のGenjutsuページによると、モードは2つあります。

• Motion Transfer。 クリップの動きが、新しいキャラクターや作り直したシーンを動かします。
• Object Swap。 指定した1つの要素だけを入れ替え、ショットの残りはそのまま残します。Higgsfieldの例は商品、小道具、衣装です。

4〜30秒のクリップを1本アップロードし、参考画像を最大30枚追加して、30以上のプリセットから選ぶか短い説明を書きます。出力は最大1080pです。内部でどのモデルが動いているかは公表されていません。

見えるのは結果です。カメラの動きは残り、照明は合い、新しい被写体は正しい物の後ろに立ち、口は声に合わせて動きます。text-to-videoモデル単体ではこれはできないので、まず元のクリップを計測する何かが必要です。この計測こそがリバースエンジニアリングと呼ばれる部分で、8つの作業に分かれます。

仕組みをステップごとに解説

出発点は、Sirio BeratiによるMITライセンスのGenjutsu Open Source Workflowでした。この効果がオープンな部品で再現できることを示したものです。重要なステップは残し、実際のユーザーにとって安全でない部分は置き換え、支払い、レビュー、リカバリーを追加しました。以下の画像はすべて、実際のクリップでそのステップを実行して作ったものです。

ステップ1：クリップを正規化する

アップロードされた動画はすべて、安定した毎秒24フレームに変換され、長辺が最大960ピクセルになるよう縮小されます。スマホの映像は可変フレームレートのことが多く、モデルの同期がずれる原因になります。フレームレートとサイズを固定すると、後続のすべてのステップが同じグリッドで作業でき、処理も速く安くなります。

クリップは30秒以下で、音声トラックが必要です。MaboroshiのKlingルートでは3〜15秒で、各辺が720ピクセル以上である必要があります。

ステップ2：サウンドトラックを外す

生成を始める前に音声を取り外します。オープンモデルのDemucsが声と音楽を分離するので、動画モデルには必要なものだけが渡されます。元のトラック全体は手を加えずに保管されます。

だから完成したクリップは元の音とまったく同じに聞こえます。動画モデルは音声が苦手で、タイミングをずらしたり、ぼやけさせたり、新しい音を作り出したりします。そのため、元のトラックは最初からモデルを通しません。

ステップ3：深度をマップする

深度モデルが、各ピクセルがカメラからどれだけ離れているかをフレームごとに推定します。Maboroshiは動画向けに作られ、フレーム間で安定しているVideo Depth Anythingを使います。下の画像はより小さな単一フレーム用の深度モデルで作りましたが、考え方は同じです。近いほど明るく、遠いほど暗くなります。

深度があるからこそ、新しい被写体は同じ場所に正しいサイズで、タクシーの前、街灯の後ろに立てます。深度がないと、入れ替えたキャラクターが浮いて見えます。

ステップ4：被写体を切り抜く

Metaの動画向けSegment AnythingであるSAM 3 Videoが、指定した被写体（たとえば「person」）を見つけ、全フレームでその周りにきれいなマスクを描きます。端の小さな破片は自動で取り除かれ、余計なピクセルがモデルを混乱させないようにします。マスクはレンダラーに、何を入れ替えて何を残すかを正確に伝えます。

ステップ5：顔を追跡する

MediaPipe Face Landmarkerが、各フレームのすべての顔に478点のメッシュを描きます。このメッシュが表情、頭の向き、唇の動きを新しいキャラクターに引き継ぎます。入れ替えた猫が歌詞を歌っているように見えるのはこのためです。

ステップ6：コントロール動画を確認する

深度、マスク、顔メッシュが1本のコントロール動画にまとめられ、費用のかかる処理の前に確認できます。切り抜きが間違っていればそこで止められ、それ以上の支払いは発生しません。最終レンダリングは承認したバージョンに対してだけ実行されます。クリップ、被写体、参考画像を変えると承認はリセットされます。

Higgsfieldはこの段階を見せません。私たちはここが一番役立つと考えています。有料レンダリングが失敗する一番の原因は、悪いマスクだからです。

ステップ7：レンダリング

レンダリングは2つの方法のどちらかで行います。

• Seedance Premiumルート。 Seedance 2.5 reference-to-videoが、コントロール動画と参考画像から安価な下書きをレンダリングします。下書きが気に入った場合だけ1080pの料金を払い、最終版はその同じ下書きから仕上げるので、承認したものがそのまま届きます。
• Klingルート。 元のクリップとキャラクター画像1〜2枚をKling O3 video-to-video editに1回で渡します。準備も下書きもありません。より速く安く、ほとんどの入れ替えで私たちのデフォルトです。

ステップ8：元の音を戻す

どちらのルートも最後に元の音声トラック全体を戻します。再エンコードせずにコピーします。声、ビート、タイミングは撮影したときのままで、出力を並べて比べたときにまず気づくのがこの点です。

どんなシーンでも、その中の何でも変える

2026年10月12日、HiggsfieldはKatanaをリリースしました。AIチャットの中で動く編集スキルです。参考動画またはライブラリのプリセットと、人物、商品、衣服の写真を最大5枚渡すと、それらを中心に編集全体を作り直します。参考動画のショット構成とテンポは保たれ、修正したショットだけが再レンダリングされます。有効なHiggsfieldプランが必要で、そのプランのクレジットを消費します。

DeHubは同じ仕事を3つのツールでカバーし、すべてクリップ単位の料金です。

• Remake：複数ショットの編集に。 カットのあるクリップをアップロードします。Maboroshiがカット位置を自動で見つけるか、自分で最大7か所マークすると、クリップを最大8ショットに分けます。各ショットに個別の指示を出せ、どのショットも他に触れずに最大5回までやり直せます。満足したら、ショットは元の音声と一緒に順番どおりつなぎ直され、つなぎ合わせに追加料金はかかりません。各ショットの料金は通常のKling入れ替えと同じです。
• Kling O3 Character Swap：フレーム内の何でも。 DeHub Creatorで、このモデルは最大4枚の画像からキャラクター、商品、背景をクリップに入れ替えます。車、手に持った飲み物、ジャケット、後ろの街並みを変えるのに使えます。
• Seedance 2.0リスタイル：シーン全体に。 これもCreatorで、動画をアップロードして夜、クレイアニメ、吹雪などの新しい見た目を説明します。動きはそのままで、周りの世界がすべて変わります。

下の画像は、私たちのプロモ動画でRemakeがカットを検出した様子です。3つのカットを自動で見つけ、クリップを4つのショットに分けました。

なぜ安くできるのか

レンダリング以外の上記のステップはすべて低コストで動きます。正規化、音声分離、深度、マスク、顔メッシュは自社サーバーで動き、費用は数セントです。お金がかかるのは秒単位で課金される最終レンダリングモデルです。そこで私たちは次のようにしています。

• 秒単位で課金。 5秒のクリップに15秒分の料金はかかりません。
• 不要な有料ステップは省略。 Klingルートには準備料金もHDの追加料金もありません。
• 先に確認してもらう。 支払い前にマスクを承認するので、無駄になる有料レンダリングが減ります。
• サブスクなし。 目の前のクリップの分だけ払い、DeHubでチャージしたクレジットは期限切れになりません。

15秒クリップの比較：

• Higgsfield Genjutsu、1080p：144クレジット、約$7.20、プラン必須
• Higgsfield Genjutsu、720p：104クレジット、約$5.20、プラン必須
• DeHub Maboroshi、Klingルート、マスク確認と元音声付き：$4.55
• DeHub Creator、1080pのKling O3 Character Swap：$3.02
• Higgsfield Genjutsu、480p：40クレジット、約$2.00、プラン必須

短いクリップでは秒単位課金が有利：

• 5秒：Maboroshi $1.75、Creatorの入れ替え $1.01
• 10秒：Maboroshi $3.15、Creatorの入れ替え $2.02
• 15秒：Maboroshi $4.55、Creatorの入れ替え $3.02

正直な注意点が2つあります。480pのクリップで十分で、すでにHiggsfieldのプランに入っているなら、あちらの$2.00のほうが安いです。また、私たちのSeedance Premiumルートをフル1080pで使うとHiggsfieldよりかなり高く、15秒で約$31になります。入力と出力の1秒ごとに、モデルの原価に近い料金がかかるためです。詳しくはHiggsfield Genjutsuの代替ガイドで解説しています。

編集して、投稿して、稼ぐ

Higgsfieldはダウンロードボタンで終わりです。DeHubでは、クリップは仕事の終わりではなく出発点です。

内蔵の動画エディター。 DeHubの動画エディターはブラウザとDeHubアプリで動きます。トリミングスライダーではなく、本格的なマルチトラックのタイムラインです。Maboroshiのクリップを他の素材と並べて置き、次のことができます。

• シーンの切り替わりや音楽のビートでカット。
• 字幕を追加し、字幕トラック全体を別の言語に翻訳。
• 背景を削除。
• サウンドトラックや効果音を生成。
• 画面や声をタイムラインに直接録画・録音。

プロジェクトはバージョン履歴付きでクラウドに保存され、編集をシェアしてタイムスタンプ付きのレビューコメントをもらえます。

それを囲むソーシャルアプリ。 DeHubはスタジオであると同時にソーシャルネットワークでもあるので、完成した編集はエディターからそのまま投稿やShortになります。そこでは視聴者からチップをもらえ、再生回数はwatch-to-earn報酬にカウントされます。他の言語の視聴者は自動吹き替えをオンにできます。DeHubはフィード、Shorts、ライブ配信、スケジュール投稿ができるAIエージェントを拡充し続けています。

1つのアカウントで一連の流れがすべて完結します。入れ替えを作り、編集し、投稿して、報酬を得られます。

試してみる

1. 被写体の入れ替えならdehub.io/creator/maboroshiを開くか、フレーム内の何でも変えるならDeHub CreatorでKling O3 Character Swapを選びます。
2. 音声付きの短いクリップと、はっきりした参考画像を1〜2枚アップロードします。
3. マスクを確認して承認し、レンダリングします。料金は支払い前にドルで表示されます。
4. 結果を動画エディターで開き、編集を仕上げてフィードに投稿します。

よくある質問

Higgsfield Genjutsuはどういう仕組みですか？

Higgsfieldはパイプラインを公開していません。このようなエフェクトは、まず元のクリップを計測して作ります。フレームレート、音声、深度、被写体の輪郭、顔メッシュです。次にreference-to-videoまたはvideo-editモデルが被写体だけを再レンダリングし、最後に元の音声を戻します。Maboroshiはまさにこの連鎖を実行しており、このガイドで各ステップを紹介しています。

Genjutsu風の編集にはどんなモデルが使われていますか？

Maboroshiでは、音声にDemucs、深度にVideo Depth Anything、マスクにSAM 3 Video、顔にMediaPipe Face Landmarker、レンダリングにSeedance 2.5 reference-to-videoまたはKling O3 video-to-video editを使っています。

MaboroshiはHiggsfield Genjutsuより安いですか？

720pと1080pなら安いです。15秒のクリップはMaboroshiのKlingルートで$4.55、CreatorのKling O3 Character Swapで$3.02です。Higgsfieldでは約$5.20と$7.20です。DeHubのどちらのオプションもサブスクは不要です。Higgsfieldの480pは約$2.00で、すでにプランがあるならそちらが安くなります。

Higgsfield Katanaとは？DeHubに似たものはありますか？

Katanaは、参考となる編集を自分の人物、商品、衣服で作り直すための、Higgsfieldのチャット型スキルです。DeHubでは、Remakeが複数ショットのクリップを1ショットずつ作り直し、Kling O3 Character Swapがキャラクター、商品、背景を変え、Seedance 2.0がシーン全体のスタイルを変えます。3つともクリップ単位の料金です。

人物だけでなく背景や物も変えられますか？

はい。DeHub CreatorのKling O3 Character Swapで参考画像から商品や背景を入れ替えるか、Seedance 2.0でプロンプトを使ってクリップ全体のスタイルを変えられます。Maboroshi自体は背景を撮影したときのまま残します。きれいに被写体を入れ替えたいときはそれが理想です。

元の音声は残りますか？

はい。Maboroshiのどちらのルートでも、元のトラック全体が手を加えずに完成クリップへコピーされます。

補足

HiggsfieldのGenjutsuの数値は、2026年9月に確認したGenjutsuページによるものです。Katanaの詳細は、2026年10月12日付のHiggsfieldのKatana記事によるものです。Higgsfieldはクレジットで価格を設定し、プランを頻繁に変更するため、比較の前に最新の料金を確認してください。DeHubの価格は執筆時点の通常料金で、各ステップの前に表示される価格が常に支払う価格です。ステップ3の深度画像は説明用に単一フレームの深度モデルで作成しました。Maboroshi自体はVideo Depth Anythingを使っています。