当サイトはアフィリエイト広告(Amazonアソシエイト含む)を利用しています
PR

ComfyUIでControlNetを使う方法|ポーズ指定で思い通りの画像を生成する

画像生成AI・画像編集

画像生成AIを使っていて、「思い通りのポーズにならない」と感じたことはないでしょうか。何度ガチャを回しても理想の構図にならず、時間だけが過ぎていきます。そんなストレスを根本的に解決してくれるのがControlNetという技術です。

ControlNetをComfyUIと組み合わせることで、キャラクターのポーズや構図を細かく指定して画像を生成できるようになります。ポーズ指定の自由度を高めやすい組み合わせのひとつです。

この記事では、ComfyUI上でControlNetを導入する手順から、ポーズ指定の実践的な使い方、設定パラメータの調整方法まで、一通りの内容を解説していきます。

ControlNetとは

昼のデジタル工房でポーズの骨組みから絵が生まれるのを指し示すロボット猫のナビ助

ControlNetは、画像生成AIに「条件画像」を入力することで、生成結果をコントロールできる技術です。通常のテキストプロンプトだけでは実現が難しい「特定のポーズ」「特定の構図」「特定の輪郭」を維持したまま、新しい画像を生成できます。

ControlNetの技術的な詳細は、原論文(arXiv)で確認できます。

ControlNetで指定できること

プリプロセッサ 用途 入力画像
OpenPose 人物のポーズ指定 棒人間(スケルトン)画像
Canny 輪郭線を維持 エッジ検出画像
Depth 奥行き・構図を維持 深度マップ
Lineart 線画を維持 線画イラスト
Scribble ラフスケッチから生成 手書きスケッチ
Tile 高解像度化 低解像度画像
IP-Adapter 画風・キャラ維持 参考画像

このように用途ごとにプリプロセッサが分かれており、目的に応じて使い分けることで柔軟な画像生成が可能になります。

ナビ助
ナビ助
ControlNetを覚えると、画像生成のガチャ回数をぐっと減らせるよ!ポーズも構図も狙いやすくなるんだよね!

ComfyUIでControlNetを導入する手順

夜のPCのグラフィックボードとVRAMメーターを定規で測って考えるロボット猫のナビ助

ステップ1:ComfyUIの準備

ComfyUIが未インストールの場合は、公式GitHubからダウンロードしてセットアップしてください。Pythonの環境があれば比較的簡単に動作します。ポータブル版を使えば、環境構築の手間を減らせます。

ローカルで画像生成を回すなら、VRAMの量が快適さを左右します。SDXLまで見据えるならVRAM 12GB前後を目安にグラフィックボードを選ぶ方が多いようです。

関連商品をCheck!!👉 「グラフィックボード」を見る
Amazon 楽天 Yahoo!

ComfyUIをローカルで回す環境を考えるなら、グラフィックボードを選びやすいBTOパソコンという方法もあります。OZ GAMINGはRTX 5050〜RTX 5090、RX 9070 XTなどGPU別にモデルを探せる国内組立のゲーミングPCブランドで、GPUの種類を軸に予算と合わせて絞り込めます。ただしVRAM容量はGPUごとに異なるため、商品ページで確認してから選ぶのが安心です。

OZ GAMING

OZ GAMINGの公式サイトを見る

ローカルLLM用のPCはミニPCで足りる?GMKtec・MINISFORUM・Sycom・OZ GAMINGの選び方
OllamaやLM Studioを使って、ChatGPTのようなAIを自分のPCで動かしてみたい。画像生成もローカルで試したい。そう考え始めたとき、最初にぶつかるのが「どんなPCを用意すればいいのか」という問題です。クラウドAIの月額料金や...

ステップ2:ControlNetモデルをダウンロード

Hugging FaceからControlNetのモデルファイルをダウンロードします。

  • SD1.5用:lllyasviel/ControlNet-v1-1 から各モデルをDL
  • SDXL用:各種SDXL対応ControlNetモデル

ダウンロードしたファイルはComfyUI/models/controlnet/フォルダに配置します。モデルごとにファイルサイズが異なるため、ストレージの空き容量を事前に確認しておくことをおすすめします。

ステップ3:プリプロセッサノードを追加

ComfyUIのカスタムノードマネージャーから、ControlNet用のプリプロセッサノード(comfyui_controlnet_aux)をインストールします。

  1. ComfyUI Managerを開く
  2. 「Install Custom Nodes」で「controlnet_aux」を検索
  3. インストールしてComfyUIを再起動

ステップ4:ワークフローを構築

ComfyUIでControlNetを使うワークフローの基本構成は以下の通りです。

  1. Load Image:条件画像(ポーズ画像など)を読み込み
  2. Preprocessor:画像をControlNet用に変換(OpenPose検出など)
  3. Apply ControlNet:ControlNetの条件をモデルに適用
  4. KSampler:プロンプト+ControlNet条件で画像を生成

この4つのノードをつなぐだけで、基本的なControlNetワークフローが完成します。各ノードの接続方法は、ComfyUIの入出力端子の色を合わせるだけなので、視覚的に理解しやすい設計です。

ポーズ指定の実践ガイド

方法1:OpenPoseでポーズを指定する

よく使われるポーズ指定の方法です。具体的な手順は以下の通りです。

  1. 参考にしたいポーズの写真やイラストを用意
  2. ComfyUIでOpenPoseプリプロセッサに通す
  3. 棒人間(スケルトン)が自動抽出される
  4. この棒人間をControlNetの条件として使用

OpenPoseエディタを使えば、棒人間のポーズを手動で調整することも可能です。関節の位置を自由に動かせるため、参考画像がなくても理想のポーズを一から作り上げられます。

方法2:3Dポーズツールを使う

自由なポーズを作りたい場合は、3Dポーズツールが非常に便利です。

  • Posemy.art:ブラウザ上で3Dモデルのポーズを自由に調整
  • Magic Poser:直感的なポーズ作成ツール
  • Design Doll:デスクトップアプリで精密なポーズ制作

これらのツールでポーズを作成し、スクリーンショットを撮影して、ControlNetの条件画像として入力するという流れです。

アナログ派なら、可動式のデッサン人形を組んで撮影し、その写真をOpenPoseに通す方法もあります。手で角度を決められるぶん、狙った構図に早くたどり着けることがあります。

関連商品をCheck!!👉 「デッサン人形」を見る
Amazon 楽天 Yahoo!

方法3:既存画像からポーズだけ抽出する

雑誌の写真やアニメのワンシーンなど、参考にしたいポーズの画像があれば、OpenPoseで骨格だけを抽出してControlNetに使えます。元画像そのものではなくポーズ(骨格)の情報だけを使えるのがポイントです。ただし、元画像の扱いによっては権利上の問題が生じる場合もあるため、利用規約や著作権に注意してください。

ポーズを指定できても、人体の形やバランスを自分で見分けられると、仕上がりの確認がしやすくなります。Colosoは、人体ドローイングやキャラクターなどの講座を動画で提供するクリエイター向けのオンライン学習サービスです。AIツールの使い方を学ぶ講座は確認できていませんが、人物の描き方の基礎を補いたい場合の選択肢として、公式サイトで講座の内容を確認できます。

Coloso

Colosoの特徴を確認する

AIで作る前に基礎を学ぶ|Colosoのクリエイター向けオンライン講座の特徴と選び方
※本記事はアフィリエイト広告(PR)を含みます。画像生成AIや動画生成AIを使い始めると、プロンプトを工夫するだけでは仕上がりに差が出ない場面に出会います。構図が単調になる、色の組み合わせがちぐはぐになる、動きの演出が思い通りにならない、と...
ナビ助
ナビ助
OpenPoseがお手軽だけど、3Dポーズツールを使えば完全オリジナルのポーズも作れるよ!慣れてきたら挑戦してみてね!

ControlNetの設定パラメータ

Strength(強度)

ControlNetの影響度を0〜1で調整します。値の目安は以下の通りです。

  • 0.5〜0.7:程よくコントロール。プロンプトとのバランスが取れる
  • 0.8〜1.0:強くコントロール。ポーズに忠実だが、自然さが若干低下
  • 0.3〜0.5:ゆるくコントロール。参考程度に留める
ポイント

最初は0.7くらいから試して調整していくのがおすすめです。ポーズの忠実さと画像の自然さのバランスを見ながら、微調整してみてください。

Start / End Step

ControlNetが効く生成ステップの範囲を指定できます。序盤だけ効かせて、後半は自由に生成させるという使い方が可能です。構図は維持しつつ細部は自由に生成させたい場合に、この設定が役立ちます。

例えば、Start=0、End=0.5に設定すると、生成の前半ではControlNetの条件が反映され、後半ではAIが自由にディテールを追加します。構図のガイドラインだけ設定して、細かい表現はAI任せにしたい場合に有効なテクニックです。

複数のControlNetを同時に使う

作業台を真上から見て3つのControlNetの条件を1枚に束ねるロボット猫のナビ助

ComfyUIなら、複数のControlNetを同時に適用できます。例えば以下のような組み合わせが効果的です。

  • OpenPose(ポーズ指定)+ Depth(構図指定)
  • OpenPose(ポーズ指定)+ IP-Adapter(画風指定)
  • Canny(輪郭維持)+ Lineart(線画維持)

組み合わせ次第で、かなり細かいコントロールが可能になります。ただし、複数のControlNetを同時に使う場合は、それぞれのStrengthを控えめに設定しないと、条件同士が干渉して不自然な結果になることがあります。各ControlNetのStrengthを0.4〜0.6程度に抑えるところから試すと調整しやすくなります。

よくある質問(FAQ)

Q1. AUTOMATIC1111でもControlNetは使える?

はい、AUTOMATIC1111にもControlNet拡張機能があります。ただし、複数ControlNetの同時使用やワークフローの柔軟性ではComfyUIの方が組みやすいという特徴があります。

Q2. SDXLでもControlNetは使える?

はい、SDXL対応のControlNetモデルが公開されています。SD1.5用とは別のモデルが必要なので、ダウンロード時に注意してください。

Q3. ControlNetのモデルファイルの容量はどのくらい?

SD1.5用は1モデルあたり約1.4GB前後、SDXL用は約2.5GB前後のものが多いです(配布形式により異なるため、ダウンロードページで確認してください)。複数のプリプロセッサを使う場合は、ストレージの空き容量に余裕を持たせておきましょう。

モデルや生成済み画像でドライブが埋まってきたら、外付けSSDに逃がすのが手軽です。読み書きが速いタイプを選んでおくと、モデルの読み込み待ちも短くなります。

関連商品をCheck!!👉 「外付けSSD」を見る
Amazon 楽天 Yahoo!

Q4. 手や指のポーズも正確に指定できる?

OpenPoseでは手の関節も検出できますが、完璧ではありません。手のポーズを正確に指定したい場合は、Depthマップと組み合わせるか、生成後にInpaintで修正するのが現実的です。

Q5. 動画のポーズも指定できる?

AnimateDiffとControlNetを組み合わせることで、動画にもポーズ指定が可能です。ただし設定が複雑になるので、まずは静止画で慣れてから挑戦することをおすすめします。

Q6. ControlNetなしでポーズを指定する方法はある?

プロンプトだけでもある程度のポーズ指定は可能ですが、ポーズの再現精度ではControlNetのほうが狙い通りに近づけやすい傾向があります。ポーズを細かく指定したい場合は、ControlNetの導入を検討してみてください。

ナビ助
ナビ助
最初の設定だけちょっと手間だけど、使えるようになると表現の幅が広がるよ!まずはOpenPoseから試してみるのがおすすめ!

まとめ:ControlNetで画像生成の「ガチャ」から卒業しましょう

ComfyUI+ControlNetは、画像生成AIのポーズ指定で広く使われている組み合わせです。

ポイント
  • OpenPoseでポーズ指定、Depthで構図指定、Cannyで輪郭維持
  • Strengthを0.7前後から調整するのがおすすめ
  • 複数ControlNetの同時使用でさらに細かいコントロールが可能
  • 3Dポーズツールを使えば、自由なポーズも作りやすい
  • SDXLにも対応しているが、モデルは別途ダウンロードが必要

「何度生成しても思い通りにならない」というストレスから解放されたいなら、ControlNetは試す価値のあるツールです。最初の設定を乗り越えれば、画像生成の自由度が広がります。ぜひ一度試してみてください。

📦 この記事で紹介した商品

👉 「グラフィックボード」を見る
Amazon 楽天 Yahoo!

👉 「デッサン人形」を見る
Amazon 楽天 Yahoo!

👉 「外付けSSD」を見る
Amazon 楽天 Yahoo!

タイトルとURLをコピーしました