この記事の内容
- 本記事では、人物にプロンプトでは実現出来ないようなポーズをさせたり、手書きの絵を基に画像生成させることが可能となる拡張機能 ControlNetの機能概要及び、インストール方法を紹介します。
- ControlNetの機能は多岐に渡るため、本記事では各機能の概要のみを説明し、詳細については別記事で説明します。
コントロールネットとは
ControlNetとは、画像生成の際に詳細な制御を可能にする拡張機能です。ControlNetには様々な機能が含まれており、具体的には人物のポーズを指定するためのOpenpose、手書きの絵を基に画像を生成するScribble、画像の輪郭線を基に画像を生成するCannyなどといった機能があります。これらの機能を活用することで、意図通りの画像を生成することができます。
以下は各機能の概要と効果・利用シーンです。具体的な利用方法については機能毎の別記事で紹介します。
| 機能名 | 概要 | 効果・利用シーン |
|---|---|---|
| Openpose | 自由にポーズを指定することができる機能。 | プロンプトでは表現できないようなポーズの画像を生成する。 |
| Scribble | 手描き画像から、画像を生成する機能。 | ペイントで手書きした絵を基に画像を生成する。 |
| Canny | 画像の輪郭線 (Canny エッジ) を検出し、この情報を基に画像を生成する機能。 | ・線画風の画像を生成する。 ・既存の画像から線画を検出し、これを基に新たな画像を生成することで、写真から絵画風の画像に変換する。 |
| Soft Edge | 画像の輪郭を柔らかく検出し、この情報を基に画像を生成する機能。 | ・Cannyと比較して、より柔らかく自然な輪郭を持つ画像を生成できる。 ・水彩画やパステル画のような柔らかいタッチの画像に適している。 |
| Lineart | 画像から線画を抽出し、この情報を基に画像を生成する機能。 | ・下書きの線画を基に、AIに色を塗らせる。 ・水彩画、油絵、アニメなど、様々なスタイルの画像に変換する。 |
| Anime Lineart | 画像からアニメ風の線画を抽出し、この情報を基に画像を生成する専用機能。 | ・Lineartと比較して、アニメ特有の輪郭線やディテールをより正確に捉え、よりアニメらしい画像生成に特化。 |
| Depth | 画像の奥行き情報（深度マップ）を基に画像を生成する機能。 | ・奥行の深い浅いを明確にし、立体感のある画像を生成する。 ・背景の奥行を深く設定することで、背景をぼかして被写体を際立たせる。 |
| Normal | 画像の法線マップの情報を基に画像を生成する機能。法線マップとは、画像の各ピクセルにおける面の向きを色で表現したもの。 | 自然な陰影が加わり、より立体的な印象となる。 |
| MLSD | 画像から直線部分 (M-LSD) を検出し、この情報を基に画像を生成する機能。 | ・建物の輪郭や道路などの直線的な要素を正確に再現し、建築物や都市景観の画像を生成する際に効果的。 ・直線構造を基に、モザイク模様や幾何学的なパターンを生成することができる。 |
| Segmentation | 画像内のオブジェクトを自動的に分割し、その分割された情報を基に画像を生成する機能。画像をパズルのようにピース分けし、そのピースを参考に新しい絵を描くようなイメージ。 | ・画像内の特定のオブジェクトを抽出し、別のオブジェクトに置き換える。 |
| Shuffle | 画像を一度バラバラに分解して、それを基に新たな画像を生成する機能。 | ・既存の画像を全く異なるスタイルや構図へ変換する。 ・同じ画像から様々なバリエーションの画像を生成する。 |
| Instruct Pix2Pix | プロンプトにて、既存の画像を直接編集できる機能。従来の画像編集ソフトでは難しかった、高度な画像操作を自然言語で支持できる。 | ・複雑な画像編集操作を、まるで人に指示を出すように簡単な文章で実行できる。 ・プロンプトの内容に基づいて、画像の特定部分を変更したり、スタイルを変更することができる。 |
| Inpaint | 画像の一部を指定して、その部分を新しい要素で塗り替えたり、消し去る機能。 | ・画像から不要なオブジェクトを削除。 ・既存のオブジェクトを別のオブジェクトに置き換え。 |
| Tile | 画像をタイル状に分割して処理し、新しいディテール生成や既存のディールの修正を行うための機能。 | 画像の解像度を上げたり、細部の書き込みを増やす。 |
ControlNetインストール方法
ControlNetのインストールは以下の2ステップあるので、各ステップごとに説明します。
- ステップ1：ControlNetのインストール
- ステップ2：ControlNet用のモデルデータをダウンロード
ステップ1：ControlNetのインストール
（１）githubへアクセスし、以下のURLをコピーします。
（２）Stable DiffusionのExtensions→Install from URLを開き、コピーしたURLを張り付けます。Installボタンを押すとインストールが始まり、完了するとボタンの下に『Installed into C:\xxxx・・・』といったメッセージが表示されます。
（３）インストール完了後、Stable Diffusionを再起動します。再起動時、コントロールネットを利用するために必要なファイルのインストールが行われます。
（４）再起動するとControlNetが追加されます。
なお、コントロールネットのインストール後にStable Diffusionが起動しなくなる場合があるようです。この場合はweb_user.batに–administratorを追加してからStable Diffusionを起動してください。
set COMMANDLINE_ARGS=--autolaunch --precision full --no-half --medvram --xformers --administratorステップ2：ControlNet用のモデルデータをダウンロード
（１）Huggin Faceにアクセスし、ControlNetで利用するためのモデルデータをダウンロードします。
ファイル名が”control-v11″で始まるものを全てダウンロードします。
（２）ダウンロードしたファイルはStable Diffusionのインストールフォルダ配下のextensions→sd-webui-controlnet→modelsに置きます。
（３）Stable DiffusionのControlNetを開き、モデルが表示されることを確認します。
以上でControlNetのインストールは完了です。次回は各機能の具体的な使い方を紹介します。
コメント