ベクター (svg) 画像も扱えて、タブレットにも対応した、無料・オープンソースのペイントソフト Krita で、 AI を用いて画像を生成するプラグイン「krita-ai-diffusion」でローカルマネージドサーバにインストールできる項目の意味やライセンスを確認しながら数話に分けて紹介します。
※ CreativeML Open RAIL-M/M++ ライセンスについては、「CreativeML OpenRAIL M と M++ のライセンスの解釈」を参照してください。
※ライセンスについては使用するもの以外は基本的に記載しません。また、記載しているライセンスの意味は、調べた筆者の解釈なので詳細はライセンス自体をお読みください。
※ Krita のバージョンは 5.2.9 です。
※ krita-ai-diffusion のバージョンは 1.34.0 です。
前回の記事
前回の Part2 の記事は以下です。
各モデルデータのダウンロード元について
紹介する拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet) の各モデルデータを krita-ai-diffusion がダウンロードする場所については以下の記事を参照してください。
krita-ai-diffusion ローカルサーバの設置 (Part3)
ControlNet （拡張機能）の選択
ControlNet は、線画に色を塗るなど、特定の描写能力を追加する拡張機能です。
ControlNetは、Stable Diffusionを利用した画像生成において、細かなイラストの描写を可能にする拡張機能です。
OpenPoseなどのControlNetは商用利用できる？ライセンス・商用利用可能な機能について徹底解説！ | romptn Magazine
下図は Stable Diffusion v1.5 の拡張機能です。
拡張機能は必要に応じて 0 個以上インストールします。
以下の引用に書かれているように、ControlNet の開発元によってライセンスが異なるので注意しましょう。
Mikubillによって開発されたControlNetはGPL-3.0ライセンスの条件の下で商用利用が可能です。
（中略）カーネギーメロン大学（CMU）のPerceptual Computing Labが開発したOpenPoseは、GitHubページに掲載されているライセンス情報によると、OpenPoseは商用目的での利用が許可されていません。
OpenPoseなどのControlNetは商用利用できる？ライセンス・商用利用可能な機能について徹底解説！ | romptn Magazine
ControlNet Scribble
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、スクリブルで安定した拡散を制御します。
Control Stable Diffusion with Scribbles.
スクリブルで安定した拡散を制御します。
lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
他の方の同じ名前の ControlNet の説明によると、手描きのラフスケッチを元に画像を生成する拡張機能です。
The ControlNet+SD1.5 model to control SD using human scribbles. The model is trained with boundary edges with very strong data augmentation to simulate boundary lines similar to that drawn by human.
人間の落書きを使用して SD を制御する ControlNet+SD1.5 モデル。このモデルは、人間が描いたものと同様の境界線をシミュレートするために、非常に強力なデータ拡張を使用して境界エッジを使用してトレーニングされています。lllyasviel/ControlNet · Hugging Face と Google 翻訳
ControlNet Line Art
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、画像から線画を生成できます。
This model is trained on awacke1/Image-to-Line-Drawings. The preprocessor can generate detailed or coarse linearts from images (Lineart and Lineart_Coarse). The model is trained with sufficient data augmentation and can receive manually drawn linearts.
このモデルは、awacke1/Image-to-Line-Drawings でトレーニングされています。プリプロセッサは、画像から詳細または粗い線画を生成できます (Lineart および Lineart_Coarse)。モデルは十分なデータ拡張を使用してトレーニングされており、手動で描画された線画を受け取ることができます。lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
ControlNet Soft Edge
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、ソフトエッジで安定した拡散を制御します。
Control Stable Diffusion with Soft Edges.
ソフトエッジで安定した拡散をコントロール。lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
Soft Edge は、輪郭をソフトに検出する拡張機能です。
「Soft Edge」は画像から輪郭抽出し扱うControlNetのモデルになっており、inputした画像の輪郭をソフトに検出します。同じ輪郭検出モデルのcannyよりも柔らかな線で検出が可能です。
ControlNet -Soft Edgeの特性や使い方を解説 / Stable Diffusion web UI | taziku / AI × クリエイティブ | 東京・名古屋
ControlNet Canny Edge
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、Canny Maps で安定した拡散を制御します。
Control Stable Diffusion with Canny Maps.
Canny Maps で安定した拡散を制御します。lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
他のサイトの同じ canny edge という名前の ControlNet の説明によると、鋭いエッジを検出する拡張機能です。
The ControlNet+SD1.5 model to control SD using canny edge detection.
鋭いエッジ検出を使用して SD を制御する ControlNet+SD1.5 モデル。lllyasviel/ControlNet · Hugging Face と Google 翻訳
ControlNet Depth
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、複数の解像度で複数の深度マップを生成します。
Training data: Midas depth (resolution 256/384/512) + Leres Depth (resolution 256/384/512) + Zoe Depth (resolution 256/384/512). Multiple depth map generator at multiple resolution as data augmentation.
Acceptable Preprocessors: Depth_Midas, Depth_Leres, Depth_Zoe. This model is highly robust and can work on real depth map from rendering engines.
トレーニング データ: ミダスの深度 (解像度 256/384/512) + レレスの深度 (解像度 256/384/512) + ゾーイの深度 (解像度 256/384/512)。データ拡張として複数の解像度で複数の深度マップを生成します。 使用可能なプリプロセッサ: Depth_Midas、Depth_Leres、Depth_Zoe。このモデルは非常に堅牢であり、レンダリング エンジンからの実際の深度マップで動作できます。lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
ControlNet Normal
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、ノーマルマップ（法線マップ）を扱います。
Normal BAE. This model can accept normal maps from rendering engines as long as the normal map follows ScanNet’s protocol. That is to say, the color of your normal map should look like the second column of this image.
通常のBAE。このモデルは、法線マップが ScanNet のプロトコルに従っている限り、レンダリング エンジンからの法線マップを受け入れることができます。つまり、法線マップの色は、この画像の 2 番目の列のようになります。lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
ControlNet Pose
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、以下の引用のように Openpose を扱えます。
The model is trained and can accept the following combinations:
lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
- Openpose body
- Openpose hand
- Openpose face
- Openpose body + Openpose hand
- Openpose body + Openpose face
- Openpose hand + Openpose face
- Openpose body + Openpose hand + Openpose face
OpenPose は、元画像や棒人間からポーズを抽出して、同じポーズの画像を生成します。
ControlNetはStable Diffusionの拡張機能の一つであり、その機能はContorlNetのモデルによって異なります。
ControlNet OpenPosedでは、元画像や棒人間からポーズを抽出して、同じポーズの画像を生成することができます。
【Stable Diffusion Web UI】ControlNetの使い方 OpenPose | 業界最安級GPUクラウド | GPUSOROBAN
Control Net Segmentation
「comfyanonymous/ControlNet-v1-1_fp16_safetensors · Hugging Face」に情報が少なく不明です。
そのサイトのリンク先「lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1」によると、以下の引用のようにモデル ADE20K または COCO の両方のタイプの注釈を受け取ることができます。
Now the model can receive both type of ADE20K or COCO annotations. We find that recognizing the segmentation protocol is trivial for the ControlNet encoder and training the model of multiple segmentation protocols lead to better performance.
これで、モデルは ADE20K または COCO の両方のタイプの注釈を受け取ることができるようになりました。 ControlNet エンコーダにとってセグメンテーション プロトコルを認識することは簡単であり、複数のセグメンテーション プロトコルのモデルをトレーニングすることがパフォーマンスの向上につながることがわかりました。
lllyasviel/ControlNet-v1-1-nightly: Nightly release of ControlNet 1.1 と Google 翻訳
ControlNet Stencil
スキャン可能なクリエイティブな QR コードのイラストを生成します。
This model is made to generate creative QR codes that still scan. Keep in mind that not all generated codes might be readable, but you can try different parameters and prompts to get the desired results.
このモデルは、スキャン可能なクリエイティブな QR コードを生成するために作成されています。生成されたコードのすべてが読み取れるわけではないことに注意してください。ただし、さまざまなパラメーターやプロンプトを試して、望ましい結果を得ることができます。monster-labs/control_v1p_sd15_qrcode_monster · Hugging Face
IP-Adapter Face (SD1.5)
テキストから画像への拡散モデルの画像プロンプト機能を実現する効果的で軽量なアダプターです。
we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pre-trained text-to-image diffusion models. An IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fine-tuned image prompt model. IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. Moreover, the image prompt can also work well with the text prompt to accomplish multimodal image generation.
事前トレーニングされたテキストから画像への拡散モデルの画像プロンプト機能を実現する効果的で軽量なアダプターである IP アダプターを紹介します。わずか 2,200 万のパラメータを持つ IP アダプターは、微調整されたイメージ プロンプト モデルと同等またはそれ以上のパフォーマンスを達成できます。 IP アダプターは、同じベース モデルから微調整された他のカスタム モデルだけでなく、既存の制御可能なツールを使用した制御可能な生成にも一般化できます。さらに、画像プロンプトはテキスト プロンプトと連携して、マルチモーダルな画像生成を実現することもできます。h94/IP-Adapter · Hugging Face
今回はここまで
続きは次回の記事で紹介します。
参照サイト Thank You!
- Krita | デジタルでのお絵描きと創造の自由を
- Acly/krita-ai-diffusion: Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.
- Interstice
- Plugin Installation | Krita AI Handbook
- stable-diffusion-v1-5/stable-diffusion-v1-5 · Hugging Face
- lllyasviel/ControlNet · Hugging Face
- KritaのAI生成プラグイン「Krita AI Diffusion」をカスタムComfyUIサーバで試す
- CUDA – Wikipedia
- DirectML – Wikipedia
- 【画像生成AI】Stable Diffusion派生モデルを利用・公開するときはライセンスに注意しましょう｜はせ@AI Photo
- ControlNet -Soft Edgeの特性や使い方を解説 / Stable Diffusion web UI | taziku / AI × クリエイティブ | 東京・名古屋
- セマンティックセグメンテーションとは？AI開発におけるセグメンテーションの種類と活用事例 – AIポータルメディアAIsmiley
- How to use Stencil control layer · Acly/krita-ai-diffusion · Discussion #685
- stencilとは・意味・使い方・読み方・例文 – 英ナビ!辞書 英和辞典
- README.md · h94/IP-Adapter-FaceID at main
- OpenPoseなどのControlNetは商用利用できる？ライセンス・商用利用可能な機能について徹底解説！ | romptn Magazine
- h94/IP-Adapter · Hugging Face
記事一覧 → Compota-Soft-Press
コメント