ベクター (svg) 画像も扱えて、タブレットにも対応した、無料・オープンソースのペイントソフト Krita で、 AI を用いて画像を生成するプラグイン「krita-ai-diffusion」でローカルマネージドサーバにインストールできる項目の意味やライセンスを確認しながら数話に分けて紹介します。
※ CreativeML Open RAIL-M/M++ ライセンスについては、「CreativeML OpenRAIL M と M++ のライセンスの解釈」を参照してください。
※ライセンスについては使用するもの以外は基本的に記載しません。また、記載しているライセンスの意味は、調べた筆者の解釈なので詳細はライセンス自体をお読みください。
※ Krita のバージョンは 5.2.9 です。
※ krita-ai-diffusion のバージョンは 1.34.0 です。
前回の記事
前回は、krita-ai-diffusion プラグインを Krita にインストールしてドッキングパネルを表示しました。
商用利用の可否についても紹介しました。
各モデルデータのダウンロード元について
紹介する拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet) の各モデルデータを krita-ai-diffusion がダウンロードする場所については以下の記事を参照してください。
拡散ベースモデル、拡散モデル、拡張機能について
ローカルマネージドサーバにインストールできる項目には、拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet) があります。
拡散は、画像生成の手法です。
拡散モデルは、主に画像生成やその他のコンピューター・ビジョンのタスクに使用される生成モデルです。拡散ベースのニューラル・ネットワークは、ディープラーニングを通じてトレーニングされ、ランダムなノイズを含むサンプルを徐々に「拡散」させてから、その拡散プロセスを逆に実行することで高品質の画像を生成します。
拡散モデルとは| IBM
拡散ベースモデル (Workloads) は、拡散による画像生成のベースとなるモデルです。
拡散モデル (CheckPoint) は、拡散ベースモデルから特定の学習・調整をしたモデルで、これが実際に画像を生成します。
機能拡張 (ControlNet) は、線画を抽出するなど特定の機能に特化したデータです。
krita-ai-diffusion プラグインで、ローカルマネージドサーバに、拡散モデルをインストールする場合は、そのベースとなる拡散ベースモデルをインストールする必要があります。
また、拡散モデルは、１個以上インストールする必要があります。
機能拡張は 0 個でも構いません。
ローカルマネージドサーバの項目の確認
前回、表示した AI Image Generation ドッキングパネル の Configure ボタンを押して画像生成を行うためのローカルマネージドサーバにインストールできる項目の確認を行います。
Configure Image Diffusion – Krita ダイアログを開いて、左側のリストから Connection を選択してページを表示します。
Connection のページでは、画像生成を実現するための３つの方法を選択します。
既存のオンラインサービスに接続する３番目がデフォルトで選択されています。
- Local Managed Server
Let the Krita plugin install and run a local server on your machine
Krita プラグインをマシンにインストールしてローカル サーバーを実行します。 - Custom Server (local or remote)
Connect to a running ComfyUI instance which you set up and maintain yourself
自分でセットアップおよび保守する実行中の ComfyUI インスタンスに接続します - Online Service
Generate images via GPU Cloud Service
GPUクラウドサービス経由で画像を生成
www.interstice.cloud
今回確認するローカルマネージドサーバにインストールする項目を確認するには、 Local Manged Server ラジオボタンを選択します。
インストールに必要な容量について
以下は、上図の公式のローカルマネージドサーバを設置するためのガイドです。
※前述の AI による画像生成を行うウェブサービス「www.interstice.cloud」の Download ボタンを押すと表示されるページにかいてありました。
Installation
- Choose a path where to install.
Keep in mind AI models can be very large, 10GB is a minimum, 50GB+ not unusual depending on optional packages.- Choose a backend. CUDA only works for NVIDIA GPUs. Use DirectML for AMD. Make sure to do this before you install!
- Select packages. You need at least one workload and one checkpoint.
Everything else is optional and will considerably increase download size. You can come back later and add packages at any time.- Click install!
Plugin Installation | Krita AI Handbook
- インストール先のパスを選択します。 AI モデルは非常に大きくなる可能性があることに注意してください。オプションのパッケージによっては、最小 10 GB、50 GB 以上も珍しくありません。
- バックエンドを選択します。 CUDA は NVIDIA GPU でのみ動作します。 AMD には DirectML を使用します。インストールする前に必ずこれを行ってください。
- パッケージを選択します。少なくとも 1 つのワークロードと 1 つのチェックポイントが必要です。
それ以外はすべてオプションであり、ダウンロード サイズが大幅に増加します。後で戻ってきて、いつでもパッケージを追加できます。- 「インストール」をクリックしてください！
上記の引用にあるように、最小で 10GB の容量が必要で、オプションを増やすと 50 GB 以上になる場合もあります。
これらのオプションは後から追加でインストールできるようなので、最小限の設定でインストールを行います。
これ以降、この記事では、数話にわたり、ローカルマネージドサーバにインストールできる項目を中心に、選択肢１つずつについて調べた意味やライセンスの筆者の解釈を紹介します。
※ライセンスについては、実際にインストールする項目以外は、ほとんど調べていません。
バックエンドの選択
AI で用いるバックエンドを選択します。
これは、PC などの実行環境のグラフィックボードの種類・有無によって選択肢が制限されます。
※例では、NVIDIA のグラフィックボードを使用しているためか、デフォルトで選択されていた Use CUDA を選択します。
前回の推奨環境に書いてあったように CPU は、処理時間が相当かかるかもしれません。
- Run on CPU
- Use CUDA (NVIDIA GPU)
- Use DirectML (GPU)
CUDA（Compute Unified Device Architecture：クーダ）とは、NVIDIAが開発・提供している、GPU向けの汎用並列コンピューティングプラットフォーム（並列コンピューティングアーキテクチャ）およびプログラミングモデルである[5][6][7]。専用のC/C++コンパイラ (nvcc) やライブラリ (API) などが提供されている。
CUDA – Wikipedia
DirectML（Direct Machine Learning）は、マイクロソフトが提供している、Microsoft Windows上でGPUもしくはNPUを用いてニューラルネットワーク（ディープラーニング）を実行するためのC++の低レベルAPI。
DirectML – Wikipedia
Core components
Core components は、インストール状況を確認できますが、選択肢はありません。
※初期状態では、全て Not installed (インストールしていない) 状態でした。
- Python
- ComfyUI
- Custom nodes
- Required Models
Workloads (拡散ベースモデル)
インストールする AI の拡散ベースモデルを選択します。
※例では、デフォルトから変更せず Stable Diffusion 1.5 だけをインストールします。
Choose Diffusion base model to install its basic requirements. Read more about workloads.
基本要件をインストールするには、Diffusion ベース モデルを選択します。ワークロードについて詳しくは、こちらをご覧ください。Configure Image Diffusion – Krita ダイアログの Connection, Local Managed Server を選択した際のダイアログと Google 翻訳
Stable Diffusion 1.5
Stable Diffusion 1.5 はフォトリアリスティックな画像を生成する拡散モデルです。
※ダイアログのデフォルトでは、インストールされる設定です。
Released in October 2022 this is the older of the two base models. It was trained on 512×512 images originally, although custom checkpoints also work well for resolutions up to 768. It is still suitable for much higher resolutions by generating a low resolution image first and then upscaling it – the Plugin will do this automatically.
Advantages of SD 1.5:
- Requires less GPU memory (VRAM)
- Requires less disk space
- More community content available (checkpoints, LoRA)
- Wider range of control modes available
2022 年 10 月にリリースされたこれは、2 つのベース モデルのうち古い方です。元々は 512x512 の画像でトレーニングされましたが、カスタム チェックポイントは最大 768 の解像度でも適切に機能します。最初に低解像度の画像を生成してからそれをアップスケールすることで、さらに高い解像度にも適しています。プラグインはこれを自動的に行います。Base Models | Krita AI Handbook と Google 翻訳
SD 1.5 の利点:
必要な GPU メモリ (VRAM) が少なくなります
必要なディスク容量が少なくて済む
さらに多くのコミュニティ コンテンツが利用可能 (チェックポイント、LoRA)
より幅広い制御モードが利用可能
Stable Diffusion is a latent text-to-image diffusion model capable of generating photo-realistic images given any text input. For more information about how Stable Diffusion functions, please have a look at 🤗’s Stable Diffusion blog.
The Stable-Diffusion-v1-5 checkpoint was initialized with the weights of the Stable-Diffusion-v1-2 checkpoint and subsequently fine-tuned on 595k steps at resolution 512×512 on “laion-aesthetics v2 5+” and 10% dropping of the text-conditioning to improve classifier-free guidance sampling.
安定拡散は、任意のテキスト入力が与えられた場合にフォトリアリスティックな画像を生成できる潜在的なテキストから画像への拡散モデルです。安定拡散の機能の詳細については、🤗 の安定拡散ブログをご覧ください。 Stable-Diffusion-v1-5 チェックポイントは Stable-Diffusion-v1-2 チェックポイントの重みで初期化され、その後「laion-aesthetics v2 5+」で解像度 512x512 の 595k ステップで微調整され、分類子なしのガイダンス サンプリングを改善するためにテキストコンディショニングが 10% 削減されました。stable-diffusion-v1-5/stable-diffusion-v1-5 · Hugging Face と Google 翻訳
Stable Diffusion 1.5 は初期の安定版で、軽量ですが、品質が低い特徴があります。
画像サイズは 512 × 512 です。
SD1.5 (Stable Diffusion v1.5)
SD1.5は、Stable Diffusionの最初期の安定したバージョンで、多くのユーザーが利用しているモデルです。多様なチェックポイントやLoRAが公開されており、リアルな画像からアニメ調の画像まで、幅広いStyleに対応する汎用性の高いバージョンです。
画像サイズのベースは512×512です。– 長所: 軽量であり、初心者でも使いやすい。多くのチェックポイントやLoRAとの互換性が高い。
(計算リソース目安:GooglecolabのT4GPUハイメモリで1.84/hで十分に生成可能)– 短所: 単純な生成結果だと顔の品質が低く、品質を確保するには拡張機能(Adetailerなど)を使わなければいけない。指は崩れやすい
Stable Diffusionのバージョン解説とWebUIの種類について｜AIPho
ライセンスについて
stable-diffusion-v1-5/stable-diffusion-v1-5 · Hugging Face のページのライセンスの説明では、 Stable Diffusion v1.5 は、CreativeML OpenRAIL M license というライセンスのもとで提供されています。
License: The CreativeML OpenRAIL M license is an Open RAIL M license, adapted from the work that BigScience and the RAIL Initiative are jointly carrying in the area of responsible AI licensing. See also the article about the BLOOM Open RAIL license on which our license is based.
ライセンス: CreativeML OpenRAIL M ライセンスは Open RAIL M ライセンスであり、BigScience と RAIL Initiative が責任ある AI ライセンスの分野で共同で行っている成果に基づいています。当社のライセンスのベースとなっている BLOOM Open RAIL ライセンスに関する記事も参照してください。stable-diffusion-v1-5/stable-diffusion-v1-5 · Hugging Face と Google 翻訳
Stable Diffusion XL
テキストプロンプトに基づいて画像を生成および変更するために使用できるモデルです
※ダイアログのデフォルトでは、インストールされない設定です。
Released in July 2023 this is a newer base model designed for higher fidelity. It was trained on images with a total of 1024×1024 pixels (various aspect ratios).
Advantages of SD XL:
- Better quality at high resolutions
- Improved understanding of text prompts
2023 年 7 月にリリースされたこれは、より高い忠実度を目指して設計された新しいベース モデルです。合計 1024x1024 ピクセル (さまざまなアスペクト比) の画像でトレーニングされました。 SD XL の利点: 高解像度での品質の向上 テキストプロンプトの理解の向上Base Models | Krita AI Handbook と Google 翻訳
画像サイズは 1024 × 1024 です。
SDXLについては基本解像度が1024 x 1024となっており、そのため出力解像度は合計1024×1024=1048576ピクセルが良いとされています。いくつかSDXL最適生成解像度のチートシートが公開されていますが、よく使うアスペクト比をまとめました。
SDXLで高精度に生成するためのサイズ一覧 SDXLサイズチートシート | taziku / AI × クリエイティブ | 東京・名古屋
ライセンス
ライセンスは、前述の Stable Diffusion 1.5 のライセンスに ++ がついた名称ですが、 CreativeML Open RAIL M ライセンスと制限は変わらないようです。
つまり、前述のとおり、この CreativeML OpenRAIL M++ license も、規約を守れば商用利用が可能です。
- License: CreativeML Open RAIL++-M License
- Model Description: This is a model that can be used to generate and modify images based on text prompts. It is a Latent Diffusion Model that uses two fixed, pretrained text encoders (OpenCLIP-ViT/G and CLIP-ViT/L).
ライセンス: CreativeML Open RAIL++-M ライセンスstabilityai/stable-diffusion-xl-base-1.0 · Hugging Face
モデルの説明: これは、テキスト プロンプトに基づいて画像を生成および変更するために使用できるモデルです。これは、2 つの固定の事前トレーニング済みテキスト エンコーダー (OpenCLIP-ViT/G および CLIP-ViT/L) を使用する潜在拡散モデルです。
[Creative ML OpenRAIL-M]と変わらないCreativeML Open RAIL++-M License – work4aiSD2.0, 2.1は「CreativeML Open RAIL++-M」というライセンスですが、これも大丈夫です。違いは、ライセンサーが個人名でなくStability AIになったのと、アップデートの努力義務が削除されているだけです。
今回はここまで
続きは次回の記事で紹介します。
参照サイト Thank You!
- Krita | デジタルでのお絵描きと創造の自由を
- Acly/krita-ai-diffusion: Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.
- Interstice
- Base Models | Krita AI Handbook
- Plugin Installation | Krita AI Handbook
- stable-diffusion-v1-5/stable-diffusion-v1-5 · Hugging Face
- lllyasviel/ControlNet · Hugging Face
- KritaのAI生成プラグイン「Krita AI Diffusion」をカスタムComfyUIサーバで試す
- CUDA – Wikipedia
- DirectML – Wikipedia
- Stable Diffusionのライセンス(利用規約)の確認方法を解説！ | るんるんスケッチ
- CreativeML Open RAIL-M ライセンス 全文和訳（非公式）
- 【画像生成AI】Stable Diffusion派生モデルを利用・公開するときはライセンスに注意しましょう｜はせ@AI Photo
- ControlNet -Soft Edgeの特性や使い方を解説 / Stable Diffusion web UI | taziku / AI × クリエイティブ | 東京・名古屋
- セマンティックセグメンテーションとは？AI開発におけるセグメンテーションの種類と活用事例 – AIポータルメディアAIsmiley
- How to use Stencil control layer · Acly/krita-ai-diffusion · Discussion #685
- stencilとは・意味・使い方・読み方・例文 – 英ナビ!辞書 英和辞典
- README.md · h94/IP-Adapter-FaceID at main
- OpenPoseなどのControlNetは商用利用できる？ライセンス・商用利用可能な機能について徹底解説！ | romptn Magazine
記事一覧 → Compota-Soft-Press
コメント