ベクター (svg) 画像も扱えて、タブレットにも対応した、無料・オープンソースのペイントソフト Krita で、 AI を用いて画像を生成するプラグイン「krita-ai-diffusion」でローカルマネージドサーバにインストールできる項目の意味やライセンスを確認しながら数話に分けて紹介します。
※ CreativeML Open RAIL-M/M++ ライセンスについては、「CreativeML OpenRAIL M と M++ のライセンスの解釈」を参照してください。
※ライセンスについては使用するもの以外は基本的に記載しません。また、記載しているライセンスの意味は、調べた筆者の解釈なので詳細はライセンス自体をお読みください。
※ Krita のバージョンは 5.2.9 です。
※ krita-ai-diffusion のバージョンは 1.34.0 です。
前回の記事
前回の Part3 の記事は以下です。
各モデルデータのダウンロード元について
紹介する拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet) の各モデルデータを krita-ai-diffusion がダウンロードする場所については以下の記事を参照してください。
krita-ai-diffusion ローカルサーバの設置 (Part4)
Stable Diffusion XL models の選択
Part2 では、 Stable Diffusion 1.5 拡散ベースモデルに、用途に応じた学習・調整を行った、実際に画像生成で用いる拡散モデル３つについて調べた結果を紹介しました。
今回は、 Stable Diffusion XL 拡張ベースモデルに、用途に応じた学習・調整を行った実際に画像生成で用いる拡散モデルと、 SDXL 用の拡張機能について調べた結果を紹介します。
RealVis (SDXL – Photograpy)
フォトリアリズムを目指した拡散モデル（Checkpoint）です。
krita-ai-diffusion の Stable Diffusion XL models の中に分類されていることや、公開しているページ「SG161222/RealVisXL_V5.0 · Hugging Face」に StableDiffusionXLPipeline タグがあることから、 Stable Diffusion XL (SDXL) の拡散ベースモデルと考えられます。
The model is aimed at photorealism. Can produce sfw and nsfw images of decent quality.
フォトリアリズムを目指したモデルです。まともな品質の sfw および nsfw イメージを生成できます。RealVisXL V5.0 – V5.0 (BakedVAE) | Stable Diffusion XL Checkpoint | Civitai と Google 翻訳
商用利用可能・ライセンス表記必要
ライセンスは、RealVisXL V5.0 – V5.0 (BakedVAE) | Stable Diffusion XL Checkpoint | Civitai に記述されています。
そのページのライセンスの説明には「License: CreativeML Open RAIL++-MAddendum」 と書かれていて、 CreativeML Open RAIL-M++ ライセンスに一部追加されたライセンス RealVisXL V5.0 License です。
ライセンスは、前述の Stable Diffusion 1.5 のライセンスに ++ がついた名称ですが、 CreativeML Open RAIL M ライセンスと制限は変わらないようです。
つまり、前述のとおり、この CreativeML OpenRAIL M++ license も、規約を守れば商用利用が可能です。
CreativeML Open RAIL-Mの商用利用に関する特別な記述はありません。商用目的での使用がライセンスの範囲内で行われる限り許可されることを示唆しています。なので、商用利用を含むすべての利用は、ライセンス内の条件と制限を遵守する必要があります。
モデルのライセンス「CreativeML Open RAIL-M」を読む – 画像生成ドットコム
[Creative ML OpenRAIL-M]と変わらないCreativeML Open RAIL++-M License – work4aiSD2.0, 2.1は「CreativeML Open RAIL++-M」というライセンスですが、これも大丈夫です。違いは、ライセンサーが個人名でなくStability AIになったのと、アップデートの努力義務が削除されているだけです。
追加された付属書 B では、
- 使用する際はライセンス表記をすること
- このモデルを販売またはライセンス供与しないこと
が書かれています。
Attachment B
Additional Restrictions
This Attachment B supplements the license to which it is attached (“License”). In addition to any restrictions set forth in the License, the following additional terms apply. The below restrictions apply to the Model and Derivatives of the Model, even though only the Model is referenced. “Merge” means, with respect to the Model, combining the Model or a Derivative of the Model with one or more other models to produce a single model. A Derivative of the Model will be understood to include Merges.
You agree to the following with respect to the Model (each a “Permission”):
Creator Credit: to use or distribute the Model you must credit the creator as follows:
- Model: RealVisXL V5.0 https://civitai.com/models/139562?modelVersionId=789646
- Creator: SG_161222 https://civitai.com/user/SG_161222
- License: https://civitai.com/models/license/789646
Changing Permissions: modify or eliminate any of the applicable Permissions when sharing or making available a Derivative of the Model.
Sale of the Model: Do not sell or license the Model in exchange for a for a fee or something else of value.
添付ファイルB 追加の制限事項 この添付書類 B は、添付されているライセンス (「ライセンス」) を補足するものです。ライセンスに規定されている制限に加えて、次の追加条項が適用されます。 モデルのみが参照されている場合でも、以下の制限がモデルとモデルの派生に適用されます。 「マージ」とは、モデルに関して、モデルまたはモデルの派生を 1 つ以上の他のモデルと組み合わせて、単一のモデルを生成することを意味します。モデルの派生にはマージが含まれると理解されます。 あなたは、モデルに関して以下のことに同意します (それぞれ「許可」)。 作成者のクレジット: モデルを使用または配布するには、次のように作成者のクレジットを表示する必要があります。 モデル: RealVisXL V5.0 https://civitai.com/models/139562?modelVersionId=789646 作成者: SG_161222 https://civitai.com/user/SG_161222 ライセンス: https://civitai.com/models/license/789646 権限の変更: モデルの派生物を共有または利用可能にするときに、該当する権限を変更または削除します。 モデルの販売: 有償またはその他の有価物と引き換えにモデルを販売またはライセンス供与しないでください。
他サイト様「Stable Diffusionの主な生成モデルとライセンス一覧 60+選【CIVITAI版】｜Sasakisan」でも、違うバージョンですが、 RealVisXL V4.0 Lightning (BakedVAE) について、商用利用可能で、クレジット表記は必要と書かれています。
ZavyChroma (SDXL -Artwork)
「misri/zavychromaxl_v80 · Hugging Face」には説明が一切ないため不明です。
ライセンスのタグも unknown （不明）と書かれています。
同じ名前で検索された「ZavyChromaXL – v80 – SDXL 1.0 – Diffus | Diffus」によると、写真などに適しています。
2000s vintage RAW photo,photorealistic,film grain,candid camera,color graded cinematic,eye catchlights,atmospheric lighting,macro shot,skin pores,imperfections,natural,shallow dof
2000 年代のビンテージ RAW 写真、フォトリアリスティック、フィルム グレイン、率直なカメラ、カラー グレーディング映画、アイ キャッチライト、雰囲気照明、マクロ撮影、毛穴、欠陥、ナチュラル、浅い被写し界深度
imagepipeline/Zavy-Chroma-XL-v3 · Hugging Face について
また似た名前のページでは、フォトリアリスティックを目指した拡散モデル（Checkpoint）と書かれています。
krita-ai-diffusion の Stable Diffusion XL models の中に分類されていることや、公開しているページ「imagepipeline/Zavy-Chroma-XL-v3 · Hugging Face」に StableDiffusionXLPipeline タグがあることから、 Stable Diffusion XL (SDXL) の拡散ベースモデルと考えられます。
Model details – Recommended positive prompts: photorealistic, Fujifilm XT3, or other photography related tokens.
モデルの詳細 - 推奨されるポジティブなプロンプト: フォトリアリスティック、Fujifilm XT3、またはその他の写真関連のトークン。imagepipeline/Zavy-Chroma-XL-v3 · Hugging Face
商用利用可能、クレジット表記の義務は不記載
注意！これは、名前が似ている「imagepipeline/Zavy-Chroma-XL-v3 · Hugging Face」のライセンスについて調べてもので krita-ai-diffusion のリンク先のものではありません。
公開しているページ「imagepipeline/Zavy-Chroma-XL-v3 · Hugging Face」には「License:creativeml-openrail-m」タグがあります。
「License:creativeml-openrail-m」タグをクリックするとリンク付きのメッセージが表示されます。
About this license
The Responsible AI License allows users to take advantage of the model in a wide range of settings (including free use and redistribution) as long as they respect the specific use case restrictions outlined, which correspond to model applications the licensor deems ill-suited for the model or are likely to cause harm. Read more
このライセンスについて Responsible AI License により、ユーザーは、概要が説明されている特定のユースケース制限を遵守する限り、幅広い設定 (自由使用と再配布を含む) でモデルを利用することができます。制限は、ライセンサーがモデルに不適切または害を引き起こす可能性があると判断したモデル アプリケーションに対応します。続きを読む
imagepipeline/Zavy-Chroma-XL-v3 · Hugging Face の 「License:creativeml-openrail-m」タグと Google 翻訳
Read More のリンク先は「License – a Hugging Face Space by CompVis」でした。
冒頭２行目に「CreativeML Open RAIL-M」と書かれています。
この CreativeML OpenRAIL M license は、規約を守れば商用利用が可能です。クレジット表記の義務は記載されていません。
CreativeML Open RAIL-Mの商用利用に関する特別な記述はありません。商用目的での使用がライセンスの範囲内で行われる限り許可されることを示唆しています。なので、商用利用を含むすべての利用は、ライセンス内の条件と制限を遵守する必要があります。
モデルのライセンス「CreativeML Open RAIL-M」を読む – 画像生成ドットコム
全文の和訳については他サイト様「CreativeML Open RAIL-M ライセンス 全文和訳（非公式）」を参照してください。
Stable Diffusion のライセンスについては、他サイト様「Stable Diffusionのライセンス(利用規約)の確認方法を解説！ | るんるんスケッチ」もわかりやすいです。
ControlNet Universal (XL)
ControlNet Universal (XL) と同じ名前では見つかりませんでしたが、「Model Database | Krita AI Handbook」ですべての項目にチェックをいれると以下の引用元のサイトの URL がありました。
※正確にはその URL はダウンロードするための URL だったので、その上部の部分だけの URL でアクセスしました。
引用から、ControlNet Universal (XL) には以下の特徴があると思われます。
- 異なる画像の条件をひとつのモデルで扱える
- 計算負荷を抑える工夫をしている
The network is based on the original ControlNet architecture, we propose two new modules to: 1 Extend the original ControlNet to support different image conditions using the same network parameter. 2 Support multiple conditions input without increasing computation offload, which is especially important for designers who want to edit image in detail, different conditions use the same condition encoder, without adding extra computations or parameters. We do thoroughly experiments on SDXL and achieve superior performance both in control ability and aesthetic score. We release the method and the model to the open source community to make everyone can enjoy it.
ネットワークはオリジナルの ControlNet アーキテクチャに基づいており、次の 2 つの新しいモジュールを提案します。 1 同じネットワーク パラメータを使用して異なる画像条件をサポートするようにオリジナルの ControlNet を拡張します。 2 計算オフロードを増やすことなく複数の条件入力をサポートします。これは画像を詳細に編集したいデザイナーにとって特に重要です。追加の計算やパラメーターを追加することなく、異なる条件で同じ条件エンコーダーを使用します。 SDXLでは徹底的な実験を行い、コントロール性能と美観スコアの両方で優れたパフォーマンスを実現しました。誰もが楽しめるようにメソッドとモデルをオープンソースコミュニティに公開します。xinsir/controlnet-union-sdxl-1.0 · Hugging Face
IP-Adapter Face (XL)
IP-Adapter Face (XL) は、二つのダウンロード先（形式が .bin と .safetensors）のリンクがありましたが、上位は同じ URL でした。
顔に条件付けされたさまざまなスタイルの画像を生成する機能です。
An experimental version of IP-Adapter-FaceID: we use face ID embedding from a face recognition model instead of CLIP image embedding, additionally, we use LoRA to improve ID consistency. IP-Adapter-FaceID can generate various style images conditioned on a face with only text prompts.
IP-Adapter-FaceID の実験版: CLIP 画像埋め込みの代わりに顔認識モデルからの顔 ID 埋め込みを使用し、さらに ID の一貫性を向上させるために LoRA を使用します。 IP-Adapter-FaceID は、テキスト プロンプトのみを使用して、顔に条件付けされたさまざまなスタイルの画像を生成できます。h94/IP-Adapter-FaceID · Hugging Face
商業利用は意図されていません
Limitations and Bias
- The models do not achieve perfect photorealism and ID consistency.
- The generalization of the models is limited due to limitations of the training data, base model and face recognition model.
AS InsightFace pretrained models are available for non-commercial research purposes, IP-Adapter-FaceID models are released exclusively for research purposes and is not intended for commercial use.
制限と偏見 モデルは完全なフォトリアリズムと ID の一貫性を実現していません。 モデルの一般化は、トレーニング データ、ベース モデル、顔認識モデルの制限により制限されます。 非営利使用 AS InsightFace の事前トレーニング済みモデルは非営利の研究目的で利用できますが、IP アダプター - FaceID モデルは研究目的のみにリリースされており、商業利用は意図されていません。h94/IP-Adapter-FaceID · Hugging Face
今回はここまで
続きは次回の記事で紹介します。
参照サイト Thank You!
- Krita | デジタルでのお絵描きと創造の自由を
- Acly/krita-ai-diffusion: Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.
- Interstice
- Plugin Installation | Krita AI Handbook
- stable-diffusion-v1-5/stable-diffusion-v1-5 · Hugging Face
- lllyasviel/ControlNet · Hugging Face
- KritaのAI生成プラグイン「Krita AI Diffusion」をカスタムComfyUIサーバで試す
- CUDA – Wikipedia
- DirectML – Wikipedia
- Stable Diffusionのライセンス(利用規約)の確認方法を解説！ | るんるんスケッチ
- SG161222/RealVisXL_V5.0 · Hugging Face
- RealVisXL V5.0 – V5.0 (BakedVAE) | Stable Diffusion XL Checkpoint | Civitai
- imagepipeline/Zavy-Chroma-XL-v3 · Hugging Face
- tencent-ailab/IP-Adapter: The image prompt adapter is designed to enable a pretrained text-to-image diffusion model to generate images with image prompt.
- Stable Diffusionで似た画像を生成できる『IP-Adapter』の使い方！エラーの対処法も解説 | romptn Magazine
- モデルのライセンス「CreativeML Open RAIL-M」を読む – 画像生成ドットコム
- CreativeML Open RAIL-M ライセンス 全文和訳（非公式）
- Stable Diffusionの主な生成モデルとライセンス一覧 60+選【CIVITAI版】｜Sasakisan
- 【画像生成AI】Stable Diffusion派生モデルを利用・公開するときはライセンスに注意しましょう｜はせ@AI Photo
- README.md · h94/IP-Adapter-FaceID at main
- OpenPoseなどのControlNetは商用利用できる？ライセンス・商用利用可能な機能について徹底解説！ | romptn Magazine
記事一覧 → Compota-Soft-Press
コメント