無料・オープンソースのペイントソフト Krita で、 AI を用いて画像を生成するプラグイン「krita-ai-diffusion」で扱える拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet)で用いる AI 画像生成用のモデルデータに何を使っているか、そのモデルデータのインストール先を確認する手順を紹介します。
※ Krita のバージョンは 5.2.9 です。
※ krita-ai-diffusion のバージョンは 1.34.0 です。
safetensors とは
今回紹介する AI 画像生成用のモデルデータの形式として多く出てくる .safetensors 形式は、拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet) のデータを、pickle フォーマットよりも安全に高速に扱える新しいファイル形式です。
safetensorsは、機械学習モデルのデータを保存・読み込むための新しいファイル形式です。従来のPyTorchで使われていた
safetensorsって何？機械学習モデルを安全・高速に扱う新標準フォーマット #Python – Qiita.pthや.pt（pickleフォーマット）の問題点を解決するために、Hugging Face社が開発しました。
Safetensors is a new simple format for storing tensors safely (as opposed to pickle) and that is still fast (zero-copy). Safetensors is really fast 🚀.
Safetensors は、(pickle とは対照的に) tensor を安全に保存するための新しいシンプルな形式であり、依然として高速です (ゼロコピー)。 Safetensors は本当に速いです 🚀。
Safetensors (Hugging Face) と Google 翻訳
krita-ai-diffusion プラグインの導入
AI を用いて画像を生成するプラグイン「krita-ai-diffusion」のインストールと AI Image Generation ドッキングパネルの表示については以下の記事を参照してください。
AI画像生成オンラインサービス Interstice.cloud へのアクセス
ペイントソフト Krita に追加した krita-ai-diffusion のドッキングパネルの Configure からアクセスできるサイト「Interstice」では、ウェブ上で AI による画像生成を行えます。
Generative AI for Krita is an open-source plugin for professional painting app Krita. It aims for precise control and efficient workflows.
Interstice.cloud is an online image generation service, built to make AI-assisted painting instantly accessible to everyone.
Generative AI for Krita は、プロのペイント アプリ Krita 用のオープンソース プラグインです。正確な制御と効率的なワークフローを目指します。 Interstice.cloud は、AI 支援によるペイントを誰でもすぐに利用できるようにするために構築されたオンライン画像生成サービスです。Interstice
Krita からサイトにアクセスするには、 krita-ai-diffusion ドッキングパネルを表示する必要があるので、新規でドキュメントを作成します。
表示された AI Image Generation ドッキングパネルの Configure ボタンを押します。
Connection のページで Online Service ラジオボタンを選択すると表示されるリンクをクリックすると、オンラインサービスのサイトにアクセスできます。
インストールするモデルデータの URL の確認
krita-ai-diffusion の Configure で、Local Managed Server を選択した際に表示される、拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet) の各モデルデータをどこからダウンロードするのかを、前述のサイト Interstice で確認します。
AI 画像生成のオンラインサービスのサイト Interstice にアクセスして Download ボタンを押して、 Krita AI Handbook のサイトに移動します。
左側のリストで「Base models」を選ぶと表示される「Base Models | Krita AI Handbook」では、各ベースモデル（ Workloads ) の説明を確認できます。
左側のリストで「Model Database」を選ぶと表示される「Model Database | Krita AI Handbook」で、 Model List の各チェックボックスをチェックすると、該当するデータモデルのダウンロードリンクが表示されます。
ダウンロードリンクをクリックするとデータモデルをダウンロードします。
そのデータモデルのサイトにアクセスするには、URL の上位の部分だけでアクセスします。
確認したいダウンロードリンクを右クリックしてリンクのアドレスをクリップボードにコピーします。
テキストエディタにリンクのアドレスを貼り付けたら、 resoleve よりも上の URL 部分だけをコピーします。
その URL でアクセスすると、そのデータモデルの説明を確認できます。
また、上側の License から始まるタグをクリックすることで、そのデータモデルのライセンスを確認できます。
まとめ
今回は、無料・オープンソースのペイントソフト Krita で、 AI を用いて画像を生成するプラグイン「krita-ai-diffusion」で扱える拡散ベースモデル (Workloads) 、拡散モデル (CheckPoint) 、拡張機能 (ControlNet)で用いる AI 画像生成用のモデルデータに何を使っているか、そのモデルデータのインストール先を確認する手順を紹介しました。
参照サイト Thank You!
- Krita | デジタルでのお絵描きと創造の自由を
- Acly/krita-ai-diffusion: Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.
- Interstice
- Base Models | Krita AI Handbook
- Model Database | Krita AI Handbook
- monster-labs/control_v1p_sdxl_qrcode_monster · Hugging Face
記事一覧 → Compota-Soft-Press
コメント