トレーニングに使用するモデル

SD 1.5 リアルな写真の場合:

トレーニング: Realistic Vision 5.1
これは5月のマージで追加され、他のほとんどのリアルなモデルともうまく機能します。理由は不明ですが、v6は同じようにうまく機能しません。
生成: Realistic Vision 5.1、および PicX Real 1.0を使用したデノイズ0.1のimg2img。RV単独でも機能しますが、この組み合わせが気に入りました。

SD 1.5 アニメの場合:

トレーニング: AnyLora
これはトレーニング用の定番です。
生成: Azure Anime v5

SDXL 全体（ここにPonyとIllustriousを含む）:

トレーニング: SDXL Base model
生成: Dreamshaper XL Turbo。私は7ステップを使用し、同じプロンプトで新しいシードを使ったimg2imgを行います。すると、結果が素晴らしいです！

FLUX 全体の場合:

モデル: flux1-Dev-Fp8.safetensors （11.1 GBファイル）
VAE: ae.safetensors
Clip: clip_l.safetensors
T5 Encoder: t5xxl_fp8_e4m3fn.safetensors
16GbのVramが必要です。しかし、こちらの他の記事を試してみてください。

私が使用するツール

トレーニングにはインストールが必要です: Kohya_ss
ただし、時々プロセスを加速するために自分で作ったスクリプトを実行します。これはすべてのパラメータを持つKohyaスクリプトを呼び出します。最後にそれについて話します。
Fluxにはsd3-flux.1ブランチが必要です。
生成: InvokeAI
ごめんなさい、ここにはAutomatic1111とComfyUIがありますが、私はInvokeAIが大好きです。
Loraメタデータビューア: https://civitai.com/models/249721

データセットの準備

これは最も重要な部分です。トレーニングしたい人物、物体、またはその他の画像を収集する必要があります。

考慮すべき点

低解像度やピクセル化された画像は避けてください。アップスケーリングはお勧めしません。
あまりにも異なる画像は避けてください。私は通常、ポートレートにこだわります。
メイクが多すぎる画像、たくさんのイヤリングやネックレス、奇妙なポーズは避けてください。
手。手が奇妙な位置に現れる画像は避けてください。
ロゴや他の人、無駄なスペースを取り除き、トレーニング対象のみを含むように一つずつトリミングします。

私が収集したデータセットを Silvio Santos loraのためにお見せします:

すべてポートレートであることがわかります。異なる背景や服の色が必要です。顔が異なる方向を向いていることも重要です。

対称性についての注意

すべての画像で人物の右側と左側が一貫しているか確認してください。これは通常、反転している自撮りには当てはまらないかもしれません。

人間の顔は対称ではありません。したがって、トレーニング中に混合された側の向きがある場合、結果は次のようになる可能性があります:

データセット全体の向きを確認してください！！

しばらくしてプレビュー画像がすべて同じになる場合、これが理由かもしれません。SDは両側を学習しようとし、対称性の違いが一部の反転画像でロスを少し高くする可能性があるため、学習がいくつかの画像に固まってしまいます。

画像の数

5から10: あなたのLoraはあまり変化がありませんが、機能する可能性があります。
11から20: 良い範囲です。良いLoraを生成できます。
21から50: この広い範囲が望ましいです！
50から100: 多すぎますが、ポートレートと全身を混ぜて追加したい場合に機能します。
100以上: 労力の無駄です。

解像度

解像度は256xから2048xまで変わることがあります。これらの値以下または以上の画像は避けてください。これらの値内にある場合はリサイズする必要はありません。トレーニングが自動的にバケット内で行います:

フォルダー構造:

LoRAの文字列名でフォルダーを作成します。文字列の一部の文字を数字に置き換えて、さまざまなモデル間でユニークなトークンになるようにします。

result_currentはKohyaが結果を保存する場所になります。

トレーニング画像はトレーニング画像を含むディレクトリを持ちます。 名前の規則 は: 400 / 画像の数、アンダースコアとloraの文字列です。これはKohyaが行う繰り返しの数になります。この数はエポック間の良い間隔を持つための良い場所だと思います。

txt2img-imagesはLoRAを使用して生成した画像を保存する場所です - オプション。

キャプショニング

これは各画像が何であるかを説明するプロセスです。これにより、SDはノイズからトレーニング画像を構築するために既存のモデルをどのように使用するかを知ります。

KohyaのユーティリティタブにはBlipキャプショニングがあります。私はこれを次の設定で使用します:

次の変更を行います:

画像があるフォルダー。
プレフィックスはloraの名前とカンマです。
ビーム数は9です。
最小長さは15です。
バッチサイズは4です。
他のすべての値はデフォルトのままにします。

キャプションをクリックすると、しばらくしてキャプションが生成されます:

画像が少ない場合は、キャプションを修正することができます。Blipは「リモコンを持っている」や「手にマイクを持っている」といったフレーズを追加するのが大好きですが、これは真実ではありません。私は無視していますが、全体的なキャプショニングは良好です。

*この「基本的な」キャプショニングがFluxにとって良くないと言うかもしれませんが、LLMを使用したより良いキャプショニングが良いですが、私にはうまく機能しています。

正則化フォルダー

過去に、私が公開した最初のloraのために、4K以上の女性画像を含む正則化フォルダーを使用しました。 使用を中止しました 。これは、データセットがキャプションされておらず、より多様な場合にのみ必要です。

使用すると、必要な時間とステップが倍増します。

使用しないでください。

トレーニングの実行

ここではトレーニングを実行します。SD1.5ではこれらの設定に8GBのVramが必要で、SDXLでは10GBのVramが必要で、Fluxでは16GBのVramが必要です。

Kohyaのインストールはこのガイドの範囲を超えています。

Kohyaの設定

SD1.5の設定: https://jsonformatter.org/a3213d

SDXLの設定: https://jsonformatter.org/66e5c8

FLUXの設定: https://jsonformatter.org/45c1fc

* リンクが期限切れの場合はお知らせください

* FLUXについては、トレーニングを1800ステップに制限しています（上記の設定ファイルに既に含まれています）が、約 1200 ステップでLoRAはすでに良好です。

* また、FLUXについては、上記の設定ではアニメや漫画のトレーニングが収束していませんでした。したがって、–learning_rate=0.0004 –unet_lr=0.0004を0.001または0.002に増やす必要があるかもしれません。これにより、トレーニングが少ないステップで良好になりますが、オーバーフィットしやすくなる可能性があります。

これらのファイルをKohyaのLORAタブ — 夢のブートタブではありません —に読み込みます。設定ファイルをクリックして読み込みます。

変更が必要な設定:

モデルとフォルダーのセクション: