前書き

Google Researchは最新の生成AI描画ツール「StyleDrop」をGithubで発表しました。Museモデルに基づいており、任意の画像の描画スタイルを迅速に模倣し、新しい画像を生成することができます。

StyleDropは、生成された画像を非常に小さな範囲内で微調整することができ、画面の他のコンテンツに影響を与えることはありません。微調整に必要なトレーニングパラメータは、総モデルの1％未満です。研究チームによると、StyleDropは、Textual Inversion、Dreambooth、LoRAs、Imagenなどのモデルを備えたStable Diffusionよりも、スタイル転送の面で優れたパフォーマンスを発揮し、生成AI描画ツールMidjourneyの強敵となりました。


StyleDrop スタイルを抽出して新しい画像を作成する

Google Researchの論文によると、StyleDropのインスピレーションはEyedropper（カラーピッカーツール）から来ています。 StyleDropは、ユーザーが単一または少数のリファレンス画像からスタイルスタイルを「ピックアップ」して、そのスタイルの画像を生成できるように、簡単かつ迅速に行えるようにしたいと考えています。

ユーザーは、スタイルを指定するための画像を提供するだけで、StyleDropはスタイルの微細な差異、色、シャドウ、パターンデザインなどを捕捉し、そのスタイルを模倣して新しい画像を生成できます。


▲ 子供の水彩画のスタイルを取り入れ、新しいパターンを作成します（水彩の特徴も表現します）。


▲ 新しいデザインは、完全にヴィンセント・ファン・ゴッホの「星月夜」のスタイルに基づいて作成されました。


▲ 3DスタイルはStyleDropでも問題ありません！


StyleDropは、人工的なフィードバックと自動的なフィードバックを同時に採用して、反復学習を行い、モデルの品質を向上させています。StyleDropは、入力された画像を受け取ると、そのスタイルを再現する画像のセットを生成します。その後、チームは CLIP スコアまたは人工的なフィルタリングを通じて、最適な生成結果を選択し、さらなるモデルトレーニングに使用します。生成された画像が入力内容を直接再現するのではなく、スタイルを保持している場合、高品質の画像生成結果として認定されます。

StyleDropチームは、人工的なフィードバックがあっても、画像生成全体のプロセスはわずか3分未満であり、これはStyleDropが必要とするトレーニングパラメータが総モデルの1％以下であるため、非常に高速な学習速度を持っているためです。



StyleDropは、新しい画像を生成するだけでなく、選択した画像のスタイルに合わせた文字画像や同じスタイルのロゴを作成することもできます。AI生成機能は非常に強力です。StyleDropの魅力は、参照用の1枚の画像だけで、どんなに複雑な芸術スタイルでも解体して新しい画像に再構成できることです。

DreamBoothを組み合わせる

開発チームは、StyleDropとDreamboothを相互に組み合わせ、異なるスタイルで新しい物体を創造するために使用しています。画像を入力すると、Dreamboothが学習し、さらに別の画像を入力すると、StyleDropがそのスタイルを学習して、物体とスタイルを組み合わせます。


▲ StyleDropの学習スタイルにより、Dreamboothは新しい対象を学び、新しい画像を作成します。

Googleの開発チームは、StyleDropを多機能のAIツールの1つとして見なしており、その中の1つの用途は、デザイナーや企業がブランド資産を使用してトレーニングし、彼らのデザインスタイルに基づいて新しいアイデアのAIモデルを迅速に作成することです。GoogleがStyleDropモデルを公開したとき、多くの人々が議論を引き起こし、デザイナーがStyleDropを持っていると、彼らの効率が10倍に向上すると述べました。AIツールの登場と普及は、私たちの仕事の形態や日常生活を徐々に変えています。


総括

本文では、Google Researchが最新の生成型AI描画ツールであるStyleDropを紹介しました。このツールは、画像のスタイルを素早く模倣し、新しい画像を生成することができます。StyleDropは、トレーニングパラメーターを微調整するために必要な総合モデルの1％以下の学習速度が非常に速く、選択した画像スタイルに従ったスタイル一貫性のある文字画像や同じスタイルのロゴを生成できます。さらに、StyleDropはDreamboothを組み合わせることもでき、異なるスタイルで新しいオブジェクトを作成することができます。Googleの開発チームは、StyleDropを多機能のAIツールと見なしており、デザイナーの作業効率を向上させ、新しいアイデアのAIモデルを迅速に作成するのを支援します。