前の記事まで、Stable Diffustionで使われているU-Netがどういう仕組みで画像データを処理しているのかをずっと見てきました。 一通り説明が終わったので、U-Netの全体像と、各ブロックが何をしているのかを少し詳しく眺めていきます。 U-Netについては以前…

Stable Diffusionの心臓部であるU-Net解説の9回目です。 これまでU-Netの重要なパーツであるResブロック、Attentionブロックを見てきました。 すでに解説したこれらのブロックでは処理によって画像データのサイズは変わりませんでした。 しかし、処理によっ…

前回はU-Netの「テキストを取り込む」機能であるAttentionブロックを見ましたが、その中で特に大切な「Attention」パートについては概要しか説明しませんでした。 今回はそのAttentionについて詳しく見ていきますが、その前にAttentionを行うメカニズムであ…

今回はStable Diffusionがどうやってテキストを画像に反映させているのかを見ていきます。 重要な役割を担うのは「Attention」です。これには「Transformer」というメカニズムが使われていますが、これは少し複雑なので今回は詳細は省いて、大まかに何をして…

Stable DiffusionのU-Net解説の3回目です。 今回はIN1ブロックの中にある「Resブロック」を詳しく見ます。 IN1ブロックは「Resブロック＋Attentionブロック」 IN1ブロックの構造 Resブロックの構造 Group Norm：グループごとに正規化 SiLU：非線形な要素を加…

Stable Diffusionで使われるU-Netの最初のブロック、IN0層についての説明です。 IN0層はU-Netの一番左上 IN0ブロックのやっていること 畳み込み処理とは 畳み込みの具体例 まとめ IN0ブロックのやっていること IN0ブロックは、最初に画像を受け取るブロック…