制作物 ​

PC なら画面の右側に目次があるよ。

SDPrompt-RetNet-300M ​

モデル: https://huggingface.co/isek-ai/SDPrompt-RetNet-300M デモ: https://huggingface.co/spaces/isek-ai/SDPrompt-RetNet-300M-Demo

RetNet の非公式実装があったので、それを使って学習した RetNet モデルの一つ。Stable Diffusion のプロンプトと danbooru タグ (若干フォーマット崩れてるけど) を生成できる。(1girl で始めると danbooru タグになる)

このモデルはトークナイザーから自作している。データセットの前処理をサボったので、キャラクターとか版権タグが普通に出てきたりして色々使いにくいかも。

本来言語モデルの事前学習は1エポックか、多くても2エポックしか学習しないらしいのだが、このモデルは雰囲気で5エポックも学習してしまったのでオーバーフィットみがあるかもしれない。あとで思い出したら2エポック目あたりのモデルも上げるかも。

このサイズでも結構いい感じなのでサイズ落としてみてもいいかもしれない。

色々改善点があるので、多分これはあとでちゃんと作り直すと思う。

isekai-bert-v1 ​

https://huggingface.co/isek-ai/isekai-bert-v1

ラノベのタイトルと説明文でファインチューンした BERT。ベースは東北大のやつ。

個人的に結構好き。使い道は知らん。

TODO ​

あとで追加する