Plat'sPortfolio

画像認識モデルのSigLIPまたはWD Taggerで抽出した画像特徴量を条件付けに利用し、参照音声を用意することなく声質やトーンの制御を試みる仕組みを構築しました。By extracting visual features with SigLIP or WD Tagger, the system conditions speech generation to adjust voice timbre and tone without reference audio.

イラスト画像の特徴量に基づく音声合成の実装で、PyTorchによる推論コード、モデル重み、ブラウザ上で試用できるWebデモを公開しています。An implementation of speech generation conditioned on features of character illustrations, providing PyTorch inference code, model weights, and an interactive web demo.

潜在表現への圧縮を経由せずピクセル値を直接予測する手法をイラストデータセットで検証し、U-JiTアーキテクチャによって512px付近の複数解像度生成を扱える構成としました。Rather than relying on latent compression, this project trained a model to predict raw pixel values on an illustration dataset, using U-JiT to accommodate variable resolutions around 512px.

リポジトリでは学習コードを公開し、検証結果を技術記事とWebデモでまとめています。なお提供しているモデル重みは別検証であるAnimeFace版のものです。The repository provides training code alongside an experiment article and a web demo. Note that the published model weights correspond to a separate AnimeFace experiment.

イラスト生成で広く使われるタグ形式への変換を支援するため、LLMを用いて日本語文とタグ列のペアデータを合成し、小規模言語モデルの学習を行いました。To assist prompt creation in tag format, paired datasets of Japanese descriptions and tag sequences were synthesized using an LLM to train a compact language model.

Hugging Faceにて学習済みモデル重みとデータセットを公開しているほか、既存の生成ワークフローに組み込めるComfyUIカスタムノードも配布しています。Trained model weights and datasets are published on Hugging Face, accompanied by a custom ComfyUI node for integration into image generation pipelines.