3月下旬、Riffusionに新しく「Vibes」という機能が追加されました。公式の説明はこちらをご覧下さい。 

【Vibesとは】

ざっくり言うと。
・1つ10秒の音楽クリップ
・既存の曲や自作の音源から10秒のクリップを「Vibes」として登録し、作曲に使うことができる。
・1曲生成するのに3つまでVibesを指定できる。
・音源はなんでも良く、鼻歌でもかまわない
・自作音源をアップロードする場合、10秒未満だとエラーになる。10秒以上の音源をアップロードした上で、そこから10秒切り出す形になる。


【Vibes利用時の注意点】

・Vibesを利用して生成した曲にはもれなくVibesの情報がくっつく。そして誰でもそのVibesの音源を聞くことができ、そのVibesを再利用することができる。(つまり、鼻歌を使った場合、誰でもその鼻歌を聴くことができてしまう)
・VibesリストからVibesを「Remove」することはできるが、「Delete」することはできず、自分のリストからVibesを「Remove」しても、曲情報にはVibesが残り続ける。曲自体を削除してしまえばVibesにもアクセス不能になるが、一旦Riffusionにupしてしまった鼻歌はRiffusion側にずっと残ると思った方が良い。
他人にVibesを聞かれたくない、利用されたくない場合は、生成した曲を非公開に設定した上で、別途YouTube等に音源を上げて聞いてもらうか、さらにCoverを生成するなどの対処が必要。


【早速Vibesを使って曲を生成してみた】

1.鼻歌「タタラタ」

・楽器が弾けないのでとりあえず「タタラタタタラタ♪」と口ずさんだやつをスマホで録音し、Vibesとして登録。そのメロディーでInstrumentalを生成しようとするも、「タタラタ♪」という音まで使われてしまう。いや、その、メロディー(もしくはリズム)だけ使ってほしいんですけども。

・10生成ぐらいはしたけど、「タタラタ」という「音」なしの曲はできなかった気がする。(※2025/04/19追記 「rhythmだけ使え」といった指定ができるもよう)
でもそれはそれで面白いものができた。3分以上延々「ターラッタッタ♪」とスキャットし続ける。でも曲としてはなかなかご機嫌。

<Scat Vibe>



2.鼻歌「ララララ」


・「ラララ~」と口ずさんでみたやつは、なかなか面白いものができず、残念だった。曲が悪いのか、指定したプロンプトとのアンマッチなのか。

基本的に10秒のVibesを延々繰り返す形になるので、途中で聞くのをやめてしまうことが多いのだけど、「最後だけいい感じ」というのもたまにある。これ(↓)はそういうやつで、最後の部分だけ切り出した。私の「ラララ~」と別の「ラララ~」を掛け合いにしていてなかなか良い。

<LaLaLa(short)>


・生成された曲から気に入ったところだけを切り出し(「trim」機能)、さらにその一部分をVibesとして使うことができる。たとえば「LaLaLa(short)」から作ったJazz曲→「LaLaLa(Sax)」


3.鼻歌「It's OK」


・Riffusionを使い始めて割とすぐに「It's OK」という曲を作ったのだけど、詞だけでなく曲も一応頭の中にあって、「こう歌ってほしいなぁ」と思っていた。が、全然思ったような曲は生成されなかった。

・なのでサビを自分で歌ってVibesとして登録、それを元に生成した結果、ちゃんと「そのVibesがサビ部分である」ことを認識して曲を作ってくれた。が、実際のサビは10秒ちょっとあってVibesだけでは足りないので、「惜しい!!!!!」仕上がりになっている。

<It's OK~Lady ver.~>


・Vibesは3つまで指定できるんだから、サビ以外の部分も歌ってVibesにしてみたら?と思ってやってみたが、放送事故みたいなものしか生成されなかった(Vibes間を無音で繋いだみたいなやつ)。

・そういう場合はフルで歌った音源をupして「Cover」させればいい――と思うでしょう?(「Cover」機能は元から存在) でもこれがまた難しくて、「改変率」を下げると伴奏なしの音源そのままみたいなものしかできず、かといって「改変率」を上げると元の曲調ガン無視になりがち。

・でもまぁ、私が作った曲より断然カッコいいよね、うん、そうね。というわけでこれは「Cover」で作った曲↓(元のサビが少し残ってはいる。あとやたらsoulfulなのは私の歌い方を真似したのかもしれない())

<It's OK~soulful ver.~>



4.ちゃんとした音源を使ってみる

・「ちゃんとした」と言っても楽器弾けないので、ピコサクラでドレミを書いてwavファイルにしてVibesに登録してみた。

・これだとVibesを2つ使っても放送事故にならず、なかなかいい感じの曲ができたので、勝手に殤不患のテーマにした。

<拙劍無式>


ちなみに凜雪鴉様のテーマも作ってある。こちらは作詞のみだけど。
<掠風竊塵~Grand ver.~>



5.ちゃんとした(?)音源でも全然ダメな場合も

・10年以上前にもピコサクラで作曲してみようとしたことがあり、その時に作ったJazzっぽいフレーズをVibesに登録、「さぁこれで格好いいJazzを作れ!」と試してみたのだが、全然うまくいかなかった。私としては「めっちゃJazzyな曲やん?」と思うのだが、Riffusion的には「こんなん使て、ええ曲作れるかいな」という感じらしい。

・同じフレーズを鼻歌で歌ってそれをVibesにしてみても結果はたいして変わらなかったが、やたら前衛的な面白い曲もできた。

<秋の気配~前衛.ver~>



6.チャルメラのあのメロディー

・うまくいかないのはやっぱり私の作ったフレーズがしょーもないからか?と思い、既存のメロディーを使ってみることに。チャルメラのあの「ソラシーラソ♪」をVibesとして登録。
せっかくなので詞も書いてみた。

<ラーメン食べたい>


・↑ これは割とうまく「ソラシーラソ♪」を使ってくれているが、ひたすら無表情に「ソラシーラソ♪」を繰り返すものができたり、「IntroとOutroだけに使って」と書いてみても無視されたり、なかなか一筋縄ではいかない。


【今のところの結論】

・作詞だけでなく「作曲にもたずさわりました!アイディア出しました!!!」と言えるのはやはり嬉しい。
・とはいえ、楽器ができない人間には思いどおりの10秒フレーズを作るのもそこそこ大変。それができるぐらいならAIに作曲頼んでねぇよ~という気もちょっとする。
・そしてがんばって作った10秒フレーズが狙いどおりに使われるとも限らない。そもそも「Capture a specific guitar solo, epic drop, or interesting texture that's hard to describe in words. Reference vocal production styles from your favorite voices」(公式サイトの説明から)ということで、必ずしもメロディーが使われるわけではなく、リズムだったり、「歌い方」だけが参考にされることもあるっぽい。
・ともあれ色々実験するのは面白い。すぐ時間が溶ける。我ながらこんなに飽きないとは思わなかった。Goldレベルまであと1500ポイント、がんばろ。

【2025/04/19 追記】
・本文中にも追記したが、Vibesを利用する際に「use rhythm」と書けばリズムだけ使われ、「タタラタ」という声部分は無視された。
・同じく「use vocal essence」とか「use voice tone and singing style]と書いてみたところ、メロディーやリズムは無視されたように見えた。だがどれくらい「ボーカル」の「エッセンス」が反映されているのかはよくわからない。