让AI小姐唱歌 !NEUTRINO-神经歌唱合成器

这是一篇自己的折腾记录,大概没有任何参考价值。

欢迎补充内容或指出错误

前些日在网上发现了这个项目,使用声源库通过AI算法,将已经编写好的歌词唱出来。
看看我这个近乎0乐理声乐基础的人折腾这个东西到底会发生什么吧∠( ᐛ 」∠)_

官网:https://n3utrino.work/

NEUTRINO.png


MuseScore

用于编写词曲的工具官方给出是MuseScore,然后……

啥,五线谱?不会,看不懂,再见,下次一定……虽然这么想,但还是选择继续折腾(让AI小姐唱歌实在太有吸引力)

查阅MuseScore的使用文档和学习一些基础乐理、了解五线谱基础知识后,最终,还是去网上找别人扒好的谱子吧!

最初尝试了一些简单的歌曲,但是当我把人声与伴奏合在一起的时候,注意到节奏对不上诶。想起来音乐中好像有节拍速度之类的事情……嗯就是BPM?但是BPM的测量又是个问题,网上扒的谱有些经过改编,速度也都快慢不一。最后是找到了一个用JavaScript写的线上手动节拍速度量测器 ,还有一个测量BPM的软件解决了问题。

接下来压力来到了输入歌词这一边。使用微软自家的日文输入法,凭借着我半吊子日语基础和百度谷歌,输入歌词并不是件难事。

但是个人认为应该是有更简便的制作方式。MuseScore这用于编写乐谱的软件用于输入歌词,感觉有些不合适。

接着就整了一首《千本桜》

musescore


NEUTRINO

bat.png

运行程序是用.bat文件,没有可视的UI界面,把已经完成的乐谱放入指定文件夹,更改配置文件(如下)后,运行Run.bat就能导出wav格式的歌曲文件了。

: Project settings
set BASENAME=senbozakura
set NumThreads=4

: musicXML_to_label.exe
set SUFFIX=musicxml

: NEUTRINO.exe
set ModelDir=KIRITAN

: WORLD.exe
set PitchShift=1.0
set FormantShift=1.0

乐谱制作不符合要求的话,会出现一些警告。目前遇到以下几个警告

The first note is not rest

The last note is not rest

Lyric in unknown language : in measure 2

Vowel reduction symbol was ignored : only one phoneme "i"

对乐谱进行各种调试后,发现要注意几个问题

  • 首末小节要空出来(这大概是乐谱制作的规范?)
  • 仅支持日文歌词
  • 每个音符下只输入一个元音
    官方的文档中是这么说的

一音符に対して母音一つの入力を推奨しています。一音符に対して母音を二つ以上いれた場合、タイミングの推定をミスする場合が多くなります。
(例:「♪こん ♪に ♪ち ♪わ」→「 ♪こ ♪ん ♪に ♪ち ♪わ」)

另外官方文档中有 「’」符号的使用,但是我没看懂,乱用的话就会出现第4种警告。所以我还是不用了。

还有,注意呼吸/间隔符的使用,不然容易“断气”


在遇见和解决了各种问题后,一首由AI小姐唱的《千本桜》就制作好啦~整个过程还是有点肝的

友人@FSpark也进行了折腾,比这里有更多的内容,欢迎阅读NEUTRINO折腾记录——『夏祭り』

相比于初音ミク等VOCALOID虚拟歌姬,用NEURINO合成的人声更加柔和,与真正的人声更为相似,各有各自的特点。

下面是我用KIRITAN和YOKO两个声源制作的样本

还有更多相关的知识和信息欢迎大佬们补充和科普

评论

  1. 4年前
    2020-5-13 14:23:04

    挺有趣的项目,自从有声库后就一直有人尝试找到自动调教的方法,这个算是比较好的一个了。
    不过相比于用五线谱,我更喜欢v和sv的直观,而且如果多声部或者曲子中间变调变速的话,五线谱会很麻烦,还不如v或sv的学习成本低了。
    KIRITAN的感觉可以到神调差点,YOKO有点8行,自动加的颤音太多了不自然

    • 博主
      4年前
      2020-5-13 17:15:21

      又了解到了新的东西!五线谱确实好麻烦啊?

  2. 4年前
    2020-5-09 17:33:18

    来交作业啦:https://fspark.me/archives/NEUTRINO-AIKiritan-natsumatsuri.html
    (刚好一个月∠( ᐛ 」∠)_)

  3. 4年前
    2020-5-05 0:28:39

    千本桜 有点好听

  4. 4年前
    2020-4-15 23:43:25

    哈哈,有意思。想起来我以前摸索过一段时间的洛天依调教,但是我果然没有天分,放弃了。(b站还有投稿,可以搜酚酞P试试(捂脸逃

    • 博主
      4年前
      2020-4-17 20:47:14

      化学天下挺有趣的嘛#(赞一个)

  5. 4年前
    2020-4-13 13:30:51

    这个sample听完觉得好赞,没有bokaro那种机械声。赶紧下一个玩玩。另外bpm测定如果你是Windows的话可以试试MixMeister BPM Analyzer,我之前搞自制谱用过一次,还挺好用。

    • 博主
      4年前
      2020-4-14 11:36:47

      这个软件还不错嘛,省事了省事了

  6. 4年前
    2020-4-12 12:44:48

    赞!而且还支持Linux和Mac,有空试试(☆ω☆)

    • 博主
      4年前
      2020-4-14 11:37:50

      只用过且只会用windowsφ( ̄∇ ̄o)

  7. 4年前
    2020-4-12 11:55:14

    感觉这个声音…要不要深海少女也试试?

    • 博主
      4年前
      2020-4-12 18:29:06

      好主意,抽空肝了#(赞一个)

  8. 4年前
    2020-4-10 3:05:09

    很有趣的项目。和ボカロ相比似乎更容易上手一些(虽然对乐理苦手的我来说依旧得折腾好久才会用)

    • 博主
      4年前
      2020-4-10 23:41:42

      还是直接去网上找谱子比较方便╮(╯▽╰)╭

  9. 4年前
    2020-4-09 23:07:05

    同看不懂五线谱,不过这个确实好有意思@(真棒)

    • 博主
      4年前
      2020-4-10 23:39:12

      五线谱现学现卖?

发送评论 编辑评论


				
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Emoji
2233娘
kumiko
蛆音娘
原神
上一篇
下一篇
Copyright © 2024 桜庭夜 | 杂话铺子
Theme Argon