もじもじTV(α版)を試してみました

すっかり忘れていましたが、もじもじTVクローズドαのアカウントをもらっていたので、音声認識による動画の字幕表示サービスを試してみました。

これはYouTubeの動画を自動文字認識してみたもの。

5分以内のYouTubeやニコニコ動画のURLを登録するだけで音声解析が始まります。
オリジナル動画のアップロードも可能みたいです。
手持ちのYouTube動画でセリフが入っているものを登録してみました。

音声解析には結構時間がかかります。1本30分くらいかかりました。
解析が終了したらメールで知らせてくれます。


うーん、やはり自動音声認識は難しいみたいですね。一応不特定話者対応の音声認識だそうですが、普通にしゃべっている動画はなかなかちゃんと認識してもらえません。BGMなんかが入っているとなおさら・・。歌詞はほぼ無理ですね。
編集して直すことができるのですが、これだけ違うと・・・。
TVニュースならどうかな？とYouTubeで探して認識させてみました。これが最初の画像になります。
さすがにアナウンサーの声は認識率が高いですね。
キーワードがタイムラインについたり、音声を文字で検索ができるようになったりします。


このような字幕付き動画を作成することができます。（ログインした状態でないと見えないのかも）
ぜひ頑張って認識率を向上してもらいたいです。