動画から退屈な部分を自動的にカットするツールを作った

Metaが公開したTRIBE v2は、さまざまな刺激から脳の活動を推定するモデル。元が英語の映画やPodcastから学習されているので基本的には英語向けではあるのだが、内部で日本語を英語に翻訳して動画の中から「たるい」ところを見つけて自動カットするツールを作ってみた。

動画をアップロードすると自動的に解析が始まり、音声の波形と翻訳されたセリフ、映像の刺激度などから被験者の脳活動を推定し、興奮しているかどうかや退屈さを感じてないかどうかを分析し、「ここいらないんじゃないの
?」という部分を自動カットする。自動カットが推定されると、ffmpegのコマンドラインが出力され、これを手元で実行するとカット済みの動画が得られるという寸法。結構面白い