自動生成したShorts動画は、音が小さく字幕が数字の途中で切れていた。Remotionで作り直し、品質確認も自動にした
- この記事で分かること
- 無人で毎日作っている動画を実測して見つかった7つの問題と、Remotionでの作り直し、公開前の自動品質確認(音量・字幕の改行・長さなど)の考え方。
- 実際に使った環境
- Python(動画の構成・音声・検査)/ Remotion 4.0.532(映像)/ VOICEVOX(ナレーション)/ ffmpeg(音量調整・合成)。毎営業日の引け後に無人で実行している。
- 筆者の結論
- 無人で動画を作るなら、作る処理より「出来を機械で測る処理」のほうが大事だった。耳と目で確認できない前提で、測れるものを全部数値にした。
AIに30万円で日本株を売買させる実験では、毎営業日の記録をYouTube Shortsにして自動で投稿しています。人が確認せずに毎日動画が出るので、「出来が悪い動画が気づかれずに公開される」ことが一番の心配でした。
そこで10月5日に作られた動画を、耳と目ではなく数値で測ってみたところ、想定より問題が多く見つかりました。
実測して見つかった7つの問題
| # | 問題 | 実測 |
|---|---|---|
| 1 | 音量が小さい | 平均 −24.6 LUFS(YouTubeの目安−14前後より約10dB小さい) |
| 2 | 字幕が数字・単位の途中で改行される | 「マイナス12,92/5円」「マイナス2,880/円です」 |
| 3 | 見出しの「?」だけ次の行に落ちる | 「AIの判断、まさかの裏目に…?」 |
| 4 | 大きな数字が、同じ色の折れ線と重なる | 「−12,925円」が赤い折れ線の上に乗る |
| 5 | 長すぎる | 56.3秒(目標は40〜45秒) |
| 6 | 保有株の銘柄名が小さく、省略される | 「パーソルホールデ…」 |
| 7 | 字幕の切り替えが声とずれる | 文字数で秒数を按分していたため |
どれも、動画を1本見れば気づくものですが、毎日の無人運用では誰も見ていません。
作り直しの方針
- 作り方を変える: PillowとmoviepyでPythonから1コマずつ描く方式をやめ、画面をReact(Remotion)で書く方式にしました。画面は「ある時刻の状態を返す関数」になるので、声の時刻に合わせた切り替えが書きやすくなります。
- 「いつ・何を出すか」はPythonが全部決める: シーンの開始・終了、字幕の切り替え、数字のカウントアップの時刻まで、Python側で
timeline.jsonとして決めます。Remotion側はその時刻の画面を描くだけで、金額や文言の判断はしません。 - 字幕の切り替えはVOICEVOXのモーラ(音の最小単位)の時刻から決めます。文字数での按分はやめました(問題7)。
- 音量は別トラックで作って整える: 声を正しい位置に置き、BGMを声より12〜15dB小さく重ね、ffmpegのloudnorm(2パス)とリミッターで−14 LUFS前後に合わせます(問題1)。書き出したあとに実測し、基準を外れていたら目標を補正してやり直します。
- 字幕の改行ルールを自作する: 数字+単位は分割不可の1語、行頭禁則、「…?」は直前の語に連結、1文字だけの行は禁止(問題2・3)。
公開前に動画を自動で検査する
一番効果が大きかったのは、動画を作ったあとに必ず通す自動検査を入れたことです。毎日の無人ジョブが動画を作ると、アップロードの前に次を測ります。
- ファイル: 1080x1920・h264/aac・音声あり・長さが想定と一致
- 音量: 平均−15〜−13 LUFS、真のピーク−1.0dBTP以下
- 2秒を超える無音がないか
- 字幕・見出しの改行(数字の途中・行頭禁則・孤立行・3行以上)と、実測の文字幅が枠に収まっているか
- 最小フォントサイズ
- 字幕の切り替えが、ナレーションの区間に収まっているか
- 画面に出す数字が、読み上げと一致しているか
- 「必ず」「儲かる」など、投資助言に見える言い回しがないか
エラーが1つでもあれば、公開予約せず非公開でアップロードします。ファイルが壊れている・音声が無いなどの致命的な問題のときは、アップロード自体をしません。人が見るための3秒ごとのコマ一覧(*_review.png)と、測った数値(*_review.json)も動画の隣に保存されます。
🛠 実装してみて分かったこと
「動画を自動で作る」処理に比べて、「出来を機械で測る」処理は後回しにしがちでした。でも無人運用では、見ていない人の代わりに測る処理が、品質の下限を決めます。見ていないあいだに出た問題を、公開の前に止められる状態にするのが狙いです。
Remotionが失敗したときの予備の道
Remotionの書き出しは、Node.jsが無い・タイムアウト・文字がはみ出して書き出し拒否、などで失敗することがあります。その場合は、従来のPillow+moviepyの作り方に自動で切り替え、同じ音量調整と同じ品質確認を通します。どちらで作ったか、予備の道に落ちた理由も記録に残ります。設定をlegacyにすれば、コードを変えずに従来の作り方へ戻すこともできます。
また、書き出し途中のファイルは*.partial.mp4という名前で作り、最後まで作れたときだけ正式な名前に改名します。10月2日に、スケジューラの再起動で途中までしかできていない動画が公開された事故があったためです。正式な名前のファイルがあることが「最後まで作れた」ことの証明になります。
まとめ
- 無人で動画を作るなら、作る処理より「測る処理」が大事。測れるものは全部数値にして、記録に残す
- 画面は「ある時刻の状態を返す関数」にすると、声の時刻に合わせた演出と検査がしやすい
- 失敗したときの予備の道と、途中のファイルを正式な名前で公開しない仕組みを最初から入れる
数字や売買の中身は、運用状況ページと日々の記録で公開しています。
※このページは投資助言ではありません。
AI日本株トレード実験