長時間のゲームプレイ映像から爆速でショート動画を自動生成できる「AutoShorts」 – GIGAZINE

長時間のゲームプレイ映像からAIが重要なシーンを解析・抽出し、字幕とナレーション付きの縦長の短編動画をローカル環境で自動生成します。オートショート』を出版しました。

divyaprakash0426/autoshorts: AI を活用したシーン分析、GPU アクセラレーションによるレンダリング、およびオプションの AI ナレーションを使用して、長い形式のゲームプレイ映像からバイラル対応の垂直方向の短いクリップを自動的に生成します。
https://github.com/divyaprakash0426/autoshorts

◆サンプル
作成する動画のサンプルです。

◆AutoShortsの主な特徴
・AIを活用したシーン解析機能
シーン分析用OpenAI蚊Google ジェミニこれらのいずれかを使用すると、ビデオ内のシーンが自動的に識別され、7 つのカテゴリに抽出されます。

・字幕生成機能
OpenAIささやきを使って音声から文字起こしすることも可能で、音声がない場合でもゲームプレイの内容に応じてAIが字幕を生成します。字幕のスタイルも以下から選択できます。

パイキャップと連携することで、字幕テンプレートを選択できるほか、AIがカテゴリーに応じてフォントを自動変更したり、絵文字を追加したりすることも可能です。

・AIを活用したナレーション機能
音声生成エンジン:「自然言語の説明テキストから独自の音声を生成」クウェン3-TTS』が採用されています。
ダイナミックボイス生成機能：AI がキャプションのスタイルと内容に基づいて音声キャラクターを自動的に生成します。
スタイルに適応した音声:各字幕スタイルには独自の音声プリセットがあります。
自然言語の指示:テキスト プロンプトを使用して音声特性を定義します。
超低遅延処理:フラッシュアテンション推論処理を最適化し、超低遅延でオーディオを生成します。
多言語サポート:英語、中国語、日本語、韓国語など10カ国語以上に対応。
スマートミキシング:オーディオコメンタリー再生時にゲーム音声を自動的に減衰させる機能です。

◆AutoShortsをインストールする
この時エヌビディアGPU を搭載した Windows 11 上Ubuntu設置されましたwsl2にインストールしてください。加えて、NVIDIA コンテナ ツールキットをインストールする必要があります。プロジェクトのクローンを作成し、autoshorts フォルダーに移動します。

git clone https://github.com/divyaprakash0426/autoshorts.git
cd autoshorts

wsl2 の場合、「decord」ビルドは失敗するため、Dockerfile の 10 番目のステップをコメント アウトし、「RUN pip install –no-cache-dir Decord」を追加します。

# 10. Build Decord with CUDA support
#RUN git clone --recursive https://github.com/dmlc/decord && \
#    cd decord && \
#    mkdir build && cd build && \
#    cmake .. -DUSE_CUDA=ON -DCMAKE_BUILD_TYPE=Release \
#    -DCUDA_nvcuvid_LIBRARY=/usr/lib/x86_64-linux-gnu/libnvcuvid.so && \
#    make -j$(nproc) && \
#    cd ../python && \
#    python setup.py install && \
#    cd /app && rm -rf decord

RUN pip install --no-cache-dir decord

さらに、「インストールの確認」の RUN コマンドをコメントアウトします。

# Verify installations
#RUN python -c "import torch; import flash_attn;…"

Dockerコンテナを構築します。

docker build -t autoshorts .

コンテナを起動します。

docker run -it --gpus all autoshorts bash

コンテナに入るには以下のコマンドを実行しますが、環境によってコマンドが異なる場合があります。

ln -sf /usr/lib/x86_64-linux-gnu/libnvcuvid.so.1 \
       /usr/lib/x86_64-linux-gnu/libnvcuvid.so

echo "/usr/lib/x86_64-linux-gnu" >> /etc/ld.so.conf.d/nvdec.conf
ldconfig

apt-get update
apt-get install -y --no-install-recommends \
  libavcodec-dev libavformat-dev libavutil-dev libavfilter-dev \
  libavdevice-dev libswresample-dev libswscale-dev pkg-config

cd /app
git clone --recursive https://github.com/dmlc/decord
cd decord
mkdir build && cd build

cmake .. -DUSE_CUDA=ON -DCMAKE_BUILD_TYPE=Release
make -j"$(nproc)"

cd ../python
python setup.py install

cp -f /app/decord/build/libdecord.so /usr/lib/x86_64-linux-gnu/
ldconfig

別のターミナルを起動し、実行中のコンテナのIDを確認します。

docker ps

コンテナIDを指定して「autoshorts-fa」という名前のイメージを作成します。画像を保存したら、pip を実行したコンテナを終了します。

docker commit "コンテナID" autoshorts-fa

「.env.example」を「.env」としてコピーします。

cp .env.example .env

「.env」ファイルを編集して設定を構成します。今回はGeminiを使用し、日本語字幕を出力するために以下の変更を加えました。 Gemini API キーを取得したものに置き換えます。

AI_PROVIDER=gemini
GEMINI_API_KEY=your-gemini-api-key
GEMINI_MODEL=gemini-3-flash-preview
TTS_LANGUAGE=ja

「gameplay」フォルダーを作成し、ソースビデオを配置します。この時フォートナイトゲームプレイ動画をご用意しました。

mkdir gameplay

コンテナを起動し、autoshorts を実行します。

docker run --rm \
    --gpus all \
    -v $(pwd)/gameplay:/app/gameplay \
    -v $(pwd)/generated:/app/generated \
    --env-file .env \
    autoshorts-fa \
    python run.py

生成されたクリップとログファイルは、以下に示すように「generated」フォルダーに保存されます。

generated/
├── video_name scene-0.mp4          # Rendered short clip
├── video_name scene-0_sub.json     # Subtitle data
├── video_name scene-0.ffmpeg.log   # Render log
├── video_name scene-1.mp4
└── ...

作成されたショートビデオを確認すると、元のビデオの戦闘シーンがうまく切り取られていました。エラーで字幕は入りませんでしたが、動いているシチュエーションの切り抜き動画を自動で作成してくれるので便利です。

海外掲示板にご注意くださいハッカーニュース著者のDivyaprakash氏は「既存のAIツールの多くは高価で動作が遅いことに不満を抱いていた。PCの性能を最大限に活用し、コマンドで簡単に操作できる開発者向けのツールを作りたかった」と開発の動機を語る。州私はここにいます。