Whisper

目的

Bilibili動画に日本語の字幕をつけたい

インストール

pip install gTTS

pip install playsound

pip install openai-whisper

(ffmpegをダウンロードし環境変数の設定）

pip install –upgrade deepl

pip install srt

pip install pysrt

pip install torch

インポート

from yt_dlp import YoutubeDL

from gtts import gTTS

from playsound import playsound

import datetime

import whisper

import deepl

import torch

import os

import srt

import pysrt

変数

url_bilibili = ‘https://www.bilibili.com/video/BV1AF411X77S/?spm_id_from=333.337.search-card.all.click’

filename = ‘C:/Users/wiki1/Desktop/xxx’

動画抽出

with YoutubeDL() as yd:

    result = yd.download([url_bilibili])

音声抽出

option = {

‘format’: ‘bestaudio/best’,

‘outtmpl’: path_audio + ‘.%(ext)s’,

‘postprocessors’: [

{‘key’: ‘FFmpegExtractAudio’, ‘preferredcodec’: ‘mp3’, ‘preferredquality’: ‘192’},

{‘key’: ‘FFmpegMetadata’},

],

}

ydl = YoutubeDL(option).download([url_bilibili])

音声認識

model = whisper.load_model(‘medium’)

audio = whisper.load_audio(filename + ‘.mp3’)

result = model.transcribe(audio, verbose=True, language=’en’, fp16=False)

テキストの取り出し

subs = []

for data in result[‘segments’]:

    index = data[‘id’] + 1

    start = data[‘start’]

    end = data[‘end’]

    text = data[‘text’]

    sub = srt.Subtitle(

        index = 1,

        start = datetime.timedelta(

            seconds = timedelta(seconds=start).seconds,

            microseconds = timedelta(seconds=start).microseconds

        ),

        end = datetime.timedelta(

            seconds = timedelta(seconds=end).seconds,

            microseconds = timedelta(seconds=end).microseconds

        ),

        content = text,

        proprietary = ”

    )

    subs.append(sub)

SRT・TXTファイルの作成（中国語）

with open(filename + “.srt”, mode=”w”, encoding=”utf-8″) as f:

    f.write(srt.compose(subs))

subrip = pysrt.open(filename + “.srt”)

f_out = open(filename + “.txt”, mode=”w”, encoding=”utf-8″)

for sub in subrip:

    f_out.write(sub.index)

    f_out.write(str(sub.start) + ‘–>’ + str(sub.end))

    f_out.write(sub.text + ‘\n’)

DeepL翻訳

time.sleep(3)

translator = deepl.Translator(’46e84157-5483-4190-7a2c-463ed2cc3ea7:fx’)

with open(‘C:/Users/wiki1/Desktop/japan.txt’, mode=’w’) as fw:

    with open(‘C:/Users/wiki1/Desktop/china.txt’, encoding=’utf-8′) as f:

        for line in f:

            honyaku = translator.translate_text(line, target_lang=’JA’)

            print(honyaku)

            fw.write(honyaku.text + ‘\n’)

SRT・TxTファイルの作成（日本語）

with open(“C:/Users/wiki1/Desktop/japan.txt”, encoding=”utf-8″) as f:

    dataline = f.read()

    dataline = dataline.replace(“–>”,” –> “)

    dataline = dataline.replace(“0\n\n”,”0\n”)

    dataline = dataline.replace(“\n\n0″,”\n0”)

with open(“C:/Users/wiki1/Desktop/japan.txt”, mode=”w”, encoding=”utf-8″) as f:

    f.write(dataline)

MP4にSRTをくっつける

pip install moviepy

pip install –upgrade moviepy

from moviepy import editor

from moviepy.video.tools.subtitles import SubtitlesClip

from moviepy.video.io.VideoFileClip import VideoFileClip

from moviepy.config import change_settings

#magick.exeの場所を指定

change_settings({“IMAGEMAGICK_BINARY”: “C:/Program Files/ImageMagick-7.1.1-Q16-HDRI/magick.exe”})

#変数

path_video = ‘C:/Users/wiki1/Desktop/xxx.mp4’

path_srt = ‘C:/Users/wiki1/Desktop/output.srt’

path_complete = ‘C:/Users/wiki1/Desktop/complete.mp4’

#ファイルの読込

#デフォルトは英語のみサポートなので、日本語フォントのttfファイルをDLしないと字幕が映らない

video = VideoFileClip(path_video)

generator = lambda txt: editor.TextClip(txt, font=’C:/Users/wiki1/Desktop/gomarice_mukasi_mukasi.ttf’, fontsize=35, color=’white’)

subs = SubtitlesClip(path_srt, generator)

#字幕を動画に埋め込む

subs = subs.set_position((‘center’,’center’))

#動画に字幕を重ねる

subsvideo = editor.CompositeVideoClip([video,subs])

#動画をリサイズする

subsvideo = subsvideo.resize(height=video.h)

#動画上下中央に配置する

subsvideo = subsvideo.set_position((‘center’,’center’))

#mp4として保存する

subsvideo.write_videofile(path_complete)

エラー

with openする際にmode=’w’をつけると以下のエラーが起きることがある

io.UnsupportedOperation: not readable

wは書き込み専用であってファイルを読み込むことはできないので起きたエラーであり、mode=’W’を消せば解決する

Pythonでtxtファイルを書き換える方法

#翻訳結果をtxtファイルに保存

f = open(path3, ‘w’)

f.write(text_jp)

f.close()

#音声合成

gTTS(‘終わりました’, lang=’ja’).save(path2)

playsound(path2)

番外編：要約

pip install pysummarization

pip install mecab-python3

pip install unidic-lite

pip install nltk

from pysummarization.nlpbase.auto_abstractor import AutoAbstractor

from pysummarization.tokenizabledoc.mecab_tokenizer import MeCabTokenizer

from pysummarization.abstractabledoc.top_n_rank_abstractor import TopNRankAbstractor

text = ‘長いテキストです。\

長いテキストです。\

長いテキストです。’

aa = AutoAbstractor()

aa.tokenizable_doc = MeCabTokenizer()

aa.delimiter_list = [‘。’,’\n’]

tnra = TopNRankAbstractor()

result = aa.summarize(text,tnra)

for x in result[‘summarize_result’]:

print(x)

for x in result[‘scoring_data’]:

print(x)

※