情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

VoiceDub：複数タイミング情報をともなう
映像エンタテイメント向け音声同期収録支援システム
川本 真一1,a)

森島 繁生2

中村 哲3

受付日 2014年6月30日, 採録日 2015年1月7日

概要：本稿は，映像コンテンツに対して同期のとれた台詞音声の収録を発話者自身による簡単な操作によって実現するためのシステムを提案する．映像に合わせて音声を収録するアフレコは，アニメ制作や映画の吹き替えなどで幅広く用いられているが，声優のように映像と同期した発話を行うことが要求される．また，サウンドエンジニアが手動で収録した台詞音声を映像と同期させ，BGM や効果音を付加するといった編集作業にも時間を要する．本システムは，声優やサウンドエンジニアのような技能を持たない人でもアフレコができるよう配慮し，1) 発話者が発話のタイミングをとるための様々な情報を提示し，2) 収録した音声に対して BGM や効果音を重ね合わせるなどの後処理を自動的に行い，3) 利用者が簡単に操作できるインタフェースを備え，4) 多人数の利用者が並行して短時間で収録できる特徴を有するシステムを設計し，試作した．本システムの運用テストと主観評価実験により，操作の容易さや複数提供したタイミングをとるための情報の有用性を示した．また，スタジオでのアフレコを想定した手動での収録作業と比べ，収録作業時間を短縮できることを確認した．本システムを用いて収録した台詞音声の 73.8%が，音声と発話映像との同期（リップシンク）における許容限内に収まることを確認した．
キーワード：アフレコ，リップシンク，映像同期発話，エンタテイメントシステム

VoiceDub: Post-scoring System with Multiple Timing Information for
Visual Entertainment
Shin-ichi Kawamoto1,a)Shigeo Morishima2

Satoshi Nakamura3

Received: June 30, 2014, Accepted: January 7, 2015

Abstract: This paper proposes a novel post-scoring system which enables users to easily record speech andsynchronize it with video. Scenario speech recording for synchronization of ﬁlms, called post-scoring, iswidely used in video production. However, adjusting the timing of the scenario speech is diﬃcult and time
consuming for non-professional users. In addition, the use of professional post-scoring environments is both
expensive and complicated, and requires manual operation by specialist sound engineers. This paper proposes
a user-friendly post-scoring tool that: 1) provides supporting information for synchronization with voice andlip motion timing for users; 2) automatically processes recorded voices with mixed audio with BGM and SE;3) features an intuitive and easy-to-use display operation; 4) handles multiple users in parallel. Our system
was evaluated through demonstrations and subjective experiments. The results show that our system enables
users to experience a post-scoring easily with short recording time. In addition, our results show that 73.8%
of user utterances recorded using the proposed system falls within the acceptable range of timing in termsof lip-synching.
Keywords: post-scoring, lip-synching, video-synchronized speaking, entertainment system

12

北陸先端科学技術大学院大学
Japan Advanced Institute of Science and Technology, Nomi,
Ishikawa 923–1292, Japan
早稲田大学
Waseda University, Shinjuku, Tokyo 169–8555, Japanc 2015 Information Processing Society of Japan


3

a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology, Ikoma, Nara 630–
0192, Japan
kawamoto@jaist.ac.jp1142

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

1. はじめに録し，既存の音声やモデルを加工などすることで，音声の個人性を付与する試みであり，アフレコによる音声収録自

本稿では，映像コンテンツに対して音声収録専用のスタ

体のエンタテイメント性を考慮し，音声収録支援に主眼をジオ機器や専門の機材オペレータを必要とせず，映像と同置いた本研究のアプローチとは異なる．収録した音声に合期した音声収録を発話者自身の操作で簡単に収録できるイ

わせて映像コンテンツを修正できるものに限定すれば，プンタフェースを有する，映像同期台詞音声収録支援システ

レスコを採用することで，映像との同期に配慮しなくてもム VoiceDub を提案する．アニメ映像における台詞音声は，

簡単に声優体験ができるシステムも提案されている [10]．

登場するキャラクタの演技や表情，口の動きなどと同期しVoiceDub はアフレコを採用しているため，音声収録後にていることが求められる．このような要件を満たす音声収

音声に合わせるための映像コンテンツの加工処理を必要と録方法として，「プレスコ（事前に収録された音声に合わせしない．音声収録という観点では，西本らが提案する非同て映像を制作する方法）」と「アフレコ（事前に作成され期型音声会議システム [11] においても，すでに録音されたた映像に合わせて音声を収録する方法）」がアニメ制作で音声に対してオーバラップした発話を収録するための機能は用いられている．特に外国映画の吹き替えや日本のアニを実現し，音声会議を効率化を試みている．しかし，コンメ制作など広く用いられているアフレコは，声優のようなテンツとの同期発話を支援するということに主眼を置いた

映像と同期した発声する技能を発話者に要求する．また，本システムの設計思想とは異なる．

一般には専用の収録スタジオなどにおいて専門のオペレー

従来，Adobe Premiere などの多くの映像編集ソフトな

タをともなって収録および編集作業が行われるため，時間

どもアフレコ機能として使用できる音声録音機能を備えてと労力を要する．一方で，登場人物になりきって声を吹きいる．これらのソフトウェアは非常に多機能であり，様々

込むといったアフレコ自体のエンタテイメント性に着目な処理を行うことができる反面，必要な機能を探すことやしたサービスが登場し始めている [1], [2], [3], [4]．さらに，使うための操作を覚えること自体に時間がかかることが予

Future Cast System（FCS）[5] のような，参加者の顔を取想される．そのため，限られた準備時間の中で幅広い利用

り込み，登場キャラクタに反映させることで，誰もが短時

者が自身で操作して容易にアフレコを行うには，機能をア間で簡単に映画に登場することのできるエンタテイメント

フレコに必要なものに限定し，操作を単純化する必要があ

システムなどにおいても，アフレコによって短時間に多数る．仮に既存の映像編集ソフトにおいて使用する機能や操の参加者自身の声を簡単に収録できれば，登場キャラクタ

作をアフレコに関するものに限定して利用したとしても，に声の個人性を付与させる手段として有用である．FCS で

これらのアフレコ機能による音声収録では，収録対象の映は 20 名の登場キャラクタに対し，約 15 分の上映準備時間

像を一度再生する中で発話した音声を録音した後，音声をで来場者の顔をあてはめた映像を作成している．このよう確認し，必要に応じて編集や再収録を行う流れとなる．こなシステムとの連携を考える場合は，上映準備時間内に収のような収録形態の場合，利用者は一度の映像再生の中で録完了が見込めるシステムであることが求められる．

必要な台詞をタイミング良く発話することが求められる．

VoiceDub は，FCS のようなエンタテイメントシステム

これは従来のアフレコ作業では，オペレータが編集することの連動を想定し，多くの利用者が短時間で簡単に映像ととを前提としていることが起因していると考えられる．ま同期した台詞音声をアフレコにより収録できる映像同期音

た他のアフレコに関するソフトウェアの実現形態について

声収録支援システムの実現を目指して設計した．本システ

も「声優体験」を目的とした設計のものは，基本的には従ムは，以下の特徴を有する：1) 利用者が発話のタイミング

来のアフレコ収録形態を踏襲し，一度の映像再生の中でのをとるための複数の補助情報を同時に提示することで，利収録を想定した設計となっている．本研究では，通常行わ

用者自身の注視箇所および注意により情報を選択的に利用れているアフレコ作業での映像提示とは異なり，収録対象

でき，2) 収録した音声に対して BGM や効果音を重ね合わ

シーンの映像を周期的に繰り返し提示する中でタイミング

せるなどの後処理を自動的に行い，3) 幅広い年齢層の利用をとりながら音声を収録するシステムを提案する．これに者自身の操作によって収録作業を進めていくことができる

より，従来のアフレコ作業で用いられるタイミングをとる

シンプルなインタフェースを有し，4) 多人数の利用者がそための情報に加え，映像が周期的に提示されること自体もれぞれのペースで並行して短時間で収録できるシステム構タイミングをとるための情報として利用できる．このよう成を設計した．

な周期的な映像提示によって得られる情報は，従来のアフ関連研究として，FCS の登場キャラクタに対して声の個レコ作業に基づいて設計されたシステムにおいて利用でき

人性を反映させるシステムがある [6], [7]．また，声に個人ていない．さらに，多人数が同時並行に各自のペースで収性を付与するという観点では，音声合成における話者適応録を行い想定する映像エンタテイメントシステムと連動さ技術 [8] や声質変換 [9] などもある．これらは声の個人性せるような機構は考慮されていない．

を反映させるためにあらかじめ決められた単語や文章を収

c 2015 Information Processing Society of Japan

本稿の構成は，2 章でシステム設計を示した後，3 章で1143

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

システムの実現方法について述べる．4 章で実現したシス

いてあまり明示的に扱われておらず，これまでアフレコ機

テムに関する評価を示し，5 章でシステムに対する考察を能を有するソフトウェアでは使われてこなかった．本稿で述べ，6 章で論文のまとめを示す．

は，この情報をリズム情報と呼ぶ．

2. システム設計

このように様々な情報が発話のタイミングをとるために有用と考えられるが，複数の情報が同時に提示される環境

FCS のようなシステムとの連携も考慮した映像同期音声

においてどのタイミング情報がアフレコにおいて最も有用

収録支援システムに求められる，1) 発話のタイミングをとであるかを特定することは難しく，また十分調査されているための様々な補助情報を提供し，2) 収録した音声に対すない．特に，シーンによっては利用しにくい情報もあり，る後処理を自動的に行い，3) シンプルな操作系で，4) 多

1 つの情報のみを使って様々なシーンに対応するのは難し

人数の利用者が並行して短時間で収録できるシステム構成

い．また，利用者の技能によって有用と感じる情報が異なであること，という要求仕様について述べ，それぞれに対る可能性がある．そこで本システムでは，様々な利用者に応するシステム設計を示す．

対応するために，複数のタイミング情報を選択的に利用することを想定して設計する．

2.1 タイミング情報

具体的には，本システムでは次の 6 種類のタイミング情

幅広い利用者がアフレコを行えるための映像同期音声収報を提供する．

録支援システムに最も重要なことは，映像コンテンツ内の映像（Movie）：収録対象シーンの映像

対象のキャラクタの動作に同期して利用者が発話できるこ

背景効果音（BGM/SE）：収録対象シーンに含まれる背景とである．そのため本システムでは，発話のタイミングをとるために様々な情報を利用者に提示する．
映像コンテンツに対してアフレコを行う現場において事

音楽や効果音など台詞音声以外の音
タイムコード（Timecode）：映像全体における先頭から管理された収録対象シーンまでの経過時間

前に聞き取り調査を行ったところ，声優は主に映像情報

ボイスオーバ参照音声（Reference Voice）：収 録 対 象や BGM・効果音，映像に付与されたタイムコードを参照

シーンにおける映像制作時に用いたプロの声優の台詞

して，タイミングを計ることが多い．また，リファレンス

音声となる音声に自身の音声を重ねるように発話する（ボイス

色が変化するテキスト（Text）：発話タイミングに合わせオーバ）ことでタイミングをとる方法も使われており，映て色が変化するアフレコ対象シーンにおける台詞音声

像コンテンツに含まれるオリジナルの音声も有用である．

の書き起こしテキスト

一方，すでに映像コンテンツなどが存在する中で台詞音声

リズム（Rhythm）：収録対象シーンを一定周期で繰り返のみを発話する行為は，カラオケで歌を歌う状況とも似てし提示することにより，発話開始タイミングなどが周いる．カラオケでは，歌詞のテキストが歌うタイミングに期的に出現することで確認できる情報

合わせて色を変化させることで，利用者にタイミングを伝

なお，長いシーンについては，台詞の切れ目などを参考える方法が広く用いられている．アフレコの対象となる台に複数の短いシーンに分割することで，短い周期で繰り返

詞のテキストを表示するだけではなく，発話のタイミング

し表示されるようにアフレコ対象シーンを整備する．利用に合わせてテキストの色を変化させる手法は，一般の利用者がそれぞれのタイミング情報を選択し，その情報に集中者に対しても親和性が高い可能性がある．また，図 1 にしやすいように，タイムコードや色が変化するテキストは示すように一定周期でアフレコ対象シーンを繰り返し提示

映像と極力重ならないように配置する．ボイスオーバ参照

することにより，発話開始タイミングなどが周期的に出現

音声については，利用者によっては発話を阻害する要因とすることで確認できる情報も，タイミングをとるうえで有感じる可能性もあるため，ボイスオーバ参照音声の同期再用と考えられる．しかしこのような情報は，アフレコにお生の有無を切り替えられるようにする．

2.2 収録音声の後処理
発話者自身が操作してアフレコを行う場合，適切な台詞音声が収録できたかを判断するために，収録した台詞音声
を映像や背景効果音とあわせて即座に確認できることは重要である．しかし，通常のアフレコにおいては特に，サウンドエンジニアが複数テイクの収録音声の中から OK テイクの音声を抽出し，対象となる映像と同期した収録音声と図 1

リズム情報のイメージ図

Fig. 1 Concept figure of rhythm information.

c 2015 Information Processing Society of Japan

して整理する作業を手動で行うことが多く，収録した台詞
音声に対する後処理は時間がかかる作業である．そこで収1144

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

録音声に対する後処理を自動化し，利用者自身が収録音声を即座に確認し，必要に応じて収録し直すという方策をとることで，サウンドエンジニアが手作業で行っていた収録
音声の後処理の手間を省く．

2.3 操作の簡単化
様々な利用者が本システムを利用できるようにするには，システムの操作が簡単であることが求められる．そのため，インタフェースは簡単に使えて，理解しやすく，直感的であることが望ましい．このような要求仕様を満たすた
め，システムの入力デバイスとしては直感的な操作が期待できるタッチスクリーンを採用する．また，台詞音声の発話に集中するアフレコ時において，利用者の操作はボタンにタッチするのみに単純化し，ダブルクリックやドラッグ
アンドドロップ，キーボード入力といった操作を排除する．

2.4 多人数の利用
FCS のような，短時間に多数の利用者に対応する登場キャラクタに扱うようなコンテンツでは，複数利用者のア
フレコを並行して行うことができるシステムが求められる．特に FCS では，各回の上映で異なる利用者を想定し，現状の映像コンテンツの上映と並行して，次の上映のためのデータ収録や準備を進めており，アフレコも同様に対応できることが望ましい．そこで，利用者にはボイスオーバ
台詞音声を参考に，アドリブなく適切なタイミングで収録

図 2 提案システムの操作画面例（上）と画面レイアウト（下）することを想定し，各上映回および登場キャラクタごとにFig. 2 Screenshot (top) and screen layout (bottom) of pro-

独立した利用者の台詞音声であるとして扱うことで，他のposed post-scoring system.

利用者グループに対応する映像コンテンツの上映と並行して，他の登場キャラクタの音声とは独立した収録を行う．

3. システムの実装

中のボタン操作は，ボイスオーバ用参照音声再生の有無の切替えボタンと収録 START/STOP ボタンのみとするな
ど，操作するボタンの選択肢を限定した．また，利用者が前述のシステム設計の基づいた映像同期音声収録支援シ

発話した音声の音量についてはレベル表示することで，適

ステム，および再生映像と対応する収録台詞音声を同期再切な音量で録音できていることを確認するための情報を提生するプロトタイプシステムを構築した．以降に実装した

示した．利用者が録音した音声を確認した結果，台詞音声システムの詳細について述べる．

を採用すると判断した後，収録音声の後処理が行われるように実装した．

3.1 映像同期音声収録支援システム

収録音声の後処理の実装については，録音された音声を

図 2 に提案する映像同期音声収録支援システムのスク切り出し，対象シーンの長さに合った音声トラックとし

リーンショットおよび画面レイアウトを示す．タイミングて編集するまでの処理を自動化した．具体的には，繰り返情報の実装として提案システムでは，映像，背景効果音，し提示されたシーンに同期して録音している音声のうち，タイムコードの表示，タイミングに合わせて色が変化する

STOP ボタンを押した最後の繰り返し提示時にシーン先頭

台詞テキストの表示，ボイスオーバ用参照音声再生の有無

から終端までの収録対象シーンの音声を保存することで，の切替えなどいくつかの支援機能を実現した．リズム情報

収録対象シーンと同じ長さの音声を切り出す．なお，シーの実現のため，アフレコ対象シーンは，利用者が適切に音ン途中で OK ボタンを押した場合は，それ以降のシーン終声を発話できたと判断し STOP ボタンを押すまで，一定間端までは無音として保存する．

隔で繰り返し再生されるようにした．

さらに，コンテンツの編集や修正，差し替えを容易にす

操作の簡単化を実現するため，利用者はタッチスクリー

るために，無音の映像，背景効果音，ボイスオーバ用参照音

ンを介して提案システムを操作するように実装した．収録

声，および台詞テキストは独立に管理し，これらのデータ

c 2015 Information Processing Society of Japan


1145

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

図 3 音声同期再生システムの処理概要

図 4 操作の容易さに関する主観評価結果

Fig. 3 Overview of speech synchronization system.

Fig. 4 Result of subjective evaluation for ease of operation.

をタイムコードと関連づけたシーンデータとして管理する確認した．子供の利用に際しては親や説明員の補助を必要ようにした．その際，多人数の利用に対応するため，上映としたものの，多くの利用者は容易に操作方法を習得し，回ごと，シーンごとおよび登場キャラクタごとに異なる台自身で映像同期音声収録支援システムを操作しながら台詞

詞音声データとして管理し，複数キャラクタに対応する台

音声の録音を実施していた．収録の際には，異なるキャラ

詞音声の収録を独立に扱えるように実装した．なお，台詞

クタを割り当てられた複数の利用者が対応する台詞音声を音声データも同様にタイムコードと関連づけて管理する．

並行して収録を行い，利用者それぞれのペースで収録できていることを確認した．また，同時に参加した利用者すべ

3.2 音声同期再生システム
図 3 に FCS と接続することを想定した台詞音声の同期再生を実現するプロトタイプシステムの概要を示す．利用ての収録が完了した後，利用者の収録音声が同期再生された映像を利用者とともに視聴することで，音声同期再生シ
ステムについても安定に動作することを確認した．

者は，前節に示した映像同期音声収録支援システムを用いて，自身が発話した台詞音声を録音する．録音された台詞

4.2 システムの操作性に関する主観評価

音声データは，映像と音の同期や編集に用いられるタイム

映像同期音声収録支援システムに関して，その操作性を

コード LTC（Longitudeinal Time Code）に基づいて再生評価するための主観評価実験を実施した．実験協力者 99

される．映像出力用 PC は，映像データをスクリーンに出名（年齢 18〜63 歳）に対し，実際に使ってもらった後，ア

力すると同時に，BGM や効果音，および LTC 信号を含むンケートにより評価を行った．

音データを同期出力する．音混合用 PC では，映像出力用

4.2.1 操作の容易さ

PC から受けた LTC 信号に基づき対応する台詞音声データ

システムの操作が容易であったかを評価するため，次のを出力する．BGM や効果音と台詞音声データはミキサで質問に対するアンケート調査を行った：「システムの操作混合された後，スピーカから出力する．

は簡単でしたか？（5：とても簡単，4：簡単，3：どちらとプロトタイプシステムでは，映像コンテンツとして，2005

もいえない，2：難しい，1：とても難しい）」．図 4 に操作

年日本国際博覧会において公開された FCS 用の映像作品の容易さに関する主観評価結果を示す．結果より，6 割以“Grand Odyssey” を用いた．

上の実験協力者が，システムが提供するインタフェースで

4. システムの評価

容易に操作できたと回答した．

4.2.2 ボイスオーバ用参照音声の有用性

本章では，システムの安定性，操作系の容易さ，タイミ

システムにおいて，利用者の意思で同期聴取の有無が選

ング情報の有用性，収録の効率，および発話音声の同期精択可能なボイスオーバ用参照音声が有用であったかを評度の観点から，システムを評価する．

価するため，次の質問に対するアンケート調査を行った：「収録時の機能としてボイスオーバあり・なしのどちらの

4.1 システムの安定性方が収録しやすかったでしょうか？」．アンケートの結果，本システムを 2008 年 2 月 10〜11 日の 2 日間，日本科学

79%の実験協力者が，ボイスオーバ用参照音声を利用して未来館で展示することを通じて，システムの安定性に関す収録を行う方が容易であると回答した．一方で，「発話スる運用試験を行った．期間内に 79 名の子供を含むのべ 162

タイルがボイスオーバ用参照音声に強く影響されるため，名に対して，実際に使ってもらい，安定に動作することを

参照音声をなくした方が発話しやすかった」という意見も

c 2015 Information Processing Society of Japan


1146

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

間を音声収録時間として計測した．さらに収録後の台詞音
声を，オペレータが音声編集ソフトを用いてボイスオーバ
用参照音声に合わせ，音声の切り出し作業を行った際の時間を音声編集時間として計測した．以上の音声収録時間，および音声編集時間をあわせて，手動での収録における収録作業時間とした．89 個の台詞音声収録を対象に収録作
業時間を計測したところ，11 名の実験協力者に対する手動での収録作業では，音声の録音に平均 64 分，編集に平均69 分を要した．一方，上記 11 名の実験協力者とは異なる
91 名の実験協力者（年齢 18〜63 歳）が提案システムを用いて同じ内容の台詞音声を収録した場合，収録に平均 73
図 5

タイミング情報の有用性に関する主観評価結果

Fig. 5 Result of subjective evaluation for useful timing information.

分（最小 48 分，最大 125 分）を要した．提案システムにおいて，音声の切り出しなどの編集作業は収録時間に含まれる．結果より，提案システムを利用した収録作業では，手動での収録作業時間 133 分（64 分+69 分）と比較して，全あった．提案するシステムは，ボイスオーバ用参照音声の体の作業時間が 55%（73/133=0.55）に短縮された．なお，再生の有無を利用者の意思で適宜切り替えることが可能な

音声収録時間のみで比較すると，14%（(73−64)/64=0.14）設計であり，利用者の要求を満たした設計になっているとの増加となった．しかし，提案システムを用いることで，いえる．

基本的には利用者自身がシステムを操作するため，収録シ

4.2.3 タイミング情報の有用性

ステムを操作するための専門のオペレータも削減が可能でシステムが提示するタイミング情報が有用であったかをある．

評価するため，次の質問に対するアンケート調査を行っ

提案システムとの連動を想定する映像エンタテイメント

た：「タイミングを合わせるために，どのような情報を参システム FCS は 20 名のキャラクタの合計 89 台詞が収録対考にしましたか？（順位を回答）」．図 5 に優先して参照し象であり，キャラクタ 1 名あたり平均 5 つの台詞に対応すたタイミング情報の度合いに関する主観評価結果を示す．

る音声を収録する必要がある．提案システムでは全台詞の結果より，多くの実験協力者がボイスオーバ用参照音声

収録作業時間が 89 分以内（1 台詞あたり平均 1 分以内）に（Reference Voice）が有用であったと回答した．また，第 2

収録を完了できた実験協力者は全体の 85%（85/99=0.85）

位や第 3 位に選択された結果も考慮すると，映像（Movie）であった．つまり，これら多くの人にとって 1 キャラクタ

や背景効果音（BGM/SE），リズム（Rhythm）も有用でああたりの収録が 5 分程度であり，時間は想定する映像エンると回答する実験協力者が多かった．これらの結果は，利タテイメントシステム FCS の準備時間 15 分と比べ十分に用者や対象となるシーンに応じて複数の情報を選択的に利短い時間で実現できているといえる．以上のことから，想用していることを示唆する結果であり，複数の情報の選択定する映像エンタテイメントシステムとの連携を想定した的な利用を想定した提案システムの設計法が有用であるこアフレコ作業において，提案システムの導入により運用面とを示しているといえる．またリズム情報については，提での効率化が図れると考えられる．

案システムで取り入れた特徴的な要素であり，実際のアフレコ収録現場では用いないものであるが，今回の主観評価
実験によって多くの利用者に受け入れられることが確認された．

4.4 発話音声の同期精度
提案システムを用いた際に，映像とどの程度同期した台詞音声を収録できているかを評価するため，収録した台詞
音声の発話タイミングを正解とする発話タイミングと比較

4.3 収録作業の効率した．評価対象の台詞音声として，99 名の実験協力者が提提案システムを利用した際の台詞音声収録作業の効率に案システムを用いて収録した台詞音声のうち，アフレコ対

ついて評価するため，台詞音声収録時間を計測した．なお

象の登場キャラクタの顔や口の動きが確認しやすい 5 つの比較評価のため，一般的な収録スタジオでのアフレコ作業

台詞音声を用いた．

を想定し，音声収録機材をオペレータが操作する環境下で，評価対象の発話タイミングは，台詞音声の開始時刻を手防音室内にいる実験協力者に収録対象となるシーンの映像作業で付与したものを用いた．正解となる発話タイミング

や背景効果音，ボイスオーバ用参照音声，タイムコード，には，映像と同期のとれたボイスオーバ用参照音声の開始

テキストなどを一定周期で繰り返し提示し，それにあわせ

時刻を同様に手作業で付与したものを用いた．図 6 に，正て実験協力者が台詞音声を発話したものを収録した際の時解の発話タイミングに対する収録音声の同期ずれの分布

c 2015 Information Processing Society of Japan


1147

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

収録音声の同期ずれの分布を示す．なお，同期ずれが正の値であることは，映像に対して音声が遅れて提示されることを意味する．映像と音声とのタイミングのずれに対する許容限（音進み約 90 ms，音遅れ約 185 ms）[12] を同期ずれの評価基準に用いたとき，収録音声の 79.5%が許容限内のタイミングで発話できていることが確認された．なお，
図 7 においては発話タイミングのずれによる誤差と音素ア
ライメント処理による誤差の両方が音素の開始時刻の評価に含まれているが，音声認識における音素アライメントの誤差は，そのほとんどがリップシンクのずれの許容限と比べて十分に小さかったため，性能を考察するうえで問題な
いと考える．
図 6 発話タイミングの同期ずれ（発話の開始時刻）

Fig. 6 Synchronization delay of recorded speech timing (Onset
of utterance).

5. 考察
システムの評価として，多くの利用者に提案システムを使ってもらい，複数の利用者が同時並行的にそれぞれのペースで台詞音声を収録できることを確認した．このような複数利用者の同時並行的な収録は，利用者が映像編集ソ
フトやアフレコソフトを用いて登場キャラクタ 1 名ずつ順
番に収録することと比べて効率的である．また，アニメや映画などのアフレコにおいて行われるような，プロの声優が複数名同じ収録スタジオに集まり複数のマイクで同時に収録するような方法と比べて，利用者自身のペースで収録を進められることから利用者への負担が少なく，必ずしも声優のようなスキルがなくても台詞音声のアフレコが可能な柔軟なシステムであるといえる．
タイミング情報をより限定するための実装方法としては，
収録時の操作インタフェースにおいてボイスオーバの有無と同様に，タイムコードの有無などについてもオプション

図 7 発話タイミングの同期ずれ（音素の開始時刻）

Fig. 7 Synchronization delay of recorded speech timing (Onsetof phonemes).

設定としてボタン操作を追加することも考えられる．しかし，利用者が情報を選択するための操作が増えることは，操作を複雑化することにもつながる．今回は利用者の操作（総数で正規化した出現頻度）を示す．なお，同期ずれが正は極力少なく，注視箇所の切替えにより収録の中で情報をの値であることは，映像に対して音声が遅れて提示される

選択的に参照しながらアフレコすることを想定して設計しことを意味する．映像と音声とのタイミングのずれに対すた．このような設計により実現した提案システムの操作イ

る許容限（音進み約 90 ms，音遅れ約 185 ms）[12] を同期

ンタフェースは，少なくとも利用者自身の操作で幅広い年

ずれの評価基準に用いたとき，収録音声の 73.8%が許容限

齢層の方が台詞音声収録できているという観点から見て容内のタイミングで発話できていることが確認された．

易な操作系が実現できているといえる．また，提案システ

また，参考までに音素の開始時刻を基準とした発話タイ

ム使用後のアンケートにおいても 6 割以上の利用者から操ミングについても評価した．評価対象の発話タイミング

作が容易であるとの回答を得た．さらに，提案システムには，発話内容が既知の条件で音声認識技術を利用した音素

おいて連携する映像エンタテイメントシステムとして想定

アライメント処理により得られた音素の開始時刻を採用しする FCS の上映準備時間 15 分と比較して，提案システム

た．正解となる発話タイミングには，映像と同期のとれたはそれより十分短い時間で多くの利用者にとって割り当て

ボイスオーバ用参照音声を用い，同様の音素アライメントられた特定のキャラクタの台詞音声を収録できるシステム

処理により得られた音素の開始時刻を用いた．なお本研究であるといえる．以上より，想定する映像エンタテイメン

では，無音箇所（発話前後の無音，発話中のショートポー

トシステムとの連携を考慮したアフレコシステムとして，ズなど）については，音素の開始時刻の評価対象に含めな提案システムはその時間的要求仕様を満たすために十分ないものとした．図 7 に，正解の発話タイミングに対する操作容易性を有するシステムであるといえる．

c 2015 Information Processing Society of Japan

1148

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

提案システムの特色であるリズム情報について，図 5 よ

技面での評価は難しいことが理由である．しかし，利用者り上位 3 種類までに有用なタイミング情報としてリズム情がうまく演技ができないとしても，映像コンテンツとして報を選択した実験協力者は 56 名であり，全実験協力者 99

は演技を付与してほしいという要求も想定できる．もし

名の 57%（56/99=0.57）であった．これは 6 種類の情報

映像制作側で正解となる台詞音声を用意できるのであれから上位 3 種類を選択する際のチャンスレベル 50%を上回ば，たとえば発話スタイル変換 [13] やイントネーション変る．また，背景効果音（BGM/SE）の結果と比較すると，

換 [14] などの技術は，正解となる発話スタイルやイント

1 位に選択された数や 2 位に選択された数など傾向が似てネーションを利用者が収録した台詞音声に転写することにいる．これはたとえば，背景効果音に特徴的な音が少ない

応用できる可能性がある．

シーンなどにおいて，リズム情報がその代替として相補的本研究では対象としなかったが，大規模な運用を考えるに働いていると考えられる．以上より，提案システムで導と，不適切な録音音声の棄却機能も重要である．現状のシ入したリズム情報は，複数のタイミング情報を選択的に利ステムでは，利用者自身が許容すれば任意の台詞音声を収用するアフレコ作業環境下において，利用者にとって有用録でき，幅広い利用者に対して寛容なシステムとなっていな情報の 1 つとして受け入れられているといえる．

る．しかし，映像コンテンツ制作に利用者が参画し，自由提案したシステムは FCS のようなエンタテイメントシに台詞音声を入力すると，一部の不適切な台詞音声がコン

ステムと連携することで，アフレコによって利用者が収録

テンツ全体の品質や印象を低下させる可能性もある．よりした台詞音声を映像コンテンツに反映させる機能を追加す

確実な運用としては，最終的な上映の前に第三者による音ることが可能である．つまり提案システムを利用すること

声全体の確認を行うことで，不適切な録音音声の上映を回で，映像コンテンツに対して台詞音声を利用者が付与する避できる．しかし，大規模な運用ではその時間や労力も大というエンタテイメントシステムを実現することが可能にきくなることが予想されるため，運用を支援するうえでなった．しかし，アフレコを実現する映像同期音声収録支も，不適切な録音音声の棄却機能が実現されることが望ま

援システム単体でのエンタテイメント性については評価でしい．発話の自由度を制限するという意味では，音声認識きていない．アフレコ自体によりエンタテイメント性を持技術により発話内容を可視化したりスコア化したりするこ

たせるには，利用者が収録した台詞音声を評価する機能をとで，第 3 者による音声の確認を支援する情報が提供する付与することで，ゲーム性を持たせることが有効な手段のことも可能であろう．

1 つと考える．このような台詞音声の評価機能を実現する

6. おわりに

うえで，発話の同期については，音声認識技術を利用した
音素アライメント技術を利用することで，評価も可能であ

本稿では，FCS のような来場者参加型エンタテイメント

る．一方で，演技面での評価は難しく，必ずしも正解が 1システムなどへの応用が可能な，映像同期音声収録支援シ

つではない．このような声に対する表現付与の評価についステムを提案した．提案システムは，映像に同期した台詞ては，今後の研究課題の 1 つである．

音声を収録するために有用な複数のタイミング情報を参考

システムが提示するタイミング情報に関する評価においにすることができ，タッチパネルによる簡単な操作で，利て，ボイスオーバ用参照音声や映像，背景効果音，リズム

用者自身の操作による効率的な音声収録を実現した．一般などの情報を有用と感じる実験協力者が多いという結果をの利用者を対象とした展示として提案システムの運用試験得た．一方でカラオケなどで親しまれている色が変化するを行い，システムの安定性を確認した．システム利用に関テキストや，アフレコの現場でよく使われるタイムコードする主観評価実験により，システムの操作容易性および提を有用と感じる実験協力者は，今回の実験においては少な供するタイミング情報の有用性を示した．また，実際に提かった．本システムでは，映像などと極力重ならないよう案システムを利用した収録作業を通じて，作業時間の削減に各情報を配置したため，これらの情報は比較的小さく，に関する効果を示した．提案システムを利用して収録した映像と離れて表示されており，画面レイアウトやフォント

音声について，リップシンクの許容限を基準として評価し，サイズによる視認性が，これらの情報の参照しやすさに影システムを利用した際に期待できる収録音声の同期精度を響している可能性も考えられる．台詞音声を同期発話する示した．以上の結果は，プロの声優に限らず一般の利用者

上で，どのようなレイアウトでタイミング情報を提示すれに対して簡単に安定したアフレコによる台詞音声収録を提ば，タイミング情報を参照しやすく，複数の情報を有効に案システムにおいて実現できることを示すものである．

活用できるかについては，インタフェースデザインに関する研究として興味深く，今後の課題である．

謝辞 本研究は，川本，中村が（株）国際電気通信基礎技術研究所音声言語コミュニケーション研究所在籍時に行っ本研究では，映像と同期した音声の収録に焦点を当ててたものである．本研究の一部は，文部科学省の科学技術振おり，音声の演技については評価の対象としなかった．演

興調整費「新映像技術ダイブイントゥザムービーの研究」，

技の付与という観点では必ずしも正解が 1 つではなく，演および JSPS 科研費 24700191 の助成を受けた．本システ

c 2015 Information Processing Society of Japan

1149

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)

川本 真一 （正会員）

ムの実装，および評価において，株式会社オー・エル・エム・デジタルの四倉達夫氏をはじめ，「新映像技術ダイブイ

1998 年九州工業大学情報工学部電子

ントゥザムービーの研究」関係者に協力いただいた．

情報工学科卒業．2000 年北陸先端科
学技術大学院大学情報科学研究科博士

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]
[13]

[14]

株式会社バンダイナムコゲームス：カラオケ専用声優体
験コンテンツ「アフレコ！」を発表（オンライン），入手 先 http://www.bandainamcogames.co.jp/corporate/press/pdf/53-037.pdf （参照 2014-6-19）.
JOYSOUND.com：アフレコ！：うたスキ，株式会社エクシング（オンライン），入手先 http://joysound.com/
ex/utasuki/afrec/ （参照 2014-6-19）.
文化庁：方言アフレコ体験教室–平成 25 年度被災地における方言の活性化支援事業（オンライン），入手先
http://hogen.bunka.go.jp/ （参照 2014-6-24）.
株式会社クリーク・アンド・リバー社：当社の官公庁プロ
ジェクト 順調に伸長文化庁「方言アフレコ体験教室」サイト企画・制作（オンライン），入手先 http://www.cri.co.jp/
news/press release/2014/20140603000805.html （ 参 照2014-6-20）.
Maejima, A., Wemler, S., Machida, T., Takebayashi, M.
and Morishima, S.: Instant Casting Movie Theater: The
Future Cast System, IEICE Trans. Information and
Systems, Vol.E91-D, No.4, pp.1135–1148 (2008).
川本真一，足立吉広，大谷大和，四倉達夫，森島繁生，中村
哲：来場者の声の特徴を反映する映像エンタテインメン
トシステムのための台詞音声生成システム，情報処理学
会論文誌，Vol.51, No.2, pp.250–264 (2010).
足立吉広，大谷大和，川本真一，四倉達夫，森島繁生，中村
哲：個人の音声を反映する映像エンタテインメントシス
テム，情報処理学会論文誌，Vol.49, No.12, pp.3908–3917(2008).
田村正統，益子貴史，徳田恵一，小林隆夫：HMM に基づ
く音声合成におけるピッチ・スペクトルの話者適応，電子情報通信学会論文誌，Vol.J85-D-II, No.4, pp.545–553(2002).
Toda, T., Black, A. and Tokuda, K.: Voice Conversion Based on Maximum-Likelihood Estimation of Spectral Parameter Trajectory, IEEE Trans. Audio, Speech,
and Language Processing, Vol.15, No.8, pp.2222–2235(2007).
四倉達夫，川本真一，松田繁樹，中村 哲：iFACe：デジタルアニメ声優体験システム，情報処理学会論文誌，
Vol.49, No.12, pp.3847–3858 (2008).
西本卓也，幸 英浩，川原毅彦，荒木雅弘，新美康永：非同期型音声会議システム AVM の設計と評価，電子情報通信学会論文誌 D-II，Vol.83, No.11, pp.2490–2497 (2000).
ITU: Relative Timing of Sound and Vision for Broadcasting, ITU-R Recommendation BT.1359-1 (1998).
Tachibana, M., Yamagishi, J., Masuko, T. andKobayashi, T.: A Style Adaptation Technique for Speech
Synthesis Using HSMM and Suprasegmental Features,
IEICE Trans. Information and Systems, Vol.E89-D,
No.3, pp.1092–1099 (2006).
足立吉広，森島繁生：話者のイントネーションを模倣するインタラクティブ声質変換システムの構築，インタラ
クション 2005 論文集，pp.261–268 (2005).

c 2015 Information Processing Society of Japan


前期課程修了．2005 年同大学博士後期課程修了．博士（情報科学）．同年（株）国際電気通信基礎技術研究所音声言語コミュニケーション研究所研究員，2009 年（独）情報通信研究機構知識創成コミュニケーション研究センター
専攻研究員，2010 年北陸先端科学技術大学院大学情報科学研究科助教，現在に至る．音声・マルチモーダル情報処理の研究に従事．電子情報通信学会，日本音響学会，信号処理学会各会員．

森島 繁生 （正会員）
1987 年東京大学大学院電子工学専門課程博士修了，工学博士．同年成蹊大
学工学部電気工学科専任講師，1988
年同助教授，2001 年同電気電子工学科教授．2004 年早稲田大学先進理工
学部応用物理学科教授，現在に至る．

1994〜1995 年トロント大学コンピュータサイエンス学部
客員教授，1999 年より 2010 年まで国際電気通信基礎技術研究所客員研究員を併任．現在，新潟大学非常勤講，コン
ピュータグラフィックス，コンピュータビジョン，音声・音楽情報処理，ヒューマンコンピュータインタラクションの研究に従事．1991 年電子情報通信学会業績賞，2001 年
情報処理学会インタラクションベストペーパー賞，2013 年
山下記念研究賞，2012 年電気通信普及財団テレコムシステ
ム技術賞．画像電子学会副会長，芸術科学会理事，日本顔学会理事．IEEE，ACM，日本音響学会，電子情報通信学会，映像情報メディア学会，日本心理学会各会員．

1150

情報処理学会論文誌

Vol.56 No.4 1142–1151 (Apr. 2015)中村 哲 （正会員）
1981 年京都工芸繊維大学工芸学部電子工学科卒業．1992 年京都大学博士（工学）．1981 年シャープ株式会社中央研究所，情報技術研究所．1986〜

1989 年（株）ATR 自動翻訳電話研究所出向．1994〜2000 年奈良先端科学
技術大学院大学情報科学研究科助教授，2000 年（株）国際電気通信基礎技術研究所音声言語コミュニケーション研究
所第一研究室長，2005 年所長，取締役，2006 年（独）情報通信研究機構兼務．けいはんな研究所音声言語グループ
リーダ，上席研究員，MASTAR プロジェクトリーダ，知識創成コミュニケーション研究センター長，けいはんな研究所長等を経て，現在，奈良先端科学技術大学院大学情報科学研究科教授．ATR フェロー．ドイツカールスルーエ
大学客員教授．音声翻訳，音声認識，自然言語処理，マルチモーダル情報処理の研究に従事．日本音響学会粟屋奨
励賞，技術開発賞，情報処理学会インタラクション 2001
ベストペーパ賞，山下記念研究賞，喜安記念業績賞，人工知能学会研究会優秀賞，AAMT 長尾賞，日本 ITU 協会国際協力賞，電気通信普及財団テレコム技術賞，ドコモモ
バイルサイエンス賞，総務大臣表彰，文部科学大臣表彰，ELRA Antonio Zampoli 賞等受賞．人工知能学会，日本音響学会，電子情報通信学会，IEEE Senior Member，SLTC
委員，Signal Processing Magazine 編集委員，International

Speech Communication Association（ISCA）理事．

c 2015 Information Processing Society of Japan

1151