(57)【要約】【課題】台本等のテキストにカメラワークを割り付けておき、音声認識技術により、テキストが読み上げられることに応じてカメラワークを制御できるようにし、しかもテキストの読み上げの速度の変化にも対応できるようにする。【解決手段】システム制御部２０１は、音声が入力されたと判定されると、音声データを音声認識部２０３で音声認識処理し、原稿データと照合する。照合した原稿データにカメラワークが割り付けられていれば、音声データより音声速度を検出し、その検出した音声速度に応じてカメラワーク動作速度を制御して、その制御されたカメラワーク動作速度でカメラワークを実行する。【選択図】図１８
2012054765.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一の撮像装置の映像を素材として映像コンテンツを作成する映像コンテンツ作成装置であって、
テキストのデータを入力するテキストデータ入力手段と、
前記テキストデータ入力手段で入力したテキストの一部を選択する選択手段と、
前記選択手段で選択したテキストに前記撮像装置のカメラワークを割り付ける割り付け手段と、
音声のデータを入力する音声入力手段と、
前記テキストデータ入力手段で入力したテキストと前記音声入力手段で入力した音声とを照合して音声認識する音声認識手段と、
前記音声認識手段で認識したテキストに前記割り付け手段でカメラワークが割り付けられている場合、当該カメラワークを実行するカメラワーク実行手段と、
前記音声認識手段で認識している音声速度を検出する音声速度検出手段と、
前記音声速度検出手段で検出した音声速度に応じて、前記カメラワーク実行手段で実行しているカメラワーク動作速度を制御する動作速度制御手段とを備えることを特徴とする映像コンテンツ作成装置。
【請求項２】
前記選択手段で選択したテキストに対するカメラワークの初期状態及び終了状態、初期動作速度が設定されていることを特徴とする請求項１に記載の映像コンテンツ作成装置。
【請求項３】
前記選択手段で選択したテキストを読み上げる割り振り時間の設定が可能であり、
前記初期動作速度は前記割り振り時間に基づいて定められることを特徴とする請求項２に記載の映像コンテンツ作成装置。
【請求項４】
前記割り振り時間として、ユーザが指定した時間を設定する設定手段を備えたことを特徴とする請求項３に記載の映像コンテンツ作成装置。
【請求項５】
前記割り振り時間として、前記選択手段で選択したテキストを事前に読み上げた時間を設定する設定手段を備えたことを特徴とする請求項３に記載の映像コンテンツ作成装置。
【請求項６】
前記初期動作速度は、事前に設定された、テキストを読み上げる平均速度に基づいて定められることを特徴とする請求項２に記載の映像コンテンツ作成装置。
【請求項７】
前記初期状態及び前記終了状態は、パン・チルトについてはカメラ角度、ズームについてはズーム位置であることを特徴とする請求項２記載の映像コンテンツ作成装置。
【請求項８】
少なくとも一の撮像装置の映像を素材として映像コンテンツを作成する映像コンテンツ作成方法であって、
テキストのデータを入力するステップと、
前記入力したテキストの一部を選択するステップと、
前記選択したテキストに前記撮像装置のカメラワークを割り付けるステップと、
前記入力したテキストと音声入力手段で入力した音声とを照合して音声認識するステップと、
前記音声認識しているテキストにカメラワークが割り付けられている場合、当該カメラワークを実行するステップと、
前記音声認識している音声速度を検出するステップと、
前記検出した音声速度に応じて、前記実行しているカメラワーク動作速度を制御するステップとを有することを特徴とする映像コンテンツ作成方法。
【請求項９】
少なくとも一の撮像装置の映像を素材として映像コンテンツを作成するためのプログラムであって、
テキストのデータを入力する処理と、
前記入力したテキストの一部を選択する処理と、
前記選択したテキストに前記撮像装置のカメラワークを割り付ける処理と、
前記入力したテキストと音声入力手段で入力した音声とを照合して音声認識する処理と、
前記音声認識したテキストにカメラワークが割り付けられている場合、当該カメラワークを実行する処理と、
前記音声認識している音声速度を検出する処理と、
前記検出した音声速度に応じて、前記実行しているカメラワーク動作速度を制御する処理とをコンピュータに実行させるためのプログラム。
【請求項１０】
少なくとも一の撮像装置と、前記撮像装置の映像を素材として映像コンテンツを作成する映像コンテンツ作成システムであって、
テキストのデータを入力するテキストデータ入力手段と、
前記テキストデータ入力手段で入力したテキストの一部を選択する選択手段と、
前記選択手段で選択したテキストに前記撮像装置のカメラワークを割り付ける割り付け手段と、
音声のデータを入力する音声入力手段と、
前記テキストデータ入力手段で入力したテキストと前記音声入力手段で入力した音声とを照合して音声認識する音声認識手段と、
前記音声認識手段で認識したテキストに前記割り付け手段でカメラワークが割り付けられている場合、当該カメラワークを実行するカメラワーク実行手段と、
前記音声認識手段で認識している音声速度を検出する音声速度検出手段と、
前記音声速度検出手段で検出した音声速度に応じて、前記カメラワーク実行手段で実行しているカメラワーク動作速度を制御する動作速度制御手段とを備えることを特徴とする映像コンテンツ作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を含む複数の映像ソースの映像を素材として映像コンテンツを作成する映像コンテンツ作成装置、システム、方法及びプログラムに関する。
【背景技術】
【０００２】
時間的には連続するが異なる画角（アングル）で撮影された映像を切り換えて映像コンテンツを作成する場合には、１台のカメラで実現するのは不可能である。そのため、２台以上のカメラで異なる画角（アングル）から同時に撮影して、スイッチャーにより映像を切り換えるか、又は、撮影の終了後に編集を行うことが必要であった。このとき、構成意図に則した映像コンテンツとするためには、構成台本や取材メモ等コンテンツ構成を示すテキスト（文字・文章）を見て、どのような構図にするか、複数のカメラを含む映像ソースをどのように切り換えるかを人的に決定する必要があった。
【０００３】
特許文献１に開示されている技術は、予め決定している撮影スケジュールや出演者等の収録支援情報を記録媒体に記録して撮影装置に挿入し、収録する素材を該収録支援情報に基づいて分類する。そして、最終的な番組の構成に近い形での素材の獲得を収録の時点で行うことにより、編集の効率化を図る技術が開示されている。
【０００４】
また、特許文献２には、作成されたシーン、シナリオ記述データを記憶し、この記憶したデータの解析により撮影制御データを作成記憶し、この記憶した撮影制御データに基づいて順次撮影させるカメラを選出して撮影を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】再公表ＷＯ２００５／１０１８２５号公報
【特許文献２】特開平０９―０３７１３９号公報
【特許文献３】特開平１１−０２４５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年ではユーザが発した音声を認識する音声認識技術は一般的となり、音声認識の精度も向上しつつある。例えば台本にカメラワークを割り付けておき、ユーザが台本を読み上げることで音声認識技術により音声認識し、それに応じてカメラワークを制御する構成も考えられる。しかしながら、台本の読み上げは常に予定通りになるとは限らず、例えば原稿を読み上げる速度が、想定していた速度に対して変化する場合もある。
【０００７】
本発明は、上記のような点に鑑みてなされたものであり、台本等のテキストにカメラワークを割り付けておき、テキストが読み上げられることに応じてカメラワークを制御できるとともに、テキストの読み上げの速度の変化にも対応できるようにすること目的とする。
【課題を解決するための手段】
【０００８】
本発明の映像コンテンツ作成装置は、少なくとも一の撮像装置の映像を素材として映像コンテンツを作成する映像コンテンツ作成装置であって、テキストのデータを入力するテキストデータ入力手段と、前記テキストデータ入力手段で入力したテキストの一部を選択する選択手段と、前記選択手段で選択したテキストに前記撮像装置のカメラワークを割り付ける割り付け手段と、音声のデータを入力する音声入力手段と、前記テキストデータ入力手段で入力したテキストと前記音声入力手段で入力した音声とを照合して音声認識する音声認識手段と、前記音声認識手段で認識したテキストに前記割り付け手段でカメラワークが割り付けられている場合、当該カメラワークを実行するカメラワーク実行手段と、前記音声認識手段で認識している音声速度を検出する音声速度検出手段と、前記音声速度検出手段で検出した音声速度に応じて、前記カメラワーク実行手段で実行しているカメラワーク動作速度を制御する動作速度制御手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、台本等のテキストにカメラワークを割り付けておき、音声認識技術により、テキストが読み上げられることに応じてカメラワークを制御できるようにし、しかもテキストの読み上げの速度の変化にも対応することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮影制御システムの概略構成を示す図である。
【図２】第１の実施形態に係る撮影制御システムが使用される状況の一例を示す図である。
【図３】第１の実施形態に係るディレクターボードの要部構成を示すブロック図である。
【図４】第１の実施形態に係るリモートカメラの要部構成を示すブロック図である。
【図５】第１の実施形態に係る撮影制御システムの機能モジュール構成を示すブロック図である。
【図６】第１の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。
【図７】第１の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。
【図８】第１の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図９】第１の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。
【図１０】第１の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。
【図１１】第１の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図１２】ＲＡＭに保持するテキストのデータ構造の一例を示す図である。
【図１３】第１の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。
【図１４】第１の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図１５】ディレクターボードの表示部に表示されるＧＵＩの他の例を説明するための図である。
【図１６】第１の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図１７】第１の実施形態に係るリモートカメラの処理の流れを示すフローチャートである。
【図１８】第１の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。
【図１９】第１の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図２０】第１の実施形態に係るディレクターボードの処理を説明するための図である。
【図２１】第２の実施形態に係るディレクターボードの表示部に表示されるＧＵＩを説明するための図である。
【図２２】第２の実施形態において原稿データに対してキーワードとカメラワークが割り付けられた状態を説明するための図である。
【図２３】第２の実施形態においてユーザが原稿データを読み上げたときの状態を説明するための図である。
【図２４】第２の実施形態においてユーザが原稿データを読み上げている最中にアドリブを入れたときの状態を説明するための図である。
【図２５】第２の実施形態においてキーワードの入力待ちの状態から音声認識処理による原稿識別可能状態に復帰したときの状態を説明するための図である。
【図２６Ａ】第２の実施形態においてアドリブが入ったとき、そのとき読み上げていた原稿データに未読のキーワードがなかったときの状態を説明するための図である。
【図２６Ｂ】図２６Ａにおいて現在表示されている原稿データと、原稿データの次に表示される予定の原稿データを示す図である。
【図２７】第２の実施形態におけるディレクターボードの状態遷移を示す図である。
【図２８】第２の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図２９】第２の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図３０】第２の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図３１】第３の実施形態においてユーザが原稿データを読み上げたときの状態を説明するための図である。
【図３２】第３の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【図３３】第４の実施形態においてユーザが原稿データを読み上げたときの状態を説明するための図である。
【図３４】第４の実施形態に係るディレクターボードの処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は本発明を適用した映像コンテンツ作成システムとして機能する撮影制御システムの概略構成を示す図である。２００は表示部２０８を具備するディレクターボード、３００、３５０はリモートカメラ（以下、単にカメラと称する）であり、ディレクターボード２００とカメラ３００、３５０とは無線通信可能となっている。ディレクターボード２００は、表示したテキストがユーザにより読み上げられるのに合わせて複数のカメラを制御することのできる、手持ち可能なボードタイプ機器である。カメラ３００、３５０は、外部機器からのコマンド等に応じて、パン・チルト、ズーム、フォーカス、アイリス、ホワイトバランス等の撮影条件を制御することが可能な被制御型カメラである。
【００１２】
図２は本実施形態に係る撮影制御システムが使用される状況の一例を示す図である。本実施形態では、角乗の会場の様子を、複数のカメラ３００、３５０で異なる画角（アングル）から撮影している。
【００１３】
ユーザはディレクターボード２００上で台本等のテキストを完成させる過程で、このテキストを区分けして、その区分けしたテキストに対して映像ソース、更にはカメラワークを割り付けることができる。したがって、テキストの完成とともにカメラワーク構成が完成し、テキストの進行と同期させて各カメラ３００、３５０のカメラワークを制御できるようになる。すなわち、テキスト中のある部分を読み上げると、これに同期させて映像ソースを切り換えたり、カメラ３００、３５０のカメラワークを制御したりすることができる。これにより、例えば自身がレポータとして映像中に登場しながら、複数のカメラを制御することもでき、映像コンテンツ制作の工程全体が効率化し、制作時間の短縮、制作人員及び制作コストの削減が実現できる。
【００１４】
図３は本実施形態に係るディレクターボード２００の要部構成を示すブロック図である。２０１はシステム制御部であり、ディレクターボード２００自体の動作を制御する他、映像ソースの選択やカメラ３００、３５０のカメラワークを制御する信号の生成も司る。２０２はＲＡＭである。２０３は音声認識部である。２０４はメモリカードインタフェイスである。２０５は無線通信部である。２０６は不揮発性メモリである。２０７はマイクである。２０８は表示部である。２０９は操作部である。２１０はメモリカードである。操作部２０９には、タッチパネルのようにユーザが表示部２０８の表示に対してＧＵＩ操作できる態様のものも含まれる。テキストデータ入力は、ＧＵＩ操作に係る場合がありうる。また、メモリカードインタフェイス２０４を経由してメモリカード２１０よりなされる場合がありうる。また、無線通信部２０５を経由してなされる場合がありうる。また、マイク２０７を通じて入力されたユーザの発話を音声認識部２０３により認識、テキスト変換してなされる場合がありうる。入力されたテキストデータや、このテキストデータに割り付けられることで、関連付けられたカメラワーク等の記憶はＲＡＭ２０２に保持される。
【００１５】
図４は本実施形態に係るカメラ３００の要部構成を示すブロック図である。３０１はシステム制御部である。３０２はＲＡＭである。３０３は結像した光学像を光電変換する撮像部である。３０４はメモリカードインタフェイスである。３０５は不揮発性メモリである。３０６は無線通信部である。３０７はマイクである。３０８は操作部である。３０９は表示部である。３１０はメモリカードである。３１１は光学系である。システム制御部３０１は、ディレクターボード２００より送信され無線通信部３０６で受信した制御信号に基づき、撮像部３０３、光学系３１１のパン・チルト、ズーム、フォーカス、アイリス、ホワイトバランス等の撮影条件を制御する。システム制御部３０１はまた、撮像部３０３により撮影された映像を撮影条件等の状態情報とともに、無線通信部３０６を通じて、ディレクターボード２００に送信する。なお、ここではカメラ３００を説明したが、カメラ３５０も同様の構成である。
【００１６】
図５は本実施形態に係る撮影制御システムの機能モジュール構成を示すブロック図である。本図に示す諸機能は、各装置内に記憶されたソフトウェアによる情報処理がその装置のハードウェア資源を用いて実現するものである。例えば映像アイコン表示手段４０１は図３に示すディレクターボード２００の不揮発性メモリ２０６に記憶されたソフトウェアによりシステム制御部２０１が情報処理し、表示部２０８に映像アイコンを表示するようにして実現する。
【００１７】
ディレクターボード２００において、テキスト表示手段４０７はテキストデータ入力手段４０６を介して入力されたテキストを表示する。ユーザは、テキスト選択手段４０８によりテキストを区分けして、テキストの一部を選択することができる。そして、撮影情報割付手段４０４により、選択したテキストに対して映像ソースを割り付け、映像ソースがカメラ３００、３５０である場合、パン・チルト、ズーム、フォーカス、アイリス、ホワイトバランス等のカメラワークを割り付けることができる。撮影情報管理手段４０３は当該割り付けられたカメラワークの撮影情報を管理し、撮影制御手段４０２は当該撮影情報に基づいてカメラ３００、３５０の撮影制御を行う。
【００１８】
カメラ３００、３５０において、ズーム駆動部４５２はディレクターボード２００の撮影制御手段４０２からの撮影情報によりズームを駆動・変更する。また、フォーカス駆動部４５３はディレクターボード２００の撮影制御手段４０２からの撮影情報によりフォーカスを駆動・変更する。また、アイリス駆動部４５４はディレクターボード２００の撮影制御手段４０２からの撮影情報によりアイリスを駆動・変更する。また、ＷＢ（ホワイトバランス）駆動部４５５はディレクターボード２００の撮影制御手段４０２からの撮影情報によりホワイトバランスを駆動・変更する。また、パン・チルト駆動部４５６はディレクターボード２００の撮影制御手段４０２からの撮影情報によりパン・チルトを駆動・変更する。
【００１９】
ディレクターボード２００において、映像アイコン表示手段４０１は、カメラ３００、３５０の撮像部４５１で撮影した映像、及び、他の映像ソース４６０の映像出力部４６１の出力した映像をアイコンとして表示する。映像ソース４６０の動作制御部４６２は、ディレクターボード２００の撮影制御手段４０２の制御情報に基づいて、映像ソース４６０の動作を制御する。
【００２０】
図６（ａ）は本実施形態に係るディレクターボード２００の表示部２０８に表示されるＧＵＩに対してユーザがテキスト入力操作を行っている状態を示す図である。６０１は表示部２０８に表示されるＧＵＩであり、６０２はＧＵＩ６０１中のテキスト入力領域である。また、ＧＵＩ６０１には、オペレーションボタン６０６、コミュニケーションボタン６０２、「進行表モードにする」ボタン６０８、編集ボタン６０９、レコーディングボタン６１０、メモボタン６１１、セットアップボタン６１２が設定される。
【００２１】
本実施形態に係るディレクターボード２００では、表示部２０８はタッチパネルと一体のタッチパネルディスプレイとして構成される。ユーザは指やスタイラスペン等を用いて、このタッチパネルディスプレイにテキストを手書きすることによりテキスト入力操作を行うことができる。また、テキスト文字列を線で囲む等のユーザの所定のジェスチャ操作に応じて、テキストがブロックとして区分けされる。なお、タッチパネルディスプレイに手書きされた文字やジェスチャの認識には、既知の方法を用いることが可能である。ユーザ操作に応じてテキストがブロックとして区分けされると、ディレクターボード２００は区分けられたテキストをブロック管理し、例えば図６（ｂ）に示す「メモ用紙」６０３〜６０５のようなＧＵＩで表示する（以下、「テキストブロック」と呼ぶ）。図６（ｂ）に示す例では、３つのテキストブロック６０３〜６０５がそれぞれブロック管理されている。
【００２２】
図７（ａ）は本実施形態に係るディレクターボード２００の表示部２０８のＧＵＩにカメラオペレーションパネル７０１が表示された状態を示す図である。また、図７（ｂ）はカメラオペレーションパネル７０１を抜き出して示す図である。７０１はカメラオペレーションパネルであり、ユーザによる所定の操作、例えばオペレーションボタン６０６の押下に応じて表示される。図７（ａ）は、図６（ｂ）のテキストブロック６０３〜６０５が表示されているときに、オペレーションボタン６０６の押下に応じてカメラオペレーションパネル７０１が表示された状態を示す。
【００２３】
図７（ｂ）に示すように、カメラオペレーションパネル７０１には、映像アイコン７０３が表示される。映像アイコン７０３は、撮影制御システムを構成する複数の映像ソースを示すアイコンであって、各映像ソースが出力している映像を表示する。例えば図２の例で言えば、カメラ３００、３５０が映像ソースであり、これらカメラ３００、３５０が撮影している映像が映像アイコン７０３としてリアルタイムに表示されることになる。撮影が行われていない場合は映像を非表示としたり、最終フレームを静止状態で表示したりする。図７（ｂ）に示す例では、４つのリモートカメラが撮影している映像と、１つのＶＴＲ映像とが表示されている。ここでいうＶＴＲ映像とは、例えば前もってカメラで撮影され、ディレクターボード２００のメモリカード２１０に保存された映像データをいう。このようなＶＴＲ映像も映像コンテンツの素材として用いることができる。
【００２４】
また、カメラオペレーションパネル７０１は、各リモートカメラを制御するためのズームコントローラ７０４と、パン・チルトコントローラ７０５とを有する。また、映像ビューワ７０６は選択状態にある映像ソースの映像を表示する領域である。図７（ｂ）の例では、リモートカメラ「１」を示すアイコンが選択状態となっており、他のアイコンと識別可能に表示されている。映像ビューワ７０６にはリモートカメラ「１」が撮影している映像が表示されている。
【００２５】
ユーザは、テキストブロック６０３〜６０５に対して、カメラオペレーションパネル７０１の映像アイコン７０３をドラッグ＆ドロップするといった所定の操作を行うことにより、テキストブロック６０３〜６０５に映像ソースを割り付けることができる。
【００２６】
また、ユーザは、テキストブロック６０３〜６０５の配置を並び替えるといった所定の操作を行うことにより、テキストブロック６０３〜６０５の順序を変更することができる。このテキストブロック６０３〜６０５の順序は、映像コンテンツにおけるアナウンスの順序として規定される。したがって、テキストブロックの順序はＲＡＭ２０２に保持されており、並び替えられるたびに保持されている順序も更新される。
【００２７】
図８は本実施形態に係るディレクターボード２００が、電源オンからユーザによるテキスト入力を受け付けてこれをブロック化し、時系列上に連続的に表示するまでの処理の流れを示すフローチャートである。このフローチャートは、ディレクターボード２００のシステム制御部２０１が入力信号やプログラムに基づき、各部を制御することにより実現される。
【００２８】
システム制御部２０１は、表示部２０８に図６（ａ）に示すＧＵＩを表示する（ステップＳ８０１）。ここで、ディレクターボード２００はユーザによるテキスト入力操作を受け付ける状態となる。
【００２９】
ユーザによる操作がテキスト入力操作であった場合（ステップＳ８０２でＹＥＳ）、システム制御部２０１は、ユーザにより入力されたテキストを表示部２０８に表示し、そのデータをＲＡＭ２０２に保持する（ステップＳ８０３）。
【００３０】
ユーザによる操作がテキスト文字列を線で囲むといった、テキストのブロック区分けに係る操作であった場合（ステップＳ８０４でＹＥＳ）、システム制御部２０１は、当該テキストをブロックとしてＲＡＭ２０２でデータ管理・保持する。そして、表示部２０８に図６（ｂ）に示すテキストブロックのＧＵＩを表示する（ステップＳ８０５）。なお、ステップＳ８０２においてテキスト入力操作が全く行われなかった場合、ステップＳ８０５の処理はスキップされる。
【００３１】
ユーザによる操作がテキストブロック上に映像アイコンをドラッグ＆ドロップするといった、テキストブロックに対する映像ソースの割り付けに係る操作であった場合（ステップＳ８０６でＹＥＳ）について説明する。この場合、システム制御部２０１は、当該テキストブロックに映像ソースを関連付けてＲＡＭ２０２でデータ管理・保持する。この対応付けの方法は後述するが、例えばテーブル等を作成して管理してもよいし、テキストブロックが映像ソースの情報を自身の属性情報として保持するようにしてもよい。映像ソースの割り付けが行われると、テキストブロックに重ねて映像アイコンを表示する（ステップＳ８０７）。
【００３２】
ユーザによる操作がテキストブロックをドラッグ＆ドロップするといった、テキストブロックの順序変更に係る操作であった場合について説明する（ステップＳ８０８でＹＥＳ）。この場合、システム制御部２０１は、表示部２０８に表示している当該テキストブロックの順序を変更する（ステップＳ８０９）。このとき、ＲＡＭ２０２でデータ管理・保持している順序も更新する（ステップＳ８０９）。
【００３３】
ユーザによる操作が「進行表モードにする」ボタン６０８の押下である場合（ステップＳ８１０でＹＥＳ）、システム制御部２０１は、表示部２０８の表示を「進行表モード」に遷移させる（ステップＳ８１１）。進行表モードでは、入力されたテキストと、そのテキストに割り付けられた映像ソースを時系列上に連続的に表示する。以下、進行表モードについて説明する。
【００３４】
図９は進行表モードのＧＵＩ表示例を示す図である。９０１は原稿エリア、９０２はタイムラインエリア、９０３は割り付けエリア、９０４〜９０６は映像アイコンである。原稿エリア９０１には、各テキストブロックに対応するテキストが、それがレイアウトされていた順に、本実施形態では右から左に連続的に表示される。図９では、図６（ｂ）に示したテキストブロック６０３〜６０５が右から順に表示されている。
【００３５】
また、割付エリア９０３には、各テキストブロックに割り付けられた映像ソースの映像アイコンが、それぞれのテキストブロックに対応付けるかたちで、図示例ではテキストブロックの上部に表示される。図９では、テキストブロック「こんにちは」６０３に割り付けられた映像ソースであるカメラ「１」を示す映像アイコン９０４、テキストブロック「本日、ここ、東京、・・・行われています。」６０４に割り付けられた映像ソースであるカメラ「２」を示す映像アイコン９０５、テキストブロック「今日はその模様を・・・思います」６０５に割り付けられた映像ソースであるカメラ「３」を示す映像アイコン９０６が表示されている。割り付け処理は、映像コンテンツにおいて、どのテキストブロックが読み上げられているときに、どの映像ソースの映像を用いるかを指定するために行われる。つまり、図９の例で言えば、「こんにちは」とレポータが話しているときには、映像アイコン９０４に対応するカメラ「１」からの映像が使用されることとなる。そして、「本日、ここ、東京・・・」と話し始めた場合は、映像アイコン９０５に対応するカメラ「２」からの映像に切り替わることになる。
【００３６】
図１０（ａ）は図９におけるカメラ「２」を示す映像アイコン９０５がダブルタップされる操作がなされたときに、ディレクターボード２００が図９の状態に重ねて表示する表示の一例である。１００１はテキストブロックエリア、１００２は進行ゲージエリアである。テキストブロックエリア１００１には、ユーザによりダブルタップされた映像アイコン９０５に対応するテキストブロック「本日、ここ、東京、・・・行われています。」６０４が表示される。
【００３７】
図１０（ｂ）はユーザにより進行ゲージエリア１００２上の一点が押下されたときに、図１０（ａ）の状態から遷移して表示されるＧＵＩを示す図である。１００３はキューポイント、１００４は画角調整ウィンドウ、１００５はズームコントローラ、１００６はパン・チルトコントローラ、１００７は動作始点、１００８は動作終点、１００９は映像アイコンである。図１０（ａ）の状態で、ユーザにより進行ゲージエリア１００２上の一点がタップされると、ディレクターボード２００はその点にキューポイント１００３を表示するとともに、その直下或いは近傍に画角調整ウィンドウ１００４を表示する。
【００３８】
画角調整ウィンドウ１００４はテキストブロックの時系列上の当該箇所（タイミング）における、カメラのパン・チルトの角度（画角）やズーム比をユーザが設定・指示できるようにディレクターボード２００が表示・提供するＧＵＩである。ユーザはテキストブロックの時系列上の箇所（タイミング）ごと、すなわちキューポイントごとの画角等を設定することにより、そのキューポイントと隣接する他のキューポイントの間におけるリモートカメラのカメラワークを設定することができる。例えば動作始点１００７におけるズーム比よりも動作終点１００８におけるズーム比が広角であるように設定したとする。このときは、動作始点１００７から動作終点１００８にかけて徐々にズーム比が変化するような（本例の場合はズームアウトするような）カメラワークを設定したことになる。
【００３９】
図１１は本実施形態に係るディレクターボード２００が、テキスト及びそれに割り付けられた映像ソースを時系列上に連続的に表示し、ユーザによるカメラワークの割り付けを受け付けるまでの処理の流れを示すフローチャートである。このフローチャートは、ディレクターボード２００のシステム制御部２０１が入力信号やプログラムに基づき、各部を制御することにより実現される。
【００４０】
システム制御部２０１は、表示部２０８に進行表モードのＧＵＩを表示する（ステップＳ１１０１）。そして、ユーザにより、カメラワーク割り付けの開始の指示に係る所定のＧＵＩ操作がなされた場合（ステップＳ１１０２でＹＥＳ）、システム制御部２０１は、表示部２０８にカメラワーク割り付けを行うための所定のＧＵＩを表示する（ステップＳ１１０３）。このＧＵＩの一例を図１０（ａ）に示す。
【００４１】
ユーザにより進行ゲージエリア１００２上の一点が押下される等、時系列上の特定の箇所を指示する操作がなされた場合（ステップＳ１１０４でＹＥＳ）、システム制御部２０１は、その点にキューポイント１００３を表示する（ステップＳ１１０５）。そして、テキストデータの時系列上の当該箇所を識別可能なようにＲＡＭ２０２でデータ管理・保持する（ステップＳ１１０６）。また、図１０（ｂ）に示す画角調整ウィンドウ１００４のような、当該箇所におけるリモートカメラのパン・チルトの角度（画角）やズーム比を設定するためのＧＵＩを表示する（ステップＳ１１０７）。
【００４２】
ユーザにより画角調整ウィンドウ１００４のズームコントローラ１００５やパン・チルトコントローラ１００６が操作される等、画角設定に係る所定のＧＵＩ操作がなされた場合（ステップＳ１１０８でＹＥＳ）について説明する。この場合、システム制御部２０１は、テキストデータの時系列上の当該箇所におけるリモートカメラの画角が識別可能なようにＲＡＭ２０２でデータ管理・保持する（ステップＳ１１０９）。このようにすることで、時系列上の任意の箇所（タイミング）でのカメラワークを指定することが可能となる。
【００４３】
図１２は、本実施形態に係るディレクターボード２００が入力されたテキストのデータをＲＡＭ２０２に保持するときのデータ構造の一例を示すものである。図１２において、データはＸＭＬ（Extensible Markup Language）形式で記述された構造を有するものとなっている。
【００４４】
図１２（ａ）は、ステップＳ８０３にてユーザによりテキスト入力がされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。ユーザにより入力されたテキストは開始タグ<text>と終了タグ</text>とに挟まれ、テキストデータであることが識別できるようになっている。
【００４５】
図１２（ｂ）は、ステップＳ８０５にてユーザによりテキストのブロック区分けがされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。ユーザにより区分けされたテキストブロックは開始タグ<text_block>と終了タグ</text_block>とに挟まれ、それぞれがテキストブロックであることが識別できるようになっている。
【００４６】
図１２（ｃ）は、ステップＳ８０７にてユーザによりテキストブロックへの映像ソースの割り付けがされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。ユーザにより映像ソースの割り付けがされたテキストブロックの開始タグ中に<text_block>には属性名video_sourceが付加され、映像ソースを示す属性値（例えばcamera_1）を持つようになっている。これによりテキストブロックに割り付けられた映像ソースの識別が可能になる。
【００４７】
図１２（ｄ）は、ステップＳ８０９にてユーザによりテキストブロックの順序変更がされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。テキストブロックの開始タグ中に<text_block>には属性名orderが付加され、テキストブロックの時系列上の順序を示す属性値（例えば１）を持つようになっている。
【００４８】
図１２（ｅ）は、ステップＳ１１０８にてユーザによりテキストの時系列上の特定箇所におけるリモートカメラの画角設定がされたときにＲＡＭ２０２に保持されるデータ構造の一例を示すものである。データにおける前記時系列上の特定箇所に対応する位置にタグ<que_point>が挿入される。また、属性名angleや属性名zoomが付加され、特定箇所におけるリモートカメラの方位角及び仰角を示す属性値（例えば０，１８０）や、３５ｍｍ換算時焦点距離を示す属性値（例えば５５）を持つようになっている。
【００４９】
以上が、映像コンテンツの撮影前に行う処理である。ここで設定した事項がいわゆるコンテンツ作成の際の台本に相当する。以下、設定したテキスト及びカメラワークに従って実際に撮影を行う場合の処理について説明する。
【００５０】
図１３は図９の状態でレコーディングボタン６１０が押下されたときに遷移して表示される画面を示す図である。１３０１はタイムラインであり、時系列の経過を示すものとしてディレクターボード２００が表示するものである。この時系列の経過は、例えば時間経過でもよいし、ユーザがテキストを読み上げたときに音声認識部２０３がその読み上げを音声認識し、連続的なテキストにおけるその読み上げられたテキストの位置を時系列の経過として認識するものでもよい。
【００５１】
また、本実施形態に係る撮影制御システムは、連続的なテキストにおける時系列の経過があったとき、時系列上の当該箇所におけるテキストに対して割り付けられた映像ソースを選択し、更にはカメラワークを実施する。例えばディレクターボード２００の表示部２０８に表示したテキストがユーザにより読み上げられると、その読み上げに合わせて、映像ソースの選択、リモートカメラのパン・チルト、ズーム等のカメラワークを実施する。ディレクターボード２００は、また、読み上げられたテキストをグレイアウトする等、まだ読み上げられていないテキストと異ならせて表示しながら、テキストをスクロールして、まだ読み上げられていないテキストを順次表示していく。
【００５２】
図１４は本実施形態に係るディレクターボード２００が、テキストを時系列上に連続的に表示し、時系列上の当該箇所におけるテキストに対して割り付けられた映像ソースの選択やカメラワークを実施する際の処理の流れを示すフローチャートである。このフローチャートは、ディレクターボード２００のシステム制御部２０１が入力信号やプログラムに基づき、各部を制御することにより実現される。
【００５３】
システム制御部２０１は、表示部２０８にＧＵＩを表示する（ステップＳ１４０１）。ここで、例えば音声認識部２０３がユーザの発話を認識、テキスト変換してＲＡＭ２０２に保持されたテキストデータと対比する等により、時系列の経過を認識した場合（ステップＳ１４０２）を考える。この場合、ディレクターボード２００は表示部２０８上で図１３におけるタイムライン１３０１を当該認識した時系列の経過に対応するテキスト表示の箇所に移動して表示する（ステップＳ１４０３）。また、ＲＡＭ２０２に管理・保持するテキストデータの当該認識された時系列の経過に対応する位置を参照する（ステップＳ１４０４）。
【００５４】
当該参照した位置に映像ソースの切り換えやカメラワークの変更がタグや属性として記述されていた場合（ステップＳ１４０５）、以下の処理を行う。すなわち、当該記述されている映像ソースの切り換えを実施したり、カメラワークの変更に対応する撮影条件信号を生成して無線通信部２０５よりリモートカメラに送信・制御したりすることにより、カメラワークを実施する（ステップＳ１４０６）。
【００５５】
前記参照したテキストデータの時系列の経過に対応する位置が、図１２（ｅ）における<que_point>タグに挟まれた位置であって、その直前にある<que_point>タグのangle属性又はzoom属性の属性値と、直後にある<que_point>タグのangle属性又はzoom属性の属性値が異なっている場合（ステップＳ１４０７）、以下の処理を行う。すなわち、その位置におけるangle属性又はzoom属性の属性値を計算し（ステップＳ１４０８）する。そして、当該属性値に対応する撮影条件信号を生成し無線通信部２０５よりリモートカメラに送信・制御することにより、カメラワークを実施する（ステップＳ１４０９）。
【００５６】
なお、テキストにカメラワークを割り付けるためのＧＵＩは限定されるものではない。図１５はディレクターボード２００の表示部２０８にユーザにより入力されたテキストを時系列上に連続的に表示し、ユーザにテキストの一部を選択させて、カメラワークの割り付けを行う場合のＧＵＩ表示の遷移を示す図である。
【００５７】
ユーザによりテキストの一部１５０１が選択されると、ディレクターボード２００はメニュー１５０２を表示する。該メニュー１５０２は「映像ソース切り換え」、「ズームイン」、「ズームアウト」、「パンアップ」、「パンダウン」、「右パン」、「左パン」等の項目をユーザが選択、指示できるようになっている。ユーザによりメニュー項目が選択されると、ディレクターボード２００はテキストの一部に対して映像ソース、カメラワークを割り付ける。このとき、ズーム、チルト、パンニング等の動きのあるカメラワークである場合、選択されたテキスト１５０１の先頭がカメラワークの動作の開始点、最後が終了点に設定される。また、開始点及び終了点におけるカメラのズーム位置やカメラ角度等の初期状態、終了状態を設定する。
【００５８】
ここまで説明したように、取材又はシナリオに基づいて映像コンテンツを制作する場合において、ユーザが、テキストに映像ソースの選択、更にはカメラワークを割り付け、関連付けさせられるようにした。このことにより、ユーザがテキストを組み立てて原稿作成するとともにカメラワークの構成が完成することを実現している。また、テキストの進行とカメラワークの進行とを同期させるべく、ユーザのテキスト読み上げによりテキストの進行における時系列の経過を認識すると、これに同期して自動的に映像ソースの選択やカメラワークを実施することとしている。これにより、映像コンテンツ制作の工程全体が効率化し、制作時間の短縮や制作人員及び制作コストの削減が実現される。
【００５９】
しかしながら、音声認識技術を用いてカメラワークを自動で制御する場合に、実際の撮影現場では、状況に応じて時間の短縮又は延長が要求され、音声速度（原稿を読み上げる速度）が、想定していた速度に対して変化する場合がある。よって、原稿作成時に想定していた各々カメラワークの時間配分では不都合が出てくるという問題がある。
【００６０】
そこで、原稿作成時に想定していた複数カメラのカメラワーク動作速度を、音声速度に応じてテキストの進行と同期させて制御し得るようにする。
【００６１】
図１６及び図１７はテキストに割り付けられたカメラワークを実行するときの処理の流れを示すフローチャートであり、図１６はディレクターボード２００の処理を、図１７はカメラ３００、３５０の処理を示す。ディレクターボード２００、カメラ３００、３５０の両方の処理を合わせてテキストに割り付けられたカメラワークの実行を実現している。
【００６２】
ディレクターボード２００において、システム制御部２０１は、ユーザが読み上げた音声を音声認識し、テキストと照合してユーザがテキストを読み上げているか否かを判定する（ステップＳ１６０１）。テキストを読み上げていれば、読み上げられているテキストにカメラワークが割り付けられているか否かを判定する（ステップＳ１６０２）。カメラワークが割り付けられていれば、撮影情報を解析し、カメラ３００、３５０のいずれにどの制御信号を送るかを決定する（ステップＳ１６０３）。その後、カメラ制御対象のカメラ３００、３５０から無線通信部３０６を介してカメラ３００、３５０の状態を受信し、制御可能か否かを判定する（ステップＳ１６０４）。対象のカメラ３００、３５０が制御可能であれば、対象のカメラ３００、３５０に対し、無線通信部２０５を介して制御信号を送信する（ステップＳ１６０５）。
【００６３】
一方、カメラ３００、３５０において、システム制御部３０１は、ディレクターボード２００から制御信号を受信したか否かを判定する（ステップＳ１７０１）。制御信号を受信した場合、制御信号からどのようなカメラワークを行うか解析する（ステップＳ１７０２）。その後、撮像部３０３、光学系３１１のパン・チルト、ズーム、フォーカス、アイリス、ホワイトバランス等の撮影条件を制御する（ステップＳ１７０３）。
【００６４】
図１８は本実施形態に係るディレクターボード２００が「進行表モード」のＧＵＩ表示をしている状態を示す。図１８は図９と同義であるが、図は簡略化したものであり、以下の説明では図１８に基づいて説明する。１８００は原稿データ（テキストデータ）であり、この原稿データ１８００に対してカメラワークが割り付けられる。１８０１、１８０２、１８０３は原稿データ１８００に対するカメラ３００及び３５０の割り付け動作エリアである。１８０４は動作エリア１８０１に対応する原稿データ、１８０５は動作エリア１８０２に対応する原稿データ、１８０６は動作エリア１８０３に対応する原稿データの表示エリアである。原稿データ１８０４、１８０６をユーザが読み上げている間はカメラ３００がメインのカメラとして動作する。また、原稿データ１８０５をユーザが読み上げている間はカメラ３５０がメインのカメラとして動作する。
【００６５】
１８０７、１８０８はテキストに割り付けられた「映像ソース切り換え」、「ズームイン」、「ズームアウト」、「チルトアップ」、「チルトダウン」、「右パン」、「左パン」等のカメラワークを表す。カメラワーク１８０７は、含まれるテキスト領域が読み上げられている間、カメラ３００をズームイン動作させる。カメラワーク１８０８は、含まれるテキスト領域が読み上げられている間、カメラ３５０を左にパンニング動作させる。ズームイン動作では、終了点におけるズーム位置と初期ズーム速度が原稿データ作成時に予め設定される。パンニング動作では、カメラの到達角度、カメラの角速度が原稿データ作成時に予め設定される。
【００６６】
図１９は本実施形態に係るディレクターボード２００が、カメラ制御解析時におけるカメラワークの制御解析を行う処理の流れを示すフローチャートである。ユーザが音声を発すると、マイク２０７を介して音声データが入力されるので、システム制御部２０１は、音声が入力されたか否かを判定する（ステップＳ１９０１）。音声が入力されれば、音声データを音声認識部２０３で音声認識処理し、原稿データと照合する（ステップＳ１９０２）。音声が入力されていなければステップＳ１９０１に戻る。
【００６７】
次に、システム制御部２０１は、照合した原稿データにカメラワークが割り付けられているか否かを判定する（ステップＳ１９０３）。カメラワークが割り付けられていれば、音声データより音声速度を検出する（ステップＳ１９０４）。この処理が、音声速度検出手段による処理の一例である。そして、検出した音声速度に応じてカメラワーク動作速度を制御し（ステップＳ１９０５）、その制御されたカメラワーク動作速度でカメラワークを実行する（ステップＳ１９０６）。
【００６８】
次に、システム制御部２０１は、全ての原稿を読み終えたか否かを判定し（ステップＳ１９０７）、読み終わっていれば本処理を終了し、読み終わっていなければステップＳ１９０１に戻る。
【００６９】
ここで、原稿データ作成時に原稿データ毎に読み上げる時間を予め設定する場合の処理について説明する。図２０（ａ）は原稿データ作成時に、原稿データ毎に読み上げる割り振り時間を設定しておいたデータである。原稿データ１８０４は２０秒、原稿データ１８０５は２０秒、原稿データ１８０６は５秒に設定してある。
【００７０】
原稿データの割り振り時間と原稿データの文字数より、想定する音声速度Ｖoを算出する。音声速度Ｖoは、Ｖo＝文字数／割り振り時間にて求まる。音声速度とは、１秒間に何文字を読み上げるかを示す。
【００７１】
このときの想定カメラワーク動作時間は、カメラワークが割り付けられている原稿データの文字数と想定する音声速度Ｖoにて算出される。想定カメラワーク動作時間Ｔoは、Ｔo＝カメラワークが割り付けられている原稿データの文字数／想定音声速度Ｖoにて求まる。このときのカメラワーク初期動作速度は、上述した原稿データの読み上げる割り振り時間と、カメラワークの初期状態及び終了状態の設定値により算出される。パンニング動作１８０８の場合、カメラワーク初期動作速度Ｖｗo＝開始点から終了点までのカメラ角度／想定カメラワーク動作時間Ｔoにて求まる。ズーム動作１８０７の場合、カメラワーク初期動作速度Ｖｗo＝開始点から終了点までのズーム量／想定カメラワーク動作時間Ｔoにて求まる。
【００７２】
図２０（ｂ）は本実施形態に係るディレクターボード２００が、カメラワーク動作速度制御を行う処理の流れを示すフローチャートである。ステップＳ１９０４で検出した音声速度をＶｄとし、音声速度Ｖｄと現在のカメラワーク動作が割り付けられている原稿データの残り文字数より、読み上げるまでの残り時間Ｔｄを算出する（ステップＳ２００１）。Ｔｄ＝残り文字数／音声速度Ｖｄにて求まる。残り時間Ｔｄでカメラワークを終了状態にするためのカメラワーク動作速度を、残りカメラワーク動作量と残り時間Ｔｄより算出する（ステップＳ２００２）。パンニング動作１８０８の場合、カメラワーク動作速度Ｖｃ＝残りカメラ角度／残り時間Ｔｄにて求まる。ズーム動作１８０７の場合、カメラワーク動作速度Ｖｃ＝残りズーム量／残り時間Ｔｄにて求まる。
【００７３】
以上のように、原稿を読み上げる速度に応じてカメラワーク動作速度を制御することで、原稿を読み上げる速度が変化する場合でも、原稿作成時に想定していたカメラワークを保つことができる。
【００７４】
他の例として、割り振り時間として、原稿データを事前に読み上げた時間を設定する場合を説明する。この場合、事前に原稿データを読み上げておき、原稿データ毎の読み上げ時間を記録しておく。想定する音声速度Ｖoは、事前に原稿データを読み上げた時間より算出される。音声速度Ｖoは、Ｖo＝文字数／読み上げ時間にて求まる。以降の制御に関しては上述したものと同様であり、ここでの説明は省略する。
【００７５】
また、事前に原稿データを読み上げる平均速度を設定しておく場合を説明する。想定する音声速度Ｖoは、事前に設定された、原稿データを読み上げる平均速度とする。以降の制御に関しては上述したものと同様であり、ここでの説明は省略する。事前に設定される原稿データを読み上げる平均速度は、ユーザによって任意に設定するか、過去にユーザが読み上げた速度から設定されるものとする。
【００７６】
（第２の実施形態）
第１の実施形態では、原稿の読み上げが予定通りにならない例として、音声速度（原稿を読み上げる速度）が、想定していた速度に対して変化する場合を説明した。第２の実施形態では、原稿と異なる音声を発する、或いは異なる文を読み上げる等、アドリブにより原稿識別ができなくなる場合を説明する。なお、ディレクターボード２００及びカメラ３００、３５０の構成や、テキストにカメラワークを割り付ける処理等は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。
【００７７】
特許文献３には、キーワードを読み飛ばしたことを視線で検出し、読み飛ばしたら警告を出す技術が開示されている。しかしながら、文章を読んでいることが認識できなかったことをユーザに知らせることは可能であるがが、原稿から視線を外すことができず、取材において不都合となる。更に、原稿の識別に音声認識を用いた場合、再び原稿を読み上げ再開しても原稿のどこを読んでいるか判断できないため、原稿のどこに復帰していいかわからなくなるという問題がある。本実施形態では、原稿と異なる音声を発する、或いは異なる文を読み上げる等、アドリブにより音声認識できなくなった場合でも、原稿のどこに復帰していいかがわかるようにするものである。
【００７８】
図２１は本実施形態に係るディレクターボード２００が「進行表モード」のＧＵＩ表示をしている状態を示す。図２１は図９と同義であるが、図は簡略化したものであり、以下の説明では図２１に基づいて説明する。２１００は原稿データ（テキストデータ）であり、この原稿データ２１００に対してキーワードとカメラワークが割り付けられる。２１０１、２１０２は原稿データ２１００に対するカメラ３００及び３５０の割り付け動作エリアである。２１０３は動作エリア２１０１に対応する原稿データ、２１０４は動作エリア２１０２に対応する原稿データの表示エリアである。原稿データ２１０３をユーザが読み上げている間はカメラ３００がメインのカメラとして動作する。また、原稿データ２１０４をユーザが読み上げている間はカメラ３５０がメインのカメラとして動作する。
【００７９】
図２２は原稿データに対してキーワードとカメラワークが割り付けられた状態を説明するための図である。２２００はズームの割り付けを示すズームブロックである。ズームブロック２２００の原稿データをユーザが読み上げるとカメラ３００がズーム動作を行う。２２０１、２２０２、２２０３、２２０４はキーワードである。キーワード２２０１、２２０２、２２０３、２２０４は例えばハイライト表示してユーザに見やすいような表示としてもよい。
【００８０】
キーワードは、例えばユーザがタッチパネルディスプレイ上で該当の文章を囲うことで割り付けられる。或いは、例えば句読点がある次の文の最初の名詞、１行ごとの最初の名詞等をキーワードとして割り付ける等、ディレクターボード２００のシステム制御部２０１が自動で判断して割り付けてもよい。
【００８１】
図２３はユーザが原稿データ２１００を読み上げたときの状態を説明するための図である。２３００はユーザが発した音声を示している。また、原稿データ２１００上の取り消し線はユーザが読み上げた文章を示している。ユーザがキーワードを読み上げれば、キーワード設定も解除される。図２３の例ではキーワード２２０１が解除されている。
【００８２】
図２４はユーザが原稿データ２１００を読み上げている最中にアドリブを入れたときの状態を説明するための図である。２４００はユーザが発した音声を示しており、音声２４００の下線の部分が原稿データ２１００にないアドリブ部分となる。アドリブが入ったとき、音声認識処理による原稿識別ができなくなり、未読のキーワード入力待ちとなる。本実施形態では、アドリブが入った時点でキーワード２２０１は解除されていて（既に読み上げられている）、次のキーワードはキーワード２２０２となるので、キーワード２２０２の入力待ちとなる。
【００８３】
図２５は未読のキーワード２２０２の入力待ちの状態から音声認識処理による原稿識別可能状態に復帰したときの状態を説明するための図である。２５００はユーザが発した音声を示しており、キーワード２２０２が含まれている。アドリブ後、原稿データ２１００の読み上げを再開し、キーワード２２０２が読み上げられると、システム制御部２０１はその位置から音声認識処理による原稿識別を再開する。
【００８４】
なお、同じようなキーワードが複数ある場合も考えられるので、キーワードが読み上げられたことを認識する判断は、キーワードを含むその次の文節を読んだことで判断してもよい。また、ユーザは原稿を端折り読み上げる場合も考えられるので、メインのカメラとして動作しているリモートカメラ内の複数のキーワード入力待ちとしてもよい。或いは、同時にメインのカメラとして動作しているリモートカメラとは別のリモートカメラの割り付け動作エリア内のキーワードも入力待ちとしてもよい。
【００８５】
図２６Ａはアドリブが入ったとき、そのとき読み上げていた原稿データ２１０３に未読のキーワードがなかったときの状態を説明するための図である。２６００はユーザが発した音声を示しており、音声２６００の下線の部分が原稿データ２１００にないアドリブ部分となる。また、２６０１は原稿データ２１０３の最後の文節を示している。原稿データ２１０３に未読のキーワードがないときは、文節２６０１をキーワードとして登録する。その後、登録したキーワード及び次のキーワード２２０４の入力待ちの状態となる。アドリブ後、ユーザが登録したキーワード２２０４を読み上げると、その位置から音声認識処理による原稿識別を再開する。
【００８６】
図２６Ｂは図２６Ａにおいて現在表示されている原稿データ２１００と、原稿データ２１００の次に表示される予定の原稿データを示している。２６０８は原稿データ２１００の次に表示される予定の原稿データである。２６０２、２６０３は原稿データ２６０８に対するカメラ３００及び３５０の割り付け動作エリアである。動作エリア２１０２が終了すると、動作エリア２６０２へと制御が移行し、表示される原稿データが２１００から２６０８に変更される。
【００８７】
図２６Ａでアドリブが入ったときに文節２６０１をキーワードとして登録するとともに次の動作エリア２１０２の最後の文節である２６０９、更にその次の動作エリア２６０２、２６０３の最後の文節である２６０６、２６０７もキーワードとして登録する。その後、登録した全てのキーワードの入力待ちの状態となる。アドリブ後、登録したキーワードのいずれかを読み上げると、システム制御部２０１はその位置から音声認識処理による原稿識別を再開する。なお、図２６Ａや図２６Ｂにおいて最後の文節だけでなく、その次の文の最初の名詞をキーワードとして登録してもよい。
【００８８】
以上のように、ディレクターボード２００が音声認識処理による原稿識別可能実行状態とキーワード入力待機状態を行き来する。図２７は本実施形態におけるディレクターボード２００の状態遷移を示す図である。２７００は原稿を読んでいることを認識できている原稿識別可能実行状態である。２７０１はキーワードを設定するキーワード設定状態である。２７０２はキーワードが入力されるまで待機するキーワード入力待機状態である。原稿識別可能実行状態２７００で原稿を読んでいないと判断されるとキーワード設定状態２７０１に遷移し、キーワードの設定を行う。その後、キーワード入力待機状態２７０２に遷移し、キーワードが入力されると原稿識別可能実行状態２７００に遷移する。
【００８９】
図２８は本実施形態に係るディレクターボード２００が、音声認識処理による原稿識別可能実行状態２７００にあるときの処理の流れを示すフローチャートである。ユーザが音声を発すると、マイク２０７を介して音声データが入力されるので、システム制御部２０１は、音声が入力されたか否かを判定する（ステップＳ２８０１）。音声が入力されれば、音声データを音声認識部２０３で音声認識処理し、原稿データと照合する（ステップＳ２８０２）。音声が入力されていなければステップＳ２８０１に戻る。
【００９０】
次に、システム制御部２０１は、ステップＳ２８０２での照合に基づいてユーザが原稿を読み上げているか否かを判定する（ステップＳ２８０３）。ユーザが原稿を読み上げていれば、読み上げている原稿データ内にキーワードがあったか否かを判定する（ステップＳ２８０４）。ユーザが原稿を読み上げていなければ、キーワード設定状態２７０１に遷移する。
【００９１】
次に、システム制御部２０１は、ステップＳ２８０４でキーワードがあったならば、そのキーワードを削除する（ステップＳ２８０５）。次に、システム制御部２０１は、照合した原稿データにカメラワークが割り付けられているか否かを判定する（ステップＳ２８０６）。カメラワークが割り付けられていれば、カメラワークを実行する（ステップＳ２８０７）。
【００９２】
次に、システム制御部２０１は、全ての原稿を読み終えたか否かを判定し（ステップＳ２８０８）、読み終わっていれば本処理を終了し、読み終わっていなければステップＳ２８０１に戻る。
【００９３】
図２９は本実施形態に係るディレクターボード２００が、キーワード設定状態２７０１にあるときの処理の流れを示すフローチャートである。システム制御部２０１は、カメラワークが実行中か否かを判定する（ステップＳ２９０１）。カメラワークが実行中であれば、背景全体を映すようなデフォルトのカメラワークを実行する（ステップＳ２９０２）。なお、実行中のカメラワークをそのまま実行してもよいし、実行中のカメラワークを停止してもよい。カメラワークの実行方法はユーザが選択することができ、予め選択させておいてもよいし、ユーザがその場で選択してもよい。カメラワークが実行中でなければ、直前まで読んでいた原稿データが属するリモートカメラに対応する原稿データ内のキーワードを検索する（ステップＳ２９０３）。
【００９４】
次に、システム制御部２０１は、ステップＳ２９０３でキーワードがあったか否かを判定する（ステップＳ２９０４）。キーワードがあれば、ステップＳ２９０３で検索したキーワードを待機キーワードに設定し（ステップＳ２９０８）、キーワード入力待機状態２７０２に遷移する。キーワードがなければ、直前まで読んでいた原稿データが属するリモートカメラの最後の文節をキーワードに登録する（ステップＳ２９０５）。そして、直前まで読んでいた原稿データが属するリモートカメラに対応する原稿データの別のリモートカメラに対応する原稿データ内のキーワードを検索する（ステップＳ２９０６）。
【００９５】
次に、システム制御部２０１は、ステップＳ２９０６でキーワードがあったか否かを判定する（ステップＳ２９０７）。キーワードがあれば、ステップＳ２９０５で登録したキーワードとステップＳ２９０６で検索したキーワードを待機キーワードに設定し（ステップＳ２９０９）、キーワード入力待機状態２７０２に遷移する。キーワードがなければ、ステップＳ２９０５で登録したキーワードと、別のリモートカメラに対応する原稿データの最後の文節を待機キーワードに設定し（ステップＳ２９１０）、キーワード入力待機状態２７０２に遷移する。
【００９６】
図３０は本実施形態に係るディレクターボード２００が、キーワード入力待機状態２７０２にあるときの処理の流れを示すフローチャートである。ユーザが音声を発すると、マイク２０７を介して音声データが入力されるので、システム制御部２０１は、音声が入力されたか否かを判定する（ステップＳ３００１）。音声が入力されれば、音声データを音声認識部２０３で音声認識処理し、待機キーワードと照合する（ステップＳ３００２）。音声が入力されていなければステップＳ３００１に戻る。
【００９７】
次に、システム制御部２０１は、ステップＳ３００２での照合に基づいてユーザが待機キーワードを読み上げたか否かを判定する（ステップＳ３００３）。待機キーワードが読み上げられていれば、読み飛ばした待機キーワードがあるか否かを判定する（ステップＳ３００４）。待機キーワードが読み上げられていなければステップＳ３００１に戻る。読み飛ばした待機キーワードがあれば、読み飛ばした待機キーワードを削除する（ステップＳ３００５）。なお、読み飛ばした待機キーワードがわかるような表示にし、警告を出してもよい。読み飛ばした待機キーワードがなければ、カメラワークが実行中であればカメラワークの実行を停止し、キーワード入力待機状態２７０２から音声認識処理による原稿識別可能実行状態２７００に遷移し、本処理終了する（ステップＳ３００６）。
【００９８】
以上のように、アドリブ等で原稿に書かれていない音声を発し、音声認識ができなくなった場合でも、原稿のどこに復帰すればよいかがわかり、カメラ制御を継続することが可能になる。
【００９９】
（第３の実施形態）
第３の実施形態では、第２の実施形態で述べた構成に加えてアドリブボタンがある場合について説明する。図３１はユーザが原稿データ２１００を読み上げたときの状態を説明するための図である。３１００はユーザが発した音声を示している。３１０１はアドリブボタンである。ユーザが原稿データ２１００を読み上げているときに、アドリブボタン３１０１を押すと、強制的に音声認識処理による原稿識別を停止し、未読のキーワード入力待ちとなる。その後、キーワードが読み上げられると、システム制御部２０１はその位置から音声認識処理による原稿識別を再開する。
【０１００】
図３２は本実施形態に係るディレクターボード２００が、音声認識処理による原稿識別可能実行状態２７００にあるときの処理の流れを示すフローチャートである。システム制御部２０１は、アドリブボタン３１０１が押されたか否かを判定する（ステップＳ３２０１）。アドリブボタン３１０１が押されていれば、キーワード設定状態２７０１に遷移する。アドリブボタン３１０１が押されていなければ、システム制御部２０１は、音声が入力されたか否かを判定する（ステップＳ３２０２）。以降の処理（ステップＳ３２０３〜Ｓ３２０９）は図２８のステップＳ２８０２〜Ｓ２８０８と同じものになるため、ここではその説明を省略する。
【０１０１】
（第４の実施形態）
第４の実施形態では、第２の実施形態で述べた構成に加えて強制ジャンプボタンがある場合について説明する。図３３はユーザが原稿データ２１００を読み上げている最中にアドリブを入れたときの状態を説明するための図である。３３００はユーザが発した音声を示しており、音声３３００の下線の部分が原稿データ２１００にないアドリブ部分となる。３３０１は強制ジャンプボタンである。ユーザがアドリブ中に強制ジャンプボタン３３０１を押すと、直近の待機キーワード２２０２を削除し、次のキーワード２２０３を直近の待機キーワードに変更する。ユーザが変更後の待機キーワード２２０３を読み上げると、システム制御部２０１はその位置から音声認識処理による原稿識別を再開する。これにより、ユーザが意図的に原稿識別の再開位置を指定できる。
【０１０２】
なお、強制ジャンプボタン３３０１でキーワードごとにジャンプするだけでなく、次のリモートカメラの動作エリア内の最初のキーワードごとにジャンプするのでもよい。或いは、ディレクターボード２００の表示部に表示されている原稿データの次の原稿データ内の最初のキーワードごとにジャンプするのでもよい。その場合はジャンプする単位ごとに強制ジャンプボタンの数を用意しておくことで実現できる。また、強制ジャンプボタン３３０１での操作だけでなく、タッチパネルディスプレイ上で直接待機キーワードを指定するようにしてもよい。
【０１０３】
図３４は本実施形態に係るディレクターボード２００が、キーワード入力待機状態２７０２にあるときの処理の流れを示すフローチャートである。システム制御部２０１は、強制ジャンプボタン３３０１が押されたか否かを判定する（ステップＳ３４０１）。強制ジャンプボタン３３０１が押されていれば、待機しているキーワードと同一カメラ内にある次のキーワードを検索する（ステップＳ３４０２）。なお、次のリモートカメラの動作エリア内の最初のキーワードごとにジャンプする場合は、ステップＳ３４０２では待機しているキーワードの次のカメラ内にあるキーワードを検索する処理になる。
【０１０４】
ステップＳ３４０３〜Ｓ３４０９は図２９のステップＳ２９０４〜Ｓ２９１０と同じものになるため、ここではその説明を省略する。ステップＳ３４０３〜Ｓ３４０９の処理により待機キーワードを変更し、ステップＳ３４０１に戻る。
【０１０５】
ステップＳ３４０１で強制ジャンプボタン３３０１が押されていなければ、システム制御部２０１は音声が入力されたか否かを判定する（ステップＳ３４１０）。以降の処理（ステップＳ３４１１〜Ｓ３４１５）は図３０のステップＳ３００２〜Ｓ３００６と同じものになるため、ここではその説明を省略する。
【０１０６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１０７】
２００：ディレクターボード、２０１：システム制御部、２０２：ＲＡＭ、２０３：音声認識部、２０４：メモリカードインタフェイス、２０５：無線通信部、２０６：不揮発性メモリ、２０７：マイク、２０８：表示部、２０９：操作部、２１０：メモリカード、３００、３５０：リモートカメラ、３０１：システム制御部、３０２：ＲＡＭ、３０３：撮像部、３０４：メモリカードインタフェイス、３０５：不揮発性メモリ、３０６：無線通信部、３０７：マイク、３０８：操作部、３０９：表示部、３１０：メモリカード、３１１：光学系
【図１】
2012054765.tif 000003
【図２】
2012054765.tif 000004
【図３】
2012054765.tif 000005
【図４】
2012054765.tif 000006
【図５】
2012054765.tif 000007
【図６】
2012054765.tif 000008
【図７】
2012054765.tif 000009
【図８】
2012054765.tif 000010
【図９】
2012054765.tif 000011
【図１０】
2012054765.tif 000012
【図１１】
2012054765.tif 000013
【図１２】
2012054765.tif 000014
【図１３】
2012054765.tif 000015
【図１４】
2012054765.tif 000016
【図１５】
2012054765.tif 000017
【図１６】
2012054765.tif 000018
【図１７】
2012054765.tif 000019
【図１８】
2012054765.tif 000020
【図１９】
2012054765.tif 000021
【図２０】
2012054765.tif 000022
【図２１】
2012054765.tif 000023
【図２２】
2012054765.tif 000024
【図２３】
2012054765.tif 000025
【図２４】
2012054765.tif 000026
【図２５】
2012054765.tif 000027
【図２６Ａ】
2012054765.tif 000028
【図２６Ｂ】
2012054765.tif 000029
【図２７】
2012054765.tif 000030
【図２８】
2012054765.tif 000031
【図２９】
2012054765.tif 000032
【図３０】
2012054765.tif 000033
【図３１】
2012054765.tif 000034
【図３２】
2012054765.tif 000035
【図３３】
2012054765.tif 000036
【図３４】
2012054765.tif 000037