(57)【要約】【課題】撮影者の負荷を軽減すること。【解決手段】撮像制御装置１０は、被写体に対して発せられた音声を取得する音声取得部１１と、音声取得部１１によって取得された音声を認識し、音声認識結果を出力する音声認識部１２と、音声認識結果に基づいて、被写体の特定の状態である特定状態を示す特定状態情報と、撮像装置の特定の撮像制御を示す特定制御情報と、を設定する設定部１４と、被写体を含む画像を取得する画像取得部１５と、画像取得部１５によって取得された画像を認識し、画像認識結果を出力する画像認識部１６と、画像認識結果に基づいて、画像における被写体の状態が特定状態情報によって示される特定状態に相当していると判定した場合に、特定制御情報によって示される特定の撮像制御を実施するための制御指示情報を生成する撮像制御部１７と、制御指示情報を出力する出力部１８と、を備える。【選択図】図１
2018078359.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を制御するための撮像制御装置であって、
被写体に対して発せられた音声を取得する音声取得部と、
前記音声取得部によって取得された前記音声を認識し、音声認識結果を出力する音声認識部と、
前記音声認識結果に基づいて、前記被写体の特定の状態である特定状態を示す特定状態情報と、前記撮像装置の特定の撮像制御を示す特定制御情報と、を設定する設定部と、
前記被写体を含む画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像を認識し、画像認識結果を出力する画像認識部と、
前記画像認識結果に基づいて、前記画像における前記被写体の状態が前記特定状態情報によって示される前記特定状態に相当するか否かを判定する状態判定を行い、前記状態が前記特定状態に相当していると判定した場合に、前記特定制御情報によって示される前記特定の撮像制御を実施するための制御指示情報を生成する撮像制御部と、
前記撮像制御部によって生成された前記制御指示情報を出力する出力部と、
を備える撮像制御装置。
【請求項２】
予め定められた特定語と前記被写体の状態を示す状態情報と前記撮像装置の撮像制御を示す制御情報とがそれぞれ対応付けられた複数の設定情報を記憶する記憶部をさらに備え、
前記複数の設定情報の前記状態情報のそれぞれは、当該設定情報の前記特定語によって識別される前記被写体の状態を示し、
前記複数の設定情報の前記制御情報のそれぞれは、当該設定情報の前記特定語によって識別される前記撮像制御を示し、
前記設定部は、前記音声認識結果に基づいて、前記記憶部に記憶されている前記複数の設定情報から前記撮像装置の制御に用いる設定情報である第１設定情報を抽出し、前記第１設定情報に基づいて、前記特定状態情報及び前記特定制御情報を設定する、請求項１に記載の撮像制御装置。
【請求項３】
予め定められた第１特定語と前記被写体の状態を示す状態情報とがそれぞれ対応付けられた複数の状態設定情報、及び、予め定められた第２特定語と前記撮像装置の撮像制御を示す制御情報とがそれぞれ対応付けられた複数の制御設定情報を記憶する記憶部をさらに備え、
前記複数の状態設定情報の前記状態情報のそれぞれは、当該状態設定情報の前記第１特定語によって識別される前記被写体の状態を示し、
前記複数の制御設定情報の前記制御情報のそれぞれは、当該制御設定情報の前記第２特定語によって識別される前記撮像制御を示し、
前記設定部は、前記音声認識結果に基づいて、前記記憶部に記憶されている前記複数の状態設定情報から前記撮像装置の制御に用いる状態設定情報である第１状態設定情報を抽出するとともに、前記記憶部に記憶されている前記複数の制御設定情報から前記撮像装置の制御に用いる制御設定情報である第１制御設定情報を抽出し、前記第１状態設定情報及び前記第１制御設定情報に基づいて、前記特定状態情報及び前記特定制御情報を設定する、請求項１に記載の撮像制御装置。
【請求項４】
前記記憶部は、予め定められた第３特定語と前記状態情報で示される前記状態の対象を示す対象情報とがそれぞれ対応付けられた複数の対象設定情報をさらに記憶し、
前記複数の対象設定情報の前記対象情報のそれぞれは、当該対象設定情報の前記第３特定語によって識別される前記被写体のうちの対象を示し、
前記設定部は、前記音声認識結果に基づいて、前記複数の対象設定情報から前記撮像装置の制御に用いる対象設定情報である第１対象設定情報をさらに抽出し、前記第１対象設定情報に基づいて、前記特定状態の対象である特定対象を示す特定対象情報を設定し、
前記撮像制御部は、前記状態判定として、前記画像認識結果に基づいて、前記画像において、前記特定対象情報によって示される前記特定対象の状態が前記特定状態に相当するか否かを判定する、請求項３に記載の撮像制御装置。
【請求項５】
前記設定部は、前記音声認識結果に前記第２特定語が含まれていない場合に、前記特定対象情報及び前記特定状態情報に基づいて、前記特定制御情報を設定する、請求項４に記載の撮像制御装置。
【請求項６】
前記記憶部に記憶されている各設定情報を更新する更新部をさらに備える、請求項２〜請求項５のいずれか一項に記載の撮像制御装置。
【請求項７】
被写体に対して発せられた音声を取得する音声取得部と、
前記音声取得部によって取得された前記音声を認識し、音声認識結果を出力する音声認識部と、
前記音声認識結果に基づいて、前記被写体の特定の状態である特定状態を示す特定状態情報と、撮像装置の特定の撮像制御を示す特定制御情報と、を設定する設定部と、
前記被写体を含む画像を取得する画像取得部と、
前記画像取得部によって取得された前記画像を認識し、画像認識結果を出力する画像認識部と、
前記画像認識結果に基づいて、前記画像における前記被写体の状態が前記特定状態情報によって示される前記特定状態に相当するか否かを判定する状態判定を行い、前記状態が前記特定状態に相当していると判定した場合に、前記特定制御情報によって示される前記特定の撮像制御を実施するための制御指示情報を生成する撮像制御部と、
前記撮像制御部によって生成された前記制御指示情報を出力する出力部と、
してコンピュータを機能させる撮像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置及び撮像制御プログラムに関する。
【背景技術】
【０００２】
音声によりカメラを操作する技術が知られている。例えば、特許文献１には、単語と撮影のためのコマンドとを関連付けておき、ユーザが発した音声を認識することによって、識別した単語と関連付けられたコマンドを実行することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００９−５４３３９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被写体が人である場合には、撮影者は被写体に向けて撮影のための指示を行うことがある。しかしながら、特許文献１に記載の技術では、撮影者が被写体に向けて発する言葉と、撮影者がカメラを操作するために用いる言葉とは、必ずしも一致しない。このため、撮影者は被写体に向けて指示をした上で、撮影者がカメラを音声で操作しなければならない場合があるので、撮影者の負荷が大きくなるおそれがある。
【０００５】
本発明は、撮影者の負荷を軽減可能な撮像制御装置及び撮像制御プログラムを提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面に係る撮像制御装置は、撮像装置を制御するための撮像制御装置である。この撮像制御装置は、被写体に対して発せられた音声を取得する音声取得部と、音声取得部によって取得された音声を認識し、音声認識結果を出力する音声認識部と、音声認識結果に基づいて、被写体の特定の状態である特定状態を示す特定状態情報と、撮像装置の特定の撮像制御を示す特定制御情報と、を設定する設定部と、被写体を含む画像を取得する画像取得部と、画像取得部によって取得された画像を認識し、画像認識結果を出力する画像認識部と、画像認識結果に基づいて、画像における被写体の状態が特定状態情報によって示される特定状態に相当するか否かを判定する状態判定を行い、状態が特定状態に相当していると判定した場合に、特定制御情報によって示される特定の撮像制御を実施するための制御指示情報を生成する撮像制御部と、撮像制御部によって生成された制御指示情報を出力する出力部と、を備える。
【０００７】
この撮像制御装置では、被写体に対して発せられた音声の音声認識結果に基づいて、被写体の特定の状態である特定状態を示す特定状態情報と、撮像装置の特定の撮像制御を示す特定制御情報と、が設定される。そして、取得された画像における被写体の状態が特定状態情報によって示される特定状態に相当している場合に、特定制御情報によって示される特定の撮像制御を実施するための制御指示情報が生成され、制御指示情報が出力される。このため、撮影者は被写体に向けて撮影のための指示を発話するだけで、被写体の状態が特定状態（例えば撮影者が意図している状態）に相当した場合に撮像制御が実施される。したがって、撮影者が被写体と撮像装置とのそれぞれに対して発話をする必要がないので、撮影者の負荷を軽減することが可能となる。
【発明の効果】
【０００８】
本発明によれば、撮影者の負荷を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る撮像制御装置の機能構成を示すブロック図である。
【図２】設定情報テーブルの一例を示す図である。
【図３】設定情報の一致度の算出処理を説明するための図である。
【図４】撮像制御部の処理を説明するための図である。
【図５】図１の撮像制御装置が行う撮像制御方法の一連の処理を示すフローチャートである。
【図６】撮像制御プログラムを説明するための図である。
【図７】第２実施形態に係る撮像制御装置の機能構成を示すブロック図である。
【図８】（ａ）は対象設定テーブルの一例を示す図であり、（ｂ）は状態設定テーブルの一例を示す図であり、（ｃ）は制御設定テーブルの一例を示す図である。
【図９】（ａ）〜（ｃ）は対象設定情報の一致度、状態設定情報の一致度、及び制御設定情報の一致度の算出処理を説明するための図である。
【図１０】（ａ）〜（ｃ）は対象設定情報の一致度、状態設定情報の一致度、及び制御設定情報の一致度の算出処理を説明するための図である。
【図１１】図７の撮像制御装置の変形例に係る機能構成を示すブロック図である。
【図１２】（ａ）は対象設定テーブルの一例を示す図であり、（ｂ）は状態設定テーブルの一例を示す図であり、（ｃ）は制御設定テーブルの一例を示す図である。
【図１３】図１、図７及び図１１に示された撮像制御装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１１】
（第１実施形態）
図１は、第１実施形態に係る撮像制御装置の機能構成を示すブロック図である。図１に示される撮像制御装置１０は、カメラモジュール等の撮像装置を制御するための装置である。撮像制御装置１０は、撮像装置を内蔵した携帯端末（スマートフォン、デジタルカメラ、タブレット端末、及びノートＰＣ（Personal  Computer）等）に適用されてもよく、撮像装置と通信可能な装置に適用されてもよい。本実施形態では、撮像装置を内蔵した携帯端末を用いて説明する。
【００１２】
撮像制御装置１０は、機能的には、音声取得部１１と、音声認識部１２と、設定情報記憶部１３と、設定部１４と、画像取得部１５と、画像認識部１６と、撮像制御部１７と、出力部１８と、を備えている。
【００１３】
音声取得部１１は、被写体に対して発せられた音声を取得するための部分である。音声取得部１１は、例えばマイクロフォンによって実現される。音声取得部１１により取得される音声は、音声を表す音声データとして取得される。撮像制御装置１０がマイクロフォンを有しない場合、音声取得部１１は、例えば、他の装置（例えば上述したマイクロフォンを有する端末等）によって取得された音声を表す音声データを当該他の装置から受け取ることにより、音声を取得する。例えば、音声取得部１１が他の装置から通信ネットワークを介して音声データを受信する場合、音声データの受信処理を行う部分（通信モジュール等）が音声取得部１１として機能する。音声取得部１１は、音声データを音声認識部１２に出力する。
【００１４】
音声認識部１２は、音声取得部１１によって取得された音声を認識するための音声認識処理を実行する部分である。音声認識処理は、種々の手法によって実現され得る。例えば、音声認識処理は、予め用意された音響モデル、及び言語モデルを用いて実施される。音声認識部１２は、音声認識処理として、音声の波形を解析し、その内容を文字列（テキストデータ）に変換する。音声認識部１２は、テキストデータを音声認識処理の結果である音声認識結果として設定部１４に出力する。
【００１５】
設定情報記憶部１３は、フレーズと状態情報と制御情報とがそれぞれ対応付けられた複数の設定情報を記憶している。フレーズは、予め定められた特定の単語（形態素）又は単語群を示す文字列である。設定情報に用いられるフレーズは、被写体への指示（被写体の状態）を識別し得る単語、被写体のうちの指示が向けられる対象を識別し得る単語、及び撮像制御を識別し得る単語を含み得る。撮像制御とは、撮影のための撮像装置の制御であり、撮影者によって直接操作可能な撮像装置の制御である。撮影制御としては、例えば、シャッターを切る（撮影）、電源オフ、動画撮影、画角調整、及びピント調整等が挙げられる。複数の設定情報の状態情報のそれぞれは、当該設定情報のフレーズによって識別される被写体の状態を示す情報である。複数の設定情報の制御情報のそれぞれは、当該設定情報のフレーズによって識別される撮像制御を示す情報である。複数の設定情報は、設定テーブルによって管理されている。
【００１６】
図２は、設定テーブルの一例を示す図である。図２に示される設定テーブルＳＴでは、各設定情報Ｓｉ１〜Ｓｉ５は、「フレーズ」と、「状態情報」と、「制御情報」と、を含む。例えば、設定情報Ｓｉ１は、フレーズとして「両手」、「手」、及び「挙げ」の単語を含み、状態情報として「２人が手を挙げている」を含み、制御情報として「手の挙がっている２人を画角に収める」を含んでいる。なお、図２において、説明の便宜上、各情報をテキストで表しているが、実際にはテキストに限られず、コンピュータが処理可能な情報で表される。
【００１７】
設定部１４は、音声認識部１２によって出力された音声認識結果に基づいて、被写体の特定の状態である特定状態を示す特定状態情報と、撮像装置の特定の撮像制御を示す特定制御情報と、を設定する部分である。特定状態情報は、後述する状態判定で用いられる。設定部１４は、音声認識結果に基づいて、設定情報記憶部１３に記憶されている複数の設定情報から撮像装置の制御に用いる設定情報（第１設定情報）を抽出し、抽出した設定情報に基づいて、特定状態情報及び特定制御情報を設定する。
【００１８】
具体的に説明すると、設定部１４は、音声認識結果を形態素解析することにより、音声認識結果を複数の単語（形態素）に分解する。設定部１４は、各設定情報のフレーズに含まれる単語と、音声認識結果に含まれる単語と、を比較し、各設定情報の一致度を算出する。一致度の算出において、音声認識結果に含まれるすべての単語が用いられてもよく、音声認識結果に含まれる単語のうち名詞又は動詞の品詞を有する単語が用いられてもよい。設定情報の一致度は、例えば、設定情報のフレーズに含まれる単語と音声認識結果に含まれる単語との一致数を、設定情報のフレーズに含まれる単語の総数で除算することによって得られる。なお、一致度は、一致数であってもよい。
【００１９】
設定部１４は、各設定情報の一致度と所定の閾値とを比較し、すべての設定情報の一致度が閾値未満である場合には、各設定情報のフレーズに音声認識結果が該当しないと判定する。設定部１４は、設定情報の一致度が閾値以上である場合には、当該設定情報のフレーズに音声認識結果が該当すると判定する。また、複数の設定情報の一致度が閾値以上である場合には、設定部１４は、最大の一致度を有する設定情報のフレーズに音声認識結果が該当すると判定する。
【００２０】
設定部１４は、音声認識結果が該当すると判定されたフレーズを有する設定情報を撮像装置の制御に用いる設定情報として抽出する。設定部１４は、抽出した設定情報の状態情報を、後述する状態判定に用いられる特定状態情報に設定するとともに、抽出した設定情報の制御情報を、撮像装置の制御に用いられる特定制御情報に設定する。設定部１４は、設定した特定状態情報及び特定制御情報を撮像制御部１７に出力する。なお、特定状態情報は、複数の特定状態を示す情報であってもよい。
【００２１】
図３を用いて、設定情報の一致度の算出処理を説明する。図３は、設定情報の一致度の算出処理を説明するための図である。例えば、音声認識結果が「両端の人は手を挙げて」であった場合、設定部１４は、音声認識結果を「両端」、「の」、「人」、「は」、「手」、「を」、「挙げ」、及び「て」の単語に分解する。設定部１４は、得られた単語のうち、品詞が名詞又は動詞である単語を抽出する。ここでは、「両端」、「人」、「手」、及び「挙げ」が抽出される。各単語の品詞は、形態素解析によって得られる。そして、設定部１４は、抽出した単語と各設定情報のフレーズとを比較し、フレーズと一致する個数カウントし、一致数とする。
【００２２】
このとき、図３に示されるように、音声認識結果と設定情報Ｓｉ１，Ｓｉ２，Ｓｉ３，Ｓｉ４，Ｓｉ５のフレーズとの一致数はそれぞれ３、１、２、０、及び１である。設定部１４は、これらの一致数をフレーズに含まれる総単語数で除算することによって、各設定情報の一致度を算出する。例えば、設定情報Ｓｉ１のフレーズに含まれる単語数は３個であるので、設定情報Ｓｉ１の一致度は１となり、複数の設定情報の一致度のうち最大となる。このため、設定部１４は、設定情報Ｓｉ１を撮像装置の制御に用いる設定情報として抽出し、特定状態情報を「２人が手を挙げている」状態を示す情報に設定し、特定制御情報を「手の挙がっている２人を画角に収める」制御を示す情報に設定する。
【００２３】
画像取得部１５は、被写体を含む対象画像を取得するための部分である。対象画像は、後述する状態判定の判定対象となる画像である。画像取得部１５は、例えば、所定の周期で対象画像を取得する。画像取得部１５は、例えばカメラモジュールによって実現される。具体的には、画像取得部１５は、レンズ及び光学素子等の複数の光学系の部品と、それらを駆動制御する複数の制御系の回路と、受光素子によって取得された対象画像を表す電気信号をデジタル信号である画像信号に変換する信号処理系の回路部と、を含む。画像取得部１５により取得される対象画像（動画像の場合には各フレーム）は、例えば、各画素（ピクセル）の画素値（例えば、輝度、明度及び色彩等の画素に関する数値）を示す画像データとして取得される。対象画像は、動画像であってもよいし、静止画像であってもよい。
【００２４】
撮像制御装置１０がカメラ機能を有しない場合、画像取得部１５は、例えば、他の装置（例えば上述したカメラ機能を有する端末等）によって撮影された画像を当該他の装置から受け取ることにより、対象画像を取得する。例えば、画像取得部１５が他の装置から通信ネットワークを介して画像データを受信する場合、画像データの受信処理を行う部分（通信モジュール等）が画像取得部１５として機能する。画像取得部１５は、画像データを画像認識部１６に出力する。
【００２５】
画像認識部１６は、画像取得部１５によって取得された対象画像を認識するための画像認識処理を実行する部分である。画像認識部１６は、設定情報記憶部１３に記憶されている設定情報の状態情報によって示される状態を検出するための画像認識を行う。画像認識処理は、種々の手法によって実現され得る。画像認識部１６は、画像認識処理の結果である画像認識結果を撮像制御部１７に出力する。
【００２６】
例えば、画像認識処理の一例として、既存の顔検出技術を用いた人の検出が挙げられる。顔検出技術では、複数の顔画像と顔以外の複数の画像とを用いて学習させたモデルが用いられる。このモデルは、例えば線形フィルタである。例えば、画像認識部１６は、対象画像を複数の部分領域（例えば、６４ピクセル×６４ピクセル）に分割し、各部分領域にモデル（フィルタ）を適用する。この場合、フィルタは、部分領域と同じサイズ（例えば、６４ピクセル×６４ピクセル）を有しており、ピクセルごとに特定の係数を有している。係数は、ＲＧＢ値の値に応じて予め設定される。画像認識部１６は、各部分領域とフィルタとの内積を演算する。つまり、部分領域のピクセルごとにフィルタの係数が積算される。画像認識部１６は、各部分領域について、積算結果の総和が予め設定された検出閾値を超えた部分領域を顔の領域として検出する。
【００２７】
なお、線形フィルタは、例えば、人の一般的な顔の特徴（例えば、目の部分が暗い、鼻の部分が明るい、及び目と鼻との距離が近い等）を有する場合に、上述の総和が大きくなるように設計されている。また、人の顔の大きさは個人差があるので、画像認識部１６は、フィルタを拡大又は縮小するか、対象画像自体を拡大又は縮小することによって顔検出を行ってもよい。
【００２８】
画像認識処理として、手の検出が行われてもよい。手の検出には既存の技術が用いられ得る。例えば、画像認識部１６は、手の画像と手以外の画像とを学習させて、手を検出するためのモデルを用意しておき、このモデルを用いて手を検出してもよい。画像認識部１６は、上述の顔検出技術によって検出された顔の近くに位置し、かつ、肌色で独立した領域を抽出することによって、手を検出してもよい。
【００２９】
画像認識処理として、視線（目線）の検出が行われてもよい。視線の検出には既存の技術が用いられ得る。例えば、画像認識部１６は、上述の顔検出技術によって検出された顔の目の開閉状況、及び白目の中の黒目の位置等に基づいて視線を検出する。
【００３０】
撮像制御部１７は、画像認識部１６によって出力された画像認識結果に基づいて、対象画像における被写体の状態が、設定部１４によって設定された特定状態情報によって示される特定状態に相当する（合致する）か否かを判定する状態判定を行う部分である。なお、「相当する」とは、同一であるとみなし得ることを意味する。撮像制御部１７は、例えば、画像認識結果に基づいて、一方の手の領域又は両方の手の領域が顔の領域よりも高い位置にあれば、被写体の状態が挙手状態であると判定する。撮像制御部１７は、例えば、手の領域が顔の領域よりも低い位置にある場合に、被写体の状態が手を下げている状態であると判定する。撮像制御部１７は、例えば、手の領域が顔の領域と同程度の高さであれば、被写体の状態は、手を挙げている状態であるとも下げている状態であるとも判定しなくてもよい。撮像制御部１７は、例えば、目が開いていて、かつ、黒目が目の領域の中央にあれば、被写体の状態がカメラ目線の状態であると判定する。
【００３１】
撮像制御部１７は、例えば、複数の顔の領域のうち、対象画像内で両端に位置する顔の領域に対応する人の領域を両端の人であると判定する。撮像制御部１７は、複数の顔の領域のうち、顔の領域の大きさを比較することによって、被写体を識別してもよい。例えば、撮像制御部１７は、顔の領域の大きさが他の顔の領域の大きさよりも極端に小さい場合には、遠くにいる人が写り込んだとみなして、被写体でないと判定してもよい。
【００３２】
撮像制御部１７は、対象画像における被写体の状態が特定状態に相当していると判定した場合に、設定部１４によって設定された特定制御情報によって示される特定の撮像制御を実施するための制御指示情報（制御コマンド）を生成する。
【００３３】
例えば、図２の設定情報Ｓｉ１が撮像装置の制御に用いる設定情報として抽出され、特定状態情報が「２人が手を挙げている」状態を示す情報に設定され、撮像制御が「手の挙がっている２人を画角に収める」制御を示す情報に設定されているとする。このとき、図４に示される画像Ｃが画像取得部１５によって取得されたとする。画像認識部１６は、画像Ｃに対して画像認識処理を行い、人Ｈ１〜Ｈ３及び各人の手等を検出する。撮像制御部１７は、画像認識部１６による画像Ｃの画像認識結果に基づいて、人Ｈ１及び人Ｈ３が手を挙げていると判定する。このため、画像Ｃの被写体の状態が特定状態に合致しているので、撮像制御部１７は、手を挙げている人Ｈ１及び人Ｈ３を画角に収めるように、画角調整するための制御指示情報を生成する。この例では、手を挙げている２人（人Ｈ１，Ｈ３）と、その間に並んでいる人Ｈ２が被写体とみなされ、被写体の大きさが画像内でもう少し大きくなるように画角が調整される。
【００３４】
撮像制御部１７は、特定状態情報及び特定制御情報を設定部１４から受け取ると、不図示のタイマにより経過時間の測定を開始する。この経過時間は、タイムアウト処理に用いられる。つまり、対象画像における被写体の状態が特定状態に相当しない場合、経過時間が予め定められた時間に達するまでは、画像取得部１５によって周期的に取得される対象画像に対して状態判定が繰り返し行われる。経過時間が予め定められた時間に達すると、設定部１４から受け取った特定状態情報及び特定制御情報が破棄され、状態判定は行われない。タイマは、対象画像における被写体の状態が特定状態に相当した場合、及びタイムアウト処理が行われた場合に停止され、経過時間がリセットされる。
【００３５】
出力部１８は、撮像制御部１７によって生成された制御指示情報を出力する部分である。出力部１８は、例えば、制御指示情報を撮像装置に出力する。出力部１８は、出力装置１００６（図１３参照）によって実現される。撮像制御装置１０がカメラ機能を有しない場合、出力部１８は、例えば、他の装置（例えばカメラ機能を有する端末等）に制御指示情報を出力する。例えば、撮像制御装置１０が他の装置に通信ネットワークを介して制御指示情報を送信する場合、制御指示情報の送信処理を行う通信装置１００４（図１３参照）が出力部１８として機能する。
【００３６】
次に、図５を参照して、撮像制御装置１０における撮像制御方法の一連の処理を説明する。図５は、撮像制御装置１０が行う撮像制御方法の一連の処理を示すフローチャートである。ここでは、撮像制御装置１０がカメラ機能付きスマートフォンに搭載されており、撮影者がカメラ機能（カメラアプリケーション及びカメラモジュール）を利用して写真を撮影する場合を例に挙げて説明する。図５に示される一連の処理は、例えば、ユーザがカメラアプリケーションを起動することを契機として開始される。
【００３７】
まず、音声取得部１１が、被写体に向けて発せられた音声を取得する（ステップＳ１１）。音声取得部１１は、例えば、スマートフォンに内蔵されたマイクロフォンを用いて音声を音声データとして取得する。そして、音声取得部１１は、音声データを音声認識部１２に出力する。
【００３８】
続いて、音声認識部１２は、音声取得部１１によって取得された音声を認識するための音声認識処理を実行する（ステップＳ１２）。具体的には、音声認識部１２は、音声認識処理として、音声の波形を解析し、その内容をテキストデータに変換する。そして、音声認識部１２は、テキストデータを音声認識結果として設定部１４に出力する。
【００３９】
続いて、設定部１４は、設定情報記憶部１３に記憶されている設定テーブルを読み出し、設定テーブルに含まれる各設定情報のフレーズに音声認識結果が該当するか否かを判定する（ステップＳ１３）。具体的には、設定部１４は、音声認識結果を形態素解析することにより、音声認識結果を複数の単語に分解する。そして、設定部１４は、複数の単語のうち、名詞又は動詞の単語を抽出する。そして、設定部１４は、各設定情報のフレーズに含まれる単語と、抽出した単語と、を比較し、各設定情報の一致度を算出する。そして、設定部１４は、各設定情報の一致度と所定の閾値とを比較し、すべての設定情報の一致度が閾値未満である場合には、各設定情報のフレーズに音声認識結果が該当しないと判定する（ステップＳ１３：ＮＯ）。この場合、後述するステップＳ１９が実行される。
【００４０】
一方で、設定部１４は、設定情報の一致度が閾値以上である場合には、当該設定情報のフレーズに音声認識結果が該当すると判定する（ステップＳ１３：ＹＥＳ）。また、複数の設定情報の一致度が閾値以上である場合、最大の一致度を有する設定情報のフレーズに音声認識結果が該当すると判定する。そして、設定部１４は、音声認識結果が該当すると判定されたフレーズを有する設定情報を撮像装置の制御に用いる設定情報として抽出する。
【００４１】
そして、設定部１４は、抽出した設定情報の状態情報を、ステップＳ１６の状態判定に用いられる特定状態情報に設定するとともに、抽出した設定情報の制御情報を、特定制御情報に設定する。そして、設定部１４は、設定した特定状態情報及び特定制御情報を撮像制御部１７に出力する。撮像制御部１７は、特定状態情報及び特定制御情報を設定部１４から受け取ると、不図示のタイマにより経過時間の測定を開始する。
【００４２】
続いて、画像取得部１５は、被写体を含む対象画像を取得する（ステップＳ１４）。具体的には、撮影者がスマートフォンのカメラアプリケーションを起動した後に、レンズが向けられている方向の画像が対象画像として取得される。そして、画像取得部１５は、取得した対象画像を示す画像データを画像認識部１６に出力する。
【００４３】
続いて、画像認識部１６は、画像取得部１５によって取得された対象画像を認識するための画像認識処理を実行する（ステップＳ１５）。具体的には、画像認識部１６は、顔、手、及び視線等の検出を行う。そして、画像認識部１６は、画像認識結果を撮像制御部１７に出力する。
【００４４】
続いて、撮像制御部１７は、状態判定を行う（ステップＳ１６）。状態判定では、画像認識部１６によって出力された画像認識結果に基づいて、対象画像における被写体の状態が、設定部１４によって設定された特定状態情報によって示される特定状態に相当するか否かが判定される。ステップＳ１６において、撮像制御部１７は、対象画像における被写体の状態が特定状態に相当していないと判定した場合（ステップＳ１６：ＮＯ）、タイマによって測定されている経過時間が所定の時間を経過したか否かを判定する（ステップＳ１７）。
【００４５】
ステップＳ１７において、経過時間が所定の時間を経過していないと判定された場合（ステップＳ１７：ＮＯ）、ステップＳ１４の処理が再び実行され、画像取得部１５によって取得される次の対象画像に対する処理が実行される。一方、ステップＳ１７において、経過時間が所定の時間を経過したと判定された場合（ステップＳ１７：ＹＥＳ）、撮像制御部１７は、設定部１４から受け取った特定状態情報及び特定制御情報を破棄し、タイマを停止させるとともに経過時間をリセットする。そして、後述するステップＳ１９が実行される。
【００４６】
ステップＳ１６において、対象画像における被写体の状態が特定状態に相当していると判定された場合（ステップＳ１６：ＹＥＳ）、撮像制御部１７は、設定部１４によって設定された特定制御情報によって示される特定の撮像制御を実施するための制御指示情報（制御コマンド）を生成する。そして、撮像制御部１７は、タイマを停止させるとともに経過時間をリセットし、制御指示情報を出力部１８に出力する。
【００４７】
続いて、出力部１８は、撮像制御部１７によって生成された制御指示情報をカメラモジュールに出力する（ステップＳ１８）。これにより、カメラモジュールが制御指示情報に基づいて動作する。例えば、制御指示情報が手の挙がっている２人を画角に収めるため情報であれば、画角調整が行われる。
【００４８】
続いて、撮像制御装置１０において、ユーザから撮影処理の終了を受け付けたか否かが判定される（ステップＳ１９）。具体的には、カメラアプリケーションの終了操作を受け付けたか否かが判定される。ステップＳ１９において、撮影処理の終了を受け付けていないと判定された場合（ステップＳ１９：ＮＯ）、ステップＳ１１〜ステップＳ１９の処理が繰り返し実行され、音声取得部１１によって取得される次の音声に対する処理が実行される。一方、ステップＳ１９において、撮影処理の終了を受け付けたと判定された場合（ステップＳ１９：ＹＥＳ）、撮像制御装置１０の動作（ここでは一例としてカメラアプリケーションによる写真撮影の処理）を終了する。このようにして、撮像制御方法の一連の処理が終了する。
【００４９】
以上のようにして、被写体に対して発せられた音声の音声認識結果に基づいて、特定状態情報及び特定制御情報が設定され、対象画像における被写体の状態が特定状態情報によって示される特定状態に相当している場合に、特定制御情報によって示される特定の撮像制御を実施するための制御指示情報が生成され、撮像装置に制御指示情報が出力される。
【００５０】
次に、図６を参照して、コンピュータを撮像制御装置１０として機能させるための撮像制御プログラムＰについて説明する。
【００５１】
図６に示されるように、撮像制御プログラムＰは、メインモジュールＰ１０、音声取得モジュールＰ１１、音声認識モジュールＰ１２、設定モジュールＰ１４、画像取得モジュールＰ１５、画像認識モジュールＰ１６、撮像制御モジュールＰ１７、及び出力モジュールＰ１８を備える。メインモジュールＰ１０は、撮像制御処理に係る処理を統括的に制御する部分である。音声取得モジュールＰ１１、音声認識モジュールＰ１２、設定モジュールＰ１４、画像取得モジュールＰ１５、画像認識モジュールＰ１６、撮像制御モジュールＰ１７、及び出力モジュールＰ１８を実行することにより実現される機能はそれぞれ、上記実施形態における音声取得部１１、音声認識部１２、設定部１４、画像取得部１５、画像認識部１６、撮像制御部１７、及び出力部１８の機能と同様である。
【００５２】
撮像制御プログラムＰは、ＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、ＤＶＤ−ＲＯＭ（Digital  Versatile  Disk  Read  Only  Memory）、及び半導体メモリ等の有形の記録媒体に固定的に記録された状態で提供されてもよい。または、撮像制御プログラムＰは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
【００５３】
以上説明した撮像制御装置１０及び撮像制御プログラムＰでは、被写体に対して発せられた音声の音声認識結果に基づいて、被写体の特定の状態である特定状態を示す特定状態情報と、撮像装置の特定の撮像制御を示す特定制御情報と、が設定される。そして、取得された対象画像における被写体の状態が特定状態情報によって示される特定状態に相当している場合に、特定制御情報によって示される特定の撮像制御を実施するための制御指示情報が生成され、制御指示情報が出力される。このため、撮影者は被写体に向けて撮影のための指示を発話するだけで、被写体の状態が特定状態（例えば撮影者が意図している状態）に合致した場合に撮像制御が実施される。したがって、撮影者が被写体と撮像装置とのそれぞれに対して発話をする必要がないので、撮影者の負荷を軽減することが可能となる。
【００５４】
また、音声認識結果に基づいて、設定情報記憶部１３に記憶されている複数の設定情報から、撮像装置の制御に用いる設定情報が抽出され、当該設定情報に基づいて、特定状態情報及び特定制御情報が設定される。各設定情報は、フレーズと状態情報と制御情報とを含む。各設定情報の状態情報は、当該設定情報のフレーズによって識別される被写体の状態を示す情報であり、各設定情報の制御情報は、当該設定情報のフレーズによって識別される撮像制御を示す情報である。このため、撮影者が被写体に向けて発した発話内容と設定情報のフレーズとが一致すれば、被写体の状態をその設定情報に含まれる状態情報によって示される状態にした上で、その設定情報に含まれる制御情報によって示される撮像制御を行うことを、撮影者が意図していると考えられる。したがって、音声認識結果に基づいて抽出された設定情報の状態情報及び制御情報を、特定状態情報及び特定制御情報に設定することによって、撮影者の意図に基づく撮影を行うことが可能となる。
【００５５】
また、音声によりカメラを操作する従来の技術では、撮影者が被写体の状況を確認した上で、撮影者がカメラに対して撮影の指示を行う必要がある。しかし、撮像制御装置１０では、被写体が特定状態となったことに応じて、特定の撮像制御が実施されるので、撮影者は撮像制御を開始するタイミングを調整する必要がなく、撮影者の負荷を軽減することが可能となる。つまり、撮影者から被写体への発話内容に応じて、撮像制御及び当該撮像制御を実施する契機（トリガ）が設定されるので、撮影ワークフローが円滑に行われ、撮影者の負荷が軽減される。
【００５６】
集合写真を撮影する際に、被写体はおおよその望ましい位置に立っているが、微調整が必要なことがある。例えば、図２に示される設定テーブルＳＴを用いることにより、撮影者が被写体に向けて「両端の人は手を挙げて」と発話すると、特定状態情報が「２人が手を挙げている」状態を示す情報に設定され、特定制御情報が「手の挙がっている２人を画角に収める」制御を示す情報に設定される。これにより、両端の２人が手を挙げることによって、挙手している両端の人が画像内に収まるように画角が自動的に調整される。その後、撮影者が被写体に向けて「手を下ろしてみんなカメラを見たらシャッター」と発話すると、特定状態情報が「手が下りて、すべての目線がカメラ方向を向いている」状態を示す情報に設定され、特定制御情報が「撮影」を示す情報に設定される。これにより、両端の２人が手を下ろして、全員がカメラを見ることによって、撮影が自動的に行われる。
【００５７】
（第２実施形態）
第２実施形態に係る撮像制御装置について説明する。図７は、第２実施形態に係る撮像制御装置の機能構成を示すブロック図である。図７に示されるように、第２実施形態に係る撮像制御装置１０Ａは、第１実施形態に係る撮像制御装置１０と比較して、設定情報記憶部１３に代えて設定情報記憶部２３を備える点、設定部１４に代えて設定部２４、及び撮像制御部１７に代えて撮像制御部２７を備える点で主に相違する。
【００５８】
設定情報記憶部２３は、設定情報記憶部１３と比較して、記憶している設定情報において相違する。設定情報記憶部２３は、複数の設定情報として、フレーズ（第３特定語）と対象情報とがそれぞれ対応付けられた複数の対象設定情報、フレーズ（第１特定語）と状態情報とがそれぞれ対応付けられた複数の状態設定情報、及びフレーズ（第２特定語）と制御情報とがそれぞれ対応付けられた複数の制御設定情報を記憶している。
【００５９】
対象設定情報に用いられるフレーズは、被写体のうちの指示が向けられる対象を識別し得る単語を含み得る。複数の対象設定情報の対象情報のそれぞれは、当該対象設定情報のフレーズによって識別される被写体のうちの対象（指示対象）を示す情報である。複数の対象設定情報は、対象設定テーブルによって管理されている。状態設定情報に用いられるフレーズは、被写体への指示（被写体の状態）を識別し得る単語を含み得る。複数の状態設定情報の状態情報のそれぞれは、当該状態設定情報のフレーズによって識別される被写体の状態を示す情報である。複数の状態設定情報は、状態設定テーブルによって管理されている。制御設定情報に用いられるフレーズは、撮像制御を識別し得る単語を含み得る。複数の制御設定情報の制御情報のそれぞれは、当該制御設定情報のフレーズによって識別される撮像制御を示す情報である。複数の制御設定情報は、制御設定テーブルによって管理されている。
【００６０】
図８は、各設定テーブルの一例を示す図である。図８の（ａ）に示される対象設定テーブルＳＴ１では、各対象設定情報Ｓｔｉ１〜Ｓｔｉ５は、「フレーズ」と、「対象情報」と、を含む。例えば、対象設定情報Ｓｔｉ１は、フレーズとして「両端」の単語を含み、対象情報として「両端の２人」を含んでいる。図８の（ｂ）に示される状態設定テーブルＳＴ２では、各状態設定情報Ｓｓｉ１〜Ｓｓｉ４は、「フレーズ」と、「状態情報」と、を含む。例えば、状態設定情報Ｓｓｉ１は、フレーズとして「手」及び「挙げ」の単語を含み、状態情報として「対象全員が手を挙げている」を含んでいる。図８の（ｃ）に示される制御設定テーブルＳＴ３では、各制御設定情報Ｓｃｉ１〜Ｓｃｉ４は、「フレーズ」と、「制御情報」と、を含む。例えば、制御設定情報Ｓｃｉ１は、フレーズとして「シャッター」の単語を含み、制御情報として「撮影する」を含んでいる。なお、図８の（ａ）〜（ｃ）において、説明の便宜上、各情報をテキストで表しているが、実際にはテキストに限られず、コンピュータが処理可能な情報で表される。
【００６１】
設定部２４は、設定部１４と比較して、特定状態情報及び特定制御情報に加えて特定対象情報を設定する点、並びに、特定状態情報及び特定制御情報の設定方法において主に相違する。具体的には、設定部２４は、音声認識部１２によって出力された音声認識結果に基づいて、設定情報記憶部２３に記憶されている複数の対象設定情報から撮像装置の制御に用いる対象設定情報（第１対象設定情報）を抽出し、抽出した対象設定情報に基づいて、特定対象情報を設定する。設定部２４は、音声認識結果に基づいて、設定情報記憶部２３に記憶されている複数の状態設定情報から撮像装置の制御に用いる状態設定情報（第１状態設定情報）を抽出し、抽出した状態設定情報に基づいて、特定状態情報を設定する。設定部２４は、音声認識結果に基づいて、設定情報記憶部２３に記憶されている複数の制御設定情報から撮像装置の制御に用いる制御設定情報（第１制御設定情報）を抽出し、抽出した制御設定情報に基づいて、特定制御情報を設定する。
【００６２】
より具体的には、設定部２４は、設定部１４と同様に、各設定情報のフレーズに含まれる単語と、音声認識結果に含まれる単語と、を比較し、各設定情報の一致度を算出する。設定部２４は、各対象設定情報の一致度と所定の対象設定情報用の閾値とを比較し、すべての対象設定情報の一致度が対象設定情報用の閾値未満である場合には、各対象設定情報のフレーズに音声認識結果が該当しないと判定する。設定部２４は、対象設定情報の一致度が対象設定情報用の閾値以上である場合には、当該対象設定情報のフレーズに音声認識結果が該当すると判定する。また、複数の対象設定情報の一致度が対象設定情報用の閾値以上である場合には、設定部２４は、最大の一致度を有する対象設定情報のフレーズに音声認識結果が該当すると判定する。設定部２４は、音声認識結果が該当すると判定されたフレーズを有する対象設定情報を撮像装置の制御に用いる対象設定情報として抽出する。設定部２４は、抽出した対象設定情報の対象情報を、状態判定に用いられる特定対象情報に設定する。
【００６３】
同様に、設定部２４は、各状態設定情報の一致度を用いて、撮像装置の制御に用いる状態設定情報を抽出し、抽出した状態設定情報の状態情報を、特定状態情報に設定する。同様に、設定部２４は、各制御設定情報の一致度を用いて、撮像装置の制御に用いる制御設定情報を抽出し、抽出した制御設定情報の制御情報を、特定制御情報に設定する。設定部２４は、設定した特定対象情報、特定状態情報、及び特定制御情報を撮像制御部２７に出力する。
【００６４】
設定部２４は、音声認識結果に各制御設定情報のフレーズが含まれていない場合、つまり、各制御設定情報のフレーズに音声認識結果が該当しないと判定された場合に、特定対象情報及び特定状態情報に基づいて、特定制御情報を設定してもよい。例えば、図８の（ｃ）に示される制御設定テーブルＳＴ３では、制御設定情報Ｓｃｉ４は、音声認識結果が他の制御設定情報のフレーズに該当しなかった場合に抽出される。この例では、特定対象情報によって示される対象が「両端の２人」であり、特定状態情報によって示される状態が「挙手」である場合に、制御設定情報Ｓｃｉ４の制御情報、つまり特定制御情報は、「画角調整」を示す情報に設定される。特定対象情報によって示される対象が「前後の２人」であり、特定状態情報によって示される状態が「挙手」である場合に、特定制御情報は、「ピント調整」を示す情報に設定される。特定対象情報及び特定状態情報の組み合わせに対応する制御情報は、制御設定テーブルＳＴ３に予め設定されている。
【００６５】
設定部２４は、音声認識結果に各対象設定情報のフレーズが含まれていない場合、つまり、各対象設定情報のフレーズに音声認識結果が該当しないと判定された場合に、画像認識結果に基づいて、特定対象情報を設定してもよい。例えば、後述の図１２の（ａ）に示される対象設定テーブルＳＴ１では、対象設定情報Ｓｔｉ６は、音声認識結果が他の対象設定情報のフレーズに該当しなかった場合に抽出される。被写体は、背景に写り込んでいる無関係の人よりは大きく写っていると考えられることから、この例では、対象画像における顔の領域が予め定められた閾値（面積）以上である人が特定対象として選定される。
【００６６】
図９及び図１０を用いて、対象設定情報の一致度、状態設定情報の一致度、及び制御設定情報の一致度の算出処理を説明する。例えば、音声認識結果が「両端の人は手を挙げて」であった場合、設定部２４は、音声認識結果を「両端」、「の」、「人」、「は」、「手」、「を」、「挙げ」、及び「て」の単語に分解する。そして、設定部２４は、複数の単語のうち、名詞又は動詞の単語を抽出する。ここでは、「両端」、「人」、「手」、及び「挙げ」が抽出される。そして、設定部２４は、各設定情報のフレーズに含まれる単語と、抽出した単語と、を比較し、フレーズと一致する個数カウントし、一致数とする。
【００６７】
このとき、図９の（ａ）に示されるように、音声認識結果と対象設定情報Ｓｔｉ１，Ｓｔｉ２，Ｓｔｉ３，Ｓｔｉ４，Ｓｔｉ５のフレーズとの一致数はそれぞれ１、０、０、０、及び０である。図９の（ｂ）に示されるように、音声認識結果と状態設定情報Ｓｓｉ１，Ｓｓｉ２，Ｓｓｉ３，Ｓｓｉ４のフレーズとの一致数はそれぞれ２、０、１、及び０である。図９の（ｃ）に示されるように、音声認識結果と制御設定情報Ｓｃｉ１，Ｓｃｉ２，Ｓｃｉ３，Ｓｃｉ４のフレーズとの一致数はそれぞれ０、０、０、及び１である。なお、設定情報のフレーズとして「指定なし」が存在する場合には、他のフレーズと一致しなかった場合に、「指定なし」の一致数がカウントされる。
【００６８】
設定部２４は、これらの一致数をフレーズに含まれる総単語数で除算することによって、各設定情報の一致度を算出する。このとき、対象設定情報Ｓｔｉ１の一致度が１となり、複数の対象設定情報の一致度のうち最大となる。このため、設定部２４は、対象設定情報Ｓｔｉ１を撮像装置の制御に用いる対象設定情報として抽出し、特定対象情報を「両端の２人」を示す情報に設定する。
【００６９】
状態設定情報Ｓｓｉ１の一致度が１となり、複数の状態設定情報の一致度のうち最大となる。このため、設定部２４は、状態設定情報Ｓｓｉ１を撮像装置の制御に用いる状態設定情報として抽出し、特定状態情報を「対象全員が手を挙げている」状態を示す情報に設定する。制御設定情報Ｓｃｉ４の一致度が１となり、複数の制御設定情報の一致度のうち最大となる。このため、設定部２４は、制御設定情報Ｓｃｉ４を撮像装置の制御に用いる制御設定情報として抽出する。そして、設定部２４は、特定対象情報によって示される対象が「両端の２人」であり、特定状態情報によって示される状態が「対象全員が手を挙げている」（挙手）状態であることから、特定制御情報を「画角調整」を示す情報に設定する。
【００７０】
また、例えば、音声認識結果が「手を下ろしてみんなカメラを見たらシャッター」であった場合、設定部２４は、音声認識結果を「手」、「を」、「下ろし」、「て」、「みんな」、「カメラ」、「を」、「見」、「たら」、及び「シャッター」の単語に分解する。そして、設定部２４は、複数の単語のうち、名詞又は動詞の単語を抽出する。ここでは、「手」、「下ろし」、「みんな」、「カメラ」、「見」、及び「シャッター」が抽出される。そして、設定部２４は、各設定情報のフレーズに含まれる単語と、抽出した単語と、を比較し、フレーズと一致する個数カウントし、一致数とする。
【００７１】
このとき、図１０の（ａ）に示されるように、音声認識結果と対象設定情報Ｓｔｉ１，Ｓｔｉ２，Ｓｔｉ３，Ｓｔｉ４，Ｓｔｉ５のフレーズとの一致数はそれぞれ０、０、０、０、及び１である。図１０の（ｂ）に示されるように、音声認識結果と状態設定情報Ｓｓｉ１，Ｓｓｉ２，Ｓｓｉ３，Ｓｓｉ４のフレーズとの一致数はそれぞれ１、０、２、及び２である。図１０の（ｃ）に示されるように、音声認識結果と制御設定情報Ｓｃｉ１，Ｓｃｉ２，Ｓｃｉ３，Ｓｃｉ４のフレーズとの一致数はそれぞれ１、０、０、及び０である。
【００７２】
設定部２４は、これらの一致数をフレーズに含まれる総単語数で除算することによって、各設定情報の一致度を算出する。このとき、対象設定情報Ｓｔｉ５の一致度が１となり、複数の対象設定情報の一致度のうち最大となる。このため、設定部２４は、対象設定情報Ｓｔｉ５を撮像装置の制御に用いる対象設定情報として抽出し、特定対象情報を「全員」を示す情報に設定する。
【００７３】
状態設定情報Ｓｓｉ３，Ｓｓｉ４の一致度がともに１となり、複数の状態設定情報の一致度のうち最大となる。このため、設定部２４は、状態設定情報Ｓｓｉ３，Ｓｓｉ４を撮像装置の制御に用いる状態設定情報として抽出し、特定状態情報を「対象全員が手を下げている」状態及び「対象全員がカメラを見ている」状態を示す情報に設定する。制御設定情報Ｓｃｉ１の一致度が１となり、複数の制御設定情報の一致度のうち最大となる。このため、設定部２４は、制御設定情報Ｓｃｉ１を撮像装置の制御に用いる制御設定情報として抽出し、特定制御情報を「撮影する」制御を示す情報に設定する。
【００７４】
撮像制御部２７は、撮像制御部１７と比較して、状態判定で用いる情報において主に相違する。撮像制御部２７は、状態判定において、画像認識結果と、設定部２４によって設定された特定対象情報及び特定状態情報と、を用いる。具体的には、撮像制御部２７は、画像認識結果に基づいて、対象画像において、特定対象情報によって示される特定対象の状態が、特定状態情報によって示される特定状態に相当するか否かを判定する。撮像制御部２７は、撮像制御部１７と同様に、対象画像における特定対象の状態が特定状態に相当していると判定した場合に、設定部２４によって設定された特定制御情報によって示される特定の撮像制御を実施するための制御指示情報（制御コマンド）を生成する。
【００７５】
撮像制御部２７は、撮像制御部１７と同様に、特定対象情報、特定状態情報及び特定制御情報を設定部２４から受け取ると、不図示のタイマにより経過時間の測定を開始する。タイマの停止及び経過時間のリセットについては、撮像制御部１７と同様であるので、その説明を省略する。
【００７６】
以上の撮像制御装置１０Ａによっても、上述した撮像制御装置１０と同様の効果が奏される。また、撮像制御装置１０Ａでは、音声認識結果に基づいて、設定情報記憶部２３に記憶されている複数の対象設定情報から、撮像装置の制御に用いる対象設定情報が抽出され、当該対象設定情報に基づいて、特定対象情報が設定される。同様に、撮像制御装置１０Ａでは、音声認識結果に基づいて、設定情報記憶部２３に記憶されている複数の状態設定情報から、撮像装置の制御に用いる状態設定情報が抽出され、当該状態設定情報に基づいて、特定状態情報が設定される。同様に、撮像制御装置１０Ａでは、音声認識結果に基づいて、設定情報記憶部２３に記憶されている複数の制御設定情報から、撮像装置の制御に用いる制御設定情報が抽出され、当該制御設定情報に基づいて、特定制御情報が設定される。
【００７７】
各対象設定情報は、フレーズと対象情報とを含む。各対象設定情報の対象情報は、当該対象設定情報のフレーズによって識別される被写体のうちの対象を示す情報である。各状態設定情報は、フレーズと状態情報とを含む。各状態設定情報の状態情報は、当該状態設定情報のフレーズによって識別される被写体の状態を示す情報である。各制御設定情報は、フレーズと制御情報とを含む。各制御設定情報の制御情報は、当該制御設定情報のフレーズによって識別される撮像制御を示す情報である。
【００７８】
このため、撮影者が被写体に向けて発した発話内容と対象設定情報のフレーズとが一致すれば、その対象設定情報に含まれる対象情報によって示される対象に向けて撮影者は発話をしていると考えられる。また、発話内容と状態設定情報のフレーズとが一致すれば、対象の状態をその状態設定情報に含まれる状態情報によって示される状態にすることを、撮影者は意図していると考えられる。また、発話内容と制御設定情報のフレーズとが一致すれば、その制御設定情報に含まれる制御情報によって示される撮像制御を行うことを、撮影者は意図していると考えられる。したがって、音声認識結果に基づいて抽出された対象設定情報の対象情報、状態設定情報の状態情報、及び制御設定情報の制御情報を特定対象情報、特定状態情報、及び特定制御情報に設定することによって、撮影者の意図に基づく撮影を行うことが可能となる。
【００７９】
また、撮像制御装置１０では、設定情報記憶部１３は、フレーズと状態情報と制御情報とを含む設定情報を記憶しているが、撮像制御装置１０Ａでは、フレーズと対象情報とを含む対象設定情報、フレーズと状態情報とを含む状態設定情報、及びフレーズと制御情報とを含む制御設定情報を記憶している。このため、撮影者の発話に応じた特定対象と特定状態と特定の撮像制御との組み合わせの自由度を向上することができる。これにより、予め準備しておく設定情報の数を減らすことができるとともに、撮影者の発話に応じた撮像制御を行うことが可能となる。
【００８０】
また、音声認識結果に各制御設定情報のフレーズが含まれていない場合に、特定対象情報及び特定状態情報に基づいて、特定制御情報が設定される。このため、撮影者が明示的に撮像制御の内容を発話しなくとも、撮像装置に対して撮像制御を行わせることができる。これにより、撮影者の発話の自由度が向上する。
【００８１】
また、音声によりカメラを操作する従来の技術では、撮影者が被写体の状況を確認した上で、撮影者がカメラに対して撮影の指示を行う必要がある。しかし、撮像制御装置１０Ａでは、特定対象が特定状態となったことに応じて、特定の撮像制御が実施されるので、撮影者は撮像制御を開始するタイミングを調整する必要がなく、撮影者の負荷を軽減することが可能となる。
【００８２】
（変形例）
図１１は、図７の撮像制御装置の変形例に係る機能構成を示すブロック図である。図１１に示されるように、変形例に係る撮像制御装置１０Ｂは、第２実施形態に係る撮像制御装置１０Ａと比較して、更新部１９をさらに備える点で主に相違する。
【００８３】
更新部１９は、設定情報記憶部２３に記憶されている各設定情報を更新する部分である。更新部１９は、例えば、設定情報（対象設定情報、状態設定情報、及び制御設定情報）を取得し、取得した設定情報を設定情報記憶部２３に追加する。更新部１９は、撮像制御装置１０Ｂのユーザが後述の入力装置１００５を用いて入力した設定情報を取得してもよく、不図示のサーバ装置から設定情報を取得してもよい。更新部１９は、不要となった設定情報を設定情報記憶部２３から削除してもよい。更新部１９は、設定情報の内容を変更してもよい。
【００８４】
図１２の（ａ）〜（ｃ）は、更新部による設定情報の更新処理を説明するための図である。図１２の（ａ）に示される対象設定テーブルＳＴ１では、図８の（ａ）に示される対象設定テーブルＳＴ１に対して対象設定情報Ｓｔｉ６が追加されている。図１２の（ｂ）に示される状態設定テーブルＳＴ２では、図８の（ｂ）に示される状態設定テーブルＳＴ２に対して状態設定情報Ｓｓｉ５，Ｓｓｉ６が追加されている。図１２の（ｃ）に示される制御設定テーブルＳＴ３では、図８の（ｃ）に示される制御設定テーブルＳＴ３に対して制御設定情報Ｓｃｉ４の撮像制御が変更されている。
【００８５】
以上の撮像制御装置１０Ｂによっても、上述した撮像制御装置１０Ａと同様の効果が奏される。また、撮像制御装置１０Ｂでは、更新部１９によって、設定情報記憶部２３に記憶されている各設定情報が更新される。これにより、流行等に応じて設定情報を変更することができる。なお、撮像制御装置１０が更新部１９をさらに備えてもよく、更新部１９は設定情報記憶部１３に記憶されている設定情報を更新してもよい。
【００８６】
例えば、図１２の（ａ）〜（ｃ）に示される対象設定テーブルＳＴ１、状態設定テーブルＳＴ２、及び制御設定テーブルＳＴ３を用いることにより、撮影者が被写体に向けて「魔貫光殺砲スタンバイ」と発話すると、特定対象情報が「全員」を示す情報に設定され、特定状態情報が「中央の１人を取り囲んで立っている」状態を示す情報に設定され、特定制御情報が「画角調整」を示す情報に設定される。これにより、中央の１人を取り囲むように他の人が立つことによって、画角が自動的に調整される。その後、撮影者が被写体に向けて「ジャンプしたらシャッター」と発話すると、特定対象情報が「全員」を示す情報に設定され、特定状態情報が「空中で静止している」状態を示す情報に設定され、特定制御情報が「撮影する」を示す情報に設定される。これにより、全員がジャンプ状態（空中で静止した瞬間）に撮影が自動的に行われる。このように、対象設定テーブルＳＴ１、状態設定テーブルＳＴ２、及び制御設定テーブルＳＴ３を更新することにより、流行に応じた撮像制御が可能となる。
【００８７】
なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
【００８８】
例えば、本発明の一実施の形態における撮像制御装置１０，１０Ａ，１０Ｂなどは、本実施形態の撮像制御装置１０，１０Ａ，１０Ｂの処理を行うコンピュータとして機能してもよい。図１３は、本実施形態に係る撮像制御装置１０，１０Ａ，１０Ｂのハードウェア構成の一例を示す図である。上述の撮像制御装置１０，１０Ａ，１０Ｂは、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、及びバス１００７などを含むコンピュータ装置として構成されてもよい。
【００８９】
なお、以下の説明では、「装置」という文言は、回路、デバイス、又はユニットなどに読み替えることができる。撮像制御装置１０，１０Ａ，１０Ｂのハードウェア構成は、図に示された各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００９０】
撮像制御装置１０，１０Ａ，１０Ｂにおける各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、並びに、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
【００９１】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、及びレジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）で構成されてもよい。例えば、撮像制御装置１０，１０Ａ，１０Ｂの各機能部は、プロセッサ１００１で実現されてもよい。
【００９２】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール及び／又はデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、撮像制御装置１０，１０Ａ，１０Ｂの各機能部は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
【００９３】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  ＲＯＭ）、ＲＡＭ（Random  Access  Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００９４】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭなどの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
【００９５】
通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【００９６】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【００９７】
また、プロセッサ１００１及びメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
【００９８】
また、撮像制御装置１０，１０Ａ，１０Ｂは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
【００９９】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【０１００】
本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１０１】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【０１０２】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【０１０３】
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【０１０４】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【０１０５】
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【０１０６】
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【０１０７】
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【０１０８】
本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
【０１０９】
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
【０１１０】
「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。
【０１１１】
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１１２】
本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【０１１３】
「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
【０１１４】
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
【０１１５】
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
【０１１６】
設定情報記憶部１３は、想定されるあらゆるフレーズを、状態情報及び制御情報と対応付けた設定情報を記憶していてもよい。この場合、設定部１４は、音声認識結果に含まれるフレーズと、設定情報のフレーズとを比較し、両社が完全一致する場合に、その設定情報を抽出してもよい。
【０１１７】
また、設定情報記憶部１３は、フレーズと状態情報とをそれぞれ対応付けた複数の状態設定情報と、フレーズと制御情報とをそれぞれ対応付けた複数の制御設定情報と、を記憶していてもよい。つまり、設定情報記憶部２３において、対象設定テーブルが省略されてもよい。
【０１１８】
設定情報記憶部２３は、対象設定情報のフレーズとして、個人名を示す文字列を含んでもよい。この場合、撮像制御部２７は、対象設定情報のフレーズに含まれている個人名を有する個人を識別するために、各個人の顔の特徴量を予め設定した辞書を備えていてもよい。撮像制御部２７は、この辞書を用いて、画像認識結果から個人を識別し得る。
【０１１９】
撮像制御部２７は、画像認識結果において、被写体の状態が特定状態と異なる場合に、画像認識結果を修正してもよい。例えば、特定対象情報が両端の２人を示す情報に設定されており、特定状態情報が対象全員が手を挙げている状態を示す情報に設定されているとする。このとき、画像認識結果における両端以外の人が手を挙げていると判定された場合に、撮像制御部２７は、画像認識部１６による画像認識結果が誤っていると判定し、手を挙げている人を両端の人として検出し直してもよい。
【符号の説明】
【０１２０】
１０，１０Ａ，１０Ｂ…撮像制御装置、１１…音声取得部、１２…音声認識部、１３，２３…設定情報記憶部（記憶部）、１４，２４…設定部、１５…画像取得部、１６…画像認識部、１７，２７…撮像制御部、１８…出力部、１９…更新部、Ｐ…撮像制御プログラム、Ｐ１１…音声取得モジュール、Ｐ１２…音声認識モジュール、Ｐ１４…設定モジュール、Ｐ１５…画像取得モジュール、Ｐ１６…画像認識モジュール、Ｐ１７…撮像制御モジュール、Ｐ１８…出力モジュール。
【図１】
2018078359.tif 000003
【図２】
2018078359.tif 000004
【図３】
2018078359.tif 000005
【図４】
2018078359.tif 000006
【図５】
2018078359.tif 000007
【図６】
2018078359.tif 000008
【図７】
2018078359.tif 000009
【図８】
2018078359.tif 000010
【図９】
2018078359.tif 000011
【図１０】
2018078359.tif 000012
【図１１】
2018078359.tif 000013
【図１２】
2018078359.tif 000014
【図１３】
2018078359.tif 000015