(57)【要約】【課題】測距センサの導入を伴わずに、被写体までの距離を正確に測定可能な、撮像装置、撮像装置における距離測定方法、およびプログラムを提供する。【解決手段】入力された動画像に含まれる被写体の動きから、被写体が発する音声の発生時点を検出し、入力された音声から、音声の入力時点を検出し、発生時点と入力時点との時間差から、被写体までの距離を測定する。これにより、被写体が発した音声の発生時点と入力時点との時間差から、被写体までの距離が測定されるので、測距センサの導入を伴わずに、被写体までの距離を正確に測定することができる。【選択図】図１
2009092457.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像に含まれる被写体の動きから、前記被写体が発する音声の発生時点を検出し、入力された前記音声から、前記音声の入力時点を検出し、前記発生時点と前記入力時点との時間差から、前記被写体までの距離を測定するように構成されたことを特徴とする、撮像装置。
【請求項２】
被写体を含む動画像を入力するための動画像入力部と、
前記被写体が発する音声を入力するための音声入力部と、
前記入力された動画像に含まれる前記被写体の動きから、前記被写体が発する音声に含まれる単語を第１の単語として認識する動画像認識部と、
前記入力された音声から、前記被写体が発する音声に含まれる単語を第２の単語として認識する音声認識部と、
前記第１の単語の各構成音を発する前記被写体の動きに対応する動画像の入力時点、および前記第２の単語の各構成音に対応する音声の入力時点を管理する時刻管理部と、
前記認識された第１の単語、および前記第１の単語の各構成音を発する前記被写体の動きに対応する前記動画像の入力時点を記憶する動画像情報データベースと、
前記認識された第２の単語、および前記第２の単語の各構成音に対応する前記音声の入力時点に基づいて、前記第２の単語に一致する前記第１の単語を前記動画像認識データベースから検索する動画像情報検索部と、
前記第２の単語に一致する前記第１の単語が検索された場合に、前記検索された第１の単語の先頭音を発する前記被写体の動きに対応する前記動画像の入力時点と、前記第２の単語の先頭音に対応する前記音声の入力時点との時間差をリップシンクずれとして算出するリップシンクずれ算出部と、
前記算出された時間差および音波の伝搬速度に基づいて、前記被写体までの距離を測定する距離測定部と、を備えることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
検索キーとされる前記第２の単語の構成音の数および／または同時に検索キーとされる前記第２の単語の数を設定するための検索条件設定部をさらに備えることを特徴とする、請求項２に記載の撮像装置。
【請求項４】
前記動画像認識データベースは、前記認識された第１の単語、前記第１の単語の先頭音を発する前記被写体の動きに対応する前記動画像の入力時点、および前記第１の単語の先頭音を除く各構成音の入力間隔を記憶することを特徴とする、請求項２に記載の撮像装置。
【請求項５】
前記リップシンクずれ算出部は、前記第２の単語に一致する前記第１の単語が検索された場合に、前記検索された第１の単語の各構成音について、各構成音を発する前記被写体の動きに対応する前記動画像の入力時点と、各構成音に相当する前記第２の単語の各構成音に対応する前記音声の入力時点との時間差を算出し、前記算出した複数の時間差を統計処理して前記リップシンクずれとして算出することを特徴とする、請求項２に記載の撮像装置。
【請求項６】
外気温度を計測する温度計測部と、前記計測された外気温度に基づいて、音波の伝搬速度を算出する音速算出部と、をさらに備えることを特徴とする、請求項２に記載の撮像装置。
【請求項７】
光学系の自動合焦動作を制御する自動合焦制御部を備え、前記測定された被写体までの距離が前記光学系の自動合焦動作を制御するために前記自動合焦制御部にフィードバックされることを特徴とする、請求項１に記載の撮像装置。
【請求項８】
音声入力時の集音距離を制御する集音距離制御部を備え、前記測定された被写体までの距離が音声入力時の集音距離を制御するために前記集音距離制御部にフィードバックされることを特徴とする、請求項１に記載の撮像装置。
【請求項９】
入力された動画像に含まれる被写体の動きから、前記被写体が発する音声の発生時点を検出し、入力された前記音声から、前記音声の入力時点を検出し、前記発生時点と前記入力時点との時間差から、前記被写体までの距離を測定することを特徴とする、撮像装置における距離測定方法。
【請求項１０】
被写体を含む動画像を入力するステップと、
前記被写体が発する音声を入力するステップと、
前記入力された動画像に含まれる前記被写体の動きから、前記被写体が発する音声に含まれる単語を第１の単語として認識する動画像認識ステップと、
前記入力された音声から、前記被写体が発する音声に含まれる単語を第２の単語として認識する音声認識ステップと、
前記第１の単語の各構成音を発する前記被写体の動きに対応する動画像の入力時点、および前記第２の単語の各構成音に対応する音声の入力時点を管理する時刻管理ステップと、
前記認識された第１の単語、および前記第１の単語の各構成音を発する前記被写体の動きに対応する前記動画像の入力時点を記憶する動画像情報記憶ステップと、
前記認識された第２の単語、および前記第２の単語の各構成音に対応する前記音声の入力時点に基づいて、前記記憶された動画像情報から前記第２の単語に一致する前記第１の単語を検索する動画像情報検索ステップと、
前記第２の単語に一致する前記第１の単語が検索された場合に、前記検索された第１の単語の先頭音を発する前記被写体の動きに対応する前記動画像の入力時点と、前記第２の単語の先頭音に対応する前記音声の入力時点との時間差をリップシンクずれとして算出するリップシンクずれ算出ステップと、
前記算出された時間差および音波の伝搬速度に基づいて、前記被写体までの距離を測定する距離測定ステップと、
を含むことを特徴とする、請求項９に記載の撮像装置における距離測定方法。
【請求項１１】
入力された動画像に含まれる被写体の動きから、前記被写体が発する音声の発生時点を検出する検出手段、
入力された前記音声から、前記音声の入力時点を検出する検出手段、
前記発生時点と前記入力時点との時間差から、前記被写体までの距離を測定する距離測定手段、
としてコンピュータを機能させるためのプログラム。
【請求項１２】
入力された動画像に含まれる前記被写体の動きから、前記被写体が発する音声に含まれる単語を第１の単語として認識する動画像認識手段、
入力された前記被写体の音声から、前記被写体が発する音声に含まれる単語を第２の単語として認識する音声認識手段、
前記第１の単語の各構成音を発する前記被写体の動きに対応する動画像の入力時点、および前記第２の単語の各構成音に対応する音声の入力時点を管理する時刻管理手段、
前記認識された第１の単語、および前記第１の単語の各構成音を発する前記被写体の動きに対応する前記動画像の入力時点を記憶する動画像情報記憶手段、
前記認識された第２の単語、および前記第２の単語の各構成音に対応する前記音声の入力時点に基づいて、前記第２の単語に一致する前記第１の単語を前記動画像認識記憶手段から検索する動画像情報検索手段、
前記第２の単語に一致する前記第１の単語が検索された場合に、前記検索された第１の単語の先頭音を発する前記被写体の動きに対応する前記動画像の入力時点と、前記第２の単語の先頭音に対応する前記音声の入力時点との時間差をリップシンクずれとして算出するリップシンクずれ算出手段、
前記算出された時間差および音波の伝搬速度に基づいて、前記被写体までの距離を測定する距離測定手段、
としてコンピュータを機能させるための請求項１１に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置における距離測定方法、およびプログラムに関する。
【背景技術】
【０００２】
撮像装置において、被写体までの距離は、一般に、測距センサにより測定されたり、動画像から推定されたりする。測距センサにより測定する場合には、被写体に光線を照射し、被写体から反射した光線が戻るまでの時間を計測することで、正確な距離が測定される。一方、動画像から推定する場合には、レンズ位置と被写体の合焦状態との関係を求めることで、概略の距離が推定される。
【０００３】
下記特許文献１は、フォーカス領域を対象として、補助光の発光を伴わずに被写体を撮影した時の映像信号と、補助光の発光を伴って被写体を撮影した時の映像信号との差分信号を算出する自動合焦（ＡＦ）制御装置を開示している。このＡＦ制御装置では、差分信号と距離データベースの基準値とを比較することで、被写体までの距離情報を算出し、算出した距離情報を用いて山登り式のＡＦ制御が行われる。
【０００４】
一方、下記特許文献２は、フォーカス領域を対象として、画像信号から高周波成分を抽出して積分したフォーカス値と、フォーカスリングの回転位置を示す位置情報とを用いて、フォーカス合せを行う撮像装置を開示している。この撮像装置では、フォーカス値および位置情報に基づいて、レンズの焦点距離とフォーカス値との対応関係、およびレンズの現在の焦点距離を出力することで、フォーカス合せが精度良く行われる。
【０００５】
【特許文献１】特開２００３−６６３２１号公報
【特許文献２】特開２００６−２３５５３号公報
【０００６】
しかしながら、測距センサにより測定する場合には、別途の測距センサを導入することで、撮像装置の小型化・低消費電力化の支障となり、製造コストの増加をもたらすという問題がある。一方、動画像から推定する場合には、距離の推定がレンズの個体偏差、組立精度などの影響を受け易く、被写体までの距離を精度良く測定できないという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記問題点に鑑みてなされたものであり、その目的は、測距センサの導入を伴わずに、被写体までの距離を正確に測定可能な、新規かつ改良された撮像装置、撮像装置における距離測定方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の観点によれば、入力された動画像に含まれる被写体の動きから、被写体が発する音声の発生時点を検出し、入力された音声から、音声の入力時点を検出し、発生時点と入力時点との時間差から、被写体までの距離を測定するように構成された撮像装置が提供される。
【０００９】
かかる構成によれば、入力された動画像に含まれる被写体の動きから、被写体が発する音声の発生時点が検出され、入力された音声から、音声の入力時点が検出される。そして、発生時点と入力時点との時間差から、被写体までの距離が測定される。これにより、被写体が発する音声の発生時点と入力時点との時間差から、被写体までの距離が測定されるので、測距センサの導入を伴わずに、被写体までの距離を正確に測定することができる。
【００１０】
また、上記撮像装置は、被写体を含む動画像を入力するための動画像入力部と、被写体が発する音声を入力するための音声入力部と、入力された動画像に含まれる被写体の動きから、被写体が発する音声に含まれる単語を第１の単語として認識する動画像認識部と、入力された音声から、被写体が発する音声に含まれる単語を第２の単語として認識する音声認識部と、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点、および第２の単語の各構成音に対応する音声の入力時点を管理する時刻管理部と、認識された第１の単語、および第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点を記憶する動画像情報データベースと、認識された第２の単語、および第２の単語の各構成音に対応する音声の入力時点に基づいて、第２の単語に一致する第１の単語を動画像認識データベースから検索する動画像情報検索部と、第２の単語に一致する第１の単語が検索された場合に、検索された第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点と、第２の単語の先頭音に対応する音声の入力時点との時間差をリップシンクずれとして算出するリップシンクずれ算出部と、算出された時間差および音波の伝搬速度に基づいて、被写体までの距離を測定する距離測定部と、を備えてもよい。
【００１１】
かかる構成によれば、入力された動画像に含まれる被写体の動きから、被写体が発する音声に含まれる単語が第１の単語として認識され、認識された第１の単語と、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点とが記憶される。また、入力された音声から、被写体が発する音声に含まれる単語が第２の単語として認識され、認識された第２の単語と、第２の単語の各構成音に対応する音声の入力時点とに基づいて、第２の単語に一致する第１の単語が検索される。ここで、第２の単語に一致する第１の単語が検索された場合に、検索された第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点と、第２の単語の先頭音に対応する音声の入力時点との時間差がリップシンクずれとして算出される。そして、リップシンクずれおよび音波の伝搬速度に基づいて、被写体までの距離が測定される。これにより、動画像と音声との入力時点の時間差（同期ずれ）を表すリップシンクずれに基づいて、被写体までの距離を正確に測定することができる。
【００１２】
また、検索キーとされる第２の単語の構成音の数および／または同時に検索キーとされる第２の単語の数を設定するための検索条件設定部をさらに備えてもよい。かかる構成によれば、検索キーとされる第２の単語の構成音の数および／または同時に検索キーとされる第２の単語の数がユーザにより設定可能となる。これにより、例えば、高い測距精度を要する場合には、構成音の数が多い単語を検索キーに設定するなど、検索キーを適宜設定することで、測距精度を調節することができる。
【００１３】
また、上記動画像認識データベースは、認識された第１の単語、第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点、および第１の単語の先頭音を除く各構成音の入力間隔を記憶してもよい。かかる構成によれば、第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点、および第１の単語の先頭音を除く各構成音の入力間隔が記憶される。これにより、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点を記憶する場合に比して、記憶する情報量を削減し、記憶容量を節約することができる。
【００１４】
また、上記リップシンクずれ算出部は、第２の単語に一致する第１の単語が検索された場合に、検索された第１の単語の各構成音について、各構成音を発する被写体の動きに対応する動画像の入力時点と、各構成音に相当する第２の単語の各構成音に対応する音声の入力時点との時間差を算出し、算出した複数の時間差を統計処理してリップシンクずれとして算出してもよい。かかる構成によれば、検索された第１の単語に含まれる複数の構成音の各々について、第２の単語の相当する各構成音との間で時間差が算出され、算出された複数の時間差が統計処理されてリップシンクずれとして算出される。これにより、第１の単語と第２の単語との間で、先頭音の時間差のみからリップシンクずれを算出する場合に比して、時間差の算出誤差による影響を軽減し、測距精度を高めることができる。
【００１５】
また、外気温度を計測する温度計測部と、計測された外気温度に基づいて、音波の伝搬速度を算出する音速算出部と、をさらに備えてもよい。かかる構成によれば、外気温度が計測され、計測された外気温度に基づいて、音波の伝搬速度が算出される。これにより、音波の伝搬速度が精度良く算出されるので、測距精度を高めることができる。
【００１６】
また、光学系の自動合焦動作を制御する自動合焦制御部を備え、測定された被写体までの距離が光学系の自動合焦動作を制御するために自動合焦制御部にフィードバックされてもよい。かかる構成によれば、測定された被写体までの距離が光学系のＡＦ動作を制御するために自動合焦（ＡＦ）制御部にフィードバックされる。これにより、被写体までの正確な距離を用いることで、ＡＦ制御の精度を高めるとともに、ＡＦ制御に要する処理時間を短縮することができる。
【００１７】
また、音声入力時の集音距離を制御する集音距離制御部を備え、測定された被写体までの距離が音声入力時の集音距離を制御するために集音距離制御部にフィードバックされてもよい。かかる構成によれば、測定された被写体までの距離が音声入力時の集音距離を制御するために集音距離制御部にフィードバックされる。これにより、被写体までの正確な距離を用いることで、音声入力時の集音距離制御の精度を高めるとともに、集音距離制御に要する処理時間を短縮することができる。
【００１８】
上記課題を解決するために、本発明の第２の観点によれば、入力された動画像に含まれる被写体の動きから、被写体が発する音声の発生時点を検出し、入力された音声から、音声の入力時点を検出し、発生時点と入力時点との時間差から、被写体までの距離を測定する、撮像装置における距離測定方法が提供される。
【００１９】
かかる方法によれば、被写体が発する音声の発生時点と入力時点との時間差から、被写体までの距離が測定されるので、測距センサの導入を伴わずに、被写体までの距離を正確に測定することができる。
【００２０】
また、上記距離測定方法は、被写体を含む動画像を入力するステップと、被写体が発する音声を入力するステップと、入力された動画像に含まれる被写体の動きから、被写体が発する音声に含まれる単語を第１の単語として認識する動画像認識ステップと、入力された音声から、被写体が発する音声に含まれる単語を第２の単語として認識する音声認識ステップと、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点、および第２の単語の各構成音に対応する音声の入力時点を管理する時刻管理ステップと、認識された第１の単語、および第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点を記憶する動画像情報記憶ステップと、認識された第２の単語、および第２の単語の各構成音に対応する音声の入力時点に基づいて、記憶された動画像情報から第２の単語に一致する第１の単語を検索する動画像情報検索ステップと、第２の単語に一致する第１の単語が検索された場合に、検索された第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点と、第２の単語の先頭音に対応する音声の入力時点との時間差をリップシンクずれとして算出するリップシンクずれ算出ステップと、算出された時間差および音波の伝搬速度に基づいて、被写体までの距離を測定する距離測定ステップと、を含んでもよい。
【００２１】
かかる方法によれば、動画像と音声との入力時点の時間差（同期ずれ）を表すリップシンクずれに基づいて、被写体までの距離を正確に測定することができる。
【００２２】
上記課題を解決するために、本発明の第３の観点によれば、前述した本発明の第１の観点に係る撮像装置としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００２３】
本発明によれば、測距センサの導入を伴わずに、被写体までの距離を正確に測定可能な、撮像装置、撮像装置における距離測定方法、およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下に、添付した図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
（撮像装置の構成）
まず、本発明の一実施形態に係る撮像装置の機能構成について説明する。図１は、本実施形態に係る撮像装置を示すブロック図である。
【００２６】
図１に示すように、本実施形態に係る撮像装置１００は、動画像入力部１０２、音声入力部１０４、動画像認識部１０６、音声認識部１０８、時刻管理部１１０、動画像情報データベース１１２（以下では、動画像情報ＤＢとも称する。）、動画像情報検索部１１４、リップシンクずれ算出部１１６、および距離測定部１１８を含んで構成される。また、撮像装置１００は、選択的に、検索条件設定部１２０、温度計測部１２２および音速算出部１２４、ＡＦ制御部１２６、または集音距離制御部１２８を含んでもよい。
【００２７】
動画像入力部１０２は、レンズ装置などを含んで構成され、被写体を含む動画像を外部から入力し、動画像認識部１０６に出力する。動画像入力部１０２には、動画像入力部１０２に含まれる光学系のＡＦ動作を制御するＡＦ制御部１２６が接続されてもよい。
【００２８】
音声入力部１０４は、マイク装置などを含んで構成され、被写体が発する音声を外部から入力し、音声認識部１０８に出力する。音声入力部１０４には、集音距離を制御する集音距離制御部１２８が接続されてもよい。
【００２９】
動画像認識部１０６は、画像認識処理を行うための信号／データ処理装置などにより構成され、入力された動画像に含まれる被写体の動きから、被写体が発する音声に含まれる単語を第１の単語として認識し、認識結果を動画像情報ＤＢ１１２に出力する。動画像認識部１０６には、動画像入力部１０２から出力された動画像がアナログもしくはデジタルのデータとして直接入力されてもよく、動画像がデジタルデータである場合には、メモリ（不図示）を介して入力されてもよい。動画像認識部１０６は、動画像に含まれる被写体の口周辺部の動きを検出することで、被写体が発する音声に含まれる第１の単語を認識する。また、動画像認識部１０６は、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点を時刻管理部１１０から取得する。
【００３０】
音声認識部１０８は、音声認識処理を行うための信号／データ処理装置などにより構成され、入力された音声から、被写体が発する音声に含まれる単語を第２の単語として認識し、認識結果を動画像情報検索部１１４に出力する。音声認識部１０８には、音声入力部１０４から出力された音声がアナログもしくはデジタルのデータとして直接入力されてもよく、音声がデジタルデータである場合には、メモリ（不図示）を介して入力されてもよい。音声認識部１０８は、音声に含まれる音波の変動を検出することで、被写体が発する音声に含まれる第２の単語を認識する。また、音声認識部１０８は、第２の単語の各構成音に対応する音声の入力時点を時刻管理部１１０から取得する。
【００３１】
時刻管理部１１０は、動画像入力部１０２に動画像が入力された入力時点、および音声入力部１０４に音声が入力された時刻を管理している。時刻管理部１１０は、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点を動画像認識部１０６に出力し、第２の単語の各構成音に対応する音声の入力時点を音声認識部１０８に出力する。なお、時刻管理部１１０は、動画像入力部１０２に入力される動画像のフレームレートよりも高く、かつ、音声入力部１０４に入力される音声のサンプリングレートよりも高い時間分解能を有する。
【００３２】
時刻管理部１１０は、動画像および音声の入力時点を直接的に管理するために、動画像入力部１０２および音声入力部１０４の出力側に接続されているが、入力時点を逆算して間接的に管理する場合には、例えば、動画像認識部１０６および音声認識部１０８の出力側に接続されてもよい。
【００３３】
動画像情報ＤＢ１１２は、記憶装置などにより構成され、動画像認識部１０６により認識された第１の単語、および第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点などを記憶する。
【００３４】
動画像情報検索部１１４は、音声認識部１０８により認識された第２の単語、および第２の単語の各構成音に対応する音声の入力時点に基づいて、第２の単語に一致する第１の単語を動画像情報ＤＢ１１２から検索する。そして、第２の単語に一致する第１の単語が検索された場合に、検索された第１の単語の動画像情報をリップシンクずれ算出部１１６に出力する。
【００３５】
リップシンクずれ算出部１１６は、第２の単語に一致する第１の単語が検索された場合に、検索された第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点と、第２の単語の先頭音に対応する音声の入力時点との時間差（同期ずれ）をリップシンクずれとして算出する。
【００３６】
距離測定部１１８は、リップシンクずれ算出部１１６により算出された時間差および音波の伝搬速度に基づいて、被写体までの距離を測定し、ＡＦ制御部１２６、集音距離制御部１２８などに出力する。
【００３７】
検索条件設定部１２０は、選択的に、動画像情報検索部１１４に接続されて設けられる。検索条件設定部１２０は、ユーザが検索キーとされる第２の単語の構成音の数および／または復号検索キーとして同時に検索キーとされる第２の単語の数を設定することを可能にする。
【００３８】
温度計測部１２２および音速算出部１２４は、選択的に、距離測定部１１８に接続されて設けられる。温度計測部１２２は、温度測定用抵抗体、サーミスタ、熱電対などの温度センサにより構成され、撮像装置１００周辺の外気温度を計測する。音速算出部１２４は、計測された外気温度から音波の伝搬速度を算出する。音速算出部１２４は、音速を算出するために、外気温度をパラメータとする音速公式を用いてもよく、予め準備された外気温度と音速との対応関係を表す算出テーブルなどを用いてもよい。
【００３９】
（撮像装置の主要動作）
つぎに、本発明の一実施形態に係る撮像装置１００の主要動作について、一例を用いて説明する。図２は、動画像による単語認識処理の一例を示す説明図であり、図３は、音声による単語認識処理の一例を示す説明図である。図２および図３に示す例では、被写体が発する音声に単語「トシマク」が含まれる場合が示されている。
【００４０】
動画像認識部１０６は、図２に示すように、動画像入力部１０２を介して入力された動画像に含まれる被写体の口周辺部の動きを検出することで、被写体が発する音声に含まれる単語「トシマク」を第１の単語として認識する。また、動画像認識部１０６は、第１の単語の各構成音「ト」、「シ」、「マ」、「ク」を発する被写体の動きに対応する動画像の入力時点として、「８分５６秒０１」、「８分５６秒０７」、「８分５６秒１４」、「８分５６秒１８」を時刻管理部１１０から取得する。なお、時点の表示において「○分○秒△」の「△」は、１／６０秒の単位で表記している。
【００４１】
動画像による単語認識処理は、周知の画像認識技術を用いて行われる。ここで、動画像による単語認識処理の一例について概略的に説明する。動画像による単語認識処理では、まず、予め準備された顔認識パターンなどを用いて、動画像に含まれる被写体の顔画像が認識され、認識された顔画像のうち口、顎、喉など口周辺部の動画像が認識処理の対象動画像として切り出される。そして、対象動画像から動きベクトル検出用の輝度信号が作成され、作成された輝度信号から口周辺部の動きベクトルが算出される。ここで、対象動画像が音声を発する被写体の動きに該当する場合には、所定の動きベクトルの大きさが一定値以上となるので、音声の発生の有無が判定される。また、被写体が発する音声を対象動画像から認識するために予め準備された音声認識パターンと、算出された動きベクトルとを照合することで、被写体が発する音声に含まれる単語が認識される。
【００４２】
動画像認識部１０６は、第１の単語の各構成音に対応する動画像の入力時点から、第１の単語の先頭音「ト」を除く各構成音「シ」、「マ」、「ク」の入力間隔を各々に「０秒０６」、「０秒０７」、「０秒０４」と算出する。そして、動画像認識部１０６は、認識された第１の単語「トシマク」、第１の単語の先頭音「ト」に対応する動画像の入力時点「８分５６秒０１」、および第１の単語の先頭音を除く各構成音の入力間隔「０秒０６」、「０秒０７」、「０秒０４」を動画像情報ＤＢ１１２に出力する。これにより、第１の単語の各構成音に対応する動画像の入力時点を記憶する場合に比して、動画像情報ＤＢ１１２に記憶する情報量を削減し、記憶容量を節約することができる。なお、動画像情報ＤＢ１１２には、第１の単語の各構成音に対応する動画像の入力時点を記憶してもよい。
【００４３】
なお、動画像入力部１０２に入力される動画像のフレームレートを高くすることで、距離測定の精度を向上させることができる。また、動画像認識部１０６が第１の単語を認識可能な最大距離をｘ（ｍ）、音声認識部１０８が第２の単語を認識可能な最大距離をｙ（ｍ）、撮像装置１００周辺の外気温度での音波の伝搬速度をｖ（ｍ／ｓ）とした場合に、ｔmin（ｓ）＝ｍｉｎ（ｘ、ｙ）／ｖの時点以降であれば、動画像情報ＤＢ１１２に記憶された動画像情報を破棄することができる。
【００４４】
一方、音声認識部１０８は、図３に示すように、音声入力部１０４を介して入力された音声に含まれる音波の変動を検出することで、被写体が発する音声に含まれる単語「トシマク」を第２の単語として認識する。音声認識部１０８は、特に、音声入力部１０４を介して入力される音声が無音から有音に遷移する状態に生ずる音声強度の大きな変化（声立て）から、被写体が発する音声に含まれる第２の単語の各構成音を認識することができる。また、音声認識部１０８は、第２の単語の各構成音「ト」、「シ」、「マ」、「ク」に対応する音声の入力時点として、「８分５６秒０２」、「８分５６秒０８」、「８分５６秒１５」、「８分５６秒１９」を時刻管理部１１０から取得する。
【００４５】
音声による単語認識処理は、周知の音声認識技術を用いて行われる。ここで、音声による単語認識処理の一例について概略的に説明する。音声による単語認識処理では、まず、入力された音声に含まれる音波の波形パターンが有音（無声・有声）区間および無音区間に分割される。そして、波形パターンから有音区間のうちの声立て部分が検出され、検出された声立て部分から声立ての発生が検出される。また、被写体が発する音声を波形パターンから認識するために予め準備された音声認識パターンと、入力された音声に含まれる音波の波形パターンとを照合することで、被写体が発する音声に含まれる単語が認識される。
【００４６】
音声認識部１０８は、認識された第２の単語、第２の単語の各構成音に対応する音声の入力時点を動画像情報検索部１１４に出力する。
【００４７】
図２および図３に示す例では、動画像情報検索部１１４は、音声認識部１０８から出力された第２の単語「トシマク」に一致する第１の単語「トシマク」を動画像情報ＤＢ１１２から検索し、動画像情報検索部１１４は、検索された第１の単語の動画像情報をリップシンクずれ算出部１１６に算出する。
【００４８】
動画像情報検索部１１４は、単語を表す文字情報、および単語の構成音の時間間隔について、第１の単語と第２の単語との一致（マッチング）を判定する。ここで、マッチングのアルゴリズムとしては、例えば、ＫＭＰ法、ＢＭ法などを用いることができる。なお、マッチングに際しては、動画像情報ＤＢ１１２に記憶された記憶順序の新しい動画像情報から古い動画像情報の順に検索対象が選択される。これにより、同一単語が同様に繰返し発せられた場合に、古い動画像情報を検索対象として選択することが防止される。
【００４９】
ここで、検索条件設定部１２０を介して、検索キーとされる第２の単語の構成音の数および／または同時に検索キーとされる第２の単語の数が設定されている場合には、動画像情報検索部１１４は、音声認識部１０８から入力された第２の単語が検索キーに該当するか否かを判定する。なお、検索条件は、検索条件設定部１２０により設定される代わりに、固定値として予め設定されてもよい。
【００５０】
ここで、例えば、検索キーとされる第２の単語の構成音の数が「５以上」に設定されている場合には、単語「トシマク」が検索キーから棄却される。そして、検索キーに該当する場合には、動画像情報ＤＢ１１２から動画像情報の検索を行い、検索キーに該当しない場合には、動画像情報の検索を行わない。これにより、例えば、高い測距精度を要する場合には、構成音の数が多い単語を検索キーとしたり、同時に複数の単語（連語）を検索キーとしたりするなど、検索条件を適宜設定することで、測距精度を調節することができる。
【００５１】
リップシンクずれ算出部１１６は、第１の単語の先頭音「ト」を発する被写体の動きに対応する動画像の入力時点「８分５６秒０１」と、第２の単語の先頭音「ト」に対応する音声の入力時点「８分５６秒０２」との時間差「０秒０１」をリップシンクずれとして算出する。
【００５２】
ここで、リップシンクずれ算出部１１６は、第１の単語と第２の単語との間で、先頭音の時間差のみからリップシンクずれを算出する代わりに、例えば、複数の構成音に関して、時間差を算出し、算出された複数の時間差の算術平均値、加重平均値などをリップシンクずれとして算出してもよい。これにより、先頭音の時間差のみからリップシンクずれを算出する場合に比して、時間差の算出誤差による影響を軽減し、測距精度を高めることができる。
【００５３】
なお、リップシンクずれ算出部１１６は、動画像認識部１０６が第１の単語を認識可能な最大距離をｘ（ｍ）、音声認識部１０８が第２の単語を認識可能な最大距離をｙ（ｍ）とした場合に、ｔmａx（ｓ）＝ｍｉｎ（ｘ、ｙ）／ｖを最大とするリップシンクずれを算出することができる。
【００５４】
一方、温度計測部１２２は、外気温度を「３０℃」と計測し、音速算出部１２４は、音速公式［ｖ（ｍ／ｓ）＝３３１．５＋０．６ｔ（℃）］により音速を「３４９．５ｍ／ｓ」と算出すると想定する。これにより、音速が精度良く算出されるので、測距精度を高めることができる。なお、音速は、温度計測部１２２および音速算出部１２４により算出される代わりに、固定値として予め設定されてもよい。
【００５５】
この場合、距離測定部１１８は、リップシンクずれ算出部１１６により算出された時間差「０秒０１（１／６０秒）」に、音速算出部１２４により算出された音速「３４９．５ｍ／ｓ」を乗ずることで、被写体までの距離を「５．８ｍ」と測定（算出）する。
【００５６】
距離測定部１１８により測定された被写体距離は、様々な用途に用いることができる。被写体距離の用途としては、例えば、以下のような用途が非限定的に列挙される。
【００５７】
測定された被写体距離は、例えば、動画像入力部１０２に含まれる光学系のＡＦ動作を制御するためにＡＦ制御部１２６にフィードバックされてもよい。被写体距離は、例えば、単焦点レンズでは、フォーカスレンズを合焦位置に移動させるために、ズームレンズでは、ズームトラッキングカーブと併せて、合焦状態を維持しながらズーム倍率を変化させるために用いられてもよい。これにより、被写体までの正確な距離を用いることで、ＡＦ制御の精度を高めるとともに、ＡＦ制御に要する処理時間を短縮することができる。
【００５８】
また、測定された被写体距離は、音声入力時の集音距離を制御するために集音距離制御部１２８にフィードバックされてもよい。これにより、被写体までの正確な距離を用いることで、音声入力時の集音距離制御の精度を高めるとともに、集音距離制御に要する処理時間を短縮することができる。
【００５９】
さらに、測定された被写体距離は、操作部などの画面に、測距結果として表示し、または、各種パラメータの距離に対する変化を表示するために用いられてもよい。また、被写体距離は、ズームレンズの位置情報と併せて、例えば、被写体の顔画像などを所定の大きさで撮影できるように、ズーム倍率を変化させるために用いられてもよい。また、被写体距離は、静止画撮影モードでは、撮像装置が発する撮影合図の音声が被写体に届くタイミングでシャッターが切れるように、音声の発生タイミングを変化させるために用いられてもよい。
【００６０】
（撮像装置の動作フロー）
次に、本実施形態に係る撮像装置１００の動作フローについて説明する。図４は、動画像による単語認識処理を示すフロー図である。図５は、音声による単語認識処理を示すフロー図である。図６は、リップシンクずれによる測距処理を示すフロー図である。
【００６１】
図４に示すように、動画像による単語認識処理では、まず、被写体を含む動画像が動画像入力部１０２を介して動画像認識部１０６に入力される（ステップＳ１１１）。動画像認識部１０６では、入力された動画像に含まれる被写体の動きから、被写体が発する音声に含まれる単語が第１の単語として認識される（Ｓ１１２）。そして、第１の単語が認識されたか否かが判断される（Ｓ１１３）。ここで、第１の単語が認識された場合には、後続の処理が実行され、認識されなかった場合には、入力された動画像に関して、動画像による単語認識処理が終了する。
【００６２】
ステップＳ１１３において、第１の単語が認識された場合には、動画像認識部１０６では、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点が時刻管理部１１０から取得される（Ｓ１１４）。次に、第１の単語の先頭音を除く各構成音の入力間隔が算出される（Ｓ１１５）。さらに、第１の単語、第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点、および第１の単語の先頭音を除く各構成音の入力間隔が動画像情報ＤＢ１１２に記憶される（Ｓ１１６）。以上により、入力された動画像に関して、動画像による単語認識処理が終了する。
【００６３】
図５に示すように、音声による単語認識処理では、まず、被写体が発する音声が音声入力部１０４を介して音声認識部１０８に入力される（Ｓ１２１）。音声認識部１０８では、入力された音声から、被写体が発する音声に含まれる単語が第２の単語として認識される（Ｓ１２２）。そして、第２の単語が認識されたか否かが判断される（Ｓ１２３）。ここで、第２の単語が認識された場合には、後続の処理が実行され、認識されなかった場合には、入力された音声に関して、音声による単語認識処理が終了する。
【００６４】
ステップＳ１２３において、第２の単語が認識された場合には、音声認識部１０８では、第２の単語の各構成音に対応する音声の入力時点が時刻管理部１１０から取得される（Ｓ１２４）。次に、第２の単語の先頭音を除く各構成音の入力間隔が算出される（Ｓ１２５）。以上により、入力された音声に関して、音声による単語認識処理が終了する。
【００６５】
図６に示すように、リップシンクずれによる測距処理では、まず、動画像情報検索部１１４により、音声による単語認識処理により得られた第２の単語、第２の単語の各構成音の時間間隔に基づいて、第２の単語に一致する第１の単語が動画像情報ＤＢ１１２から検索される（Ｓ１３１）。そして、第２の単語に一致する第１の単語が検索されたか否かが判断される（Ｓ１３２）。ここで、第２の単語に一致する第１の単語が検索された場合には、後続の処理が実行され、検索されなかった場合には、当該第２の単語に関して、リップシンクずれによる測距処理が終了する。
【００６６】
ステップＳ１３２において、第２の単語に一致する第１の単語が検索された場合には、検索された第１の単語の動画像情報が動画像情報検索部１１４からリップシンクずれ算出部１１６に出力され、リップシンクずれ算出部１１６では、第１の単語の先頭音の入力時点と、第２の単語の先頭音の入力時点との時間差が算出される（Ｓ１３３）。一方、音速算出部１２４では、温度計測部１２２により計測された外気温度に基づいて、音速が算出される（Ｓ１３４）。そして、距離測定部１１８では、リップシンクずれ算出部１１６により算出されたリップシンクずれ、および音速算出部１２４により算出された音速に基づいて、被写体までの距離が測定（算出）される（Ｓ１３５）。以上により、当該第２の単語に関して、リップシンクずれによる測距処理が終了する。
【００６７】
動画像による単語認識処理は、基本的に撮像装置１００による撮影動作中に継続して実行される。ここで、動画像による単語認識処理によって、第１の単語が認識された場合には、音声による単語認識処理が実行される。そして、音声による単語認識処理によって、第２の単語が認識された場合には、リップシンクずれによる測距処理が実行される。しかし、これらの処理は、撮影動作中に継続して実行される代わりに、ユーザの要求に応じて実行されてもよく、撮像装置１００の特定の動作に応じて、または所定の周期で自動的に実行されてもよい。
【００６８】
以上説明したように本発明の一実施形態に係る撮像装置１００によれば、入力された動画像に含まれる被写体の動きから、被写体が発する音声に含まれる単語が第１の単語として認識され、認識された第１の単語と、第１の単語の各構成音を発する被写体の動きに対応する動画像の入力時点とが記憶される。また、入力された音声から、被写体が発する音声に含まれる単語が第２の単語として認識され、認識された第２の単語と、第２の単語の各構成音に対応する音声の入力時点とに基づいて、第２の単語に一致する第１の単語が検索される。ここで、第２の単語に一致する第１の単語が検索された場合に、検索された第１の単語の先頭音を発する被写体の動きに対応する動画像の入力時点と、第２の単語の先頭音に対応する音声の入力時点との時間差がリップシンクずれとして算出される。そして、リップシンクずれおよび音波の伝搬速度に基づいて、被写体までの距離が測定される。
【００６９】
換言すれば、本願発明に係る撮像装置１００によれば、入力された動画像に含まれる被写体の動きから、被写体が発する音声の発生時点が検出され、入力された音声から、音声の入力時点が検出される。そして、発生時点と入力時点との時間差から、被写体までの距離が測定される。
【００７０】
これにより、被写体が発する音声の発生時点と入力時点との時間差（同期ずれ）を表すリップシンクずれに基づいて、被写体までの距離が測定されるので、測距センサの導入を伴わずに、被写体までの距離を正確に測定することができる。
【００７１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７２】
例えば、上記実施形態では、被写体（人物）が発する音声に含まれる単語が認識されている。しかし、人物が発する音声の代わりに、被写体（物）が発する音声または音響が認識されてもよい。
【００７３】
例えば、上記実施形態では、動画像から認識された第１の単語と、音声から認識された第２の単語との間でマッチングが判定されている。しかし、マッチングの処理効率が低下する可能性はあるが、第１の単語の一部と、第２の単語の一部との間でマッチングが判定されてもよい。
【００７４】
また、上記実施形態では、入力された動画像から認識された動画像情報が動画像情報ＤＢ１１２に記憶されている。しかし、処理効率が低下する可能性はあるが、動画像情報ＤＢ１１２の代わりにビデオメモリを設けることで、入力された動画像自体が動画像情報としてビデオメモリに記憶されてもよい。
【００７５】
また、上記実施形態では、動画像から認識された第１の単語を記憶し、音声から認識された第２の単語を検索キーとして、第２の単語に一致する第１の単語を検索している。しかし、処理効率が低下する可能性はあるが、音声から認識された第２の単語を記憶し、動画像から認識された第１の単語を検索キーとして、第１の単語に一致する第２の単語を検索してもよい。
【図面の簡単な説明】
【００７６】
【図１】本発明の一実施形態に係る撮像装置を示すブロック図である。
【図２】動画像による単語認識処理の一例を示す説明図である。
【図３】音声による単語認識処理の一例を示す説明図である
【図４】動画像による単語認識処理を示すフロー図である。
【図５】音声による単語認識処理を示すフロー図である。
【図６】リップシンクずれによる測距処理を示すフロー図である。
【符号の説明】
【００７７】
１００    撮像装置
１０２    動画像入力部
１０４    音声入力部
１０６    動画像認識部
１０８    音声認識部
１１０    時刻管理部
１１２    動画像情報データベース
１１４    動画像情報検索部
１１６    リップシンクずれ算出部
１１８    距離測定部
１２０    検索条件設定部
１２２    温度計測部
１２４    音速算出部
１２６    ＡＦ制御部
１２８    集音距離制御部
【図１】
2009092457.tif 000003
【図２】
2009092457.tif 000004
【図３】
2009092457.tif 000005
【図４】
2009092457.tif 000006
【図５】
2009092457.tif 000007
【図６】
2009092457.tif 000008