(57)【要約】【課題】  移動体の移動に伴って、移動体から目視できるシーン（風景や場面）を推定できるようにするとともに、その推定結果を利用できるようにする。【解決手段】  移動体に搭載された撮影カメラ１５０による撮影カメラが、シーン推定装置１００のシーン画像抽出部１１０に供給される。シーン画像抽出部は、撮影画像内のシーンが写っている画像領域に対して重み付けされたフィルタ補完マージ画像をシーン推定部１２０に渡す。シーン推定部は、フィルタ補完マージ画像から、撮影画像に写っているシーンを推定し、その推定結果を出力する。この推定結果を利用することによって、例えば、移動体の外部環境を把握して、その外部環境に適した音声出力を行うことが可能である。【選択図】  図１
2006285422.tif 000002
【特許請求の範囲】
【請求項１】
移動体と共に移動する撮影装置から供給される撮影画像を用いて、前記移動体から目視可能なシーンを推定するシーン推定装置であって、
前記撮影画像内の前記シーンが写っていると推測される画像領域を抽出するシーン画像抽出手段と、
前記移動体の移動状況に応じて、前記撮影画像内のフォーカスに重み付けを行うフォーカス手段と、
前記シーン画像抽出手段によって抽出された前記画像領域、及び／又は前記フォーカス手段による前記重み付けに基づいて前記シーンを識別し、識別された前記シーンをシーン推定結果として出力するシーン識別手段とを、
有するシーン推定装置。
【請求項２】
前記シーン画像抽出手段が、複数の前記撮像画像を取得し、複数の前記撮像画像のそれぞれに写っている障害物を抽出するとともに、複数の前記撮像画像のそれぞれの障害物が写っている画像領域に関して排他的論理和を演算することによって、前記障害物の背後に隠れている前記シーンを抽出するように構成されている請求項１に記載のシーン推定装置。
【請求項３】
前記フォーカス手段が、前記移動体が高速移動している場合には、前記撮影画像内の中心側に前記フォーカスの重み付けを行い、前記移動体が低速移動している場合には、前記撮影画像内の上段に前記フォーカスの重み付けを行うように構成されている請求項１又は２に記載のシーン推定装置。
【請求項４】
前記シーン識別手段が、ベイズ推定アルゴリズム又は制約論理アルゴリズムを用いて、前記シーンの識別を行うように構成されている請求項１から３のいずれか１つに記載のシーン推定装置。
【請求項５】
撮影装置が搭載された移動体に関して、前記移動体から目視可能なシーンを含む前記撮影装置による撮影画像の処理を行う画像処理装置におけるシーン画像抽出方法であって、
複数の前記撮像画像を取得するステップと、
複数の前記撮像画像のそれぞれに写っている障害物を抽出するステップと、
複数の前記撮像画像のそれぞれの前記障害物が写っている画像領域に関して排他的論理和を演算するステップとを有し、
前記障害物の背後に隠れている前記シーンを抽出するシーン画像抽出方法。
【請求項６】
撮影装置が搭載された移動体に関して、前記移動体から目視可能なシーンを含む前記撮影装置による撮影画像の処理を行う画像処理装置におけるシーン画像抽出方法であって、
前記移動体が高速移動している場合には、前記撮影画像内の中心側に前記撮影画像内のフォーカスの重み付けを段階的に行うステップと、
前記移動体が低速移動している場合には、前記撮影画像内の上段に前記撮影画像内のフォーカスの重み付けを段階的に行うステップとを、
有するシーン画像抽出方法。
【請求項７】
移動体と共に移動する撮影装置から供給される撮影画像を用いて、前記移動体から目視可能なシーンを推定するシーン推定装置であり、前記撮影画像内の前記シーンが写っていると推測される画像領域を抽出するシーン画像抽出手段と、前記移動体の移動状況に応じて、前記撮影画像内のフォーカスに重み付けを行うフォーカス手段と、前記シーン画像抽出手段によって抽出された前記画像領域、及び／又は前記フォーカス手段による前記重み付けに基づいて前記シーンを識別し、識別された前記シーンをシーン推定結果として出力するシーン識別手段とを有する前記シーン推定装置から渡される前記シーン推定結果に基づいて音声再生処理を行う音声再生装置であって、
複数の音声データを格納する音声データ格納手段と、
前記シーン推定結果に含まれる前記シーンに適した音声データを推測し、前記シーンに適した音声データを、前記音声データ格納手段に格納されている前記複数の音声データの中から選択する好適音声推測手段と、
前記好適音声推測手段によって選択された音声データの再生及び報知を行う音声発生手段とを、
有する音声再生装置。
【請求項８】
前記移動体の外部環境における音、香り、大気成分濃度の少なくとも１つを検出する検出手段を有し、
前記好適音声推測手段が、更に前記検出手段による検出結果を考慮して、前記シーン推定結果に含まれる前記シーンに適した前記音声データを推測するように構成されている請求項７に記載の音声再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影カメラで撮影される画像認識を行うシーン推定装置、及びこのシーン推定装置で行われるシーン画像抽出方法、画像認識結果に基づく音声再生を行う音声再生装置に関する。
【背景技術】
【０００２】
歩行者や車両などの移動体が移動する最中、移動体から目視できるシーン（風景や場面）は時々刻々と変化する。また、将来の移動体（例えば車両）には、車両の外を撮影する撮影カメラが搭載されることが想定される。なお、車両に搭載される撮影カメラは、自動運転の際の運転者の眼としての役割を始めとして、さまざまな用途に用いられる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
（第１の課題）
しかしながら、移動体の移動中に撮影カメラによって撮影される風景と撮影カメラとの距離、撮影対象が特定の場所などである場合、さらには移動速度などの様々な要因に依存して、撮影されたシーンの認識を行うために撮影画像内でフォーカスすべき画像領域に変化が生じる。その結果、例えば移動中であるためオブジェクト画像がボケてしまうことがある。
【０００４】
（第２の課題）
また、特に移動体が高速移動中の場合には、撮影カメラによる撮影画像の外周側がボケてしまい、画像認識を行うことが困難な場合が生じるおそれがある。
【０００５】
（第３の課題）
また、撮影カメラで撮影されたシーンの認識を行おうとした場合、撮影カメラによって撮影される風景と撮影カメラとの間に障害物オブジェクトが存在して、撮影画像にシーンが十分に写らず、その結果、シーンの認識が困難となってしまう場合がある。
【０００６】
そこで、本発明は上記の課題を解決するために、撮影カメラが搭載された移動体の移動に伴って、移動体から目視できるシーンを推定するとともに、その推定結果を利用することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明によれば、移動体と共に移動する撮影装置から供給される撮影画像を用いて、前記移動体から目視可能なシーンを推定するシーン推定装置であって、
前記撮影画像内の前記シーンが写っていると推測される画像領域を抽出するシーン画像抽出手段と、
前記移動体の移動状況に応じて、前記撮影画像内のフォーカスに重み付けを行うフォーカス手段と、
前記シーン画像抽出手段によって抽出された前記画像領域、及び／又は前記フォーカス手段による前記重み付けに基づいて前記シーンを識別し、識別された前記シーンをシーン推定結果として出力するシーン識別手段とを、
有するシーン推定装置が提供される。
【０００８】
さらに、本発明によれば、上記の発明に加えて、前記シーン画像抽出手段が、複数の前記撮像画像を取得し、複数の前記撮像画像のそれぞれに写っている障害物を抽出するとともに、複数の前記撮像画像のそれぞれの障害物が写っている画像領域に関して排他的論理和を演算することによって、前記障害物の背後に隠れている前記シーンを抽出するように構成されているシーン推定装置が提供される。
【０００９】
さらに、本発明によれば、上記の発明に加えて、前記フォーカス手段が、前記移動体が高速移動している場合には、前記撮影画像内の中心側に前記フォーカスの重み付けを行い、前記移動体が低速移動している場合には、前記撮影画像内の上段に前記フォーカスの重み付けを行うように構成されているシーン推定装置が提供される。
【００１０】
さらに、本発明によれば、上記の発明に加えて、前記シーン識別手段が、ベイズ推定アルゴリズム又は制約論理アルゴリズムを用いて、前記シーンの識別を行うように構成されているシーン推定装置が提供される。
【００１１】
また、上記の目的を達成するため、本発明によれば、撮影装置が搭載された移動体に関して、前記移動体から目視可能なシーンを含む前記撮影装置による撮影画像の処理を行う画像処理装置におけるシーン画像抽出方法であって、
複数の前記撮像画像を取得するステップと、
複数の前記撮像画像のそれぞれに写っている障害物を抽出するステップと、
複数の前記撮像画像のそれぞれの前記障害物が写っている画像領域に関して排他的論理和を演算するステップとを有し、
前記障害物の背後に隠れている前記シーンを抽出するシーン画像抽出方法が提供される。
【００１２】
また、上記の目的を達成するため、本発明によれば、撮影装置が搭載された移動体に関して、前記移動体から目視可能なシーンを含む前記撮影装置による撮影画像の処理を行う画像処理装置におけるシーン画像抽出方法であって、
前記移動体が高速移動している場合には、前記撮影画像内の中心側に前記撮影画像内のフォーカスの重み付けを段階的に行うステップと、
前記移動体が低速移動している場合には、前記撮影画像内の上段に前記撮影画像内のフォーカスの重み付けを段階的に行うステップとを、
有するシーン画像抽出方法が提供される。
【００１３】
また、上記の目的を達成するため、本発明によれば、移動体と共に移動する撮影装置から供給される撮影画像を用いて、前記移動体から目視可能なシーンを推定するシーン推定装置であり、前記撮影画像内の前記シーンが写っていると推測される画像領域を抽出するシーン画像抽出手段と、前記移動体の移動状況に応じて、前記撮影画像内のフォーカスに重み付けを行うフォーカス手段と、前記シーン画像抽出手段によって抽出された前記画像領域、及び／又は前記フォーカス手段による前記重み付けに基づいて前記シーンを識別し、識別された前記シーンをシーン推定結果として出力するシーン識別手段とを有する前記シーン推定装置から渡される前記シーン推定結果に基づいて音声再生処理を行う音声再生装置であって、
複数の音声データを格納する音声データ格納手段と、
前記シーン推定結果に含まれる前記シーンに適した音声データを推測し、前記シーンに適した音声データを、前記音声データ格納手段に格納されている前記複数の音声データの中から選択する好適音声推測手段と、
前記好適音声推測手段によって選択された音声データの再生及び報知を行う音声発生手段とを、
有する音声再生装置が提供される。
【００１４】
さらに、本発明によれば、上記の発明に加えて、前記移動体の外部環境における音、香り、大気成分濃度の少なくとも１つを検出する検出手段を有し、
前記好適音声推測手段が、更に前記検出手段による検出結果を考慮して、前記シーン推定結果に含まれる前記シーンに適した前記音声データを推測するように構成されている音声再生装置が提供される。
【発明の効果】
【００１５】
本発明は上記の構成を有しており、撮影カメラが搭載された移動体の移動に伴って、移動体から目視できるシーンを推定することができ、その推定結果を利用して、例えば、シーンに適した音声を発生するアプリケーションを始めとして、様々なアプリケーションを実現することができるという効果を有している。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について説明する。
【００１７】
まず、本発明の実施の形態におけるシーン推定装置について説明する。図１は、本発明の実施の形態におけるシーン推定装置の構成の一例を示す図である。図１には、シーン画像抽出部１１０及びシーン推定部１２０を有するシーン推定装置１００、シーン推定装置１００のシーン画像抽出部１１０に撮影画像を渡す撮影カメラ１５０、シーン推定装置１００のシーン推定部１２０に教師信号を渡す教師信号入力装置１６０が図示されている。
【００１８】
シーン推定装置１００は、撮影カメラ１５０による撮影画像に基づいて、その撮影画像内の風景を抽出して識別することによって、移動体が置かれている状況で目視可能なシーンを推定し、その推定結果を、例えばユーザインタフェースなどのアプリケーションに出力する機能を有している。
【００１９】
また、シーン画像抽出部１１０は、撮影カメラ１５０によって撮影された複数の撮影画像に基づき、撮影画像内において、シーンを把握するために必要な画像領域に対して重み付けを行うフィルタを生成し、上記のフィルタで補完（重み付け）したマージ画像（フィルタ補完マージ画像）を出力する機能を有している。
【００２０】
また、シーン推定部１２０は、シーン画像抽出部１１０で生成されたフィルタ補完マージ画像に基づき、さらにフォーカスを行う画像領域を定めて、撮影画像に撮影されているシーンの推定を行い、このシーン推定結果を出力する機能を有している。なお、シーンの推定には任意のアルゴリズムが利用可能であるが、ここでは、後述のベイジアンネットワークやニューラルネットワークなどのような学習アルゴリズムを合わせ持つものを前提とする。また、シーン推定部１２０は、推定結果として、例えば、シーンが海の場合には値『１』、シーンが森の場合には値『２』などのようなシーンのメタ属性値（シーンを表すためのあらかじめ用意された値）を出力する。
【００２１】
また、撮影カメラ１５０は、静止画又は動画を撮影するためのカメラであり、人や車両などの移動体と共に移動を行いながら撮影動作を行う。なお、本発明に係るシーン推定装置は、複数の撮影画像からシーン推定を行うため、撮影カメラ１５０からシーン推定装置１００に対して、複数の撮影画像が渡される必要がある。
【００２２】
例えば撮影カメラ１５０として、シーン推定装置１００に対して、複数の動画フレームを渡すことが可能な動画撮影カメラを利用することが可能である。また、撮影カメラ１５０として、複数の撮影画像の撮影が可能なステレオカメラ（複数の撮影用レンズを有し、複数の画像を撮影することが可能なカメラ）を利用することも可能である。また、撮影カメラ１５０として単眼カメラを利用した場合でも、シーン推定装置１００に対して、異なる時刻に撮影された複数の撮影画像を渡すことによって、シーン推定装置１００は、シーン推定に必要な複数の撮影画像を取得することが可能である。
【００２３】
また、教師信号入力装置１６０は、シーン推定装置１００のシーン推定部１２０におけるシーンの推定精度を向上させるために、シーン推定装置１００に対して教師信号を供給する機能を有している。なお、教師信号は、例えば、シーン推定装置１００から出力される推定結果に基づくサービスが提供されたユーザの満足度などが、教師信号入力装置１６０に対してフィードバックされることで生成される。
【００２４】
次に、本発明の実施の形態におけるシーン推定装置１００内のシーン画像抽出部１１０及びシーン推定部１２０のそれぞれについて説明する。
【００２５】
まず、図１に図示されているシーン推定装置１００内のシーン画像抽出部１１０の構成について、図２を参照しながら説明する。図２は、本発明の実施の形態におけるシーン推定装置内のシーン画像抽出部の構成の一例を示す図である。図２に図示されているシーン画像抽出部１１０は、フレーム画像間マージ画像生成部１１１、障害物オブジェクト抽出部１１２、フレーム画像間フィルタ生成部１１３、フィルタ補完マージ画像生成部１１４を有している。
【００２６】
フレーム画像間マージ画像生成部１１１は、撮影カメラ１５０から渡された複数の撮影画像（以下、シーン推定装置１００で処理される撮影画像をフレーム画像と呼ぶこともある）をマージ（重ね合わせ）したマージ画像を生成する機能を有している。フレーム画像間マージ画像生成部１１１で生成されたマージ画像は、フレーム画像間フィルタ生成部１１３に渡される。
【００２７】
また、障害物オブジェクト抽出部１１２は、撮影カメラ１５０から渡されたフレーム画像に写っている障害物オブジェクトを抽出する機能を有している。この障害物オブジェクトは、近景に存在しており、シーンの推定に必要なフレーム画像内の風景の識別の邪魔となる物体である。障害物オブジェクト抽出部１１２で抽出された障害物オブジェクトの画像は、フレーム画像間フィルタ生成部１１３に渡される。
【００２８】
また、フレーム画像間フィルタ生成部１１３は、フレーム画像間マージ画像生成部１１１から渡されたマージ画像、及び障害物オブジェクト抽出部１１２から渡された障害物オブジェクトの画像に基づいて、フレーム画像内において障害物の後ろに位置する風景が写っていると予想される画像領域を特定し、この画像領域に基づくフィルタ（例えば、後述のフレーム画像間ＥＯＲ（Exclusive OR：排他的論理和）フィルタ）を生成する機能を有している。フレーム画像間フィルタ生成部１１３で生成されたフィルタ及びマージ画像は、フィルタ補完マージ画像生成部１１４に渡される。
【００２９】
また、フィルタ補完マージ画像生成部１１４は、フレーム画像間フィルタ生成部１１３から渡されたフィルタ及びマージ画像を利用して、上記の風景を特定するためのフィルタで補完されたマージ画像（フィルタ補完マージ画像）を生成する機能を有している。フィルタ補完マージ画像生成部１１４で生成されたフィルタ補完マージ画像は、シーン推定部１２０に渡される。
【００３０】
ここで、シーン画像抽出部１１０のフレーム画像間フィルタ生成部１１３におけるフィルタ生成処理の具体例について、図３を参照しながら説明する。図３は、本発明の実施の形態におけるフィルタ生成処理の具体例を模式的に示す図である。
【００３１】
例えば、撮影カメラ１５０がステレオカメラの場合、１回の撮影動作で複数のフレーム画像（例えば２枚のフレーム画像Ａ及びフレーム画像Ｂ）が取得される。これら複数のフレーム画像がシーン画像抽出部１１０に供給された場合、まず、フレーム画像間マージ画像生成部１１１において、マージ画像が生成されるとともに、さらに、障害物オブジェクト抽出部１１２において、障害物オブジェクトの画像が特定される。
【００３２】
その結果、図３に図示されているように、フレーム画像Ａ及びフレーム画像Ｂがマージされたマージ画像と、フレーム画像Ａ及びフレーム画像Ｂに写っている障害物オブジェクトの画像（図３では丸及び三角形によって図示）とが得られる。ここで、フレーム画像間フィルタ生成部１１３は、例えば、フレーム画像Ａ及びフレーム画像Ｂのそれぞれにおける障害物オブジェクトの位置のＥＯＲを演算して、ＥＯＲ＝１となる画像領域（図３の斜線部）を特定する。
【００３３】
この画像領域は、２眼レンズのステレオカメラにおいて、一方のレンズから撮影されたフレーム画像には障害物オブジェクトが写っており、他方のレンズから撮影されたフレーム画像には障害物オブジェクトが写っていない画像領域である。この画像領域は、２眼レンズの各レンズの撮影位置のずれにより、障害物オブジェクトによって隠れる遠方の風景が写っている領域である可能性が高いと仮定でき、この画像領域をフレーム画像間ＥＯＲフィルタとする。そして、マージ画像の各フレーム画像に関して、障害物オブジェクトの画像領域を除き、さらに、このフレーム画像間ＥＯＲフィルタを加えることによって、遠方の風景が写っている可能性の高い画像領域を表すことが可能となる。なお、後段のシーン推定部１２０では、このフレーム画像間ＥＯＲフィルタに基づいて特定される画像領域に重点をおいて、シーンの推定処理が行われる。
【００３４】
なお、本発明に係る動作は、図３を用いて説明したＥＯＲ演算による画像領域の特定方法に限定されるものではなく、遠方の風景が写っている画像領域を特定するための任意の方法を使用することが可能である。例えば、ＭＰＥＧ方式の動画の場合には、例えばブロックマッチング方式などの動き推定アルゴリズムをそのまま利用して、動きの少ない画像領域を特定して背景の風景とみなすことも可能である。
【００３５】
また、上述では、ステレオカメラによって撮影されたステレオ画像を用いる場合について説明を行っているが、単眼カメラによって撮影された複数のフレーム画像や、動画を構成するフレーム画像に関しても同様の処理を行うことが可能である。
【００３６】
また、フレーム画像間フィルタ生成部１１３は、複数のフレーム画像の比較を行って風景を抽出するが、この際、複数のフレーム画像のそれぞれは、風景を抽出するための差異が存在していることが望ましい。これは、例えば、比較するフレーム画像がステレオ画像の場合には、２眼レンズの間隔、又は２眼レンズのそれぞれの撮影方向が作る角度を大きく取ったり、比較するフレーム画像動画像から抽出される場合には、抽出する時間間隔を長く取ったりすることによって実現可能である。
【００３７】
まず、図１に図示されているシーン推定装置１００内のシーン推定部１２０の構成について、図４を参照しながら説明する。図４は、本発明の実施の形態におけるシーン推定装置内のシーン推定部の構成の一例を示す図である。図４に図示されているシーン推定部１２０は、フォーカスメカニズム決定部１２１、ストリーマブル・ブリッジ１２２、高速移動時用フォーカスメカニズム１２３、低速移動時用フォーカスメカニズム１２４、ストリーマブル・ブリッジ１２５、ベイジアンネットワーク確率推定型シーン識別メカニズム１２６、ニューラルネットワークパターンマッチング型シーン識別メカニズム１２７を有している。
【００３８】
フォーカスメカニズム決定部１２１は、シーン画像抽出部１１０から渡されるフィルタ補完マージ画像に関する処理に使用するフォーカスメカニズムを決定する機能を有している。なお、この実施の形態では、速度検出部（不図示）からフォーカスメカニズム決定部１２１に供給される移動体の移動速度に基づいて、使用するフォーカスメカニズムの決定を行う場合について説明するが、任意の情報に基づいて、使用するフォーカスメカニズムの決定を行うことが可能である。また、フォーカスメカニズム決定部１２１は、フィルタ補完マージ画像と、使用するフォーカスメカニズムを指示する情報（フォーカスメカニズム指示情報）とを、ストリーマブル・ブリッジ１２２に渡す。
【００３９】
また、ストリーマブル・ブリッジ１２２は、必要に応じて、使用するフォーカスメカニズムを切り替える機能を有しており、フォーカスメカニズム決定部１２１から渡されたフォーカスメカニズム指示情報に基づいて、後段に存在する複数のフォーカスメカニズムのうちの１つ又は所定数のフォーカスメカニズムに対して、フィルタ補完マージ画像を選択的に出力する機能を有している。また、後段のフォーカスメカニズムを並列型で動作させたり、直列型で動作させたりすることができる機能も有している。
【００４０】
また、高速移動時用フォーカスメカニズム１２３は、例えば、移動体が高速移動を行っている場合において撮影された撮影画像に対して、フォーカスの重み付けを行う画像領域を決定する機能を有している。以下、図５Ａを参照しながら、高速移動時用フォーカスメカニズム１２３において決定されるフォーカスの一例について説明する。
【００４１】
図５Ａは、本発明の実施の形態におけるシーン推定部の高速移動時用フォーカスメカニズムで決定されるフォーカス領域の一例を示す図である。なお、図５Ａには、１枚のフレーム画像において、移動体が高速移動を行っている際にフォーカスの重み付けを行うフォーカス領域が模式的に図示されている。
【００４２】
例えば、移動体が高速移動を行っている場合、進行方向を撮影方向としたフレーム画像は、そのフレーム画像内の外周側（例えば図５Ａの領域『Ｂ』）に行くほど大きなブレ（撮影対象のボケ）が生じている。すなわち、このフレーム画像内において、比較的ブレが少ない領域は、フレーム画像内の中心側（例えば図５Ａの領域『Ａ』）であり、この中心側に重みを付けてフォーカスを行う。したがって、高速移動時用フォーカスメカニズム１２３では、図５Ａの領域『Ａ』に対して図５Ａの領域『Ｂ』より大きな重みを付けてフォーカスを行う。なお、図５Ａでは、説明を明瞭にするために、フレーム画像内の領域を領域『Ａ』と領域『Ｂ』との２段階のみに分けた場合が図示されているが、さらに多くの段階を設定し、フレーム画像内の中心側から外周側に向かって段階的にフォーカスの重みが弱くなるように設定することも可能である。
【００４３】
また、低速移動時用フォーカスメカニズム１２４は、例えば、移動体が低速移動を行っている場合において撮影された撮影画像や、外周側に高速移動時のようなブレが生じていない撮影画像に対して、フォーカスの重み付けを行う画像領域を決定する機能を有している。以下、図５Ｂを参照しながら、低速移動時用フォーカスメカニズム１２４において決定されるフォーカスの一例について説明する。
【００４４】
図５Ｂは、本発明の実施の形態におけるシーン推定部の低速移動時用フォーカスメカニズムで決定されるフォーカス領域の一例を示す図である。なお、図５Ｂには、１枚のフレーム画像において、移動体が低速移動を行っている際にフォーカスの重み付けを行うフォーカス領域が模式的に図示されている。
【００４５】
例えば、移動体が低速移動を行っている場合、進行方向を撮影方向としたフレーム画像は、概して大きなブレが生じていない。この場合、５点フォーカスなどによって、外周側かつ上段部（例えば図５Ｂの領域『Ａ』）に最も重みを付け、以下、外周側かつ中段部（例えば図５Ｂの領域『Ｂ』）、中心側かつ中段部（例えば図５Ｂの領域『Ｃ』）、外周側かつ下段部（例えば図５Ｂの領域『Ｄ』）の順に重みを減らしていく。なお、図５Ｂに図示されているフォーカスの重み付けは、例えばフレーム画像の下段部には移動体が通る道路などが撮影されており、フレーム画像内の風景の認識における重要性は低いことなどを根拠として設定されるものである。なお、図５Ｂでは、説明を明瞭にするために、フレーム画像内の領域を上段の領域『Ａ』、中段の領域『Ｂ』及び『Ｃ』、下段の領域『Ｄ』の３段階のみに分けた場合が図示されているが、さらに多くの段階を設定し、相対的にフレーム画像内の上段が下段に比べて、フォーカスの重みが強くなるように設定することも可能である。
【００４６】
なお、この実施の形態では、フォーカスメカニズムライブラリは、上記の高速移動時用フォーカスメカニズム１２３及び低速移動時用フォーカスメカニズム１２４の２つについてのみ説明するが、その他の任意のフォーカスメカニズムを利用することも可能である。また、フォーカスメカニズムライブラリには、随時、任意のフォーカスメカニズムの追加が可能であり、フォーカスメカニズムライブラリは高い拡張性を有している。また、図５Ａや図５Ｂに図示されているフォーカスの態様は一例であり、その他のフォーカスの態様を用いることも可能である。
【００４７】
また、ストリーマブル・ブリッジ１２５は、フォーカスメカニズム（例えば、上記の高速移動時用フォーカスメカニズム１２３や低速移動時用フォーカスメカニズム１２４によって重みを付けてフォーカスが行われたフィルタ補完マージ画像を受け、後段に存在する複数の識別メカニズムに対して、この画像を選択的に出力する機能を有している。なお、上述のストリーマブル・ブリッジ１２２と同様に、ストリーマブル・ブリッジ１２５も、後段の識別メカニズムを並列型又は直列型で動作させることが可能である。また、教師信号入力装置１６０から教師信号が渡された場合には、その教師信号を後段のフォーカスメカニズムに供給して、各フォーカスメカニズムの学習アルゴリズムを動作させることも可能である。
【００４８】
また、ベイジアンネットワーク確率推定型シーン識別メカニズム１２６は、補完されたフィルタに対応する画像領域や、フォーカスの重み付けされたフォーカス領域などに特に重点を置いて、ベイジアンネットワークを利用してフレーム画像内の風景の識別を行う機能を有している。したがって、ベイジアンネットワーク確率推定型シーン識別メカニズム１２６は、ストリーマブル・ブリッジ１２５から渡された情報に基づいてシーンの推定動作を行い、あらかじめ設定された複数のシーンのうちのいずれであるかを示す確率によって表された推定結果の出力を行う。
【００４９】
また、ニューラルネットワークパターンマッチング型シーン識別メカニズム１２７は、補完されたフィルタに対応する画像領域や、フォーカスの重み付けされたフォーカス領域などに特に重点を置いて、ニューラルネットワークを利用してフレーム画像内の風景の識別を行う機能を有している。したがって、ニューラルネットワークパターンマッチング型シーン識別メカニズム１２７は、ストリーマブル・ブリッジ１２５から渡された情報に基づいてシーンの推定動作を行い、推定結果としてシーンを識別する識別情報（例えば、上述のメタ属性値）の出力を行う。
【００５０】
なお、この実施の形態では、識別メカニズムライブラリは、上記のベイジアンネットワーク確率推定型シーン識別メカニズム１２６及びニューラルネットワークパターンマッチング型シーン識別メカニズム１２７の２つについてのみ説明するが、その他の任意の識別メカニズムを利用することも可能である。また、識別メカニズムライブラリには、随時、任意の識別メカニズムの追加が可能であり、識別メカニズムライブラリは高い拡張性を有している。
【００５１】
以上、説明したように、本発明の実施の形態におけるシーン推定装置１００は、撮影カメラ１５０による撮影画像に基づいて、その撮影画像内の風景を抽出して識別することによって、移動体が置かれている状況で目視可能なシーンを推定し、その推定結果を出力することが可能である。
【００５２】
次に、図６を参照しながら、上述のシーン推定装置１００を利用した応用例について説明する。図６は、本発明の実施の形態におけるシーン推定装置を含む音声再生装置の一例の構成を示す図である。図６に図示されている音声再生装置６００は、シーン推定装置１００、鳥の声センサ６１０、森の音センサ６２０、川の音センサ６３０を含む環境音センサ６４０、香りセンサ６５０、大気成分濃度検出センサ６６０、ベイズ推定／制約論理装置６７０、音声発生装置６８０を有している。なお、音声再生装置６００内の構成要素のうち、少なくともシーン推定装置１００、環境音センサ６４０、香りセンサ６５０、大気成分濃度検出センサ６６０は、移動体と共に移動可能である。
【００５３】
図６に図示されているシーン推定装置１００は、上述のシーン推定装置１００と同一のものであり、撮影カメラ（図６には不図示）で撮影された撮影画像から、移動体が置かれている状況で目視可能なシーンを推定し、その推定結果を出力する。
【００５４】
また、環境音センサ６４０は、マイクロホン（不図示）などによって収集された外部環境の音声に基づいて、所定の音声を検出する機能を有している。鳥の声センサ６１０は、例えば鳥のさえずり声を検出する機能を有し、鳥の声を検出した場合にその旨を出力する機能を有している。また、森の音センサ６２０は、例えば木の葉の擦れる音を検出する機能を有し、木の葉の擦れる音を検出した場合にその旨を出力する機能を有している。また、川の音センサ６３０は、例えば川のせせらぎの音を検出する機能を有し、川のせせらぎの音を検出した場合にその旨を出力する機能を有している。
【００５５】
また、香りセンサ６５０は、外界の大気中の特定の香り（例えば、森の香り）を検出する機能を有し、所定の値以上の特定の香りを検出した場合にその旨を出力する機能を有している。また、大気成分濃度検出センサ６６０は、外界の大気中の各成分の濃度を分析し、特定の大気成分（例えば、Ｏ2、ＣＯ2、２ＯＨ−などの各成分）を検出する機能を有し、所定の値以上の大気成分を検出した場合にその旨を出力する機能を有している。
【００５６】
また、ベイズ推定／制約論理装置６７０は、例えばベイズ推定アルゴリズムや制約論理アルゴリズムなどの統計推論を利用して、シーン推定装置１００からのシーン推定結果や、各センサ６１０〜６６０からの検出結果を受けた情報から、移動体の位置する場所の外部環境（特に、外部の自然環境）や状況を推測し、その推測結果から、移動体が位置する場所や状況に適応した音声の決定及び再生指示を行う機能を有している。
【００５７】
また、音声発生装置６８０は、ベイズ推定／制約論理装置６７０から、移動体が位置する場所や状況に適応した音声の再生指示を受けて、その音声に対応するデータ（例えば、不図示の音声データ格納部にあらかじめ格納されているデータ）をスピーカを介して、移動体に対して報知する機能を有している。
【００５８】
なお、ベイズ推定／制約論理装置６７０は、例えばベイズ推定アルゴリズムや制約論理アルゴリズムなどの統計推論を利用して、シーン推定装置１００からのシーン推定結果や、各種センサ６１０〜６６０からの検出結果を受けた情報から、移動体の位置する場所の外部環境（特に、外部の自然環境）や状況を推測し、その推測結果から、移動体が位置する場所や状況に適応した音声の決定及び再生指示を行う機能を有している。
【００５９】
また、ベイズ推定／制約論理装置６７０及び音声発生装置６８０は、例えば、ベイズ推定アルゴリズムや制約論理アルゴリズムの実行機能がインストールされた汎用のＰＣ（Personal Computer：パーソナルコンピュータ）などによって実現可能である。
【００６０】
以上のように、図６に図示されている音声再生装置６００は、自然環境が発する様々な情報を受け、これらの情報に基づいて、移動体の現在の場所や状況に適応した音声の再生を行うことができるように構成されている。
【００６１】
以下、上述の図６に図示されている音声再生装置６００の動作について説明する。例えば、移動体が森の中を移動しているとき、シーン推定装置１００では撮影画像から森のシーンが推定され、シーン推定装置１００から音声再生装置６００に対して、『森』を示す推定結果（あるいは、『森』である確率が最も高いことを示す推定結果）が渡される。音声再生装置６００は、シーン推定装置１００から受けた『森』を示す推定結果に、各種センサ６１０〜６６０から受けた検出結果を更に加えて、移動体の位置する場所や状況を推測する。
【００６２】
そして、ベイズ推定／制約論理装置６７０における推測の結果、例えば、移動体が森に位置しているとともに、近くに川があって鳥がさえずっているなどの状況に応じて、移動体に係るユーザに適応した音声を発生する。なお、このような状況で発生させるにふさわしい音声としては、例えば、ユーザの脳内にα波を導出する楽曲などであり、これによって、ユーザは、体感している自然環境から受ける爽やかさに加えて、α波を導出する楽曲によって、さらに、爽快及びリラックスした気分になることが可能である。なお、移動体の場所や状況に適応した音声は、上記のα波を導出する楽曲に限定されるものではなく、本発明の目的を達成することが可能な範囲で、任意の音声を使用することが可能である。
【００６３】
また、図６に図示されている音声再生装置６００を利用して、シーンの話題化を行う（シーンに関する話題をしゃべる）インタフェースエージェントを実現することも可能である。このインタフェースエージェントでは、シーン推定装置１００で推定されたシーンに対して、ベイズ推定／制約論理装置６７０が、さらにユーザの嗜好性を加味して、ユーザの場所や状況に適応した話題を話題ライブラリ（ノウハウテンプレートの集合）から取捨選択してしゃべる動作（すなわち、ユーザの場所や状況に適応した話題に係る音声データの再生を行う動作）が行われる。インタフェースエージェントは、例えば、サーフィンが好きなユーザに対しては、海のシーンが推定された場合には、「最近、サーフィンしてますか？」などの話題を話しかけることができる。
【産業上の利用可能性】
【００６４】
本発明は、撮影カメラが搭載された移動体の移動に伴って、移動体から目視できるシーンを推定することができ、その推定結果を利用して、例えば、シーンに適した音声を発生するアプリケーションを始めとして、様々なアプリケーションを実現することができるという効果を有しており、画像認識技術や音声再生技術などの技術分野、さらには、ユーザに対して癒し効果を与えるための技術分野に適用可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態におけるシーン推定装置の構成の一例を示す図である。
【図２】本発明の実施の形態におけるシーン推定装置内のシーン画像抽出部の構成の一例を示す図である。
【図３】本発明の実施の形態におけるフィルタ生成処理の具体例を模式的に示す図である。
【図４】本発明の実施の形態におけるシーン推定装置内のシーン推定部の構成の一例を示す図である。
【図５Ａ】本発明の実施の形態におけるシーン推定部の高速移動時用フォーカスメカニズムで決定されるフォーカス領域の一例を示す図である。
【図５Ｂ】本発明の実施の形態におけるシーン推定部の低速移動時用フォーカスメカニズムで決定されるフォーカス領域の一例を示す図である。
【図６】本発明の実施の形態におけるシーン推定装置を含む音声再生装置の一例の構成を示す図である。
【符号の説明】
【００６６】
１００  シーン推定装置
１１０  シーン画像抽出部
１１１  フレーム画像間マージ画像生成部
１１２  障害物オブジェクト抽出部
１１３  フレーム画像間フィルタ生成部
１１４  フィルタ補完マージ画像生成部
１２０  シーン推定部
１２１  フォーカスメカニズム決定部
１２２、１２５  ストリーマブル・ブリッジ
１２３  高速移動時用フォーカスメカニズム
１２４  低速移動時用フォーカスメカニズム
１２６  ベイジアンネットワーク確率推定型シーン識別メカニズム
１２７  ニューラルネットワークパターンマッチング型シーン識別メカニズム
１５０  撮影カメラ
１６０  教師信号入力装置
６００  音声再生装置
６１０  鳥の声センサ
６２０  森の音センサ
６３０  川の音センサ
６４０  環境音センサ
６５０  香りセンサ
６６０  大気成分濃度検出センサ
６７０  ベイズ推定／制約論理装置
６８０  音声発生装置
【図１】
2006285422.tif 000003
【図２】
2006285422.tif 000004
【図３】
2006285422.tif 000005
【図４】
2006285422.tif 000006
【図５Ａ】
2006285422.tif 000007
【図５Ｂ】
2006285422.tif 000008
【図６】
2006285422.tif 000009