(57)【要約】【課題】手作業による領域の指定を前提とすることなく処理の対象とする領域の特定を可能にする。【解決手段】情報処理装置は、撮像された画像を構成する各画素に対応する深度の情報が集中して出現する範囲を抽出する抽出手段と、抽出された範囲に属する画素の少なくとも一部を、処理の対象とする領域を特定するための起点として設定する設定手段とを有する。【選択図】図３
2019159503.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像を構成する各画素に対応する深度の情報が集中して出現する範囲を抽出する抽出手段と、
抽出された前記範囲に属する画素の少なくとも一部を、処理の対象とする領域を特定するための起点として設定する設定手段と
を有する情報処理装置。
【請求項２】
前記抽出手段は、予め定めた条件を満たす深度の情報を前記範囲として抽出する、請求項１に記載の情報処理装置。
【請求項３】
前記条件は、分布の形状が予め定めた関数の形状に類似することである、請求項２に記載の情報処理装置。
【請求項４】
前記関数は、単峰性の関数である、請求項３に記載の情報処理装置。
【請求項５】
前記条件は、予め定めた閾値を超える度数が出現することである、請求項２に記載の情報処理装置。
【請求項６】
前記設定手段は、抽出された前記範囲の中でも画素の出現が集中する深度の画素を前記起点に設定する、請求項１に記載の情報処理装置。
【請求項７】
前記少なくとも一部の画素は、前記範囲の中で出現する画素の数が極大となる深度に対応する、請求項６に記載の情報処理装置。
【請求項８】
前記少なくとも一部の画素は、前記範囲の中央値に対して標準偏差の定数倍の範囲に含まれる深度に対応する、請求項６に記載の情報処理装置。
【請求項９】
前記画像は、深度の情報が対応付けられた画素を有する、請求項１に記載の情報処理装置。
【請求項１０】
各画素に対応する深度の情報は、複数の撮像手段の視差として与えられる、請求項９に記載の情報処理装置。
【請求項１１】
各画素に対応する深度の情報は、前記画像を撮像する際の測定値として与えられる、請求項９に記載の情報処理装置。
【請求項１２】
前記起点に設定された前記画素の値を使用して、前記画像を複数の領域に分割する、請求項１に記載の情報処理装置。
【請求項１３】
処理の対象とする前記領域は、予め定めた規則に基づいて選択的に特定される、請求項１に記載の情報処理装置。
【請求項１４】
予め定めた規則に従って、前記起点を通じて特定された領域の一部を処理の対象として選択する、請求項１３に記載の情報処理装置。
【請求項１５】
予め定めた前記規則は、前記画像の中央に近い領域を優先することである、請求項１４に記載の情報処理装置。
【請求項１６】
予め定めた前記規則は、ユーザの視線が集中する領域を優先することである、請求項１４に記載の情報処理装置。
【請求項１７】
前記規則に基づく選択は、前記起点を通じて特定された複数の領域の深度の違いが予め定めた範囲内である場合に実行される、請求項１４に記載の情報処理装置。
【請求項１８】
コンピュータを、
撮像された画像を構成する各画素に対応する深度の情報が集中して出現する範囲を抽出する抽出手段と、
抽出された前記範囲に属する画素の少なくとも一部を、処理の対象とする領域を特定するための起点として設定する設定手段
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
現在、撮影された画像に含まれる物体の像を画像解析により認識する技術が研究されている。例えば距離の情報を含むカラー画像の一部分が前景又は背景としてユーザが指定した場合に、指定されていない方の領域を画像の解析によって認識する技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０３９９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ユーザが画像毎に領域を指定する手法は、処理の対象とする画像の数が多い場合や実時間での処理が必要になる場合への応用が難しい。
【０００５】
本発明は、手作業による領域の指定を前提とすることなく処理の対象とする領域の特定を可能にする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、撮像された画像を構成する各画素に対応する深度の情報が集中して出現する範囲を抽出する抽出手段と、抽出された前記範囲に属する画素の少なくとも一部を、処理の対象とする領域を特定するための起点として設定する設定手段とを有する情報処理装置である。
請求項２に記載の発明は、前記抽出手段は、予め定めた条件を満たす深度の情報を前記範囲として抽出する、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記条件は、分布の形状が予め定めた関数の形状に類似することである、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記関数は、単峰性の関数である、請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記条件は、予め定めた閾値を超える度数が出現することである、請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記設定手段は、抽出された前記範囲の中でも画素の出現が集中する深度の画素を前記起点に設定する、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記少なくとも一部の画素は、前記範囲の中で出現する画素の数が極大となる深度に対応する、請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記少なくとも一部の画素は、前記範囲の中央値に対して標準偏差の定数倍の範囲に含まれる深度に対応する、請求項６に記載の情報処理装置である。
請求項９に記載の発明は、前記画像は、深度の情報が対応付けられた画素を有する、請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、各画素に対応する深度の情報は、複数の撮像手段の視差として与えられる、請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、各画素に対応する深度の情報は、前記画像を撮像する際の測定値として与えられる、請求項９に記載の情報処理装置である。
請求項１２に記載の発明は、前記起点に設定された前記画素の値を使用して、前記画像を複数の領域に分割する、請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、処理の対象とする前記領域は、予め定めた規則に基づいて選択的に特定される、請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、予め定めた規則に従って、前記起点を通じて特定された領域の一部を処理の対象として選択する、請求項１３に記載の情報処理装置である。
請求項１５に記載の発明は、予め定めた前記規則は、前記画像の中央に近い領域を優先することである、請求項１４に記載の情報処理装置である。
請求項１６に記載の発明は、予め定めた前記規則は、ユーザの視線が集中する領域を優先することである、請求項１４に記載の情報処理装置である。
請求項１７に記載の発明は、前記規則に基づく選択は、前記起点を通じて特定された複数の領域の深度の違いが予め定めた範囲内である場合に実行される、請求項１４に記載の情報処理装置である。
請求項１８に記載の発明は、コンピュータを、撮像された画像を構成する各画素に対応する深度の情報が集中して出現する範囲を抽出する抽出手段と、抽出された前記範囲に属する画素の少なくとも一部を、処理の対象とする領域を特定するための起点として設定する設定手段として機能させるプログラムである。
【発明の効果】
【０００７】
請求項１記載の発明によれば、手作業による領域の指定を前提とすることなく処理の対象とする領域を特定できる。
請求項２記載の発明によれば、処理の対象とする領域の候補の推定の精度を高めることができる。
請求項３記載の発明によれば、処理の対象とする領域の候補の推定の精度を高めることができる。
請求項４記載の発明によれば、処理の対象とする領域の候補の推定の精度を高めることができる。
請求項５記載の発明によれば、処理の対象とする領域の候補の推定の精度を高めることができる。
請求項６記載の発明によれば、処理の対象とする領域の候補の推定の精度を高めることができる。
請求項７記載の発明によれば、処理の対象とする領域の候補の推定の精度を高めることができる。
請求項８記載の発明によれば、処理の対象とする領域の候補の推定の精度を高めることができる。
請求項９記載の発明によれば、画像の数が多い場合や実時間での処理が要求される場合にも対応できる。
請求項１０記載の発明によれば、像の数が多い場合や実時間での処理が要求される場合にも対応できる。
請求項１１記載の発明によれば、像の数が多い場合や実時間での処理が要求される場合にも対応できる。
請求項１２記載の発明によれば、処理の対象とする領域の候補を計算により推定できる。
請求項１３記載の発明によれば、手動で領域を指定できない場合でも処理の対象とする領域の候補を効率的に推定できる。
請求項１４記載の発明によれば、予め規則を定めておけば、特別な操作を必要とせずに処理の対象とする領域を選択できる。
請求項１５記載の発明によれば、予め規則を定めておけば、特別な操作を必要とせずに処理の対象とする領域を選択できる。
請求項１６記載の発明によれば、予め規則を定めておけば、特別な操作を必要とせずに処理の対象とする領域を選択できる。
請求項１７記載の発明によれば、予め規則を定めておけば、特別な操作を必要とせずに処理の対象とする領域を選択できる。
請求項１８記載の発明によれば、手作業による領域の指定を前提とすることなく処理の対象とする領域の特定を可能にできる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１における使用の形態の例を説明する図である。
【図２】実施の形態１における情報処理装置のハードウェア構成の一例を説明する図である。
【図３】実施の形態１における情報処理装置の機能構成の一例を説明する図である。
【図４】被写体と深度の情報の関係を説明する図である。（Ａ）はワイングラスの各部と深度の関係を示し、（Ｂ）はワイングラスについてのヒストグラムを示す。
【図５】１つの画像について生成されたヒストグラムの一例を説明する図である。
【図６】確率密度関数の波形とクラスタリング後のヒストグラムを説明する図である。（Ａ）は確率密度関数の波形を示し、（Ｂ）はクラスタリング後のヒストグラムを示す。
【図７】代表画素（シード）として設定する画素を選択する方法の一例を示す図である。（Ａ）はクラスタリング後のヒストグラムの例を示し、（Ｂ）は選択に用いる手法の例を示す。
【図８】代表画素（シード）として設定する画素を選択する方法の他の例を示す図である。
【図９】クラスタと代表画素（シード）の関係を説明する図である。（Ａ）はクラスタの分布を示し、（Ｂ）は代表画素（シード）の画像へのマッピング例を示す。
【図１０】領域分割部による処理の前後の関係を説明する図である。（Ａ）は代表画素（シード）がマッピングされた直後の状態を示し、（Ｂ）は領域の分割が終了した時点の状態を示す。
【図１１】特定された領域の一例を説明する図である。
【図１２】画像処理によって画面の中央に近いワイングラス内のワインの色が変更される様子を説明する図である。（Ａ）は変更前の画像の例を示し、（Ｂ）は変更後の画像の例を示す。
【図１３】情報処理装置が実行する処理動作を説明するフローチャートである。
【図１４】実施の形態２における情報処理装置のハードウェア構成の一例を説明する図である。
【図１５】実施の形態２における情報処理装置の機能構成の一例を説明する図である。
【図１６】深度情報取得部で実行される機能上の構成を説明する図である。
【図１７】実施の形態３における使用の形態の例を説明する図である。
【図１８】実施の形態３における情報処理装置のハードウェア構成の一例を説明する図である。
【図１９】フィルタ付きカメラのレンズの開口部に装着されるフィルタの構造例を示す図である。
【図２０】実施の形態３における情報処理装置の機能構成の一例を説明する図である。
【図２１】実施の形態４における使用の形態の例を説明する図である。
【図２２】情報処理装置の基本構成を説明する図である。
【図２３】実施の形態４における情報処理装置の機能構成の一例を説明する図である。
【図２４】実施の形態４における情報処理装置の機能構成の他の例を説明する図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜使用の形態＞
図１は、実施の形態１における使用の形態の例を説明する図である。
図１では、現実の空間に実在する物体（卓１０、ワイングラス１１、１２、皿１３、ごみ箱１４）を、カメラ機能付きの情報処理装置２０で撮像する場面を表している。なお、卓１０の奥には壁があり、卓１０は床面の上に置かれている。
図１では、情報処理装置２０が、いわゆるスマートフォンの場合を表している。もっとも、情報処理装置２０は、いわゆるデジタルカメラやビデオカメラでもよい。
【００１０】
本実施の形態の場合、情報処理装置２０は、現実の空間に実在する物体を、静止画像又は動画像の形式で撮像する。現実の空間を撮像して得られる静止画像等の各画素には、特定の領域への帰属を示す情報は含まれていない。換言すると、情報処理装置２０が扱う静止画像等はオブジェクトの情報を含んでいない。
ここで、オブジェクトとは、コンピュータが構築する仮想の空間で定義された取り扱いの単位をいい、ピクセルの集合体、ポリゴンの集合体、又はボクセルの集合体として与えられる。
【００１１】
＜装置構成＞
図２は、実施の形態１における情報処理装置２０のハードウェア構成の一例を説明する図である。
情報処理装置２０は、データを処理する処理回路部２００と、プログラムやデータを記憶する不揮発性のメモリ２１１と、オーディオ信号を入出力するオーディオ回路２１２と、画像を表示する液晶ディスプレイ（ＬＣＤ）２１３と、電源制御デバイス２１４と、現実の空間に実在する物体の画像を撮像するカメラ２１５と、カメラ２１５の前方に実在する物体までの距離を測定する距離センサ２１６と、ユーザの操作を検知するタッチパネル２１７と、ＷｉＦｉ（登録商標）規格に準拠する無線信号を送受信するＷｉＦｉ（Wireless Fidelity）モジュール２１８と、近距離無線通信規格の１つであるブルートゥース（登録商標）規格に準拠する無線信号を送受信するBluetoothモジュール２１９とを有している。
【００１２】
本実施の形態の場合、距離センサ２１６には、例えば光学式センサや超音波式センサが用いられる。光学式センサには、例えば赤外線を発光する赤外線ＬＥＤ（Light Emitting Diode）と、赤外線に反応するフォトトランジスタとで構成される赤外線センサがある。なお、距離センサ２１６は、光源から発した光が対象物で反射してセンサに届くまでの光の飛行時間（時間差）を画毎に測定することにより対象物までの距離を求めるＴＯＦ（Time Of Flight）方式のセンサでもよい。
【００１３】
なお、本実施の形態における処理回路部２００には、メモリ２１１との間でデータの読み書きを制御するメモリ制御部２０１と、処理を実行する複数のＣＰＵコア（Ｃｏｒｅ）２０２と、電源の供給を管理する電源管理部２０３と、組み込みシステムの動作を管理するシステム管理部２０４と、オーディオ信号を処理するオーディオ処理部２０５と、実時間で画像を処理するＧＰＵ（Graphics Processing Unit）２０６と、液晶ディスプレイ２１３に画像を表示するディスプレイ制御部２０７と、外部のモジュールとの接続に使用される外部インタフェース（Ｉ／Ｆ）２０８と、ベースバンド信号を処理するベースバンド回路２０９とが設けられている。
【００１４】
＜機能構成＞
図３は、実施の形態１における情報処理装置２０の機能構成の一例を説明する図である。
図３に示す機能上の構成は、ＣＰＵコア２０２によるプログラムの実行を通じて実現される。
機能の観点からみた情報処理装置２０は、カメラ２１５から画像データを取得する画像情報取得部２２１と、距離センサ２１６から距離センサと被写体との奥行き方向の距離を示す深度の情報を取得する深度情報取得部２２２と、深度別に出現する画素の個数（度数）を集計してヒストグラムを生成する深度ヒストグラム生成部２２３と、奥行き方向の深度が近似する画素の集合を塊（クラスタ）として抽出する深度クラスタリング実行部２２４と、クラスタに属する画素の座標を画面内の代表画素（シード）を与えるシード座標として設定するシード座標設定部２２５と、シード座標の画素を起点として画素値が類似する周囲の画素の統合を繰り返して画像を複数の領域に分割する領域分割部２２６と、分割後の領域のうち処理の対象とする領域を特定する対象領域特定部２２７と、特定された領域の画像に予め定めた処理を加える画像処理部２２８とを有している。
【００１５】
ここで、画像情報取得部２２１は、静止画像又は動画像に対応する画像データについて、１画面を構成する各画素の画素値（例えばＲＧＢ値）を取得する。なお、画像データは、カラー画像として与えられてもグレースケール画像として与えられても構わない。なお、ここでの画像データには、深度の情報が対応付けられている。
深度情報取得部２２２は、画像の撮像と同時に距離センサ２１６から深度の情報を取得する。
【００１６】
図４は、被写体と深度の情報の関係を説明する図である。（Ａ）はワイングラス１１の各部と深度の関係を示し、（Ｂ）はワイングラス１１についてのヒストグラムを示す。
図４の場合、ワイングラス１１の持ち手（ステム）の深度は１０５センチメートルであり、ワインが満たされる胴（ボウル）のうち手前側の深度は１００センチメートルであり、飲み口（リップ又はリム）のうち奥側の深度は１１０センチメートルである。つまり、図４に示すワイングラス１１の胴部は直径１０センチメートルの放物面を有している。この例の場合、持ち手までの距離にあたる１０５センチメートルの付近に深度の集中が認められる。
現実の空間では、ワイングラス１１の周囲に他の物体が存在する（図１参照）。このため、ワイングラス１１を取り囲む画素には、他の物体までの深度が割り当てられる。
【００１７】
１つの物体を構成する面は連続しているため、物体に対応する画素の深度は、特定の深度を中心に広がるように出現する。
もっとも、被写体となる物体の形状は任意であるので（ワイングラスのように回転対称とは限らず、表面に凹凸や不規則な形状を有する場合もあるので）、深度の分布は理想的な確率密度分布になるとは限らない。ただし、１つの物体に対応する深度の分布は、基本的には山形に現れ易い。
図３の説明に戻る。
【００１８】
深度ヒストグラム生成部２２３は、取得された深度の情報に基づいてヒストグラムを生成する。本実施の形態におけるヒストグラムは、１つの画像を構成する各画素について取得された深度の値の分布を表している。
図５は、１つの画像について生成されたヒストグラムの一例を説明する図である。図中、横軸は深度であり、縦軸は度数である。なお、横軸の単位はセンチメートルである。
図５の場合、山形の波形に対して出現する順番に数字を付して示している。
深度ヒストグラム生成部２２３が生成したヒストグラムには、雑音成分（ノイズ）も含まれている。図５の例では、６番目の波形が雑音成分に対応する。
なお、撮像する地点の近くから遠方まで広がる地面や道に対応する画素の深度は、山形の波形ではなく、平坦な形状になり易い。また、壁に対応する画素の深度は、前景を構成する他の物体に対応する画素の深度よりも奥側に出現される。
図３の説明に戻る。
【００１９】
深度クラスタリング実行部２２４は、予め定めた条件を満たす深度をクラスタとして特定する。例えば深度クラスタリング実行部２２４は、予め定めた関数の形状に類似する分布が出現する深度の範囲をクラスタとして特定する。また例えば深度クラスタリング実行部２２４は、予め定めた閾値を超える度数が出現する深度の範囲をクラスタとして特定する。
クラスタリングに使用する関数を基底関数という。本実施の形態では、基底関数として確率密度関数を使用する。確率密度関数は、単峰性を有し、かつ、３σ（標準偏差）以上の度数がほぼ０（ゼロ）になる特徴を有している。
本実施の形態では、基底関数として確率密度関数を用いているが、他の関数を用いても構わない。また、複数の確率密度関数を用意し、撮像時の環境、場面、被写体等に応じて使用する既定関数を切り替えてもよい。
【００２０】
図６は、確率密度関数の波形とクラスタリング後のヒストグラムを説明する図である。（Ａ）は確率密度関数の波形を示し、（Ｂ）はクラスタリング後のヒストグラムを示す。なお、基底関数には離散型の関数には、例えば正規分布がある。
図６の場合、クラスタリングの処理により、図５においては６番目に出現していた波形が除かれている。結果として、クラスタリング後のヒストグラムには、６つの山形の波形が残されている。
なお、個々の山形の波形は、現実の空間に実在する１つの物体に対応するとは限らない。個々の物体に対応する深度の分布は前述したように山形の波形になり易いが（図４参照）、１つの画面内には深度の分布が重なる複数の物体が実在する可能性もある。このため、１つのクラスタに属する画素が１つの物体に対応するとは限らない。勿論、１つのクラスタに属する画素が１つの物体に対応する場合もある。
ここでの深度ヒストグラム生成部２２３と深度クラスタリング実行部２２４は、抽出手段の一例である。
図３の説明に戻る。
【００２１】
シード座標設定部２２５は、クラスタに属する画素の全部又は一部の座標をシード座標として設定する。本実施の形態では、クラスタに属する画素の一部を画面内の代表画素（シード）として使用する。ここでのシード座標設定部２２５は、設定手段の一例である。
図７は、代表画素（シード）として設定する画素を選択する方法の一例を示す図である。（Ａ）はクラスタリング後のヒストグラムの例を示し、（Ｂ）は選択に用いる手法の例を示す。
図７では、ヒストグラムの５番目に出現するクラスタから代表画素（シード）を選択する方法の例を３つ表している。図７では、対応するクラスタを破線で囲んで示している。
【００２２】
例１は、クラスタに属する画素の全てを代表画素（シード）に選択する場合である。この手法は、代表画素（シード）に用いる画素の数を最も多くできる。一方で、別の物体に属する画素の情報も含まれ易くなる。
例２は、頻度が極大となる深度に対応する画素を代表画素（シード）に選択する場合である。この手法は、現実の空間でも単一の物体に属する画素である可能性が高い。一方で、代表画素（シード）を構成する画素の数が少なくなるため、代表画素（シード）を構成する画素で規定される領域を拡張する演算の負担が大きくなる。
例３は、頻度が最大となる深度（クラスタに対応する深度の中央値）に対して分布が標準偏差σの範囲に含まれる画素を代表画素（シード）に選択する場合である。この手法は、代表画素（シード）を構成する画素の数が多いだけでなく、現実の空間において単一の物体に属する画素である可能性も高い。なお、代表画素（シード）として選択する範囲は、標準偏差σに乗ずる定数の大きさの変更により調整が可能である。
【００２３】
図８は、代表画素（シード）として設定する画素を選択する方法の他の例を示す図である。
図８では、予め定めた閾値ＴＨを超える度数を有する深度の範囲を代表画素（シード）に選択している。
図８に示す例４では、出現する度数が少ない３番目のクラスタが代表画素（シード）から除かれている。なお、閾値ＴＨを複数用意し、選択的に適用できるようにしてもよい。また、クラスタ毎に閾値ＴＨを変更してもよい。例えば個々のクラスタの極大値の大きさに応じて閾値ＴＨを選択してもよい。
【００２４】
なお、代表画素（シード）の選択に例２（図７参照）や例４（図８参照）を用いる場合には、ヒストグラムの生成やクラスタリングを実行しなくても、対象とする画素を選択することが可能である。すなわち、深度ヒストグラム生成部２２３（図３参照）や深度クラスタリング実行部２２４（図３参照）を用いなくても、代表画素（シード）を与える画素の選択が可能である。
ただし、この手法だけでは、ヒストグラムに対するクラスタリングとは異なり、雑音成分に対応する深度の集中に対応する画素が代表画素（シード）として選択される可能性がある。
【００２５】
図９は、クラスタと代表画素（シード）の関係を説明する図である。（Ａ）はクラスタの分布を示し、（Ｂ）は代表画素（シード）の画像へのマッピング例を示す。
１つのクラスタに対応する代表画素（シード）は、多くの場合、実在する１つの物体の奥行きの方向の位置の違いを表している。このため、代表画素（シード）は、画像内に塊として出現する傾向が認められる。
図３の説明に戻る。
【００２６】
領域分割部２２６は、既知の手法を使用して個々の代表画素（シード）で規定される領域と関連が認められた周囲の画素を統合し、画像を複数の領域に分割する処理を実行する。領域分割部２２６では、例えばグラフカット（Ｇｒａｐｈ−Ｃｕｔ）法、グローカット（Ｇｒｏｗ−Ｃｕｔ）法、セルラーカット（Ｃｅｌｌｕｌａｒ−Ｃｕｔ）法などが使用される。
グラフカット法は、代表画素（シード）の画素に類似する色を持つ隣接する画素を結合しながら領域を拡大し、隣接する画素の色の差が大きい部分に領域の境界を設定する手法である。
グローカット法は、隣接する画素の画素値の差に基づいて全ての画素をいずれかの領域に割り付ける手法である。
セルラーカット法は、画面の全画素を細胞（Ｃｅｌｌ）と見立て、起点となる画素と周辺の画素とを色特性の近さに応じた重みで関係付け、乗算された重みを周辺に伝搬させることで領域に属する画素を決定する手法である。
【００２７】
図１０は、領域分割部２２６による処理の前後の関係を説明する図である。（Ａ）は代表画素（シード）がマッピングされた直後の状態（図９参照）を示し、（Ｂ）は領域の分割が終了した時点の状態を示す。
図１０では、画面が、壁や床面に対応する背景に対応する領域、卓１０に対応する領域、ワイングラス１１に対応する領域、ワイングラス１２に対応する領域、皿１３に対応する領域、ごみ箱１４に対応する領域の６つに分割されている。
図３の説明に戻る。
【００２８】
対象領域特定部２２７は、処理の対象とする領域を、予め定めた規則に基づいて分割された領域の中から選択的に特定する。
選択的に特定する領域の数は１つに限る必要はない。規則に基づいて分割された領域間に順位が付けられる場合、上位の領域から予め指定した個数の領域を選択してもよい。
もっとも、全ての領域を処理の対象として特定してもよい。
なお、特定する個数の数は、処理の目的により異なってもよい。
【００２９】
ここで、領域の特定に使用する規則は、処理の内容に応じて選択されることが望ましい。なお、使用する規則は１つでも複数でもよい。
また、規則に基づいた選択は、複数の領域の深度の違いが予め定めた範囲内である場合（複数の領域の深度がほぼ等しい場合）に限りに実行してもよい。
【００３０】
ここでの規則の１つには、例えば画面内の中央に近い領域の優先がある。情報処理装置２０で像を撮像する場合には、ユーザが注目している領域が画面の中央に位置することが多いためである。
他の規則には、ユーザの視線が集中する領域の優先がある。この規則の利用には、ユーザの視線の方向を検知するセンサが情報処理装置２０に内蔵されていることが前提となる。視線の方向は、ユーザが注目している領域とみなしてよいためである。
【００３１】
他の規則には、例えば画面内における面積が大きい領域の優先がある。ただし、背景に対応する領域の面積が大きくなりやすいため、面積の大きさが２番目以降の領域を優先してもよいし、優先する面積の大きさに制限を加えてもよい。なお、面積が小さい領域を優先する規則があってもよい。
他の規則には、タッチパネル２１７（図２参照）で検知された座標を含む領域を優先してもよい。タッチパネル２１７で指定された部分はユーザが注目している領域であるためである。ここでのタッチ操作は、代表画素（シード）の特定とは異なる操作である。
【００３２】
図１１は、特定された領域の一例を説明する図である。
図１１では、現実の空間に実在する物体に対応する像を、卓の像１０Ａ、ワイングラスの像１１Ａ、１２Ａ、皿の像１３Ａ、ごみ箱の像１４Ａとして表している。
また、図１１では、特定された状態を表現するため、対象領域特定部２２７（図３参照）によって特定された領域を矩形の破線で囲んで示している。図１１の例では、卓の像１０Ａに載せられているワイングラスの像１１Ａ、１２Ａと皿の像１３Ａが処理の対象である。
図３の説明に戻る。
【００３３】
画像処理部２２８では、特定された領域の印象や質感を変更する処理等が実行される。ここでの処理は、例えば領域内の色分布、領域の境界、領域の表面の変更を組み合わせて実行される。本実施の形態では、これらの処理を画像処理という。もっとも、図３に示す他の機能部の処理も画像処理の一形態である。
図１２は、画像処理によって画面の中央に近いワイングラス内のワインの色が変更される様子を説明する図である。（Ａ）は変更前の画面の例を示し、（Ｂ）は変更後の画面の例を示す。
なお、画像処理部２２８は、画像処理の結果を、液晶ディスプレイ２１３（図２参照）に出力する。
【００３４】
＜処理動作＞
ここでは、情報処理装置２０（図１参照）の処理動作について説明する。
図１３は、情報処理装置２０が実行する処理動作を説明するフローチャートである。
情報処理装置２０は、撮像の開始が不図示の操作を通じてユーザから与えられることで、図１３に示す処理を開始する。
まず、情報処理装置２０は、画像の撮像と同時に、画素毎の深度の情報を取得する（ステップ１０１）。なお、図中のＳは、ステップの略称である。
【００３５】
次に、情報処理装置２０は、深度毎の度数を集計する（ステップ１０２）。本実施の形態では、集計後にヒストグラムが生成される。
続いて、情報処理装置２０は、クラスタリングを実行し、雑音成分等を除外する（ステップ１０３）。本実施の形態では、度数の出現が確率密度分布に類似する深度が特定される。このクラスタリングにより、道などの奥行きをもつ平面が、抽出の対象から除外される。また、クラスタの数が分割後の領域の数を規定するため、３つ以上の領域への分割も可能になる。
情報処理装置２０は、個々のクラスタに対応する画素の座標を、画像を複数の領域に分割する処理の起点（すなわち、シード座標）に設定する（ステップ１０４）。予め定めた規則に従ってクラスタ毎に起点を設定できるので、手動による起点の指定が不要になる。
【００３６】
次に、情報処理装置２０は、シードの画素値を用いて画像を複数の領域に分割する（ステップ１０５）。ここで、画素値（すなわち画像）の解像度は、距離センサ２１６（図２参照）により取得される深度の解像度よりも高い。このため、深度の情報だけを用いて領域を分割する場合に比して分割の精度を高めることが可能になる。また、画素値の情報を用いることで、未定義の物体に対応する領域にも対応することができる。なお、本実施の形態による領域の分割の結果は、手動によってシード座標を与えた場合（グラフカット法、グローカット法、セルラーカット法等）と同等である。
続いて、情報処理装置２０は、規則に基づいて分割後の領域の一部を処理の対象として特定する（ステップ１０６）。
この後、情報処理装置２０は、予め定めた画像処理を実行し、画面の表示に反映する（ステップ１０７）。
【００３７】
＜実施の形態２＞
本実施の形態では、いわゆるステレオカメラ方式を用いて深度の情報を取得する場合について説明する。
ステレオカメラ方式とは、現実の空間に実在する物体を２台のカメラで同時に撮像した２枚の画像（ステレオ画像）から画像中の各画素の深度を取得する方式をいう。
図１４は、実施の形態２における情報処理装置２０Ａのハードウェア構成の一例を説明する図である。図１４には、図２との対応部分に対応する符号を付して示している。
図１４に示す情報処理装置２０Ａが情報処理装置２０（図１参照）と異なる点は、２台のカメラ２１５Ｒ及び２１５Ｌを使用し、距離センサ２１６（図２参照）を使用しない点である。
【００３８】
図１５は、実施の形態２における情報処理装置２０Ａの機能構成の一例を説明する図である。図１５には、図３との対応部分に対応する符号を付して示している。
本実施の形態における情報処理装置２０Ａの場合、２台のカメラ２１５Ｒ及び２１５Ｌのうちの一方から出力される画像データが画像情報取得部２２１に与えられる。図１５の例では、カメラ２１５Ｒから出力される画像データを画像情報取得部２２１に与えられている。
また、深度情報取得部２２２Ａには、２台のカメラ２１５Ｒ及び２１５Ｌの両方から画像データが与えられている。
【００３９】
図１６は、深度情報取得部２２２Ａで実行される機能上の構成を説明する図である。
ここでの深度情報取得部２２２Ａは、原画像を平均化して平均化画像を生成する処理（例えば３×３画素毎に画素値を平均化する処理）と、原画像と平均化画像との差分を原画像に上乗せすることにより変化分を強調する鮮鋭化処理とを実行する平滑化／鮮鋭化部２５０と、処理後の画像を比較して各領域の視差を深度として推定する深度推定部２５１とを有している。
本実施の形態では、深度推定部２５１で推定された深度の情報を深度ヒストグラム２２３に与えている。
他の構成及び動作は、実施の形態１における情報処理装置２０（図１参照）と共通である。
【００４０】
＜実施の形態３＞
本実施の形態では、いわゆる１台のカメラを用いて深度の情報を取得する場合について説明する。
図１７は、実施の形態３における使用の形態の例を説明する図である。
図１７には、図１との対応部分に対応する符号を付して示している。
本実施の形態で使用する情報処理装置２０Ｂは、現実の空間と仮想の空間とを合成した情報（いわゆる拡張現実や複合現実）をユーザに知覚させることが可能な装置である。
図１７に示す情報処理装置２０Ｂは、いわゆるスマートグラスの場合である。スマートグラスは、メガネを装着する要領で頭部に装着して使用するウェアラブルデバイスの一種である。
図１７に示すスマートグラスは、現実の空間に実在する物体を直接的に視認可能な透過型のディスプレイを表している。図１７に示すスマートグラスは単眼型であるが、両眼型であってもよい。また、ユーザの視界を外部から遮断する非透過型のディスプレイでもよい。
【００４１】
図１８は、実施の形態３における情報処理装置２０Ｂのハードウェア構成の一例を説明する図である。図１８には、図２との対応部分に対応する符号を付して示している。
図１８に示す情報処理装置２０Ｂが情報処理装置２０（図１参照）と異なる点は、網膜走査ディスプレイ２１３Ｂを使用し、液晶ディスプレイ２１３（図２参照）を使用しない点と、フィルタ付きカメラ２１５Ｂを使用し、距離センサ２１６（図２参照）を使用しない点である。
ここでの網膜走査ディスプレイ２１３Ｂは、人の網膜に直接光を当てて映像を映す方式のディスプレイである。
【００４２】
フィルタ付きカメラ２１５Ｂは、単眼の可視光カメラで撮像した１枚の画像から、カラー画像と深度に関する情報とを同時に出力する方式の撮像手段である。この種の技術には、例えば東芝が開発した「カラー開口撮像技術」がある。
図１９は、フィルタ付きカメラ２１５Ｂのレンズの開口部に装着されるフィルタ２７０の構造例を示す図である。フィルタ２７０の半分は水色のカラーフィルタ２７１であり、残りの半分は黄色のカラーフィルタ２７２である。この構造のフィルタ２７０を装着して画像を撮像すると、焦点の位置に対して手前側か奥側かでボケと色ズレの関係が反転する。具体的には、赤、青、緑の３色の光が合わさって発生する左右に非対称の色ズレ（色毎に異なるボケの形状）が、焦点の位置に対して手前側か奥側かで反転する。当然ながら、焦点の位置ではボケや色ズレは生じない。
【００４３】
図２０は、実施の形態３における情報処理装置２０Ｂの機能構成の一例を説明する図である。図２０には、図３との対応部分に対応する符号を付して示している。
本実施の形態における情報処理装置２０Ｂの場合、フィルタ付きカメラ２１５Ｂから出力される画像データが画像情報取得部２２１と深度情報取得部２２２Ｂに与えられる。
深度情報取得部２２２Ｂは、色毎に非対称なボケの形状を解析することで深度の情報を取得する前述したボケと色ズレを画像処理にて補正し、画素毎に深度の情報を取得する。
他の構成及び動作は、実施の形態１における情報処理装置２０（図１参照）と共通である。
【００４４】
＜実施の形態４＞
本実施の形態では、画像の撮像手段や画像データの蓄積手段と、画像を処理する情報処理装置とがネットワークを通じて接続されている場合について説明する。
図２１は、実施の形態４における使用の形態の例を説明する図である。
図２１に示す情報処理システム３００は、ネットワーク３０１に対して、現実の空間を撮像するカメラ３０２と、撮像された画像データが蓄積されるファイルサーバ３０３及び３０４と、人手による操作無しに画像処理の対象とする領域を特定する情報処理装置３０５及び３０６を有している。
ネットワーク３０１は、ＬＡＮ（Local Area Network）でも、インターネットでも、クラウドネットワークでもよい。また、ネットワーク３０１は、無線接続でも有線接続でもよい。
【００４５】
カメラ３０２は、前述したスマートフォンやスマートグラスに搭載されている撮像素子の場合もあれば、独立した撮像装置の場合もある。独立した撮像装置には、例えば業務用のカメラや家庭用のカメラがある。また、業務用のカメラには、セキュリティーカメラが含まれる。
本実施の形態の場合、ファイルサーバ３０３は、深度情報を有する画像データの蓄積用であり、ファイルサーバ３０４は、深度情報を有していない画像データの蓄積用である。
本実施の形態の場合、情報処理装置３０５は、据え置き型のコンピュータであり、情報処理装置３０６は、携帯型のコンピュータである。
【００４６】
図２２は、情報処理装置３０５及び３０６の基本構成を説明する図である。ここでは、情報処理装置３０５について説明する。
情報処理装置３０５は、装置本体３１１に入力装置３１６と補助記憶装置３１７と出力装置３１８を接続した構成を有している。
装置本体３１１は、中央処理装置３１２と主記憶装置３１５とで構成され、中央処理装置３１２は、各部の動作を制御する制御装置３１３とデータを処理する演算装置３１４とを有している。
主記憶装置３１５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）で構成され、データやプログラムが記憶されている。プログラムには、基本ソフトウェアやアプリケーションプログラムが含まれる。
入力装置３１６は、マウス、キーボード、タッチパネル等である。
補助記憶装置３１７は、ハードディスク、光学式記憶媒体、半導体記憶媒体等である。
出力装置３１８は、ディスプレイ、印刷装置等である。
【００４７】
図２３は、実施の形態４における情報処理装置３０５及び３０６の機能構成の一例を説明する図である。図２３には、図３との対応部分に対応する符号を付して示している。
図２３に示す機能構成は、深度情報を有する画像データが蓄積されているファイルサーバ３０３から画像データと対応する深度情報とがダウンロードされる場合に対応する。
図２３の場合、画像情報取得部２２１が、ファイルサーバ３０３からダウンロードされるデータの中から画像データを取得し、深度情報取得部２２２Ｃが、ファイルサーバ３０３からダウンロードされるデータの中から深度の情報を取得する。
なお、カメラ３０２から深度の情報も出力される場合には、カメラ３０２の出力を、画像情報取得部２２１と深度情報取得部２２２Ｂに与えればよい。
【００４８】
図２４は、実施の形態４における情報処理装置３０５及び３０６の機能構成の他の例を説明する図である。図２４には、図３との対応部分に対応する符号を付して示している。
図２４に示す機能構成は、深度情報を有していない画像データが蓄積されているファイルサーバ３０４から画像データと対応する深度情報とがダウンロードされる場合に対応する。
図２４の場合、画像情報取得部２２１と深度情報取得部２２２Ｄの両方が、ファイルサーバ３０４から同じ画像データをダウンロードする。
ここでの深度情報取得部２２２Ｄは、例えば人工知能（ＡＩ）を活用したデータ解析等を実行し、可視光カメラで撮像された画像内の各領域までの深度を取得する。
なお、画像データが、フィルタ付きカメラ２１５Ｂ（図１８参照）で撮像された画像データである場合には、深度情報取得部２２２Ｄとして深度情報取得部２２２Ｂ（図２０参照）を使用すればよい。
【００４９】
＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、深度別に集計した度数の分布に基づいてヒストグラムを生成しているが、ヒストグラムの生成は必須ではない。深度別に集計された度数の分布を処理して、出現数が多い（集中して出現する）深度の範囲をクラスタとして抽出してもよい。この処理を実行する機能部は、抽出手段の一例である。
前述の実施の形態においては、シード座標設定部２２５がクラスタに属する画素のうちシードとして使用する画素を抽出しているが、深度クラスタリング実行部２２４がクラスタを構成する画素の情報を出力する際に予め定めた規則に基づいて一部の画素を抽出する処理を実行してもよい。この場合、深度クラスタリング実行部２２４が抽出手段の一例となる。
【符号の説明】
【００５０】
２０、２０Ａ、２０Ｂ…情報処理装置、２２１…画像情報取得部、２２２、２２２Ａ、２２２Ｂ、２２２Ｃ、２２２Ｄ…深度情報取得部、２２３…深度ヒストグラム生成部、２２４…深度クラスタリング実行部、２２５…シード座標設定部、２２６…領域分割部、２２７…対象領域特定部、２２８…画像処理部、２５０…平滑化／鮮鋭化部、２５１…深度推定部
【図１】
2019159503.tif 000003
【図２】
2019159503.tif 000004
【図３】
2019159503.tif 000005
【図４】
2019159503.tif 000006
【図５】
2019159503.tif 000007
【図６】
2019159503.tif 000008
【図７】
2019159503.tif 000009
【図８】
2019159503.tif 000010
【図９】
2019159503.tif 000011
【図１０】
2019159503.tif 000012
【図１１】
2019159503.tif 000013
【図１２】
2019159503.tif 000014
【図１３】
2019159503.tif 000015
【図１４】
2019159503.tif 000016
【図１５】
2019159503.tif 000017
【図１６】
2019159503.tif 000018
【図１７】
2019159503.tif 000019
【図１８】
2019159503.tif 000020
【図１９】
2019159503.tif 000021
【図２０】
2019159503.tif 000022
【図２１】
2019159503.tif 000023
【図２２】
2019159503.tif 000024
【図２３】
2019159503.tif 000025
【図２４】
2019159503.tif 000026