(57)【要約】【課題】画像の検索やソートを十分な判定精度で実行することが可能な立体画像検索装置を提供する。【解決手段】立体画像検索装置１００は、立体画像を現す立体画像データを入力データとして受ける入力部１０４と、立体画像を構成する画素に対する視差値を入力データより抽出する画像ファイル解析部１０６と、視差値の平均値により視差平均値を算出する視差情報データ解析部１０８と、視差平均値を使用して、立体画像の検索およびソートを行う検索処理部１０９およびソート処理部１１０とを備える。【選択図】図１
2012256970.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を現す立体画像データを入力データとして受ける入力手段と、
前記立体画像を構成する画素に対する視差値を前記入力データより抽出する画像解析手段と、
前記視差値の平均値により視差平均値を算出する視差解析手段と、
前記視差平均値を使用して、ユーザーからの入力条件に応じて、前記立体画像の検索およびソートを行う検索ソート手段とを備える、立体画像検索装置。
【請求項２】
前記画像解析手段は、前記立体画像データに付随して入力された当該立体画像に対する視差情報データから、前記視差値を抽出する、請求項１記載の立体画像検索装置。
【請求項３】
前記画像解析手段は、前記立体画像データから前記視差値を生成する視差情報抽出手段を含む、請求項１記載の立体画像検索装置。
【請求項４】
前記検索ソート手段は、前記ユーザーからの前記入力条件がない場合、予め規定された条件を用いて、前記視差平均値から検索およびソートを行う、請求項２または３記載の立体画像検索装置。
【請求項５】
前記視差解析手段は、所定の単位の画素ごとに前記視差値の総和をとって平均を算出する、請求項４記載の立体画像検索装置。
【請求項６】
立体画像を現す立体画像データを入力データとして受けるステップと、
前記立体画像を構成する画素に対する視差値を前記入力データより抽出するステップと、
前記視差値の平均値により視差平均値を算出するステップと、
前記視差平均値を使用して、ユーザーからの入力条件に応じて、前記立体画像の検索およびソートを行うステップとを備える、立体画像検索方法。
【請求項７】
コンピュータに立体画像の検索およびソートを実行させるための立体画像検索プログラムであって、前記立体画像検索プログラムは、
前記立体画像を現す立体画像データを入力データとして受けるステップと、
前記立体画像を構成する画素に対する視差値を前記入力データより抽出するステップと、
前記視差値の平均値により視差平均値を算出するステップと、
前記視差平均値を使用して、ユーザーからの入力条件に応じて、前記立体画像の検索およびソートを行うステップとを、コンピュータに実行させる、立体画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体表示のための画像を検索してソートするための画像検索技術に関し、より特定的には、特に、３次元表示される画像を検索してソートするための立体画像検索装置、立体画像検索方法および立体画像検索プログラムに関する。
【背景技術】
【０００２】
従来、３次元画像を表示するために様々な方法が提案されてきたが、その中で両眼視差を利用する「２眼式」と呼ばれるものがある。この方式は両眼視差を持った左眼用の画像と右眼用の画像（以下、それぞれ、「左眼用画像」、「右眼用画像」と称する。）を用意し、それぞれ独立に左右の眼に投影することにより立体視を行うことができる。
【０００３】
左右の目に投影する方法としては、表示ディスプレイに視差バリアを備え裸眼で立体視できるようにしたものや、ユーザーがシャッターメガネを装着し左目用画像と右目用画像を交互に表示して立体視できるようにしたものが用いられている。
【０００４】
また、視差値を格納した視差情報データを併せ持ち、立体表示の時にこのデータを使用して、奥行き感やアングルを調整したり、遠景をぼやけさせたりといったエフェクト（画像効果）をかけることも行われている。
【０００５】
視差情報データを生成するにあたっては、左眼用画像、右眼用画像作成時に、被写体との距離を実際に測定する方法や、また、左眼用画像、右眼用画像から視差値を算出する方法（主な方法としてステレオマッチング法がある）が用いられる。
【０００６】
さらに、視差情報データに含まれている最大視差、最小視差といった立体表示に関連するパラメータを使って、立体画像の検索やソートを行うことも考えられている（たとえば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１０３８０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１では、最大視差、最小視差、ビュータイプ、想定鑑賞距離、想定画像表示サイズ、視点数などの立体表示に関連するパラメータで検索やソートを行うことで、極端な飛び出し感のある画像を抽出して表示しないようにしたり、立体表示時の観察距離が近いものを検索したりすることが可能であった。
【０００９】
しかしながら、視差値によるソートに関しては、最大視差、最小視差を用いることしか提案されておらず、この方法では立体感の判定の精度が十分ではなかった。
【００１０】
本発明は、このような問題点を解決するためになされたものであって、その目的は、視差情報データを解析し、画像の検索やソートを十分な判定精度で実行することが可能な立体画像検索装置、立体画像検索方法および立体画像検索プログラムを提供することである。
【課題を解決するための手段】
【００１１】
この発明の１つの局面にしたがうと、立体画像検索装置であって、立体画像を現す立体画像データを入力データとして受ける入力手段と、立体画像を構成する画素に対する視差値を入力データより抽出する画像解析手段と、視差値の平均値により視差平均値を算出する視差解析手段と、視差平均値を使用して、ユーザーからの入力条件に応じて、立体画像の検索およびソートを行う検索ソート手段とを備える。
【００１２】
好ましくは、画像解析手段は、立体画像データに付随して入力された当該立体画像に対する視差情報データから、視差値を抽出する。
【００１３】
好ましくは、画像解析手段は、立体画像データから視差値を生成する視差情報抽出手段を含む。
【００１４】
好ましくは、検索ソート手段は、ユーザーからの入力条件がない場合、予め規定された条件を用いて、視差平均値から検索およびソートを行う。
【００１５】
好ましくは、視差解析手段は、所定の単位の画素ごとに視差値の総和をとって平均を算出する。
【００１６】
この発明の他の局面にしたがうと、立体画像検索方法であって、立体画像を現す立体画像データを入力データとして受けるステップと、立体画像を構成する画素に対する視差値を入力データより抽出するステップと、視差値の平均値により視差平均値を算出するステップと、視差平均値を使用して、ユーザーからの入力条件に応じて、立体画像の検索およびソートを行うステップとを備える。
【００１７】
この発明のさらに他の局面にしたがうと、コンピュータに立体画像の検索およびソートを実行させるための立体画像検索プログラムであって、立体画像検索プログラムは、立体画像を現す立体画像データを入力データとして受けるステップと、立体画像を構成する画素に対する視差値を入力データより抽出するステップと、視差値の平均値により視差平均値を算出するステップと、視差平均値を使用して、ユーザーからの入力条件に応じて、立体画像の検索およびソートを行うステップとを、コンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、立体画像データから各画素もしくは所定の単位の画素ごとで視差情報を算出し、その総和の平均値を取ることで、立体画像全体の視差値を考慮し、立体画像の空間値を踏まえて、画像の検索およびソートを行なうことが可能になる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態による立体画像検索装置１００の一構成例を示す機能ブロック図である。
【図２】入力部１０４から出力された立体画像データの構成の一例を示す概念図である。
【図３】視差情報データの構成の一例を示す概念図である。
【図４】視差値を８ｂｉｔグレースケール画像として表現した視差情報３０２を示す図である。
【図５】「遠景から近景の順」というソート条件の下で、画像をソートした結果を示す概念図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係わる装置の構成について図面を用いて説明する。
図１は、本発明の実施形態による立体画像検索装置１００の一構成例を示す機能ブロック図である。
【００２１】
なお、以下の説明では、本発明を立体画像検索装置を例にとって説明するものの、本発明の立体画像検索方法は、画像検索プログラム、画像検索システム、立体表示のための画像をソートする画像ソートプログラム、画像ソートシステム、およびこれらを備えた立体画像検索装置において、適用可能なものである。
【００２２】
図１を参照して、立体画像検索装置１００は、ストレージ１０１、カメラ１０２、ネットワーク１０３等から入力部１０４を通して立体画像データ、視差情報データを入力する。
【００２３】
このとき、立体画像データは入力データとして必須であるが、視差情報データは無くても良い。なお、画像を取り込む際の立体画像データの供給元となる装置であれば、ストレージ１０１、カメラ１０２、ネットワーク１０３に限らず、他の装置を利用することが可能である。
【００２４】
入力部１０４は、画像入力を処理するハードウェアであるものとして説明するが、より一般的には、ハードウェアに限らず、画像入力のためのプログラムの機能を含んでもよいし、あるいは、その他、入力データを受け付けて、その中から画像データを抽出できる機能を有する装置であれば、これにより実現することができる。
【００２５】
次に、立体画像検索装置１００は、画像ファイル解析部１０６において、入力データ中の視差情報データの存在有無をチェックする。視差情報データが存在していない、もしくは視差情報データが不足している場合は、視差情報抽出部１０７が、視差情報データを作成し、視差情報データ解析部１０８が、視差情報データについて解析を行い、視差平均値を計算する。
【００２６】
最後に、立体画像検索装置１００は、検索処理部１０９およびソート処理部１１０において、視差平均値を使用し、ユーザー指示入力部１０５からユーザにより入力された検索条件、ソート条件に基づいて、立体画像データの検索、ソートを行い、結果を出力する。
【００２７】
出力された結果は、たとえば、画像表示部１１２により表示される。
なお、ユーザー指示入力部１０５からのユーザ指示が無い場合においても、あらかじめ設定された条件等を用いて、検索、ソートを行う構成とすることも可能である。
【００２８】
以下に説明するように、立体画像検索装置１００によれば、立体画像を近景、中距離景色、遠景、狭い部屋、そこそこ大きな屋内、大きなホールといった画像を代表する空間値（画像の表現する空間の大きさを示す値）によって、ソート、検索できる。このように空間値でソートしておくことで、立体視する時に近い視差値の画像を順々に見ることができ、急激な視差値の変化による目の負担を軽減することができる。
【００２９】
図２は、入力部１０４から出力された立体画像データの構成の一例を示す概念図である。
【００３０】
図２に示されるように、立体画像データは、左目用画像２０１と右目用画像２０２からなる。
【００３１】
図３は、視差情報データの構成の一例を示す概念図である。
視差情報データ３０１は、左目用画像２０１と右目用画像２０２から算出される。立体画像の横サイズをｘ、縦サイズをｙ、さらに各画素毎に視差値が存在しており、その視差値を２５６段階で表現している。
【００３２】
視差値が０に近いほど視差が小さく、２５５（１６進表現で”ＦＦ”）に近いほど視差が大きいことを表している。
【００３３】
図４は、図３で示した視差値を８ｂｉｔグレースケール画像として表現した視差情報３０２を示す図である。
【００３４】
図４において、白に近いほど視差が大きく、距離が近く手前にあり、黒に近いほど視差が小さく距離が遠いということを表現している。
【００３５】
立体画像検索装置１００では、図１における画像ファイル解析部１０６において、立体画像と視差情報データのチェックを行い、視差情報が存在していない場合は、視差情報抽出部１０７にて、立体画像データの左目用画像２０１および右目用画像２０２から視差情報データ３０１を作成する。
【００３６】
視差情報データの作成方法としては、たとえば、ステレオマッチング法を使用し、求めた視差情報、距離情報を視差情報データとして用いる。ここで、ステレオマッチング法とは、一対の実体写真を数値化して、同一点の検索を行い、実体写真の三次元的な位置を求める方法である。
【００３７】
次に、図１おける視差情報データ解析部１０８が、視差情報データを解析し、視差平均値を求める。以下では、この視差平均値を求める方法について説明する。
【００３８】
視差平均値は、視差情報データの相加平均で求める。つまり、全視差値の総和の平均を取る。数式で表すと下記となる。
【００３９】
【数１】
2012256970.tif 000003
【００４０】
なお、上式では、画像中のすべての画素についての視差値の相加平均をとることで、視差平均としているものの、必ずしも視差平均値の算出にあたっては、このような構成に限定されるものではなく、たとえば、所定の単位の画素ごとに視差値の総和をとって平均を算出することとしてもよい。たとえば、縦方向に２画素、横方向にも２画素ごとに視差値の総和をとることにしてもよいし、視差が横方向に現れることに留意して、縦方向と横方向で、単位となる画素の数をそれぞれ、独立に設定してもよい。
【００４１】
図１においては、検索処理部１０９およびソート処理部１１０が、視差情報データ解析部１０８で算出した視差平均値とユーザー指示入力部１０５から入力された検索条件、ソート条件を用いて、立体画像データの検索、ソートを行い出力する。
【００４２】
例えば、「遠景から近景の順」というソート条件が設定された場合、視差平均値が小さいものから順に並べていき、最後は視差平均値がもっとも大きいものとなる。
【００４３】
図５は、「遠景から近景の順」というソート条件の下で、画像をソートした結果を示す概念図である。
【００４４】
図５に示されるように、４枚の左目、右目用画像（図４では、一方の画像で代表的に示している）がセットになっている立体画像が存在しており、立体画像検索装置１００への入力の際には画像の並びは適当であったものとする。
【００４５】
それらの画像を、立体画像検索装置１００が、検索条件「遠景から近景への順」でソートすることで、ソート結果は左側から遠景の順に並び、最後は一番右側が近景となる。
【００４６】
視差平均値は、各画像を代表する空間値を反映したものであり、視差平均値が小さいほど空間が大きい、視差平均値が大きいほど空間が小さいということがいえる。
【００４７】
すなわち、立体画像検索装置１００によれば、立体画像に付属する視差情報データもしくは立体画像から生成した視差情報データから、視差平均値を求める。この視差平均値を使用して、立体画像が遠景であるか近景であるか等の判定を行い、ユーザーが入力した検索、ソート条件に従って、立体画像の検索、ソートを行い、立体画像の閲覧を効果的に行うことができる。
【００４８】
このようなソートを行うことで、ユーザーが所望の画像を探しやすくなる、立体感の似た画像が順に表示されていくことになり、閲覧の差異のユーザーの目への負荷を軽減することができるという効果がある。
【００４９】
また、立体画像の一部しか考慮していない、最大視差、最小視差というパラメータによるソート／検索に比べると、立体画像全体の視差を考慮するので、ユーザの視認する体感により精度よく即して、立体画像のソート／検索を行なうことができる。
【００５０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００５１】
１００  立体画像検索装置、１０１  ストレージ、１０２  カメラ、１０３  ネットワーク、１０４  入力部、１０５  ユーザー指示入力部、１０６  画像ファイル解析部、１０７  視差情報抽出部、１０８  視差情報データ解析部、１０９  検索処理部、１１０  ソート処理部、１１２  画像表示部、２０１  左目用画像、２０２  右目用画像、３０１  視差情報データ、３０２  視差情報。
【図１】
2012256970.tif 000004
【図３】
2012256970.tif 000005
【図２】
2012256970.tif 000006
【図４】
2012256970.tif 000007
【図５】
2012256970.tif 000008