(57)【要約】【課題】物体の移動速度に応じて立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理を行う画像処理装置３において、立体画像を取得する画像取得部３０１と、物体の移動速度を取得する移動速度取得部３０２と、移動速度取得部３０２が取得した移動速度に応じて、画像取得部３０１が取得した立体画像に係るオブジェクトの位置を変更する画像処理部３０３とを備える。【選択図】図４
2013196499.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理を行う画像処理装置において、
立体画像を受け付ける受付手段と、
物体の移動速度を取得する取得手段と、
該取得手段が取得した移動速度に応じて、前記受付手段が受け付けた立体画像に係るオブジェクトの位置を変更する変更手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記受付手段が受け付けた立体画像を表示する画像データはオブジェクトの奥行の程度を示す奥行値を含み、
前記画像データからオブジェクトの奥行値を抽出する抽出手段と、
前記取得手段が取得した移動速度に基づいて、前記抽出手段が抽出した奥行値を変更する奥行値変更手段と
を備え、
前記変更手段は、前記奥行値変更手段が変更した奥行値に基づいて、前記受付手段が受け付けた立体画像に係るオブジェクトの位置を変更するようにしてある
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段が取得した移動速度に基づいて、前記抽出手段が抽出した奥行値を変更するための所定の数式に含まれる係数を決定する決定手段を備え、
前記奥行値変更手段は、前記決定手段により決定された係数を用いて、前記抽出手段が抽出した奥行値を変更するようにしてある
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変更手段は、前記受付手段が受け付けた立体画像を構成する右目用画像及び左目用画像におけるオブジェクトの位置を、前記奥行値変更手段が変更した奥行値に応じて夫々同じ移動量だけ左右の反対方向に移動することにより、立体画像に係るオブジェクトの位置を変更するようにしてある
ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記変更手段は、前記奥行値変更手段が変更した奥行値に基づいて、前記受付手段が受け付けた立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの大きさ、彩度、明度、色相又は背景画像に対する移動速度が含まれる単眼立体情報を変更するようにしてある
ことを特徴とする請求項２から請求項４までのいずれか一項に記載の画像処理装置。
【請求項６】
前記変更手段によりオブジェクトの位置又は単眼立体情報が変更された立体画像を所定の立体画像伝送方式に適合するように変換する変換手段と、
該変換手段が変換した立体画像を出力する手段と
を備える
ことを特徴とする請求項１から請求項５までのいずれか一項に記載の画像処理装置。
【請求項７】
立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理を行う画像処理方法において、
立体画像を受け付け、
物体の移動速度を取得し、
取得した移動速度に応じて、受け付けた立体画像に係るオブジェクトの位置を変更する
ことを特徴とする画像処理方法。
【請求項８】
オブジェクトの奥行の程度を示す奥行値を画像データとして有する立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理をコンピュータに実行させるプログラムにおいて、
立体画像を表示する画像データから奥行値を抽出し、
物体の移動速度に基づいて、抽出した奥行値を変更し、
変更した奥行値に基づいて、前記立体画像に係るオブジェクトの位置を変更する
処理をコンピュータに実行させることを特徴とするプログラム。
【請求項９】
前記物体の移動速度を、所定の関数を用いて、所定の数式に含まれる係数に変換し、
変換した係数を用いて、前記奥行値を抽出する処理が抽出した奥行値を変更する
ことを特徴とする請求項８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を処理する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
立体画像の誘目性に着目した電子看板（デジタルサイネージ）の利用が進んでいる。立体画像には、その誘目性から高い広告効果が期待される。
電子看板の前を往来する人々は、街頭の様々な位置から電子看板が表示する立体画像を見ることになる。そこで、人々の位置に応じて立体画像を見るのに好適な立体視領域を移動させる技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２３２６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、街頭を往来する人々は、立ち止まった状態、足早に通り過ぎる状態等、様々な状態で電子看板を見ることが普通である。人々が足早に移動する場合、像の奥行感を強調した立体画像の方が、その誘目性から広告効果は高い。他方、人々が足を止めている場合又はゆっくりと移動する場合には、像の奥行感を抑えた立体画像の方が見やすい。そのため、特許文献１が示すように人々の位置のみを考慮するだけでは、効果的な広告を提示する立体画像を電子看板に表示することは困難である。
【０００５】
本発明は斯かる事情に鑑みてなされたものである。その目的は、物体の移動速度に応じて立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更することができる画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本願に係る画像処理装置は、立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理を行う画像処理装置において、立体画像を受け付ける受付手段と、物体の移動速度を取得する取得手段と、該取得手段が取得した移動速度に応じて、前記受付手段が受け付けた立体画像に係るオブジェクトの位置を変更する変更手段と
を備えることを特徴とする。
【０００７】
本願に係る画像処理装置では、取得した物体の移動速度に応じて、受け付けた立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する。
【０００８】
本願に係る画像処理装置は、前記受付手段が受け付けた立体画像を表示する画像データはオブジェクトの奥行の程度を示す奥行値を含み、前記画像データからオブジェクトの奥行値を抽出する抽出手段と、前記取得手段が取得した移動速度に基づいて、前記抽出手段が抽出した奥行値を変更する奥行値変更手段とを備え、前記変更手段は、前記奥行値変更手段が変更した奥行値に基づいて、前記受付手段が受け付けた立体画像に係るオブジェクトの位置を変更するようにしてあることを特徴とする。
【０００９】
本願に係る画像処理装置では、受け付けた立体画像を表示する画像データに含まれるオブジェクトの奥行の程度を示す奥行値を抽出する。画像処理装置は、取得した物体の移動速度に基づいて、抽出した奥行値を変更する。画像処理装置は、変更した奥行値に基づいて、受け付けた立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する。
【００１０】
本願に係る画像処理装置は、前記取得手段が取得した移動速度に基づいて、前記抽出手段が抽出した奥行値を変更するための所定の数式に含まれる係数を決定する決定手段を備え、前記奥行値変更手段は、前記決定手段により決定された係数を用いて、前記抽出手段が抽出した奥行値を変更するようにしてあることを特徴とする。
【００１１】
本願に係る画像処理装置では、取得した物体の移動速度に基づいて、抽出した奥行値を変更するための所定の数式に含まれる係数を決定する。画像処理装置は、決定した係数を用いて抽出した奥行値を変更し、変更した奥行値に基づいて、受け付けた立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する。
【００１２】
本願に係る画像処理装置は、前記変更手段は、前記受付手段が受け付けた立体画像を構成する右目用画像及び左目用画像におけるオブジェクトの位置を、前記奥行値変更手段が変更した奥行値に応じて夫々同じ移動量だけ左右の反対方向に移動することにより、立体画像に係るオブジェクトの位置を変更するようにしてあることを特徴とする。
【００１３】
本願に係る画像処理装置では、受け付けた立体画像を構成する右目用画像及び左目用画像におけるオブジェクトの位置を、変更した奥行値に応じて夫々同じ移動量だけ左右の反対方向に移動する。
【００１４】
本願に係る画像処理装置は、前記変更手段は、前記奥行値変更手段が変更した奥行値に基づいて、前記受付手段が受け付けた立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの大きさ、彩度、明度、色相又は背景画像に対する移動速度が含まれる単眼立体情報を変更するようにしてあることを特徴とする。
【００１５】
本願に係る画像処理装置では、変更した奥行値に基づいて、受け付けた立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの大きさ、彩度、明度、色相又は背景画像に対する移動速度が含まれる単眼立体情報を変更する。
【００１６】
本願に係る画像処理装置は、前記変更手段によりオブジェクトの位置又は単眼立体情報が変更された立体画像を所定の立体画像伝送方式に適合するように変換する変換手段と、該変換手段が変換した立体画像を出力する手段とを備えることを特徴とする。
【００１７】
本願に係る画像処理装置では、オブジェクトの位置又は単眼立体情報が変更された立体画像を所定の立体画像伝送方式に適合するように変換し、変換した立体画像を出力する。
【００１８】
本願に係る画像処理方法は、立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理を行う画像処理方法において、立体画像を受け付け、物体の移動速度を取得し、取得した移動速度に応じて、受け付けた立体画像に係るオブジェクトの位置を変更することを特徴とする。
【００１９】
本願に係る画像処理方法では、立体画像を受け付け、物体の移動速度を取得する。画像処理方法は、取得した移動速度に応じて、受け付けた立体画像に係るオブジェクトの位置を変更する。
【００２０】
本願に係るプログラムは、オブジェクトの奥行の程度を示す奥行値を画像データとして有する立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理をコンピュータに実行させるプログラムにおいて、立体画像を表示する画像データから奥行値を抽出し、物体の移動速度に基づいて、抽出した奥行値を変更し、変更した奥行値に基づいて、前記立体画像に係るオブジェクトの位置を変更する処理をコンピュータに実行させることを特徴とする。
【００２１】
本願に係るプログラムでは、立体画像を表示する画像データから、オブジェクトの奥行の程度を示す奥行値を抽出する処理をコンピュータに実行させる。プログラムは、物体の移動速度に基づいて、抽出した奥行値を変更する処理をコンピュータに実行させる。プログラムは、変更した奥行値に基づいて、立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更する処理をコンピュータに実行させる。
【００２２】
本願に係るプログラムは、前記物体の移動速度を、所定の関数を用いて、所定の数式に含まれる係数に変換し、変換した係数を用いて、前記奥行値を抽出する処理が抽出した奥行値を変更することを特徴とする。
【００２３】
本願に係るプログラムでは、物体の移動速度を所定の関数を用いて所定の数式に含まれる係数に変換し、変換した係数を用いて抽出した奥行値を変更する処理をコンピュータに実行させる。
【発明の効果】
【００２４】
本願に係る画像処理装置等によれば、物体の移動速度に応じて立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更することができる。
【図面の簡単な説明】
【００２５】
【図１】電子看板システムの構成の一例を示すブロック図である。
【図２】電子看板システムの構成の他例を示すブロック図である。
【図３】画像処理装置のハードウェア構成例を示すブロック図である。
【図４】画像処理装置の機能構成例を示す機能ブロック図である。
【図５】画像処理の概要手順の一例を示すフローチャートである。
【図６】奥行値に関する説明図である。
【図７】係数ｄの決定処理の手順の一例を示すフローチャートである。
【図８】図６Ａの立体画像を構成する各オブジェクトの奥行関係を示す説明図である。
【図９】図６Ａの立体画像を構成する各オブジェクトの奥行関係を示す説明図である。
【図１０】編集前後の左目用画像及び右目用画像の一例を示す説明図である。
【図１１】奥行値変更処理及び立体画像生成処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施例における電子看板システムを、実施の形態を示す図面に基づいて説明する。電子看板システムは、商業機関、医療機関、交通機関、金融機関、行政機関、教育機関等が街頭、施設内部、乗り物内部等で自身に関する情報を発信するために、立体画像を電子看板として表示装置に表示するシステムである。当該情報は、例えば店舗、ホテル、展示場等の看板広告を含む。
なお、本発明は、以下の実施の形態に限定されるものではない。
【００２７】
図１は、電子看板システムの構成の一例を示すブロック図である。電子看板システムは、画像記憶装置１、速度検出装置２、画像処理装置３、表示装置４及びネットワークＮを含む。画像処理装置３は、画像記憶装置１、速度検出装置２及び表示装置４と、有線又は無線により接続されている。また、速度検出装置２及び画像処理装置３は、ネットワークＮに接続されている。ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、電話通信回線網、衛星通信回線網等である。
【００２８】
画像記憶装置１は、立体画像を記憶するハードディスク、光ディスク、光磁気ディスク、半導体メモリ等である。立体画像は、Ｂｌｕ−ｒａｙ（登録商標）  ３Ｄ、ＭＰＯ（Muiti Picture Object）等の所定の立体画像記録フォーマットで、画像記憶装置１に記憶されている。あるいは、立体画像は、サイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式、ラインバイライン方式、チェッカーボード方式等の所定の立体画像記録フォーマットで、画像記憶装置１に記憶されている。画像記憶装置１は、記憶する立体画像を所定の立体画像伝送フォーマットで画像処理装置３に出力する。ここでの立体画像伝送フォーマットは、例えばサイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式、ラインバイライン方式、チェッカーボード方式等を含む。
【００２９】
速度検出装置２は、例えば表示装置４の近傍に設置されている。速度検出装置２は、図示しないスピード測定機、カメラ、処理装置及び通信部を含む。スピード測定機は、電子看板システムが対象とする視聴者（物体）に向けて電磁波、超音波等を照射し、その反射波のドップラーシフトを測定する。処理装置は、測定したドップラーシフトに基づいて、速度検出装置２に対して視聴者が近づく速度又は遠ざかる速度を算出する。
【００３０】
カメラは、視聴者を撮像する。処理装置は、カメラが撮像した視聴者の画像から公知技術を用いて、視聴者の移動ベクトルを求める。処理装置は、撮像した画像における視聴者の大きさを、所定距離を隔てて撮像した人の平均的な大きさと比較することにより、速度検出装置２から撮像された視聴者までの距離を求める。あるいは、処理装置は、所定距離を隔てて設定された２台のカメラが撮像した視聴者の画像から、三角測量の原理に基づいて、速度検出装置２から撮像した視聴者までの距離を求めてもよい。
【００３１】
処理装置は、移動ベクトルと視聴者までの距離とから、速度検出装置２から視聴者へ向かう方向と直交する方向の視聴者の速度を求める。処理装置は、ドップラーシフトに基づく視聴者の速度と、速度検出装置２から視聴者へ向かう方向と直交する方向の視聴者の速度とを合成し、視聴者の移動速度ｖを算出する。
【００３２】
通信部は、画像処理装置３又はネットワークＮに接続された機器と情報の送受信をする構成部である。通信部は、ネットワークＮを介して、視聴者が携帯するスマートフォン、携帯電話、ＰＤＡ（Personal Digital Assistant）等の携帯通信機器と通信することができる。これらの携帯通信機器が加速度センサ、ＧＰＳ（Global Positioning System）受信部等を備える場合、処理装置は通信部を介して、携帯通信機器の加速度、位置等の情報を取得し、取得した情報から視聴者の移動速度ｖを算出する。通信部は、処理装置がスピード測定機、カメラ、携帯通信機器等に基づいて算出した視聴者の移動速度ｖを画像処理装置３に送信する。
【００３３】
なお、通信部は、スピード測定機が測定したドップラーシフトに基づいて算出された、速度検出装置２に対して視聴者が近づく速度又は遠ざかる速度を視聴者の移動速度ｖとして、画像処理装置３に送信してもよい。
処理装置は、速度検出装置２に対して視聴者が近づく速度又は遠ざかる速度を、速度検出装置２及び表示装置４の位置関係に基づいて、表示装置４に対して視聴者が近づく速度又は遠ざかる速度に変換してもよい。かかる場合、送信部は、表示装置４に対して視聴者が近づく速度又は遠ざかる速度を視聴者の移動速度ｖとして、画像処理装置３に送信してもよい。
【００３４】
画像処理装置３は、画像記憶装置１から立体画像を取得する。画像処理装置３は、速度検出装置２から視聴者の移動速度ｖを取得する。画像処理装置３は、視聴者の移動速度ｖに基づいて、取得した立体画像の奥行値を変更する。画像処理装置３は、変更した奥行値に基づいて、取得した立体画像を編集することにより生成した立体画像を表示装置４に出力する。
なお、画像処理装置３は、ネットワークＮを介して立体画像を記憶する記憶装置又は情報処理装置から立体画像を取得してもよい。
【００３５】
表示装置４は、平面画像及び立体画像を表示することが可能な表示部（図示せず）を有する装置である。表示装置４は、画像処理装置３が編集した立体画像を受け付け、受け付けた立体画像を表示部に表示する。なお、表示装置４は、音声を出力するスピーカを備えていてもよいし、備えていなくてもよい。
表示部が立体画像を表示する方式は、例えば人が裸眼で立体画像を認識することができる方式である。表示部が立体画像を表示する方式は、例えばレンチキュラ方式、パララックスバリア方式、バックライト分割方式、グレーディング方式、超多眼ディスプレイ方式等である。
なお、表示装置４は、スクリーンに画像を投影するプロジェクタであってもよく、かかる場合の立体画像を表示する方式は、例えばホログラフィックスクリーン方式等である。
【００３６】
図２は、電子看板システムの構成の他例を示すブロック図である。電子看板システムは、画像記憶装置１０、速度検出装置２、画像処理装置３、表示装置４、立体画像変換装置５及びネットワークＮを含む。立体画像変換装置５は、画像記憶装置１０及び画像処理装置３と有線又は無線により接続されている。また、立体画像変換装置５は、ネットワークＮに接続されている。
画像記憶装置１０は、平面画像を記憶するハードディスク、光ディスク、光磁気ディスク、半導体メモリ等である。
【００３７】
立体画像変換装置５は、平面画像を公知技術により立体画像に変換する装置である。立体画像変換装置５は、画像記憶装置１０が記憶する平面画像を立体画像に変換し、変換した立体画像を画像処理装置３に出力する。
また、立体画像変換装置５は、ネットワークＮを介して平面画像を記憶する記憶装置又は情報処理装置から平面画像を取得する。立体画像変換装置５は、ネットワークＮを介して取得した平面画像を立体画像に変換し、変換した立体画像を画像処理装置３に出力する。
【００３８】
なお、立体画像変換装置５は、画像処理装置３に含まれてもよいし、含まれなくてもよい。
図２における電子看板システムの速度検出装置２、画像処理装置３、表示装置４の構成は図１におけるものと同じであるため、その詳細な説明を省略する。
【００３９】
図３は、画像処理装置３のハードウェア構成例を示すブロック図である。画像処理装置３は、ＣＰＵ（Central Processing Unit）（変更手段、抽出手段、奥行値変更手段、決定手段、変換手段）３１、ＲＡＭ（Random Access Memory）３２、ＲＯＭ（Read Only Memory）３３を含む。また、画像処理装置３は、ハードディスク３４、ディスクドライブ３５、通信部３６、表示部３７、操作部３８及び入出力インタフェース（受付手段、取得手段、出力する手段）３９を含む。これら各構成部は、バス３ｂにより相互に接続されている。
【００４０】
ＣＰＵ３１は、画像処理装置３の各構成部を制御するプロセッサである。ＣＰＵ３１は、ハードディスク３４に記憶されたプログラム１Ｐを読み込み、当該プログラム１Ｐを実行する。
ＲＡＭ３２は、ＣＰＵ３１による処理の過程で必要な作業変数、データ等を一時的に記録する。なお、ＲＡＭ３２は、主記憶装置の一例であり、ＲＡＭ３２の代わりにフラッシュメモリ、メモリカード等が用いられてもよい。
なお、ＲＡＭ３２は、フレームバッファの機能も有する。
【００４１】
ＲＯＭ３３は、例えば不揮発性の半導体メモリ又は半導体メモリ以外の読み出し専用記憶媒体である。ＲＯＭ３３は、画像処理装置３の起動時にＣＰＵ３１が実行するＢＩＯＳ（Basic Input/Output System）、ファームウェア等を記録している。
【００４２】
ハードディスク３４は、ＣＰＵ３１が実行するプログラム１Ｐを記憶している磁気ディスクである。ハードディスク３４は、画像処理装置３内部に取り付けられるものであっても、画像処理装置３外部に置かれるものであってもよい。なお、ハードディスク３４は補助記憶装置の一例であり、大容量の情報の記録が可能なフラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc、登録商標）等の光ディスク３ａにより代替されてもよい。
【００４３】
ディスクドライブ３５は、外部の記憶媒体である光ディスク３ａから情報を読み込み、光ディスク３ａに情報を記録する。
通信部３６は、モデム、ＬＡＮカード等であり、ネットワークＮに接続されている。
【００４４】
表示部３７は、例えば液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の画面を有し、ＣＰＵ３１からの指示に従って、プログラム１Ｐに係る様々な画面を表示する。
【００４５】
操作部３８は、ユーザが各種の入力を行うキーボード、マウス、タッチパネル等の入力デバイスを含む。操作部３８は、ユーザによる操作に基づいて入力信号を生成する。生成された入力信号は、バス３ｂを介してＣＰＵ３１に送信される。
【００４６】
入出力インタフェース３９は、画像処理装置３が画像記憶装置１、立体画像変換装置５、速度検出装置２及び表示装置４と情報及びデータのやり取りをするためのインタフェースである。具体的には、入出力インタフェース３９は、画像記憶装置１又は立体画像変換装置５から出力された立体画像及び速度検出装置２から出力された視聴者の移動速度ｖを入力するインタフェースである。また、入出力インタフェース３９は、画像処理装置３が視聴者の移動速度ｖに基づいて編集、生成した立体画像を表示装置４に出力するインタフェースである。
【００４７】
図３に示すように、コンピュータである画像処理装置３を動作させるためのプログラム１Ｐは、ディスクドライブ３５を介して光ディスク３ａから読み込まれてもよい。あるいは、プログラム１Ｐは、通信部３６を介して外部の情報処理装置又は記録装置から読み込まれてもよい。更に、プログラム１Ｐを記録したフラッシュメモリ等の半導体メモリ３ｃが、画像処理装置３内に実装されていてもよい。
【００４８】
図４は、画像処理装置３の機能構成例を示す機能ブロック図である。図４の各機能部は、ＣＰＵ３１がハードディスク３４に記録されたプログラム１Ｐに基づいて動作することにより実行される。画像処理装置３は、画像取得部（受付手段）３０１、移動速度取得部３０２（取得手段）、画像処理部（変更手段、抽出手段、奥行値変更手段、決定手段）３０３及び画像出力部（変換手段、出力する手段）３０４を含む。
【００４９】
画像取得部３０１は、画像記憶装置１等から立体画像を取得する機能部である。移動速度取得部３０２は、速度検出装置２から視聴者の移動速度ｖを取得する機能部である。画像処理部３０３は、移動速度取得部３０２が取得した視聴者の移動速度ｖを用いて、画像取得部３０１が取得した立体画像の奥行値を変更する機能部である。また、画像処理部３０３は、変更した奥行値に基づいて、取得した立体画像の立体感（オブジェクトの飛び出しの度合い又は引っ込みの度合い）を編集することにより、新たな立体画像を生成する。画像出力部３０４は、画像処理部３０３が生成した立体画像を表示装置４に出力する機能部である。
【００５０】
なお、画像処理装置３は、速度検出装置２に含まれる処理装置の機能を有してもよい。かかる場合、移動速度取得部３０２は、スピード測定機、カメラ、携帯通信機器等が生成した情報を速度検出装置２から取得し、取得した情報に基づいて視聴者の移動速度ｖを算出する。
【００５１】
図５は、画像処理の概要手順の一例を示すフローチャートである。
ＣＰＵ３１は、画像記憶装置１等から立体画像を取得する（ステップＳ１０１）。ＣＰＵ３１は、速度検出装置２から視聴者の移動速度ｖを取得する（ステップＳ１０２）。ＣＰＵ３１は、視聴者の移動速度ｖに基づいて、１フレームの立体画像に係る奥行値を変更する奥行値変更処理を実行する（ステップＳ１０３）。
【００５２】
ＣＰＵ３１は、変更後の奥行値に基づいて、飛び出しの度合い又は引っ込みの度合いを編集した立体画像を生成する立体画像生成処理を実行する（ステップＳ１０４）。ＣＰＵ３１は、生成した立体画像を表示装置４に出力する（ステップＳ１０５）。
なお、ステップＳ１０３における奥行値の変更結果に応じて、ステップＳ１０５で出力される画像は平面画像になる場合もある。
【００５３】
ＣＰＵ３１は、取得した立体画像について全フレームを処理したか否かを判定する（ステップＳ１０６）。ＣＰＵ３１は、取得した立体画像について全フレームを処理していないと判定した場合（ステップＳ１０６：ＮＯ）、ステップＳ１０２に処理を戻す。ＣＰＵ３１は、取得した立体画像について全フレームを処理したと判定した場合（ステップＳ１０６：ＹＥＳ）、処理を終了する。
【００５４】
次に、画像処理装置３の各機能部についてより詳細に説明することにより、画像処理装置３の動作を説明する。
画像取得部３０１は、画像記憶装置１等から立体画像を取得し、取得した立体画像を１フレーム毎に画像処理部３０３に出力する。画像取得部３０１が画像記憶装置１等から取得する立体画像は、静止画像及び動画像を含む。また、画像取得部３０１が画像記憶装置１等から取得する立体画像は、ユーザの指示等により予め一意に決定されている。
【００５５】
画像取得部３０１は、取得した立体画像が符号化されている場合、取得した立体画像をＲＧＢ形式、ＹＵＶ形式等の立体画像に復号する。画像取得部３０１は、復号した立体画像を左目用画像及び右目用画像に分割し、分割した左目用画像及び右目用画像を画像処理部３０３に１フレーム単位で出力する。あるいは、分割した左目用画像及び右目用画像をＲＡＭ３２に記憶する。
【００５６】
なお、画像取得部３０１は、立体画像がサイドバイサイド方式、トップアンドボトム方式等の所定の立体画像伝送フォーマットで表現されている場合、各フォーマットに応じて立体画像を１フレーム毎に適切に伸長し、本来の解像度の左目用画像及び右目用画像に分割する。以下では、画像処理装置３は復号後の立体画像について処理を行うものとする。
【００５７】
移動速度取得部３０２は、速度検出装置２から視聴者の移動速度ｖをリアルタイムで取得する。
【００５８】
画像処理部３０３は、画像取得部３０１が取得した立体画像（左目用画像及び右目用画像）を１フレーム単位で受け付ける。あるいは、画像処理部３０３は、画像取得部３０１が取得した立体画像（左目用画像及び右目用画像）をＲＡＭ３２に記憶した場合、ＲＡＭ３２から１フレームの立体画像を読み出す。画像処理装置３は、１フレームの立体画像から、画素毎に又は画素群毎に立体画像に設定されている奥行値を抽出する。画像処理部３０３は、移動速度取得部３０２が取得した視聴者の移動速度ｖに基づいて、抽出した立体画像の奥行値を１フレーム単位で変更する。
【００５９】
ここでの奥行値について説明する。
図６は、奥行値に関する説明図である。図６Ａは、奥行情報である奥行値を有する立体画像Ｔの一例である。図６Ｂは、画面を基準にして、図６Ａの立体画像Ｔを構成するオブジェクトの奥行関係を示す説明図である。図６Ａにおける各オブジェクト及び図６Ｂにおける各オブジェクトの対応関係は、点線で示されている。
図６Ｂは、立体画像Ｔにおける各オブジェクトに設定された奥行値を立体画像Ｔにおける奥行位置の違いとして示している。図６Ｂの縦軸は奥行値である。図６ＢのＭは、画面に対応する奥行値である。図６Ａの立体画像Ｔを視聴者が見る場合、視聴者にとって図６Ｂの下方向は手前方向であり、図６Ｂの上方向は奥行方向である。また、画面を基準にした場合、図６Ｂの下方向はオブジェクトの飛び出し方向であり、図６Ｂの上方向はオブジェクトの奥行方向である。
【００６０】
ここでの奥行値は、視聴者にとって近いオブジェクトほど大きな値を示し、視聴者にとって遠いオブジェクトほど小さな値を示す。ここでの奥行値は、０〜Ｎ（ただし、Ｎ＞０）のＮ＋１段階で表される整数である。図６Ｂにおける奥行値Ｍは、画面すなわち立体画像における視差が０となる位置に対応する。奥行値Ｍよりも大きい奥行値は、画面よりも手前（飛び出し方向）の位置を示し、奥行値Ｍよりも小さい奥行値は、画面よりも奥側（奥行方向）の位置を示す。つまり、０≦Ｍ≦Ｎとする。
【００６１】
図６Ａにおいて、立体画像Ｔは、矩形オブジェクトＯ１、円形オブジェクトＯ２、三角形オブジェクトＯ３及び背景オブジェクトＯ４を含む。矩形オブジェクトＯ１、円形オブジェクトＯ２、三角形オブジェクトＯ３及び背景オブジェクトＯ４の各奥行値は、この順に小さくなる。
【００６２】
図６Ｂにおいて、三角形オブジェクトＯ３は、画面の位置Ｐｍより奥側の位置Ｐ３に配置され、背景オブジェクトＯ４は、更にその奥の位置Ｐ４に配置されている。円形オブジェクト２は、画面の位置Ｐｍより手前、すなわち飛び出し方向の位置Ｐ２に配置され、矩形オブジェクトＯ１は、更にその手前の位置Ｐ１に配置されている。
【００６３】
ここでの奥行値の大小関係と、いわゆるデプス値又はＺバッファの大小関係とは逆である。しかし、ここでの奥行値の大小を反転させた場合、反転させた奥行値はデプス値等に対応する。つまり、ここでの奥行値は、立体画像におけるオブジェクトの奥行感を示す奥行情報としてはデプス値等と同様の情報である。
【００６４】
画像処理装置３は、取得した立体画像から各オブジェクトの奥行値を抽出する。画像処理部３０３は、次の（１）式により、抽出した奥行値を変更する。
Ｄｎｅｗ＝Ｄｏｒｇ＋ｄ  ・・・（１）
Ｄｏｒｇは、変更前の各オブジェクトの奥行値である。Ｄｎｅｗは、変更後の各オブジェクトの奥行値である。ｄは、各オブジェクトの奥行値を変更するための係数であり、視聴者の移動速度ｖに基づいて決定される。
【００６５】
なお、（１）式は、奥行値を変更するための式の一例であり、他の式を用いてもよいことは言うまでもない。例えば、Ｄｎｅｗを次の（２）式で求めてもよい。
Ｄｎｅｗ＝（Ｄｏｒｇ／（ＭＡＸ−ＭＩＮ））×ｄ  ・・・（２）
ＭＡＸは、編集前の立体画像を構成する各オブジェクトが有する奥行値の最大値である。ＭＩＮは、編集前の立体画像を構成する各オブジェクトが有する奥行値の最小値である。
ただし、Ｄｎｅｗが奥行値Ｎを越えた場合、ＤｎｅｗはＮに丸め込むものとする。ｄは、（１）式のｄと同じである。
【００６６】
図７は、係数ｄの決定処理の手順の一例を示すフローチャートである。以下の処理では、移動速度ｖに係る閾値Ｔｈ１、Ｔｈ２を用いる。閾値Ｔｈ１、Ｔｈ２には、Ｔｈ１＜Ｔｈ２の大小関係があるものとする。また、以下の処理では、奥行値に係る定数Ｐ１、Ｐ２、Ｐ３を用いる。定数Ｐ１、Ｐ２、Ｐ３には、Ｐ１＜Ｐ２＜Ｐ３の大小関係があるものとする。
【００６７】
ＣＰＵ３１は、視聴者の移動速度ｖが閾値Ｔｈ１未満か否かを判定する（ステップＳ２０１）。ＣＰＵ３１は、視聴者の移動速度ｖが閾値Ｔｈ１未満であると判定した場合（ステップＳ２０１：ＹＥＳ）、係数ｄに定数Ｐ１を設定し（ステップＳ２０２）、処理を終了する。ＣＰＵ３１は、視聴者の移動速度ｖが閾値Ｔｈ１未満でないと判定した場合（ステップＳ２０１：ＮＯ）、視聴者の移動速度ｖが閾値Ｔｈ２未満か否かを判定する（ステップＳ２０３）。ＣＰＵ３１は、視聴者の移動速度ｖが閾値Ｔｈ２未満であると判定した場合（ステップＳ２０３：ＹＥＳ）、係数ｄに定数Ｐ２を設定し（ステップＳ２０４）、処理を終了する。ＣＰＵ３１は、視聴者の移動速度ｖが閾値Ｔｈ２未満でないと判定した場合（ステップＳ２０３：ＮＯ）、係数ｄに定数Ｐ３を設定し（ステップＳ２０５）、処理を終了する。
【００６８】
図７における係数ｄの決定処理では、係数ｄを予め決めた三段階の定数に設定した。図７の決定処理は、不連続関数により係数ｄを算出する処理ともいえる。しかし、係数ｄは視聴者の移動速度ｖに応じて連続関数により算出されてもよい。画像処理装置３は、係数ｄを例えば次の（３）式により算出してもよい。
ｄ＝α×ｖ＋β  ・・・（３）
α及びβは、予め決められた係数である。
更には、係数ｄは、視聴者の移動速度ｖを変数とする様々な関数を利用して算出されてもよい。すなわち、係数ｄの算出方法は任意に選択されてよい。算出されたｄは、正値になる場合もあるし、負値になる場合もある。
【００６９】
図８は、図６Ａの立体画像Ｔを構成する各オブジェクトの奥行関係を示す説明図である。図８は、係数ｄ＞０である場合について、変更後の各オブジェクトの奥行関係を示している。また、図８は、（１）式に基づいて変更した後の各オブジェクトの奥行値を、奥行位置の違いとして示している。
背景オブジェクトＯ４はＰ４の位置からＰｎｅｗ４の位置へ、三角形オブジェクトＯ３はＰ３の位置からＰｎｅｗ３の位置へ移動している。円形オブジェクトＯ２はＰ２の位置からＰｎｅｗ２の位置へ、矩形オブジェクトＯ１はＰ１の位置からＰｎｅｗ１の位置へ移動している。
【００７０】
図９は、図６Ａの立体画像Ｔを構成する各オブジェクトの奥行関係を示す説明図である。図９は、（２）式に基づいて変更した後の各オブジェクトの奥行値を、奥行位置の違いとして示している。
画面よりも奥行方向のＰ４に位置する背景オブジェクトＯ４は、奥行方向のＰｎｅｗ４の位置へ移動している。画面よりも奥行方向のＰ３に位置する三角形オブジェクトＯ３は、奥行方向のＰｎｅｗ３の位置へ移動している。画面よりも飛び出し方向のＰ２に位置する円形オブジェクトＯ２は、飛び出し方向のＰｎｅｗ２の位置へ移動している。画面よりも飛び出し方向のＰ１に位置する矩形オブジェクトＯ１は、飛び出し方向のＰｎｅｗ１の位置へ移動している。
【００７１】
画像処理部３０３は、変更後の奥行値Ｄｎｅｗに基づいて、立体画像に係る左目用画像及び右目用画像を編集する。
図１０は、編集前後の左目用画像ＰＬｏｒｇ、ＰＬｎｅｗ及び右目用画像ＰＲｏｒｇ、ＰＲｎｅｗの一例を示す説明図である。図１０Ａは編集前の左目用画像ＰＬｏｒｇ、図１０Ｂは編集前の右目用画像ＰＲｏｒｇを示す。図１０Ｃは編集後の左目用画像ＰＬｎｅｗ、図１０Ｄは編集後の右目用画像ＰＲｎｅｗを示す。図１０Ｃ及び図１０Ｄにおけるｑは、編集前後のオブジェクトの位置移動量に対応する画素数を示す。
【００７２】
編集前の左目用画像ＰＬｏｒｇと右目用画像ＰＲｏｒｇとは、夫々を構成する各オブジェクトの位置がずれており、このずれがなす視差により視聴者は、各オブジェクトの立体感を認識することができる。
画像処理部３０３は、例えばｄ＞０の場合、編集前の各オブジェクトのずれがｑ画素だけさらに拡大する方向に、各オブジェクトの位置を横方向にシフトさせた左目用画像ＰＬｎｅｗ及び右目用画像ＰＲｎｅｗを生成する。そのために、画像処理部３０３は、奥行値Ｄｎｅｗに基づいてｑを算出する。あるいは、画像処理部３０３は、奥行値Ｄｎｅｗをｑに変換する。画像処理部３０３は、算出又は変換したｑに基づいて、左目用画像ＰＬｏｒｇの各オブジェクトを右方向にｑ／２画素だけシフトさせる編集により、左目用画像ＰＬｎｅｗを生成する。また、画像処理部３０３は、算出又は変換したｑに基づいて、右目用画像ＰＲｏｒｇの各オブジェクトを左方向にｑ／２画素だけシフトさせる編集により、右目用画像ＰＲｎｅｗを生成する。
【００７３】
ｄ＞０である場合、（１）式により奥行値Ｄｎｅｗを算出したとき、編集前の各オブジェクトのずれがｑ画素だけ拡大することにより、立体画像Ｔにおける各オブジェクトは飛び出し方向にシフトされ、立体画像Ｔ全体の飛び出しの度合いが強調されることになる。ｄの値が小さい場合、立体画像Ｔの飛び出しの強調度合いは小さくなり、ｄの値が大きい場合、立体画像Ｔの飛び出しの強調度合いは大きくなる。
一方でｄ＜０である場合、（１）式により奥行値Ｄｎｅｗを算出した時、編集前の各オブジェクトのずれがｑ画素だけ拡大する（但し、ずれが発生する方向はｄ＞０の場合と左右逆方向となる）ことにより、立体画像Ｔにおける各オブジェクトは全体的に奥行方向にシフトされ、立体画像Ｔの奥行の度合いが強調されることになる。ｄの値が小さい場合、立体画像Ｔの奥行強調の度合いは小さくなり、ｄの値が大きい場合、立体画像Ｔの奥行強調の度合いは大きくなる。
【００７４】
画像出力部３０４は、画像処理部３０３が編集及び生成した立体画像（左目用画像ＰＬｎｅｗ及び右目用画像ＰＲｎｅｗ）を、所定の立体画像伝送フォーマットに従って変換する。画像出力部３０４は、変換した立体画像を表示装置４に出力する。
なお、画像出力部３０４が立体画像を変換するための立体画像伝送フォーマットは、例えばサイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式、ラインバイライン方式、チェッカーボード方式等を含む。
【００７５】
図１１は、奥行値変更処理及び立体画像生成処理の手順の一例を示すフローチャートである。すなわち、図１１の処理は、図５のステップＳ１０３及びステップＳ１０４に対応する。
ＣＰＵ３１は、取得した立体画像から１フレーム分の左目用画像ＰＬｏｒｇ及び右目用画像ＰＲｏｒｇを受け付ける（ステップＳ３０１）。ＣＰＵ３１は、受け付けた１フレーム分の左目用画像ＰＬｏｒｇ及び右目用画像ＰＲｏｒｇから奥行値Ｄｏｒｇを抽出する（ステップＳ３０２）。ＣＰＵ３１は、取得した視聴者の移動速度ｖに基づいて、係数ｄの決定処理を実行する（ステップＳ３０３）。ステップＳ３０３は、例えば図７に示した処理に対応する。ＣＰＵ３１は、奥行値Ｄｏｒｇ及び係数ｄを用いて、奥行値Ｄｎｅｗを算出する（ステップＳ３０４）。ＣＰＵ３１は、奥行値Ｄｎｅｗに対応する各オブジェクトのシフト量ｑを算出する（ステップＳ３０５）。ＣＰＵ３１は、シフト量ｑに基づいて、編集前の左目用画像ＰＬｏｒｇ及び右目用画像ＰＲｏｒｇを編集することにより、編集後の左目用画像ＰＬｎｅｗ及び右目用画像ＰＲｎｅｗを生成し（ステップＳ３０６）、リターンする。
【００７６】
本実施の形態では、視聴者の移動速度ｖに応じて左目用画像及び右目用画像におけるオブジェクトの位置を変更した。かかる変更は、両眼立体情報の変更である。しかし、画像処理装置３は、視聴者の移動速度ｖに応じて単眼立体情報を変更してもよい。すなわち、画像処理装置３は、例えば奥行値Ｄｎｅｗに基づいて、左目用画像及び右目用画像におけるオブジェクトの単眼立体情報を変更してもよい。
単眼立体情報は、オブジェクトの大きさ、上下位置及び運動速度を含む。視聴者は、小さいオブジェクトは遠く、大きいオブジェクトは近くに感じる。視聴者は、上にあるオブジェクトは遠く、下にあるオブジェクトは近くに感じる。視聴者は、遅く動くオブジェクトは遠く、速く動くオブジェクトは近くに感じる。
単眼立体情報は、彩度、明度、濃淡及び色相を含む。視聴者は、霞んだオブジェクトは遠く、鮮明なオブジェクトは近くに感じる。視聴者は、暗いオブジェクトは遠く、明るいオブジェクトは近くに感じる。視聴者は、淡い色のオブジェクトは遠く、濃い色のオブジェクトは近くに感じる。視聴者は、寒色のオブジェクトは遠く、暖色のオブジェクトは近くに感じる。
【００７７】
本実施の形態では、移動速度ｖは視聴者による徒歩、走行等の速度であった。しかし、移動速度ｖは、視聴者が乗車する自転車、モーターサイクル、自動車等の速度でもよい。例えば、視聴者がバスに乗車し、乗車したバスによる移動途中に、目に入る車外の電子看板における立体画像を視聴するということがある。かかる場合、視聴者にとって高速で通り過ぎる電子看板であっても、バスの移動速度に応じて立体感を強調した立体画像を表示することにより、高い広告効果を見込むことができる。
【００７８】
画像処理装置３によれば、視聴者の移動速度ｖに応じて立体画像を構成する左目用画像及び右目用画像におけるオブジェクトの位置を変更することができる。
視聴者の移動速度ｖに応じて、画像処理装置３は立体画像の奥行値を変更することにより、奥行又は飛び出しの度合いが変更される。そのため、視聴者が足早に表示装置４の前を移動する場合、画像処理装置３は奥行又は飛び出しの度合いが強調された立体画像を生成する。視聴者がゆっくりと表示装置４の前を移動する場合、画像処理装置３は奥行又は飛び出しの度合いを少しだけ強調した立体画像を生成する。また、視聴者が表示装置４の前で足を止めている場合、画像処理装置３は例えば立体画像を編集せず、オリジナルソースの立体画像を表示装置４に出力する。これにより、画像処理装置３は、例えば表示装置４に表示する立体画像が広告に関する内容を有する場合、高い広告効果を奏することができる。
【符号の説明】
【００７９】
１      画像記憶装置
２      速度検出装置
３      画像処理装置
３１    ＣＰＵ（変更手段、抽出手段、奥行値変更手段、決定手段、変換手段）
３９    入出力インタフェース（受付手段、取得手段、出力する手段）
３０１  画像取得部（受付手段）
３０２  移動速度取得部（取得手段）
３０３  画像処理部（変更手段、抽出手段、奥行値変更手段、決定手段）
３０４  画像出力部（変換手段、出力する手段）
４      表示装置
５      立体画像変換装置
Ｎ      ネットワーク
１Ｐ    プログラム
【図１】
2013196499.tif 000003
【図２】
2013196499.tif 000004
【図３】
2013196499.tif 000005
【図４】
2013196499.tif 000006
【図５】
2013196499.tif 000007
【図６】
2013196499.tif 000008
【図７】
2013196499.tif 000009
【図８】
2013196499.tif 000010
【図９】
2013196499.tif 000011
【図１０】
2013196499.tif 000012
【図１１】
2013196499.tif 000013