(57)【要約】【課題】映像酔いを防止した立体画像データを生成する。【解決手段】最大飛び出し画素存在可能領域設定部１１は、入力された画像データに対し、最大の飛び出し量を持つ画素が存在する可能性がある領域を設定する。最大飛び出し量算出部１２は、設定された前記領域内における画素の最大の飛び出し量を算出する。立体画像生成部１３は、算出された最大の飛び出し量に基づいて、立体画像データにおける画素の最大の飛び出し量を決定し、決定した最大の飛び出し量に基づいて、前記画像データから前記立体画像データを生成する。【選択図】図１
2014112794.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記入力手段により入力された前記画像データに対し、最大の飛び出し量を持つ画素が存在する可能性がある領域を設定する設定手段と、
前記設定手段により設定された前記領域内における画素の最大の飛び出し量を算出する算出手段と、
前記算出手段により算出された最大の飛び出し量に基づいて、立体画像データにおける画素の最大の飛び出し量を決定する決定手段と、
前記決定手段により決定された最大の飛び出し量に基づいて、前記画像データから前記立体画像データを生成する生成手段とを有することを特徴とする立体画像生成装置。
【請求項２】
前記決定手段は、前記算出手段により算出された最大の飛び出し量を超えないように、前記立体画像データにおける画素の最大の飛び出し量を決定することを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記設定手段は、前記入力手段により第１の時点に入力された第１の画像データにおける最大の飛び出し量の画素が、前記第１の時点より後の第２の時点に前記入力手段により入力された第２の画像データに存在する場合、前記第２の画像データにおける前記画素の位置に基づいて、前記領域を設定することを特徴とする請求項１又は２に記載の立体画像生成装置。
【請求項４】
前記設定手段は、前記第１の画像データにおける最大の飛び出し量の画素が前記第２の画像データに存在しない場合、前記第２の時点における前記画素の移動先を予測し、予測した前記画素の移動先に基づいて、前記領域を設定することを特徴とする請求項３に記載の立体画像生成装置。
【請求項５】
前記設定手段は、前記第１の時点と前記第２の時点との間にシーンチェンジが存在する場合、表示画面全体を前記領域として設定することを特徴とする請求項３又は４に記載の立体画像生成装置。
【請求項６】
前記設定手段により設定された前記領域の形状及び大きさのうちの少なくとも何れか一方を変更する変更手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の立体画像生成装置。
【請求項７】
立体画像生成装置によって実行される立体画像生成方法であって、
画像データを入力する入力ステップと、
前記入力ステップにより入力された前記画像データに対し、最大の飛び出し量を持つ画素が存在する可能性がある領域を設定する設定ステップと、
前記設定ステップにより設定された前記領域内における画素の最大の飛び出し量を算出する算出ステップと、
前記算出ステップにより算出された最大の飛び出し量に基づいて、立体画像データにおける画素の最大の飛び出し量を決定する決定ステップと、
前記決定ステップにより決定された最大の飛び出し量に基づいて、前記画像データから前記立体画像データを生成する生成ステップとを有することを特徴とする立体画像生成方法。
【請求項８】
画像データを入力する入力ステップと、
前記入力ステップにより入力された前記画像データに対し、最大の飛び出し量を持つ画素が存在する可能性がある領域を設定する設定ステップと、
前記設定ステップにより設定された前記領域内における画素の最大の飛び出し量を算出する算出ステップと、
前記算出ステップにより算出された最大の飛び出し量に基づいて、立体画像データにおける画素の最大の飛び出し量を決定する決定ステップと、
前記決定ステップにより決定された最大の飛び出し量に基づいて、前記画像データから前記立体画像データを生成する生成ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像データを生成する技術に関するものである。
【背景技術】
【０００２】
デジタル技術の進歩により、立体画像の撮影や編集が可能な立体画像生成装置が普及しつつある。例えば、従来大掛かりな装置が必要であった立体画像の撮影は、手持ちのカムコーダで可能となっている。このような立体画像生成装置の普及に伴い、流布する立体画像の数も急激に増加している。
【０００３】
人間は、視差や輻輳又は眼球の焦点調整作用により立体感を覚えている。自然視では、視差や輻輳で認識した対象物の位置と、眼球の焦点調整作用で認識した対象物の位置とが一致しており、違和感を覚えることはない。しかし、立体画像表示装置で表示された立体画像を見ると、視差や輻輳で認識した対象物の位置は、立体画像表示装置の表示面に対して手前方向又は奥方向であるのに対して、眼球の焦点調整作用で認識した対象物の位置は、立体画像表示装置の表示面上になる。従って、対象物の位置情報に不一致が生じ、違和感を覚えることになる。さらに、対象物が移動すると、視差や輻輳で認識した対象物の位置と眼球の焦点調整作用で認識した対象物の位置との差異が変化する。この位置情報の差異の変化により上述した違和感はますます増加し、その結果、より大きな疲労感を覚えたり、又は、頭痛を感じたり吐き気を催す。このような状態を映像酔いと称している。即ち、立体画像の鑑賞は、平面画像の鑑賞と比較して、映像酔いを引き起こしやすいといえる。
【０００４】
一般消費者が家庭用の機器で作成された立体画像は、映像酔いの防止に十分配慮されているとは限らない。従って、一般消費者により作成された立体画像は、映像酔いを引き起こす虞が比較的高いといえる。一方、専門的な知識を有する者が映像酔いの防止に十分配慮して作成した立体画像は、映像酔いを引き起こす虞は相対的に低いといえる。しかし、視聴者の体調や視聴環境によっては、映像酔いの防止に十分配慮して作成された立体画像であっても、映像酔いを引き起こす可能性が存在する。
【０００５】
特許文献１及び２には、立体画像による映像酔いを軽減するための技術が開示されている。即ち、特許文献１に開示される技術は、視聴者の視線変移量が閾値を超えた場合、急激な変化の少ない画像に差替えて表示させることにより、視聴者の映像酔いを防止するものである。特許文献２に開示される技術は、視差調整情報に基づき視差量を調整し、調整後の視差量を基に立体画像を生成することにより、違和感を軽減し映像酔いを防止するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６６９８９号公報
【特許文献２】特開２０１１−３５７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示される技術は、視聴者の視線変移量に基づき映像酔いの防止を図る技術であるため、視聴者の視線変移量を計測する手段を有しない立体画像表示装置では実施することができない。同様の理由で、特許文献１に開示される技術は、映像酔いの発生を抑止した立体画像の制作に適用することはできない。さらに、特許文献１に開示される技術は、視聴者が複数である場合、視線変移量は視聴者毎に異なることがあるため、対応が難しい。また、特許文献２に開示される技術は、視線変移は考慮していないため、視線変移により発生する映像酔いを防止することができない。
【０００８】
そこで、本発明の目的は、映像酔いを防止した立体画像データを生成することにある。
【課題を解決するための手段】
【０００９】
本発明の立体画像生成装置は、画像データを入力する入力手段と、前記入力手段により入力された前記画像データに対し、最大の飛び出し量を持つ画素が存在する可能性がある領域を設定する設定手段と、前記設定手段により設定された前記領域内における画素の最大の飛び出し量を算出する算出手段と、前記算出手段により算出された最大の飛び出し量に基づいて、立体画像データにおける画素の最大の飛び出し量を決定する決定手段と、前記決定手段により決定された最大の飛び出し量に基づいて、前記画像データから前記立体画像データを生成する生成手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、映像酔いを防止した立体画像データを生成することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る立体画像生成装置の構成を示す図である。
【図２】本発明の第１の実施形態における最大飛び出し画素存在可能領域設定部の詳細な構成を示す図である。
【図３】移動先座標予測部の詳細な構成を示す図である。
【図４】最大飛び出し画素存在可能領域選択部の処理を示すフローチャートである。
【図５】立体画像生成部による立体画像データの視差量の決定処理を示すフローチャートである。
【図６】比較例における立体画像データと最大飛び出し画素の位置との一例を示す図である。
【図７】比較例における立体画像データと最大飛び出し画素の位置との一例を示す図である。
【図８】本発明の実施形態に係る立体画像生成装置により生成される立体画像データと最大飛び出し画素の位置との一例を示す図である。
【図９】本実施形態に係る立体画像生成装置により生成される立体画像データと最大飛び出し画素の位置との一例を示す図である。
【図１０】時刻ｎから時刻ｎ＋６までの、最大飛び出し画素の位置の変移について説明するための図である。
【図１１】本発明の第２の実施形態に係る立体画像生成装置の構成を示す図である。
【図１２】本発明の第２の実施形態における最大飛び出し画素存在可能領域設定部の詳細な構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。但し、本発明の要旨を逸脱しない範囲で適宜構成を変更することが可能である。従って、本発明の適用範囲は、以下に説明する実施形態に限定されない。なお、以下の説明においては、同一の機能を有する構成には、原則として同一の符号を付し、重複した説明は省略するものとする。
【００１３】
本発明の実施形態の説明に先立ち、立体画像の結像位置の関係について説明する。立体画像を眼球で見ると、両眼の視差や輻輳により脳内で画像の融合が起こり、あたかも表示面から像が飛び出しているように視聴者は認識する。このとき、飛び出し量は、視聴者に近い対象ほど大きく、視聴者から遠い対象ほど小さい。
【００１４】
図１は、本発明の第１の実施形態に係る立体画像生成装置の構成を示す図である。図１に示すように、本実施形態に係る立体画像生成装置は、最大飛び出し画素存在可能領域設定部１１、最大飛び出し量算出部１２、及び、立体画像生成部１３を備える。なお、最大飛び出し画素存在可能領域設定部１１、最大飛び出し量算出部１２及び立体画像生成部１３は、立体画像生成装置内の不図示のＣＰＵが、ＲＯＭ等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより実現する機能構成である。他の実施形態として、最大飛び出し画素存在可能領域設定部１１、最大飛び出し量算出部１２及び立体画像生成部１３のうちの少なくとも一部をハードウェアで実装してもよい。
【００１５】
最大飛び出し画素存在可能領域設定部１１は、次時刻において最大の飛び出し量を持つ画素が存在する可能性がある領域を示す座標値１０２を算出して出力する。以下では、「最大の飛び出し量を持つ画素」を「最大飛び出し画素」と称し、また、「最大の飛び出し量を持つ画素が存在する可能性がある領域」を「最大飛び出し画素存在可能領域」と称する。
【００１６】
図２は、最大飛び出し画素存在可能領域設定部１１の詳細な構成を示す図である。図２に示すように、最大飛び出し画素存在可能領域設定部１１は、移動先座標検出部２１、移動先座標予測部２２、シーンチェンジ判定部２３、最大飛び出し画素存在可能領域選択部２４、及び、遅延部２５を備える。
【００１７】
移動先座標検出部２１は、現時刻の最大飛び出し画素が次時刻で存在する座標値、即ち、移動先座標を検出する。本実施形態では、現時刻の画像データと次時刻の画像データとの相関関係から画素の移動量や移動先座標を検出する、画像相関法を適用するが、これに限定されるものではない。なお、上記現時刻は、第１の時点の例であり、上記次時刻は、第２の時点の例である。また、上記現時刻の画像データは、第１の画像データの例であり、上記次時刻の画像データは、第２の画像データの例である。
【００１８】
遅延部２５は、次時刻の入力画像データ１０１と時刻を一致させるために、現時刻の入力画像データ１０１を一単位時間遅延させる。移動先座標検出部２１は、遅延部２５により遅延された現時刻の入力画像データ１１１と次時刻の入力画像データ１０１との相関関係をとり、移動先座標１１２と移動先座標の存在有無１１３とを検出する。ここで、最大飛び出し画素存在可能領域の座標値１０２を算出するには、現時刻の最大飛び出し画素の移動先座標とその存在有無のみが必要であり、それ以外の画素については不要である。従って、移動先座標検出部２１は、現時刻の最大飛び出し画素の座標値１０３が示す画素に対してのみ、移動先座標１１２と移動先座標の存在有無１１３とを検出する。移動先座標の存在有無１１３は、移動先座標１１２が存在する場合、ＴＲＵＥの値をとり、一方、移動先座標１１２が存在しない場合、ＦＡＬＳＥの値をとる。
【００１９】
移動先座標予測部２２は、現時刻の最大飛び出し画素が次時刻で存在するであろう移動先座標を予測し、予測座標値１１４として出力する。本実施形態では、動きベクトルを用いて移動先座標を予測するが、これに限定されるものではない。
【００２０】
図３は、移動先座標予測部２２の詳細な構成を示す図である。図３に示すように、移動先座標予測部２２は、動きベクトル算出部２６、移動先座標演算部２８及び遅延部２５を備える。
【００２１】
動きベクトル算出部２６は、次時刻の入力画像データ１０１と、遅延後の現時刻の入力画像データ１１１とから動きベクトル１１６を算出する。遅延部２５は、動きベクトル１１６の時刻を、現時刻の最大飛び出し画素の座標値１０３に合わせて、遅延後の動きベクトル１１６を生成する。移動先座標演算部２８は、遅延後の動きベクトル１１７と現時刻の最大飛び出し画素の座標値１０３とをベクトル演算して、予測座標値１１４を算出する。なお、予測座標値１１４の算出方法は、上述した動きベクトルを利用した方法に限定されない。
【００２２】
シーンチェンジ判定部２３は、現時刻と次時刻との間でシーンチェンジの有無を判定し、シーンチェンジフラグ１１５を出力する。現時刻と次時刻との間でシーンチェンジが有る場合、シーンチェンジフラグ１１５はＴＲＵＥの値をとり、一方、シーンチェンジが無い場合、シーンチェンジフラグ１１５はＦＡＬＳＥの値をとる。なお、シーンチェンジの判定手法としては、例えば、次の文献により開示される動きベクトルを用いた手法を適用することが可能である。
＜文献＞
曽根原源等：動きベクトルを用いたシーン・チェンジ検出、映像情報メディア学会年次大会講演予稿集、１９９７−０７−２９、ｐｐ  ３０４（１９９７）
【００２３】
最大飛び出し画素存在可能領域選択部２４は、移動先座標１１２、移動先座標の存在有無１１３及びシーンチェンジフラグ１１５に基づいて、以下の方針で、最大飛び出し画素存在可能領域の座標値１０２を生成する。ここで、Ｐｘを予測座標値１１４のＸ成分とし、Ｐｙを予測座標値１１４のＹ成分とする。また、表示面の水平方向の大きさをＤｘとし、垂直方向の大きさをＤｙとし、表示面の左上の画素を原点（０，０）とする。従って、画素の座標（Ｉｘ，Ｉｙ）がとる範囲は、｛Ｉｘ：０＜＝Ｉｘ＜＝Ｄｘ−１｝、｛Ｉｙ：０＜＝Ｉｙ＜＝Ｄｙ−１｝になる。
【００２４】
・方針１
現時刻の最大飛び出し画素が次時刻で存在する場合（移動先座標の存在有無１１３＝＝ＴＲＵＥ）、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域の中心が移動先座標１１２となるように、最大飛び出し画素存在可能領域の座標値１０２を算出する。
【００２５】
・方針２
現時刻の最大飛び出し画素が次時刻で存在せず、且つ、シーンチェンジが有る場合（移動先座標の存在有無１１３＝＝ＴＲＵＥ  ＡＮＤ  シーンチェンジフラグ１１５＝＝ＴＲＵＥ）、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域を表示画面全体に決定する。
【００２６】
・方針３
現時刻の最大飛び出し画素が次時刻で存在せず、シーンチェンジが無く、且つ、予測座標値１１４が表示画面内である場合｛移動先座標の存在有無１１３＝＝ＦＡＬＳＥ  ＡＮＤ  シーンチェンジフラグ１１５＝＝ＦＡＬＳＥ  ＡＮＤ  （０＜＝Ｐｘ＜＝Ｄｘ−１）  ＡＮＤ  （０＜＝Ｐｙ＜＝Ｄｙ−１）｝、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域の中心が予測座標値１１４となるように、最大飛び出し画素存在可能領域の座標値１０２を算出する。
【００２７】
・方針４
現時刻の最大飛び出し画素が次時刻で存在せず、シーンチェンジが無く、且つ、予測座標値１１４が表示画面外である場合｛移動先座標の存在有無１１３＝＝ＦＡＬＳＥ  ＡＮＤ  シーンチェンジフラグ１１５＝＝ＦＡＬＳＥ  ＡＮＤ  （０＞Ｐｘ  ＯＲ  Ｄｘ＜Ｐｘ）  ＯＲ  （０＞Ｐｙ  ＯＲ  Ｄｙ＜Ｐｙ）｝、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域の中心が現時刻の最大飛び出し画素の座標値１０３となるように、最大飛び出し画素存在可能領域の座標値１０２を算出する。
【００２８】
現時刻の最大飛び出し画素が次時刻で存在せず、且つ、シーンチェンジが有る場合を除き、最大飛び出し画素存在可能領域の形状や大きさは、表示画面の大きさや特性に依存して決定される。例えば、視野角を用いて、最大飛び出し画素存在可能領域の形状や大きさを決定してもよい。
【００２９】
図４は、最大飛び出し画素存在可能領域選択部２４の処理を示すフローチャートである。ステップＳ１０１において、最大飛び出し画素存在可能領域選択部２４は、現時刻の最大飛び出し画素が次時刻に存在するか否かを判定する。最大飛び出し画素が次時刻に存在する場合、処理はステップＳ１０２に移行する。一方、最大飛び出し画素が次時刻に存在しない場合、処理はステップＳ１０３に移行する。
【００３０】
ステップＳ１０２において、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域の中心が移動先座標１１２となるように、最大飛び出し画素存在可能領域の座標値１０２を算出する（方針１）。ステップＳ１０３において、最大飛び出し画素存在可能領域選択部２４は、シーンチェンジが有るか否かを判定する。シーンチェンジが有る場合、処理はステップＳ１０４に移行する。一方、シーンチェンジが無い場合、処理はステップＳ１０５に移行する。
【００３１】
ステップＳ１０４において、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域を表示画面全体に決定する（方針２）。ステップＳ１０５において、最大飛び出し画素存在可能領域選択部２４は、予測座標値１１４が表示画面内であるか否かを判定する。予測座標値１１４が表示画面内である場合、処理はステップＳ１０６に移行する。一方、予測座標値１１４が表示画面内でない場合、処理はステップＳ１０７に移行する。
【００３２】
ステップＳ１０６において、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域の中心が予測座標値１１４となるように、最大飛び出し画素存在可能領域の座標値１０２を算出する（方針３）。ステップＳ１０７において、最大飛び出し画素存在可能領域選択部２４は、最大飛び出し画素存在可能領域の中心が現時刻の最大飛び出し画素の座標値１０３となるように、最大飛び出し画素存在可能領域の座標値１０２を算出する（方針４）。
【００３３】
次に、最大飛び出し量算出部１２の処理について説明する。最大飛び出し量算出部１２は、入力画像データ１０１に対して最大飛び出し画素存在可能領域の範囲内で、最大飛び出し画素の座標値１０３と、最大飛び出し画素の飛び出し量１０４とを算出する。飛び出し量は視差に比例するため、最大飛び出し量算出部１２は、最大飛び出し画素存在可能領域の範囲内で最も大きな視差を持つ画素の座標値を最大飛び出し画素の座標値１０３とし、その視差量を最大飛び出し画素の飛び出し量１０４として決定する。最大飛び出し画素存在可能領域の範囲内で最も大きな視差を持つ画素が複数存在する場合、最大飛び出し量算出部１２は、最大飛び出し画素存在可能領域の中心に最も近い画素の座標値を最大飛び出し画素の座標値１０３として決定する。また、最大飛び出し量算出部１２は、その視差量を最大飛び出し画素の飛び出し量１０４として決定する。さらに、最も大きな視差を持つ画素が、最大飛び出し画素存在可能領域の中心から最も近い距離に複数存在する場合、最大飛び出し量算出部１２は、該当する画素の中から任意に選択した画素の座標値を最大飛び出し画素の座標値１０３として決定する。そして、最大飛び出し量算出部１２は、その視差量を最大飛び出し画素の飛び出し量１０４として決定する。
【００３４】
次に、立体画像生成部１３の処理について説明する。立体画像生成部１３は、入力画像データ１０１から立体画像データ１０５を生成する。立体画像データ１０５の生成にあたり、立体画像データ１０５の飛び出し量、即ち、立体画像データ１０５の視差量は、最大飛び出し画素の飛び出し量１０４を超えないように決定される。
【００３５】
図５は、立体画像生成部１３による立体画像データ１０５の視差量の決定処理を示すフローチャートである。ステップＳ２０１において、立体画像生成部１３は、入力画像データ１０１の或る画素が有する視差量、又は、当該入力画像データ１０１に付加される視差量が、最大飛び出し画素の飛び出し量１０４を超過しているか否かを判定する。最大飛び出し画素の飛び出し量１０４を超過している場合、処理はステップＳ２０２に移行する。一方、最大飛び出し画素の飛び出し量１０４を超過していない場合、即ち、入力画像データ１０１の或る画素が有する視差量、又は、当該入力画像データ１０１に付加される視差量が、最大飛び出し画素の飛び出し量１０４以下である場合、処理はステップＳ２０３に移行する。
【００３６】
ステップＳ２０２において、立体画像生成部１３は、立体画像データ１０５の視差量を、最大飛び出し画素の飛び出し量１０４に抑止して決定する。ステップＳ２０３において、立体画像生成部１３は、立体画像データ１０５の視差量を、入力画像データ１０１の画素が有する視差量、又は、当該入力画像データ１０１に付加される視差量に決定する。
【００３７】
図６及び図７は、比較例における立体画像データと最大飛び出し画素の位置との一例を示す図である。これに対し、図８及び図９は、本実施形態に係る立体画像生成装置により生成される立体画像データと最大飛び出し画素の位置との一例を示す図である。以下、図６乃至図９を用いて、比較例と本実施形態とにおいて与えられる最大飛び出し画素の位置の違いについて説明する。
【００３８】
先ず、図６及び図７を参照しながら、比較例における立体画像データと最大の飛び出し画素の位置との関係について説明する。図６は、時刻ｎから時刻ｎ＋３までの状態を示し、図７は、時刻ｎ＋３から時刻ｎ＋６までの状態を示している。
【００３９】
（時刻ｎ）
図６（ａ）は、時刻ｎの立体画像データを示している。図６（ａ）に示す時刻ｎの立体画像データには、人物Ａ４１のみが映っている。時刻ｎの立体画像データにおいて、最も手前に存在するのは、人物Ａ４１の鼻であるから、図６（ｅ）に示すように、最大飛び出し画素１２１は、人物Ａ４１の鼻に該当する。
【００４０】
（時刻ｎ＋１）
図６（ｂ）は、時刻ｎ＋１の立体画像データを示している。図６（ｂ）に示す時刻ｎ＋１の立体画像データでは、人物Ａ４１の手前に人物Ｂ４２が出現している。時刻ｎ＋１の立体画像データにおいて、最も手前に存在するのは、人物Ｂ４２の鼻であるから、図６（ｆ）に示すように、最大飛び出し画素１２１は、人物Ｂ４２の鼻に該当する。
【００４１】
（時刻ｎ＋２）
図６（ｃ）は、時刻ｎ＋２の立体画像データを示している。図６（ｃ）に示すように、時刻ｎ＋２の立体画像データでは、人物Ｂ４２が表示画面から消え、人物Ａ４１が手前に出ている。時刻ｎ＋２の立体画像データにおいて、最も手前に存在するのは、人物Ａ４１の鼻であるから、図６（ｇ）に示すように、最大飛び出し画素１２１は、人物Ａ４１の鼻に該当する。但し、人物Ａ４１が手前に移動しているため、最大飛び出し画素１２１の位置は、時刻ｎとは異なる。
【００４２】
（時刻ｎ＋３）
図６（ｄ）及び図７（ａ）は、時刻ｎ＋３の立体画像データを示している。図６（ｄ）及び図７（ａ）に示す時刻ｎ＋３の立体画像データでは、ボールＡ４３が表示画面の右側で且つ人物Ａ４１の手前に出現する。時刻ｎ＋３の立体画像データにおいて、最も手前に存在するのは、ボールＡ４３であるから、図６（ｈ）及び図７（ｅ）に示すように、最大飛び出し画素１２１は、ボールＡ４３に該当する。
【００４３】
（時刻ｎ＋４）
図７（ｂ）は、時刻ｎ＋４の立体画像データを示している。図７（ｂ）に示す時刻ｎ＋４の立体画像データでは、ボールＡ４３が人物Ａ４１の表示画面の前面に映り、ボールＢ４４が表示画面の右側に映っている。ボールＢ４４はボールＡ４３より手前に存在し、最も手前に存在するのはボールＢ４４であるから、図７（ｆ）に示すように、最大飛び出し画素１２１は、ボールＢ４４に該当する。
【００４４】
（時刻ｎ＋５）
図７（ｃ）は、時刻ｎ＋５の立体画像データを示している。図７（ｃ）に示す時刻ｎ＋５の立体画像データでは、ボールＡ４３が表示画面から消え、人物Ａ４１とボールＢ４４とが映っている。ボールＢ４４は時刻ｎ＋４より更に手前に存在し、最も手前に存在するのはボールＢ４４であるから、図７（ｇ）に示すように、最大飛び出し画素１２１は、ボールＢ４４に該当する。但し、ボールＢ４４が手前に移動しているため、最大飛び出し画素１２１の位置は、時刻ｎ＋４とは異なる。
【００４５】
（時刻ｎ＋６）
図７（ｄ）は、時刻ｎ＋６の立体画像データを示している。図７（ｃ）及び図７（ｄ）に示すように、時刻ｎ＋５と時刻ｎ＋６との間にはシーンチェンジが存在し、時刻ｎ＋５と時刻ｎ＋６とは異なる映像になる。時刻ｎ＋６の立体画像データにおいて、最も手前に存在するのは自動車４５であるから、図７（ｈ）に示すように、最大飛び出し画素１２１は、自動車の左前方に該当する。
【００４６】
次に、図８及び図９を参照しながら、本実施形態における立体画像データと最大の飛び出し画素の位置との関係について説明する。図８は、時刻ｎから時刻ｎ＋３までの状態を示し、図９は、時刻ｎ＋３から時刻ｎ＋６までの状態を示している。また、本実施形態では、最大飛び出し画素存在可能領域５１の形状を楕円としている。勿論、最大飛び出し画素存在可能領域５１の形状は、楕円に限定されるものではない。
【００４７】
（時刻ｎ）
図８（ａ）は、時刻ｎの立体画像データを示している。図８（ａ）に示す時刻ｎの立体画像データには、人物Ａ４１のみが映っている。時刻ｎの立体画像データにおいて、最も手前に存在するのは、人物Ａ４１の鼻であるから、図８（ｅ）に示すように、最大飛び出し画素１２１は、人物Ａ４１の鼻に該当する。
【００４８】
（時刻ｎ＋１）
図８（ｂ）は、時刻ｎ＋１の立体画像データを示している。図８（ｂ）に示す時刻ｎ＋１の立体画像データでは、人物Ａ４１の手前に人物Ｂ４２が出現している。図８（ｅ）に示す最大飛び出し画素１２１である人物Ａ４１の鼻は、時刻ｎ＋１の立体画像データにおいても存在している。従って、移動先座標の存在有無１１３の値は、ＴＲＵＥとなる。よって、最大飛び出し画素存在可能領域設定部１１は、方針１に従って、最大飛び出し画素の移動先座標１１２を中心に、最大飛び出し画素存在可能領域５１を設定する。そして、最大飛び出し量算出部１２は、最大飛び出し画素存在可能領域５１内で最大の飛び出し量を持つ画素を、最大飛び出し画素１２１に決定する。
【００４９】
図８（ｆ）に示すように、最大飛び出し画素１２１は、人物Ａ４１の鼻に該当する。立体画像生成部１３は、最大飛び出し画素１２１の飛び出し量以下になるように、飛び出し量を抑止した立体画像データを生成する。これにより、図７（ｆ）に示すように、人物Ｂ４２の鼻に最大飛び出し画素１２１が与えられた場合に比べ、人物Ｂ４２の飛び出し量が抑止される。
【００５０】
（時刻ｎ＋２）
図８（ｃ）は、時刻ｎ＋２の立体画像データを示している。図８（ｃ）に示す時刻ｎ＋２の立体画像データでは、人物Ｂ４２が表示画面から消え、人物Ａ４１が手前に出ている。時刻ｎ＋１の最大飛び出し画素１２１、即ち、人物Ａ４１の鼻は、時刻ｎ＋２の立体画像データにおいても存在している。従って、移動先座標の存在有無１１３の値は、ＴＲＵＥとなる。よって、最大飛び出し画素存在可能領域設定部１１は、方針１に従って、最大飛び出し画素の移動先座標１１２を中心に、最大飛び出し画素存在可能領域５１を設定する。そして、最大飛び出し量算出部１２は、最大飛び出し画素存在可能領域５１内で最大の飛び出し量を持つ画素を、最大飛び出し画素１２１に決定する。
【００５１】
図８（ｇ）に示すように、最大飛び出し画素１２１は人物Ａ４１の鼻に該当する。但し、人物Ａ４１が手前に移動しているため、最大飛び出し画素１２１の位置は、時刻ｎ＋１とは異なる。
【００５２】
（時刻ｎ＋３）
図８（ｄ）及び図９（ａ）は、時刻ｎ＋３の立体画像データを示している。図８（ｄ）及び図９（ａ）に示す時刻ｎ＋３の立体画像データでは、ボールＡ４３が表示画面の右側で且つ人物Ａ４１の手前に出現している。時刻ｎ＋２の最大飛び出し画素１２１、即ち、人物Ａ４１の鼻は、時刻ｎ＋３の立体画像データ上に存在している。従って、移動先座標の存在有無１１３の値は、ＴＲＵＥとなる。よって、最大飛び出し画素存在可能領域設定部１１は、方針１に従って、最大飛び出し画素の移動先座標１１２を中心に、最大飛び出し画素存在可能領域５１を設定する。そして、最大飛び出し量算出部１２は、最大飛び出し画素存在可能領域５１内で最大の飛び出し量を持つ画素を、最大飛び出し画素１２１に決定する。
【００５３】
図８（ｈ）に示すように、最大飛び出し画素１２１は、人物Ａ４１の鼻に該当する。立体画像生成部１３は、最大飛び出し画素１２１の飛び出し量以下になるように、飛び出し量を抑止した立体画像データを生成する。これにより、図６（ｆ）に示すように、ボールＡ４３に最大飛び出し画素１２１が与えられた場合に比べ、ボールＡ４３の飛び出し量が抑止される。
【００５４】
（時刻ｎ＋４）
図９（ｂ）は、時刻ｎ＋４の立体画像データを示している。図９（ｂ）に示す時刻ｎ＋４の立体画像データでは、ボールＡ４３が人物Ａ４１の前面に映り、ボールＢ４４が表示画面の右側に映っている。時刻ｎ＋３の最大飛び出し画素１２１、即ち、人物Ａ４１の鼻は、時刻ｎ＋４の立体画像データ上では、ボールＡ４３に隠れて存在していない。従って、移動先座標の存在有無１１３の値は、ＦＡＬＳＥとなる。また、最大飛び出し画素の予測座標値１１４は、表示画面内に存在する。よって、最大飛び出し画素存在可能領域設定部１１は、方針３に従って、最大飛び出し画素の予測座標値１１４を中心に、最大飛び出し画素存在可能領域５１を設定する。そして、最大飛び出し量算出部１２は、最大飛び出し画素存在可能領域５１内で最大の飛び出し量を持つ画素を、最大飛び出し画素１２１に決定する。
【００５５】
図９（ｆ）に示すように、最大飛び出し画素１２１は、ボールＡ４３に該当する。立体画像生成部１３は、最大飛び出し画素１２１の飛び出し量以下になるように、飛び出し量を抑止した立体画像データを生成する。これにより、図７（ｆ）に示すように、ボールＢ４４に最大飛び出し画素１２１が与えられた場合に比べ、ボールＢ４４の飛び出し量が抑止される。
【００５６】
（時刻ｎ＋５）
図９（ｃ）は、時刻ｎ＋５の立体画像データを示している。図９（ｃ）に示す時刻ｎ＋５の立体画像データでは、ボールＡ４３が表示画面から消え、人物Ａ４１とボールＢ４４とが映っている。時刻ｎ＋５において、ボールＢ４４は、時刻ｎ＋４より更に手前に存在する。時刻ｎ＋４の最大飛び出し画素１２１、即ち、ボールＡ４３は、時刻ｎ＋５において表示画面から出てしまい、表示画面上に存在していない。従って、移動先座標の存在有無１１３の値はＦＡＬＳＥとなり、且つ、最大飛び出し画素の予測座標値１１４も表示画面外となる。よって、最大飛び出し画素存在可能領域設定部１１は、方針４に従って、時刻ｎ＋４の最大飛び出し画素１２１の座標を中心に、最大飛び出し画素存在可能領域５１を設定する。そして、最大飛び出し量算出部１２は、最大飛び出し画素存在可能領域５１内で最大の飛び出し量を持つ画素を、最大飛び出し画素１２１に決定する。
【００５７】
図９（ｇ）に示すように、最大飛び出し画素１２１は、人物Ａ４１の鼻に該当する。立体画像生成部１３は、最大飛び出し画素１２１の飛び出し量以下になるように、飛び出し量を抑止した立体画像データを生成する。これにより、図７（ｇ）に示すように、ボールＢ４４に最大飛び出し画素１２１が与えられた場合に比べ、ボールＢ４４の飛び出し量が抑止される。
【００５８】
（時刻ｎ＋６）
図７（ｄ）は、時刻ｎ＋６の立体画像データを示している。時刻ｎ＋５と時刻ｎ＋６との間にシーンチェンジが存在するため、時刻ｎ＋５と時刻ｎ＋６とでは異なる映像になる。よって、最大飛び出し画素存在可能領域設定部１１は、方針２に従って、表示画面全体で最大飛び出し量を持つ画素を、最大飛び出し画素１２１に決定する。時刻ｎ＋６の立体画像データにおいて、最も手前に存在するのは自動車４５であるから、図７（ｈ）に示すように、最大飛び出し画素１２１は、自動車の左前方に該当する。
【００５９】
次に、図１０を参照しながら、時刻ｎから時刻ｎ＋６までの、最大飛び出し画素１２１の位置の変移について説明する。図１０（ａ）は、比較例における最大飛び出し画素１２１が変移する経路を示している。図１０（ｂ）は、本実施形態における最大飛び出し画素１２１が変移する経路を示している。図１０において、カッコ内に記した数字は、最大飛び出し画素１２１の変移の順序を示す。
【００６０】
図１０（ａ）に示すように、比較例における最大飛び出し画素１２１の変移は大きく、しかも、変移方向が様々である。一方、図１０（ｂ）に示すように、本実施形態における最大飛び出し画素１２１の変移は小さい。また、変移方向は人物Ａ４１の移動方向に沿っている。
【００６１】
立体画像データにおいて飛び出し量が大きい領域に視聴者は注目するため、最大飛び出し画素１２１の変移が大きい場合、視線の変移も大きくなる。また、視線の変移が大きい場合、疲労の蓄積も大きく、映像酔いを引き起こしやすい。しかも、視線の変移方向が不規則である場合、映像酔いを引き起こしやすい。
【００６２】
従って、本実施形態によれば、最大飛び出し画素１２１の変移を抑止し、立体画像データの視聴に伴う視線の変移量を抑止することが可能となる。また、本実施形態によれば、最大飛び出し画素１２１の変移方向を制限することにより、映像酔いの大きな要因である不規則な視線の変移を防止することが可能となる。
【００６３】
次に、本発明の第２の実施形態について説明する。図１１は、本発明の第２の実施形態に係る立体画像生成装置の構成を示す図である。図１１に示す第２の実施形態に係る立体画像生成装置と、図１に示す第１の実施形態に係る立体画像生成装置との違いは、第２の実施形態における最大飛び出し画素存在可能領域設定部１１１１は、第１の実施形態で説明した最大飛び出し画素存在可能領域の設定機能に加え、最大飛び出し画素存在可能領域の形状や大きさを変更する機能を備える。即ち、第２の実施形態における最大飛び出し画素存在可能領域設定部１１１１は、入力される最大飛び出し画素存在可能領域属性１０６の値に従って、最大飛び出し画素存在可能領域の形状や大きさを変更する。
【００６４】
最大飛び出し画素存在可能領域属性１０６は、最大飛び出し画素存在可能領域の形状や大きさを表す属性値である。なお、最大飛び出し画素存在可能領域属性は、本実施形態に係る立体映像生成裝置のユーザにより任意に設定可能な値である。最大飛び出し画素存在可能領域属性の設定手法としては、例えば、リモコンやＯＳＤ（On-Screen-Display）を使用してユーザが任意の最大飛び出し画素存在可能領域属性を設定する手法が挙げられる。
【００６５】
図１２は、第２の実施形態における最大飛び出し画素存在可能領域設定部１１１１の詳細な構成を示す図である。図１１に示す第２の実施形態における最大飛び出し画素存在可能領域設定部１１１１と、図２に示す第１の実施形態における最大飛び出し画素存在可能領域設定部１１との違いは、最大飛び出し画素存在可能領域選択部１１２４の機能にある。
【００６６】
即ち、第２の実施形態における最大飛び出し画素存在可能領域選択部１１２４は、最大飛び出し画素存在可能領域属性１０６の値に従って、最大飛び出し画素存在可能領域の位置を決定し、最大飛び出し画素存在可能領域の座標値１０２を算出する。
【００６７】
ここで、最大飛び出し画素存在可能領域属性１０６の具体例について説明する。最大飛び出し画素存在可能領域属性１０６は、４ビットの値をとり、上位２ビットで形状を表し、下位２ビットで大きさを表すものとする。例えば、上位２ビットと形状との関係、及び、下位２ビットと大きさとの関係は、以下のようになる。
最大飛び出し画素存在可能領域属性１０６の上位２ビット
００  不使用
０１  円（ｃｉｒｃｌｅ）
１０  角丸四角（ｒｏｕｎｄｅｄ  ｒｅｃｔａｎｇｌｅ）
１１  楕円（ｅｌｌｉｐｓｅ）
最大飛び出し画素存在可能領域属性１０６の下位２ビット
００  不使用
０１  小（表示画面上で水平方向の長さ５ｃｍ）
１０  中（表示画面上で水平方向の長さ１０ｃｍ）
１１  大（表示画面上で水平方向の長さ１５ｃｍ）
【００６８】
なお、角丸四角及び楕円の水平方向の大きさと垂直方向の大きさとの比は、例えば、水平：垂直＝１．２：１．０とする。例えば、画素存在可能領域属性１０６＝１１１０である場合、最大飛び出し画素存在可能領域は、表示画面上で水平方向の長さが１０ｃｍの楕円となる。勿論、画素存在可能領域属性１０６の様式や画素存在可能領域の形状及び大きさが、上述した例に限定されるものではない。
【００６９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７０】
１１、１１１１：最大飛び出し画素存在可能領域設定部、１２：最大飛び出し量算出部、１３：立体画像生成部、２１：移動先座標検出部、２２：移動先座標予測部、２３：シーンチェンジ判定部、２４、１１２４：最大飛び出し画素存在可能領域選択部、２５：遅延部、２６：動きベクトル算出部、２８：移動先座標演算部
【図１】
2014112794.tif 000003
【図２】
2014112794.tif 000004
【図３】
2014112794.tif 000005
【図４】
2014112794.tif 000006
【図５】
2014112794.tif 000007
【図６】
2014112794.tif 000008
【図７】
2014112794.tif 000009
【図８】
2014112794.tif 000010
【図９】
2014112794.tif 000011
【図１０】
2014112794.tif 000012
【図１１】
2014112794.tif 000013
【図１２】
2014112794.tif 000014