(57)【要約】【課題】複数の３Ｄ画像を合成して表示する場合に、ユーザの目の疲労を軽減する。【解決手段】画像処理装置は、主画像データから３Ｄ主画像の各所定単位の視差を検出し、視差統計情報を生成する主画像統計情報生成部と、副画像データから３Ｄ副画像の各所定単位の視差を検出し、視差統計情報を生成する副画像統計情報生成部と、その統計情報を用いて、主画像および副画像の奥行き方向の位置間隔が所定範囲内になるように、主画像および副画像視差の少なくとも一方を補正するために使用される補正量を計算する視差制御部と、画像の視差の少なくとも一方を補正量だけ補正するように、主画像データおよび副画像データの少なくとも一方を変換する変換部と、主画像データに副画像データを重畳する重畳部とを含む。【選択図】図１
2011166761.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄの主画像の所定の単位ごとの視差を前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成する主画像統計情報生成手段と、
３Ｄの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成する副画像統計情報生成手段と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力する画像変換手段と、
前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段と
を含む画像処理装置。
【請求項２】
前記視差制御手段は、前記主画像の視差の平均値と前記副画像の視差の平均値の差が所定の範囲内になるように、前記補正量を計算する
請求項１に記載の画像処理装置。
【請求項３】
前記統計情報はヒストグラムの形をとっており、
前記視差制御手段は、前記主統計情報のヒストグラムの全体の面積に対する、前記主統計情報のヒストグラムの前記副画像統計情報と重なる領域の面積の割合が所定の範囲内になるように、前記補正量を計算する
請求項１に記載の画像処理装置。
【請求項４】
前記視差制御手段は、前記主画像の位置と前記副画像の位置の奥行き方向の間隔が所定の範囲内になり、かつ、前記副画像の奥行き方向の位置が前記主画像の奥行き方向の位置よりユーザに近くなるように、前記補正量を計算する
請求項１に記載の画像処理装置。
【請求項５】
前記主画像データの画像サイズと前記主画像データの表示サイズが異なる場合、前記視差制御手段はまた、前記主画像データの画像サイズと前記主画像データの表示サイズとに基づいて、前記主画像統計情報を前記主画像データの表示サイズのための主画像統計情報に変換し、
前記副画像データの画像サイズと前記副画像データの表示サイズが異なる場合、前記視差制御手段はまた、前記副画像データの画像サイズと前記副画像データの表示サイズとに基づいて、前記副画像統計情報を前記副画像データの表示サイズのための副画像統計情報に変換し、
前記視差制御手段は、変換後の前記主画像統計情報と前記副画像統計情報に基づいて、前記補正量を計算する
請求項１に記載の画像処理装置。
【請求項６】
３Ｄの主画像の所定の単位ごとの視差を、前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成するステップと、
３Ｄの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成するステップと、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するステップと、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するステップと、
前記の出力される主画像データに前記の出力される副画像データを重畳するステップと、
を含む、画像処理装置に用いられる画像処理方法。
【請求項７】
コンピュータに、
３Ｄの主画像の所定の単位ごとの視差を、前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成するステップと、
３Ｄの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成するステップと、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するステップと、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するステップと、
前記の出力される主画像データに前記の出力される副画像データを重畳するステップと、
を含む処理を実行させるためのプログラムコードを含むプログラム。
【請求項８】
３Ｄの主画像の画像データである主画像データと、３Ｄの副画像の画像データである副画像データとを読み出す読出手段と、
前記主画像データに基づいて前記主画像の所定の単位ごとの視差を検出し、その視差の統計情報である主画像統計情報を生成する主画像統計情報生成手段と、
前記副画像データに基づいて前記副画像の所定の単位ごとの視差を検出し、その視差の統計情報である副画像統計情報を生成する副画像統計情報生成手段と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力する画像変換手段と、
前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段と
を含む再生装置。
【請求項９】
３Ｄの主画像の所定の単位ごとの視差を、前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成するように構成された主画像統計情報生成部と、
３Ｄの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成するように構成された副画像統計情報生成部と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するように構成された視差制御部と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するように構成された主画像変換部と、
前記画像変換部から出力される前記主画像データに前記画像変換部から出力される前記副画像データを重畳するように構成された重畳部と
を含む画像処理装置。
【請求項１０】
３Ｄの主画像の画像データである主画像データと、３Ｄの副画像の画像データである副画像データとを読み出すように構成された読出部と、
前記主画像データに基づいて前記主画像の所定の単位ごとの視差を検出し、その視差の統計情報である主画像統計情報を生成するように構成された主画像統計情報生成部と、
前記副画像データに基づいて前記副画像の所定の単位ごとの視差を検出し、その視差の統計情報である副画像統計情報を生成するように構成された副画像統計情報生成部と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するように構成された視差制御部と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するように構成された画像変換部と、
前記画像変換部から出力される前記主画像データに、前記画像変換部から出力される前記副画像データを重畳するように構成された重畳手段と
を含む再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
＜関連出願の相互参照＞
この出願は、２０１０年２月５日に出願された米国仮特許出願第６１／３０１，６８２号の利益を主張する非仮出願であり、その内容の全体が参照により本明細書に組み込まれる。
【０００２】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、複数の３Ｄ画像を合成して表示する場合に、ユーザの目の疲労を軽減することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００３】
一般的に、映画等のコンテンツは２Ｄ画像の形をとっているが、最近では、３Ｄ画像が注目を集めている。
【０００４】
３Ｄコンテンツを再生する１つのタイプの再生装置は、３Ｄの映画等の主画像と、副画像として主画像と合成された異なる３Ｄ画像とを表示する装置である。このような再生装置では、例えば、３Ｄの主画像を親画面に表示し，３Ｄの副画像を子画面に表示するピクチャインピクチャ表示、３Ｄの主画像に３Ｄの副画像としてのＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）画像を合成して表示するＯＳＤ表示、３Ｄの主画像に３Ｄの副画像としての字幕画像を合成する字幕表示などが行われる。
【０００５】
また、３Ｄの主画像に対してテロップが合成されて表示される場合もある(例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０-３２７４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように再生装置が３Ｄの主画像に３Ｄの副画像を合成してその合成画像を表示する場合、３Ｄの主画像の画面に垂直な方向である奥行き方向における３Ｄ主画像の位置が、奥行き方向における副画像の位置から離れすぎたり、近づきすぎたりすることがある。従って、ユーザの目が疲労してしまうことがある。
【０００８】
従って、本発明は複数の３Ｄ画像を合成して表示する場合に、ユーザの目の疲労を軽減する画像処理装置、画像処理方法、およびプログラムを提供する。
【課題を解決するための手段】
【０００９】
本発明の１つの実施の形態では、画像処理装置は、３Ｄの主画像の所定の単位ごとの視差を、前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成する主画像統計情報生成手段と、３Ｄの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成する副画像統計情報生成手段と、前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力する画像変換手段と、前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段とを含む。
【００１０】
本発明の他の実施の形態では、画像処理方法およびプログラムが提供される。その画像処理方法およびプログラムは、上記の画像処理装置に対応する。
【００１１】
本発明の実施の形態においては、前記主画像の画像データである主画像データに基づいて３Ｄの主画像の所定の単位ごとの視差が検出され、その視差の統計情報である主画像統計情報が生成される。前記副画像の画像データである副画像データに基づいて３Ｄの副画像の所定の単位ごとの視差が検出され、その視差の統計情報である副画像統計情報が生成される。前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量が計算される。前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方が変換されて出力され、その主画像データに前記副画像データが重畳される。
【００１２】
本発明のさらに他の１つの実施の形態では、再生装置は、３Ｄの主画像の画像データである主画像データと、３Ｄの副画像の画像データである副画像データとを読み出す読出手段と、前記主画像データに基づいて前記主画像の所定の単位ごとの視差を検出し、その視差の統計情報である主画像統計情報を生成する主画像統計情報生成手段と、前記副画像データに基づいて前記副画像の所定の単位ごとの視差を検出し、その視差の統計情報である副画像統計情報を生成する副画像統計情報生成手段と、前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力する画像変換手段と、前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段とを含む。
【００１３】
本発明の実施の形態では、３Ｄの主画像の画像データである主画像データと、３Ｄの副画像の画像データである副画像データとが読み出される。前記主画像データに基づいて３Ｄの主画像の所定の単位ごとの視差が検出され、その視差の統計情報である主画像統計情報が生成される。前記副画像データに基づいて３Ｄの副画像の所定の単位ごとの視差が検出され、その視差の統計情報である副画像統計情報が生成される。前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量が計算される。前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方が変換されて前記画像データを出力し、出力される。その主画像データに前記副画像データが重畳される。
【００１４】
本発明の実施の形態の画像処理装置および再生装置は、独立した装置であっても良いし、１つのシステムの内部ブロックであっても良い。
【発明の効果】
【００１５】
本発明の実施の形態によれば、複数の３Ｄ画像を合成して表示する場合に、ユーザの目の疲労を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態の画像処理装置の構成例のブロック図である。
【図２Ａ】主画像の視差マップと視差ヒストグラムの例を示す。
【図２Ｂ】主画像の視差マップと視差ヒストグラムの例を示す。
【図２Ｃ】主画像の視差マップと視差ヒストグラムの例を示す。
【図３Ａ】副画像の視差マップとその視差のヒストグラムの例を示す。
【図３Ｂ】副画像の視差マップとその視差のヒストグラムの例を示す。
【図３Ｃ】副画像の視差マップとその視差のヒストグラムの例を示す。
【図４Ａ】表示サイズの主画像の視差マップの例を示す。
【図４Ｂ】表示サイズの主画像の視差マップの例を示す。
【図５Ａ】画像サイズの副画像と表示サイズの副画像の視差のヒストグラムの例を示す。
【図５Ｂ】画像サイズの副画像と表示サイズの副画像の視差のヒストグラムの例を示す。
【図６】視差の補正を行わない場合の表示画像データの視差のヒストグラムの例を示す図である。
【図７】視差の補正を行った場合の表示画像データの視差のヒストグラムの例を示す図である。
【図８】視差の補正を行った場合の表示画像データの視差のヒストグラムの他の例を示す図である。
【図９】図１に示されている画像処理装置によって行われる重畳処理のフローチャートである。
【図１０】一実施の形態のコンピュータの構成例を示す。
【図１１】本発明の一実施の形態の再生装置の構成例のブロック図である。
【発明を実施するための形態】
【００１７】
＜実施の形態＞
［画像処理装置の構成例］
図１は、本発明による画像処理装置の一構成例のブロック図である。
【００１８】
図１に示されている画像処理装置１０は、視差検出部１１、視差解析部１２、画像変換部１３、視差検出部１４、視差解析部１５、画像変換部１６、視差制御部１７、画像重畳部１８、およびディスプレイ１９を含む。
【００１９】
画像処理装置１０は、例えば、ＢＤ（Ｂｌｕ−Ｒａｙ（商標）Ｄｉｓｃ）などの記録媒体から読み出されたり、ネットワークなどを介して外部の装置から受信された主画像データ、副画像データ等を受信する。本明細書で使用されるとき、「主画像データ」という用語は一画面のための所定のサイズの３Ｄの主画像の画像データを指し、「副画像データ」という用語は一画面のための所定サイズの３Ｄの副画像の画像データを指す。画像処理装置１０は，３Ｄの主画像を親画面に表示し、３Ｄの副画像を子画面に表示するピクチャインピクチャ表示を行うための画像データ（以下、「表示画像データ」という）を生成する。
【００２０】
具体的には、視差検出部１１（主画像統計情報生成手段）は、外部から入力された主画像データを構成する左目用の主画像の画像データと右目用の主画像の画像データを用いて、３Ｄの主画像の視差を画素ごとに検出する。その後、視差検出部１１は、主画像の各画素の視差を表す視差マップを生成する。視差マップの生成方法の詳細については、例えば、特開２００６−１１４０２３号公報に記載されている。なお、視差は、単一の画素からではなくて、複数の画素を含むブロックから検出されてもよい。視差検出部１１は、視差マップを視差解析部１２に供給する。
【００２１】
視差解析部１２（主画像統計情報生成手段）は、視差検出部１１から供給される視差マップを用いて、主画像の視差の統計情報としてのヒストグラムを計算する。その後、視差解析部１２は、そのヒストグラムを視差制御部１７に供給する。
【００２２】
画像変換部１３は、視差制御部１７から供給される、視差の補正量に対応する主画像の表示位置のシフト量を含む変換パラメータ、および主画像の表示位置を用いて、外部から入力された主画像データに対応する主画像の視差を補正量だけ補正するように、その主画像データを変換する。具体的には、画像変換部１３は、主画像データに対応する左目用の主画像の画面の水平方向（左右方向）の位置をシフト量だけ水平方向の一方向にずらす。さらに、画像変換部１３は、右目用の主画像の画面の水平方向の位置をシフト量だけ他の方向にずらす。このようにして、主画像の視差を補正する。
【００２３】
また、画像変換部１３は、視差制御部１７から供給される変換パラメータに含まれる主画像の表示サイズを用いて、視差が補正された主画像データの画像サイズを表示サイズに変換する。その後、画像変換部１３は、その結果得られる主画像データと表示位置を画像重畳部１８に供給する。
【００２４】
視差検出部１４（副画像統計情報生成手段）は、視差検出部１１と同様に、外部から入力された副画像データを構成する左目用の副画像の画像データと右目用の副画像の画像データを用いて、３Ｄの副画像の視差を画素ごとに検出する。その後、視差検出部１４は、副画像の視差マップを生成する。視差検出部１４は、副画像の視差マップを視差解析部１５に供給する。
【００２５】
視差解析部１５（副画像統計情報生成手段）は、視差解析部１２と同様に、視差検出部１４から供給される視差マップを用いて、副画像の視差の統計情報としてのヒストグラムを計算する。その後、視差解析部１５は、そのヒストグラムを視差制御部１７に供給する。
【００２６】
画像変換部１６は、画像変換部１３と同様に、視差制御部１７から供給される、視差の制御量に対応する副画像の表示位置のシフト量を含む変換パラメータ、および副画像の表示位置を用いて、外部から入力された副画像データに対応する副画像の視差を補正量だけ補正するように、その副画像データを変換する。
【００２７】
また、画像変換部１６は、視差制御部１７から供給される変換パラメータに含まれる副画像の表示サイズを用いて、視差が補正された副画像データの画像サイズを表示サイズに変換する。その後、画像変換部１６は、その結果得られる副画像データと表示位置を画像重畳部１８に供給する。
【００２８】
視差制御部１７は、外部から入力される主画像データとともに主画像の入力された画像サイズ、表示サイズ、および表示位置を受信する。また、視差制御部１７は、外部から入力された副画像データとともに副画像の入力された画像サイズ、表示サイズ、および表示位置を受信する。なお、主画像の表示サイズは親画面のサイズに対応し、副画像の表示サイズはピクチャインピクチャ表示のために使用される子画面のサイズに対応する。
【００２９】
視差制御部１７は、主画像の画像サイズと表示サイズを用いて、視差解析部１２から供給される主画像の視差のヒストグラムを、表示サイズの主画像の視差のヒストグラムに変換する。また、視差制御部１７は、副画像の画像サイズと表示サイズを用いて、視差解析部１５から供給される副画像の視差のヒストグラムを、表示サイズの副画像の視差のヒストグラムに変換する。その後、視差制御部１７は、変換後の主画像の視差のヒストグラムと、変換後の副画像の視差のヒストグラムとを用いて、主画像の位置と副画像の位置の奥行方向の間隔が所定の範囲内になるように主画像の視差と副画像の視差を補正するために使用される補正量を計算する。具体的には、視差制御部１７は、変換後の主画像の視差のヒストグラムと変換後の副画像の視差のヒストグラムの間隔が所定の範囲内になるように主画像の視差と副画像の視差を補正するために使用される補正量を計算する。
【００３０】
なお、視差制御部１７は、各画面のための補正量を画面のための主画像の視差のヒストグラムと副画像の視差のヒストグラムを用いて計算してもよい。あるいは、視差制御部１７は、複数枚の画面のセットの各々のための補正量を、複数枚の画面のための主画像の視差の平均ヒストグラムと複数枚の画面のための副画像の視差の平均ヒストグラムを用いて、計算してもよい。
【００３１】
視差制御部１７は、主画像の視差の補正量に対応する主画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、主画像の表示サイズ、および主画像の表示位置を含む変換パラメータを画像変換部１３に供給する。また、視差制御部１７は、主画像の視差の補正量に対応する主画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、副画像の表示サイズ、および副画像の表示位置を含む変換パラメータを画像変換部１６に供給する。
【００３２】
画像重畳部１８は、画像変換部１３と画像変換部１６から受信される表示位置を用いて、画像変換部１３から受信される主画像データに画像変換部１６から受信される副画像データを重畳する。その後、画像重畳部１８は、その結果得られる画像データを表示画像データとしてディスプレイ１９に出力する。
【００３３】
ディスプレイ１９は３Ｄディスプレイから形成される。ディスプレイ１９は、画像重畳部１８から供給される表示画像データを用いて、左目用の画面と右目用の画面を時分割で表示する。このとき、ユーザは、例えば、左目用の画面と右目用の画面の切り替えに同期したシャッタ付き眼鏡を装着する。ユーザは、左目用の画面を左目だけで見て、右目用の画面を右目だけで見る。これにより、ユーザは、親画面に３Ｄの主画像が表示され、子画面に３Ｄの副画像が表示されたピクチャインピクチャ表示を見ることができる。
【００３４】
[主画像の視差マップと視差のヒストグラムの例]
図２Ａ乃至図２Ｃは、入力された主画像データに対応する主画像の視差マップと視差ヒストグラムの例を示す。
【００３５】
図２Ａの左側には、入力された主画像データに対応する左目用の主画像が示されており、図２Ａの右側には、右目用の主画像が示されている。
【００３６】
図２Ａに示された左目用の主画像の画像データと右目用の主画像の画像データに基づいて、図２Ｂに示す視差マップが生成される。なお、図２Ｂに示す視差マップにおいて、色の濃度が濃いほど視差が小さい。即ち、点の色の濃度が濃いほど、その点は奥行き方向においてユーザから遠い。また、図２Ｂに示す視差マップは、左目用の主画像の画像データに基づいて検出された視差の視差マップである。しかし、右目用の主画像の画像データに基づいて検出された視差の視差マップが生成されるようにしてもよい。あるいは、左目用および右目用の主画像の画像データに基づいて２種類の視差マップが生成されるようにしてもよい。この生成方法は、後述する図３Ｂおよび図４Ｂにも適用される。
【００３７】
また、図２Ｃに示すように、図２Ｂに示す視差マップに基づいて１画面分の主画像の視差のヒストグラムが生成される。図２Ｃに示すヒストグラムにおいて、横軸は、奥行方向における点を表し、縦軸は、その点に対応する視差の度数を表している。なお、この表現は、後述する図３Ｃ、図５Ａおよび図５Ｂならびに図６乃至図８にも適用される。図２Ｃに示す例では、視差の平均値に対応する奥行き方向の点が、ディスプレイ面よりやや手前側に位置している。
【００３８】
[副画像の視差マップと視差のヒストグラムの例]
図３Ａ乃至図３Ｃは、入力された副画像データに対応する副画像の視差マップと視差のヒストグラムの例を示す。
【００３９】
図３Ａの左側には、入力された副画像データに対応する左目用の副画像が示されており、図３Ａの左側には右目用の副画像が示されている。図３Ａに示された左目用の副画像の画像データと左目用の副画像の画像データに基づいて、図３Ｂに示す視差マップが生成される。
【００４０】
また、図３Ｃに示すように、図３Ｂに示す視差マップに基づいて１画面分の副画像の視差のヒストグラムが生成される。図３Ｃに示す例では、視差の平均値に対応する奥行方向における点が、図２Ｃに示すそれよりもディスプレイ面からさらに遠くに位置している。
【００４１】
[副画像の視差のヒストグラムの変換の説明]
図４Ａおよび図４Ｂならびに図５Ａおよび図５Ｂは、副画像の視差のヒストグラムの変換について説明する。
【００４２】
ここでは、図４Ａに示すように、主画像データの画像サイズと同一サイズの左目用の親画面３１に図２Ａの左側に示した左目用の主画像を表示して、副画像データの画像サイズとは異なるサイズの左目用の子画面３２に図３Ａの左側に示した左目用の副画像を表示する。さらに、右目用の親画面３１に図２Ａの右側に示した右目用の主画像を表示して、右目用の子画面３２に図３Ａの右側に示した右目用の副画像を表示する。
【００４３】
この場合、親画面３１のサイズが主画像データの画像サイズと同一であるので、図４Ｂに示すように、表示サイズの主画像の視差マップは、図２Ｂに示した視差マップと同一となる。従って、表示サイズの主画像の視差のヒストグラムは、図２Ｃに示したものとなる。
【００４４】
対照的に、子画面３２のサイズは、副画像データの画像サイズと同一ではない。従って、図５Ａに示す副画像の視差のヒストグラムが、図５Ｂに示す子画面３２のサイズ、即ち表示サイズの副画像の視差のヒストグラムに変換される。具体的には、図５Ａに示すヒストグラムが、副画像の水平方向の画像サイズに対する水平方向の表示サイズの割合で拡大または縮小される。このようにして、図５Ｂに示すように、表示サイズの副画像の視差のヒストグラムが生成される。
【００４５】
例えば、副画像の水平方向の画像サイズに対する水平方向の表示サイズの割合が１／２である場合、表示サイズの副画像の視差のヒストグラムは、図５Ｂに示すヒストグラムを水平方向に１／２だけ縮小することにより得られる。
【００４６】
なお、図４Ａおよび図４Ｂならびに図５Ａおよび図５Ｂの説明では、親画面３１のサイズが主画像の画像サイズと同一である。従って、主画像の視差のヒストグラムは変換されない。しかし、親画面３１のサイズが主画像の画像サイズとは異なる場合、副画像の視差のヒストグラムと同様に、主画像の視差のヒストグラムも変換される。
【００４７】
[補正量の説明]
図６乃至図８は、補正量を説明する図である。
【００４８】
図６は、左目用の親画面３１に図２Ａの左側に示した左目用の主画像を表示して左目用の子画面３２に図３Ａの左側に示した左目用の副画像を表示し、右目用の親画面３１に図２Ａの右側に示した右目用の主画像を表示して右目用の子画面３２に図３Ａの右側に示した右目用の副画像を表示する場合に得られる表示画像データの視差のヒストグラムを示している。
【００４９】
図６に示す表示画像データの視差のヒストグラムは、図２Ｂに示した表示サイズの主画像の視差のヒストグラムを、図５Ｂに示した表示サイズの副画像の視差のヒストグラムと合成することによって得られる。
【００５０】
表示画像データの視差のヒストグラムが図６に示すものである場合、主画像の視差のヒストグラムと副画像の視差のヒストグラムの間隔が狭い。即ち、親画面３１に表示される主画像の位置と子画面３２に表示される副画像の位置の奥行き方向の間隔が小さい。その結果、ユーザの目が疲労する。また、図示は省略するが、親画面３１に表示される主画像の位置と子画面３２に表示される副画像の位置の奥行き方向の間隔が大きい場合にも、ユーザの目が疲労する。
【００５１】
そこで、視差制御部１７は、表示サイズの主画像の視差のヒストグラムと表示サイズの副画像の視差のヒストグラムの間隔が所定の範囲内になるように主画像と副画像それぞれの視差の補正量を計算する。
【００５２】
具体的には、視差制御部１７は、図７に示すように、表示サイズの主画像の視差の平均値Ａｍと表示サイズの副画像の視差の平均値Ａｓの間隔が所定の範囲内になるように、主画像および副画像の各々のために視差の補正量を計算する。なお、この説明では、平均値Ａｍと平均値Ａｓの間隔が所定の範囲内になるように主画像と副画像の各々のために視差の補正量が計算される。しかし、主画像と副画像の各々の視差の補正量は、主画像の視差の最大値と副画像の視差の最小値が所定の範囲内となるように計算されてもよい。
【００５３】
あるいは、視差制御部１７は、図８に示すように、主画像の視差のヒストグラムの全体の面積に対する、表示サイズの副画像の視差のヒストグラムが表示サイズの主画像の視差のヒストグラムと重なる領域の面積(図８の斜線領域を参照)の割合が、所定の範囲内(例えば、１０％以上９０％以下)となるように、主画像と副画像の各々の視差の補正量を計算するようにしてもよい。あるいは、視差制御部１７は、表示サイズの主画像の視差のヒストグラムにおいて、全体の面積の所定のパーセント(例えば、３％）である、奥行方向において手前側の端に対応する視差から所定の視差までの領域の終端に対応する視差と、表示サイズの副画像の視差のヒストグラムにおいて、全体の面積の所定のパーセント(例えば、３％)である、所定の視差から奥行方向において奥の端に対応する視差までの領域の前側の端の視差との差が所定の範囲内となるように、主画像と副画像の各々の視差の補正量を計算するようにしてもよい。また、上述した視差の補正量の計算方法は組み合わされてもよい。さらに、主画像内の主要なオブジェクトの視差と副画像内の主要なオブジェクトの視差を用いて、主画像と副画像の各々の視差の補正量を計算することもできる。
【００５４】
また、図７および図８に示す例では、表示サイズの副画像の視差のヒストグラムだけが移動されている。しかし、表示サイズの主画像の視差のヒストグラムだけが移動されるようにしてもよい。あるいは、表示サイズの副画像の視差のヒストグラムと表示サイズの主画像の視差のヒストグラムの両方が移動されてもよい。
【００５５】
但し、視差が補正された主画像の奥行き方向の表示位置と、視差が補正された副画像の奥行き方向の表示位置が、ユーザが快適に３Ｄ画像を見ることができる範囲内になるように、主画像と副画像の各々の視差の補正量が計算されることが好ましい。
【００５６】
また、主画像と副画像の各々の視差の補正量は、副画像の奥行き方向の表示位置が主画像の奥行き方向の表示位置より手前側(ユーザ側)になるように計算されると、ユーザは、違和感なくピクチャインピクチャ表示を見ることができる。
【００５７】
[画像処理装置により行われる処理の説明]
図９は、図１に示す画像処理装置１０により行われる代表的な重畳処理のフローチャートである。この重畳処理は、例えば、主画像データおよび副画像データが画像処理装置１０に入力されたとき、開始される。
【００５８】
ステップＳ１１において、視差検出部１１は、外部から入力された主画像データを構成する左目用の主画像の画像データと右目用の主画像の画像データを用いて、３Ｄの主画像の視差を画素ごとに検出する。このようにして、視差検出部１１は視差マップを生成する。その後、視差検出部１１は、視差マップを視差解析部１２に供給する。なお、視差検出部１１は、３Ｄの主画像の全領域の視差を検出する代わりに、３Ｄの主画像のうちの副画像が重畳される領域だけの視差を検出してもよい。あるいは、視差検出部１１は、３Ｄの主画像のうちの副画像が重畳される領域の視差とその領域の周囲の領域の視差を検出するようにしてもよい。この場合、３Ｄの主画像の全領域の視差を検出する場合に比べて、視差検出の計算量を削減することができる。
【００５９】
ステップＳ１２において、視差検出部１４は、外部から入力された副画像データを構成する左目用の副画像の画像データと右目用の副画像の画像データを用いて、３Ｄの副画像の視差を画素ごとに検出する。このようにして、視差検出部１４は、視差マップを生成する。視差検出部１４は、視差マップを視差解析部１５に供給する。
【００６０】
ステップＳ１３において、視差解析部１２は、視差検出部１１から供給される視差マップを用いて、主画像の視差のヒストグラムを生成する。その後、視差解析部１２は、そのヒストグラムを視差制御部１７に供給する。なお、視差検出部１１において主画像の領域のうちの副画像が重畳される領域だけの視差、または主画像の領域のうちの副画像が重畳される領域とその領域の周囲の領域の視差が検出される場合には、視差解析部１２は、主画像の、視差が検出された部分的領域の視差のヒストグラムを生成し、そのヒストグラムを視差制御部１７に供給する。
【００６１】
ステップＳ１４において、視差解析部１５は、視差検出部１４から供給される視差マップを用いて、副画像の視差のヒストグラムを生成し、その生成したヒストグラムを視差制御部１７に供給する。
【００６２】
ステップＳ１５において、視差制御部１７は、外部から入力された主画像データとともに主画像の画像サイズと表示サイズを用いて、視差解析部１２から供給される主画像の視差のヒストグラムを、表示サイズの主画像の視差のヒストグラムに変換する。
【００６３】
ステップＳ１６において、視差制御部１７は、外部から入力された副画像データとともに副画像の画像サイズと表示サイズを用いて、視差解析部１５から供給される副画像の視差のヒストグラムを、表示サイズの副画像の視差のヒストグラムに変換する。
【００６４】
ステップＳ１７において、視差制御部１７は、表示サイズの主画像の視差のヒストグラムと表示サイズの副画像の視差のヒストグラムとを用いて、表示サイズの副画像の視差のヒストグラムと表示サイズの主画像の視差のヒストグラムの間隔が所定の範囲内になるように、主画像の視差と副画像の視差を補正するために使用される補正量を計算する。
【００６５】
ステップＳ１８において、視差制御部１７は、ステップＳ１７で計算された主画像の視差の補正量に基づいて主画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、主画像の表示サイズ、および主画像の表示位置を含む変換パラメータを画像変換部１３に供給する。
【００６６】
ステップＳ１９において、視差制御部１７は、ステップＳ１７で計算された副画像の視差の補正量を用いて副画像の表示位置のシフト量を計算する。その後、視差制御部１７は、そのシフト量、副画像の表示サイズ、および副画像の表示位置を含む変換パラメータを画像変換部１６に供給する。
【００６７】
ステップＳ２０において、画像変換部１３は、視差制御部１７から供給される変換パラメータに含まれる視差の制御量に対応する主画像の表示位置のシフト量および主画像の表示位置を用いて、外部から入力された主画像データに対応する主画像の視差を補正量だけ補正するように、その主画像データを変換する。
【００６８】
ステップＳ２１において、画像変換部１３は、視差制御部１７から供給される変換パラメータに含まれる主画像の表示サイズを用いて、ステップＳ２０で変換された主画像データの画像サイズを表示サイズに変換する。その後、画像変換部１３は、その結果得られる主画像データと表示位置を画像重畳部１８に供給する。
【００６９】
ステップＳ２２において、画像変換部１６は、視差制御部１７から供給される変換パラメータに含まれる視差の補正量に対応する副画像の表示位置のシフト量、および副画像の表示位置を用いて、外部から入力された副画像データに対応する副画像の視差を補正量だけ補正するように、その副画像データを変換する。
【００７０】
ステップＳ２３において、画像変換部１６は、視差制御部１７から供給される変換パラメータに含まれる副画像の表示サイズを用いて、ステップＳ２２で変換された副画像データの画像サイズを表示サイズに変換する。その後、画像変換部１６は、その結果得られる副画像データと表示位置を画像重畳部１８に供給する。
【００７１】
ステップＳ２４において、画像重畳部１８は、画像変換部１３と画像変換部１６から受信された表示位置を用いて、画像変換部１３から受信された主画像データに画像変換部１６から受信された副画像データを重畳する。その後、画像重畳部１８は、その結果得られる画像データを表示画像データとしてディスプレイ１９に出力する。そして処理は終了する。
【００７２】
以上のように、画像処理装置１０は、主画像の視差のヒストグラムと副画像の視差のヒストグラムの間隔が所定の範囲内になるように、主画像の視差および副画像の視差の少なくとも一方を補正するために使用される補正量を計算する。その後、画像処理装置１０は、主画像の視差および副画像の視差の少なくとも一方を補正するように、主画像データおよび副画像データの少なくとも一方を変換する。従って、主画像の奥行き方向の位置と副画像の奥行き方向の位置が離れすぎたり近づきすぎたりしない。従って、ユーザの目の疲労を軽減することができる。
【００７３】
なお、以上の説明は、視差マップを計算する画像処理装置１０に関してなされているが、視差マップは、主画像データおよび副画像データとともに外部から入力されるようにしてもよい。
【００７４】
また、副画像データを構成する左目用の副画像の画像データと右目用の副画像の画像データは、２Ｄ副画像データの表示位置を所定のオフセット量だけ両水平方向にずらすことにより得られる画像データであってもよいし、異なる視点から得られる２つの副画像の画像データであってもよい。
【００７５】
[実施の形態に従うコンピュータの説明]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。上述の一連の処理をソフトウェアによって行う場合には、そのソフトウェアのプログラムが、汎用のコンピュータ等にインストールされる。
【００７６】
図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【００７７】
プログラムは、コンピュータに内蔵されている記録媒体である記憶部２０８およびＲＯＭ(Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２に予め記録しておくことができる。
【００７８】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納(記録)しておくことができる。このリムーバブルメディア２１１は、いわゆるパッケージソフトウェアの形で提供することができる。リムーバブルメディア２１１としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ  Ｄｉｓｃ＿Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、磁気ディスク、半導体メモリ等がある。
【００７９】
なお、プログラムは、リムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールすることができる。また、プログラムは、通信網や放送網を介して、コンピュータにダウンロードし、コンピュータに内蔵された記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送することができる。あるいは、プログラムは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを用いて、ダウンロードサイトからコンピュータに有線通信で転送することができる。
【００８０】
コンピュータは、中央処理装置（ＣＰＵ）２０１を内蔵している。ＣＰＵ２０１には、バス２０４を介して、入出力インターフェース２０５が接続されている。
【００８１】
ＣＰＵ２０１は、入出力インターフェース２０５を介して、入力部２０６を操作するユーザから指令を受け取ると、ＲＯＭ２０２に格納されているプログラムを実行する。あるいは、ＣＰＵ２０１は、記憶部２０８に格納されたプログラムを、ランダムアクセスメモリ（ＲＡＭ)２０３にロードして実行する。
【００８２】
これにより、ＣＰＵ２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図に示されている構成により行われる処理を行う。その後、ＣＰＵ２０１は、その処理結果を、必要に応じて、例えば、入出力インターフェース２０５を介して出力部２０７を用いて出力し、あるいは、その結果を通信部２０９を用いて送信する。さらには、ＣＰＵ２０１は、その結果を記憶部２０８に記録する。
【００８３】
なお、入力部２０６は、キーボード、マウス、およびマイクを含む。また、出力部２０７は、液晶ディスプレイ（ＬＣＤ）およびスピーカを含む。
【００８４】
本明細書において、コンピュータが行う処理は、必ずしもフローチャートに記載された時系列に従って行われるとは限らない。すなわち、コンピュータがプログラムに従って行う処理は、他の処理と並列的に実行される処理あるいは独立して実行される処理(例えば、並列処理あるいはオブジェクトを用いる処理)も含む。
【００８５】
また、プログラムは、１のコンピュータ(１のプロセッサ)により実行されても良いし、複数のコンピュータによって分散処理されても良い。あるいは、プログラムは、遠方のコンピュータに転送されて、その遠方のコンピュータにより実行されても良い。
【００８６】
なお、本発明は、主画像を親画面に表示し、副画像を子画面に表示するピクチャインピクチャ表示を行う画像処理装置に限定されない。本発明は、複数の３Ｄ画像を合成して、その合成した３Ｄ画像を表示するどのような画像処理装置にも適用できる。例えば、本発明は、３Ｄの主画像に３Ｄの副画像を合成することによってＯＳＤ画像を生成してそのＯＳＤ画像を表示する画像処理装置、３Ｄの主画像に字幕画像としての３Ｄの副画像を合成してその合成した画像を表示する画像処理装置、１枚の主画像に複数枚の副画像を合成することによってピクチャインピクチャ表示、ＯＳＤ表示、あるいは字幕表示を行う画像処理装置にも適用できる。
【００８７】
また、本発明は、記録媒体から主画像データおよび副画像データを読み出す機能を有する再生装置にも適用することができる。この場合、例えば、図１１に示すように、再生装置３００は、画像処理装置１０に配置されるコンポーネントと、記録媒体３０１に格納された主画像データおよび副画像データを読み出す読み出し部３０２とを含む。
【００８８】
さらに、上述した説明は、主画像に対して１つの副画像が重畳される場合に関して行われたが、複数の副画像が重畳されるようにしてもよい。この場合、上述した重畳処理が繰り返し行われる。
【００８９】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９０】
１０  画像処理装置、  １１  視差検出部、  １２  視差解析部、  １３  画像変換部、
１４  視差検出部、  １５  視差解析部、  １６  画像変換部、  １７  視差制御部、  １８  画像重畳部
【図１】
2011166761.tif 000003
【図２Ａ】
2011166761.tif 000004
【図２Ｂ】
2011166761.tif 000005
【図２Ｃ】
2011166761.tif 000006
【図３Ａ】
2011166761.tif 000007
【図３Ｂ】
2011166761.tif 000008
【図３Ｃ】
2011166761.tif 000009
【図４Ａ】
2011166761.tif 000010
【図４Ｂ】
2011166761.tif 000011
【図５Ａ】
2011166761.tif 000012
【図５Ｂ】
2011166761.tif 000013
【図６】
2011166761.tif 000014
【図７】
2011166761.tif 000015
【図８】
2011166761.tif 000016
【図９】
2011166761.tif 000017
【図１０】
2011166761.tif 000018
【図１１】
2011166761.tif 000019
【外国語明細書】
IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
CROSS REFERENCE TO RELATED APPLICATION
This application is a non-provisional application claiming benefit of U.S. Provisional Application No. 61/301,682, filed February 5, 2010, the content of which is incorporated herein by reference in its entirety.
BACKGROUND OF THE INVENTION
1.  Field of the Invention
The present invention relates to an image processing apparatus, an image processing method, and a program, and more specifically, it relates to an image processing apparatus, an image processing method, and a program capable of reducing eye fatigue of a user when a plurality of 3D images are combined and displayed.
2.  Description of the Related Art
In general, certain content, such as a movie, is in the form of a 2D image.  Recently, 3D images have attracted attention.
One type of reproduction apparatus for reproducing 3D content is an apparatus that displays a main image, such as a 3D movie, and a different 3D image combined with the main image as a sub-image.  Such a reproduction apparatus, for example, performs picture-in-picture display in which a 3D main image is displayed on a parent screen and the 3D sub-image is displayed in a child screen, OSD display in which an OSD (On Screen Display) image representing a 3D sub-image is combined with a 3D main image and is displayed, or a caption display in which a caption image representing a 3D sub-image is combined with a 3D main image.
In addition, in some cases, a ticker is combined with a 3D main image and is displayed (refer to, for example, Japanese Unexamined Patent Application Publication No. 10-327430).
SUMMARY OF THE INVENTION
As described above, when a reproduction apparatus combines a 3D sub-image with a 3D main image and displays the combined image, the position of the 3D main image in a depth direction which is perpendicular to the screen of the 3D main image may be positioned too far away from or too close to the position of the sub-image in a depth direction.  Accordingly, the user may suffer from eye fatigue.
Accordingly, the present invention provides an image processing apparatus, an image processing method, and a program that reduce eye fatigue of the user when a plurality of 3D images are combined and displayed.
According to an embodiment of the present invention, an image processing apparatus includes main image statistical information generating means for detecting a parallax of each of predetermined units of a 3D main image on the basis of main image data representing image data of the main image and generating main image statistical information representing statistical information regarding the parallax, sub-image statistical information generating means for detecting a parallax of each of predetermined units of a 3D sub-image on the basis of sub-image data representing image data of the sub-image and generating sub-image statistical information representing statistical information regarding the parallax, parallax control means for computing, on the basis of the main image statistical information and the sub-image statistical information, an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range, image conversion means for converting at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and outputting the image data, and superimposing means for superimposing the sub-image data output from the image conversion means on the main image data output from the image conversion means.
According to other embodiments of the present invention, an image processing method and a program are provided.  The image processing method and a program correspond to the above-described image processing apparatus.
According to the embodiment of the present invention, a parallax of each of predetermined units of a 3D main image is detected on the basis of main image data representing image data of the main image, and main image statistical information representing statistical information regarding the parallax is generated.  A parallax of each of predetermined units of a 3D sub-image is detected on the basis of sub-image data representing image data of the sub-image, and sub-image statistical information representing statistical information regarding the parallax is generated.  An amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image is computed on the basis of the main image statistical information and the sub-image statistical information so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range.  At least one of the main image data and the sub-image data is converted so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and is output, and the sub-image data is superimposed on the main image data.
According to still another embodiment of the present invention, a reproduction apparatus includes read-out means for reading out main image data representing image data of a 3D main image and sub-image data representing image data of a 3D sub-image, main image statistical information generating means for detecting a parallax of each of predetermined units of the main image on the basis of the main image data and generating main image statistical information representing statistical information regarding the parallax, sub-image statistical information generating means for detecting a parallax of each of predetermined units of the sub-image on the basis of the sub-image data and generating sub-image statistical information representing statistical information regarding the parallax, parallax control means for computing an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range on the basis of the main image statistical information and the sub-image statistical information, image conversion means for converting at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and outputting the image data, and superimposing means for superimposing the sub-image data output from the image conversion means on the main image data output from the image conversion means.
According to the embodiment of the present invention, main image data representing image data of a 3D main image and sub-image data representing image data of a 3D sub-image are read out.  A parallax of each of predetermined units of a 3D main image is detected on the basis of the main image data, and main image statistical information representing statistical information regarding the parallax is generated.  A parallax of each of predetermined units of a 3D sub-image is detected on the basis of the sub-image data, and sub-image statistical information representing statistical information regarding the parallax is generated.  An amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image is computed on the basis of the main image statistical information and the sub-image statistical information so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range.  At least one of the main image data and the sub-image data is converted so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and outputting the image data and is output.  The sub-image data is superimposed on the main image data.
The image processing apparatus and the reproduction apparatus according to the embodiments of the present invention may be independent apparatuses or may be internal blocks of a single system.
According to the embodiments of the present invention, when a plurality of 3D images are combined and displayed, eye fatigue of a user can be reduced.
BRIEF DESCRIPTION OF THE DRAWINGS
Fig. 1 is a block diagram of an exemplary configuration of an image processing apparatus according to an embodiment of the present invention;
Figs. 2A to 2C illustrate examples of a parallax map and a parallax histogram of a main image;
Figs. 3A to 3C illustrate examples of a parallax map of a sub-image and a histogram of the parallaxes;
Figs. 4A and 4B illustrate examples of a parallax map of a main image having the display size;
Figs. 5A and 5B illustrate examples of histograms of the parallax of a sub-image having the image size and a sub-image having the display size;
Fig. 6 is a diagram illustrating examples of a histogram of the parallaxes of display image data when the parallax is not corrected;
Fig. 7 is a diagram illustrating examples of a histogram of the parallaxes of display image data when the parallax is corrected;
Fig. 8 is a diagram illustrating other examples of a histogram of the parallaxes of display image data when the parallax is corrected;
Fig. 9 is a flowchart of a superimposing process performed by the image processing apparatus shown in Fig. 1;
Fig. 10 illustrates an exemplary configuration of a computer according to an embodiment; and
Fig. 11 is a block diagram of an exemplary configuration of a reproduction apparatus according to an embodiment of the present invention.
DESCRIPTION OF THE PREFERRED EMBODIMENTS
Embodiment
Exemplary Configuration of Image Processing Apparatus
Fig. 1 is a block diagram of an exemplary configuration of an image processing apparatus according to an embodiment of the present invention.
An image processing apparatus 10 shown in Fig. 1 includes a parallax detecting unit 11, a parallax analyzing unit 12, an image conversion unit 13, a parallax detecting unit 14, a parallax analyzing unit 15, an image conversion unit 16, a parallax control unit 17, an image superimposing unit 18, and a display 19.
The image processing apparatus 10 receives, for example, main image data and sub-image data read from a recording medium, such as a BD (Blu-ray (trade name) disc), or received from an external apparatus via, for example, a network.  As used herein, the term "main image data" refers to image data of a 3D main image having a predetermined size for one screen, and the term "sub image data" refers to image data of a 3D sub-image having a predetermined size for one screen.  The image processing apparatus 10 generates image data (hereinafter referred to as "display image data") so as to perform picture-in-picture display in which a 3D main image is displayed in a parent screen and a 3D sub-image is displayed in a child screen.
More specifically, the parallax detecting unit 11 (main image statistical information generating means) detects a parallax of a 3D main image for each of pixels using image data of the main image for the left eye and image data of the main image for the right eye, which constitute the main image data input from the outside.  Thereafter, the parallax detecting unit 11 generates a parallax map indicating the parallax of each of the pixels of the main image.  A method for generating a parallax map is described in detail in, for example, Japanese Unexamined Patent Application Publication No. 2006-114023.  Note that the parallax may be detected from a block including a plurality of pixels, not from a single pixel.  The parallax detecting unit 11 supplies the parallax map to the parallax analyzing unit 12.
The parallax analyzing unit 12 (the main image statistical information generating means) computes, using the parallax map supplied from the parallax detecting unit 11, a histogram serving as statistical information regarding the parallaxes of the main image.  Thereafter, the parallax analyzing unit 12 supplies the histogram to the parallax control unit 17.
Using a conversion parameter supplied from the parallax control unit 17 and including an amount of shift of a display position of the main image corresponding to an amount of correction of the parallax and the display position of the main image, the image conversion unit 13 converts the main image data so that the parallax of the main image corresponding to the main image data input from the outside is corrected by the amount of correction.  More specifically, the image conversion unit 13 shifts the position of the main image corresponding to the main image data for the left eye along a horizontal direction (a left-right direction) of the screen in one of the horizontal directions by the amount of shift.  In addition, the image conversion unit 13 shifts the position of the main image for the right eye along a horizontal direction of the screen in the other direction by the amount of shift.  In this way, the parallax of the main image is corrected.
Furthermore, the image conversion unit 13 converts the image size of the main image data having the corrected parallax into a display size using the display size of the main image included in the conversion parameter supplied from the parallax control unit 17.  Thereafter, the image conversion unit 13 supplies the resultant main image data and the display position to the image superimposing unit 18.
Like the parallax detecting unit 11, the parallax detecting unit 14 (sub-image statistical information generating means) detects a parallax of a 3D sub-image for each of pixels using image data of the sub-image for the left eye and image data of the sub-image for the right eye, which constitute the sub-image data input from the outside.  Thereafter, the parallax detecting unit 14 generates a parallax map for the sub-image.  The parallax detecting unit 14 supplies the parallax map for the sub-image to the parallax analyzing unit 15.
Like the parallax analyzing unit 12, the parallax analyzing unit 15 (the sub-image statistical information generating means) computes a histogram serving as statistical information regarding the parallax of the sub-image using the parallax map supplied from the parallax detecting unit 14.  Thereafter, the parallax analyzing unit 15 supplies the histogram to the parallax control unit 17.
Like the image conversion unit 13, using a conversion parameter supplied from the parallax control unit 17 and including an amount of shift of a display position of the sub-image corresponding to an amount of correction of the parallax and the display position of the sub-image, the image conversion unit 16 converts the sub-image data so that the parallax of the sub-image corresponding to the sub-image data input from the outside is corrected by the amount of correction.
Furthermore, the image conversion unit 16 converts the image size of the sub-image data having the corrected parallax into a display size using the display size of the sub-image included in the conversion parameter supplied from the parallax control unit 17.  Thereafter, the image conversion unit 16 supplies the resultant sub-image data and the display position to the image superimposing unit 18.
The parallax control unit 17 receives the input image size, display size, and display position of the main image together with the main image data input from the outside.  In addition, the parallax control unit 17 receives the input image size, display size, and display position of the sub-image together with the sub-image data input from the outside.  Note that the display size of the main image corresponds to the size of the parent screen, and the display size of the sub-image corresponds to the size of the child screen used for picture-in-picture display.
Using the image size and display size of the main image, the parallax control unit 17 converts the histogram of the parallaxes of the main image supplied from the parallax analyzing unit 12 into a histogram of the parallaxes of the main image having the display size.  In addition, using the image size and display size of the sub-image, the parallax control unit 17 converts the histogram of the parallaxes of the sub-image supplied from the parallax analyzing unit 15 into a histogram of the parallaxes of the sub-image having the display size.  Thereafter, using the converted histogram of the parallaxes of the main image and the converted histogram of the parallaxes of the sub-image, the parallax control unit 17 computes the amounts of correction used for correcting the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in the depth direction is within a predetermined range.  More specifically, the parallax control unit 17 computes the amounts of correction used for correcting the parallax of the main image and the parallax of the sub-image so that a distance between the converted histogram of the parallaxes of the main image and the converted histogram of the parallaxes of the sub-image is within a predetermined range.
Note that the parallax control unit 17 may compute the amounts of correction for each of screens using the histogram of the parallaxes of a main image and the histogram of the parallaxes of a sub-image for the screen.  Alternatively, the parallax control unit 17 may compute the amount of correction for each of sets of screens using the average histogram of the parallaxes of a main image for the screens and the average histogram of the parallaxes of a sub-image for the screens.
The parallax control unit 17 computes an amount of shift of the display position of a main image corresponding to the amount of correction of the parallax of the main image.  Thereafter, the parallax control unit 17 supplies, to the image conversion unit 13, a conversion parameter including the amount of shift, the display size of the main image, and the display position of the main image.  In addition, the parallax control unit 17 computes an amount of shift of the display position of a main image corresponding to the amount of correction of the parallax of the main image.  Thereafter, the parallax control unit 17 supplies, to the image conversion unit 16, a conversion parameter including the amount of shift, the display size of the sub-image, and the display position of the sub-image.
The image superimposing unit 18 superimposes the sub-image data received from the image conversion unit 16 on the main image data received from the image conversion unit 13 using the display positions received from the image conversion unit 13 and the image conversion unit 16.  Thereafter, the image superimposing unit 18 outputs the resultant image data that serves as display image data to the display 19.
The display 19 is formed from a 3D display.  Using the display image data supplied from the image superimposing unit 18, the display 19 displays screens for the left eye and the right eye in a time multiplexed manner.  At that time, the user wears, for example, eyeglasses with shutters that are synchronized with switching between the screens for the left eye and the right eye.  The user views the screen for the left eye using only the left eye and views the screen for the right eye using only the right eye.  In this way, the user can view picture-in-picture display in which the 3D main image is displayed in the parent screen and the 3D sub-image is displayed in the child screen.
Examples of Parallax Map and Histogram of Parallaxes of Main Image
Figs. 2A to 2C illustrate examples of a parallax map and a histogram of the parallaxes of a main image corresponding to input main image data.
A main image for the left eye corresponding to the input main image data is shown on the left-hand side of Fig. 2A, and a main image for the right eye is shown on the right-hand side of Fig. 2A.
A parallax map shown in Fig. 2B is generated on the basis of the image data of the main image for the left eye and the image data of the main image for the right eye shown in Fig. 2A.  Note that, in the parallax map shown in Fig. 2B, as the density of color increases, the parallax decreases.  That is, as the density of color of a point increases, the point is further away from the user in the depth direction.  In addition, the parallax map shown in Fig. 2B is a parallax map of the parallax detected on the basis of the image data of the main image for the left eye.  However, a parallax map of the parallax detected on the basis of the image data of the main image for the right eye may be generated.  Alternatively, two types of parallax map may be generated on the basis of image data of the main images for the left and right eyes.  This generation method is also applied to Figs. 3B and 4B illustrated below.
In addition, as shown in Fig. 2C, a histogram of the parallaxes of the main image for one screen is generated on the basis of the parallax map shown in Fig. 2B.  In the histogram shown in Fig. 2C, the abscissa represents a point in the depth direction, and the ordinate represents the degree of the parallax corresponding to the point.  Note that this representation is also applied to Fig. 3C, 5A, and 5B and Figs. 6 to 8 illustrated below.  In the example shown in Fig. 2C, the point in the depth direction corresponding to the average of the parallaxes is positioned at a front side slightly in front of the display screen.
Examples of Parallax Map and Histogram of Parallax of Sub-Image
Figs. 3A to 3C illustrate examples of a parallax map and a histogram of the parallaxes of a sub-image corresponding to input sub-image data.
A sub-image for the left eye corresponding to the input sub-image data is shown on the left-hand side of Fig. 3A, and a sub-image for the right eye is shown on the left-hand side of Fig. 3A.  A parallax map shown in Fig. 3B is generated on the basis of the image data of the sub-image for the left eye and the image data of the sub-image for the left eye shown in Fig. 3A.
In addition, as shown in Fig. 3C, a histogram of the parallaxes of the sub-image for one screen is generated on the basis of the parallax map shown in Fig. 3B.  In the example shown in Fig. 3C, the point in the depth direction corresponding to the average of the parallaxes is positioned at a distance further from the surface of the display than that shown in Fig. 2C is.
Description of Conversion of Histogram of Parallaxes of Sub-image
Figs. 4A and 4B and Figs. 5A and 5B illustrate conversion of a histogram of the parallaxes of a sub-image.
Here, as shown in Fig. 4A, a main image for the left eye shown in the left-hand side of Fig. 2A is displayed in a parent screen 31 for the left eye having the same size as the image size of the main image data, and a sub-image for the left eye shown in the left-hand side of Fig. 3A is displayed in a child screen 32 for the left eye having the size different from the image size of the sub-image data.  In addition, a main image for the right eye shown in the right-hand side of Fig. 2A is displayed in the parent screen 31 for the right eye, and a sub-image for the right eye shown in the right-hand side of Fig. 3A is displayed in the child screen 32 for the right eye.
In this case, since the size of the parent screen 31 is the same as the image size of the main image data, the parallax map of the main image having the display size is the same as the parallax map shown in Fig. 2B, as shown in Fig. 4B.  Accordingly, the histogram of the parallaxes of the main image having the display size is that shown in Fig. 2C.
In contrast, the size of the child screen 32 is not the same as the image size of the sub-image data.  Accordingly, a histogram of the parallaxes of the sub-image shown in Fig. 5A is converted into a histogram of the parallaxes of the sub-image having the size of the child screen 32 shown in Fig. 5B, that is, the display size.  More specifically, the histogram shown in Fig. 5A is enlarged or reduced by the ratio of the display size in the horizontal direction to the image size of the sub-image in the horizontal direction.  Thus, as shown in Fig. 5B, the histogram of the parallaxes of the sub-image having the display size is generated.
For example, when the ratio of the display size in the horizontal direction to the image size of the sub-image in the horizontal direction is 1/2, the histogram of the parallaxes of the sub-image having the display size is obtained by reducing the histogram shown in Fig. 5B by 1/2 in the horizontal direction.
Note that, in the description of Figs. 4A and 4B and Figs. 5A and 5B, the size of the parent screen 31 is the same as the image size of the main image.  Accordingly, the histogram of the parallaxes of the main image is not converted.  However, if the size of the parent screen 31 differs from the image size of the main image, the histogram of the parallaxes of the main image is converted, like the histogram of the parallaxes of the sub-image.
Description of Amount of Correction
Figs. 6 to 8 are diagrams illustrating the amount of correction.
Fig. 6 illustrates a histogram of the parallaxes of display image data obtained when a main image for the left eye shown in the left-hand side of Fig. 2A is displayed in the parent screen 31 for the left eye, a sub-image for the left eye shown in the left-hand side of Fig. 3A is displayed in the child screen 32 for the left eye, a main image for the right eye shown in the right-hand side of Fig. 2A is displayed in the parent screen 31 for the right eye, and a sub-image for the right eye shown in the right-hand side of Fig. 3A is displayed in the child screen 32 for the right eye.
The histogram of the parallaxes of the display image data shown in Fig. 6 is obtained by combining the histogram of the parallaxes of the main image having the display size shown in Fig. 2B with the histogram of the parallaxes of the sub-image having the display size shown in Fig. 5B.
When the histogram of the parallaxes of the display image data is that shown in Fig. 6, the distance between the histogram of the parallaxes of the main image and the histogram of the parallaxes of the sub-image is small.  That is, the distance between the position of the main image displayed in the parent screen 31 and the position of the sub-image displayed in the child screen 32 in the depth direction is small.  As a result, eye fatigue of the user occurs.  In addition, although not shown, even when the distance between the position of the main image displayed in the parent screen 31 and the position of the sub-image displayed in the child screen 32 in the depth direction is large, eye fatigue of the user occurs.
Accordingly, the parallax control unit 17 computes the amount of correction of parallax for each of the main image and the sub-image so that the distance between the histogram of the parallaxes of the main image having the display size and the histogram of the parallaxes of the sub-image having the display size is within a predetermined range.
More specifically, as shown in Fig. 7, the parallax control unit 17 computes the amount of correction of parallax for each of the main image and the sub-image so that the distance between an average Am of the parallaxes of the main image having the display size and an average As of the parallaxes of the sub-image having the display size is within a predetermined range.  Note that, in this description, the amount of correction of parallax for each of the main image and the sub-image is computed so that the distance between the average Am and the average As is within a predetermined range.  However, the amount of correction of parallax for each of the main image and the sub-image may be computed so that the maximum value of the parallaxes of the main image and the minimum value of the parallaxes of the sub-image is within a predetermined range.
Alternatively, as shown in Fig. 8, the parallax control unit 17 may compute the amount of correction of parallax for each of the main image and the sub-image so that the ratio of the area in which the histogram of the parallaxes of the sub-image having the display size overlaps with the histogram of the parallaxes of the main image having the display size (see the diagonally-lined area in Fig. 8) to the entire area of the histogram of the parallaxes of the main image is within a predetermined range (e.g., 10% or higher and 90% or lower).  Still alternatively, the parallax control unit 17 may compute the amount of correction of parallax for each of the main image and the sub-image so that the difference between the following two parallaxes is within a predetermined range: the parallax corresponding to the back end of an area that is a predetermined percent (e.g., 3%) of the entire area and that starts from the parallax corresponding to the front end and ends at a predetermined parallax in the depth direction in the histogram of the parallaxes of the main image having the display size and the parallax of the front end of an area that is a predetermined percent (e.g., 3%) of the entire area and that starts from a predetermined parallax and ends at the parallax corresponding the back end in the depth direction in the histogram of the parallaxes of the sub-image having the display size.  In addition, the above-described methods for computing the amount of correction of parallax may be combined.  Yet still alternatively, the amount of correction of parallax for each of the main image and the sub-image can be computed using the parallax of a major object in the main image and the parallax of a major object in the sub-image.
In addition, in the examples shown in Figs. 7 and 8, only the histogram of the parallaxes of the sub-image having the display size is moved.  However, only the histogram of the parallaxes of the main image having the display size may be moved.  Alternatively, both the histogram of the parallaxes of the sub-image having the display size and the histogram of the parallaxes of the main image having the display size may be moved.
However, it is desirable that the amount of correction of parallax for each of the main image and the sub-image be computed so that the display position of the main image having a corrected parallax in the depth direction and the display position of the sub-image having a corrected parallax in the depth direction are located within the range for which the user can comfortably view the 3D images.
In addition, if the amount of correction of parallax for each of the main image and the sub-image is computed so that the display position of the sub-image in the depth direction is located on the front side (a user side) from the display position of the main image in the depth direction, the user can view the picture-in-picture display without any unpleasant sensation.
Description of Processing Performed by Image Processing Apparatus
Fig. 9 is a flowchart of an exemplary superimposing process performed by the image processing apparatus 10 shown in Fig. 1.  The superimposing process starts when, for example, the main image data and sub-image data are input to the image processing apparatus 10.
In step S11, the parallax detecting unit 11 detects a parallax of a 3D main image for each of pixels using image data of the main image for the left eye and image data of the main image for the right eye, which constitute the main image data input from the outside.  Thus, the parallax detecting unit 11 generates a parallax map.  Thereafter, the parallax detecting unit 11 supplies the parallax map to the parallax analyzing unit 12.  Note that instead of detecting the parallaxes of the entire area of the 3D main image, the parallax detecting unit 11 may detect the parallaxes of only an area of the 3D main image in which the sub-image is superimposed.  Alternatively, the parallax detecting unit 11 may detect the parallaxes of an area of the 3D main image in which the sub-image is superimposed and the parallaxes of an area around the area.  In such a case, as compared with the case in which the parallaxes of the entire area of the 3D main image are detected, the amount of computation for detecting the parallaxes can be reduced.
In step S12, the parallax detecting unit 14 detects a parallax of a 3D sub-image for each of pixels using image data of the sub-image for the left eye and image data of the sub-image for the right eye, which constitute the sub-image data input from the outside.  Thus, the parallax detecting unit 14 generates a parallax map.  The parallax detecting unit 14 supplies the parallax map to the parallax analyzing unit 15.
In step S13, the parallax analyzing unit 12 generates a histogram regarding the parallaxes of the main image using the parallax map supplied from the parallax detecting unit 11.  Thereafter, the parallax analyzing unit 12 supplies the histogram to the parallax control unit 17.  Note that when the parallax detecting unit 11 detects the parallax of only an area of the main image in which the sub-image is superimposed or the parallax of an area of the main image in which the sub-image is superimposed and an area around the area, the parallax analyzing unit 12 generates the histogram of the parallaxes of the partial area of the main image for which the parallax is detected and supplies the histogram to the parallax control unit 17.
In step S14, the parallax analyzing unit 15 generates a histogram regarding the parallax of the sub-image using the parallax map supplied from the parallax detecting unit 14 and supplies the generated histogram to the parallax control unit 17.
In step S15, using the image size and display size of the main image together with the main image data input from the outside, the parallax control unit 17 converts the histogram of the parallaxes of the main image supplied from the parallax analyzing unit 12 into a histogram of the parallaxes of the main image having the display size.
In step S16, using the image size and display size of the sub-image together with the sub-image data input from the outside, the parallax control unit 17 converts the histogram of the parallaxes of the sub-image supplied from the parallax analyzing unit 15 into a histogram of the parallaxes of the sub-image having the display size.
In step S17, using the histogram of the parallaxes of the main image having the display size and the histogram of the parallaxes of the sub-image having the display size, the parallax control unit 17 computes the amounts of correction used for correcting the parallax of the main image and the parallax of the sub-image so that a distance between the histogram of the parallaxes of the sub-image having the display size and the histogram of the parallaxes of the main image having the display size is within a predetermined range.
In step S18, the parallax control unit 17 computes an amount of shift of the display position of the main image on the basis of the amount of correction of the parallax of the main image computed in step S17.  Thereafter, the parallax control unit 17 supplies, to the image conversion unit 13, a conversion parameter including the amount of shift, the display size of the main image, and the display position of the main image.
In step S19, the parallax control unit 17 computes an amount of shift of the display position of the sub-image using the amount of correction of the parallax of the sub-image computed in step S17.  Thereafter, the parallax control unit 17 supplies, to the image conversion unit 16, a conversion parameter including the amount of shift, the display size of the sub-image, and the display position of the sub-image.
In step S20, using the amount of shift of the display position of the main image corresponding to the amount of correction of the parallax included in the conversion parameter supplied from the parallax control unit 17 and the display position of the main image, the image conversion unit 13 converts the main image data so that the parallax of the main image corresponding to the main image data input from the outside is corrected by the amount of correction.
In step S21, the image conversion unit 13 converts the image size of the main image data converted in step S20 into a display size using the display size of the main image included in the conversion parameter supplied from the parallax control unit 17.  Thereafter, the image conversion unit 13 supplies the resultant main image data and the display position to the image superimposing unit 18.
In step S22, using the amount of shift of a display position of the sub-image corresponding to an amount of correction of the parallax included in the conversion parameter supplied from the parallax control unit 17 and the display position of the sub-image, the image conversion unit 16 converts the sub-image data so that the parallax of the sub-image corresponding to the sub-image data input from the outside is corrected by the amount of correction.
In step S23, the image conversion unit 16 converts the image size of the sub-image data converted in step S22 into a display size using the display size of the sub-image included in the conversion parameter supplied from the parallax control unit 17.  Thereafter, the image conversion unit 16 supplies the resultant sub-image data and the display position to the image superimposing unit 18.
In step S24, the image superimposing unit 18 superimposes the sub-image data received from the image conversion unit 16 on the main image data received from the image conversion unit 13 using the display positions received from the image conversion unit 13 and the image conversion unit 16.  Thereafter, the image superimposing unit 18 outputs the resultant image data that serves as display image data to the display 19.  Thus, the processing is completed.
As described above, the image processing apparatus 10 computes an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that the distance between the histogram of the parallaxes of the main image and the histogram of the parallaxes of the sub-image is within a predetermined range.  Thereafter, the image processing apparatus 10 converts at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected.  Accordingly, the position of the main image in the depth direction is not too far away from or too close to the position of the sub-image in the depth direction.  Consequently, eye fatigue of the user can be reduced.
While the description has been made with reference to the image processing apparatus 10 that computes the parallax map, the parallax map may be input from the outside together with the main image data and the sub-image data.
In addition, the image data of the sub-image for the left eye and the image data of the sub-image for the right eye that constitute the sub-image data may be image data obtained by shifting the display position of 2D sub-image data by a predetermined amount of offset in opposite horizontal directions or may be image data of two sub-image obtained from different points of view.
Description of Computer according to Embodiment
The above-described series of processes can be executed not only by hardware but also by software.  When the above-described series of processes are executed by software, the programs of the software are installed in, for example, a general-purpose computer.
Fig. 10 illustrates an exemplary configuration of a computer having a program that performs the above-described series of processes installed therein, according to an embodiment.
The program can be prerecorded in a storage unit 208 and a ROM (Read Only Memory) 202 which are recording media incorporated into the computer.
Alternatively, the program can be stored (recorded) in a removable medium 211.  The removable medium 211 can be provided in the form of so-called package software.  Examples of the removable medium 211 include a flexible disk, a CD-ROM (compact disc-read only memory), an MO (magnetooptical) disc, a DVD (digital versatile disc), a magnetic disc, and a semiconductor memory.
Note that the programs can be installed in a computer from the removable medium 211 via a drive 210.  In addition, the programs can be downloaded into a computer via a communication network or a broadcast network and can be installed in the storage unit 208 incorporated into the computer.  That is, the programs can be wirelessly transferred from, for example, a download site into the computer via an artificial satellite for digital satellite broadcasting.  Alternatively, the programs can be transferred from a download site into the computer through wired communication using a network, such as a LAN (Local Area Network) or the Internet.
The computer incorporates a central processing unit (CPU) 201.  An input/output interface 205 is connected to the CPU 201 via a bus 204.
Upon receiving a command, via the input/output interface 205, from a user who operates an input unit 206, the CPU 201 executes the program stored in the ROM 202.  Alternatively, the CPU 201 loads the program stored in the storage unit 208 into a random access memory (RAM) 203 and executes the program.
In this way, the CPU 201 performs the process in accordance with the above-described flowchart or the process to be performed by the configuration illustrated in the above-described block diagram.  Thereafter, the CPU 201 outputs the result of the process using, for example, an output unit 207 via the input/output interface 205 or transmits the result using a communication unit 209 if necessary.  In addition, the CPU 201 records the result in the storage unit 208.
Note that the input unit 206 includes a keyboard, a mouse, and a microphone.  In addition, the output unit 207 includes a liquid crystal display (LCD) and a speaker.
In the present specification, the processes to be performed by the computer are not necessarily performed in accordance with the time sequence described in the flowchart.  That is, the processes performed by the computer in accordance with a program include a process performed in parallel with another process or a process performed independently (e.g., a parallel process or a process using an object).
In addition, the program may be executed by a single computer (a single processor) or a plurality of computers in a distributed processing manner.  Alternatively, the program may be transferred to a remote computer and may be executed by the remote computer.
It should be noted that the present invention is not limited to an image processing apparatus that performs picture-in-picture display in which a main image is displayed in a parent screen and a sub-image is displayed in a child screen.  The present invention is applicable to any image processing apparatus that combines a plurality of 3D images and displays the combined 3D image.  For example, the present invention is applicable to an image processing apparatus that generates an OSD image by combining a 3D sub-image with a 3D main image and displays the OSD image, an image processing apparatus that combines a 3D sub-image serving as a caption image with a 3D main image and displays the combined image, or an image processing apparatus that performs picture-in-picture display, OSD display, or caption display by combining a plurality of sub-images with a main image.
Furthermore, the present invention is applicable to a reproduction apparatus having a function of reading main image data and sub-image data from a recording medium.  In this case, for example, as shown in Fig. 11, a reproduction apparatus 300 includes the component disposed in the image processing apparatus 10 and a reading unit 302 that reads main image data and sub-image data stored in a recording medium 301.
Still furthermore, while the above description has been made with reference to the case in which a single sub-image is superimposed on a main image, a plurality of sub-images may be superimposed.  In such a case, the above-described superimposing process is repeatedly performed.
An embodiment of the present invention is not limited to the above-described embodiment, but various modifications can be made without departing from the spirit of the present invention.
WHAT IS CLAIMED IS:
1.  An image processing apparatus comprising:
main image statistical information generating means for detecting a parallax of each of predetermined units of a 3D main image on the basis of main image data representing image data of the main image and generating main image statistical information representing statistical information regarding the parallax;
sub-image statistical information generating means for detecting a parallax of each of predetermined units of a 3D sub-image on the basis of sub-image data representing image data of the sub-image and generating sub-image statistical information representing statistical information regarding the parallax;
parallax control means for computing, on the basis of the main image statistical information and the sub-image statistical information, an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range;
image conversion means for converting at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and outputting the image data; and
superimposing means for superimposing the sub-image data output from the image conversion means on the main image data output from the image conversion means.
2.  The image processing apparatus according to Claim 1, wherein the parallax control means computes the amount of correction so that a difference between an average of the parallaxes of the main image and an average of the parallaxes of the sub-image is within a predetermined range.
3.  The image processing apparatus according to Claim 1, wherein the statistical information is in the form of a histogram, and wherein the parallax control means computes the amount of correction so that a ratio of an area of the histogram of the main statistical information that overlaps with the sub-image statistical information to the entire area of the histogram of the main statistical information is within a predetermined range.
4.  The image processing apparatus according to Claim 1, wherein the parallax control means computes the amount of correction so that a distance between the position of the main image and the position of the sub-image in the depth direction is within a predetermined range and the position of the sub-image in the depth direction is located so as to be closer to a user than the position of the main image in the depth direction.
5.  The image processing apparatus according to Claim 1, wherein, when an image size of the main image data differs from a display size of the main image data, the parallax control means further converts the main image statistical information into main image statistical information for the display size of the main image data on the basis of the image size of the main image data and the display size of the main image data, and wherein, when an image size of the sub-image data differs from a display size of the sub-image data, the parallax control means further converts the sub-image statistical information into sub-image statistical information for the display size of the sub-image data on the basis of the image size of the sub-image data and the display size of the sub-image data, and wherein the parallax control means computes the amount of correction on the basis of the main image statistical information and the sub-image statistical information after the conversion.
6.  An image processing method for use in an image processing apparatus, comprising the steps of:
detecting a parallax of each of predetermined units of a 3D main image on the basis of main image data representing image data of the main image and generating main image statistical information representing statistical information regarding the parallax;
detecting a parallax of each of predetermined units of a 3D sub-image on the basis of sub-image data representing image data of the sub-image and generating sub-image statistical information representing statistical information regarding the parallax;
computing an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range on the basis of the main image statistical information and the sub-image statistical information;
converting at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and outputting the image data; and
superimposing the output sub-image data on the output main image data.
7.  A program comprising:
program code for causing a computer to perform a process including the steps of detecting a parallax of each of predetermined units of a 3D main image on the basis of main image data representing image data of the main image and generating main image statistical information representing statistical information regarding the parallax, detecting a parallax of each of predetermined units of a 3D sub-image on the basis of sub-image data representing image data of the sub-image and generating sub-image statistical information representing statistical information regarding the parallax, computing an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range on the basis of the main image statistical information and the sub-image statistical information, converting at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and outputting the image data, and superimposing the output sub-image data on the output main image data.
8.  A reproduction apparatus comprising:
read-out means for reading out main image data representing image data of a 3D main image and sub-image data representing image data of a 3D sub-image;
main image statistical information generating means for detecting a parallax of each of predetermined units of the main image on the basis of the main image data and generating main image statistical information representing statistical information regarding the parallax;
sub-image statistical information generating means for detecting a parallax of each of predetermined units of the sub-image on the basis of the sub-image data and generating sub-image statistical information representing statistical information regarding the parallax;
parallax control means for computing an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range on the basis of the main image statistical information and the sub-image statistical information;
image conversion means for converting at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and outputting the image data; and
superimposing means for superimposing the sub-image data output from the image conversion means on the main image data output from the image conversion means.
9.  An image processing apparatus comprising:
a main image statistical information generating unit configured to detect a parallax of each of predetermined units of a 3D main image on the basis of main image data representing image data of the main image and generate main image statistical information representing statistical information regarding the parallax;
a sub-image statistical information generating unit configured to detect a parallax of each of predetermined units of a 3D sub-image on the basis of sub-image data representing image data of the sub-image and generate sub-image statistical information representing statistical information regarding the parallax;
a parallax control unit configured to compute, on the basis of the main image statistical information and the sub-image statistical information, an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range;
an image conversion unit configured to convert at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and output the image data; and
a superimposing unit configured to superimpose the sub-image data output from the image conversion unit on the main image data output from the image conversion unit.
10.  A reproduction apparatus comprising:
a read-out unit configured to read out main image data representing image data of a 3D main image and sub-image data representing image data of a 3D sub-image;
a main image statistical information generating unit configured to detect a parallax of each of predetermined units of the main image on the basis of the main image data and generate main image statistical information representing statistical information regarding the parallax;
a sub-image statistical information generating unit configured to detect a parallax of each of predetermined units of the sub-image on the basis of the sub-image data and generating sub-image statistical information representing statistical information regarding the parallax;
a parallax control unit configured to compute an amount of correction used for correcting at least one of the parallax of the main image and the parallax of the sub-image so that a distance between the position of the main image and the position of the sub-image in a depth direction representing a direction perpendicular to a screen of the main image and the sub-image is within a predetermined range on the basis of the main image statistical information and the sub-image statistical information;
an image conversion unit configured to convert at least one of the main image data and the sub-image data so that at least one of the parallax of the main image and the parallax of the sub-image is corrected by the amount of correction and output the image data; and
a superimposing unit configured to superimpose the sub-image data output from the image conversion unit on the main image data output from the image conversion unit.
ABSTRACT OF THE DISCLOSURE
An image processor includes a main image statistical information generator that detects a parallax of each predetermined unit of a 3D main image from main image data and generates parallax statistical information, a sub-image statistical information generator unit that detects a parallax of each predetermined unit of a 3D sub-image from sub-image data and generates parallax statistical information, a parallax controller that computes, using the statistical information, a correction amount used for correcting at least one of the main image and sub-image parallaxes so that a positional distance between the main image and the sub-image in a depth direction is within a predetermined range, a converter that converts at least one of the main image data and sub-image data so that at least one of the parallaxes of the images is corrected by the correction amount, and a superimposing unit that superimposes the sub-image data on the main image data.
2011166761.tif 000020
2011166761.tif 000021
2011166761.tif 000022
2011166761.tif 000023
2011166761.tif 000024
2011166761.tif 000025
2011166761.tif 000026
2011166761.tif 000027
2011166761.tif 000028