(57)【要約】【課題】観察者が立体視しやすく疲れにくい立体画像を生成するとともに、立体画像中の任意部分の立体感を簡単に調整する画像処理装置を提供する。【解決手段】視差補正部１０１は、入力された視差画像の視差を所定の範囲で補正し、補正後の視差が格納された視差画像を視差変換部１０３に出力する。視差変換部１０３は、主要被写体決定部１０２で決定された主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換し、変換後の視差画像を画像生成部１０４に出力する。画像生成部１０４は、入力された視差画像と撮影画像に基づいて、左眼用の画像と、右眼用の画像を生成し、表示装置に出力する。  その結果、主要被写体の立体感が強調されるように視差が変換される。【選択図】図１
2011250059.tif 000002
【特許請求の範囲】
【請求項１】
１視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成する画像処理装置であって、
前記視差画像の視差を所定の範囲で補正する視差補正部と、
前記撮影画像の主要被写体を決定する主要被写体決定部と、を備え、
前記主要被写体決定部で決定された主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換し、当該変換した視差による視差画像と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置。
【請求項２】
同一被写体を２つの視点位置から撮影した２つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成する画像処理装置であって、
前記２つの撮影画像から視差を算出する視差算出部と、
前記視差算出部で算出した視差を所定の範囲で補正する視差補正部と、
前記撮影画像の主要被写体を決定する主要被写体決定部と、を備え、
前記主要被写体決定部で決定された主要被写体に対応する視差が所定値となるように前記視差算出部で算出した視差を変換し、当該変換した視差と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置。
【請求項３】
前記所定値は、前記主要被写体を立体表示装置に表示したときに表示画面上付近に表示される値であることを特徴とする請求項１から２のいずれかに記載の画像処理装置。
【請求項４】
視差画像と撮影画像に基づき、視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行するぼかし処理部を備えたことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記ぼかし処理部は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
請求項１から５のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項７】
請求項１から５のいずれかに記載の画像処理装置を備えたことを特徴とする画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体画像を生成する画像処理装置、当該画像処理装置を備えた画像表示装置、および、当該画像処理装置を備えた画像撮像装置に関する。
【背景技術】
【０００２】
左眼用と右眼用の２台のカメラを並べて同時に同一の被写体（以下、同一被写体と略記する）を撮影し、２台のカメラが生成する２つの画像データ（以下、画像と略記する）に対して各種画像処理を実行し、立体画像（ステレオ画像とも言う）を生成する装置が提案されている（特許文献１参照）。
【０００３】
前記２つの画像を重ねた際に生じる画像間のずれを視差と呼ぶ。この視差はカメラと被写体までの距離によって変化する。
例えば、カメラの光軸が平行になるように２台のカメラを直線上に配置し、同一被写体を撮影する場合を想定する。このとき、被写体が遠方にあると、当該被写体の視差はほぼ０になる。そして、カメラと被写体との距離が短くなるにつれて、当該被写体の視差が大きくなる。従って、視差が大きい被写体を含む２つの画像に基づき立体画像を生成し、表示出力すると、前記被写体の飛び出し量が大きくなり（近づいて見える）、立体感が強調される。
【０００４】
しかし、視差をある程度以上に大きくすると、左目で知覚する画像と右目で知覚する画像とが融合せず、二重像が見えてしまい、立体視ができなくなる（融合限界）。さらに、過度の視差による二重像は、視覚疲労の原因となることが知られている。そこで、立体画像を快適に視聴するためには、画像表示時における被写体の奥行き（飛びだし、引っ込み）範囲を制限する必要がある。なお、この制限については、非特許文献１に開示されている。
【０００５】
また、過度の視差による二重像を生じさせることなく立体画像を生成する技術が、例えば前述した特許文献１に開示されている。特許文献１に開示されている技術は、立体画像が観察者の立体視可能な範囲内に表示されるように、奥行き範囲を非線形に制御することで観察者が立体視しやすい画像を生成するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−９１５０８号公報
【非特許文献】
【０００７】
【非特許文献１】３Ｄコンソーシアム  ３ＤＣ安全ガイドライン  URL: http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidelineJ_200812.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、立体感を強調したい主要被写体が、撮影可能な最大視差と最小視差との中間付近の視差を有していない場合には、主要被写体の立体感が十分に得られないという課題がある。この課題について、図１６、図１７を用いて具体的に説明する。
【０００９】
図１６は、主要被写体１６００、主要被写体１６０１、背景１６０２を模式的に示した図であり、図示しないカメラからの距離は主要被写体１６００が最も近く、主要被写体１６０１、背景１６０２の順に遠くなるとする。
前述したように、直線上に配置された２台のカメラを用いて主要被写体１６００、１６０１、背景１６０２を撮影した画像に対して各種画像処理を実行し、立体画像を生成し、立体画像表示装置（以下、表示装置と略記する）に表示出力する。
【００１０】
カメラからの距離は主要被写体１６００、１６０１、背景１６０２の順に遠くなるので、主要被写体１６００の視差がγ、主要被写体１６０１の視差がβであるとすると、γ＞βとなる。なお、主要被写体１６００の視差γ、主要被写体１６０１の視差βは、撮影可能な最大視差、最小視差との中間付近の視差ではないとする。背景１６０２は、カメラから最も遠くに位置するので、背景１６０２の視差αは最も小さい。
【００１１】
図１７は、図１６に示した主要被写体１６００、１６０１、背景１６０２を撮影した画像に対して各種画像処理を実行することにより生成された立体画像を表示装置の表示パネルＰに表示した場合に、当該立体画像が視聴者によって知覚される状態を模式的に示す図である。なお、表示パネルＰの“あ”は表示パネルの位置を示している。
【００１２】
主要被写体１６００は位置１７００付近に知覚され、主要被写体１６０１は位置１７０１付近に知覚され、背景１６０２は位置１７０２付近に知覚される。
このように、図１６に示した主要被写体１６００、１６０１、背景１６０２の立体画像を表示パネルＰに表示すると、主要被写体１６００、１６０１が背景１６０２付近に引っ込んでいるように観察者により知覚されてしまう。その結果、被写体の立体感を十分に得ることができず、立体画像としての立体感が弱まって知覚されてしまう。
【００１３】
特に、主要被写体の視差が背景または前景の視差と略一致すると、主要被写体の立体感が大きく損なわれる。
【００１４】
本発明の目的は、上記課題を解決し、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、立体画像中の任意部分の立体感を簡単に調整する画像処理装置を提供することにある。
【課題を解決するための手段】
【００１５】
第１の技術手段は、１視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成する画像処理装置であって、前記視差画像の視差を所定の範囲で補正する視差補正部と、前記撮影画像の主要被写体を決定する主要被写体決定部と、を備え、前記主要被写体決定部で決定された主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換し、当該変換した視差による視差画像と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置である。
【００１６】
第２の技術手段は、同一被写体を２つの視点位置から撮影した２つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成する画像処理装置であって、前記２つの撮影画像から視差を算出する視差算出部と、前記視差算出部で算出した視差を所定の範囲で補正する視差補正部と、記撮影画像の主要被写体を決定する主要被写体決定部と、を備え、前記主要被写体決定部で決定された主要被写体に対応する視差が所定値となるように前記視差算出部で算出した視差を変換し、当該変換した視差と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置である。
【００１７】
第３の技術手段は、第１から第２のいずれかの技術手段において、前記所定値は、前記主要被写体を立体表示装置に表示したときに表示画面上付近に表示される値であることを特徴とする。
【００１８】
第４の技術手段は、第１から第３のいずれかの技術手段において、視差画像と撮影画像に基づき、視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行するぼかし処理部を備えたことを特徴とする。
【００１９】
第５の技術手段は、第４の技術手段において、前記ぼかし処理部は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくすることを特徴とする。
【００２０】
第６の技術手段は、第１から第５のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像表示装置である。
【００２１】
第７の技術手段は、第１から第５のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像撮像装置である。
【発明の効果】
【００２２】
本発明の画像処理装置によれば、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、視差変換によって立体画像中の任意部分の立体感を簡単に調整することができ、簡単に主要被写体の立体感を強調したり、奥行き感を変更することができる。
【図面の簡単な説明】
【００２３】
【図１】第１実施例で説明する画像処理装置の機能ブロック図である。
【図２】視差画像について説明する図である。
【図３】視差を正規化する視差補正式のグラフである。
【図４】視差をクリップする視差補正式のグラフである。
【図５】観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。
【図６】視差を０、正負の値に増減させた被写体を表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。
【図７】正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図８】クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図９】クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図１０】視聴者によって視差変換後の立体画像が知覚される状態を模式的に示す図である。
【図１１】第２実施例で説明する画像処理装置の機能ブロック図である。
【図１２】視差の拡大例を示すグラフである
【図１３】正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図１４】第３実施例で説明する画像処理装置の機能ブロック図である。
【図１５】視差をクリップする視差補正式のグラフである。
【図１６】主要被写体、背景を模式的に示した図である。
【図１７】視聴者によって立体画像が知覚される状態を模式的に示す図である。
【発明を実施するための形態】
【００２４】
（実施例１）
以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
図１は、実施例１で説明する、本発明の画像処理装置１００の機能ブロック図である。
画像処理装置１００は、視差補正部１０１、主要被写体決定部１０２、視差変換部１０３、画像生成部１０４から構成され、１視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成するものである。
【００２５】
外部装置（図示しない）などから入力された視差画像は、視差補正部１０１に入力される。外部装置などから入力された撮影画像は、主要被写体決定部１０２、画像生成部１０４に入力される。
【００２６】
視差補正部１０１は、入力された視差画像の視差を所定の範囲で補正し、補正後の視差が格納された視差画像を視差変換部１０３に出力する。なお、視差画像については、後述する。
主要被写体決定部１０２は、入力された撮影画像の主要被写体を決定し、主要被写体の位置情報を視差変換部１０３に出力する。
【００２７】
視差変換部１０３は、主要被写体決定部１０２から入力される主要被写体の位置情報に基づき、視差補正部１０１から入力される視差画像から、前記主要被写体の画像に対応する視差（補正後）を抽出する。そして抽出した視差を所定の変換式に基づき変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。すなわち、主要被写体決定部１０２で決定された主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換する。前記所定値は、前記主要被写体を表示装置に表示したときに表示画面上付近に表示される値である。具体的には、例えば０、または、０を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。
その結果、主要被写体の立体感が強調されるように視差が変換される。
【００２８】
画像生成部１０４は、入力された視差画像と撮影画像に基づいて、左眼用の画像（左画像）と、右眼用の画像（右画像）を生成し、表示装置（図示しない）に出力する。
すなわち、画像生成部１０４は、視差変換部１０３が変換した視差による視差画像と、撮影画像に基づいて立体画像を生成する。
【００２９】
以下に、各機能ブロックの内容について詳細に説明する。まず、視差補正部１０１に入力される視差画像について図２を用いて説明する。
【００３０】
図２（Ａ）は、被写体２０１をカメラ２０２、２０３で撮影している状態を模式的に示した図である。カメラ２０２、２０３の光軸（点線）は平行であり、カメラ２０２、２０３は直線上に配置されている。
【００３１】
図２（Ｂ）は、左側のカメラ２０２によって撮影された被写体２０１の撮影画像（以下、左画像と記す）２０４、右側のカメラ２０３によって撮影された被写体２０１の撮影画像（以下、右画像と記す）２０５を模式的に示した図である。
【００３２】
図２（Ｃ）は、左画像２０４に右画像２０５を重ね合わせた画像を模式的に示し、図２（Ｄ）は、視差画像２０６を示す。
【００３３】
図２（Ｃ）に示すように、右画像２０５の被写体２０１（四角形の点線）は、左画像２０４の被写体２０１（四角形の実線）に対して左側にＸ画素分ずれている。前記Ｘ画素が、２つの撮影画像（左画像２０４、右画像２０５）おける同一被写体２０１のずれを示す視差である。
【００３４】
視差画像とは、同一被写体を２つの視点位置から撮影した２つの撮影画像における同一被写体のずれを示す視差を被写体の画素と対応して画素毎に格納した画像を意味する。前述の例では、左画像２０４の被写体に対応して視差画像の画素毎に当該被写体の視差が格納されている。
【００３５】
図２（Ｄ）では、視差画像２０６の画素２０６ａに被写体２０１の視差Ｘが格納されている状態を模式的に示している。
視差画像２０６の他の画素２０６ｂにも、画素２０６ｂに対応する左画像２０４の被写体の視差が格納されている。
なお、視差の単位は画素でもよいし距離でもよい。
【００３６】
視差補正部１０１は、過度の視差を抑制するため、視差画像の視差の補正を行う。この視差の補正は後に述べる周知の方法で補正できる。
視差補正方法には、代表的な２つの方法がある。１つは視差を正規化する方法、もう１つは視差をクリップする方法である。視差を正規化すると、視差が飽和せずに、全体の奥行き関係が保存され、視差をクリップすると、立体視可能な範囲内の視差を持つ被写体の奥行き量は保持される特徴がある。
【００３７】
正規化する方法により視差補正を実行する例を図３に、クリップする方法により視差補正を実行する例を図４に示す。
図３は、視差を正規化する視差補正式のグラフを示し、前記視差補正式は、（式１）で表される。
【００３８】
【数１】
2011250059.tif 000003
【００３９】
図４は、視差をクリップする視差補正式のグラフを示し、前記視差補正式は、（式２）〜（式４）で表される。
【００４０】
【数２】
2011250059.tif 000004
【数３】
2011250059.tif 000005
【数４】
2011250059.tif 000006
【００４１】
横軸は入力視差Ｄｉｎ、縦軸は出力視差Ｄｏｕｔを示す。入力視差とは、視差補正部１０１に入力される視差画像の視差（補正前の視差）を意味し、出力視差とは、視差補正部１０１から出力される視差画像の視差（補正後の視差）を意味する。また、式中のｄｉｎは入力視差Ｄｉｎに対応し、式中のｄｏｕｔは出力視差Ｄｏｕｔに対応する。
【００４２】
Ｄｉｎ＿ｍｉｎは入力視差画像の最小視差、Ｄｉｎ＿ｍａｘは入力視差画像の最大視差である。
Ｄｏｕｔ＿ｍｉｎは立体視可能な視差の最小値、Ｄｏｕｔ＿ｍａｘは立体視可能な視差の最大値であり、融合限界の視差に対応する。
【００４３】
線３００は視差補正を行う前の入力視差と出力視差の関係を表し、視差補正前では、入力視差と出力視差は同値である。線３０１は視差補正前の入力視差Ｄｉｎと視差補正後の出力視差Ｄｏｕｔの関係を表す。
【００４４】
図３の方法では、Ｄｉｎ＿ｍａｘ（入力視差の最大値）をＤｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）に割り当て、Ｄｉｎ＿ｍｉｎ（入力視差の最小値）をＤｏｕｔ＿ｍｉｎ（立体視可能な視差の最小値）に割り当てることで、視差を飽和させずに全体の奥行き関係を保ちながら立体視可能な範囲に視差を補正している。
【００４５】
図４の方法では、Ｄｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）以上の入力視差をＤｏｕｔ＿ｍａｘにする補正を行い、Ｄｏｕｔ＿ｍｉｎ（立体視可能な視差の最小値）以下の入力視差をＤｏｕｔ＿ｍｉｎにする補正を行う。このように、立体視不可能な視差を立体視可能な視差に飽和させることで、奥行き量を保ちながら立体視可能な範囲に視差を補正している。
【００４６】
前記した立体視可能な両眼視差の範囲は、表示装置の画面サイズと観察者の視聴距離に依存し、非特許文献１には、立体視可能な両眼視差の範囲（融合限界）は最大２度程度、快適に立体画像を視聴できる両眼視差の範囲は１度以下であると記載されている。
【００４７】
立体画像を表示する表示装置の画面サイズと、画面サイズに応じた標準視聴距離に基づき、Ｄｏｕｔ＿ｍｉｎおよびＤｏｕｔ＿ｍａｘを決定する場合、非特許文献１の基準を用いると、例えば、４０インチＨＤ（１９２０×１０８０）解像度のときは表示装置（表示パネル）の位置を基準にして−１３０画素が最小視差、１３０画素が最大視差となる。
【００４８】
視差補正部１０１により補正された視差が格納された視差画像は、視差変換部１０３に出力される。
【００４９】
主要被写体決定部１０２は、入力される撮影画像の被写体の中から主要被写体を決定し、主要被写体の位置情報、例えば、主要被写体の画素位置を示す座標情報を視差変換部１０３に出力する。主要被写体の決定は周知の方法で実現できる。例えば、撮影画像の中から焦点が合っている被写体を選択し、当該被写体を主要被写体と決定する方法や、撮影画像に対してパターン認識処理を実行することにより抽出された被写体を主要被写体と決定する方法、ユーザ自らが主要被写体を決定する方法がある。他にも、顔認識技術を使って特定人物を主要被写体と決定してもよい。
【００５０】
視差変換部１０３は、主要被写体決定部１０２で決定された主要被写体の画像に対応する視差が所定値となるように変換する。具体的には、前記被写体の立体感が強調されるように視差を変換する。図２の例では、被写体２０１が主要被写体とすると、被写体２０１の視差Ｘが主要被写体の画像に対応する視差（変換対象の視差）である。
【００５１】
ここで、視差を０、正負の値に増減させた被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図５、図６を用いて説明する。
図５は、観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。奥行き量とは飛び出し量と引っ込み量のことであり、飛び出し量とは実際の表示位置よりも観察者の方へ近づいて見える量で、引っ込み量とは実際の表示位置よりも観察者から遠ざかって見える量のことである。
【００５２】
すなわち、ある被写体を表示装置に表示させたとき、その被写体の視差が正の値に大きくなるほど飛び出して見え、負の値に大きくなるほど引っ込んで見える。また、視差が０の被写体は、左右画像にずれが生じないので表示装置に表示しても、知覚される位置は表示画面上であり、２Ｄで知覚される奥行き位置に違いは生じない。そのため、視差が０の画像を表示装置で表示しても観察者には奥行きがあるようには知覚されず、実際の表示位置と同じ位置に２Ｄ表示されているように知覚される。この視差が０の被写体を表示装置に表示させることを、被写体が表示画面上に表示されているという。この視差０、または、０を基準に所定の範囲内にある値が、前記所定値に該当する。
【００５３】
図６は、視差を０、正負の値に増減させた被写体を表示装置に表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。
図６に示す被写体Ａの手前側面の視差をＤｉｎ（入力視差）とする。ここで、視差Ｄｉｎの値を０に変換、すなわち、変換後の視差を０（以下、変換後の視差をＤｏｕｔと記す）にして、視差が０の被写体Ａを表示装置Ｐに表示すると、被写体Ａは、観察者によって、表示装置Ｐの画像表示面である位置６００付近に知覚される。
【００５４】
また、Ｄｏｕｔを正の値にすると被写体Ａは位置６０１のように画像表示面の手前側に飛び出すように知覚される。Ｄｏｕｔを負の値にすると被写体Ａは位置６０２のように画像表示面の奥側に引っ込んで知覚される。
【００５５】
前記視差の変換は、例えば、図７、８に示す視差変換式によって実行することができる。
図７は、図３に示した、正規化することにより補正した視差に視差変換を実行する視差変換式のグラフを示し、図８は、クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフを示す。
【００５６】
図７の視差変換式は、（式５）、（式６）で表される。
【００５７】
【数５】
2011250059.tif 000007
【数６】
2011250059.tif 000008
【００５８】
図８の視差変換式は、（式７）〜（式１０）で表される。
【００５９】
【数７】
2011250059.tif 000009
【数８】
2011250059.tif 000010
【数９】
2011250059.tif 000011
【数１０】
2011250059.tif 000012
【００６０】
ここで、入力視差Ｄｉｎは視差変換前の視差を示し、Ｄｉｎ＿ｍａｘは視差変換前の最大視差、Ｄｉｎ＿ｍｉｎは視差変換前の最小視差を示す。
出力視差Ｄｏｕｔは視差変換後の視差を示し、Ｄｏｕｔ＿ｍａｘは視差変換後の最大視差、Ｄｏｕｔ＿ｍｉｎは視差変換後の最小視差を示す。
線３０２は視差変換前の入力視差Ｄｉｎと視差変換後の出力視差Ｄｏｕｔの関係を表す。Ｄｉｎ０、Ｄｏｕｔ０については任意の値とすることができる。
【００６１】
また、式中のｄｉｎは視差変換前の入力視差Ｄｉｎに対応し、式中のｄｏｕｔは視差変換後の出力視差Ｄｏｕｔに対応する。
【００６２】
ここで、図７、図８のグラフについて、図６を参照しながら説明する。
図７のグラフによれば、入力視差は減らされ、図８のグラフによれば、入力視差は増やされる。
【００６３】
図６で説明した被写体Ａが位置６００付近に知覚されている状態において、図７のグラフに示した視差変換式を用いて被写体Ａの視差を減らして負の値に変換すると、被写体Ａは、位置６０２のように画像表示面の奥側に引っ込んで知覚される。
図６で説明した被写体Ａが位置６００付近に知覚されている状態において、図８のグラフに示した変換式を用いて被写体Ａの視差を増やして正の値に変換すると、被写体Ａは、位置６０１のように画像表示面の手前側に飛び出すように知覚される。
【００６４】
図７、図８に示したように、Ｄｉｎ０を境に、Ｄｉｎ０よりも小さい視差の範囲と、Ｄｉｎ０よりも大きい視差の範囲とで変換式を変えている。すなわち、主要被写体から背景までの奥行き量を大きくしたり、小さくしたりすることが可能であり、簡単に立体感を強調することができる。
【００６５】
以下に、図１６に示した主要被写体の視差を例えば、図８で説明した視差変換式を用いて変換し、視差変換後の主要被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図９、図１０を用いて説明する。図９の視差変換式は、図８の視差変換式と同じ変換式である。
【００６６】
図１６の主要被写体１６００の視差γは、図９に示す視差変換式により、視差γ’に増やされる。また、図１６の主要被写体１６０１の視差βは、図９に示す視差変換式により、視差β’に増やされる。
【００６７】
図１０は、視差変換後の立体画像が知覚される状態を模式的に示す図である。
視差を増やすことにより、主要被写体１６００は位置１０００付近に知覚され、主要被写体１６０１は位置１００１付近に知覚されるようになる。このようにすることで、奥行き量を拡大することができ、立体感が強調される。
図１７と比べると、視差を増やすことにより、背景１６０２の位置と、主要被写体１６００、１６０１との位置の違いがはっきりと知覚されるようになる。その結果、立体感が強調された画像表示が可能になる。
【００６８】
このように主要被写体の視差を変換することで、主要被写体と当該主要被写体の周辺部との立体感を強調できる。主要被写体に厚みがある場合は、主要被写体の最大視差と最小視差の平均値を主要被写体の視差とする。また、主要被写体が複数ある場合は、複数の主要被写体の最大視差と最小視差の平均値を、各主要被写体の視差とする。このようにすることにより、主要被写体の厚みを考慮して、主要被写体の視差（表示位置）を変換することができるため好適である。また、視差の平均値は領域の面積を考慮して算出する方が、被写体の重心を考慮して表示位置を変換することができるため好適である。
【００６９】
前述したように、視差変換部１０３は、視差補正部１０１から入力される視差画像の中から、主要被写体決定部１０２が決定した主要被写体の視差（補正後）を画素毎に抽出し、この抽出した画素毎の視差を、図７または図８に示した所定の変換式に基づき変換し、変換後の視差を当該主要被写体の画素毎に格納する。そして、変換後の視差が格納されている視差画像を画像生成部１０４に出力する。
【００７０】
画像生成部１０４は、外部装置などから入力された撮影画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。
ここで、立体画像生成方法を以下に述べる。撮影画像をＩ、視差画像をＤ、出力画像をＯとする。画像中の座標（ｘ、ｙ）における画素値をＩ（ｘ、ｙ）とＤ（ｘ、ｙ）で表す。（式１１）を用いて撮影画像Ｉから出力画像Ｏへ視差分水平移動した画像を作成する。
【００７１】
【数１１】
2011250059.tif 000013
【００７２】
このとき、画素が重なった場合は視差の大きな画素（カメラに近い場所にある被写体）を用い、画素が埋まらなかった場合は上下左右の画素を用いて補間する。撮影画像Ｉを左画像、出力画像Ｏを右画像として出力する。
【００７３】
以上の構成により、主要被写体と前景または背景との視差の値が小さくても、視差を変換することで、主要被写体と前景または背景との視差の差を大きくすることができる。
その結果、主要被写体と前景または背景との奥行き量を変換し、観察者が立体視可能な範囲内で立体感を強調した画像を生成することができる。
【００７４】
本実施例では、視差補正部１０１、視差変換部１０３において、線形変換を用いて視差の補正、変換を行ったが、非線形変換を用いても同様の効果を得ることができる。
本実施例では、Ｄｉｎ０とＤｏｕｔ０という入力視差と出力視差の１組を用いたが、２組以上を用いて視差の変換を行っても、同様の効果を得ることができる。
【００７５】
（実施例２）
以下、本発明の実施例２について図面を参照して詳細に説明する。ただし、実施例１と同様の機能を有する部分については同一の符合を付している。
図１１は、実施例２で説明する、本発明の画像処理装置１１００の機能ブロック図である。
画像処理装置１１００は、図１で説明した画像処理装置１００に、視差算出部１１０１を追加したもので、同一被写体を２つの視点位置から撮影した２つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成するものである。
【００７６】
同一被写体を少なくとも２つの視点位置から撮影した２つの撮影画像は、視差算出部１１０１に入力される。また、２つの撮影画像の何れか１つが、主要被写体決定部１０２、画像生成部１０４に入力される。２つの撮影画像の１つの撮影画像は、被写体に向かって左側のカメラが撮影した撮影画像であり、これを左画像と呼ぶ。もう１つの撮影画像は、被写体に向かって右側のカメラで撮影した撮影画像であり、これを右画像と呼ぶ。
左画像、右画像は、視差算出部１１０１に入力され、左画像は、主要被写体決定部１０２、画像生成部１０４に入力される。
【００７７】
視差算出部１１０１は、左画像と右画像に基づき、視差を算出する。そして、算出した視差に基づき、実施例１で説明した視差画像を生成する。視差の算出には、周知の技術を用いることができ、例えばブロックマッチング法を用いることができる。ブロックマッチング法は、適切に定めたブロック単位で左右画像間の照合を行い、画像間で最も類似するブロックを対応するブロックとし、視差の算出を行う方法である。
【００７８】
視差算出部１１０１は、生成した視差画像を視差補正部１０１に出力する。
視差補正部１０１は、実施例１で説明したように、視差算出部１１０１から入力される視差画像の視差を所定の範囲で補正する。すなわち、視差算出部１１０１で算出した視差を所定の範囲で補正する。
【００７９】
この補正時に、左画像を撮影したカメラと右画像を撮影したカメラの間隔（基線長）を超えるような視差調整を行うことも可能である。立体画像を撮影する際、基線長は６５ｍｍに設定されることが多い。これは、人間の目の幅が約６５ｍｍだからである。
しかしながら、カメラの設置位置の関係上、基線長６５ｍｍ以下での撮影を余儀なくされることもある。同じ被写体を同じ構図で撮影した場合、基線長が短くなるにつれて視差が減少するため、奥行き感が減少してしまう。視差補正部１０１は、入力視差の最小値と最大値を拡大する補正をすることで、この奥行き感の減少を防ぐ。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。
【００８０】
図１２は、視差の拡大例を示すグラフである。図中の横軸縦軸などは、図３と同じなので説明を省略する。短い基線長で撮影された左右画像に基づき生成された視差画像の視差は、線３００である。例えば、Ｄｉｎ＿ｍａｘ（視差画像の最大視差）が１００、Ｄｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）が２００であったとする。視差補正前の値では、視差１００の範囲でしか表示できない。そこで、前述した（式１）を用いることで、線３００で示す視差を線３０１で示す視差に補正する。
【００８１】
（式１）を用いて視差を補正すると、Ｄｉｎ＿ｍａｘはＤｏｕｔ＿ｍａｘに補正される。視差補正後の値では、表示装置における出力視差の最大値まで表示可能となる。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。さらに、表示装置の奥行き量に合わせて立体感の強調を行うこともできる。
【００８２】
視差補正部１０１は、補正後の視差が格納された視差画像を、視差変換部１０３に出力する。
視差変換部１０３は、前述のようにして、主要被写体の視差を、図７に対応する図１３に示す視差変換により変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。図１３の視差変換には、前述した（式５）、（式６）を用いる。
【００８３】
すなわち、主要被写体決定部１０２で決定された主要被写体に対応する視差が所定値となるように視差算出部１１０１で算出した視差（視差算出部１１０１が作成した視差画像の視差）を変換する。前記所定値は、例えば０であり、または、０を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。
【００８４】
画像生成部１０４は、外部装置などから入力された左画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。立体画像の生成は、実施例１で説明したので省略する。
【００８５】
以上の構成により、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、短い基線長で撮影された左右画像に基づき生成した視差画像の視差を補正することにより、あたかも長い基線長で撮影されたかのような画像を生成することができる。これは、内視鏡カメラや小型の機器に内蔵されたカメラの左右画像など、基線長を長くできない状況で撮影された左右画像に基づき立体画像を生成し、被写体の立体感を強調する場合に特に有効である。
【００８６】
（実施例３）
以下、本発明の実施例３について図面を参照して詳細に説明する。ただし、実施例１と同様の機能を有する部分については同一の符合を付している。
図１４は、実施例３で説明する、本発明の画像処理装置１４００の機能ブロック図である。
図１４の画像処理装置１４００は、図１で説明した画像処理装置１００にぼかし処理部１４０１を追加したものである。
【００８７】
外部装置などから入力された視差画像は、視差補正部１０１およびぼかし処理部１４０１に入力される。外部装置などから入力された撮影画像は、主要被写体決定部１０２およびぼかし処理部１４０１に入力される。
【００８８】
ぼかし処理部１４０１は、入力された視差画像と撮影画像に基づき、視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行する。そして、ぼかし処理を実行した撮影画像を画像生成部１０４に出力する。なお、第１所定値＜第２所定値である。このとき、ぼかし処理部１４０１は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。
【００８９】
図２の例では、被写体２０１の視差Ｘが第１所定値以下または第２所定値以上の場合、ぼかし処理部１４０１は、被写体２０１に対応する撮影画像の画素値に対してぼかし処理を実行する。
【００９０】
図１５を用いて第１所定値、第２所定値について説明する。図１５は、図４のグラフに対応するグラフである。第１所定値以下とは、符号１５００で示す視差の範囲であり、第２所定値以上とは、符号１５０１で示す範囲である。
ぼかし処理部１４０１が、第１所定値以下（符号１５００で示す範囲）の視差の被写体、すなわち、Ｄｏｕｔ＿ｍｉｎ（立体視可能な視差の最小値）以下の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が小さい（被写体がカメラ位置から遠ざかる）ほど、前記被写体のぼかし量を大きくする。
【００９１】
この処理により、立体視可能な視差の範囲よりも引っ込んで知覚される領域がぼかされた画像が生成される。このぼかし処理が施された画像は、実際に撮影したときよりも、被写界深度を浅くしたように表示される。被写界深度を浅くした画像は、被写体とカメラとの距離に応じて背景がぼかされているので奥行き感を感じやすくなる。
【００９２】
ぼかし処理部１４０１が、第２所定値以上（符号１５０１で示す範囲）の視差の被写体、すなわち、Ｄｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）以上の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が大きい（被写体がカメラ位置に近づく）ほど、前記被写体のぼかし量を大きくする。
【００９３】
この処理により、立体視困難な範囲をぼかすことができるので、見やすい立体画像を得ることができる。さらに、第１所定値以下の視差の被写体、および、第２所定値以上の視差の被写体を同時にぼかした場合、立体視可能な範囲の誘目性が高まった立体画像を得ることができる。
【００９４】
なお、ぼかし処理は周知の方法で実現することができる。代表的なぼかし処理の方法として、平滑化フィルタやガウシアンフィルタなどがある。平滑化フィルタは、注目画素周辺の画素値を用いて、画素値を平均し、処理後の画像の画素値とする手法である。ぼかし対象となる被写体の注目画素に対して、３×３の８近傍の画素値を用いて平均したり、５×５の２４近傍の画素値を用いて平均したりできる。平均に用いる周辺画素値を増やすと、処理後の画素値のぼかし量が大きくなる。
【００９５】
すなわち、第１所定値以下（Ｄｏｕｔ＿ｍｉｎ以下）の視差の被写体をぼかし対象とした場合は、視差とぼかし量を反比例させ、第２所定値以上（Ｄｏｕｔ＿ｍａｘ以上）の視差の被写体をぼかし対象とした場合は、視差とぼかし量を比例させる。
すなわち、ぼかし処理部１４０１は、撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。
【００９６】
このぼかし処理を施すことで、立体視困難な範囲に含まれる視差がクリップされた場合でも、奥行き関係を保持することができる。そして、撮影画像の画素ごとに視差に応じてぼかし処理を行うので、視差に応じて各画素のぼけの大きさが異なり、均一なぼかしではなくカメラで撮影した画像と同様のぼかし効果が得られる。
【００９７】
ぼかし処理部１４０１は、ぼかし処理実行後の撮影画像を画像生成部１０４に出力する。
【００９８】
また、視差補正部１０１は、図４で説明したように、視差をクリップする方法で補正し、補正後の視差が格納された視差画像を、視差変換部１０３に出力する。視差変換部１０３は、前述のようにして、主要被写体の視差を変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。
【００９９】
画像生成部１０４は、ぼかし処理部１４０１から入力された撮影画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。
【０１００】
以上の構成により、視差変換を行うことで、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、視差補正実行前の視差画像に基づいて撮影画像にぼかし処理を施すことにより、視差が飽和している範囲でもぼかし量が一定になることなく、立体感の強調された立体画像を生成することができる。
【０１０１】
本発明の画像処理装置によれば、立体視可能な範囲内で被写体と背景（あるいは前景）との立体（奥行）感を強調させた立体映像を簡易に生成することができる。
【０１０２】
以上説明した実施例は、画像処理装置に搭載される集積回路／チップセットにも適用される。
【０１０３】
本発明の画像処理装置は、立体画像の表示が可能な画像表示装置に適用することができる。本発明の画像処理装置を備えることにより、立体感が強調された画像表示が可能となる。表示面の大きさや解像度が異なる様々な画像表示装置に本発明の画像処理装置を適用することも可能である。
【０１０４】
また、立体画像の撮影が可能な画像撮像装置にも適用することが可能で、立体画像の撮影結果をプレビューしながら撮影することが可能となるため好適である。
【符号の説明】
【０１０５】
１００，１１００，１４００…画像処理装置、１０１…視差補正部、１０２…主要被写体決定部、１０３…視差変換部、１０４…画像生成部、１１０１…視差算出部、１４０１…ぼかし処理部、２０１…被写体、２０２，２０３…カメラ、２０４…左画像、２０５…右画像、２０６…視差画像、２０６ａ，２０６ｂ…画素。
【図１】
2011250059.tif 000014
【図２】
2011250059.tif 000015
【図３】
2011250059.tif 000016
【図４】
2011250059.tif 000017
【図５】
2011250059.tif 000018
【図６】
2011250059.tif 000019
【図７】
2011250059.tif 000020
【図８】
2011250059.tif 000021
【図９】
2011250059.tif 000022
【図１０】
2011250059.tif 000023
【図１１】
2011250059.tif 000024
【図１２】
2011250059.tif 000025
【図１３】
2011250059.tif 000026
【図１４】
2011250059.tif 000027
【図１５】
2011250059.tif 000028
【図１６】
2011250059.tif 000029
【図１７】
2011250059.tif 000030
【手続補正書】
【提出日】平成23年5月23日(2011.5.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成する画像処理装置であって、
前記視差画像の視差を所定の範囲で補正する視差補正部と、
前記撮影画像の少なくとも一つの主要被写体を決定する主要被写体決定部と、を備え、
前記主要被写体決定部で決定された少なくとも一つの主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換し、当該変換した視差による視差画像と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置。
【請求項２】
同一被写体を２つの視点位置から撮影した２つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成する画像処理装置であって、
前記２つの撮影画像から視差を算出する視差算出部と、
前記視差算出部で算出した視差を所定の範囲で補正する視差補正部と、
前記撮影画像の少なくとも一つの主要被写体を決定する主要被写体決定部と、を備え、
前記主要被写体決定部で決定された少なくとも一つの主要被写体に対応する視差が所定値となるように前記視差算出部で算出した視差を変換し、当該変換した視差と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置。
【請求項３】
前記視差画像の視差は、入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記所定値は、０、または、０を基準に所定の範囲内にある値であることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
視差画像と撮影画像に基づき、視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行するぼかし処理部を備えたことを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記ぼかし処理部は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
請求項１から６のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項８】
請求項１から６のいずれかに記載の画像処理装置を備えたことを特徴とする画像撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体画像を生成する画像処理装置、当該画像処理装置を備えた画像表示装置、および、当該画像処理装置を備えた画像撮像装置に関する。
【背景技術】
【０００２】
左眼用と右眼用の２台のカメラを並べて同時に同一の被写体（以下、同一被写体と略記する）を撮影し、２台のカメラが生成する２つの画像データ（以下、画像と略記する）に対して各種画像処理を実行し、立体画像（ステレオ画像とも言う）を生成する装置が提案されている（特許文献１参照）。
【０００３】
前記２つの画像を重ねた際に生じる画像間のずれを視差と呼ぶ。この視差はカメラと被写体までの距離によって変化する。
例えば、カメラの光軸が平行になるように２台のカメラを直線上に配置し、同一被写体を撮影する場合を想定する。このとき、被写体が遠方にあると、当該被写体の視差はほぼ０になる。そして、カメラと被写体との距離が短くなるにつれて、当該被写体の視差が大きくなる。従って、視差が大きい被写体を含む２つの画像に基づき立体画像を生成し、表示出力すると、前記被写体の飛び出し量が大きくなり（近づいて見える）、立体感が強調される。
【０００４】
しかし、視差をある程度以上に大きくすると、左目で知覚する画像と右目で知覚する画像とが融合せず、二重像が見えてしまい、立体視ができなくなる（融合限界）。さらに、過度の視差による二重像は、視覚疲労の原因となることが知られている。そこで、立体画像を快適に視聴するためには、画像表示時における被写体の奥行き（飛びだし、引っ込み）範囲を制限する必要がある。なお、この制限については、非特許文献１に開示されている。
【０００５】
また、過度の視差による二重像を生じさせることなく立体画像を生成する技術が、例えば前述した特許文献１に開示されている。特許文献１に開示されている技術は、立体画像が観察者の立体視可能な範囲内に表示されるように、奥行き範囲を非線形に制御することで観察者が立体視しやすい画像を生成するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−９１５０８号公報
【非特許文献】
【０００７】
【非特許文献１】３Ｄコンソーシアム  ３ＤＣ安全ガイドライン  URL: http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidelineJ_200812.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、立体感を強調したい主要被写体が、撮影可能な最大視差と最小視差との中間付近の視差を有していない場合には、主要被写体の立体感が十分に得られないという課題がある。この課題について、図１６、図１７を用いて具体的に説明する。
【０００９】
図１６は、主要被写体１６００、主要被写体１６０１、背景１６０２を模式的に示した図であり、図示しないカメラからの距離は主要被写体１６００が最も近く、主要被写体１６０１、背景１６０２の順に遠くなるとする。
前述したように、直線上に配置された２台のカメラを用いて主要被写体１６００、１６０１、背景１６０２を撮影した画像に対して各種画像処理を実行し、立体画像を生成し、立体画像表示装置（以下、表示装置と略記する）に表示出力する。
【００１０】
カメラからの距離は主要被写体１６００、１６０１、背景１６０２の順に遠くなるので、主要被写体１６００の視差がγ、主要被写体１６０１の視差がβであるとすると、γ＞βとなる。なお、主要被写体１６００の視差γ、主要被写体１６０１の視差βは、撮影可能な最大視差、最小視差との中間付近の視差ではないとする。背景１６０２は、カメラから最も遠くに位置するので、背景１６０２の視差αは最も小さい。
【００１１】
図１７は、図１６に示した主要被写体１６００、１６０１、背景１６０２を撮影した画像に対して各種画像処理を実行することにより生成された立体画像を表示装置の表示パネルＰに表示した場合に、当該立体画像が視聴者によって知覚される状態を模式的に示す図である。なお、表示パネルＰの“あ”は表示パネルの位置を示している。
【００１２】
主要被写体１６００は位置１７００付近に知覚され、主要被写体１６０１は位置１７０１付近に知覚され、背景１６０２は位置１７０２付近に知覚される。
このように、図１６に示した主要被写体１６００、１６０１、背景１６０２の立体画像を表示パネルＰに表示すると、主要被写体１６００、１６０１が背景１６０２付近に引っ込んでいるように観察者により知覚されてしまう。その結果、被写体の立体感を十分に得ることができず、立体画像としての立体感が弱まって知覚されてしまう。
【００１３】
特に、主要被写体の視差が背景または前景の視差と略一致すると、主要被写体の立体感が大きく損なわれる。
【００１４】
本発明の目的は、上記課題を解決し、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、立体画像中の任意部分の立体感を簡単に調整する画像処理装置を提供することにある。
【課題を解決するための手段】
【００１５】
第１の技術手段は、１視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成する画像処理装置であって、前記視差画像の視差を所定の範囲で補正する視差補正部と、前記撮影画像の少なくとも一つの主要被写体を決定する主要被写体決定部と、を備え、前記主要被写体決定部で決定された少なくとも一つの主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換し、当該変換した視差による視差画像と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置である。
【００１６】
第２の技術手段は、同一被写体を２つの視点位置から撮影した２つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成する画像処理装置であって、前記２つの撮影画像から視差を算出する視差算出部と、前記視差算出部で算出した視差を所定の範囲で補正する視差補正部と、記撮影画像の少なくとも一つの主要被写体を決定する主要被写体決定部と、を備え、前記主要被写体決定部で決定された少なくとも一つの主要被写体に対応する視差が所定値となるように前記視差算出部で算出した視差を変換し、当該変換した視差と、前記撮影画像に基づいて立体画像を生成することを特徴とする画像処理装置である。
【００１７】
第３の技術手段は、第１または第２の技術手段において、前記視差画像の視差は、入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする。
【００１８】
第４の技術手段は、第１から第３のいずれかの技術手段において、前記所定値は、０、または、０を基準に所定の範囲内にある値であることを特徴とする。
【００１９】
第５の技術手段は、第１から第４のいずれかの技術手段において、視差画像と撮影画像に基づき、視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行するぼかし処理部を備えたことを特徴とする。
【００２０】
第６の技術手段は、第５の技術手段において、前記ぼかし処理部は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくすることを特徴とする。
【００２１】
第７の技術手段は、第１から第６のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像表示装置である。
【００２２】
第８の技術手段は、第１から第６のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像撮像装置である。
【発明の効果】
【００２３】
本発明の画像処理装置によれば、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、視差変換によって立体画像中の任意部分の立体感を簡単に調整することができ、簡単に主要被写体の立体感を強調したり、奥行き感を変更することができる。
【図面の簡単な説明】
【００２４】
【図１】第１実施例で説明する画像処理装置の機能ブロック図である。
【図２】視差画像について説明する図である。
【図３】視差を正規化する視差補正式のグラフである。
【図４】視差をクリップする視差補正式のグラフである。
【図５】観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。
【図６】視差を０、正負の値に増減させた被写体を表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。
【図７】正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図８】クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図９】クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図１０】視聴者によって視差変換後の立体画像が知覚される状態を模式的に示す図である。
【図１１】第２実施例で説明する画像処理装置の機能ブロック図である。
【図１２】視差の拡大例を示すグラフである
【図１３】正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。
【図１４】第３実施例で説明する画像処理装置の機能ブロック図である。
【図１５】視差をクリップする視差補正式のグラフである。
【図１６】主要被写体、背景を模式的に示した図である。
【図１７】視聴者によって立体画像が知覚される状態を模式的に示す図である。
【発明を実施するための形態】
【００２５】
（実施例１）
以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
図１は、実施例１で説明する、本発明の画像処理装置１００の機能ブロック図である。
画像処理装置１００は、視差補正部１０１、主要被写体決定部１０２、視差変換部１０３、画像生成部１０４から構成され、１視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成するものである。
【００２６】
外部装置（図示しない）などから入力された視差画像は、視差補正部１０１に入力される。外部装置などから入力された撮影画像は、主要被写体決定部１０２、画像生成部１０４に入力される。
【００２７】
視差補正部１０１は、入力された視差画像の視差を所定の範囲で補正し、補正後の視差が格納された視差画像を視差変換部１０３に出力する。なお、視差画像については、後述する。
主要被写体決定部１０２は、入力された撮影画像の主要被写体を決定し、主要被写体の位置情報を視差変換部１０３に出力する。
【００２８】
視差変換部１０３は、主要被写体決定部１０２から入力される主要被写体の位置情報に基づき、視差補正部１０１から入力される視差画像から、前記主要被写体の画像に対応する視差（補正後）を抽出する。そして抽出した視差を所定の変換式に基づき変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。すなわち、主要被写体決定部１０２で決定された主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換する。前記所定値は、前記主要被写体を立体表示装置に表示したときに、前記主要被写体が表示画面上付近に表示される値である。具体的には、例えば０、または、０を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。
その結果、主要被写体の立体感が強調されるように視差が変換される。
【００２９】
画像生成部１０４は、入力された視差画像と撮影画像に基づいて、左眼用の画像（左画像）と、右眼用の画像（右画像）を生成し、表示装置（図示しない）に出力する。
すなわち、画像生成部１０４は、視差変換部１０３が変換した視差による視差画像と、撮影画像に基づいて立体画像を生成する。
【００３０】
以下に、各機能ブロックの内容について詳細に説明する。まず、視差補正部１０１に入力される視差画像について図２を用いて説明する。
【００３１】
図２（Ａ）は、被写体２０１をカメラ２０２、２０３で撮影している状態を模式的に示した図である。カメラ２０２、２０３の光軸（点線）は平行であり、カメラ２０２、２０３は直線上に配置されている。
【００３２】
図２（Ｂ）は、左側のカメラ２０２によって撮影された被写体２０１の撮影画像（以下、左画像と記す）２０４、右側のカメラ２０３によって撮影された被写体２０１の撮影画像（以下、右画像と記す）２０５を模式的に示した図である。
【００３３】
図２（Ｃ）は、左画像２０４に右画像２０５を重ね合わせた画像を模式的に示し、図２（Ｄ）は、視差画像２０６を示す。
【００３４】
図２（Ｃ）に示すように、右画像２０５の被写体２０１（四角形の点線）は、左画像２０４の被写体２０１（四角形の実線）に対して左側にＸ画素分ずれている。前記Ｘ画素が、２つの撮影画像（左画像２０４、右画像２０５）おける同一被写体２０１のずれを示す視差である。
【００３５】
視差画像とは、同一被写体を２つの視点位置から撮影した２つの撮影画像における同一被写体のずれを示す視差を被写体の画素と対応して画素毎に格納した画像を意味する。前述の例では、左画像２０４の被写体に対応して視差画像の画素毎に当該被写体の視差が格納されている。
【００３６】
図２（Ｄ）では、視差画像２０６の画素２０６ａに被写体２０１の視差Ｘが格納されている状態を模式的に示している。
視差画像２０６の他の画素２０６ｂにも、画素２０６ｂに対応する左画像２０４の被写体の視差が格納されている。
なお、視差の単位は画素でもよいし距離でもよい。
【００３７】
視差補正部１０１は、過度の視差を抑制するため、視差画像の視差の補正を行う。この視差の補正は後に述べる周知の方法で補正できる。
視差補正方法には、代表的な２つの方法がある。１つは視差を正規化する方法、もう１つは視差をクリップする方法である。視差を正規化すると、視差が飽和せずに、全体の奥行き関係が保存され、視差をクリップすると、立体視可能な範囲内の視差を持つ被写体の奥行き量は保持される特徴がある。
【００３８】
正規化する方法により視差補正を実行する例を図３に、クリップする方法により視差補正を実行する例を図４に示す。
図３は、視差を正規化する視差補正式のグラフを示し、前記視差補正式は、（式１）で表される。
【００３９】
【数１】
2011250059.tif 000031
【００４０】
図４は、視差をクリップする視差補正式のグラフを示し、前記視差補正式は、（式２）〜（式４）で表される。
【００４１】
【数２】
2011250059.tif 000032
【数３】
2011250059.tif 000033
【数４】
2011250059.tif 000034
【００４２】
横軸は入力視差Ｄｉｎ、縦軸は出力視差Ｄｏｕｔを示す。入力視差とは、視差補正部１０１に入力される視差画像の視差（補正前の視差）を意味し、出力視差とは、視差補正部１０１から出力される視差画像の視差（補正後の視差）を意味する。また、式中のｄｉｎは入力視差Ｄｉｎに対応し、式中のｄｏｕｔは出力視差Ｄｏｕｔに対応する。
【００４３】
Ｄｉｎ＿ｍｉｎは入力視差画像の最小視差、Ｄｉｎ＿ｍａｘは入力視差画像の最大視差である。
Ｄｏｕｔ＿ｍｉｎは立体視可能な視差の最小値、Ｄｏｕｔ＿ｍａｘは立体視可能な視差の最大値であり、融合限界の視差に対応する。
【００４４】
線３００は視差補正を行う前の入力視差と出力視差の関係を表し、視差補正前では、入力視差と出力視差は同値である。線３０１は視差補正前の入力視差Ｄｉｎと視差補正後の出力視差Ｄｏｕｔの関係を表す。
【００４５】
図３の方法では、Ｄｉｎ＿ｍａｘ（入力視差の最大値）をＤｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）に割り当て、Ｄｉｎ＿ｍｉｎ（入力視差の最小値）をＤｏｕｔ＿ｍｉｎ（立体視可能な視差の最小値）に割り当てることで、視差を飽和させずに全体の奥行き関係を保ちながら立体視可能な範囲に視差を補正している。
【００４６】
図４の方法では、Ｄｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）以上の入力視差をＤｏｕｔ＿ｍａｘにする補正を行い、Ｄｏｕｔ＿ｍｉｎ（立体視可能な視差の最小値）以下の入力視差をＤｏｕｔ＿ｍｉｎにする補正を行う。このように、立体視不可能な視差を立体視可能な視差に飽和させることで、奥行き量を保ちながら立体視可能な範囲に視差を補正している。
【００４７】
前記した立体視可能な両眼視差の範囲は、表示装置の画面サイズと観察者の視聴距離に依存し、非特許文献１には、立体視可能な両眼視差の範囲（融合限界）は最大２度程度、快適に立体画像を視聴できる両眼視差の範囲は１度以下であると記載されている。
【００４８】
立体画像を表示する表示装置の画面サイズと、画面サイズに応じた標準視聴距離に基づき、Ｄｏｕｔ＿ｍｉｎおよびＤｏｕｔ＿ｍａｘを決定する場合、非特許文献１の基準を用いると、例えば、４０インチＨＤ（１９２０×１０８０）解像度のときは表示装置（表示パネル）の位置を基準にして−１３０画素が最小視差、１３０画素が最大視差となる。
【００４９】
視差補正部１０１により補正された視差が格納された視差画像は、視差変換部１０３に出力される。
【００５０】
主要被写体決定部１０２は、入力される撮影画像の被写体の中から主要被写体を決定し、主要被写体の位置情報、例えば、主要被写体の画素位置を示す座標情報を視差変換部１０３に出力する。主要被写体の決定は周知の方法で実現できる。例えば、撮影画像の中から焦点が合っている被写体を選択し、当該被写体を主要被写体と決定する方法や、撮影画像に対してパターン認識処理を実行することにより抽出された被写体を主要被写体と決定する方法、ユーザ自らが主要被写体を決定する方法がある。他にも、顔認識技術を使って特定人物を主要被写体と決定してもよい。
【００５１】
視差変換部１０３は、主要被写体決定部１０２で決定された主要被写体の画像に対応する視差が所定値となるように変換する。具体的には、前記被写体の立体感が強調されるように視差を変換する。図２の例では、被写体２０１が主要被写体とすると、被写体２０１の視差Ｘが主要被写体の画像に対応する視差（変換対象の視差）である。
【００５２】
ここで、視差を０、正負の値に増減させた被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図５、図６を用いて説明する。
図５は、観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。奥行き量とは飛び出し量と引っ込み量のことであり、飛び出し量とは実際の表示位置よりも観察者の方へ近づいて見える量で、引っ込み量とは実際の表示位置よりも観察者から遠ざかって見える量のことである。
【００５３】
すなわち、ある被写体を表示装置に表示させたとき、その被写体の視差が正の値に大きくなるほど飛び出して見え、負の値に大きくなるほど引っ込んで見える。また、視差が０の被写体は、左右画像にずれが生じないので表示装置に表示しても、知覚される位置は表示画面上であり、２Ｄで知覚される奥行き位置に違いは生じない。そのため、視差が０の画像を表示装置で表示しても観察者には奥行きがあるようには知覚されず、実際の表示位置と同じ位置に２Ｄ表示されているように知覚される。この視差が０の被写体を表示装置に表示させることを、被写体が表示画面上に表示されているという。この視差０、または、０を基準に所定の範囲内にある値が、前記所定値に該当する。
【００５４】
図６は、視差を０、正負の値に増減させた被写体を表示装置に表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。
図６に示す被写体Ａの手前側面の視差をＤｉｎ（入力視差）とする。ここで、視差Ｄｉｎの値を０に変換、すなわち、変換後の視差を０（以下、変換後の視差をＤｏｕｔと記す）にして、視差が０の被写体Ａを表示装置Ｐに表示すると、被写体Ａは、観察者によって、表示装置Ｐの画像表示面である位置６００付近に知覚される。
【００５５】
また、Ｄｏｕｔを正の値にすると被写体Ａは位置６０１のように画像表示面の手前側に飛び出すように知覚される。Ｄｏｕｔを負の値にすると被写体Ａは位置６０２のように画像表示面の奥側に引っ込んで知覚される。
【００５６】
前記視差の変換は、例えば、図７、８に示す視差変換式によって実行することができる。
図７は、図３に示した、正規化することにより補正した視差に視差変換を実行する視差変換式のグラフを示し、図８は、クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフを示す。
【００５７】
図７の視差変換式は、（式５）、（式６）で表される。
【００５８】
【数５】
2011250059.tif 000035
【数６】
2011250059.tif 000036
【００５９】
図８の視差変換式は、（式７）〜（式１０）で表される。
【００６０】
【数７】
2011250059.tif 000037
【数８】
2011250059.tif 000038
【数９】
2011250059.tif 000039
【数１０】
2011250059.tif 000040
【００６１】
ここで、入力視差Ｄｉｎは視差変換前の視差を示し、Ｄｉｎ＿ｍａｘは視差変換前の最大視差、Ｄｉｎ＿ｍｉｎは視差変換前の最小視差を示す。
出力視差Ｄｏｕｔは視差変換後の視差を示し、Ｄｏｕｔ＿ｍａｘは視差変換後の最大視差、Ｄｏｕｔ＿ｍｉｎは視差変換後の最小視差を示す。
線３０２は視差変換前の入力視差Ｄｉｎと視差変換後の出力視差Ｄｏｕｔの関係を表す。Ｄｉｎ０、Ｄｏｕｔ０については任意の値とすることができる。
【００６２】
また、式中のｄｉｎは視差変換前の入力視差Ｄｉｎに対応し、式中のｄｏｕｔは視差変換後の出力視差Ｄｏｕｔに対応する。
【００６３】
ここで、図７、図８のグラフについて、図６を参照しながら説明する。
図７のグラフによれば、入力視差は減らされ、図８のグラフによれば、入力視差は増やされる。
【００６４】
図６で説明した被写体Ａが位置６００付近に知覚されている状態において、図７のグラフに示した視差変換式を用いて被写体Ａの視差を減らして負の値に変換すると、被写体Ａは、位置６０２のように画像表示面の奥側に引っ込んで知覚される。
図６で説明した被写体Ａが位置６００付近に知覚されている状態において、図８のグラフに示した変換式を用いて被写体Ａの視差を増やして正の値に変換すると、被写体Ａは、位置６０１のように画像表示面の手前側に飛び出すように知覚される。
【００６５】
図７、図８に示したように、Ｄｉｎ０を境に、Ｄｉｎ０よりも小さい視差の範囲と、Ｄｉｎ０よりも大きい視差の範囲とで変換式を変えている。すなわち、主要被写体から背景までの奥行き量を大きくしたり、小さくしたりすることが可能であり、簡単に立体感を強調することができる。
【００６６】
以下に、図１６に示した主要被写体の視差を例えば、図８で説明した視差変換式を用いて変換し、視差変換後の主要被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図９、図１０を用いて説明する。図９の視差変換式は、図８の視差変換式と同じ変換式である。
【００６７】
図１６の主要被写体１６００の視差γは、図９に示す視差変換式により、視差γ’に増やされる。また、図１６の主要被写体１６０１の視差βは、図９に示す視差変換式により、視差β’に増やされる。
【００６８】
図１０は、視差変換後の立体画像が知覚される状態を模式的に示す図である。
視差を増やすことにより、主要被写体１６００は位置１０００付近に知覚され、主要被写体１６０１は位置１００１付近に知覚されるようになる。このようにすることで、奥行き量を拡大することができ、立体感が強調される。
図１７と比べると、視差を増やすことにより、背景１６０２の位置と、主要被写体１６００、１６０１との位置の違いがはっきりと知覚されるようになる。その結果、立体感が強調された画像表示が可能になる。
【００６９】
このように主要被写体の視差を変換することで、主要被写体と当該主要被写体の周辺部との立体感を強調できる。主要被写体に厚みがある場合は、主要被写体の最大視差と最小視差の平均値を主要被写体の視差とする。また、主要被写体が複数ある場合は、複数の主要被写体の最大視差と最小視差の平均値を、各主要被写体の視差とする。このようにすることにより、主要被写体の厚みを考慮して、主要被写体の視差（表示位置）を変換することができるため好適である。また、視差の平均値は領域の面積を考慮して算出する方が、被写体の重心を考慮して表示位置を変換することができるため好適である。
【００７０】
前述したように、視差変換部１０３は、視差補正部１０１から入力される視差画像の中から、主要被写体決定部１０２が決定した主要被写体の視差（補正後）を画素毎に抽出し、この抽出した画素毎の視差を、図７または図８に示した所定の変換式に基づき変換し、変換後の視差を当該主要被写体の画素毎に格納する。そして、変換後の視差が格納されている視差画像を画像生成部１０４に出力する。
【００７１】
画像生成部１０４は、外部装置などから入力された撮影画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。
ここで、立体画像生成方法を以下に述べる。撮影画像をＩ、視差画像をＤ、出力画像をＯとする。画像中の座標（ｘ、ｙ）における画素値をＩ（ｘ、ｙ）とＤ（ｘ、ｙ）で表す。（式１１）を用いて撮影画像Ｉから出力画像Ｏへ視差分水平移動した画像を作成する。
【００７２】
【数１１】
2011250059.tif 000041
【００７３】
このとき、画素が重なった場合は視差の大きな画素（カメラに近い場所にある被写体）を用い、画素が埋まらなかった場合は上下左右の画素を用いて補間する。撮影画像Ｉを左画像、出力画像Ｏを右画像として出力する。
【００７４】
以上の構成により、主要被写体と前景または背景との視差の値が小さくても、視差を変換することで、主要被写体と前景または背景との視差の差を大きくすることができる。
その結果、主要被写体と前景または背景との奥行き量を変換し、観察者が立体視可能な範囲内で立体感を強調した画像を生成することができる。
【００７５】
本実施例では、視差補正部１０１、視差変換部１０３において、線形変換を用いて視差の補正、変換を行ったが、非線形変換を用いても同様の効果を得ることができる。
本実施例では、Ｄｉｎ０とＤｏｕｔ０という入力視差と出力視差の１組を用いたが、２組以上を用いて視差の変換を行っても、同様の効果を得ることができる。
【００７６】
（実施例２）
以下、本発明の実施例２について図面を参照して詳細に説明する。ただし、実施例１と同様の機能を有する部分については同一の符合を付している。
図１１は、実施例２で説明する、本発明の画像処理装置１１００の機能ブロック図である。
画像処理装置１１００は、図１で説明した画像処理装置１００に、視差算出部１１０１を追加したもので、同一被写体を２つの視点位置から撮影した２つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成するものである。
【００７７】
同一被写体を少なくとも２つの視点位置から撮影した２つの撮影画像は、視差算出部１１０１に入力される。また、２つの撮影画像の何れか１つが、主要被写体決定部１０２、画像生成部１０４に入力される。２つの撮影画像の１つの撮影画像は、被写体に向かって左側のカメラが撮影した撮影画像であり、これを左画像と呼ぶ。もう１つの撮影画像は、被写体に向かって右側のカメラで撮影した撮影画像であり、これを右画像と呼ぶ。
左画像、右画像は、視差算出部１１０１に入力され、左画像は、主要被写体決定部１０２、画像生成部１０４に入力される。
【００７８】
視差算出部１１０１は、左画像と右画像に基づき、視差を算出する。そして、算出した視差に基づき、実施例１で説明した視差画像を生成する。視差の算出には、周知の技術を用いることができ、例えばブロックマッチング法を用いることができる。ブロックマッチング法は、適切に定めたブロック単位で左右画像間の照合を行い、画像間で最も類似するブロックを対応するブロックとし、視差の算出を行う方法である。
【００７９】
視差算出部１１０１は、生成した視差画像を視差補正部１０１に出力する。
視差補正部１０１は、実施例１で説明したように、視差算出部１１０１から入力される視差画像の視差を所定の範囲で補正する。すなわち、視差算出部１１０１で算出した視差を所定の範囲で補正する。
【００８０】
この補正時に、左画像を撮影したカメラと右画像を撮影したカメラの間隔（基線長）を超えるような視差調整を行うことも可能である。立体画像を撮影する際、基線長は６５ｍｍに設定されることが多い。これは、人間の目の幅が約６５ｍｍだからである。
しかしながら、カメラの設置位置の関係上、基線長６５ｍｍ以下での撮影を余儀なくされることもある。同じ被写体を同じ構図で撮影した場合、基線長が短くなるにつれて視差が減少するため、奥行き感が減少してしまう。視差補正部１０１は、入力視差の最小値と最大値を拡大する補正をすることで、この奥行き感の減少を防ぐ。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。
【００８１】
図１２は、視差の拡大例を示すグラフである。図中の横軸縦軸などは、図３と同じなので説明を省略する。短い基線長で撮影された左右画像に基づき生成された視差画像の視差は、線３００である。例えば、Ｄｉｎ＿ｍａｘ（視差画像の最大視差）が１００、Ｄｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）が２００であったとする。視差補正前の値では、視差１００の範囲でしか表示できない。そこで、前述した（式１）を用いることで、線３００で示す視差を線３０１で示す視差に補正する。
【００８２】
（式１）を用いて視差を補正すると、Ｄｉｎ＿ｍａｘはＤｏｕｔ＿ｍａｘに補正される。視差補正後の値では、表示装置における出力視差の最大値まで表示可能となる。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。さらに、表示装置の奥行き量に合わせて立体感の強調を行うこともできる。
【００８３】
視差補正部１０１は、補正後の視差が格納された視差画像を、視差変換部１０３に出力する。
視差変換部１０３は、前述のようにして、主要被写体の視差を、図７に対応する図１３に示す視差変換により変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。図１３の視差変換には、前述した（式５）、（式６）を用いる。
【００８４】
すなわち、主要被写体決定部１０２で決定された主要被写体に対応する視差が所定値となるように視差算出部１１０１で算出した視差（視差算出部１１０１が作成した視差画像の視差）を変換する。前記所定値は、例えば０であり、または、０を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。
【００８５】
画像生成部１０４は、外部装置などから入力された左画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。立体画像の生成は、実施例１で説明したので省略する。
【００８６】
以上の構成により、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、短い基線長で撮影された左右画像に基づき生成した視差画像の視差を補正することにより、あたかも長い基線長で撮影されたかのような画像を生成することができる。これは、内視鏡カメラや小型の機器に内蔵されたカメラの左右画像など、基線長を長くできない状況で撮影された左右画像に基づき立体画像を生成し、被写体の立体感を強調する場合に特に有効である。
【００８７】
（実施例３）
以下、本発明の実施例３について図面を参照して詳細に説明する。ただし、実施例１と同様の機能を有する部分については同一の符合を付している。
図１４は、実施例３で説明する、本発明の画像処理装置１４００の機能ブロック図である。
図１４の画像処理装置１４００は、図１で説明した画像処理装置１００にぼかし処理部１４０１を追加したものである。
【００８８】
外部装置などから入力された視差画像は、視差補正部１０１およびぼかし処理部１４０１に入力される。外部装置などから入力された撮影画像は、主要被写体決定部１０２およびぼかし処理部１４０１に入力される。
【００８９】
ぼかし処理部１４０１は、入力された視差画像と撮影画像に基づき、視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行する。そして、ぼかし処理を実行した撮影画像を画像生成部１０４に出力する。なお、第１所定値＜第２所定値である。このとき、ぼかし処理部１４０１は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。
【００９０】
図２の例では、被写体２０１の視差Ｘが第１所定値以下または第２所定値以上の場合、ぼかし処理部１４０１は、被写体２０１に対応する撮影画像の画素値に対してぼかし処理を実行する。
【００９１】
図１５を用いて第１所定値、第２所定値について説明する。図１５は、図４のグラフに対応するグラフである。第１所定値以下とは、符号１５００で示す視差の範囲であり、第２所定値以上とは、符号１５０１で示す範囲である。
ぼかし処理部１４０１が、第１所定値以下（符号１５００で示す範囲）の視差の被写体、すなわち、Ｄｏｕｔ＿ｍｉｎ（立体視可能な視差の最小値）以下の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が小さい（被写体がカメラ位置から遠ざかる）ほど、前記被写体のぼかし量を大きくする。
【００９２】
この処理により、立体視可能な視差の範囲よりも引っ込んで知覚される領域がぼかされた画像が生成される。このぼかし処理が施された画像は、実際に撮影したときよりも、被写界深度を浅くしたように表示される。被写界深度を浅くした画像は、被写体とカメラとの距離に応じて背景がぼかされているので奥行き感を感じやすくなる。
【００９３】
ぼかし処理部１４０１が、第２所定値以上（符号１５０１で示す範囲）の視差の被写体、すなわち、Ｄｏｕｔ＿ｍａｘ（立体視可能な視差の最大値）以上の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が大きい（被写体がカメラ位置に近づく）ほど、前記被写体のぼかし量を大きくする。
【００９４】
この処理により、立体視困難な範囲をぼかすことができるので、見やすい立体画像を得ることができる。さらに、第１所定値以下の視差の被写体、および、第２所定値以上の視差の被写体を同時にぼかした場合、立体視可能な範囲の誘目性が高まった立体画像を得ることができる。
【００９５】
なお、ぼかし処理は周知の方法で実現することができる。代表的なぼかし処理の方法として、平滑化フィルタやガウシアンフィルタなどがある。平滑化フィルタは、注目画素周辺の画素値を用いて、画素値を平均し、処理後の画像の画素値とする手法である。ぼかし対象となる被写体の注目画素に対して、３×３の８近傍の画素値を用いて平均したり、５×５の２４近傍の画素値を用いて平均したりできる。平均に用いる周辺画素値を増やすと、処理後の画素値のぼかし量が大きくなる。
【００９６】
すなわち、第１所定値以下（Ｄｏｕｔ＿ｍｉｎ以下）の視差の被写体をぼかし対象とした場合は、視差とぼかし量を反比例させ、第２所定値以上（Ｄｏｕｔ＿ｍａｘ以上）の視差の被写体をぼかし対象とした場合は、視差とぼかし量を比例させる。
すなわち、ぼかし処理部１４０１は、撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。
【００９７】
このぼかし処理を施すことで、立体視困難な範囲に含まれる視差がクリップされた場合でも、奥行き関係を保持することができる。そして、撮影画像の画素ごとに視差に応じてぼかし処理を行うので、視差に応じて各画素のぼけの大きさが異なり、均一なぼかしではなくカメラで撮影した画像と同様のぼかし効果が得られる。
【００９８】
ぼかし処理部１４０１は、ぼかし処理実行後の撮影画像を画像生成部１０４に出力する。
【００９９】
また、視差補正部１０１は、図４で説明したように、視差をクリップする方法で補正し、補正後の視差が格納された視差画像を、視差変換部１０３に出力する。視差変換部１０３は、前述のようにして、主要被写体の視差を変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。
【０１００】
画像生成部１０４は、ぼかし処理部１４０１から入力された撮影画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。
【０１０１】
以上の構成により、視差変換を行うことで、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、視差補正実行前の視差画像に基づいて撮影画像にぼかし処理を施すことにより、視差が飽和している範囲でもぼかし量が一定になることなく、立体感の強調された立体画像を生成することができる。
【０１０２】
本発明の画像処理装置によれば、立体視可能な範囲内で被写体と背景（あるいは前景）との立体（奥行）感を強調させた立体映像を簡易に生成することができる。
【０１０３】
以上説明した実施例は、画像処理装置に搭載される集積回路／チップセットにも適用される。
【０１０４】
本発明の画像処理装置は、立体画像の表示が可能な画像表示装置に適用することができる。本発明の画像処理装置を備えることにより、立体感が強調された画像表示が可能となる。表示面の大きさや解像度が異なる様々な画像表示装置に本発明の画像処理装置を適用することも可能である。
【０１０５】
また、立体画像の撮影が可能な画像撮像装置にも適用することが可能で、立体画像の撮影結果をプレビューしながら撮影することが可能となるため好適である。
【符号の説明】
【０１０６】
１００，１１００，１４００…画像処理装置、１０１…視差補正部、１０２…主要被写体決定部、１０３…視差変換部、１０４…画像生成部、１１０１…視差算出部、１４０１…ぼかし処理部、２０１…被写体、２０２，２０３…カメラ、２０４…左画像、２０５…右画像、２０６…視差画像、２０６ａ，２０６ｂ…画素。
【手続補正書】
【提出日】平成23年9月22日(2011.9.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１視点からの撮影画像と前記撮影画像に対応する視差画像が入力され、
前記視差画像の視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素に対し、前記視差の絶対値に比例してぼかし量を大きくするぼかし処理をするぼかし処理部と、
前記視差画像の所定範囲外の視差を飽和させる視差補正部と、
前記撮影画像の少なくとも一つの主要被写体に対応する視差を所定値に変換する視差変換部と、
前記ぼかし処理部でぼかし処理された前記撮影画像および、前記視差補正部によって補正されると共に、前記視差変換部で主要被写体に対応する視差が変換された前記視差画像に基づいて立体画像を生成する画像生成部とを備え、立体画像を生成することを特徴とする画像処理装置。
【請求項２】
前記撮影画像は同一被写体を２つの視点位置から撮影した２つの撮影画像のうちの１つであり、前記視差画像は、前記２つの撮影画像から算出された視差画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記視差変換部は、主要被写体に対応する入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記所定値は、０、または、０を基準に所定の範囲内にある値であることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記視差画像の所定範囲は、最小値が前記第１所定値以下でかつ最大値が前記第２所定値以上であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項７】
請求項１から５のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
第１の技術手段は、１視点からの撮影画像と前記撮影画像に対応する視差画像が入力され、前記視差画像の視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素に対し、前記視差の絶対値に比例してぼかし量を大きくするぼかし処理をするぼかし処理部と、前記視差画像の所定範囲外の視差を飽和させる視差補正部と、前記撮影画像の少なくとも一つの主要被写体に対応する視差を所定値に変換する視差変換部と、前記ぼかし処理部でぼかし処理された前記撮影画像および、前記視差補正部によって補正されると共に、前記視差変換部で主要被写体に対応する視差が変換された前記視差画像に基づいて立体画像を生成する画像生成部とを備え、立体画像を生成することを特徴とする画像処理装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
第２の技術手段は、第１の技術手段において、前記撮影画像は同一被写体を２つの視点位置から撮影した２つの撮影画像のうちの１つであり、前記視差画像は、前記２つの撮影画像から算出された視差画像であることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
第３の技術手段は、第１または第２の技術手段において、前記視差変換部は、主要被写体に対応する入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
第５の技術手段は第１から第４のいずれかの技術手段において、前記視差画像の所定範囲は、最小値が前記第１所定値以下でかつ最大値が前記第２所定値以上であることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
第６の技術手段は第１から第５のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像表示装置である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
第７の技術手段は第１から第５のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像撮像装置である。