(57)【要約】  立体画像処理装置において、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する取得部と、前記取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する抽出部と、前記抽出された被写体領域の視差の方向における長さを算出する算出部と、前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する画像補正部とを備える。
2013080544.tif 000002
【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する取得部と、
前記取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する抽出部と、
前記抽出された被写体領域の視差の方向における長さを算出する算出部と、
前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する画像補正部と、を備える立体画像処理装置。
【請求項２】
前記画像補正部は、前記算出された被写体領域の視差の方向における長さが長くなるほど、前記被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域の端部の視差を調整する請求項１に記載の立体画像処理装置。
【請求項３】
前記算出部は、画素ライン毎に前記被写体領域の視差の方向における長さを算出する一方、
前記画像補正部は、前記画素ライン毎に算出された前記被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する請求項１に記載の立体画像処理装置。
【請求項４】
前記抽出部は、
前記取得された立体視用画像の各画素について、前記左眼用画像と右眼用画像との間の視差に基づき、撮影位置から被写体までの距離情報を生成する生成部を備え、
前記生成された距離情報に基づいて、前記立体視用画像から前記被写体領域を抽出する請求項１に記載の立体画像処理装置。
【請求項５】
前記抽出部は、
前記生成された距離情報に基づいて、前記取得された立体視用画像に二値化処理を施す二値化部を更に備える請求項４に記載の立体画像処理装置。
【請求項６】
前記画像補正部は、
前記生成された距離情報が所定の距離値よりも大きい被写体領域には、端部の視差調整を行わない請求項４に記載の立体画像処理装置。
【請求項７】
前記取得部は、前記立体視用画像を撮影する撮像部を備える一方、
前記撮影の時に被写体までの距離を測定する測定部を更に備え、
前記抽出部は、前記測定された被写体までの距離に基づいて、前記取得された立体視用画像から前記被写体領域を抽出する請求項１に記載の立体画像処理装置。
【請求項８】
前記画像補正部は、
前記測定された距離が所定の距離値よりも大きい被写体に対応する前記被写体領域には、端部の視差調整を行わない請求項７に記載の立体画像処理装置。
【請求項９】
前記画像補正部は、
前記抽出された被写体領域のうち、前記視差の方向と直交する方向における長さが所定値以下の部分には、端部の視差調整を行わない請求項１に記載の立体画像処理装置。
【請求項１０】
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、
前記抽出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する調整段階と、を備える立体画像処理方法。
【請求項１１】
前記調整段階では、前記算出された被写体領域の視差の方向における長さが長くなるほど、前記被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域の端部の視差を調整する請求項１０に記載の立体画像処理方法。
【請求項１２】
コンピュータを立体画像処理装置として動作させるためのプログラムであって、
コンピュータの制御部に、
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する機能と、
前記抽出された被写体領域の視差の方向における長さを算出する機能と、
前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する機能とを実行させる立体画像処理プログラム。
【請求項１３】
前記算出された被写体領域の視差の方向における長さが長くなるほど、前記被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域の端部の視差を調整する請求項１２に記載の立体画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、立体視用画像の表示品位を高める立体画像処理装置、立体画像処理方法、および立体画像処理プログラムに関する。
【背景技術】
【０００２】
左眼用画像および右眼用画像を含む立体視用画像を、独立して視聴者の左右の眼に投影する表示装置（以下、「立体表示装置」と称する）に表示するための立体視用画像を撮像する立体撮像装置が知られている。この立体撮像装置は、両眼の視差を反映させた状態で左眼用画像および右眼用画像を撮像する。【０００３】
立体視用画像では、遠景（遠景の被写体）の画像においても、近景（近景の被写体）の画像においても、大きすぎる視差が生じていると、視聴者が立体視する際の融像限界を超えて、立体視が困難な画像になったり、立体視はできるが見ていて疲労感を感じさせる画像になったりすることが知られている。【０００４】
上記は、立体視用画像を小さなサイズのディスプレイ装置に表示する場合には視差が小さいので、大きな問題とならないが、立体視用画像を大きなサイズのディスプレイ装置に表示する場合や、立体視用映画の上映等においては深刻な問題となる。【０００５】
従来、このような視差の大きすぎる立体視用画像の生成を避けるために、視差調整やステレオベース調整などの処理を施すことにより、撮影する立体視用画像の視差を抑制することが行われていた（特許文献１参照）。【０００６】
視差調整とは、主に遠景の視差が融像限界を超える場合に用いられる処理である。視差調整は、撮像装置から遠景までの距離を非線形に圧縮して視差を小さく調整することにより、遠景を仮想的に近い場所に配置する。これにより、立体視が困難な遠景を近づけ、視聴者の立体視を容易とすることが可能となる。【０００７】
ステレオベース調整とは、２台の撮像装置（左眼用画像を撮影する撮像装置と右眼用画像を撮影する撮像装置）の間隔を近づける、すなわち、ステレオベース（基線長）を小さく設定する処理である。ステレオベース調整により、視差のダイナミックレンジを圧縮することができる。ステレオベース調整を用いれば、近景から遠景までの全体が融像限界内におさまった立体視し易い立体視用画像を取得することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平８−９４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、視差調整やステレオベース調整では、立体視の融像限界を考慮して、被写体が融像限界域内に入るように、視差を本来の立体視用画像より減らすことによって、立体視し易い立体視用画像を得ている。【００１０】
したがって、視差調整やステレオベース調整を施した立体視用画像は、立体感や遠近感の自然さの観点では、劣化してしまう。すなわち、視差調整やステレオベース調整によって得られる立体視用画像は、立体感や遠近感が乏しく不自然な画像になりがちである。【００１１】
具体的には、視差調整によれば、立体視し易い立体視用画像を取得することはできるが、遠景までの距離が非線形に圧縮されることになる。このため、視差調整を施した立体視用画像では、奥行きが平板にみえる現象（遠景の被写体の厚み感が減少し、平板状の立体像として知覚される現象）が発生する。【００１２】
他方、ステレオベース調整による技術では、取得される立体視用画像において視差のダイナミックレンジを圧縮するために、全体的に遠近感が減少し（最近点から最遠点までの距離が小さくなる）、個々の被写体の立体感が低下する現象が発生する。【００１３】
これらの立体感の圧縮や低下に伴って、いわゆる書割り現象が生じることが知られている。書割り現象とは、立体視用画像において、例えば、前景の人物などの主要な被写体の厚みが薄くなり、板に描いた平面的な絵のように見える現象のことである。この書割り現象は、被写体の凹凸が極めて小さい場合や望遠撮影を行っている場合、撮影時の照明条件が特定条件下にある場合などにも発生する。【００１４】
このような書割り現象が生じると、視聴者に不自然な印象を強く与え、立体視の品位は著しく劣化したものとなってしまう。【００１５】
本開示は、上記の問題点に鑑みてなされたもので、立体視用画像に自然な立体感を付与することにより、書割り現象の生じ難い立体画像処理装置、立体画像処理方法、および立体画像処理プログラムを実現することを目的としている。
【課題を解決するための手段】
【００１６】
上記の目的を達するために、本開示の一態様に係る立体画像処理装置は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する取得部と、前記取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する抽出部と、前記抽出された被写体領域の視差の方向における長さを算出する算出部と、前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する画像補正部と、を備える。【００１７】
また、上記の目的を達するために、本開示の一態様に係る立体画像処理方法は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、前記抽出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する調整段階と、を備える。【００１８】
上記の目的を達するために、本開示の一態様に係る立体画像処理プログラムは、コンピュータを立体画像処理装置として動作させるためのプログラムであって、コンピュータの制御部に、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する機能と、前記抽出された被写体領域の視差の方向における長さを算出する機能と、前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する機能とを実行させるものである。
【発明の効果】
【００１９】
本開示によれば、立体視用画像に自然な立体感を付与することにより、書割り現象の生じ難い立体視用画像を取得することができる。
【図面の簡単な説明】
【００２０】
【図１】立体撮像装置の概略を示すブロック図
【図２】領域抽出部の具体的構成を示すブロック図
【図３】画像補正部の具体的構成を示すブロック図
【図４】立体撮像装置を用いて立体撮影を行う場合の撮影環境と被写体の関係（一例）を模式的に示した図
【図５】視差マッチングによるデプス情報の生成を説明するための図
【図６】二値化部における二値化処理を説明するための図
【図７】横幅情報を算出する動作を示すフローチャート
【図８】輪郭種別情報を説明するための図
【図９】強度生成部の動作を示すフローチャート
【図１０】横軸を左眼画像用の前景領域の横幅情報の値とし、縦軸を視差量信号の値とした関係図
【図１１】視差量信号の補正処理の動作を説明するための図
【図１２】伸張モードの場合のアドレス変換特性を示す図
【図１３】図１２（ａ）にＡＲＥＡ１で示した領域を拡大した図
【図１４】図１２（ｂ）にＡＲＥＡ２で示した領域を拡大した図
【図１５】主被写体の内部領域Ａに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図１６】主被写体の内部領域Ｂに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図１７】圧縮モードの場合のアドレス変換特性を示す図
【図１８】主被写体の内部領域Ａに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図１９】被写体の内部領域Ｂに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図２０】縦方向が短く、横方向に長い被写体オブジェクトの例を示す図
【図２１】縦方向の短い領域を前景情報から削除する様子を示す図であり、（ａ）はメディアンフィルタを適用する前の前景情報の例、（ｂ）はメディアンフィルタを適用した後の前景情報の例
【図２２】更なる立体撮像装置の概略を示すブロック図
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００２２】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００２３】
＜１．実施の形態１＞
＜目次＞
１．実施の形態１
１．１：立体撮像装置の構成
１．２：領域抽出部の具体的構成
１．３：画像補正部の具体的構成
１．４：デプス情報の生成処理
１．５：二値化処理
１．６：横幅情報の算出処理
１．７：視差量信号の生成処理
１．８：座標変換処理
１．８．１：伸張モード
１．８．２：圧縮モード
２．実施の形態２
３．実施の形態３
４．実施の形態４
５．効果等
６．その他の実施形態
【００２４】
＜１．１：立体撮像装置１００の構成＞
【００２５】
以下、本実施形態に係る立体撮像装置（立体画像処理装置）の構成について図面を参照しながら説明する。
【００２６】
図１は、本実施形態に係る立体撮像装置の概略構成を示すブロック図である。図１は、立体撮像装置１００と立体撮像装置１００によって撮像される撮影シーン１０００とを模式的に示している。同図に示されるように、立体撮像装置１００は、第１撮像部（取得部，撮像部）１０１、第２撮像部（取得部，撮像部）１０２、画像入力部（取得部）１０３、領域抽出部（抽出部，算出部）１０４、画像補正部１０５、および制御部１０６を備えている。
【００２７】
第１撮像部１０１は、所定の第１視点位置に設置される撮像装置である。第１撮像部１０１は、被写体光を集光する光学系と、集光した被写体光から光電変換により右眼用のアナログ画像信号（以下、「Ｒ画像Ａ信号」と称する）を取得する撮像素子を備える。そして、第１撮像部１０１は、取得したＲ画像Ａ信号を画像入力部１０３に出力する。
【００２８】
第２撮像部１０２は、第１視点位置とは異なる位置の第２視点位置に設置される撮像装置である。第２撮像部１０２は、被写体光を集光する光学系と、集光した被写体光から光電変換により左眼用のアナログ画像信号（以下、「Ｌ画像Ａ信号」と称する）を取得する撮像素子を備える。そして、第２撮像部１０２は、取得したＬ画像Ａ信号を画像入力部１０３に出力する。
【００２９】
画像入力部１０３は、第１撮像部１０１により取得されたＲ画像Ａ信号および第２撮像部１０２により取得されたＬ画像Ａ信号を取得する。また、画像入力部１０３は、取得したＲ画像Ａ信号およびＬ画像Ａ信号を、それぞれＡ／Ｄ変換して、デジタルのＬ画像信号およびＲ画像信号を取得する。そして、画像入力部１０３は、Ｌ画像信号およびＲ画像信号を領域抽出部１０４および画像補正部１０５に出力する。
【００３０】
領域抽出部１０４は、画像入力部１０３からＬ画像信号およびＲ画像信号を取得し、取得したＬ画像信号およびＲ画像信号から、Ｌ画像信号用の領域情報であるＬ領域情報およびＲ画像信号用の領域情報であるＲ領域情報を生成する。この領域情報の詳細については後述する。そして、領域抽出部１０４は、生成したＬ領域情報およびＲ領域情報を画像補正部１０５に出力する。
【００３１】
画像補正部１０５は、画像入力部１０３から出力されるＬ画像信号およびＲ画像信号と領域抽出部１０４から出力されるＬ領域情報およびＲ領域情報とを取得する。そして、画像補正部１０５は、Ｌ領域情報およびＲ領域情報に基づいて、Ｌ画像信号およびＲ画像信号を補正処理する。そして、画像補正部１０５は、補正処理後のＬ画像信号およびＲ画像信号を出力する。
【００３２】
制御部１０６は、図１に示すように、第１撮像部１０１、第２撮像部１０２、画像入力部１０３、領域抽出部１０４、および画像補正部１０５と、双方向に必要な信号をやり取りできるように接続される。また、制御部１０６は、所定のタイミングで、Ｌ画像信号およびＲ画像信号に対する信号処理や、データの読み出し／書き込み処理が実行されるように、所定の制御信号（駆動信号や同期信号等）によって、立体撮像装置１００の各機能部を制御する。
【００３３】
＜１．２：領域抽出部の具体的構成＞
以下、図面を参照しながら、領域抽出部１０４の具体的構成について説明する。
【００３４】
図２は、領域抽出部１０４の具体的構成を示すブロック図である。同図に示すように、領域抽出部１０４は、デプス生成部（生成部）２０１と二値化部２０２と領域情報算出部（算出部）２０３とを備えている。
【００３５】
デプス生成部２０１は、画像入力部１０３から、Ｌ画像信号およびＲ画像信号を取得する。デプス生成部２０１は、Ｌ画像信号およびＲ画像信号から、Ｌ画像信号用のデプス情報であるＬデプス情報およびＲ画像信号用のデプス情報であるＲデプス情報を生成する。デプス情報とは、各画像信号の各画素に算出した視差を画素値として生成した画像情報である。このようなデプス情報の生成は、例えば、後述の視差マッチングにより生成することができる。
【００３６】
デプス生成部２０１は、生成したＬデプス情報およびＲデプス情報を二値化部２０２に出力する。
【００３７】
二値化部２０２は、画像入力部１０３から出力されるＬ画像信号およびＲ画像信号とデプス生成部２０１から出力されるＬデプス情報およびＲデプス情報とを取得する。二値化部２０２は、Ｌデプス情報およびＲデプス情報に基づいて、Ｌ画像信号およびＲ画像信号をそれぞれ二値化し、これにより、Ｌ前景情報およびＲ前景情報を生成する。二値化部２０２は、生成したＬ前景情報およびＲ前景情報を領域情報算出部２０３に出力する。
【００３８】
領域情報算出部２０３は、二値化部２０２から取得したＬ前景情報およびＲ前景情報に基づいて、Ｌ前景情報およびＲ前景情報に含まれる前景領域の横幅情報や輪郭種別情報を算出する。そして、領域情報算出部２０３は、算出した横幅情報および輪郭種別情報をＬ領域情報およびＲ領域情報として出力する。ここで、Ｌ領域情報とは、Ｌ前景情報に基づいて算出した横幅情報および輪郭種別情報を含む。また、Ｒ領域情報とは、Ｒ前景情報に基づいて算出した横幅情報および輪郭種別情報を含む。
【００３９】
＜１．３：画像補正部の具体的構成＞
【００４０】
以下、図面を参照しながら、画像補正部１０５の具体的な構成について説明する。
【００４１】
画像補正部１０５は、図３に示すように、Ｌ画像信号用の画像補正部３０１とＲ画像信号用の画像補正部３０２とを備えている。
【００４２】
画像補正部３０１は、メモリ部３０３と強度生成部３０４と座標変換部３０５と補間部３０６とを備えている。メモリ部３０３は、例えば、ラインメモリである。
【００４３】
強度生成部３０４は、領域抽出部１０４から出力されるＬ領域情報を取得する。強度生成部３０４は、取得したＬ領域情報から強度信号Ｋ１＿Ｌを生成する。強度生成部３０４は、生成した強度信号Ｋ１＿Ｌを座標変換部３０５に出力する。
【００４４】
次に、図４に示す被写体を撮影する場合を想定して、デプス生成部２０１、二値化部２０２、および領域情報算出部２０３の動作について具体的に説明する。
【００４５】
図４は、立体撮像装置１００を用いて立体撮影を行う場合の撮影環境と被写体の関係の一例を模式的に示した図である。図４（ａ）は、撮影シーン１０００と、撮影シーン１０００を撮影する第１撮像部１０１および第２撮像部１０２とを上方から俯瞰した図である。この撮影シーン１０００には、前景１００２（主被写体）と背景１００１とが、図４（ａ）に示されたような位置関係で含まれている。
【００４６】
図４（ａ）においては、立体撮像装置１００の第１撮像部１０１が撮影する画角の中心線（第１撮像部１０１から出ている一点鎖線）と第２撮像部１０２が撮影する画角の中心線（第２撮像部１０２から出ている一点鎖線）とは、背景１００１の配置されている距離（ｄ２）にて交差するように輻輳角を設定している。すなわち、輻輳点が背景１００１である。
【００４７】
ここでは説明を簡単にするために、背景１００１として絵が描かれた壁のようなものを考える。もっとも、背景１００１は、このような種類のものに限定されず、山やビル、人物などの被写体であってもよい。一方、前景１００２を、立体的な丸みを持ったオブジェクト〔例えば、上から見たときに所定の幅を有する略楕円形のオブジェクト（例えば、人物）〕とするときには、本開示の効果が得られやすい。
【００４８】
図４（ｂ）は、背景１００１に描かれている絵の輝度分布を示している。図４（ｃ）は、前景１００２を立体撮像装置１００の側から見た正面の輝度分布を示している。なお、図４（ｂ）および（ｃ）において、横軸は水平方向の位置を示し、縦軸は輝度を示している。
【００４９】
＜１．４：デプス情報の生成処理＞
図５は、視差マッチングによるデプス情報の生成処理を説明するための図である。図５（ａ）は、Ｌ画像信号の一例を模式的に示した図である。また、図５（ｂ）は、Ｒ画像信号の一例を模式的に示した図である。さらに、図５（ｃ）は、図５（ａ）および図５（ｂ）のＬ画像信号およびＲ画像信号を１つの画像として重ねて表示させた図である。
【００５０】
デプス生成部２０１は、例えば、以下の（処理１）〜（処理３）を実行することで、デプス情報を生成する。
【００５１】
（処理１）        
まず、デプス生成部２０１は、Ｌ画像信号およびＲ画像信号を対比して、例えば、図５（ａ）のＬ画像信号における被写体Ａ上のＡＬ点（三角形の頂上点）が、図５（ｂ）の画像における被写体Ａ上の点ＡＲ点（三角形の頂上点）に対応していることを検出する。
【００５２】
（処理２）
そして、デプス生成部２０１は、検出した２つの対応点であるＡＬ点およびＡＲ点のずれ量から視差Ｄｉｆｆ（Ａ）を算出する。なお、視差は、ずれ方向により、正負の符号を有するものとする。例えば、Ｒ画像信号上の点が、Ｌ画像信号上の点に対して左方向にずれている場合をプラスの視差とし、逆の場合をマイナスの視差とする。
【００５３】
例えば、図５（ｃ）の場合、被写体Ａについての視差の絶対値がα（≧０）であるとする。この場合、デプス生成部２０１は、Ｒ画像信号上のＡＲ点が、Ｌ画像信号上のＡＬ点より右方向にずれているので、被写体Ａについての視差を「−α」として算出する。そして、図５（ｃ）において、被写体Ｂ上のＢＬ点及びＢＲ点（円の中心点）についての視差の絶対値がβ（≧０）であるとする。この場合、デプス生成部２０１は、Ｒ画像信号上のＢＲ点が、Ｌ画像信号上のＢＬ点より左方向にずれているので、被写体Ｂについての視差を「＋β」として算出する。
【００５４】
（処理３）
デプス生成部２０１は、（処理１）（処理２）を、画像上の全ての点（全ての画素）について実行し、算出した視差を画素値とする視差画像（デプス画像）を生成する。すなわち、デプス生成部２０１は、Ｌ画像信号の各画素に算出した視差を画素値として生成した視差画像をＬデプス情報として算出する。また、デプス生成部２０１は、Ｒ画像信号の各画素に算出した視差を画素値として生成した視差画像を、Ｒデプス情報として算出する。
【００５５】
上記のデプス情報に基づき、各画素について、当該各画素に相当する被写体の実際の位置（３次元空間内の位置）と立体撮像装置１００の位置との距離に相関性のある値をマッピングした距離画像を生成することができる。
【００５６】
なお、上記のＬデプス情報およびＲデプス情報の生成方法は、デプス情報生成方法の一例であり、これに限定されるものではない。例えば、上記の視差の決定において、視差の符号の取り方を逆にしてもよい。また、デプス生成部２０１は、視差マッチング以外の方法によって、視差画像を生成し、Ｌデプス情報およびＲデプス情報を取得するものであってもよい。
【００５７】
また、上記のデプス情報は、２Ｄ画像−３Ｄ画像変換処理から生成してもよい。また、デプス情報は、画像のボケ情報から生成するなど、他の画像処理方法によって生成してもよい。さらに、デプス情報は、距離センサなどの計測器によって計測した実距離値に基づいて生成してもよい。また、デプス情報の少なくとも一部は、ユーザが任意に指定することができるようにしていてもよい。
【００５８】
＜１．５：二値化処理＞
図６は、二値化部２０２における二値化処理を説明するための図である。同図には、背景１００１と前景１００２とを含む撮影シーン１０００を、立体撮像装置１００によって立体撮像したときの立体視用画像を模式的に示している。図６において、（ａ）はＬ画像信号を模式的に示した図である。図６において、（ｂ）はＬデプス情報画像を模式的に示した図である。図６において、（ｃ）はＬ前景情報を模式的に示した図である。図６において、（ｄ）はＬデプス情報画像におけるデプス（視差）のヒストグラムを模式的に示した図である。
【００５９】
二値化部２０２は、以下の（処理１）から（処理４）に基づいて、Ｌ画像信号およびＲ画像信号を二値化処理する。
【００６０】
（処理１）
まず、二値化部２０２は、Ｌ画像信号を用いて、顔検出処理により、顔領域２０２１を二値化領域として取得する。例えば、図４における撮影シーン１０００の前景１００２は、人物像であるから、顔検出処理による二値化が有効である。もっとも、二値化領域の検出手法は、主被写体等の領域を適切に取得できるならば、顔検出処理によるものに限定する必要はない。例えば、ユーザが表示画面をタッチした領域を二値化領域として使用してもよいし、フォーカスポイントを二値化領域として使用してもよい。また、輻輳点〔すなわち、デプス（視差）がゼロとなる点〕に基づいて二値化領域を決定してもよいが、その場合は次の（処理２）を省略する（例えばＴＨ＝０とする）。
【００６１】
（処理２）
次に、処理１において二値化処理した領域以外の領域を二値化処理するための閾値ＴＨとして、Ｌデプス情報画像における顔領域２０２１の平均デプス（視差）を算出する。
【００６２】
（処理３）
二値化部２０２は、Ｌデプス情報画像上の全ての画素の画素値に基づいて、Ｌ前景情報（左眼画像用前景情報）を生成する。Ｌ前景情報は、対応するＬデプス情報画像の画素値が閾値ＴＨを超えていれば１の画素値をとり、対応するＬデプス情報画像の画素値が閾値ＴＨ以下であれば０の画素値をとる。
【００６３】
（処理４）
二値化部２０２は、Ｒ画像（右眼用画像）についても、前記（処理１）〜（処理３）の処理を実行して、Ｒ前景情報（右眼画像用前景情報）を生成する。
【００６４】
なお、前記（処理２）において、閾値ＴＨは、例えば、立体撮像装置から最も近い被写体のデプスの値に設定されてもよいし、前記（処理１）のように画像認識により検出した人領域のデプスの値に設定されてもよい。また、閾値ＴＨは、使用者から任意に指定される値に設定されてもよいし、距離センサなどの計測器によって実測された被写体までの距離の値を用いて設定されてもよい。使用者が閾値ＴＨを任意に設定する場合には、前記（処理２）〜（処理３）を繰り返し、前記（処理３）における画素値の変化の様子をディスプレイなどにより確認しながら閾値ＴＨの値を調整してもよい。もちろん、任意のアルゴリズムを採用することにより、閾値ＴＨを自動決定するようにしてもよい。
【００６５】
＜１．６：横幅情報の算出処理＞
次に、図面を参照しながら、横幅情報の具体的な算出方法について説明する。ここで、横幅情報とは、抽出した前景領域の水平方向に連続するピクセル数に関する情報である。具体的には、横幅情報は、前景領域の横幅を表す値である。
【００６６】
図７は、横幅情報を算出する動作を示すフローチャートである。
【００６７】
領域情報算出部２０３は、二値化部２０２から出力されたＬ前景情報の位置Ｘにおける信号値ＤＬ（Ｘ）を取得する（Ｓ７０１）。そして、領域情報算出部２０３は、横幅算出値ＣＮＴを０、左端水平位置ＬＸを０、右端水平位置ＲＸを０にする。なお、入力されたＬ前景情報は、前景なら１、背景なら０を、画素値として保存しているものとする。
【００６８】
領域情報算出部２０３は、Ｌ前景情報ＤＬを水平位置（Ｘ軸方向の値）について微分（差分）する（Ｓ７０２）。その結果、領域情報算出部２０３は、Ｌ前景情報の微分信号ΔＤＬを取得する。なお、以降の処理では、次の（数式１）に示すように、ΔＤＬは、Ｘ軸方向に１つ右にずれたＬ前景情報信号ＤＬ（Ｘ＋１）との差分値によって求められたものとする。
【００６９】
（数式１）  ΔＤＬ＝ＤＬ（Ｘ＋１）−ＤＬ（Ｘ）
【００７０】
領域情報算出部２０３は、Ｌ前景情報の微分信号ΔＤＬの値に応じて、次の３つの処理の中から１つを選択して、実行する（Ｓ７０３）。
【００７１】
〔Ｓ７０３においてΔＤＬが１の場合〕
領域情報算出部２０３は、Ｓ７０３においてＬ前景情報の微分信号ΔＤＬの値が１の場合、Ｌ領域情報の輪郭種別情報に「左端」情報を出力する（Ｓ７０４）。そして、領域情報算出部２０３は、左端水平位置ＬＸに、水平位置Ｘを代入する（Ｓ７０５）。さらに、領域情報算出部２０３は、横幅算出値ＣＮＴに１を加える（Ｓ７０６）。
【００７２】
〔Ｓ７０３においてΔＤＬが−１の場合〕
領域情報算出部２０３は、Ｓ７０３においてＬ前景情報の微分信号ΔＤＬの値が−１の場合、Ｌ領域情報の輪郭種別情報に「右端」情報を出力する（Ｓ７０７）。そして、領域情報算出部２０３は、右端水平位置ＲＸに、水平位置Ｘを代入する（Ｓ７０８）。領域情報算出部２０３は、左端水平位置ＬＸのＬ領域情報の横幅情報および右端水平位置ＲＸのＬ領域情報の横幅情報に、横幅算出値ＣＮＴを出力する（Ｓ７０９）。
【００７３】
〔Ｓ７０３においてΔＤＬが０の場合〕
領域情報算出部２０３は、Ｓ７０３においてＬ前景情報の微分信号ΔＤＬの値が０の場合、Ｌ前景情報ＤＬの値に応じて、次の２つ処理の中から１つを選択して、実行する（Ｓ７１０）。
【００７４】
すなわち、Ｓ７１０においてＬ前景情報ＤＬの値が１の場合、領域情報算出部２０３は、Ｌ領域情報の輪郭種別情報に「前景内」情報を出力する（Ｓ７１１）。そして、領域情報算出部２０３は、Ｓ７０６の処理に移行する。
【００７５】
他方、Ｓ７１０においてＬ前景情報ＤＬの値が０の場合、領域情報算出部２０３は、Ｌ領域情報の輪郭種別情報に「背景内」情報を出力する（Ｓ７１２）。そして、領域情報算出部２０３は、横幅算出値ＣＮＴを０にする（Ｓ７１３）。
【００７６】
次に、輪郭種別情報について詳細に説明する。図８は、輪郭種別情報を説明するための模式図である。図８（ａ）は、背景１００１と前景１００２とを含む撮影シーン１０００（図５参照）を立体撮像装置１００によって立体撮像したときに二値化部２０２から出力されるＬ前景情報を模式的に示した図である。図８（ｂ）は、図８（ａ）のＬ前景情報に対応するＬ領域情報を模式的に示した図である。図８（ｃ）は、Ｌ領域情報の１画素が持つ情報を模式的に示した図である。図８（ｄ）は、横軸が水平方向の位置であって縦軸がＬ前景情報の値となる、領域情報算出部２０３の信号波形図である。ここで、図８（ｄ）におけるＤＬは、二値化部２０２から与えられるＬ画像における画素位置に対するＬ画像の前景情報を表している。
【００７７】
撮影画像のＬ領域情報およびＲ領域情報は、例えば、図８（ｃ）のように、画素毎に横幅情報および輪郭種別情報を保持している。
【００７８】
横幅情報としては、Ｌ前景情報およびＲ前景情報の水平方向（Ｘ軸方向）に連続する前景の長さが保持されている。
【００７９】
Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界にあり、かつ、その左側に背景領域を持つ位置においては、その輪郭種別情報は「左端」情報を示す。また、Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界にあり、かつ、その右側に背景領域を持つ位置においては、その輪郭種別情報は「右端」情報を示す。さらに、Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界ではない前景領域内の位置においては、その輪郭種別情報は「前景内」情報を示す。また、Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界ではない背景領域内の位置においては、その輪郭種別情報は「背景内」情報を示す。
【００８０】
なお、上記の説明においては、横幅算出値ＣＮＴを加算していくことにより、横幅情報を算出する例を示したが、左端水平位置ＬＸと右端水平位置ＲＸとの値から直接的に横幅情報を算出してもよい。
【００８１】
また、横幅情報を表現するには、上記のように、連続するピクセル数を用いて表現してもよいし、実際の長さに関する値を利用して表現してもよい。前景領域の水平方向つまり通常における視差方向の長さを特定できる情報であれば、どのような表現方法を採用してもよい。
【００８２】
＜１．７：視差量信号の生成処理＞
図９は、強度生成部３０４の具体的な動作を示すフローチャートである。
【００８３】
まず、強度生成部３０４は、領域情報算出部２０３から出力されたＬ領域情報を取得する（Ｓ９０１）。
【００８４】
次に、強度生成部３０４は、入力されたＬ領域情報に含まれる横幅情報ＣＮＴを用いて、Ｌ画像用の視差量信号Ｄ１＿Ｌを出力する（Ｓ９０２）。
【００８５】
このとき、強度生成部３０４は、横幅情報ＣＮＴが大きくなるほど、視差量信号Ｄ１＿Ｌが大きくなるように、例えば、図１０に実線で示す関数ＦＤ１（ＣＮＴ）に基づいて、横幅情報ＣＮＴから視差量信号Ｄ１＿Ｌを生成する。図１０は、横軸をＬ画像用の前景領域の横幅情報ＣＮＴの値とし、縦軸を視差量信号Ｄ１＿Ｌの値としたときの関係図である。同図において、Ｄ１＿ＭＡＸは出力される視差量信号Ｄ１＿Ｌの最大値、ＣＮＴ＿ＭＩＮは、入力される横幅情報ＣＮＴに対して視差量信号Ｄ１＿Ｌを出力するために必要な横幅情報の最低値、ＣＮＴ＿ＭＡＸは視差量信号Ｄ１＿Ｌの最大値Ｄ１＿ＭＡＸを出力する横幅情報の最大値を表している。
【００８６】
また、強度生成部３０４は、関数ＦＤ１（ＣＮＴ）の代わりに、図１０の点線で示したシグモイド関数ＦＤ２（ＣＮＴ）に基づいて、横幅情報ＣＮＴから視差量信号Ｄ１＿Ｌを生成してもよい。強度生成部３０４は、横幅情報ＣＮＴが大きくなるほど、視差量信号Ｄ１＿Ｌが大きくなるような関数、すなわち単調増加関数であれば、直線状の関数や曲線状の関数を問わず、任意の変換関数を用いることができる。また、強度生成部３０４は、視差量信号Ｄ１＿Ｌが大きくなりすぎないよう、所定の上限値を設けてもよい。
【００８７】
次に、強度生成部３０４は、視差量信号Ｄ１＿Ｌに対して補正処理（例えばローパスフィルタ処理）を行う（Ｓ９０３）。
【００８８】
図１１は、視差量信号Ｄ１＿Ｌに対して施されるローパスフィルタ処理を説明するための図である。図１１（ａ）は、撮影シーン１０００を立体撮像装置１００で立体撮像したとき（図４参照）のＬ領域情報（左眼用領域情報）を模式的に示した図である。図１１（ｂ）は、横軸が、水平方向の位置を示し、縦軸が、Ｌ領域情報に基づいて取得した視差量信号および出力される強度信号の値を示している。すなわち、図１１（ｂ）におけるＫ１＿Ｌは、座標変換部３０５に入力される強度信号Ｋ１＿Ｌを表している。図１１（ｂ）において、ＬＸおよびＲＸは、それぞれ主被写体１００２の左端および右端を表しており、ＬＰおよびＲＰは、出力される強度信号Ｋ１＿Ｌが値を持つ領域を表している。
【００８９】
次に、強度生成部３０４は、補正処理を行った視差量信号Ｄ１＿Ｌを、Ｌ画像用強度信号Ｋ１＿Ｌとして、座標変換部３０５に出力する（Ｓ９０４）。
【００９０】
以上のようにして、強度生成部３０４により、Ｌ画像用強度信号Ｋ１＿Ｌを生成することができる。なお、上記においては、強度生成部３０４が、Ｌ領域情報に基づいてＬ画像用強度信号Ｋ１＿Ｌを生成する動作について説明したが、Ｒ画像用強度信号Ｋ１＿Ｒについても同様に算出される。
【００９１】
＜１．８：座標変換処理＞
座標変換部３０５は、強度生成部３０４から出力される強度信号Ｋ１＿Ｌと、領域抽出部１０４から出力されるＬ領域情報と、制御部１０６から出力される読み出しアドレスＲＡＤ＿Ｌおよびモード設定信号と、を取得する。モード設定信号は、画像補正部１０５により補正処理方法のモードを設定するための信号である。
【００９２】
モード設定信号により設定されるモードとして、例えば、Ｌ画像上の被写体の左端側を伸張し、かつ、Ｒ画像上の当該被写体の右端側を伸張することを選ぶ「伸張モード」と、Ｌ画像上の被写体の右端側を圧縮し、かつ、Ｒ画像上の当該被写体の左端側を圧縮することを選ぶ「圧縮モード」との２つが挙げられる。これらの詳細については後述する。
【００９３】
座標変換部３０５は、モード設定信号が指定するモードが実行されるように、Ｌ領域情報および強度信号Ｋ１＿Ｌに基づいて、読み出しアドレスＲＡＤ＿Ｌを、読み出しアドレスＲＡＤ２＿Ｌに変換する。そして、座標変換部３０５は、変換後の読み出しアドレスＲＡＤ２＿Ｌの整数部ＲＡＤ＿Ｌ＿Ｉｎｔをメモリ部３０３に出力し、変換後の読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを補間部３０６に出力する。
【００９４】
補間部３０６は、メモリ部３０３から出力されるＬ画像信号と、座標変換部３０５から出力される読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを取得する。そして補間部３０６は、読み出しアドレス（小数部）ＲＡＤ２＿Ｌ＿Ｄｅｃｉに基づいて、Ｌ画像信号のデータに対して補間処理を行う。そして、補間部３０６は、補間処理を施したＬ画像信号を、Ｌ画像信号Ｌｏｕｔとして出力する。
【００９５】
なお、Ｒ画像信号用の画像補正部３０２は、画像補正部３０１と同様の構成を有している。両者の相違点は、画像補正部３０２においては、入力される信号が、Ｌ画像信号およびＬ領域情報ではなく、Ｒ画像信号およびＲ領域情報である点だけである。メモリ部３０７、強度生成部３０８、座標変換部３０９、補間部３１０は、それぞれメモリ部３０３、強度生成部３０４、座標変換部３０５、補間部３１０と同じ機能を備えている。
【００９６】
次に、座標変換部３０５が実行する伸張モードおよび圧縮モードについて説明する。
【００９７】
＜１．８．１：伸張モード＞
まず、伸張モードについて、図面を参照しながら説明する。図１２は、伸張モードの場合のアドレス変換特性を示す図である。同図において、横軸は、入力アドレス（変換前の読み出しアドレス）を示し、縦軸は、出力アドレス（変換後の読み出しアドレス）を示している。
【００９８】
図１２（ａ）は、主被写体１００２（図４参照）のＬ画像の左端部分を広げるためのアドレス変換特性を示すグラフである。また、図１２（ｂ）は、主被写体１００２のＲ画像の右端部分を広げるためのアドレス変換特性を示すグラフである。
【００９９】
図１２において、ＬＸ＿ＬおよびＲＸ＿Ｌは、それぞれＬ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像の左端および右端の位置（アドレス）を示している。また、ＬＸ＿ＲおよびＲＸ＿Ｒは、それぞれＲ領域情報の輪郭種別情報から得られる主被写体１００２のＲ画像の左端および右端の位置（アドレス）を示している。
【０１００】
また、図１２において、ＬＰ＿ＬおよびＲＰ＿Ｌは、それぞれ入力されるＬ画像用強度信号Ｋ１＿Ｌが値を持つ領域（ＬＸ＿Ｌ、ＲＸ＿Ｌの近隣）を示している。また、ＲＰ＿ＬおよびＲＰ＿Ｒは、それぞれ入力されるＲ画像用強度信号Ｋ１＿Ｒが値を持つ領域（ＬＸ＿Ｒ、ＲＸ＿Ｒの近隣）を示している。
【０１０１】
座標変換部３０５は、Ｌ領域情報の輪郭種別情報およびＲ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像およびＲ画像の左端および右端の位置（アドレス）を用いて、ＬＰ＿ＬおよびＲＰ＿Ｒに対して座標変換する。
【０１０２】
以下、Ｌ画像信号に対する座標変換動作について説明する。
【０１０３】
座標変換部３０５は、制御部１０６から指示された読み出しアドレスＲＡＤ＿Ｌに基づいて、座標変換処理を行う。その結果、座標変換部３０５は変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
【０１０４】
具体的には、座標変換部３０５は、以下の（処理１）、（処理２）により座標変換処理を行う。なお、メモリ部３０３には、制御部１０６から指示された書き込みアドレスＷＡＤ＿Ｌにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとする。また、メモリ部３０３のアドレスＷＡＤ＿Ｌに書き込まれたデータは、当該書き込みアドレスＷＡＤ＿Ｌと同じアドレス値である読み出しアドレスＲＡＤ＿Ｌにより、メモリ部３０３から読み出すことができるものとする。
【０１０５】
（処理１）
読み出しアドレスＲＡＤ＿Ｌが、図１２の領域ＬＰ＿Ｌ以外の領域に対応するアドレスである場合、座標変換部３０５は、図１２（ａ）に示すアドレス変換特性に従って、ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌとして読み出しアドレスＲＡＤ２＿Ｌを取得する。すなわち、座標変換部３０５は、読み出しアドレスＲＡＤ＿Ｌと同一のアドレス値を、読み出しアドレスＲＡＤ２＿Ｌとして取得する。
【０１０６】
そして、座標変換部３０５は、取得した読み出しアドレスＲＡＤ２＿Ｌの整数部ＲＡＤ２＿Ｌ＿Ｉｎｔをメモリ部３０３へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを補間部３０６へ出力する。
【０１０７】
（処理２）
読み出しアドレスＲＡＤ＿Ｌが、図１２の領域ＬＰ＿Ｌの領域に対応するアドレスである場合、座標変換部３０５は、図１２（ａ）に示すアドレス変換特性に従う座標変換を行う。この座標変換について、図１３を用いて説明する。
【０１０８】
図１３は、図１２（ａ）のＡＲＥＡ１領域を拡大した図である。座標変換部３０５は、図１３に示すように、読み出しアドレスＲＡＤ＿Ｌが、領域ＬＰ＿Ｌ内に対応するアドレスである場合、主被写体１００２の左端部分領域が拡張されるように座標変換を行って、アドレス変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
【０１０９】
すなわち、図１３に示すように、ＲＡＤ＿Ｌ＝（ＬＸ＿Ｌ−β）のとき（位置「ＬＸ＿Ｌ−β」に対応するアドレスを単に「ＬＸ＿Ｌ−β」と表記する）、ＲＡＤ２＿Ｌ＝ＬＸ＿Ｌと座標変換される。座標変換部３０５が、この変換後の読み出しアドレスＲＡＤ２＿Ｌ（＝ＬＸ＿Ｌ）により、メモリ部３０３からＬ画像信号Ｌｉｎのデータ（信号値）を読み出すことによって、Ｌ画像上において「ＬＸ＿Ｌ−β」に対応する位置に、「ＬＸ＿Ｌ」に対応する位置のデータ（信号値）を読み出すことができる。同様にして、領域ＬＰ＿Ｌ内に対応するアドレス（ＬＸ＿Ｌ−β〜ＬＸ＿Ｌ＋α）は、アドレス（ＬＸ＿Ｌ〜ＬＸ＿Ｌ＋α）に座標変換される。
【０１１０】
つまり、上記のように、座標変換部３０５が座標変換処理を行い、座標変換後のアドレス値によって、メモリ部３０３からＬ画像Ｌｉｎのデータ（信号値）を読み出す。これにより、図１３の下段の図に示したように、入力Ｌ画像Ｌｉｎの主被写体１００２の左端部分（ＬＸ＿Ｌ〜ＬＸ＿Ｌ＋αの領域）を、ＬＸ＿Ｌ−β〜ＬＸ＿Ｌ＋αの領域に伸張することができる。すなわち、図１３の下段の図のＬｉｎの背景２の部分が、伸張された主被写体１００２の左端部分領域に置換される。
【０１１１】
例えば、図１３に示すアドレス変換特性の曲線部分（ＬＸ＿Ｌ−β〜ＬＸ＿Ｌ＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｌについて、出力アドレス値ＲＡＤ２＿Ｌが単調増加する特性曲線（直線でもよい）である。
【０１１２】
また、座標変換部３０５は、強度信号Ｋ１＿Ｌに適当なゲイン（μ）を乗算することにより、ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌ＋μ・Ｋ１＿Ｌに従って、座標変換処理を実行してもよい。なお、上記において、μの大きさは、最大でも単調性が損なわれないレベル以下に設定する。
【０１１３】
次に、Ｒ画像信号に対する座標変換動作について説明する。
【０１１４】
座標変換部３０９は、図１２（ｂ）に示すアドレス変換特性に従って、座標変換処理を実行する。基本的な処理内容については、座標変換部３０５の処理と同様であるので、以下では、主に座標変換部３０５の処理と異なる点について説明する。
【０１１５】
座標変換部３０９は、制御部１０６から指示された読み出しアドレスＲＡＤ＿Ｒに基づいて、座標変換処理を行う。その結果、座標変換部３０９は変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。
【０１１６】
具体的には、座標変換部３０９は、以下の（処理１）および（処理２）により座標変換処理を実行する。なお、メモリ部３０７には、制御部１０６から指示された書き込みアドレスＷＡＤ＿Ｒにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとする。また、メモリ部３０７のアドレスＷＡＤ＿Ｒに書き込まれたデータは、書き込みアドレスＷＡＤ＿Ｒと同一のアドレス値である読み出しアドレスＲＡＤ＿Ｒによって、メモリ部３０７から読み出すことができるものとする。
【０１１７】
（処理１）
読み出しアドレスＲＡＤ＿Ｒが、図１２の領域ＲＰ＿Ｒ以外の領域に対応するアドレスである場合、座標変換部３０９は、図１２（ｂ）に示すアドレス変換特性に従って、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒとする。すなわち、読み出しアドレスＲＡＤ＿Ｒと同一のアドレスを読み出しアドレスＲＡＤ２＿Ｒとして取得する。そして、座標変換部３０９は、取得した読み出しアドレスＲＡＤ２＿Ｒの整数部ＲＡＤ２＿Ｒ＿Ｉｎｔをメモリ部３０７へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｒの小数部ＲＡＤ２＿Ｒ＿Ｄｅｃｉを補間部３１０へ出力する。
【０１１８】
（処理２）
読み出しアドレスＲＡＤ＿Ｒが、図１２の領域ＲＰ＿Ｒの領域に対応するアドレスである場合、座標変換部３０９は、図１２（ｂ）に示すアドレス変換特性に従う座標変換処理を実行する。
【０１１９】
図１４は、図１２（ｂ）のＡＲＥＡ２領域を拡大した図である。座標変換部３０９は、図１４に示すように、読み出しアドレスＲＡＤ＿Ｒが、領域ＲＰ＿Ｒ内に対応するアドレスである場合、主被写体１００２の右端部分領域が拡張されるように、座標変換を実行し、座標変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。
【０１２０】
すなわち、図１４に示すアドレス変換特性曲線Ｃｕｒｖｅ１において、（Ａ）ＲＡＤ＿ＲがＲＸ＿Ｒ−β〜ＲＸ＿Ｒの領域に含まれる場合には、このアドレス変換特性曲線の傾きが小さく、（Ｂ）ＲＡＤ＿ＲがＲＸ＿Ｒ〜ＲＸ＿Ｒ−αの領域に含まれる場合には、このアドレス変換特性曲線の傾きが大きい。
【０１２１】
座標変換部３０９が、図１４に示すアドレス変換特性曲線Ｃｕｒｖｅ１を用いて、アドレス変換処理を実行することで、主被写体１００２に右端部分領域を伸張することができる。
【０１２２】
上記のように、座標変換部３０９が座標変換処理を実行し、座標変換後のアドレスによって、メモリ部３０７からＲ画像Ｒｉｎのデータ（信号値）を読み出すことで、図１４の下段の図に示したように、入力Ｒ画像Ｒｉｎの主被写体１００２の右端部分（ＲＸ＿Ｒ−β〜ＲＸ＿Ｒの領域）をＲＸ＿Ｒ−β〜ＲＸ＿Ｒ＋αの領域に伸張することができる。図１４の下段の図のＲｉｎの背景１の部分（ＲＸ＿Ｒ〜ＲＸ＿Ｒ＋αの部分）は、（ＲＸ＿Ｒ＋γ〜ＲＸ＿Ｒ＋α）の領域に圧縮（収縮）される。
【０１２３】
例えば、図１４に示すアドレス変換特性の曲線部分（ＲＸ＿Ｒ−β〜ＲＸ＿Ｒ＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｒについて、出力アドレス値ＲＡＤ２＿Ｒが単調増加する特性曲線（直線でもよい）である。
【０１２４】
また、座標変換部３０９は、強度信号Ｋ１＿Ｒに適当なゲイン（μ）を乗算することによって、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒ−μ・Ｋ１＿Ｒに従い、座標変換処理を実行してもよい。なお、上記において、μの大きさは、最大でも単調性が損なわれないレベル以下に設定する。
【０１２５】
なお、座標変換部３０９は、座標変換処理において、アドレス変換特性曲線Ｃｕｒｖｅ１ではなく、図１４の点線で示したアドレス変換特性曲線Ｃｕｒｖｅ２により、座標変換処理を実行するようにしてもよい。すなわち、アドレス変換特性曲線Ｃｕｒｖｅ２は、アドレス変換特性曲線Ｃｕｒｖｅ１と比較して、領域（ＲＸ＿Ｒ＋γ〜ＲＸ＿Ｒ＋α）における曲線の傾きが小さく、なだらかに上昇して、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒの直線と一致するように変化する。
【０１２６】
したがって、座標変換部３０９が、アドレス変換特性曲線Ｃｕｒｖｅ２に従い、座標変換処理を実行することにより、図１４の下段の図に示した背景１が、急激に圧縮されることを抑制することができる。その結果、背景１の部分が滑らかに圧縮されたＲ画像を取得することが可能となる。
【０１２７】
なお、入力アドレスＲＡＤ＿ＬおよびＲＡＤ＿Ｒは、整数値であるのに対し、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数値を有する。ここでは、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数以下４ｂｉｔを有するものとする。
【０１２８】
座標変換部３０９が以上の処理を実行した場合の処理結果（伸張モードにおける処理結果）を、図１５ないし図１６に示す。
【０１２９】
図１５は、主被写体１００２の内部領域Ａに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。図１６は、主被写体１００２の内部領域Ｂに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。主被写体１００２の内部領域Ａに対して、内部領域Ｂはより狭い領域であるとする。
【０１３０】
図１５に示すように、Ｌ画像の主被写体１００２の左側の輪郭付近（左端部分領域）は、矢印ＡＬ１で示すように、滑らかに左方向に引き延ばされている。同様に、Ｒ画像の主被写体１００２の右側の輪郭付近（右端部分領域）も、矢印ＡＲ１で示すように、滑らかに右方向に引き延ばされている。
【０１３１】
この結果、立体視用画像において、主被写体１００２の内部領域Ａについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から主被写体１００２の定位値までの距離は同一となる。
【０１３２】
図１５（ａ）のＬ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１５（ｂ）の強度信号Ｋ１＿Ｌに基づいて、左方向に引き延ばされている。その結果、左の輪郭（左端部分領域）での視差は、ＳＬ１になる。また、図１５（ｃ）のＲ画像において、主被写体主被写体１００２の右の輪郭（右端部分領域）は、図１５（ｂ）の強度信号Ｋ１＿Ｒに基づいて、右方向に引き延ばされている。その結果、右の輪郭（右端部分領域）での視差は、ＳＲ１になる。
【０１３３】
この場合、ＳＬ１＜ＳおよびＳＲ１＜Ｓであるから、立体撮像装置１００により取得される立体視用画像の視差は、画像を立体視したときに、主被写体１００２が遠ざかる方向に変化する。すなわち、主被写体１００２の内部領域に比べて、主被写体１００２の輪郭近傍（左端部分領域および右端部分領域）は僅かに遠ざかることになる。これにより、立体撮像装置１００によって取得される立体視用画像において、主被写体１００２の輪郭近傍が遠方に向かって湾曲している丸み感が的確に表現される。
【０１３４】
主被写体１００２の輪郭近傍の丸み感が認知されると、画像を見た人の脳での認識が平板ではなく、立体的に認識される。これにより、画像の書割り感が低減される。
【０１３５】
図１６から分かるように、Ｌ画像の主被写体１００２の左側の輪郭付近（左端部分領域）が、矢印ＢＬ２で示すように、滑らかに左方向に引き延ばされている。同様に、Ｒ画像の主被写体１００２の右側の輪郭付近（右端部分領域）も、矢印ＢＲ２で示すように、滑らかに右方向に引き延ばされている。
【０１３６】
この結果、立体視用画像において、主被写体１００２の内部領域Ｂについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から被写体オブジェクトの定位値までの距離は同一となる。
【０１３７】
図１６（ａ）のＬ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１６（ｂ）の強度信号Ｋ２＿Ｌに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｌは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿ＬはＫ２＿Ｌより大きくなる。その結果、左の輪郭（左端部分領域）での視差は、ＳＬ２になる。
【０１３８】
また、図１６（ｃ）のＲ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１６（ｃ）に示した強度信号Ｋ２＿Ｒに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｒは、強度生成部３０８によって、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿Ｒ＞Ｋ２＿Ｒとなる。よって、右の輪郭（右端部分領域）での視差は、ＳＬ２になる。
【０１３９】
この場合、ＳＬ１＜ＳＬ２＜Ｓおよび、ＳＲ１＜ＳＲ２＜Ｓの関係となる。そのため、立体視用画像の視差は立体視した画像が遠ざかる方向に変化する。しかし、内部領域Ｂの輪郭近傍（左端部分領域および右端部分領域）の立体視画像は、内部領域Ａの輪郭近傍（左端部分領域および右端部分領域）の立体視画像ほど大きく遠ざかることにはならない。
【０１４０】
一般的な被写体オブジェクトは、横幅が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。とりわけ被写体オブジェクトが人物像である場合など、被写体オブジェクトが円柱状である場合には、きわめて自然な立体感を画像に与えることができる。
【０１４１】
＜１．８．２：圧縮モード＞
以下、圧縮モードの処理について、図面を参照しながら説明する。なお、伸張モードの処理と同様の部分については、説明を省略する。
【０１４２】
図１７は、圧縮モードの場合のアドレス変換特性を示す図である。図１７において、横軸は、入力アドレス（変換前の読み出しアドレス）であり、縦軸は、出力アドレス（変換後の読み出しアドレス）である。
【０１４３】
具体的には、図１７（ａ）は、主被写体１００２（図４参照）のＬ画像の右端部分を狭めるためのアドレス変換特性を示すグラフである。また、図１７（ｂ）は、主被写体１００２のＲ画像の左端部分を狭めるためのアドレス変換特性を示すグラフである。なお、図１７（ａ）は、Ｌ画像信号用の変換特性を示し、図１７（ｂ）は、Ｒ画像信号用の変換特性を示している。
【０１４４】
図１７において、ＬＸ＿ＬおよびＲＸ＿Ｌは、Ｌ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像の左端および右端の位置（アドレス）を示している。また、ＬＸ＿ＲおよびＲＸ＿Ｒは、Ｒ領域情報の輪郭種別情報から得られる主被写体１００２のＲ画像の左端および右端の位置（アドレス）を示す。
【０１４５】
図１７において、ＬＰ＿ＬおよびＲＰ＿Ｌは、それぞれ入力されるＬ画像用強度信号Ｋ１＿Ｌが値を持つ領域（ＬＸ＿Ｌ、ＲＸ＿Ｌの近隣）を示している。また、ＲＰ＿ＬおよびＲＰ＿Ｒは、それぞれ入力されるＲ画像用強度信号Ｋ１＿Ｒが値を持つ領域（ＬＸ＿Ｒ、ＲＸ＿Ｒの近隣）を示している。
【０１４６】
座標変換部３０５は、Ｌ領域情報の輪郭種別情報およびＲ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像およびＲ画像の左端および右端の位置（アドレス）を用いて、ＲＰ＿ＬおよびＬＰ＿Ｒに対して座標変換する。
【０１４７】
座標変換部３０５、メモリ部３０３、および補間部３０６での処理は、伸張モードの処理で説明した、座標変換部３０５、メモリ部３０３、および補間部３０６の処理と同様である。
【０１４８】
伸張モードでのアドレス変換特性と圧縮モードでのアドレス変換特性との相違点は、前者が図１２に示すものであるのに対して、後者が図１７に示すものである点である。
【０１４９】
圧縮モードでは、図１７に示すアドレス変換特性によって、座標変換部３０５、メモリ部３０３、および補間部３０６での処理が実行される。そのため、Ｌ画像において、主被写体１００２の右端部分領域が圧縮され、Ｒ画像において、主被写体１００２の左端部分領域が圧縮される。
【０１５０】
立体撮像装置１００における圧縮モードにおける処理結果を図１８ないし図１９に示す。
【０１５１】
図１８は、主被写体１００２の内部領域Ａに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。図１９は、主被写体１００２の内部領域Ｂに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。また、主被写体１００２の内部領域Ａに対して、内部領域Ｂはより狭い領域であるものとする。
【０１５２】
図１８において、Ｌ画像の主被写体１００２の右側の輪郭付近（右端部分領域）が、矢印ＡＬ３で示すように、滑らかに左方向に圧縮されている。同様に、Ｒ画像の主被写体１００２の左側の輪郭付近（左端部分領域）も、矢印ＡＲ３で示すように、滑らかに右方向に圧縮されている。
【０１５３】
この結果、立体視用画像において、主被写体１００２の内部領域Ａについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から視点から被写体オブジェクトの定位値までの距離は同一となる。
【０１５４】
図１６（ａ）のＬ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１６（ｂ）の強度信号Ｋ２＿Ｌに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｌは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿ＬはＫ２＿Ｌより大きくなる。その結果、左の輪郭（左端部分領域）での視差は、ＳＬ２になる。
【０１５５】
また、図１６（ｃ）のＲ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１６（ｃ）に示した強度信号Ｋ２＿Ｒに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｒは、強度生成部３０８によって、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿Ｒ＞Ｋ２＿Ｒとなる。よって、右の輪郭（右端部分領域）での視差は、ＳＬ２になる。
【０１５６】
図１８（ａ）のＬ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１８（ｂ）の強度信号Ｋ３＿Ｌに基づいて、左方向に圧縮される。そのため、右の輪郭（右端部分領域）での視差はＳＬ３になる。また、図１８（ｃ）のＲ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１８（ｂ）の強度信号Ｋ３＿Ｒに基づいて、右方向に圧縮される。そのため、左の輪郭（左端部分領域）での視差は、ＳＲ３になる。
【０１５７】
上記の場合、ＳＬ３＜ＳおよびＳＲ３＜Ｓであるため、立体視用画像の視差は、立体視した画像が遠ざかる方向に変化する。その結果、主被写体１００２の内部に比べて、主被写体１００２の輪郭近傍（左端部分領域および右端部分領域）は僅かに遠ざかることになる。これにより、立体撮像装置１００によって取得される立体視用画像において、主被写体１００２の輪郭近傍が遠方に向かって湾曲している丸み感が的確に表現される。
【０１５８】
主被写体１００２の輪郭近傍の丸み感が認知されると、画像を見た人の脳での認識が平板ではなく、立体的に認識される。これにより、画像の書割り感が低減される。
【０１５９】
図１９に示すように、Ｌ画像の主被写体１００２の右側の輪郭付近（右端部分領域）が、矢印ＢＬ４で示すように、滑らかに左方向に圧縮されている。同様に、Ｒ画像の主被写体１００２の左側の輪郭付近（左端部分領域）も、矢印ＢＲ４で示すように、滑らかに右方向に圧縮されている。
【０１６０】
この結果、立体視用画像において、主被写体１００２の内部領域Ｂについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から被写体オブジェクトの定位値までの距離は同一となる。
【０１６１】
図１９（ａ）のＬ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１９（ｂ）の強度信号Ｋ４＿Ｌに基づいて、左方向に圧縮される。強度信号Ｋ４＿Ｌは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。よって、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ３＿ＬはＫ４＿Ｌより大きくなる。その結果、右の輪郭（右端部分領域）での視差は、ＳＬ４になる。
【０１６２】
また、図１９（ｃ）のＲ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１９（ｃ）に示した強度信号Ｋ４＿Ｒに基づいて、左方向に圧縮される。強度信号Ｋ４＿Ｒは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ３＿Ｒ＞Ｋ４＿Ｒとなる。よって、左の輪郭（左端部分領域）での視差は、ＳＬ４になる。
【０１６３】
この場合、ＳＬ３＜ＳＬ４＜Ｓおよび、ＳＲ３＜ＳＲ４＜Ｓの関係となる。そのため、立体視用画像の視差は、立体視した画像が遠ざかる方向に変化する。しかし、内部領域Ｂの輪郭近傍（左端部分領域および右端部分領域）の立体視画像は、内部領域Ａの輪郭近傍（左端部分領域および右端部分領域）の立体視画像ほど大きく遠ざかることにはならない。
【０１６４】
一般的な被写体オブジェクトは、横幅が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。とりわけ被写体オブジェクトが人物像である場合など、被写体オブジェクトが円柱状である場合には、きわめて自然な立体感を画像に与えることができる。
【０１６５】
なお、本実施形態では、伸張モードによる処理と、圧縮モードによる処理とを、別々の処理として説明した。しかし、両者を同時に併用する方法も実現可能である。このような方法を採用すれば、画像に与える歪みが小さくてすみ、かつ立体表示した際の被写体オブジェクトの横幅も変化しないために、画質的に優れた立体視画像を得ることができる。
【０１６６】
＜２．実施の形態２＞
前記の実施形態において、領域情報算出部２０３は、取得されるＬデプス情報またはＲデプス情報に基づいて、横幅情報の算出動作を変更してもよい。
【０１６７】
例えば、領域情報算出部２０３は、横幅情報を算出する際、取得したＬデプス情報またはＲデプス情報が所定の閾値を超える画素については、カウントしないように動作する。すなわち、領域情報算出部２０３は、所定の定位置より遠方の被写体に対しては、奥行き（厚み）を復元する必要がないものとして、前述の丸みを与える補正処理をしないように横幅情報を算出する。
【０１６８】
このような処理を行うのは、一般に遠景は立体感に乏しいので、山や雲などの遠景の端部に前述の遠方に向かって湾曲している丸みを与える補正処理を施すと、画像を見たときに違和感が生じるからである。
【０１６９】
＜３．実施の形態３＞
前記の実施形態では、画像の横幅の長さが長いほど付与する視差を大きくするように補正処理を施した。
【０１７０】
しかし、被写体が、例えば図２０に示す手を広げている被写体のように縦方向の長さが短い画像である場合には、前述のような補正処理を施すと、手の位置が極端に奥に定位されて不自然に見える場合がある。一般的に、縦方向が短く、横方向に長い被写体オブジェクトは、本来の厚みもない場合が多いからである。
【０１７１】
このことを考慮して、本実施形態では、抽出された被写体領域のうち、縦方向における長さが所定値以下の部分、すなわち縦方向に短い部分には、視差を大きくする補正処理を施さない。具体的には、領域情報算出部２０３は、横幅情報の算出動作をする前に、対象画像に縦方向のメディアンフィルタをかける。この結果、フィルタサイズより縦方向の短い領域は前景情報から削除される。図２１は、この様子を示したもので、図２１（ａ）はメディアンフィルタを適用する前の前景情報（画像）の例を示し、図２１（ｂ）はメディアンフィルタを適用した後の前景情報（画像）の例を示している。領域情報算出部２０３は、フィルタ処理後の前景情報を利用して横幅情報を算出する。
【０１７２】
これにより、被写体領域のうち、縦方向に短い部分には、視差を大きくする補正処理が施されず、その他領域のみに視差を大きくする補正処理が施される。
【０１７３】
なお、上記の説明では、被写体領域のうち、縦方向に短い部分を削除するためにメディアンフィルタを用いたが、これは一例であり、この他に例えばローパスフィルタを用いてもよい。すなわち、被写体領域のうち、縦方向に短い部分を除去できる方法なら、どのような方法を採用してもよい。
【０１７４】
＜４．実施の形態４＞
前記の実施形態では、Ｌ画像信号およびＲ画像信号に基づいて、Ｌデプス情報およびＲデプス情報を算出する構成を示した。しかし、立体撮像装置１００の構成は、上記に限定されるものではなく、第１視点位置および第２視点位置とは異なる第３視点位置から被写体までの距離を計測して距離信号（例えば、距離画像信号）を取得する距離取得部（測定部）を備える構成であってもよい。
【０１７５】
図２２は、本実施形態に係る立体撮像装置４００の概略図を示すブロック図である。図２１に示す立体撮像装置４００の構成のうち、図１に示した立体撮像装置１００と同一の部材には同一の符号を付してその説明を省略する。立体撮像装置４００は、第１撮像部１０１および第２撮像部１０２とは異なる位置に距離取得部４０１を備えている。
【０１７６】
距離取得部４０１は、赤外光（ＩＲ）を照射する赤外光照射部と、照射した赤外光のうち被写体で反射した赤外光を集光する光学系と、集光した赤外光を光電変換により電気信号に変換する撮像素子とを備えている。距離取得部４０１は、赤外光の照射から反射して戻ってくるまでの時間とその強度により被写体までの距離信号を測定するＴＯＦ方式（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ方式）によって距離信号を取得する。
【０１７７】
そして、距離取得部４０１は、取得した距離信号をデプス生成部２０１に出力する。デプス生成部２０１は、距離取得部４０１から取得した距離信号を用いて、Ｌデプス情報およびＲデプス情報を算出する。
【０１７８】
なお、上述においては、距離取得部４０１として、赤外光のＴＯＦ方式のものを説明した。しかし、距離取得部の構成は、赤外光のＴＯＦ方式のものに限定されず、被写体までの距離を取得できる距離センサであれば、どのような方式のものを採用してもよい。例えば、レーザ光を照射し、反射して戻ってくるまでの時間によって距離信号を取得するレーザ光のＴＯＦ方式でもよい。第１撮像部１０１および第２撮像部１０２とは異なる撮像部を設け、この撮像部による取得画像に基づいて被写体までの距離信号を取得する方式であってもよい。
【０１７９】
＜５．効果等＞
以上のように、前記実施の形態において、立体撮像装置１００（立体画像処理装置の一例）は、Ｌ画像とＲ画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する第１撮像部１０１、第２撮像部１０２、および画像入力部１０３（取得部の一例）と、取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する領域抽出部１０４（抽出部の一例）と、抽出された被写体領域の視差の方向における長さを算出する領域情報算出部２０３（算出部の一例）と、算出された被写体領域の視差の方向における長さに基づいて、被写体領域の端部の視差を調整する画像補正部１０５とを備えている。
【０１８０】
また、前記実施の形態の立体画像処理方法は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、前記抽出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する調整段階と、を備えている。
【０１８１】
これにより、立体視用画像に自然な立体感を付与することにより、書割り現象の生じ難い立体視用画像を取得することができる。
【０１８２】
また、前記実施の形態において、画像補正部１０５は、算出された被写体領域の視差の方向における長さが長くなるほど、被写体領域の端部の立体画像の定位位置が遠くなるように、被写体領域の端部の視差を調整してもよい。
【０１８３】
また、前記実施の形態の立体画像処理方法は、調整段階では、算出された被写体領域の視差の方向における長さが長くなるほど、被写体領域の端部の立体画像の定位位置が遠くなるように、被写体領域の端部の視差を調整してもよい。
【０１８４】
一般的な被写体オブジェクトは、横幅（一般的な視差方向）が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。
【０１８５】
また、前記実施の形態において、領域情報算出部２０３（算出部の一例）は、画素ライン毎に被写体領域の視差の方向における長さを算出する一方、画像補正部１０５は、画素ライン毎に算出された被写体領域の視差の方向における長さに基づいて、被写体領域の端部の視差を調整してもよい。
【０１８６】
一般的な被写体オブジェクトは、横幅（一般的な視差方向）が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。
【０１８７】
また、前記実施の形態において、領域抽出部１０４は、取得された立体視用画像の各画素について、Ｌ画像とＲ画像との間の視差に基づき、撮影位置から被写体までの距離情報を生成するデプス生成部２０１（生成部の一例）を備え、生成された距離情報に基づいて、立体視用画像から被写体領域を抽出してもよい。
【０１８８】
これにより、立体視用画像自体に含まれる情報から撮影位置から被写体までの距離情報を生成し、この距離情報を基に被写体領域を抽出することができる。
【０１８９】
また、前記実施の形態において、領域抽出部１０４は、生成された距離情報に基づいて、取得された立体視用画像に二値化処理を施す二値化部２０２を備えている。
【０１９０】
これにより、立体視用画像に撮影位置から被写体までの距離情報に応じた二値化処理を施し、この二値化処理によって、立体視用画像に含まれる異なる位置の被写体や被写体と背景とを的確に分離することができる。
【０１９１】
また、前記実施の形態において、画像補正部１０５は、生成された距離情報が所定の距離値よりも大きい被写体領域には、端部の視差調整を行わないこととしてもよい。
【０１９２】
一般に遠景は立体感に乏しいので、山や雲などの遠景の端部に、遠方に向かって湾曲している丸みを与える視差調整を施すと、画像を見たときに違和感が生じる。上記のように、撮影位置から所定以上の距離に位置する遠い被写体については視差調整を施さず、撮影位置に近い被写体についてのみ視差調整を施すようにすると、より自然な立体感を画像に与えることが可能となる。
【０１９３】
また、前記実施の形態において、前記取得部は、立体視用画像を撮影する第１撮像部１０１および第２撮像部１０２を備える一方、立体撮像装置１００は、撮影の時に被写体までの距離を測定する距離取得部４０１を更に備え、領域抽出部１０４は、測定された被写体までの距離に基づいて、取得された立体視用画像から被写体領域を抽出してもよい。
【０１９４】
これにより、立体視用画像を撮影するときの被写体までの実距離の値に基づいて、この距離情報を基に被写体領域を抽出することができる。
【０１９５】
また、前記実施の形態において、画像補正部１０５は、測定された距離が所定の距離値よりも大きい被写体に対応する被写体領域には、端部の視差調整を行わないこととしてもよい。
【０１９６】
一般に遠景は立体感に乏しいので、山や雲などの遠景の端部に、遠方に向かって湾曲している丸みを与える視差調整を施すと、画像を見たときに違和感が生じる。上記のように、撮影位置から所定以上の距離に位置する遠い被写体については視差調整を施さず、撮影位置に近い被写体についてのみ視差調整を施すようにすると、より自然な立体感を画像に与えることが可能となる。
【０１９７】
また、前記実施の形態において、画像補正部１０５は、抽出された被写体領域のうち、前記視差の方向と直交する方向における長さが所定値以下の部分には、端部の視差調整を行わないこととしてもよい。
【０１９８】
一般的に、縦方向が短く、横方向（通常の視差方向）に長い被写体オブジェクトは、本来の厚みもない場合が多い。そのため、被写体領域の全部分の端部に、遠方に向かって湾曲している丸みを与える視差調整を施すと、画像を見たときに違和感が生じる場合がある。上記のように、抽出された被写体領域のうち、縦方向（視差の方向と直交する方向）における長さが所定値以下の部分には視差調整を施さず、縦方向において十分な長さを有する部分についてのみ視差調整を施すようにすると、より自然な立体感を画像に与えることが可能となる。
【０１９９】
＜６．その他の実施形態＞
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
【０２００】
上記の各実施形態において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されてもよい。なお、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。
【０２０１】
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２０２】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適用が可能性としてあり得る。
【０２０３】
また、上記の各実施形態における各機能ブロックの処理の一部または全部は、プログラムによって実現されるものでもよい。そして、上記の各実施形態における各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により実行される。また、各処理を実行するためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【０２０４】
例えば、前記実施形態を立体画像処理プログラムによって実現する場合、この立体画像処理プログラムは、コンピュータを立体画像処理装置として動作させるためのプログラムであって、コンピュータの制御部に、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する機能と、抽出された被写体領域の視差の方向における長さを算出する機能と、算出された被写体領域の視差の方向における長さに基づいて、被写体領域の端部の視差を調整する機能とを実行させるものであると表現することができる。
【０２０５】
また、前記立体画像処理プログラムにおいては、算出された被写体領域の視差の方向における長さが長くなるほど、被写体領域の端部の立体画像の定位位置が遠くなるように、被写体領域の端部の視差を調整してもよい。
【０２０６】
また、上記の各実施形態の処理は、ハードウェアによって実現されてもよいし、ソフトウェア〔ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む〕によって実現されてもよい。さらに、ソフトウェアおよびハードウェアの混在処理によって実現されてもよい。
【０２０７】
なお、上記の実施形態に係る装置をハードウェアによって実現する場合には、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記の各実施形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０２０８】
また、上記の実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に限定されるものではなく、本開示の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０２０９】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータに読み取り可能な記録媒体は、本開示の範囲に含まれる。ここで、コンピュータに読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ  Ｄｉｓｃ）、半導体メモリを挙げることができる。
【０２１０】
上記のコンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワークなどを経由して伝送されるものであってもよい。
【０２１１】
また、上記の実施形態においては、２つの撮像部により、立体視用画像としてのステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、立体視用画像の取得方法は、上記に限定されることはなく、例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。また、２つ以上の複数の撮像部により撮影した画像（多視点画像）からステレオ画像を取得してもよい。
【０２１２】
さらに、立体視用画像（データを含む）は所与のものとして、外部装置から入力されて取得するようにしてもよい。
【０２１３】
また、前記実施形態においては、前景１００２（主被写体）と背景１００１とを含む撮影シーン１０００（図４参照）を撮像する場合を例に挙げて、視差調整の各処理を説明した。
【０２１４】
しかし、この例とは異なって、立体視用画像に複数の前景（被写体）が含まれるような場合には、各被写体とその被写体より撮像装置（撮影位置）から遠い被写体または背景との境界（被写体領域の端部）においては視差調整を施す一方、各被写体とその被写体より撮像装置（撮影位置）に近い被写体との境界（被写体領域の端部）においては視差調整を施さないものとしてもよい。すなわち、例えば視差情報に基づいて、より後ろに位置する被写体または背景との境界においては視差調整を行う一方、より前に位置する被写体との境界においては視差調整を行わないものとしてもよい。
【０２１５】
これにより、立体視用画像において、複数の被写体が重なっているような場合にも、自然な立体感を付与することが可能となる。
【０２１６】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０２１７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０２１８】
本開示に係る立体画像処理装置、立体画像処理方法、および立体画像処理プログラムは、立体視用画像（立体映像）関連分野において有用であり、立体撮像を行うカメラ（撮像装置）、立体視用画像（立体映像）を表示するディスプレイ装置、立体視用画像（立体映像）を処理する画像処理装置など、立体視用画像（立体映像）を扱う幅広い機器に応用できる。
【符号の説明】
【０２１９】
１００    立体撮像装置
１０１    第１撮像部
１０２    第２撮像部
１０３    画像入力部
１０４    領域抽出部
１０５    画像補正部
１０６    制御部
２０１    デプス生成部
２０２    二値化部
２０３    領域情報算出部
３０１、３０２    画像補正部
３０３、３０７    メモリ部
３０４、３０８    強度生成部
３０５、３０９    座標変換部
３０６、３１０    補間部
４００    立体撮像装置
４０１    距離取得部
１０００    撮影シーン
１００１    被写体
１００２    主被写体
【図１】
2013080544.tif 000003
【図２】
2013080544.tif 000004
【図３】
2013080544.tif 000005
【図４】
2013080544.tif 000006
【図５】
2013080544.tif 000007
【図６】
2013080544.tif 000008
【図７】
2013080544.tif 000009
【図８】
2013080544.tif 000010
【図９】
2013080544.tif 000011
【図１０】
2013080544.tif 000012
【図１１】
2013080544.tif 000013
【図１２】
2013080544.tif 000014
【図１３】
2013080544.tif 000015
【図１４】
2013080544.tif 000016
【図１５】
2013080544.tif 000017
【図１６】
2013080544.tif 000018
【図１７】
2013080544.tif 000019
【図１８】
2013080544.tif 000020
【図１９】
2013080544.tif 000021
【図２０】
2013080544.tif 000022
【図２１】
2013080544.tif 000023
【図２２】
2013080544.tif 000024
【手続補正書】
【提出日】平成25年3月12日(2013.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する取得部と、
前記取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する抽出部と、
前記抽出された被写体領域の視差の方向における長さを算出する算出部と、
前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する画像補正部と、を備える立体画像処理装置。
【請求項２】
前記画像補正部は、前記算出された被写体領域の視差の方向における長さが長くなるほど、前記被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域の端部の視差を調整する請求項１に記載の立体画像処理装置。
【請求項３】
前記算出部は、画素ライン毎に前記被写体領域の視差の方向における長さを算出する一方、
前記画像補正部は、前記画素ライン毎に算出された前記被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する請求項１に記載の立体画像処理装置。
【請求項４】
前記抽出部は、
前記取得された立体視用画像の各画素について、前記左眼用画像と右眼用画像との間の視差に基づき、撮影位置から被写体までの距離情報を生成する生成部を備え、
前記生成された距離情報に基づいて、前記立体視用画像から前記被写体領域を抽出する請求項１に記載の立体画像処理装置。
【請求項５】
前記抽出部は、
前記生成された距離情報に基づいて、前記取得された立体視用画像に二値化処理を施す二値化部を更に備える請求項４に記載の立体画像処理装置。
【請求項６】
前記画像補正部は、
前記生成された距離情報が所定の距離値よりも大きい被写体領域には、端部の視差調整を行わない請求項４に記載の立体画像処理装置。
【請求項７】
前記取得部は、前記立体視用画像を撮影する撮像部を備える一方、
前記撮影の時に被写体までの距離を測定する測定部を更に備え、
前記抽出部は、前記測定された被写体までの距離に基づいて、前記取得された立体視用画像から前記被写体領域を抽出する請求項１に記載の立体画像処理装置。
【請求項８】
前記画像補正部は、
前記測定された距離が所定の距離値よりも大きい被写体に対応する前記被写体領域には、端部の視差調整を行わない請求項７に記載の立体画像処理装置。
【請求項９】
前記画像補正部は、
前記抽出された被写体領域のうち、前記視差の方向と直交する方向における長さが所定値以下の部分には、端部の視差調整を行わない請求項１に記載の立体画像処理装置。
【請求項１０】
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、
前記抽出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する調整段階と、を備える立体画像処理方法。
【請求項１１】
前記調整段階では、前記算出された被写体領域の視差の方向における長さが長くなるほど、前記被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域の端部の視差を調整する請求項１０に記載の立体画像処理方法。
【請求項１２】
コンピュータを立体画像処理装置として動作させるためのプログラムであって、
コンピュータの制御部に、
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する機能と、
前記抽出された被写体領域の視差の方向における長さを算出する機能と、
前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する機能とを実行させる立体画像処理プログラム。
【請求項１３】
前記算出された被写体領域の視差の方向における長さが長くなるほど、前記被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域の端部の視差を調整する請求項１２に記載の立体画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
【技術分野】
【０００１】
本開示は、立体視用画像の表示品位を高める立体画像処理装置、立体画像処理方法、および立体画像処理プログラムに関する。
【背景技術】
【０００２】
左眼用画像および右眼用画像を含む立体視用画像を、独立して視聴者の左右の眼に投影する表示装置（以下、「立体表示装置」と称する）に表示するための立体視用画像を撮像する立体撮像装置が知られている。この立体撮像装置は、両眼の視差を反映させた状態で左眼用画像および右眼用画像を撮像する。
【０００３】
立体視用画像では、遠景（遠景の被写体）の画像においても、近景（近景の被写体）の画像においても、大きすぎる視差が生じていると、視聴者が立体視する際の融像限界を超えて、立体視が困難な画像になったり、立体視はできるが見ていて疲労感を感じさせる画像になったりすることが知られている。
【０００４】
上記は、立体視用画像を小さなサイズのディスプレイ装置に表示する場合には視差が小さいので、大きな問題とならないが、立体視用画像を大きなサイズのディスプレイ装置に表示する場合や、立体視用映画の上映等においては深刻な問題となる。
【０００５】
従来、このような視差の大きすぎる立体視用画像の生成を避けるために、視差調整やステレオベース調整などの処理を施すことにより、撮影する立体視用画像の視差を抑制することが行われていた（特許文献１参照）。
【０００６】
視差調整とは、主に遠景の視差が融像限界を超える場合に用いられる処理である。視差調整は、撮像装置から遠景までの距離を非線形に圧縮して視差を小さく調整することにより、遠景を仮想的に近い場所に配置する。これにより、立体視が困難な遠景を近づけ、視聴者の立体視を容易とすることが可能となる。
【０００７】
ステレオベース調整とは、２台の撮像装置（左眼用画像を撮影する撮像装置と右眼用画像を撮影する撮像装置）の間隔を近づける、すなわち、ステレオベース（基線長）を小さく設定する処理である。ステレオベース調整により、視差のダイナミックレンジを圧縮することができる。ステレオベース調整を用いれば、近景から遠景までの全体が融像限界内におさまった立体視し易い立体視用画像を取得することができる。
【０００８】
【先行技術文献】
【特許文献】
【特許文献１】特開平８−９４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、視差調整やステレオベース調整では、立体視の融像限界を考慮して、被写体が融像限界域内に入るように、視差を本来の立体視用画像より減らすことによって、立体視し易い立体視用画像を得ている。
【００１０】
したがって、視差調整やステレオベース調整を施した立体視用画像は、立体感や遠近感の自然さの観点では、劣化してしまう。すなわち、視差調整やステレオベース調整によって得られる立体視用画像は、立体感や遠近感が乏しく不自然な画像になりがちである。
【００１１】
具体的には、視差調整によれば、立体視し易い立体視用画像を取得することはできるが、遠景までの距離が非線形に圧縮されることになる。このため、視差調整を施した立体視用画像では、奥行きが平板にみえる現象（遠景の被写体の厚み感が減少し、平板状の立体像として知覚される現象）が発生する。
【００１２】
他方、ステレオベース調整による技術では、取得される立体視用画像において視差のダイナミックレンジを圧縮するために、全体的に遠近感が減少し（最近点から最遠点までの距離が小さくなる）、個々の被写体の立体感が低下する現象が発生する。
【００１３】
これらの立体感の圧縮や低下に伴って、いわゆる書割り現象が生じることが知られている。書割り現象とは、立体視用画像において、例えば、前景の人物などの主要な被写体の厚みが薄くなり、板に描いた平面的な絵のように見える現象のことである。この書割り現象は、被写体の凹凸が極めて小さい場合や望遠撮影を行っている場合、撮影時の照明条件が特定条件下にある場合などにも発生する。
【００１４】
このような書割り現象が生じると、視聴者に不自然な印象を強く与え、立体視の品位は著しく劣化したものとなってしまう。
【００１５】
本開示は、上記の問題点に鑑みてなされたもので、立体視用画像に自然な立体感を付与することにより、書割り現象の生じ難い立体画像処理装置、立体画像処理方法、および立体画像処理プログラムを実現することを目的としている。
【課題を解決するための手段】
【００１６】
上記の目的を達するために、本開示の一態様に係る立体画像処理装置は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する取得部と、前記取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する抽出部と、前記抽出された被写体領域の視差の方向における長さを算出する算出部と、前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する画像補正部と、を備える。
【００１７】
また、上記の目的を達するために、本開示の一態様に係る立体画像処理方法は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、前記抽出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する調整段階と、を備える。
【００１８】
上記の目的を達するために、本開示の一態様に係る立体画像処理プログラムは、コンピュータを立体画像処理装置として動作させるためのプログラムであって、コンピュータの制御部に、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する機能と、前記抽出された被写体領域の視差の方向における長さを算出する機能と、前記算出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する機能とを実行させるものである。
【発明の効果】
【００１９】
本開示によれば、立体視用画像に自然な立体感を付与することにより、書割り現象の生じ難い立体視用画像を取得することができる。
【図面の簡単な説明】
【００２０】
【図１】立体撮像装置の概略を示すブロック図
【図２】領域抽出部の具体的構成を示すブロック図
【図３】画像補正部の具体的構成を示すブロック図
【図４】立体撮像装置を用いて立体撮影を行う場合の撮影環境と被写体の関係（一例）を模式的に示した図
【図５】視差マッチングによるデプス情報の生成を説明するための図
【図６】二値化部における二値化処理を説明するための図
【図７】横幅情報を算出する動作を示すフローチャート
【図８】輪郭種別情報を説明するための図
【図９】強度生成部の動作を示すフローチャート
【図１０】横軸を左眼画像用の前景領域の横幅情報の値とし、縦軸を視差量信号の値とした関係図
【図１１】視差量信号の補正処理の動作を説明するための図
【図１２】伸張モードの場合のアドレス変換特性を示す図
【図１３】図１２（ａ）にＡＲＥＡ１で示した領域を拡大した図
【図１４】図１２（ｂ）にＡＲＥＡ２で示した領域を拡大した図
【図１５】主被写体の内部領域Ａに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図１６】主被写体の内部領域Ｂに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図１７】圧縮モードの場合のアドレス変換特性を示す図
【図１８】主被写体の内部領域Ａに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図１９】被写体の内部領域Ｂに対して、立体撮像装置で立体撮像したときの処理結果を模式的に示した図
【図２０】縦方向が短く、横方向に長い被写体オブジェクトの例を示す図
【図２１】縦方向の短い領域を前景情報から削除する様子を示す図であり、（ａ）はメディアンフィルタを適用する前の前景情報の例、（ｂ）はメディアンフィルタを適用した後の前景情報の例
【図２２】更なる立体撮像装置の概略を示すブロック図
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００２２】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００２３】
＜１．実施の形態１＞
＜目次＞
１．実施の形態１
１．１：立体撮像装置の構成
１．２：領域抽出部の具体的構成
１．３：画像補正部の具体的構成
１．４：デプス情報の生成処理
１．５：二値化処理
１．６：横幅情報の算出処理
１．７：視差量信号の生成処理
１．８：座標変換処理
１．８．１：伸張モード
１．８．２：圧縮モード
２．実施の形態２
３．実施の形態３
４．実施の形態４
５．効果等
６．その他の実施形態
【００２４】
＜１．１：立体撮像装置１００の構成＞
【００２５】
以下、本実施形態に係る立体撮像装置（立体画像処理装置）の構成について図面を参照しながら説明する。
【００２６】
図１は、本実施形態に係る立体撮像装置の概略構成を示すブロック図である。図１は、立体撮像装置１００と立体撮像装置１００によって撮像される撮影シーン１０００とを模式的に示している。同図に示されるように、立体撮像装置１００は、第１撮像部（取得部，撮像部）１０１、第２撮像部（取得部，撮像部）１０２、画像入力部（取得部）１０３、領域抽出部（抽出部，算出部）１０４、画像補正部１０５、および制御部１０６を備えている。
【００２７】
第１撮像部１０１は、所定の第１視点位置に設置される撮像装置である。第１撮像部１０１は、被写体光を集光する光学系と、集光した被写体光から光電変換により右眼用のアナログ画像信号（以下、「Ｒ画像Ａ信号」と称する）を取得する撮像素子を備える。そして、第１撮像部１０１は、取得したＲ画像Ａ信号を画像入力部１０３に出力する。
【００２８】
第２撮像部１０２は、第１視点位置とは異なる位置の第２視点位置に設置される撮像装置である。第２撮像部１０２は、被写体光を集光する光学系と、集光した被写体光から光電変換により左眼用のアナログ画像信号（以下、「Ｌ画像Ａ信号」と称する）を取得する撮像素子を備える。そして、第２撮像部１０２は、取得したＬ画像Ａ信号を画像入力部１０３に出力する。
【００２９】
画像入力部１０３は、第１撮像部１０１により取得されたＲ画像Ａ信号および第２撮像部１０２により取得されたＬ画像Ａ信号を取得する。また、画像入力部１０３は、取得したＲ画像Ａ信号およびＬ画像Ａ信号を、それぞれＡ／Ｄ変換して、デジタルのＬ画像信号およびＲ画像信号を取得する。そして、画像入力部１０３は、Ｌ画像信号およびＲ画像信号を領域抽出部１０４および画像補正部１０５に出力する。
【００３０】
領域抽出部１０４は、画像入力部１０３からＬ画像信号およびＲ画像信号を取得し、取得したＬ画像信号およびＲ画像信号から、Ｌ画像信号用の領域情報であるＬ領域情報およびＲ画像信号用の領域情報であるＲ領域情報を生成する。この領域情報の詳細については後述する。そして、領域抽出部１０４は、生成したＬ領域情報およびＲ領域情報を画像補正部１０５に出力する。
【００３１】
画像補正部１０５は、画像入力部１０３から出力されるＬ画像信号およびＲ画像信号と領域抽出部１０４から出力されるＬ領域情報およびＲ領域情報とを取得する。そして、画像補正部１０５は、Ｌ領域情報およびＲ領域情報に基づいて、Ｌ画像信号およびＲ画像信号を補正処理する。そして、画像補正部１０５は、補正処理後のＬ画像信号およびＲ画像信号を出力する。
【００３２】
制御部１０６は、図１に示すように、第１撮像部１０１、第２撮像部１０２、画像入力部１０３、領域抽出部１０４、および画像補正部１０５と、双方向に必要な信号をやり取りできるように接続される。また、制御部１０６は、所定のタイミングで、Ｌ画像信号およびＲ画像信号に対する信号処理や、データの読み出し／書き込み処理が実行されるように、所定の制御信号（駆動信号や同期信号等）によって、立体撮像装置１００の各機能部を制御する。
【００３３】
＜１．２：領域抽出部の具体的構成＞
以下、図面を参照しながら、領域抽出部１０４の具体的構成について説明する。
【００３４】
図２は、領域抽出部１０４の具体的構成を示すブロック図である。同図に示すように、領域抽出部１０４は、デプス生成部（生成部）２０１と二値化部２０２と領域情報算出部（算出部）２０３とを備えている。
【００３５】
デプス生成部２０１は、画像入力部１０３から、Ｌ画像信号およびＲ画像信号を取得する。デプス生成部２０１は、Ｌ画像信号およびＲ画像信号から、Ｌ画像信号用のデプス情報であるＬデプス情報およびＲ画像信号用のデプス情報であるＲデプス情報を生成する。デプス情報とは、各画像信号の各画素に算出した視差を画素値として生成した画像情報である。このようなデプス情報の生成は、例えば、後述の視差マッチングにより生成することができる。
【００３６】
デプス生成部２０１は、生成したＬデプス情報およびＲデプス情報を二値化部２０２に出力する。
【００３７】
二値化部２０２は、画像入力部１０３から出力されるＬ画像信号およびＲ画像信号とデプス生成部２０１から出力されるＬデプス情報およびＲデプス情報とを取得する。二値化部２０２は、Ｌデプス情報およびＲデプス情報に基づいて、Ｌ画像信号およびＲ画像信号をそれぞれ二値化し、これにより、Ｌ前景情報およびＲ前景情報を生成する。二値化部２０２は、生成したＬ前景情報およびＲ前景情報を領域情報算出部２０３に出力する。
【００３８】
領域情報算出部２０３は、二値化部２０２から取得したＬ前景情報およびＲ前景情報に基づいて、Ｌ前景情報およびＲ前景情報に含まれる前景領域の横幅情報や輪郭種別情報を算出する。そして、領域情報算出部２０３は、算出した横幅情報および輪郭種別情報をＬ領域情報およびＲ領域情報として出力する。ここで、Ｌ領域情報とは、Ｌ前景情報に基づいて算出した横幅情報および輪郭種別情報を含む。また、Ｒ領域情報とは、Ｒ前景情報に基づいて算出した横幅情報および輪郭種別情報を含む。
【００３９】
＜１．３：画像補正部の具体的構成＞
【００４０】
以下、図面を参照しながら、画像補正部１０５の具体的な構成について説明する。
【００４１】
画像補正部１０５は、図３に示すように、Ｌ画像信号用の画像補正部３０１とＲ画像信号用の画像補正部３０２とを備えている。
【００４２】
画像補正部３０１は、メモリ部３０３と強度生成部３０４と座標変換部３０５と補間部３０６とを備えている。メモリ部３０３は、例えば、ラインメモリである。
【００４３】
強度生成部３０４は、領域抽出部１０４から出力されるＬ領域情報を取得する。強度生成部３０４は、取得したＬ領域情報から強度信号Ｋ１＿Ｌを生成する。強度生成部３０４は、生成した強度信号Ｋ１＿Ｌを座標変換部３０５に出力する。
【００４４】
次に、図４に示す被写体を撮影する場合を想定して、デプス生成部２０１、二値化部２０２、および領域情報算出部２０３の動作について具体的に説明する。
【００４５】
図４は、立体撮像装置１００を用いて立体撮影を行う場合の撮影環境と被写体の関係の一例を模式的に示した図である。図４（ａ）は、撮影シーン１０００と、撮影シーン１０００を撮影する第１撮像部１０１および第２撮像部１０２とを上方から俯瞰した図である。この撮影シーン１０００には、前景１００２（主被写体）と背景１００１とが、図４（ａ）に示されたような位置関係で含まれている。
【００４６】
図４（ａ）においては、立体撮像装置１００の第１撮像部１０１が撮影する画角の中心線（第１撮像部１０１から出ている一点鎖線）と第２撮像部１０２が撮影する画角の中心線（第２撮像部１０２から出ている一点鎖線）とは、背景１００１の配置されている距離（ｄ２）にて交差するように輻輳角を設定している。すなわち、輻輳点が背景１００１である。
【００４７】
ここでは説明を簡単にするために、背景１００１として絵が描かれた壁のようなものを考える。もっとも、背景１００１は、このような種類のものに限定されず、山やビル、人物などの被写体であってもよい。一方、前景１００２を、立体的な丸みを持ったオブジェクト〔例えば、上から見たときに所定の幅を有する略楕円形のオブジェクト（例えば、人物）〕とするときには、本開示の効果が得られやすい。
【００４８】
図４（ｂ）は、背景１００１に描かれている絵の輝度分布を示している。図４（ｃ）は、前景１００２を立体撮像装置１００の側から見た正面の輝度分布を示している。なお、図４（ｂ）および（ｃ）において、横軸は水平方向の位置を示し、縦軸は輝度を示している。
【００４９】
＜１．４：デプス情報の生成処理＞
図５は、視差マッチングによるデプス情報の生成処理を説明するための図である。図５（ａ）は、Ｌ画像信号の一例を模式的に示した図である。また、図５（ｂ）は、Ｒ画像信号の一例を模式的に示した図である。さらに、図５（ｃ）は、図５（ａ）および図５（ｂ）のＬ画像信号およびＲ画像信号を１つの画像として重ねて表示させた図である。
【００５０】
デプス生成部２０１は、例えば、以下の（処理１）〜（処理３）を実行することで、デプス情報を生成する。
【００５１】
（処理１）        
まず、デプス生成部２０１は、Ｌ画像信号およびＲ画像信号を対比して、例えば、図５（ａ）のＬ画像信号における被写体Ａ上のＡＬ点（三角形の頂上点）が、図５（ｂ）の画像における被写体Ａ上の点ＡＲ点（三角形の頂上点）に対応していることを検出する。
【００５２】
（処理２）
そして、デプス生成部２０１は、検出した２つの対応点であるＡＬ点およびＡＲ点のずれ量から視差Ｄｉｆｆ（Ａ）を算出する。なお、視差は、ずれ方向により、正負の符号を有するものとする。例えば、Ｒ画像信号上の点が、Ｌ画像信号上の点に対して左方向にずれている場合をプラスの視差とし、逆の場合をマイナスの視差とする。
【００５３】
例えば、図５（ｃ）の場合、被写体Ａについての視差の絶対値がα（≧０）であるとする。この場合、デプス生成部２０１は、Ｒ画像信号上のＡＲ点が、Ｌ画像信号上のＡＬ点より右方向にずれているので、被写体Ａについての視差を「−α」として算出する。そして、図５（ｃ）において、被写体Ｂ上のＢＬ点及びＢＲ点（円の中心点）についての視差の絶対値がβ（≧０）であるとする。この場合、デプス生成部２０１は、Ｒ画像信号上のＢＲ点が、Ｌ画像信号上のＢＬ点より左方向にずれているので、被写体Ｂについての視差を「＋β」として算出する。
【００５４】
（処理３）
デプス生成部２０１は、（処理１）（処理２）を、画像上の全ての点（全ての画素）について実行し、算出した視差を画素値とする視差画像（デプス画像）を生成する。すなわち、デプス生成部２０１は、Ｌ画像信号の各画素に算出した視差を画素値として生成した視差画像をＬデプス情報として算出する。また、デプス生成部２０１は、Ｒ画像信号の各画素に算出した視差を画素値として生成した視差画像を、Ｒデプス情報として算出する。
【００５５】
上記のデプス情報に基づき、各画素について、当該各画素に相当する被写体の実際の位置（３次元空間内の位置）と立体撮像装置１００の位置との距離に相関性のある値をマッピングした距離画像を生成することができる。
【００５６】
なお、上記のＬデプス情報およびＲデプス情報の生成方法は、デプス情報生成方法の一例であり、これに限定されるものではない。例えば、上記の視差の決定において、視差の符号の取り方を逆にしてもよい。また、デプス生成部２０１は、視差マッチング以外の方法によって、視差画像を生成し、Ｌデプス情報およびＲデプス情報を取得するものであってもよい。
【００５７】
また、上記のデプス情報は、２Ｄ画像−３Ｄ画像変換処理から生成してもよい。また、デプス情報は、画像のボケ情報から生成するなど、他の画像処理方法によって生成してもよい。さらに、デプス情報は、距離センサなどの計測器によって計測した実距離値に基づいて生成してもよい。また、デプス情報の少なくとも一部は、ユーザが任意に指定することができるようにしていてもよい。
【００５８】
＜１．５：二値化処理＞
図６は、二値化部２０２における二値化処理を説明するための図である。同図には、背景１００１と前景１００２とを含む撮影シーン１０００を、立体撮像装置１００によって立体撮像したときの立体視用画像を模式的に示している。図６において、（ａ）はＬ画像信号を模式的に示した図である。図６において、（ｂ）はＬデプス情報画像を模式的に示した図である。図６において、（ｃ）はＬ前景情報を模式的に示した図である。図６において、（ｄ）はＬデプス情報画像におけるデプス（視差）のヒストグラムを模式的に示した図である。
【００５９】
二値化部２０２は、以下の（処理１）から（処理４）に基づいて、Ｌ画像信号およびＲ画像信号を二値化処理する。
【００６０】
（処理１）
まず、二値化部２０２は、Ｌ画像信号を用いて、顔検出処理により、顔領域２０２１を二値化領域として取得する。例えば、図４における撮影シーン１０００の前景１００２は、人物像であるから、顔検出処理による二値化が有効である。もっとも、二値化領域の検出手法は、主被写体等の領域を適切に取得できるならば、顔検出処理によるものに限定する必要はない。例えば、ユーザが表示画面をタッチした領域を二値化領域として使用してもよいし、フォーカスポイントを二値化領域として使用してもよい。また、輻輳点〔すなわち、デプス（視差）がゼロとなる点〕に基づいて二値化領域を決定してもよいが、その場合は次の（処理２）を省略する（例えばＴＨ＝０とする）。
【００６１】
（処理２）
次に、処理１において二値化処理した領域以外の領域を二値化処理するための閾値ＴＨとして、Ｌデプス情報画像における顔領域２０２１の平均デプス（視差）を算出する。
【００６２】
（処理３）
二値化部２０２は、Ｌデプス情報画像上の全ての画素の画素値に基づいて、Ｌ前景情報（左眼画像用前景情報）を生成する。Ｌ前景情報は、対応するＬデプス情報画像の画素値が閾値ＴＨを超えていれば１の画素値をとり、対応するＬデプス情報画像の画素値が閾値ＴＨ以下であれば０の画素値をとる。
【００６３】
（処理４）
二値化部２０２は、Ｒ画像（右眼用画像）についても、前記（処理１）〜（処理３）の処理を実行して、Ｒ前景情報（右眼画像用前景情報）を生成する。
【００６４】
なお、前記（処理２）において、閾値ＴＨは、例えば、立体撮像装置から最も近い被写体のデプスの値に設定されてもよいし、前記（処理１）のように画像認識により検出した人領域のデプスの値に設定されてもよい。また、閾値ＴＨは、使用者から任意に指定される値に設定されてもよいし、距離センサなどの計測器によって実測された被写体までの距離の値を用いて設定されてもよい。使用者が閾値ＴＨを任意に設定する場合には、前記（処理２）〜（処理３）を繰り返し、前記（処理３）における画素値の変化の様子をディスプレイなどにより確認しながら閾値ＴＨの値を調整してもよい。もちろん、任意のアルゴリズムを採用することにより、閾値ＴＨを自動決定するようにしてもよい。
【００６５】
＜１．６：横幅情報の算出処理＞
次に、図面を参照しながら、横幅情報の具体的な算出方法について説明する。ここで、横幅情報とは、抽出した前景領域の水平方向に連続するピクセル数に関する情報である。具体的には、横幅情報は、前景領域の横幅を表す値である。
【００６６】
図７は、横幅情報を算出する動作を示すフローチャートである。
【００６７】
領域情報算出部２０３は、二値化部２０２から出力されたＬ前景情報の位置Ｘにおける信号値ＤＬ（Ｘ）を取得する（Ｓ７０１）。そして、領域情報算出部２０３は、横幅算出値ＣＮＴを０、左端水平位置ＬＸを０、右端水平位置ＲＸを０にする。なお、入力されたＬ前景情報は、前景なら１、背景なら０を、画素値として保存しているものとする。
【００６８】
領域情報算出部２０３は、Ｌ前景情報ＤＬを水平位置（Ｘ軸方向の値）について微分（差分）する（Ｓ７０２）。その結果、領域情報算出部２０３は、Ｌ前景情報の微分信号ΔＤＬを取得する。なお、以降の処理では、次の（数式１）に示すように、ΔＤＬは、Ｘ軸方向に１つ右にずれたＬ前景情報信号ＤＬ（Ｘ＋１）との差分値によって求められたものとする。
【００６９】
（数式１）  ΔＤＬ＝ＤＬ（Ｘ＋１）−ＤＬ（Ｘ）
【００７０】
領域情報算出部２０３は、Ｌ前景情報の微分信号ΔＤＬの値に応じて、次の３つの処理の中から１つを選択して、実行する（Ｓ７０３）。
【００７１】
〔Ｓ７０３においてΔＤＬが１の場合〕
領域情報算出部２０３は、Ｓ７０３においてＬ前景情報の微分信号ΔＤＬの値が１の場合、Ｌ領域情報の輪郭種別情報に「左端」情報を出力する（Ｓ７０４）。そして、領域情報算出部２０３は、左端水平位置ＬＸに、水平位置Ｘを代入する（Ｓ７０５）。さらに、領域情報算出部２０３は、横幅算出値ＣＮＴに１を加える（Ｓ７０６）。
【００７２】
〔Ｓ７０３においてΔＤＬが−１の場合〕
領域情報算出部２０３は、Ｓ７０３においてＬ前景情報の微分信号ΔＤＬの値が−１の場合、Ｌ領域情報の輪郭種別情報に「右端」情報を出力する（Ｓ７０７）。そして、領域情報算出部２０３は、右端水平位置ＲＸに、水平位置Ｘを代入する（Ｓ７０８）。領域情報算出部２０３は、左端水平位置ＬＸのＬ領域情報の横幅情報および右端水平位置ＲＸのＬ領域情報の横幅情報に、横幅算出値ＣＮＴを出力する（Ｓ７０９）。
【００７３】
〔Ｓ７０３においてΔＤＬが０の場合〕
領域情報算出部２０３は、Ｓ７０３においてＬ前景情報の微分信号ΔＤＬの値が０の場合、Ｌ前景情報ＤＬの値に応じて、次の２つ処理の中から１つを選択して、実行する（Ｓ７１０）。
【００７４】
すなわち、Ｓ７１０においてＬ前景情報ＤＬの値が１の場合、領域情報算出部２０３は、Ｌ領域情報の輪郭種別情報に「前景内」情報を出力する（Ｓ７１１）。そして、領域情報算出部２０３は、Ｓ７０６の処理に移行する。
【００７５】
他方、Ｓ７１０においてＬ前景情報ＤＬの値が０の場合、領域情報算出部２０３は、Ｌ領域情報の輪郭種別情報に「背景内」情報を出力する（Ｓ７１２）。そして、領域情報算出部２０３は、横幅算出値ＣＮＴを０にする（Ｓ７１３）。
【００７６】
次に、輪郭種別情報について詳細に説明する。図８は、輪郭種別情報を説明するための模式図である。図８（ａ）は、背景１００１と前景１００２とを含む撮影シーン１０００（図５参照）を立体撮像装置１００によって立体撮像したときに二値化部２０２から出力されるＬ前景情報を模式的に示した図である。図８（ｂ）は、図８（ａ）のＬ前景情報に対応するＬ領域情報を模式的に示した図である。図８（ｃ）は、Ｌ領域情報の１画素が持つ情報を模式的に示した図である。図８（ｄ）は、横軸が水平方向の位置であって縦軸がＬ前景情報の値となる、領域情報算出部２０３の信号波形図である。ここで、図８（ｄ）におけるＤＬは、二値化部２０２から与えられるＬ画像における画素位置に対するＬ画像の前景情報を表している。
【００７７】
撮影画像のＬ領域情報およびＲ領域情報は、例えば、図８（ｃ）のように、画素毎に横幅情報および輪郭種別情報を保持している。
【００７８】
横幅情報としては、Ｌ前景情報およびＲ前景情報の水平方向（Ｘ軸方向）に連続する前景の長さが保持されている。
【００７９】
Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界にあり、かつ、その左側に背景領域を持つ位置においては、その輪郭種別情報は「左端」情報を示す。また、Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界にあり、かつ、その右側に背景領域を持つ位置においては、その輪郭種別情報は「右端」情報を示す。さらに、Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界ではない前景領域内の位置においては、その輪郭種別情報は「前景内」情報を示す。また、Ｌ前景情報およびＲ前景情報の各画素において、前景領域と背景領域との境界ではない背景領域内の位置においては、その輪郭種別情報は「背景内」情報を示す。
【００８０】
なお、上記の説明においては、横幅算出値ＣＮＴを加算していくことにより、横幅情報を算出する例を示したが、左端水平位置ＬＸと右端水平位置ＲＸとの値から直接的に横幅情報を算出してもよい。
【００８１】
また、横幅情報を表現するには、上記のように、連続するピクセル数を用いて表現してもよいし、実際の長さに関する値を利用して表現してもよい。前景領域の水平方向つまり通常における視差方向の長さを特定できる情報であれば、どのような表現方法を採用してもよい。
【００８２】
＜１．７：視差量信号の生成処理＞
図９は、強度生成部３０４の具体的な動作を示すフローチャートである。
【００８３】
まず、強度生成部３０４は、領域情報算出部２０３から出力されたＬ領域情報を取得する（Ｓ９０１）。
【００８４】
次に、強度生成部３０４は、入力されたＬ領域情報に含まれる横幅情報ＣＮＴを用いて、Ｌ画像用の視差量信号Ｄ１＿Ｌを出力する（Ｓ９０２）。
【００８５】
このとき、強度生成部３０４は、横幅情報ＣＮＴが大きくなるほど、視差量信号Ｄ１＿Ｌが大きくなるように、例えば、図１０に実線で示す関数ＦＤ１（ＣＮＴ）に基づいて、横幅情報ＣＮＴから視差量信号Ｄ１＿Ｌを生成する。図１０は、横軸をＬ画像用の前景領域の横幅情報ＣＮＴの値とし、縦軸を視差量信号Ｄ１＿Ｌの値としたときの関係図である。同図において、Ｄ１＿ＭＡＸは出力される視差量信号Ｄ１＿Ｌの最大値、ＣＮＴ＿ＭＩＮは、入力される横幅情報ＣＮＴに対して視差量信号Ｄ１＿Ｌを出力するために必要な横幅情報の最低値、ＣＮＴ＿ＭＡＸは視差量信号Ｄ１＿Ｌの最大値Ｄ１＿ＭＡＸを出力する横幅情報の最大値を表している。
【００８６】
また、強度生成部３０４は、関数ＦＤ１（ＣＮＴ）の代わりに、図１０の点線で示したシグモイド関数ＦＤ２（ＣＮＴ）に基づいて、横幅情報ＣＮＴから視差量信号Ｄ１＿Ｌを生成してもよい。強度生成部３０４は、横幅情報ＣＮＴが大きくなるほど、視差量信号Ｄ１＿Ｌが大きくなるような関数、すなわち単調増加関数であれば、直線状の関数や曲線状の関数を問わず、任意の変換関数を用いることができる。また、強度生成部３０４は、視差量信号Ｄ１＿Ｌが大きくなりすぎないよう、所定の上限値を設けてもよい。
【００８７】
次に、強度生成部３０４は、視差量信号Ｄ１＿Ｌに対して補正処理（例えばローパスフィルタ処理）を行う（Ｓ９０３）。
【００８８】
図１１は、視差量信号Ｄ１＿Ｌに対して施されるローパスフィルタ処理を説明するための図である。図１１（ａ）は、撮影シーン１０００を立体撮像装置１００で立体撮像したとき（図４参照）のＬ領域情報（左眼用領域情報）を模式的に示した図である。図１１（ｂ）は、横軸が、水平方向の位置を示し、縦軸が、Ｌ領域情報に基づいて取得した視差量信号および出力される強度信号の値を示している。すなわち、図１１（ｂ）におけるＫ１＿Ｌは、座標変換部３０５に入力される強度信号Ｋ１＿Ｌを表している。図１１（ｂ）において、ＬＸおよびＲＸは、それぞれ主被写体１００２の左端および右端を表しており、ＬＰおよびＲＰは、出力される強度信号Ｋ１＿Ｌが値を持つ領域を表している。
【００８９】
次に、強度生成部３０４は、補正処理を行った視差量信号Ｄ１＿Ｌを、Ｌ画像用強度信号Ｋ１＿Ｌとして、座標変換部３０５に出力する（Ｓ９０４）。
【００９０】
以上のようにして、強度生成部３０４により、Ｌ画像用強度信号Ｋ１＿Ｌを生成することができる。なお、上記においては、強度生成部３０４が、Ｌ領域情報に基づいてＬ画像用強度信号Ｋ１＿Ｌを生成する動作について説明したが、Ｒ画像用強度信号Ｋ１＿Ｒについても同様に算出される。
【００９１】
＜１．８：座標変換処理＞
座標変換部３０５は、強度生成部３０４から出力される強度信号Ｋ１＿Ｌと、領域抽出部１０４から出力されるＬ領域情報と、制御部１０６から出力される読み出しアドレスＲＡＤ＿Ｌおよびモード設定信号と、を取得する。モード設定信号は、画像補正部１０５により補正処理方法のモードを設定するための信号である。
【００９２】
モード設定信号により設定されるモードとして、例えば、Ｌ画像上の被写体の左端側を伸張し、かつ、Ｒ画像上の当該被写体の右端側を伸張することを選ぶ「伸張モード」と、Ｌ画像上の被写体の右端側を圧縮し、かつ、Ｒ画像上の当該被写体の左端側を圧縮することを選ぶ「圧縮モード」との２つが挙げられる。これらの詳細については後述する。
【００９３】
座標変換部３０５は、モード設定信号が指定するモードが実行されるように、Ｌ領域情報および強度信号Ｋ１＿Ｌに基づいて、読み出しアドレスＲＡＤ＿Ｌを、読み出しアドレスＲＡＤ２＿Ｌに変換する。そして、座標変換部３０５は、変換後の読み出しアドレスＲＡＤ２＿Ｌの整数部ＲＡＤ＿Ｌ＿Ｉｎｔをメモリ部３０３に出力し、変換後の読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを補間部３０６に出力する。
【００９４】
補間部３０６は、メモリ部３０３から出力されるＬ画像信号と、座標変換部３０５から出力される読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを取得する。そして補間部３０６は、読み出しアドレス（小数部）ＲＡＤ２＿Ｌ＿Ｄｅｃｉに基づいて、Ｌ画像信号のデータに対して補間処理を行う。そして、補間部３０６は、補間処理を施したＬ画像信号を、Ｌ画像信号Ｌｏｕｔとして出力する。
【００９５】
なお、Ｒ画像信号用の画像補正部３０２は、画像補正部３０１と同様の構成を有している。両者の相違点は、画像補正部３０２においては、入力される信号が、Ｌ画像信号およびＬ領域情報ではなく、Ｒ画像信号およびＲ領域情報である点だけである。メモリ部３０７、強度生成部３０８、座標変換部３０９、補間部３１０は、それぞれメモリ部３０３、強度生成部３０４、座標変換部３０５、補間部３１０と同じ機能を備えている。
【００９６】
次に、座標変換部３０５が実行する伸張モードおよび圧縮モードについて説明する。
【００９７】
＜１．８．１：伸張モード＞
まず、伸張モードについて、図面を参照しながら説明する。図１２は、伸張モードの場合のアドレス変換特性を示す図である。同図において、横軸は、入力アドレス（変換前の読み出しアドレス）を示し、縦軸は、出力アドレス（変換後の読み出しアドレス）を示している。
【００９８】
図１２（ａ）は、主被写体１００２（図４参照）のＬ画像の左端部分を広げるためのアドレス変換特性を示すグラフである。また、図１２（ｂ）は、主被写体１００２のＲ画像の右端部分を広げるためのアドレス変換特性を示すグラフである。
【００９９】
図１２において、ＬＸ＿ＬおよびＲＸ＿Ｌは、それぞれＬ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像の左端および右端の位置（アドレス）を示している。また、ＬＸ＿ＲおよびＲＸ＿Ｒは、それぞれＲ領域情報の輪郭種別情報から得られる主被写体１００２のＲ画像の左端および右端の位置（アドレス）を示している。
【０１００】
また、図１２において、ＬＰ＿ＬおよびＲＰ＿Ｌは、それぞれ入力されるＬ画像用強度信号Ｋ１＿Ｌが値を持つ領域（ＬＸ＿Ｌ、ＲＸ＿Ｌの近隣）を示している。また、ＲＰ＿ＬおよびＲＰ＿Ｒは、それぞれ入力されるＲ画像用強度信号Ｋ１＿Ｒが値を持つ領域（ＬＸ＿Ｒ、ＲＸ＿Ｒの近隣）を示している。
【０１０１】
座標変換部３０５は、Ｌ領域情報の輪郭種別情報およびＲ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像およびＲ画像の左端および右端の位置（アドレス）を用いて、ＬＰ＿ＬおよびＲＰ＿Ｒに対して座標変換する。
【０１０２】
以下、Ｌ画像信号に対する座標変換動作について説明する。
【０１０３】
座標変換部３０５は、制御部１０６から指示された読み出しアドレスＲＡＤ＿Ｌに基づいて、座標変換処理を行う。その結果、座標変換部３０５は変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
【０１０４】
具体的には、座標変換部３０５は、以下の（処理１）、（処理２）により座標変換処理を行う。なお、メモリ部３０３には、制御部１０６から指示された書き込みアドレスＷＡＤ＿Ｌにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとする。また、メモリ部３０３のアドレスＷＡＤ＿Ｌに書き込まれたデータは、当該書き込みアドレスＷＡＤ＿Ｌと同じアドレス値である読み出しアドレスＲＡＤ＿Ｌにより、メモリ部３０３から読み出すことができるものとする。
【０１０５】
（処理１）
読み出しアドレスＲＡＤ＿Ｌが、図１２の領域ＬＰ＿Ｌ以外の領域に対応するアドレスである場合、座標変換部３０５は、図１２（ａ）に示すアドレス変換特性に従って、ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌとして読み出しアドレスＲＡＤ２＿Ｌを取得する。すなわち、座標変換部３０５は、読み出しアドレスＲＡＤ＿Ｌと同一のアドレス値を、読み出しアドレスＲＡＤ２＿Ｌとして取得する。
【０１０６】
そして、座標変換部３０５は、取得した読み出しアドレスＲＡＤ２＿Ｌの整数部ＲＡＤ２＿Ｌ＿Ｉｎｔをメモリ部３０３へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを補間部３０６へ出力する。
【０１０７】
（処理２）
読み出しアドレスＲＡＤ＿Ｌが、図１２の領域ＬＰ＿Ｌの領域に対応するアドレスである場合、座標変換部３０５は、図１２（ａ）に示すアドレス変換特性に従う座標変換を行う。この座標変換について、図１３を用いて説明する。
【０１０８】
図１３は、図１２（ａ）のＡＲＥＡ１領域を拡大した図である。座標変換部３０５は、図１３に示すように、読み出しアドレスＲＡＤ＿Ｌが、領域ＬＰ＿Ｌ内に対応するアドレスである場合、主被写体１００２の左端部分領域が拡張されるように座標変換を行って、アドレス変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
【０１０９】
すなわち、図１３に示すように、ＲＡＤ＿Ｌ＝（ＬＸ＿Ｌ−β）のとき（位置「ＬＸ＿Ｌ−β」に対応するアドレスを単に「ＬＸ＿Ｌ−β」と表記する）、ＲＡＤ２＿Ｌ＝ＬＸ＿Ｌと座標変換される。座標変換部３０５が、この変換後の読み出しアドレスＲＡＤ２＿Ｌ（＝ＬＸ＿Ｌ）により、メモリ部３０３からＬ画像信号Ｌｉｎのデータ（信号値）を読み出すことによって、Ｌ画像上において「ＬＸ＿Ｌ−β」に対応する位置に、「ＬＸ＿Ｌ」に対応する位置のデータ（信号値）を読み出すことができる。同様にして、領域ＬＰ＿Ｌ内に対応するアドレス（ＬＸ＿Ｌ−β〜ＬＸ＿Ｌ＋α）は、アドレス（ＬＸ＿Ｌ〜ＬＸ＿Ｌ＋α）に座標変換される。
【０１１０】
つまり、上記のように、座標変換部３０５が座標変換処理を行い、座標変換後のアドレス値によって、メモリ部３０３からＬ画像Ｌｉｎのデータ（信号値）を読み出す。これにより、図１３の下段の図に示したように、入力Ｌ画像Ｌｉｎの主被写体１００２の左端部分（ＬＸ＿Ｌ〜ＬＸ＿Ｌ＋αの領域）を、ＬＸ＿Ｌ−β〜ＬＸ＿Ｌ＋αの領域に伸張することができる。すなわち、図１３の下段の図のＬｉｎの背景２の部分が、伸張された主被写体１００２の左端部分領域に置換される。
【０１１１】
例えば、図１３に示すアドレス変換特性の曲線部分（ＬＸ＿Ｌ−β〜ＬＸ＿Ｌ＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｌについて、出力アドレス値ＲＡＤ２＿Ｌが単調増加する特性曲線（直線でもよい）である。
【０１１２】
また、座標変換部３０５は、強度信号Ｋ１＿Ｌに適当なゲイン（μ）を乗算することにより、ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌ＋μ・Ｋ１＿Ｌに従って、座標変換処理を実行してもよい。なお、上記において、μの大きさは、最大でも単調性が損なわれないレベル以下に設定する。
【０１１３】
次に、Ｒ画像信号に対する座標変換動作について説明する。
【０１１４】
座標変換部３０９は、図１２（ｂ）に示すアドレス変換特性に従って、座標変換処理を実行する。基本的な処理内容については、座標変換部３０５の処理と同様であるので、以下では、主に座標変換部３０５の処理と異なる点について説明する。
【０１１５】
座標変換部３０９は、制御部１０６から指示された読み出しアドレスＲＡＤ＿Ｒに基づいて、座標変換処理を行う。その結果、座標変換部３０９は変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。
【０１１６】
具体的には、座標変換部３０９は、以下の（処理１）および（処理２）により座標変換処理を実行する。なお、メモリ部３０７には、制御部１０６から指示された書き込みアドレスＷＡＤ＿Ｒにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとする。また、メモリ部３０７のアドレスＷＡＤ＿Ｒに書き込まれたデータは、書き込みアドレスＷＡＤ＿Ｒと同一のアドレス値である読み出しアドレスＲＡＤ＿Ｒによって、メモリ部３０７から読み出すことができるものとする。
【０１１７】
（処理１）
読み出しアドレスＲＡＤ＿Ｒが、図１２の領域ＲＰ＿Ｒ以外の領域に対応するアドレスである場合、座標変換部３０９は、図１２（ｂ）に示すアドレス変換特性に従って、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒとする。すなわち、読み出しアドレスＲＡＤ＿Ｒと同一のアドレスを読み出しアドレスＲＡＤ２＿Ｒとして取得する。そして、座標変換部３０９は、取得した読み出しアドレスＲＡＤ２＿Ｒの整数部ＲＡＤ２＿Ｒ＿Ｉｎｔをメモリ部３０７へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｒの小数部ＲＡＤ２＿Ｒ＿Ｄｅｃｉを補間部３１０へ出力する。
【０１１８】
（処理２）
読み出しアドレスＲＡＤ＿Ｒが、図１２の領域ＲＰ＿Ｒの領域に対応するアドレスである場合、座標変換部３０９は、図１２（ｂ）に示すアドレス変換特性に従う座標変換処理を実行する。
【０１１９】
図１４は、図１２（ｂ）のＡＲＥＡ２領域を拡大した図である。座標変換部３０９は、図１４に示すように、読み出しアドレスＲＡＤ＿Ｒが、領域ＲＰ＿Ｒ内に対応するアドレスである場合、主被写体１００２の右端部分領域が拡張されるように、座標変換を実行し、座標変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。
【０１２０】
すなわち、図１４に示すアドレス変換特性曲線Ｃｕｒｖｅ１において、（Ａ）ＲＡＤ＿ＲがＲＸ＿Ｒ−β〜ＲＸ＿Ｒの領域に含まれる場合には、このアドレス変換特性曲線の傾きが小さく、（Ｂ）ＲＡＤ＿ＲがＲＸ＿Ｒ〜ＲＸ＿Ｒ−αの領域に含まれる場合には、このアドレス変換特性曲線の傾きが大きい。
【０１２１】
座標変換部３０９が、図１４に示すアドレス変換特性曲線Ｃｕｒｖｅ１を用いて、アドレス変換処理を実行することで、主被写体１００２に右端部分領域を伸張することができる。
【０１２２】
上記のように、座標変換部３０９が座標変換処理を実行し、座標変換後のアドレスによって、メモリ部３０７からＲ画像Ｒｉｎのデータ（信号値）を読み出すことで、図１４の下段の図に示したように、入力Ｒ画像Ｒｉｎの主被写体１００２の右端部分（ＲＸ＿Ｒ−β〜ＲＸ＿Ｒの領域）をＲＸ＿Ｒ−β〜ＲＸ＿Ｒ＋αの領域に伸張することができる。図１４の下段の図のＲｉｎの背景１の部分（ＲＸ＿Ｒ〜ＲＸ＿Ｒ＋αの部分）は、（ＲＸ＿Ｒ＋γ〜ＲＸ＿Ｒ＋α）の領域に圧縮（収縮）される。
【０１２３】
例えば、図１４に示すアドレス変換特性の曲線部分（ＲＸ＿Ｒ−β〜ＲＸ＿Ｒ＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｒについて、出力アドレス値ＲＡＤ２＿Ｒが単調増加する特性曲線（直線でもよい）である。
【０１２４】
また、座標変換部３０９は、強度信号Ｋ１＿Ｒに適当なゲイン（μ）を乗算することによって、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒ−μ・Ｋ１＿Ｒに従い、座標変換処理を実行してもよい。なお、上記において、μの大きさは、最大でも単調性が損なわれないレベル以下に設定する。
【０１２５】
なお、座標変換部３０９は、座標変換処理において、アドレス変換特性曲線Ｃｕｒｖｅ１ではなく、図１４の点線で示したアドレス変換特性曲線Ｃｕｒｖｅ２により、座標変換処理を実行するようにしてもよい。すなわち、アドレス変換特性曲線Ｃｕｒｖｅ２は、アドレス変換特性曲線Ｃｕｒｖｅ１と比較して、領域（ＲＸ＿Ｒ＋γ〜ＲＸ＿Ｒ＋α）における曲線の傾きが小さく、なだらかに上昇して、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒの直線と一致するように変化する。
【０１２６】
したがって、座標変換部３０９が、アドレス変換特性曲線Ｃｕｒｖｅ２に従い、座標変換処理を実行することにより、図１４の下段の図に示した背景１が、急激に圧縮されることを抑制することができる。その結果、背景１の部分が滑らかに圧縮されたＲ画像を取得することが可能となる。
【０１２７】
なお、入力アドレスＲＡＤ＿ＬおよびＲＡＤ＿Ｒは、整数値であるのに対し、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数値を有する。ここでは、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数以下４ｂｉｔを有するものとする。
【０１２８】
座標変換部３０９が以上の処理を実行した場合の処理結果（伸張モードにおける処理結果）を、図１５ないし図１６に示す。
【０１２９】
図１５は、主被写体１００２の内部領域Ａに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。図１６は、主被写体１００２の内部領域Ｂに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。主被写体１００２の内部領域Ａに対して、内部領域Ｂはより狭い領域であるとする。
【０１３０】
図１５に示すように、Ｌ画像の主被写体１００２の左側の輪郭付近（左端部分領域）は、矢印ＡＬ１で示すように、滑らかに左方向に引き延ばされている。同様に、Ｒ画像の主被写体１００２の右側の輪郭付近（右端部分領域）も、矢印ＡＲ１で示すように、滑らかに右方向に引き延ばされている。
【０１３１】
この結果、立体視用画像において、主被写体１００２の内部領域Ａについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から主被写体１００２の定位値までの距離は同一となる。
【０１３２】
図１５（ａ）のＬ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１５（ｂ）の強度信号Ｋ１＿Ｌに基づいて、左方向に引き延ばされている。その結果、左の輪郭（左端部分領域）での視差は、ＳＬ１になる。また、図１５（ｃ）のＲ画像において、主被写体主被写体１００２の右の輪郭（右端部分領域）は、図１５（ｂ）の強度信号Ｋ１＿Ｒに基づいて、右方向に引き延ばされている。その結果、右の輪郭（右端部分領域）での視差は、ＳＲ１になる。
【０１３３】
この場合、ＳＬ１＜ＳおよびＳＲ１＜Ｓであるから、立体撮像装置１００により取得される立体視用画像の視差は、画像を立体視したときに、主被写体１００２が遠ざかる方向に変化する。すなわち、主被写体１００２の内部領域に比べて、主被写体１００２の輪郭近傍（左端部分領域および右端部分領域）は僅かに遠ざかることになる。これにより、立体撮像装置１００によって取得される立体視用画像において、主被写体１００２の輪郭近傍が遠方に向かって湾曲している丸み感が的確に表現される。
【０１３４】
主被写体１００２の輪郭近傍の丸み感が認知されると、画像を見た人の脳での認識が平板ではなく、立体的に認識される。これにより、画像の書割り感が低減される。
【０１３５】
図１６から分かるように、Ｌ画像の主被写体１００２の左側の輪郭付近（左端部分領域）が、矢印ＢＬ２で示すように、滑らかに左方向に引き延ばされている。同様に、Ｒ画像の主被写体１００２の右側の輪郭付近（右端部分領域）も、矢印ＢＲ２で示すように、滑らかに右方向に引き延ばされている。
【０１３６】
この結果、立体視用画像において、主被写体１００２の内部領域Ｂについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から被写体オブジェクトの定位値までの距離は同一となる。
【０１３７】
図１６（ａ）のＬ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１６（ｂ）の強度信号Ｋ２＿Ｌに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｌは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿ＬはＫ２＿Ｌより大きくなる。その結果、左の輪郭（左端部分領域）での視差は、ＳＬ２になる。
【０１３８】
また、図１６（ｃ）のＲ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１６（ｃ）に示した強度信号Ｋ２＿Ｒに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｒは、強度生成部３０８によって、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿Ｒ＞Ｋ２＿Ｒとなる。よって、右の輪郭（右端部分領域）での視差は、ＳＬ２になる。
【０１３９】
この場合、ＳＬ１＜ＳＬ２＜Ｓおよび、ＳＲ１＜ＳＲ２＜Ｓの関係となる。そのため、立体視用画像の視差は立体視した画像が遠ざかる方向に変化する。しかし、内部領域Ｂの輪郭近傍（左端部分領域および右端部分領域）の立体視画像は、内部領域Ａの輪郭近傍（左端部分領域および右端部分領域）の立体視画像ほど大きく遠ざかることにはならない。
【０１４０】
一般的な被写体オブジェクトは、横幅が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。とりわけ被写体オブジェクトが人物像である場合など、被写体オブジェクトが円柱状である場合には、きわめて自然な立体感を画像に与えることができる。
【０１４１】
＜１．８．２：圧縮モード＞
以下、圧縮モードの処理について、図面を参照しながら説明する。なお、伸張モードの処理と同様の部分については、説明を省略する。
【０１４２】
図１７は、圧縮モードの場合のアドレス変換特性を示す図である。図１７において、横軸は、入力アドレス（変換前の読み出しアドレス）であり、縦軸は、出力アドレス（変換後の読み出しアドレス）である。
【０１４３】
具体的には、図１７（ａ）は、主被写体１００２（図４参照）のＬ画像の右端部分を狭めるためのアドレス変換特性を示すグラフである。また、図１７（ｂ）は、主被写体１００２のＲ画像の左端部分を狭めるためのアドレス変換特性を示すグラフである。なお、図１７（ａ）は、Ｌ画像信号用の変換特性を示し、図１７（ｂ）は、Ｒ画像信号用の変換特性を示している。
【０１４４】
図１７において、ＬＸ＿ＬおよびＲＸ＿Ｌは、Ｌ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像の左端および右端の位置（アドレス）を示している。また、ＬＸ＿ＲおよびＲＸ＿Ｒは、Ｒ領域情報の輪郭種別情報から得られる主被写体１００２のＲ画像の左端および右端の位置（アドレス）を示す。
【０１４５】
図１７において、ＬＰ＿ＬおよびＲＰ＿Ｌは、それぞれ入力されるＬ画像用強度信号Ｋ１＿Ｌが値を持つ領域（ＬＸ＿Ｌ、ＲＸ＿Ｌの近隣）を示している。また、ＲＰ＿ＬおよびＲＰ＿Ｒは、それぞれ入力されるＲ画像用強度信号Ｋ１＿Ｒが値を持つ領域（ＬＸ＿Ｒ、ＲＸ＿Ｒの近隣）を示している。
【０１４６】
座標変換部３０５は、Ｌ領域情報の輪郭種別情報およびＲ領域情報の輪郭種別情報から得られる主被写体１００２のＬ画像およびＲ画像の左端および右端の位置（アドレス）を用いて、ＲＰ＿ＬおよびＬＰ＿Ｒに対して座標変換する。
【０１４７】
座標変換部３０５、メモリ部３０３、および補間部３０６での処理は、伸張モードの処理で説明した、座標変換部３０５、メモリ部３０３、および補間部３０６の処理と同様である。
【０１４８】
伸張モードでのアドレス変換特性と圧縮モードでのアドレス変換特性との相違点は、前者が図１２に示すものであるのに対して、後者が図１７に示すものである点である。
【０１４９】
圧縮モードでは、図１７に示すアドレス変換特性によって、座標変換部３０５、メモリ部３０３、および補間部３０６での処理が実行される。そのため、Ｌ画像において、主被写体１００２の右端部分領域が圧縮され、Ｒ画像において、主被写体１００２の左端部分領域が圧縮される。
【０１５０】
立体撮像装置１００における圧縮モードにおける処理結果を図１８ないし図１９に示す。
【０１５１】
図１８は、主被写体１００２の内部領域Ａに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。図１９は、主被写体１００２の内部領域Ｂに対し、立体撮像装置１００によって立体撮像したときの処理結果を模式的に示した図である。また、主被写体１００２の内部領域Ａに対して、内部領域Ｂはより狭い領域であるものとする。
【０１５２】
図１８において、Ｌ画像の主被写体１００２の右側の輪郭付近（右端部分領域）が、矢印ＡＬ３で示すように、滑らかに左方向に圧縮されている。同様に、Ｒ画像の主被写体１００２の左側の輪郭付近（左端部分領域）も、矢印ＡＲ３で示すように、滑らかに右方向に圧縮されている。
【０１５３】
この結果、立体視用画像において、主被写体１００２の内部領域Ａについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から視点から被写体オブジェクトの定位値までの距離は同一となる。
【０１５４】
図１６（ａ）のＬ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１６（ｂ）の強度信号Ｋ２＿Ｌに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｌは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿ＬはＫ２＿Ｌより大きくなる。その結果、左の輪郭（左端部分領域）での視差は、ＳＬ２になる。
【０１５５】
また、図１６（ｃ）のＲ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１６（ｃ）に示した強度信号Ｋ２＿Ｒに基づいて、左方向に引き延ばされる。強度信号Ｋ２＿Ｒは、強度生成部３０８によって、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ１＿Ｒ＞Ｋ２＿Ｒとなる。よって、右の輪郭（右端部分領域）での視差は、ＳＬ２になる。
【０１５６】
図１８（ａ）のＬ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１８（ｂ）の強度信号Ｋ３＿Ｌに基づいて、左方向に圧縮される。そのため、右の輪郭（右端部分領域）での視差はＳＬ３になる。また、図１８（ｃ）のＲ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１８（ｂ）の強度信号Ｋ３＿Ｒに基づいて、右方向に圧縮される。そのため、左の輪郭（左端部分領域）での視差は、ＳＲ３になる。
【０１５７】
上記の場合、ＳＬ３＜ＳおよびＳＲ３＜Ｓであるため、立体視用画像の視差は、立体視した画像が遠ざかる方向に変化する。その結果、主被写体１００２の内部に比べて、主被写体１００２の輪郭近傍（左端部分領域および右端部分領域）は僅かに遠ざかることになる。これにより、立体撮像装置１００によって取得される立体視用画像において、主被写体１００２の輪郭近傍が遠方に向かって湾曲している丸み感が的確に表現される。
【０１５８】
主被写体１００２の輪郭近傍の丸み感が認知されると、画像を見た人の脳での認識が平板ではなく、立体的に認識される。これにより、画像の書割り感が低減される。
【０１５９】
図１９に示すように、Ｌ画像の主被写体１００２の右側の輪郭付近（右端部分領域）が、矢印ＢＬ４で示すように、滑らかに左方向に圧縮されている。同様に、Ｒ画像の主被写体１００２の左側の輪郭付近（左端部分領域）も、矢印ＢＲ４で示すように、滑らかに右方向に圧縮されている。
【０１６０】
この結果、立体視用画像において、主被写体１００２の内部領域Ｂについては、視差はＳであり、入力の原画と変わらない。そのため、立体視した場合、撮像部から被写体オブジェクトの定位値までの距離は同一となる。
【０１６１】
図１９（ａ）のＬ画像において、主被写体１００２の右の輪郭（右端部分領域）は、図１９（ｂ）の強度信号Ｋ４＿Ｌに基づいて、左方向に圧縮される。強度信号Ｋ４＿Ｌは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。よって、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ３＿ＬはＫ４＿Ｌより大きくなる。その結果、右の輪郭（右端部分領域）での視差は、ＳＬ４になる。
【０１６２】
また、図１９（ｃ）のＲ画像において、主被写体１００２の左の輪郭（左端部分領域）は、図１９（ｃ）に示した強度信号Ｋ４＿Ｒに基づいて、左方向に圧縮される。強度信号Ｋ４＿Ｒは、強度生成部３０４により、図１０に示されたような特性で生成された視差量信号を用いて生成される。そのため、内部領域Ａの横幅が内部領域Ｂの横幅より大きければ、Ｋ３＿Ｒ＞Ｋ４＿Ｒとなる。よって、左の輪郭（左端部分領域）での視差は、ＳＬ４になる。
【０１６３】
この場合、ＳＬ３＜ＳＬ４＜Ｓおよび、ＳＲ３＜ＳＲ４＜Ｓの関係となる。そのため、立体視用画像の視差は、立体視した画像が遠ざかる方向に変化する。しかし、内部領域Ｂの輪郭近傍（左端部分領域および右端部分領域）の立体視画像は、内部領域Ａの輪郭近傍（左端部分領域および右端部分領域）の立体視画像ほど大きく遠ざかることにはならない。
【０１６４】
一般的な被写体オブジェクトは、横幅が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。とりわけ被写体オブジェクトが人物像である場合など、被写体オブジェクトが円柱状である場合には、きわめて自然な立体感を画像に与えることができる。
【０１６５】
なお、本実施形態では、伸張モードによる処理と、圧縮モードによる処理とを、別々の処理として説明した。しかし、両者を同時に併用する方法も実現可能である。このような方法を採用すれば、画像に与える歪みが小さくてすみ、かつ立体表示した際の被写体オブジェクトの横幅も変化しないために、画質的に優れた立体視画像を得ることができる。
【０１６６】
＜２．実施の形態２＞
前記の実施形態において、領域情報算出部２０３は、取得されるＬデプス情報またはＲデプス情報に基づいて、横幅情報の算出動作を変更してもよい。
【０１６７】
例えば、領域情報算出部２０３は、横幅情報を算出する際、取得したＬデプス情報またはＲデプス情報が所定の閾値を超える画素については、カウントしないように動作する。すなわち、領域情報算出部２０３は、所定の定位置より遠方の被写体に対しては、奥行き（厚み）を復元する必要がないものとして、前述の丸みを与える補正処理をしないように横幅情報を算出する。
【０１６８】
このような処理を行うのは、一般に遠景は立体感に乏しいので、山や雲などの遠景の端部に前述の遠方に向かって湾曲している丸みを与える補正処理を施すと、画像を見たときに違和感が生じるからである。
【０１６９】
＜３．実施の形態３＞
前記の実施形態では、画像の横幅の長さが長いほど付与する視差を大きくするように補正処理を施した。
【０１７０】
しかし、被写体が、例えば図２０に示す手を広げている被写体のように縦方向の長さが短い画像である場合には、前述のような補正処理を施すと、手の位置が極端に奥に定位されて不自然に見える場合がある。一般的に、縦方向が短く、横方向に長い被写体オブジェクトは、本来の厚みもない場合が多いからである。
【０１７１】
このことを考慮して、本実施形態では、抽出された被写体領域のうち、縦方向における長さが所定値以下の部分、すなわち縦方向に短い部分には、視差を大きくする補正処理を施さない。具体的には、領域情報算出部２０３は、横幅情報の算出動作をする前に、対象画像に縦方向のメディアンフィルタをかける。この結果、フィルタサイズより縦方向の短い領域は前景情報から削除される。図２１は、この様子を示したもので、図２１（ａ）はメディアンフィルタを適用する前の前景情報（画像）の例を示し、図２１（ｂ）はメディアンフィルタを適用した後の前景情報（画像）の例を示している。領域情報算出部２０３は、フィルタ処理後の前景情報を利用して横幅情報を算出する。
【０１７２】
これにより、被写体領域のうち、縦方向に短い部分には、視差を大きくする補正処理が施されず、その他領域のみに視差を大きくする補正処理が施される。
【０１７３】
なお、上記の説明では、被写体領域のうち、縦方向に短い部分を削除するためにメディアンフィルタを用いたが、これは一例であり、この他に例えばローパスフィルタを用いてもよい。すなわち、被写体領域のうち、縦方向に短い部分を除去できる方法なら、どのような方法を採用してもよい。
【０１７４】
＜４．実施の形態４＞
前記の実施形態では、Ｌ画像信号およびＲ画像信号に基づいて、Ｌデプス情報およびＲデプス情報を算出する構成を示した。しかし、立体撮像装置１００の構成は、上記に限定されるものではなく、第１視点位置および第２視点位置とは異なる第３視点位置から被写体までの距離を計測して距離信号（例えば、距離画像信号）を取得する距離取得部（測定部）を備える構成であってもよい。
【０１７５】
図２２は、本実施形態に係る立体撮像装置４００の概略図を示すブロック図である。図２１に示す立体撮像装置４００の構成のうち、図１に示した立体撮像装置１００と同一の部材には同一の符号を付してその説明を省略する。立体撮像装置４００は、第１撮像部１０１および第２撮像部１０２とは異なる位置に距離取得部４０１を備えている。
【０１７６】
距離取得部４０１は、赤外光（ＩＲ）を照射する赤外光照射部と、照射した赤外光のうち被写体で反射した赤外光を集光する光学系と、集光した赤外光を光電変換により電気信号に変換する撮像素子とを備えている。距離取得部４０１は、赤外光の照射から反射して戻ってくるまでの時間とその強度により被写体までの距離信号を測定するＴＯＦ方式（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ方式）によって距離信号を取得する。
【０１７７】
そして、距離取得部４０１は、取得した距離信号をデプス生成部２０１に出力する。デプス生成部２０１は、距離取得部４０１から取得した距離信号を用いて、Ｌデプス情報およびＲデプス情報を算出する。
【０１７８】
なお、上述においては、距離取得部４０１として、赤外光のＴＯＦ方式のものを説明した。しかし、距離取得部の構成は、赤外光のＴＯＦ方式のものに限定されず、被写体までの距離を取得できる距離センサであれば、どのような方式のものを採用してもよい。例えば、レーザ光を照射し、反射して戻ってくるまでの時間によって距離信号を取得するレーザ光のＴＯＦ方式でもよい。第１撮像部１０１および第２撮像部１０２とは異なる撮像部を設け、この撮像部による取得画像に基づいて被写体までの距離信号を取得する方式であってもよい。
【０１７９】
＜５．効果等＞
以上のように、前記実施の形態において、立体撮像装置１００（立体画像処理装置の一例）は、Ｌ画像とＲ画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する第１撮像部１０１、第２撮像部１０２、および画像入力部１０３（取得部の一例）と、取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する領域抽出部１０４（抽出部の一例）と、抽出された被写体領域の視差の方向における長さを算出する領域情報算出部２０３（算出部の一例）と、算出された被写体領域の視差の方向における長さに基づいて、被写体領域の端部の視差を調整する画像補正部１０５とを備えている。
【０１８０】
また、前記実施の形態の立体画像処理方法は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、前記抽出された被写体領域の視差の方向における長さに基づいて、当該被写体領域の端部の視差を調整する調整段階と、を備えている。
【０１８１】
これにより、立体視用画像に自然な立体感を付与することにより、書割り現象の生じ難い立体視用画像を取得することができる。
【０１８２】
また、前記実施の形態において、画像補正部１０５は、算出された被写体領域の視差の方向における長さが長くなるほど、被写体領域の端部の立体画像の定位位置が遠くなるように、被写体領域の端部の視差を調整してもよい。
【０１８３】
また、前記実施の形態の立体画像処理方法は、調整段階では、算出された被写体領域の視差の方向における長さが長くなるほど、被写体領域の端部の立体画像の定位位置が遠くなるように、被写体領域の端部の視差を調整してもよい。
【０１８４】
一般的な被写体オブジェクトは、横幅（一般的な視差方向）が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。
【０１８５】
また、前記実施の形態において、領域情報算出部２０３（算出部の一例）は、画素ライン毎に被写体領域の視差の方向における長さを算出する一方、画像補正部１０５は、画素ライン毎に算出された被写体領域の視差の方向における長さに基づいて、被写体領域の端部の視差を調整してもよい。
【０１８６】
一般的な被写体オブジェクトは、横幅（一般的な視差方向）が広ければ、それに応じた奥行き（厚み）を持っている。すなわち、横幅が広いほど奥行きも大きい傾向にある。したがって、横幅の大きさに応じて輪郭近傍の画像を遠ざけ、見た目上、遠方に向かって湾曲している丸みを持たせることにより、画像に自然な立体感を与えることができる。
【０１８７】
また、前記実施の形態において、領域抽出部１０４は、取得された立体視用画像の各画素について、Ｌ画像とＲ画像との間の視差に基づき、撮影位置から被写体までの距離情報を生成するデプス生成部２０１（生成部の一例）を備え、生成された距離情報に基づいて、立体視用画像から被写体領域を抽出してもよい。
【０１８８】
これにより、立体視用画像自体に含まれる情報から撮影位置から被写体までの距離情報を生成し、この距離情報を基に被写体領域を抽出することができる。
【０１８９】
また、前記実施の形態において、領域抽出部１０４は、生成された距離情報に基づいて、取得された立体視用画像に二値化処理を施す二値化部２０２を備えている。
【０１９０】
これにより、立体視用画像に撮影位置から被写体までの距離情報に応じた二値化処理を施し、この二値化処理によって、立体視用画像に含まれる異なる位置の被写体や被写体と背景とを的確に分離することができる。
【０１９１】
また、前記実施の形態において、画像補正部１０５は、生成された距離情報が所定の距離値よりも大きい被写体領域には、端部の視差調整を行わないこととしてもよい。
【０１９２】
一般に遠景は立体感に乏しいので、山や雲などの遠景の端部に、遠方に向かって湾曲している丸みを与える視差調整を施すと、画像を見たときに違和感が生じる。上記のように、撮影位置から所定以上の距離に位置する遠い被写体については視差調整を施さず、撮影位置に近い被写体についてのみ視差調整を施すようにすると、より自然な立体感を画像に与えることが可能となる。
【０１９３】
また、前記実施の形態において、前記取得部は、立体視用画像を撮影する第１撮像部１０１および第２撮像部１０２を備える一方、立体撮像装置１００は、撮影の時に被写体までの距離を測定する距離取得部４０１を更に備え、領域抽出部１０４は、測定された被写体までの距離に基づいて、取得された立体視用画像から被写体領域を抽出してもよい。
【０１９４】
これにより、立体視用画像を撮影するときの被写体までの実距離の値に基づいて、この距離情報を基に被写体領域を抽出することができる。
【０１９５】
また、前記実施の形態において、画像補正部１０５は、測定された距離が所定の距離値よりも大きい被写体に対応する被写体領域には、端部の視差調整を行わないこととしてもよい。
【０１９６】
一般に遠景は立体感に乏しいので、山や雲などの遠景の端部に、遠方に向かって湾曲している丸みを与える視差調整を施すと、画像を見たときに違和感が生じる。上記のように、撮影位置から所定以上の距離に位置する遠い被写体については視差調整を施さず、撮影位置に近い被写体についてのみ視差調整を施すようにすると、より自然な立体感を画像に与えることが可能となる。
【０１９７】
また、前記実施の形態において、画像補正部１０５は、抽出された被写体領域のうち、前記視差の方向と直交する方向における長さが所定値以下の部分には、端部の視差調整を行わないこととしてもよい。
【０１９８】
一般的に、縦方向が短く、横方向（通常の視差方向）に長い被写体オブジェクトは、本来の厚みもない場合が多い。そのため、被写体領域の全部分の端部に、遠方に向かって湾曲している丸みを与える視差調整を施すと、画像を見たときに違和感が生じる場合がある。上記のように、抽出された被写体領域のうち、縦方向（視差の方向と直交する方向）における長さが所定値以下の部分には視差調整を施さず、縦方向において十分な長さを有する部分についてのみ視差調整を施すようにすると、より自然な立体感を画像に与えることが可能となる。
【０１９９】
＜６．その他の実施形態＞
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
【０２００】
上記の各実施形態において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されてもよい。なお、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。
【０２０１】
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２０２】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適用が可能性としてあり得る。
【０２０３】
また、上記の各実施形態における各機能ブロックの処理の一部または全部は、プログラムによって実現されるものでもよい。そして、上記の各実施形態における各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により実行される。また、各処理を実行するためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【０２０４】
例えば、前記実施形態を立体画像処理プログラムによって実現する場合、この立体画像処理プログラムは、コンピュータを立体画像処理装置として動作させるためのプログラムであって、コンピュータの制御部に、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する機能と、抽出された被写体領域の視差の方向における長さを算出する機能と、算出された被写体領域の視差の方向における長さに基づいて、被写体領域の端部の視差を調整する機能とを実行させるものであると表現することができる。
【０２０５】
また、前記立体画像処理プログラムにおいては、算出された被写体領域の視差の方向における長さが長くなるほど、被写体領域の端部の立体画像の定位位置が遠くなるように、被写体領域の端部の視差を調整してもよい。
【０２０６】
また、上記の各実施形態の処理は、ハードウェアによって実現されてもよいし、ソフトウェア〔ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む〕によって実現されてもよい。さらに、ソフトウェアおよびハードウェアの混在処理によって実現されてもよい。
【０２０７】
なお、上記の実施形態に係る装置をハードウェアによって実現する場合には、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記の各実施形態においては、説明便宜のために、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【０２０８】
また、上記の実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に限定されるものではなく、本開示の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０２０９】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータに読み取り可能な記録媒体は、本開示の範囲に含まれる。ここで、コンピュータに読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ  Ｄｉｓｃ）、半導体メモリを挙げることができる。
【０２１０】
上記のコンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワークなどを経由して伝送されるものであってもよい。
【０２１１】
また、上記の実施形態においては、２つの撮像部により、立体視用画像としてのステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、立体視用画像の取得方法は、上記に限定されることはなく、例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。また、２つ以上の複数の撮像部により撮影した画像（多視点画像）からステレオ画像を取得してもよい。
【０２１２】
さらに、立体視用画像（データを含む）は所与のものとして、外部装置から入力されて取得するようにしてもよい。
【０２１３】
また、前記実施形態においては、前景１００２（主被写体）と背景１００１とを含む撮影シーン１０００（図４参照）を撮像する場合を例に挙げて、視差調整の各処理を説明した。
【０２１４】
しかし、この例とは異なって、立体視用画像に複数の前景（被写体）が含まれるような場合には、各被写体とその被写体より撮像装置（撮影位置）から遠い被写体または背景との境界（被写体領域の端部）においては視差調整を施す一方、各被写体とその被写体より撮像装置（撮影位置）に近い被写体との境界（被写体領域の端部）においては視差調整を施さないものとしてもよい。すなわち、例えば視差情報に基づいて、より後ろに位置する被写体または背景との境界においては視差調整を行う一方、より前に位置する被写体との境界においては視差調整を行わないものとしてもよい。
【０２１５】
これにより、立体視用画像において、複数の被写体が重なっているような場合にも、自然な立体感を付与することが可能となる。
【０２１６】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０２１７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０２１８】
本開示に係る立体画像処理装置、立体画像処理方法、および立体画像処理プログラムは、立体視用画像（立体映像）関連分野において有用であり、立体撮像を行うカメラ（撮像装置）、立体視用画像（立体映像）を表示するディスプレイ装置、立体視用画像（立体映像）を処理する画像処理装置など、立体視用画像（立体映像）を扱う幅広い機器に応用できる。
【符号の説明】
【０２１９】
１００    立体撮像装置
１０１    第１撮像部
１０２    第２撮像部
１０３    画像入力部
１０４    領域抽出部
１０５    画像補正部
１０６    制御部
２０１    デプス生成部
２０２    二値化部
２０３    領域情報算出部
３０１、３０２    画像補正部
３０３、３０７    メモリ部
３０４、３０８    強度生成部
３０５、３０９    座標変換部
３０６、３１０    補間部
４００    立体撮像装置
４０１    距離取得部
１０００    撮影シーン
１００１    被写体
１００２    主被写体
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2013080544.tif 000025
【図２】
2013080544.tif 000026
【図３】
2013080544.tif 000027
【図４】
2013080544.tif 000028
【図５】
2013080544.tif 000029
【図６】
2013080544.tif 000030
【図７】
2013080544.tif 000031
【図８】
2013080544.tif 000032
【図９】
2013080544.tif 000033
【図１０】
2013080544.tif 000034
【図１１】
2013080544.tif 000035
【図１２】
2013080544.tif 000036
【図１３】
2013080544.tif 000037
【図１４】
2013080544.tif 000038
【図１５】
2013080544.tif 000039
【図１６】
2013080544.tif 000040
【図１７】
2013080544.tif 000041
【図１８】
2013080544.tif 000042
【図１９】
2013080544.tif 000043
【図２０】
2013080544.tif 000044
【図２１】
2013080544.tif 000045
【図２２】
2013080544.tif 000046
【手続補正書】
【提出日】平成25年5月21日(2013.5.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する取得部と、
前記取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する抽出部と、
前記抽出された被写体領域の視差の方向における長さを算出する算出部と、
前記算出された前記被写体領域における視差方向の長さが長くなるほど、前記抽出された被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域のうち、前記視差方向の長さを算出した領域の端部の視差を調整する画像補正部と、を備える立体画像処理装置。
【請求項２】
前記算出部は、画素ライン毎に前記被写体領域の視差の方向における長さを算出する一方、
前記画像補正部は、前記画素ライン毎に算出された前記被写体領域の視差の方向における長さに基づいて、前記長さを算出した領域の端部の視差を調整する請求項１に記載の立体画像処理装置。
【請求項３】
前記抽出部は、
前記取得された立体視用画像の各画素について、前記左眼用画像と右眼用画像との間の視差に基づき、撮影位置から被写体までの距離情報を生成する生成部を備え、
前記生成された距離情報に基づいて、前記立体視用画像から前記被写体領域を抽出する請求項１に記載の立体画像処理装置。
【請求項４】
前記抽出部は、
前記生成された距離情報に基づいて、前記取得された立体視用画像に二値化処理を施す二値化部を更に備え、
前記二値化処理を施された立体視用画像から前記被写体領域を抽出する、請求項３に記載の立体画像処理装置。
【請求項５】
前記画像補正部は、
前記生成された距離情報が所定の距離値よりも大きい被写体領域には、端部の視差調整を行わない請求項３に記載の立体画像処理装置。
【請求項６】
前記取得部は、前記立体視用画像を撮影する撮像部を備える一方、
前記撮影の時に被写体までの距離を測定する測定部を更に備え、
前記抽出部は、前記測定された被写体までの距離に基づいて、前記取得された立体視用画像から前記被写体領域を抽出する請求項１に記載の立体画像処理装置。
【請求項７】
前記画像補正部は、
前記測定された距離が所定の距離値よりも大きい被写体に対応する前記被写体領域には、端部の視差調整を行わない請求項６に記載の立体画像処理装置。
【請求項８】
前記画像補正部は、
前記抽出された被写体領域のうち、前記視差の方向と直交する方向における長さが所定値以下の部分には、端部の視差調整を行わない請求項１に記載の立体画像処理装置。
【請求項９】
左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、
前記算出された前記被写体領域における視差方向の長さが長くなるほど、前記抽出された被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域のうち、前記視差方向の長さを算出した領域の端部の視差を調整する調整段階と、を備える立体画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
上記の目的を達するために、本開示の一態様に係る立体画像処理装置は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、を取得する取得部と、前記取得された立体視用画像から、特定の被写体の立体画像を示す被写体領域を抽出する抽出部と、前記抽出された被写体領域の視差の方向における長さを算出する算出部と、前記算出された前記被写体領域における視差方向の長さが長くなるほど、前記抽出された被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域のうち、前記視差方向の長さを算出した領域の端部の視差を調整する画像補正部と、を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、上記の目的を達するために、本開示の一態様に係る立体画像処理方法は、左眼用画像と右眼用画像とを含み、両画像間の視差により立体画像を表す立体視用画像、から特定の被写体の立体画像を示す被写体領域を抽出する抽出段階と、前記算出された前記被写体領域における視差方向の長さが長くなるほど、前記抽出された被写体領域の端部の立体画像の定位位置が遠くなるように、当該被写体領域のうち、前記視差方向の長さを算出した領域の端部の視差を調整する調整段階と、を備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【国際調査報告】
2013080544.tif 000047
2013080544.tif 000048
2013080544.tif 000049
2013080544.tif 000050