(57)【要約】  本発明の一態様に係る画像処理装置は、視差を有する２視点画像を入力する画像入力部と、前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、前記２視点画像の主要被写体を検出する主要被写体検出部と、前記主要被写体の視差を取得する視差取得部と、生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部とを備える。
2011052389.tif 000002
【特許請求の範囲】
【請求項１】
視差を有する２視点画像を入力する画像入力部と、
前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、
前記２視点画像の主要被写体を検出する主要被写体検出部と、
前記主要被写体の視差を取得する視差取得部と、
生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、
前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、
前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、
前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、
前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部と、
を備える画像処理装置。
【請求項２】
画像全体の目標視差分布と主要被写体の目標視差分布とを保持する保持部を備え、
前記設定部は、生成する多視点画像の画像全体の視差の分布が前記画像全体の目標視差分布を満足するように視差の変換率を設定し、
前記補正部は、生成する多視点画像の主要被写体の視差の分布が前記主要被写体の目標視差分布を満足するように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する、請求項１に記載の画像処理装置。
【請求項３】
前記生成された立体表示画像を所定のサイズで出力する出力部と、
前記所定のサイズに応じて、前記画像全体の目標視差分布と主要被写体の目標視差分布を修正する修正部と、
を備える請求項１又は２に記載の画像処理装置。
【請求項４】
前記補正部は、前記画素毎又は領域毎の視差と前記主要被写体の視差との差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する、請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記補正部は、前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正する、請求項４に記載の画像処理装置。
【請求項６】
前記補正部は、前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正する、請求項４に記載の画像処理装置。
【請求項７】
前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部と、
前記検出された撮影モードに応じて、前記補正部が前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正するか、又は前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正するかを選択する選択部と、
を備える請求項４に記載の画像処理装置。
【請求項８】
前記画素毎又は領域毎の視差のヒストグラムを取得する視差ヒストグラム取得部を備え、
前記補正部は、前記ヒストグラムの頻度に応じて視差階調を一定化するように前記視差の変換率を画素毎又は領域毎に補正する、請求項１に記載の画像処理装置。
【請求項９】
前記２視点画像の撮影シーンを認識する撮影シーン認識部と、
前記撮影シーンに応じて主要被写体領域を設定する主要被写体設定部とを備え、
前記補正部は、前記主要被写体領域からの画像上の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項１に記載の画像処理装置。
【請求項１０】
前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、
前記主要被写体領域設定部は、前記検出された撮影モードが人物モードである場合に、画像を縦方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、
前記補正部は、前記主要被写体領域からの水平方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項９に記載の画像処理装置。
【請求項１１】
前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、
前記主要被写体領域設定部は、前記検出された撮影モードが風景モードである場合に、画像を横方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、
前記補正部は、前記主要被写体領域からの垂直方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項９に記載の画像処理装置。
【請求項１２】
前記撮影シーン認識部は、前記２視点画像から前景領域、中景領域、及び遠景領域を抽出する抽出部を備え、
前記補正部は、前記抽出した各領域に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項９に記載の画像処理装置。
【請求項１３】
前記設定部は、生成する多視点画像が４視点以上の場合に、中央部の視点位置の差を両端部の視点位置の差より大きくなるように視差の変換率を設定する、請求項１から１２のいずれかに記載の画像処理装置。
【請求項１４】
前記補正部は、前記２視点画像のうち一方の画像の視差の変換率が０になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正し、
前記多視点画像生成部は、前記視差の変換率が０の画像を変換して多視点画像を生成する、請求項１から１３のいずれかに記載の画像処理装置。
【請求項１５】
前記補正部は、生成する多視点画像のうち中央の視点位置の画像の視差の変換率が最小になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する、請求項１から１３のいずれかに記載の画像処理装置。
【請求項１６】
視差を有する２視点画像を入力する画像入力工程と、
前記２視点画像の画素毎又は領域毎の視差を取得する視差取得工程と、
前記２視点画像の主要被写体を検出する主要被写体検出工程と、
前記主要被写体の視差を取得する視差取得工程と、
生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定工程と、
前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正工程と、
前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成工程と、
前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整工程と、
前記多視点画像に基づいて、立体表示画像を生成する立体画像生成工程と、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に係り、特に入力２視点画像から多視点画像を生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ステレオ画像として撮影された視点の異なる２つの画像から任意の中間視点に対応する画像を生成する技術は、レンチキュラーレンズシートが表面に貼付されている立体写真プリント、その他、各種の立体画像表示手段に適正な立体画像を表示させる上で重要である。【０００３】
特許文献１には、奥行き又は両眼視差の広がりを任意の点を中心として線形圧縮することにより、単純な変換で所望の奥行き感を得ることができる技術が記載されている。この技術によれば、生成されるべき三次元表示画像における所定の領域の奥行き感を変更することができ、見る者の好み等に応じた柔軟な対応が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３３１６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明は、主要被写体の立体感の目標値への制御を行っていないため、視差が大きすぎて立体視できない画像に対して視差を抑制する処理を行った場合、副作用として主要被写体の視差分布が小さくなりすぎ、立体感が喪失する場合があるという欠点があった。【０００６】
本発明はこのような事情に鑑みてなされたもので、主要被写体の立体感を維持したまま画像全体としては立体視できる程度の視差まで抑制した多視点画像を生成する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明の第１の態様に係る画像処理装置は、視差を有する２視点画像を入力する画像入力部と、前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、前記２視点画像の主要被写体を検出する主要被写体検出部と、前記主要被写体の視差を取得する視差取得部と、生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部とを備える。【０００８】
上記第１の態様によれば、生成する多視点画像の各視点位置に応じた視差の変換率を主要被写体の視差に基づいて画素毎に補正するようにしたので、主要被写体の立体感を維持したまま画像全体としては立体視できる程度の視差まで抑制した多視点画像を生成することができる。【０００９】
本発明の第２の態様に係る画像処理装置は、上記第１の態様において、画像全体の目標視差分布と主要被写体の目標視差分布とを保持する保持部を備え、前記設定部は、生成する多視点画像の画像全体の視差の分布が前記画像全体の目標視差分布を満足するように視差の変換率を設定し、前記補正部は、生成する多視点画像の主要被写体の視差の分布が前記主要被写体の目標視差分布を満足するように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する。【００１０】
これにより、画像全体の視差の分布と主要被写体の視差の分布とが適切な多視点画像を生成することができる。【００１１】
本発明の第３の態様に係る画像処理装置は、上記第１又は第２の態様において、前記生成された立体表示画像を所定のサイズで出力する出力部と、前記所定のサイズに応じて、前記画像全体の目標視差分布と主要被写体の目標視差分布を修正する修正部とを備える。【００１２】
これにより、出力サイズに応じた視差を持つ多視点画像を生成することができる。【００１３】
本発明の第４の態様に係る画像処理装置は、上記第１から第３の態様において、前記補正部は、前記画素毎又は領域毎の視差と前記主要被写体の視差との差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する。【００１４】
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００１５】
本発明の第５の態様に係る画像処理装置は、上記第４の態様において、前記補正部は、前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正する。【００１６】
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００１７】
本発明の第６の態様に係る画像処理装置は、上記第４の態様において、前記補正部は、前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正する。【００１８】
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００１９】
本発明の第７の態様に係る画像処理装置は、上記第４の態様において、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部と、前記検出された撮影モードに応じて、前記補正部が前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正するか、又は前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正するかを選択する選択部とを備える。【００２０】
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００２１】
本発明の第８の態様に係る画像処理装置は、上記第１の態様において、前記画素毎又は領域毎の視差のヒストグラムを取得する視差ヒストグラム取得部を備え、前記補正部は、前記ヒストグラムの頻度に応じて視差階調を一定化するように前記視差の変換率を画素毎又は領域毎に補正する。【００２２】
これにより、視差の階調が一定な多視点画像を生成することができる。【００２３】
本発明の第９の態様に係る画像処理装置は、上記第１の態様において、前記２視点画像の撮影シーンを認識する撮影シーン認識部と、前記撮影シーンに応じて主要被写体領域を設定する主要被写体設定部とを備え、前記補正部は、前記主要被写体領域からの画像上の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する。【００２４】
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００２５】
本発明の第１０の態様に係る画像処理装置は、上記第９の態様において、前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、前記主要被写体領域設定部は、前記検出された撮影モードが人物モードである場合に、画像を縦方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、前記補正部は、前記主要被写体領域からの水平方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する。【００２６】
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００２７】
本発明の第１１の態様に係る画像処理装置は、上記第９の態様において、前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、前記主要被写体領域設定部は、前記検出された撮影モードが風景モードである場合に、画像を横方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、前記補正部は、前記主要被写体領域からの垂直方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する。【００２８】
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００２９】
本発明の第１２の態様に係る画像処理装置は、上記第９の態様において、前記撮影シーン認識部は、前記２視点画像から前景領域、中景領域、及び遠景領域を抽出する抽出部を備え、前記補正部は、前記抽出した各領域に応じて前記視差の変換率を領域毎又は画素毎に補正する。【００３０】
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。【００３１】
本発明の第１３の態様に係る画像処理装置は、上記第１から第１２の態様において、前記設定部は、生成する多視点画像が４視点以上の場合に、中央部の視点位置の差を両端部の視点位置の差より大きくなるように視差の変換率を設定する。【００３２】
これにより、多様な見え方を持つ多視点画像を生成することができる。【００３３】
本発明の第１４の態様に係る画像処理装置は、上記第１から第１３の態様において、前記補正部は、前記２視点画像のうち一方の画像の視差の変換率が０になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正し、前記多視点画像生成部は、前記視差の変換率が０の画像を変換して多視点画像を生成する。【００３４】
これにより、多視点画像のうち少なくとも一端の画像は実際に撮影された画像を使用することができる。【００３５】
本発明の第１５の態様に係る画像処理装置は、上記第１から第１３の態様において、前記補正部は、生成する多視点画像のうち中央の視点位置の画像の視差の変換率が最小になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する。【００３６】
これにより、自然な多視点画像を生成することができる。【００３７】
前記目的を達成するために、本発明の第１６の態様に係る画像処理方法は、視差を有する２視点画像を入力する画像入力工程と、前記２視点画像の画素毎又は領域毎の視差を取得する視差取得工程と、前記２視点画像の主要被写体を検出する主要被写体検出工程と、前記主要被写体の視差を取得する視差取得工程と、生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定工程と、前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正工程と、前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成工程と、前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整工程と、前記多視点画像に基づいて、立体表示画像を生成する立体画像生成工程とを備える。
【発明の効果】
【００３８】
本発明によれば、主要被写体の立体感を維持したまま画像全体としては立体視できる程度の視差まで抑制することができる。
【図面の簡単な説明】
【００３９】
【図１】第１の実施形態の多視点画像の生成処理を示すフローチャート
【図２Ａ】入力画像の例を示す図
【図２Ｂ】主要被写体領域を示す図
【図２Ｃ】左右の視点画像における点の対応関係を示す図
【図２Ｄ】右視点画像Ｒをシフトした後の左視点画像Ｌ及び右視点画像Ｒを示す図
【図２Ｅ】多視点画像Ｃ０〜Ｃ５を示す図
【図２Ｆ】最終多視点画像Ｓ０〜Ｓ５を示す図
【図３Ａ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図３Ｂ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図３Ｃ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図３Ｄ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図４Ａ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図４Ｂ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図４Ｃ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図４Ｄ】画素毎の視差の補正量を設定するための関数Table(x)を示す図
【図５】主要被写体に応じたFactor2を設定するための処理を示すフローチャート
【図６】第３の実施形態の多視点画像の生成処理を示すフローチャート
【図７】画像毎の視差の変換率Factor1を設定する処理を示すフローチャート
【図８Ａ】視差の分布を示す図
【図８Ｂ】視差の分布を示す図
【図９】画像毎の視差の変換率Factor1を設定する処理を示すフローチャート
【図１０】第４の実施形態の多視点画像の生成処理を示すフローチャート
【図１１Ａ】視差の分布を示す図
【図１１Ｂ】補正量Factor2を示す図
【図１２】第５の実施形態の多視点画像の生成処理を示すフローチャート
【図１３】第５の実施形態の多視点画像の生成処理を示すフローチャート
【図１４Ａ】左視点画像の等分を説明するための図
【図１４Ｂ】左視点画像の等分を説明するための図
【図１５】第６の実施形態の多視点画像の生成処理を示すフローチャート
【図１６】画像処理装置１０を示すブロック図
【発明を実施するための形態】
【００４０】
以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。
【００４１】
＜第１の実施形態＞
図１は、第１の実施形態の多視点画像の生成処理を示すフローチャートであり、図２は、各処理を説明するための画像例を示す図である。本実施形態では、画像内の主要被写体が適した立体感になるように生成される多視点画像の視差を制御する。
【００４２】
まず、平行２眼ステレオ画像が入力される（ステップＳ１）。平行２眼ステレオ画像とは、視点の異なる左視点画像と右視点画像の２枚の画像（２視点画像）をいう。ここでは、図２Ａに示す左視点画像Ｌと右視点画像Ｒが入力された場合を例に説明する。
【００４３】
次に、生成される画像毎の視差の変換率Factor1を設定する（ステップＳ２）。ここでは、左視点画像と右視点画像から、６視点の画像（６枚の多視点画像）を生成する場合を考える。この６枚の画像のそれぞれの視差の変換率Factor1[0]〜Factor1[5]を、例えば、0、0.2、0.4、0.6、0.8、及び1.0と設定する。
【００４４】
なお、生成する多視点画像の視点数は６に限定されるものではなく、出力装置に応じて適宜決定すればよい。
【００４５】
次に、左視点画像Ｌから主要被写体を検出し、検出した主要被写体の画像内の領域を取得する（ステップＳ３）。以下、主要被写体の画像内の領域は、主要被写体を含む矩形領域の左上の座標(xtopleft，ytopleft)と、右下の座標(xbottomright，ybottomright)を用いて、領域(xtopleft，ytopleft)−(xbottomright，ybottomright)と記載する。なお、主要被写体領域の形状は矩形に限定されるものではない。
【００４６】
主要被写体は、例えば画像内に人物又は人物の顔を検出した場合は、その人物又は人物の顔を主要被写体とする。また、撮影時のフォーカスポジションを入力画像データの付帯情報から取得し、その距離に応じた視差を持つ領域を主要被写体としてもよい。その他に、画素毎に取得した視差から視差ヒストグラムを作成し、頻度分布の平均値、最頻値、中央値等の視差をもつ領域を主要被写体とすることも考えられる。この場合は、例えば画像周囲１０％を除く領域に対して、視差ヒストグラムを作成することが好ましい。画像の周囲には主要被写体が存在しないと考えられるからである。
【００４７】
図２Ｂに示す例では、人物の顔を主要被写体として検出している。また、図２Ｂに示す画像内の枠は、検出した主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)を示している。
【００４８】
次に、左視点画像Ｌを基準として、右視点画像Ｒとの画素毎の視差D(x,y)を取得する（ステップＳ４）。画素毎の視差D(x,y)は、左視点画像Ｌと右視点画像Ｒとの相関演算を行い、画素毎の対応点を検出することにより行う。
【００４９】
図２Ｃは、左視点画像Ｌの主要被写体内の点L(xL,yL)と、右視点画像Ｒのその対応点R(xR,yR)を示している。ここではyL=yRであり、この画素における視差は、視差D(x,y)=xR-xLと表される。
【００５０】
さらに、画素毎の視差D(x,y)に基づいて主要被写体の視差D[主要]を取得する（ステップＳ５）。主要被写体の視差D[主要]は、下記の数１に示すように、主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)内における各画素の視差D(x,y)の平均値として表される。
【００５１】
【数１】
2011052389.tif 000003
【００５２】
次に、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトする（ステップＳ６）。図２Ｄは、シフト後の左視点画像Ｌ及び右視点画像Ｒを示す図である。右視点画像Ｒのシフト後の対応点Ｒの座標は、(xL,yL)となる。
【００５３】
この右視点画像Ｒのシフト量である視差D[主要]に基づいて、ステップＳ４において取得した画素毎の視差を更新する（ステップＳ７）。即ち、画素毎の更新後の視差は、newD(x,y)＝D(x,y)−D[主要]と表される。このnewD(x,y)は、画素毎の視差D(x,y)と主要被写体の視差との差diff(x,y)に相当する。このdiff(x,y)に応じて、画素毎の視差の補正量Factor2を設定する（ステップＳ８）。即ち、Factor2(x,y)＝Table(Diff(x,y))と表される。
【００５４】
ここで、関数Table(x)について説明する。
【００５５】
図３Ａから図３Ｄは、主要被写体の視差との差に応じて立体感を抑制するための視差の補正量を設定するための関数Table(x)を示す図であり、それぞれ横軸は主要被写体の視差との差Diff(x,y)を示し、縦軸は各視差における補正量を示している。
【００５６】
図３Ａは、補正を行わない場合の関数Table(x)を示す図である。同図に示すように、画素毎の補正を行わない場合は、補正量Factor2は常に１が設定される。
【００５７】
図３Ｂは、主要被写体の視差から離れるにしたがって、視差を抑制（立体感を抑制）する場合の関数Table(x)を示している。このように、補正量Factor2を１より小さい値に設定すると、その画素の視差は抑制される。
【００５８】
また、図３Ｃは、xmin≦x≦xmaxの範囲においては補正を行わず、xminより小さい部分及びxmaxより大きい部分の視差を抑制する場合の関数Table(x)を示している。xmin及びxmaxの値は、適宜決定すればよい。
【００５９】
また、図３Ｄは、xmin≦x≦xmaxの範囲においては補正を行わず、xminより小さい部分及びxmaxより大きい部分では、主要被写体の視差から離れるに比例して視差の拡大率を減少させる場合の関数Table(x)を示している。
【００６０】
このように、画素毎の補正量Factor2は、画素毎の視差に対して線形・非線形の式で与えてもよいし、テーブルで与えてもよい。また、ここではdiff(x,y)=0に対して正負で対称の値が設定されるが、非対称の値に設定しても構わない。
【００６１】
また、図４は、主要被写体の視差との差に応じて立体感を強調するための視差の補正量を設定するための関数Table(x)を示す図である。
【００６２】
図４Ａは、図３Ａと同様に補正を行わない場合の関数Table(x)を示す図であり、図４Ｂは、主要被写体の視差に近づくにしたがって、視差を拡大（立体感を強調）する場合の関数Table(x)を示している。このように、補正量Factor2を１より大きい値に設定すると、その画素の視差は拡大される。
【００６３】
また、図４Ｃは、xmin≦x≦xmaxにおいては主要被写体の視差に近づくにしたがって視差を拡大し、xminより小さい部分及びxmaxより大きい部分では、補正を行わない場合の関数Table(x)を示しており、図４Ｄは、xmin≦x≦xmaxにおいては一様に視差を拡大し、xminより小さい部分及びxmaxより大きい部分では、主要被写体の視差から離れるに比例して視差の拡大率を減少させる場合の関数Table(x)を示している。
【００６４】
このように、画素毎の補正量Factor2(x,y)は、主要被写体の視差との差に応じて立体感を強調するように設定してもよい。
【００６５】
以上のように設定された画素毎の視差の補正量Factor2(x,y)と、ステップＳ２において設定された画像毎の視差の変換率Factor1[i]とに基づいて、左視点画像Ｌを変換することにより６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ９）。即ち、多視点画像Ｃｎの各画素Cn(x,y)は、左視点画像Ｌの各画素L(x,y)から以下のように算出される。
【００６６】
Cn(x+Factor1[n]×Factor2(x,y)×newD(x,y),y)=L(x,y)  …式１
図２Ｅは、このように生成された多視点画像Ｃ０〜Ｃ５を示す図であり、ここではＣ２〜Ｃ４は省略している。多視点画像Ｃ０〜Ｃ５は、それぞれ主要被写体の視差が０となっている。
【００６７】
次に、多視点画像Ｃ０〜Ｃ５の主要被写体の視差が予め定められた視差D[目標]になるように、６枚の多視点画像Ｃ０〜Ｃ５をそれぞれ水平方向にシフトし、最終多視点画像Ｓ０〜Ｓ５を生成する（ステップＳ１０）。即ち、最終多視点画像Ｓｎの各画素Sn(x,y)は、多視点画像Ｃｎの各画素Cn(x,y)から以下のように算出される。
【００６８】
Sn(x,y)=Cn(x-D[目標]×Factor1[n]/Factor1[5],y)  …式２
図２Ｆは、このように生成された最終多視点画像Ｓ０〜Ｓ５を示す図であり、ここではＳ２〜Ｓ４は省略している。最終多視点画像Ｓ０〜Ｓ５は、それぞれ主要被写体の視差が適切に設定された画像となっている。
【００６９】
この６枚の最終多視点画像Ｓ０〜Ｓ５から、出力用立体画像を生成する（ステップＳ１１）。ここでは、多視点のレンチキュラー画像変換、多視点液晶バリヤ方式モニタ用画像変換等、それぞれの出力装置に応じた処理方法を用いる。
【００７０】
最後に、これらの出力装置に、生成した立体画像を出力する（ステップＳ１２）。
【００７１】
このように、入力２視点画像から、画像毎の視差の変換率と主要被写体の視差との差に応じて設定した画素毎の視差の補正量とを用いて多視点画像を生成し、主要被写体の目標視差に基づいて画像をシフトして最終多視点画像を生成することで、画像全体の視差と主要被写体の視差が適切となる立体画像を得ることができる。
【００７２】
本実施形態では、左視点画像Ｌを基準として視差D(x,y)を算出し、この視差D(x,y)に基づいて左視点画像Ｌを基準とした最終多視点画像Ｓ０〜Ｓ５を生成したが、同様の手法により右視点画像Ｒを基準とした視差D(x,y)を算出し、この視差D(x,y)に基づいて右視点画像Ｒを基準とした最終多視点画像Ｓ５〜Ｓ０を生成し、左視点画像Ｌを基準に生成した各最終多視点画像と右視点画像Ｒを基準に生成した各最終多視点画像を合成することが好ましい。なお、左右視点画像を基準とした多視点画像Ｃ０〜Ｃ５を合成し、この合成多視点画像Ｃ０〜Ｃ５に基づいて最終多視点画像Ｓ０〜Ｓ５を生成してもよい。
【００７３】
また、本実施形態では、画素毎の視差を取得し、画素毎の視差の補正量を算出したが、領域毎の視差を取得し、領域毎の視差の補正量を算出してもよい。また、画像毎の視差の補正量を算出してもよい。
【００７４】
＜第２の実施形態＞
ここで、画像の付帯情報から主要被写体を検出し、検出した主要被写体に応じた補正量Factor2を設定する例を説明する。
【００７５】
まず、図５のフローチャートに示すように、平行２眼ステレオ画像（２視点画像）が入力されると（ステップＳ１）、予めユーザによって設定されている補正処理モードが判定される（ステップＳ２１）。マニュアルモードに設定されている場合は、ユーザの指示に従った補正を行う（ステップＳ２２）。
【００７６】
ここで、オートモードに設定されている場合は、入力された２視点画像データの付帯情報から、当該２視点画像が撮像装置によって撮影された際に撮像装置に設定されていた撮影モードを取得する（ステップＳ２３）。
【００７７】
次に、取得した撮影モードが、人物・ポートレートモードであるか否かを判定する（ステップＳ２４）。人物・ポートレートモードである場合は、主要被写体は人物であると考えられるので、人物認識や顔認識による主要被写体検出を行う（ステップＳ２５）。また、検出された主要被写体の立体感を強調するような補正を行うための補正量Factor2を設定する（ステップＳ２６）。
【００７８】
このように、人物・ポートレートモードで撮影された画像に対しては、主要被写体が明確であるため、主要被写体の立体感を強調するように補正を行う。
【００７９】
また、人物・ポートレートモードでない場合は、次に、風景モードであるか否かを判定する（ステップＳ２７）。風景モードである場合は、視差ヒストグラムの中央値検出による主要被写体検出を行い（ステップＳ２８）、周囲の立体感を抑制するような補正を行うための補正量Factor2を設定する（ステップＳ２９）。
【００８０】
このように、風景モードで撮影された画像に対しては、主要被写体が不明確であるため、中央重点の視差ヒストグラムを用いて主要被写体領域を検出する。さらに、風景モードで撮影された画像は視差分布が極めて広いため、近景や遠景の視差が強すぎて立体視できないことを回避するために、主要被写体と大きく異なる視差を持つ領域の立体感を抑制するように補正する。
【００８１】
なお、画像データの付帯情報から取得した撮影モードが、人物・ポートレートモード、風景モードのいずれのモードでもない場合は、補正を行わない（ステップＳ３０）。
【００８２】
このように、画像データの付帯情報から主要被写体を検出し、検出した主要被写体に応じたFactor2を設定することで、主要被写体に適した補正を行うことができる。
【００８３】
＜第３の実施形態＞
図６を用いて、第３の実施形態の多視点画像の生成処理について説明する。本実施形態は、視差変換率に応じて視差を圧縮して生成した多視点画像の主要被写体の視差の範囲が、目標視差の範囲より狭い場合は、主要被写体の立体感を強調するように補正量を設定する。
【００８４】
第１の実施形態と同様に、２視点画像が入力されると（ステップＳ１）、左視点画像Ｌから主要被写体を検出し、画像内における主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)を取得するとともに（ステップＳ３）、左視点画像Ｌを基準として右視点画像Ｒとの画素毎の視差D(x,y)を取得し（ステップＳ４）、主要被写体の視差D[主要]を取得する（ステップＳ５）。
【００８５】
次に、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ６）、画素毎の視差を更新する（ステップＳ７）。
【００８６】
ここで、左視点画像Ｌの主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)に含まれる画素の視差分布の最大値D[主要]max、及び最小値D[主要]minを取得する（ステップＳ３１）。
【００８７】
さらに、左視点画像Ｌの画像周囲１０％を除く全画素の視差分布の最大値D[全体]max、及び最小値D[全体]minを取得する（ステップＳ３２）。
【００８８】
次に、予め定められている画像全体の目標視差分布における最大値D[目標全]max、及び最小値D[目標全]minと、ステップＳ３２において取得した全画素の視差分布の最大値D[全体]max、及び最小値D[全体]minとから、画像毎の視差の変換率Factor1を設定する（ステップＳ３３）。
【００８９】
この変換率の設定について、図７のフローチャートを用いて説明する。
【００９０】
まず、D[目標全]max≧D[全体]max、かつD[目標全]min≦D[全体]minであるか否か、即ち、全画素の視差分布が目標視差分布内に収まっているか否かを判定する（ステップＳ４１）。該当する場合は、変数tmpを1とし、画像毎の視差の変換率Factor1[0]〜Factor1[5]を、第１の実施形態と同様に、0、0.2、0.4、0.6、0.8、及び1.0と設定する（ステップＳ４２）。
【００９１】
全画素の視差分布が目標視差分布内に収まっていない場合は、変数tmpを、D[全体]max/D[目標全]maxとD[全体]min/D[目標全]minとのうちの大きい方の値とする。また、画像毎の視差の変換率Factor1[0]〜Factor1[5]を、この変数tmpを用いて、0、0.2/tmp、0.4/tmp、0.6/tmp、0.8/tmp、及び1.0/tmpと設定する（ステップＳ４３）。
【００９２】
例えば、入力２視点画像が図８Ａに示す視差の分布を有する場合は、このままの視差で多視点画像を生成しても、視差が大きすぎて立体視することができない。したがって、各画素の視差を変数tmpで除算することにより、図８Ｂに示す視差の分布に変換し、視差の分布を目標視差分布内に収める。この変換後の視差の分布において、多視点画像の画像毎の視差の変換率Factor1を設定する。
【００９３】
このように、全画素の視差分布と全体目標視差分布とに基づいて、適切な画像毎の視差の変換率Factor1を設定する。
【００９４】
次に、予め定められた主要被写体の目標視差分布の最大値D[目標主]max、及び最小値D[目標主]minと、主要被写体の視差分布（全画素の視差分布をFactor1において補正した場合は補正後の主要被写体の視差分布）の最大値D[主要]max、及び最小値D[主要]minとから、画素毎の視差の補正量Factor2を設定する（ステップＳ３４）。
【００９５】
この補正量の設定について、図９のフローチャートを用いて説明する。
【００９６】
まず、D[目標主]max-D[目標主]min≦(D[主要]max-D[主要]min)/tmpであるか否か、即ち、主要被写体の視差範囲が目標視差分範囲より広いか否かを判定する（ステップＳ５１）。主要被写体の視差範囲の方が広い場合は（ステップＳ５１のＹＥＳ）、主要被写体の立体感は十分であると判断し、画素毎の視差の補正量Factor2を1に設定する（ステップＳ５２）。即ち、画素毎の視差の補正は行わない。
【００９７】
また、目標視差範囲の方が広い場合は（ステップＳ５１のＮＯ）、主要被写体の立体感が足りないと判断し、主要被写体の視差を拡大するような補正量Factor2を設定する。ここでは、補正量Factor2を図４Ｄに示す関数Table(x)とし、xmin=D[主要]min/tmp、xmax=D[主要]max/tmpとする（ステップＳ５３）。即ち、D[主要]min/tmp〜D[主要]max/tmpにおいては一様に視差を拡大し、D[主要]minより小さい部分及びD[主要]max/tmpより大きい部分では、主要被写体の視差から離れるに比例して、視差の拡大率を減少させるようなFactor2を設定する。
【００９８】
例えば、図８Ｂに示す主要被写体の視差の分布と主要被写体の目標視差の分布とを有する場合は、目標視差分布の方が広いため、ステップＳ５３のように画素毎の視差の補正量Factor2を設定する。
【００９９】
このように、主要被写体の実際の視差分布と主要被写体の目標視差分布とに基づいて、適切な画素毎の視差の補正量Factor2を設定する。
【０１００】
以上のように設定された画素毎の視差の補正量Factor2(x,y)と、ステップＳ４２やステップＳ４３において設定された画像毎の視差の変換率Factor1[i]とに基づいて、６枚の多視点画像Ｃ０〜Ｃ５を生成し（ステップＳ９）、さらに、主要被写体の視差が予め定められた視差D[目標]になるように、最終多視点画像Ｓ０〜Ｓ５を生成する（ステップＳ１０）。
【０１０１】
最後に、この６枚の最終多視点画像Ｓ０〜Ｓ５から出力用立体画像を生成し（ステップＳ１１）、生成した立体画像を出力する（ステップＳ１２）。
【０１０２】
このように、視差変換率による圧縮後の主要被写体の視差の範囲が、主要被写体の目標視差の範囲より狭い場合は、主要被写体の立体感を強調するように補正を行うことで、主要被写体の視差が適切な立体画像を生成することができる。
【０１０３】
なお、多視点画像の出力サイズに応じて、目標視差を修正することが好ましい。
【０１０４】
例えば、予め設定されている画像全体の目標視差分布及び主要被写体の目標視差分布が、所定の基準出力サイズに適したものである場合に、修正率Factor3=出力サイズ/基準出力サイズとし、この修正率Factor3によって目標視差分布を修正することが考えられる。即ち、画像全体の目標視差分布の最大値D[目標全]max、最小値D[目標全]min、及び主要被写体の目標視差分布の最大値D[目標主]max、最小値D[目標主]minのそれぞれを、修正率Factor3で除算して目標視差分布を修正し、修正された値に基づいてステップＳ３３、ステップＳ３４の処理を行う。
【０１０５】
出力画像のサイズによって、立体視できない視差の大きさが異なるため、上記のように、多視点画像の出力サイズに応じて目標視差を修正することで、出力画像サイズに応じて適切な視差を持つ多視点画像を生成することができる。
【０１０６】
＜第４の実施形態＞
図１０を用いて、第４の実施形態の多視点画像の生成処理について説明する。本実施形態は、画像内の視差階調を平坦化するように、画素毎の補正量Factor2を設定する。
【０１０７】
ステップＳ１〜ステップＳ７の処理は、これまでと同様であるので説明を省略する。
【０１０８】
次に、ステップＳ４において取得した画素毎の視差から視差のヒストグラムを作成し（ステップＳ６１）、このヒストグラムに応じて画素毎の補正量Factor2を設定する（ステップＳ６２）。ここでは、下記の式に基づいてFactor2を設定する。
【０１０９】
【数２】
2011052389.tif 000004
【０１１０】
例えば、図１１Ａに示す視差分布の場合では、図１１Ｂに示すように、[数２]に基づいて算出された画素毎の補正量Factor2（F2(D)）が設定される。
【０１１１】
その後のステップＳ１０〜ステップＳ１２の処理は、これまでと同様であるので説明を省略する。
【０１１２】
このように、視差のヒストグラムの頻度が高い部分は視差の補正量を大きくして立体感を強調し、頻度が低い部分は視差の補正量を小さくして立体感を抑制することで、視差のコントラストを一定にする。したがって、ユーザは遠近の判別が容易になり、立体感が判別、認識しやすくなる。
【０１１３】
＜第５の実施形態＞
図１２、図１３を用いて、第５の実施形態の多視点画像の生成処理について説明する。本実施形態は、２視点画像の撮影時の撮影モードに応じて主要被写体領域を設定する。
【０１１４】
２視点画像が入力されると（ステップＳ１）、画像毎の視差の変換率Factor1を設定し（ステップＳ２）、画素毎の視差D(x,y)を取得する（ステップＳ４）。
【０１１５】
次に、入力された２視点画像データの付帯情報から、当該２視点画像が撮像装置によって撮影された際に撮像装置に設定されていた撮影モードを取得し（ステップＳ７１）、取得した撮影モードが、人物・ポートレートモードであるか否かを判定する（ステップＳ７２）。
【０１１６】
人物・ポートレートモードである場合は（ステップＳ７２のＹＥＳ）、左視点画像Ｌを縦方向に複数に分割した領域のうち、画像中央部を主要被写体領域と設定する（ステップＳ７３）。例えば、図１４Ａに示すように、左視点画像Ｌを縦方向に３等分し、中央の領域Ａ１を主要被写体領域とする。
【０１１７】
この主要被写体領域の視差の平均値を計算し、主要被写体の視差D[主要]とする（ステップＳ７４）。さらに、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ７５）、ステップＳ４において取得した画素毎の視差をシフト量である視差D[主要]に合わせて更新する（ステップＳ７６）。
【０１１８】
次に、画素毎に、主要被写体領域との水平方向の画像上の距離L(x,y)を取得し（ステップＳ７７）、距離に応じた画素毎の補正量Factor2(x,y)=f(L(x,y))を設定する（ステップＳ７８）。
【０１１９】
例えば、図１４Ａの例では、主要被写体領域Ａ１においては一様に視差を拡大し、主要被写体領域Ａ１の左右の領域では、主要被写体領域から水平方向に離れるに比例して視差の拡大率を減少させるようなFactor2(x,y)を設定する。
【０１２０】
このように設定した画素毎の補正量Factor2(x,y)と、ステップＳ２において設定した画像毎の変換率Factor1とに基づいて、左視点画像Ｌを変換し、６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ７９）。
【０１２１】
その後のステップＳ１０〜ステップＳ１２の処理は、これまでと同様であるので説明を省略する。
【０１２２】
また、人物・ポートレートモードでない場合は（ステップＳ７２のＮＯ）、図１３のフローチャートへ移行し、風景モードであるか否かを判定する（ステップＳ８１）。
【０１２３】
風景モードでもない場合は（ステップＳ８１のＮＯ）、画素毎の補正は行わず、画像毎の変換率Factor1に基づいて、左視点画像Ｌを変換し、６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ８２）。
【０１２４】
風景モードである場合は（ステップＳ７２のＹＥＳ）、画像を横方向に複数に分割した領域のうち中央部を主要被写体領域と設定する（ステップＳ８３）。例えば、図１４Ｂに示すように、左視点画像Ｌを横方向に３等分し、中央の領域Ａ２を主要被写体領域とする。
【０１２５】
この主要被写体領域の視差の平均値を計算し、主要被写体の視差D[主要]とする（ステップＳ８４）。さらに、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ８５）、ステップＳ４において取得した画素毎の視差を、シフト量である視差D[主要]に合わせて更新する（ステップＳ８６）。
【０１２６】
次に、画素毎に、主要被写体領域との垂直方向の画像上の距離L2(x,y)を取得し（ステップＳ８７）、距離に応じて画素毎の補正量Factor2(x,y)=f(L2(x,y))を設定する（ステップＳ８８）。
【０１２７】
例えば、図１４Ｂの例では、主要被写体領域Ａ２においては補正を行わず、主要被写体領域Ａ２の上下の領域では、主要被写体領域から垂直方向に離れるに比例して視差を抑制させるようなFactor2(x,y)を設定する。
【０１２８】
このように設定した画素毎の補正量Factor2(x,y)と、ステップＳ２において設定した画像毎の変換率Factor1とに基づいて、左視点画像Ｌを変換し、６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ８９）。
【０１２９】
このように、付帯情報から２視点画像の撮影時の撮影モードを取得し、撮影モードに基づいて主要被写体の領域を推定することで、視差分布の計算をすることなく、適切な視差量を与えることができる。
【０１３０】
＜第６の実施形態＞
図１５を用いて、第６の実施形態の多視点画像の生成処理を説明する。本実施の形態は、入力２視点画像をシーン分析することにより、近景、中景、遠景を判別し、中景領域を主要被写体として設定する。
【０１３１】
２視点画像が入力されると（ステップＳ１）、画像毎の視差の変換率Factor1を設定し（ステップＳ２）、画素毎の視差D(x,y)を取得する（ステップＳ４）。
【０１３２】
次に、入力された２視点画像データのシーン分析を行い、領域毎に近景、中景、遠景に分類し（ステップＳ８１）、中景領域を主要被写体と設定する（ステップＳ８２）。シーン分析は、例えば左視点画像Ｌを複数の領域に分割し、分割した領域毎に輝度のヒストグラムを生成し、輝度の分布が広い、即ちコントラストが高い領域を近景、輝度の分布が狭い、即ちコントラストが低い領域を遠景として分類する。
【０１３３】
次に、ステップＳ４において取得した画素毎の視差D(x,y)に基づいて、ステップＳ８１において設定した主要被写体領域の視差の平均値を計算し、主要被写体の視差D[主要]を取得する（ステップＳ５）。
【０１３４】
さらに、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ６）、画素毎の視差を更新する（ステップＳ７）。
【０１３５】
そして、近景、中景、遠景領域にそれぞれ画素毎の補正量Factor2を設定する（ステップＳ８３）。
【０１３６】
例えば、中景領域においては一様に視差を拡大し、近景領域及び遠景領域では、補正を行わないようなFactor2(x,y)や、中景領域においては補正を行わず、近景領域及び遠景領域では視差を抑制させるようなFactor2(x,y)を設定することが考えられる。
【０１３７】
その後のステップＳ９〜ステップＳ１２の処理は、これまでと同様であるので説明を省略する。
【０１３８】
このように、シーン分析によって近景、中景、遠景を判別することで、対応点検出による画素毎の視差D(x,y)に誤算出があった場合であっても、適切に中景領域を主要被写体領域に設定することができる。
【０１３９】
＜その他の変形例＞
第１の実施形態等において、画像毎の視差の変換率Factor1(0)〜Factor1(5)を、0、0.2、0.4、0.6、0.8、及び1.0と設定したが、例えば、0、0.1、0.3、0.7、0.9、及び1.0のように、間隔が不均等になるように設定してもよい。
【０１４０】
上記のように設定することで、例えば最終多視点画像Ｓ０−Ｓ１間及びＳ４−Ｓ５間では、視差が圧縮されて立体感が弱められるが、画像の破綻を回避しやすい。また、視点画像Ｓ１−Ｓ２及び視点画像Ｓ３−Ｓ４間では、立体感をそのままに再現することができる。さらに、視点画像Ｓ２−Ｓ３間では、立体感を強調することができる。
【０１４１】
このように、画像毎の視差の変換率Factor1は、間隔が一定になるように設定してもよいし、中央部の画像間における視差変換率の差を両端部の画像間における視差変換率の差よりも大きくなるように設定してもよい。
【０１４２】
また、画像毎の視差の変換率Factor1と画素毎の視差の補正量Factor2を算出した後、左視点画像Ｌを基準として各視点画像Ｃ０〜Ｃ５を生成しているが、生成される多視点画像の視点の中心を基準として各視点画像を生成してもよい。
【０１４３】
例えば、式１の代わりに、下記の式３を用いることにより、各視点の中央部（６枚の多視点画像の場合であれば、視点画像Ｃ２及びＣ３の間）を各視点画像の基準とすることができる。
【０１４４】
Cn(x+Factor1(n)×(Factor2(x,y)-1.0)/2×newD(x,y),y)=L(x,y)  …式３
左視点画像Ｌを基準とすると、右側の視点画像になるにつれ、画素毎の視差が強調・抑制されることによる画像の歪みが大きくなる可能性があるが、各視点の中央部を基準とすることで、画像の歪みを左右均等に分配し、自然な多視点画像を生成することができる。
【０１４５】
＜画像処理装置の構成＞
図１６は、第１〜第６の実施形態を実施するための画像処理装置１０を示すブロック図である。この画像処理装置１０は、例えばパーソナル・コンピュータ、ワークステーション等により構成されている。画像処理装置１０は、画像入力部１１、画像出力部１２、処理方法指示部１３、視差取得部１５、視差変換率設定部１７、視差変換率補正部１８、画像変換部２０、及び立体画像生成部２３を含んでいる。
【０１４６】
画像入力部１１は、ステレオ画像として撮影された左視点画像Ｌ及び右視点画像Ｒ（２視点画像）が入力されるもので、例えば、立体画像用の多視点の画像が連結されたマルチ画像ファイル（ＭＰファイル）が記録された記録媒体からＭＰファイルを読み取る画像読取装置やネットワークを通じてＭＰファイルを取得する装置が対応する。
【０１４７】
画像出力部１２は、生成された立体画像が出力されるものであり、レンチキュラーレンズシートが表面に貼付されている立体写真プリント用の印刷装置、パララックスバリヤ方式モニタ等が対応する。
【０１４８】
処理方法指示部１３は、図５のステップＳ２１で判定を行ったオートモード／マニュアルモードの補正処理モードの設定や、画像毎の変換率Factor1や画素毎の補正量Factor2の設定を行うための操作部である。また、出力サイズ指示部１４は、出力する立体画像のサイズを指示するための操作部である。これらはキーボードやポインティングデバイスで構成される。なお、出力サイズ指示部１４は、画像出力部１２の出力サイズを自動的に取得するように構成してもよい。
【０１４９】
視差取得部１５は、画像入力部１１から入力された左視点画像Ｌと右視点画像Ｒとの画素毎又は領域毎の視差D(x,y)を取得するものであり、例えば図１のステップＳ４において用いられる。
【０１５０】
ヒストグラム作成部１６は、視差取得部１５が取得した画素毎又は領域毎の視差D(x,y)に基づいて視差のヒストグラムを作成するものであり、例えば図１０のステップＳ６１において用いられる。
【０１５１】
視差変換率設定部１７は、各視点画像間の視差変換率Factor1(0)〜Factor1(5)を設定する。例えば、処理方法指示部１３からの入力に基づいて、0、0.2、0.4、0.6、0.8、及び1.0のように差が一定になるように設定したり、0、0.1、0.3、0.7、0.9、及び1.0のように、中央部の画像間における視差変換率の差を両端部の画像間における視差変換率の差よりも大きくなるように設定する。
【０１５２】
視差変換率補正部１８は、基準となる画像の視差の補正量が０又は最小となるように、各視点画像の補正量を決定する。例えば、式１を用いることにより、左視点画像Ｌを基準とした補正量となり、式３を用いることにより視点画像Ｃ２及びＣ３の間を各視点画像の基準とすることができる。
【０１５３】
補正方法選択部１９は、後述する撮影モード検出部２８の検出結果に応じて、補正量Factor2の算出方法を選択するものであり、例えば図５のステップＳ２４、ステップＳ２７において用いられる。
【０１５４】
画像変換部２０は、視差→画像変換部２１及び画像シフト部２２から構成される。
【０１５５】
視差→画像変換部２１は、画像毎の視差の変換率Factor1及び画素毎の視差の補正量Factor2に基づいて、画像を変換し、多視点画像を生成するものであり、例えば図１のステップＳ９において用いられる。
【０１５６】
また、画像シフト部２２は、視差D[目標]に応じて、多視点画像を水平方向にシフトするものであり、例えば図１のステップＳ１０において用いられる。
【０１５７】
立体画像生成部２３は、生成された最終多視点画像に基づいて出力用の立体画像を生成するもので、例えば図１のステップＳ１１において用いられる。
【０１５８】
視差比較部２４は、各画素の視差を主要被写体の視差と比較するものであり、例えば図１のステップＳ８において用いられる。
【０１５９】
画像解析部２５は、ヘッダ解析部２６及び画像データ解析部２９を含んでいる。
【０１６０】
ヘッダ解析部２６は、画像ファイルのヘッダ部に記録された付帯情報から、画像情報を取得するものであり、画像サイズを取得する画像サイズ取得部２７と、画像が撮影された際に設定されていた撮影モードを取得する撮影モード検出部２８とを含んでいる。撮影モード検出部２８の検出結果は、例えば図５のステップＳ２４やステップＳ２７で用いられる。
【０１６１】
また、画像データ解析部２９は、画像ファイルの画像本体部に記録された各画素の画素値に基づいて画像データを解析するものであり、撮影シーンを解析するシーン解析部３０と、画像内の主要被写体を検出する主要被写体検出部３１とを含んでいる。シーン解析部３０の解析結果は、例えば図１５のステップＳ８１において用いられる。また、主要被写体検出部３１は、画像内の人物の顔を主要被写体として検出するものを含み、この検出結果は、例えば図１のステップＳ３において用いられる。
【０１６２】
主要被写体設定部３２は、撮影モード検出部２８の検出結果やシーン解析部３０の解析結果に基づいて画像内の主要被写体領域を設定するものであり、例えば図１２のステップＳ７３や図１３のステップＳ８３において用いられる。
【０１６３】
主要被写体目標視差保持部３３は、最終多視点画像における主要被写体の目標視差である視差D[目標]を保持するものであり、この視差D[目標]は、例えば図１のステップＳ１０において用いられる。
【０１６４】
主要被写体目標視差分布保持部３４は、主要被写体についての目標視差分布を保持しているものであり、全体目標視差分布保持部３５は、画像全体についての目標視差分布を保持しているものである。これらの目標視差分布は、例えば図９のステップＳ５３や図７のステップＳ４３において用いられる。
【０１６５】
目標値修正部３６は、多視点画像の目標視差を修正するものであり、例えば出力サイズ指示部１４からの入力に応じて修正率Factor3を算出し、修正率Factor3に基づいて主要被写体目標視差保持部３３や主要被写体目標視差分布保持部３４が保持している目標視差を修正する。
【０１６６】
このように構成された画像処理装置１０によって、上記の第１〜第６の実施形態を実施することができる。
【０１６７】
なお、ここでは多視点画像の生成処理を全てハードウェアで実現しているが、画像処理装置１０を制御するための多視点画像生成プログラムとして実現することも可能である。
【符号の説明】
【０１６８】
１０…画像処理装置、１１…画像入力部、１２…画像出力部、１３…処理方法支持部、１５…視差取得部、１６…ヒストグラム作成部、１７…視差変換率設定部、１８…視差変換率補正部、２０…画像変換部、２１…視差→画像変換部、２２…画像シフト部、２３…立体画像生成部、２５…画像解析部、２６…ヘッダ解析部、２９…画像データ解析部、３２…主要被写体設定部
【図１】
2011052389.tif 000005
【図２Ａ】
2011052389.tif 000006
【図２Ｂ】
2011052389.tif 000007
【図２Ｃ】
2011052389.tif 000008
【図２Ｄ】
2011052389.tif 000009
【図２Ｅ】
2011052389.tif 000010
【図２Ｆ】
2011052389.tif 000011
【図３Ａ】
2011052389.tif 000012
【図３Ｂ】
2011052389.tif 000013
【図３Ｃ】
2011052389.tif 000014
【図３Ｄ】
2011052389.tif 000015
【図４Ａ】
2011052389.tif 000016
【図４Ｂ】
2011052389.tif 000017
【図４Ｃ】
2011052389.tif 000018
【図４Ｄ】
2011052389.tif 000019
【図５】
2011052389.tif 000020
【図６】
2011052389.tif 000021
【図７】
2011052389.tif 000022
【図８Ａ】
2011052389.tif 000023
【図８Ｂ】
2011052389.tif 000024
【図９】
2011052389.tif 000025
【図１０】
2011052389.tif 000026
【図１１Ａ】
2011052389.tif 000027
【図１１Ｂ】
2011052389.tif 000028
【図１２】
2011052389.tif 000029
【図１３】
2011052389.tif 000030
【図１４Ａ】
2011052389.tif 000031
【図１４Ｂ】
2011052389.tif 000032
【図１５】
2011052389.tif 000033
【図１６】
2011052389.tif 000034
【手続補正書】
【提出日】平成24年6月21日(2012.6.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視差を有する２視点画像を入力する画像入力部と、
前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、
前記２視点画像の主要被写体を検出する主要被写体検出部と、
前記主要被写体の視差を取得する視差取得部と、
生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、
前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、
前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部と、
前記検出された撮影モードに応じて、前記補正部が前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正するか、又は前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正するかを選択する選択部と、
前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、
前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、
前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部と、
を備える画像処理装置。
【請求項２】
視差を有する２視点画像を入力する画像入力部と、
前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、
前記２視点画像の主要被写体を検出する主要被写体検出部と、
前記主要被写体の視差を取得する視差取得部と、
生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、
前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、
前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、
前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、
前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部と、
前記画素毎又は領域毎の視差のヒストグラムを取得する視差ヒストグラム取得部を備え、
前記補正部は、前記ヒストグラムの頻度に応じて視差階調を一定化するように前記視差の変換率を画素毎又は領域毎に補正する、画像処理装置。
【請求項３】
視差を有する２視点画像を入力する画像入力部と、
前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、
前記２視点画像の主要被写体を検出する主要被写体検出部と、
前記主要被写体の視差を取得する視差取得部と、
生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、
前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、
前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、
前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、
前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部と、
前記２視点画像の撮影シーンを認識する撮影シーン認識部と、
前記撮影シーンに応じて主要被写体領域を設定する主要被写体領域設定部とを備え、
前記補正部は、前記主要被写体領域からの画像上の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、画像処理装置。
【請求項４】
前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、
前記主要被写体領域設定部は、前記検出された撮影モードが人物モードである場合に、画像を縦方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、
前記補正部は、前記主要被写体領域からの水平方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項３に記載の画像処理装置。
【請求項５】
前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、
前記主要被写体領域設定部は、前記検出された撮影モードが風景モードである場合に、画像を横方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、
前記補正部は、前記主要被写体領域からの垂直方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項３に記載の画像処理装置。
【請求項６】
前記撮影シーン認識部は、前記２視点画像から前景領域、中景領域、及び遠景領域を抽出する抽出部を備え、
前記補正部は、前記抽出した各領域に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項３に記載の画像処理装置。
【請求項７】
画像全体の目標視差分布と主要被写体の目標視差分布とを保持する保持部を備え、
前記設定部は、生成する多視点画像の画像全体の視差の分布が前記画像全体の目標視差分布を満足するように視差の変換率を設定し、
前記補正部は、生成する多視点画像の主要被写体の視差の分布が前記主要被写体の目標視差分布を満足するように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する、請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成された立体表示画像を所定のサイズで出力する出力部と、
前記所定のサイズに応じて、前記画像全体の目標視差分布と主要被写体の目標視差分布を修正する修正部と、
を備える請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記設定部は、生成する多視点画像が４視点以上の場合に、中央部の視点位置の差を両端部の視点位置の差より大きくなるように視差の変換率を設定する、請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
前記補正部は、前記２視点画像のうち一方の画像の視差の変換率が０になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正し、
前記多視点画像生成部は、前記視差の変換率が０の画像を変換して多視点画像を生成する、請求項１から９のいずれかに記載の画像処理装置。
【請求項１１】
前記補正部は、生成する多視点画像のうち中央の視点位置の画像の視差の変換率が最小になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する、請求項１から９のいずれかに記載の画像処理装置。
【国際調査報告】
2011052389.tif 000035
2011052389.tif 000036