(57)【要約】デプス画像変換部１０１は、入力されたデプス画像のエッジ位置を後景側に移動させる。画素シフト部１０２は、変換後のデプス画像に基づき、画像データを構成する各画素の座標を水平方向にシフトすることにより他視点の画像を生成する。画素補間部１０３は、画素シフトにより生じた画素欠落領域を補間する。
2013005365.tif 000002
【特許請求の範囲】
【請求項１】
オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理装置であって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、
前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記デプス画像変更手段は、
前記デプス画像データのエッジで隔たれた前景領域、後景領域のうち、後景領域側にエッジ画素群で取り囲まれる画素の座標を移動させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、さらに、
オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、
前記デプス画像変更手段は、
後景の領域の複雑度が所定の値以下である場合を条件に実行されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、さらに、
オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、
前記デプス画像変更手段は、
前景の領域の複雑度が後景の領域の複雑度よりも高い場合を条件に実行されることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像処理装置は、さらに、
所定フレーム前のオリジナルの画像データにおける複雑度を記憶する複雑度記憶手段を備え、
前記デプス画像変更手段は、
所定フレーム前のオリジナルの画像データにおける前景領域の複雑度が所定の値以上である場合を条件に実行されることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記デプス画像変更手段は、
水平方向に隣接する画素との奥行きの値の差分が所定の値以上である画素を前記デプス画像データのエッジとして検出することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
前記デプス画像データにおけるエッジを定めるパラメータを記憶するレジスタを備え、
前記デプス画像変更手段は、
水平方向に隣接する画素との奥行きの値の差分と、前記レジスタに記憶されたパラメータとを比較することにより、前記デプス画像データのエッジを検出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
ユーザ操作を受け付ける操作手段を備え、
前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記操作手段からのユーザ入力により設定されることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、さらに、
オリジナルの画像データの種別を判定する判定手段を備え、
前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記判定手段により判定された画像データの種別に基づき定まることを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記デプス画像変更手段は、さらに、
前記エッジ画素群で取り囲まれる画素の座標の移動後、前記エッジ画素群で取り囲まれる画素に対して平滑化処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、さらに、
前記デプス画像の画素の座標の移動させる画素数を定めるパラメータを記憶するレジスタを備え、
前記デプス画像変更手段は、前記レジスタに記憶されたパラメータに示される画素数だけ、前記デプス画像データのエッジ画素群で取り囲まれる画素の座標を所定の方向に移動させることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、さらに、
前記デプス画像データのうち、デプス画像変更を行う画像範囲を選択する処理範囲選択手段を備え、
前記デプス画像変更手段は、
処理範囲選択手段により選択された画像範囲に対して実行されることを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理方法であって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、
前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップと
を備えることを特徴とする画像処理方法。
【請求項１４】
オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理をコンピュータに実行させるプログラムであって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、
前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理に用いる集積回路であって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、
前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に立体視画像の生成技術に関する。
【背景技術】
【０００２】
画像データを構成する各画素の座標を水平方向にシフトすることにより、元の画像データとは異なる視点の画像を生成し、多視点の画像からなる立体視画像を生成するＤＩＢＲ（Depth-image-based Rendering）技術が知られている（非特許文献１参照）。【０００３】
ＤＩＢＲでは、画像データに写る各オブジェクトの奥行き方向の位置を示すデプス画像に基づき、水平方向のシフト量を決定する。この際、手前に位置するオブジェクト（前景オブジェクト）と奥に位置するオブジェクト（後景オブジェクト）ではシフト量が異なるため、画素シフト後の画像には、前景オブジェクトと後景オブジェクトとの境界部分、すなわち奥行きの値が不連続に変化するエッジ近傍において、画素値が存在しない画素欠落領域（オクルージョン）が発生する。【０００４】
特許文献１には、画素欠落領域の近傍の画素を用いた線形補間を行うことにより、かかる画素欠落領域を補間する技術が開示されている。また非特許文献１には、デプス画像の奥行きの値が不連続に変化するエッジ部分をガウスフィルタにより平滑化し、平滑化後のデプス画像を用いて画素シフト処理を行うことにより画素欠落領域のサイズを縮小する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０９１６２２号公報
【非特許文献】
【０００６】
【非特許文献１】Fehn Christoph, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV"; Conference on Stereoscopic Displays and Virtual Reality Systems XI, JAN 19-22, 2004 San Jose CA; p.93-104
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の従来技術では、ＤＩＢＲ処理後の立体視画像が不自然なものとなる場合があった。【０００８】
本発明は上記事情に鑑みなされたものであり、違和感の少ないＤＩＢＲ処理を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一態様である画像処理装置は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理装置であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明の一態様である画像処理装置によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標をシフトするので、後景オブジェクト間に画素欠落領域が発生する。かかる画素欠落領域を後景オブジェクト間の画素を用いて補間することとなり、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。【００１１】
また、後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１にかかる画像処理装置１００の構成の一例を示すブロック図である。
【図２】（ａ）画像処理装置１００の入力データである画像データの一例である。（ｂ）画像データの各画素の奥行き方向の位置を示したデプス画像を示す図である。
【図３】エッジ移動の対象を示す図である。
【図４】デプス画像のエッジ位置の移動を示す図である。
【図５】エッジ移動後のデプス画像を示す図である。
【図６】画素シフト部１０２による画素シフトを説明するための図である。
【図７】（ａ）エッジ移動を行わなかった場合の画素欠落領域を示す図である。（ｂ）エッジ移動を行った場合の画素欠落領域を示す図である。
【図８】（ａ）エッジ移動を行わなかった場合の画素欠落領域に対して線形補間をした場合の画像データを示す図である。（ｂ）エッジ移動を行った場合の画素欠落領域に対して線形補間をした場合の画像データを示す図である。
【図９】視点画像生成処理の流れを示すフローチャートである。
【図１０】デプス画像変換処理の流れを示すフローチャートである。
【図１１】画像処理装置１１００の構成の一例を示すブロック図である。
【図１２】実施の形態２にかかる画像処理装置１２００の構成の一例を示すブロック図である。
【図１３】画像処理装置１２００の入力データである画像データの一例を示す図である。
【図１４】複雑な後景オブジェクトがぼけ、歪んだ画像を示す図である。
【図１５】実施の形態２にかかるデプス画像変換処理の流れを示すフローチャートである。
【図１６】実施の形態３にかかるデプス画像変換処理の流れを示すフローチャートである。
【図１７】実施の形態４にかかる画像処理装置１７００の構成の一例を示すブロック図である。
【図１８】実施の形態４にかかるデプス画像変換処理の流れを示すフローチャートである。
【図１９】実施の形態５にかかる画像処理装置１９００の構成の一例を示すブロック図である。
【図２０】処理範囲選択部１９０１により選択される画像範囲の一例を示す図である。
【図２１】実施の形態６にかかる画像処理装置のデプス画像変換部が行うデプス画像変換を示す図である。
【図２２】実施の形態６にかかるデプス画像変換処理の流れを示すフローチャートである。
【図２３】画像処理装置２３００の構成の一例を示すブロック図である。
【図２４】操作部２３０１によるパラメータの受け付け処理の流れを示すフローチャートである。
【図２５】セットアップメニュー画面の一例を示す図である。
【図２６】画像処理装置２６００の構成の一例を示すブロック図である。
【図２７】本発明の一態様にかかる画像処理装置を、ＬＳＩを用いて具現化した例を示す。
【発明を実施するための形態】
【００１３】
≪本発明にかかる一態様の基礎となった知見≫
まず、本発明にかかる一態様の基礎となった知見について説明する。
【００１４】
ＤＩＢＲでは、前景オブジェクトと後景オブジェクトとの境界部分に、画素欠落領域は発生する。このため、従来では、特許文献１や非特許文献１に開示される技術を用いて、ＤＩＢＲ処理により生じる画素欠落領域の補間が行なわれていた。
【００１５】
ここで、発明者らは、鋭意研究により、これらの技術によりＤＩＢＲ処理により生じる画素欠落領域を補間した場合、ＤＩＢＲ処理後の立体視画像が不自然なものとなる場合があることを発見した。
【００１６】
具体的には、特許文献１に開示される技術を用いてＤＩＢＲ処理により生じる画素欠落領域の補間を行なった場合、画素欠落領域の近傍の画素を用いて画素欠落領域の補間が行なわれる。画素欠落領域は前景オブジェクトと後景オブジェクトとの境界部分に発生するため、画素欠落領域は前景オブジェクトと後景オブジェクトとの間の線形的な色の内挿により補間されることとなる。その結果、ＤＩＢＲ処理後の立体視画像は、前景オブジェクトの縁が前景オブジェクトと後景オブジェクトの中間色で引き延ばされた画像となる。立体視表示時において、ディスプレイ上から飛び出して観察される前景オブジェクトは視聴者の注目を引くため、かかる前景オブジェクトのぼけや歪みは目立つ。
【００１７】
また、非特許文献１に開示される技術を用いて、デプス画像の奥行きの値が不連続に変化するエッジ部分をガウスフィルタにより平滑化し、平滑化後のデプス画像を用いてＤＩＢＲ処理を行った場合、画素欠落領域のサイズを小さくすることができるが、デプス画像の奥行きの値が急峻に変化する前景オブジェクトと後景オブジェクト間には画素欠落領域が発生する。このため、この画素欠落領域を補間する必要があり、補間後の立体視画像は前景オブジェクトがぼけて歪んだ画像となってしまう。
【００１８】
≪本発明の一態様の概要≫
発明者らは、以上の知見を基礎に、以下に示す発明の一態様を得るに至った。
【００１９】
本発明の一態様である画像処理装置は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理装置であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備える。
【００２０】
上記の態様によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標をシフトするので、後景オブジェクト間に画素欠落領域が発生する。かかる画素欠落領域を後景オブジェクト間の画素を用いて補間することとなり、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。
【００２１】
また、後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
【００２２】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記デプス画像変更手段は、前記デプス画像データのエッジで隔たれた前景領域、後景領域のうち、後景領域側にエッジ画素群で取り囲まれる画素の座標を移動させる。
【００２３】
上記の態様によれば、後景領域側にエッジを移動させるので、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
【００２４】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、前記デプス画像変更手段は、後景の領域の複雑度が所定の値以下である場合を条件に実行される。
【００２５】
上記の態様によれば、後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
【００２６】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、前記デプス画像変更手段は、前景の領域の複雑度が後景の領域の複雑度よりも高い場合を条件に実行される。
【００２７】
上記の態様によれば、前景オブジェクトが後景オブジェクトよりも複雑である場合に限り、エッジ位置を後景側に移動させるため、前景オブジェクトよりも複雑なオブジェクトが引き延ばされ、画質が劣化することを防ぐことができる。
【００２８】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、所定フレーム前のオリジナルの画像データにおける複雑度を記憶する複雑度記憶手段を備え、前記デプス画像変更手段は、所定フレーム前のオリジナルの画像データにおける前景領域の複雑度が所定の値以上である場合を条件に実行される。
【００２９】
上記の態様によれば、１フレーム単位で、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることを防ぎ、ちらつき発生による動画像の画質が劣化を防ぐことができる。
【００３０】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記デプス画像変更手段は、水平方向に隣接する画素との奥行きの値の差分が所定の値以上である画素を前記デプス画像データのエッジとして検出する。
【００３１】
上記の態様によれば、デプス画像の奥行きの値が急峻に変化する前景オブジェクトと後景オブジェクトとの境界をデプス画像データのエッジとして検出することができる。
【００３２】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、前記デプス画像データにおけるエッジを定めるパラメータを記憶するレジスタを備え、前記デプス画像変更手段は、水平方向に隣接する画素との奥行きの値の差分と、前記レジスタに記憶されたパラメータとを比較することにより、前記デプス画像データのエッジを検出する。
【００３３】
上記の態様によれば、装置内のレジスタを参照することにより、デプス画像データのエッジを検出することができる。
【００３４】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、ユーザ操作を受け付ける操作手段を備え、前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記操作手段からのユーザ入力により設定される。
【００３５】
上記の態様によれば、ユーザにとって所望のデプス画像変換の効果で画像の処理を行なうことができる。
【００３６】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、オリジナルの画像データの種別を判定する判定手段を備え、前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記判定手段により判定された画像データの種別に基づき定まる。
【００３７】
上記の態様によれば、画像データに写る被写体の種別に最適なデプス画像変換の効果で画像の処理を行なうことができる。
【００３８】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記デプス画像変更手段は、さらに、前記エッジ画素群で取り囲まれる画素の座標の移動後、前記エッジ画素群で取り囲まれる画素に対して平滑化処理を行う。
【００３９】
上記の態様によれば、画素シフト処理により生じる画素欠落領域のサイズを縮小することができる。また、画素補間の対象がすくなくなり、画素補間による画質の劣化を抑えることができる。
【００４０】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、前記デプス画像の画素の座標の移動させる画素数を定めるパラメータを記憶するレジスタを備え、前記デプス画像変更手段は、前記レジスタに記憶されたパラメータに示される画素数だけ、前記デプス画像データのエッジ画素群で取り囲まれる画素の座標を所定の方向に移動させる。
【００４１】
上記の態様によれば、ユーザにとって所望のデプス画像変換の効果で画像の処理を行なうことができる。
【００４２】
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、前記デプス画像データのうち、デプス画像変更を行う画像範囲を選択する処理範囲選択手段を備え、前記デプス画像変更手段は、処理範囲選択手段により選択された画像範囲に対して実行される。
【００４３】
上記の態様によれば、エッジ移動処理を行う画像範囲を指定して、多視点の画像を生成することができる。
【００４４】
また、本発明の一態様である画像処理方法は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理方法であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップとを備える。
【００４５】
上記の態様によれば、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことを可能とする画像処理方法を提供することができる。
【００４６】
また、本発明の一態様であるプログラムは、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理をコンピュータに実行させるプログラムであって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップとをコンピュータに実行させる。
【００４７】
上記の態様によれば、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことを可能とするプログラムを提供することができる。
【００４８】
また、本発明の一態様である集積回路は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理に用いる集積回路であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備える。
【００４９】
上記の態様によれば、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことを可能とする集積回路を提供することができる。
【００５０】
≪実施の形態１≫
以下では、本発明の実施の形態について、図面を参照しながら説明する。
【００５１】
［概要］
実施の形態１にかかる画像処理装置は、デプス画像に基づき画像データを構成する各画素の座標を所定方向にシフトし、元の画像データとは異なる視点の画像データを生成するものであるが、画素シフト処理に際して、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する点に特徴がある。画素シフト処理に際して、デプス画像のエッジ位置を後景側に移動させるので、画素欠落領域の両端の画素が後景オブジェクトの画素となり、画素欠落領域の補間による前景オブジェクトのぼけ、歪みを防ぐことが可能となる。
【００５２】
［構成］
まず、実施の形態１にかかる画像処理装置１００の構成について説明する。図１は、画像処理装置１００の構成の一例を示すブロック図である。本図に示されるように、画像処理装置１００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３を含んで構成される。以下、各構成部について説明する。
【００５３】
＜デプス画像変換部１０１＞
デプス画像変換部１０１は、入力されたデプス画像のエッジ位置を後景側に移動させる機能を有する。具体的には、水平方向に隣接する画素が有する奥行きの値が所定の閾値以上である画素位置をエッジ位置とし、そのエッジ位置を所定画素数、右方向に移動させる。
【００５４】
図２（ａ）は、画像処理装置１００の入力データである画像データの一例、図２（ｂ）は、図２（ａ）に示される画像データの各画素の奥行き方向の位置を示したデプス画像を示す図である。デプス画像は、各画素の奥行きを０〜２５５までの２５６階調の輝度で表したグレースケール画像であり、前方に位置するほど色が白、後方に位置するほど色が黒で表される。
【００５５】
デプス画像において、画像データに写る各被写体（オブジェクト）の境界で、奥行きの値が変化する。奥行きの値が急峻に変化する位置をデプス画像のエッジ位置と呼ぶ。本図に示す例では、人間の被写体（前景）と背景部分（後景）の境界位置がエッジ位置となる。
【００５６】
図３は、エッジ移動の対象を示す図である。縦軸が奥行きの値、横軸がｘ座標位置を示す。本図に示されるように、デプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値と処理画素位置の奥行きの値との差分がα以上である場合、エッジ移動の対象とする。
【００５７】
なお、本実施の形態においてエッジ移動の対象となるのは前景オブジェクトの右端のエッジである。前景オブジェクトの左端のエッジはエッジ移動の対象としない。その理由は、後述する画素シフト部１０２が、入力画像の前景オブジェクトの各画素を左方向にシフトし、入力画像の視点位置に対して右方向に離れた視点位置の画像を生成するため、前景オブジェクトの右端部分に画素欠落領域が発生するからである。前景オブジェクトの左端部分には画素欠落領域が発生しないため、前景オブジェクトの左端のエッジを移動させる必要はない。
【００５８】
図４は、デプス画像のエッジ位置の移動を示す図である。本図に示されるように、デプス画像変換部１０１は、特定したエッジ位置を所定画素（Ｎ画素）後景側に移動させる。具体的には、処理画素からＮ画素となりの画素までの奥行き値を、処理画素の奥行き値に変更する。ここで後景側とは、エッジにより隔たれた２領域うち、奥行きの値が小さい領域側をいう。すなわち、画素シフトにより右視点画像を生成する本実施の形態においては、エッジ位置を右方向に移動させる。
【００５９】
図５は、エッジ移動後のデプス画像を示す図である。本図に示されるように、デプス画像変換部１０１は、前景オブジェクトの右端のエッジ位置が右方向（後景側）にＮ画素水平移動したデプス画像を出力する。
【００６０】
＜画素シフト部１０２＞
画素シフト部１０２は、デプス画像変換部１０１から出力されたデプス画像に基づき、入力された画像データを構成する各画素の座標を水平方向にシフトさせることにより、入力画像の視点位置に対して右方向に離れた視点位置の画像を生成する機能を有する。
【００６１】
また、画素シフト部１０２は、画素シフトにより生じた画素値が存在しない画素欠落領域（オクルージョン）の位置を、０／１の１ｂｉｔのフラグで示す画素欠落領域フラグを生成する機能を有する。入力画像を左視点画像、画素シフトにより生成した画像を右視点画像として表示することにより、立体視を実現することができる。以下では、画素シフトの詳細について説明する。
【００６２】
図６は、画素シフト部１０２による画素シフトを説明するための図である。立体視効果には、飛び出し効果をもたらすもの（飛出し立体視）と、引っ込み効果をもたらすもの（引っ込み立体視）とがあり、図６（ａ）は飛出し立体視の場合の画素シフト、図６（ｂ）は引っ込み立体視の場合の画素シフトを示す。
【００６３】
これらの図において、Ｐは水平方向へのシフト量、L-View-Pointは左目瞳孔位置、R-View-Pointは右目瞳孔位置、L-Pixelは左目画素、R-Pixelは右目画素、ｅは瞳孔間距離、Ｈは表示画面の高さ、Ｗは表示画面の横幅、Ｓは視聴者から表示画面までの距離、Ｚは視聴者から結像点までの距離、すなわち被写体の奥行き方向の距離を示す。左目画素L-pixelと左目瞳孔L-view-pointとを結ぶ直線は左目瞳孔L-view-pointの視線、右目画素R-Pixelと右目瞳孔R-View-Pointとを結ぶ直線は右目瞳孔R-View-Pointの視線であり、３Ｄメガネによる透光・遮光の切り替えや、パララックスバリア、レンティキュラレンズ等を用いた視差障壁によって実現される。
【００６４】
まず、飛出し立体視の場合について説明する。図６（ａ）を参照するに、左目瞳孔L-view-point、右目瞳孔R-View-Point、結像点の三点からなる三角形と、左目画素L-pixel、右目画素R-pixel、結像点の三点からなる三角形の相似関係から、水平方向のシフト量Ｐ、被写体の距離Ｚ、視聴者から表示画面までの距離Ｓ、瞳孔間距離ｅとの間にはＰ＝ｅ（１−Ｓ／Ｚ）の関係が成り立つ。また、図６（ｂ）の引っ込み立体視の場合も上記の説明と同様の関係が成り立つ。画素シフト部１０２は、上記関係式に基づき、各画素に対するシフト量を算出し、算出したシフト量に相当する画素数水平方向に画素シフトすることにより、右視点画像（Ｒ画像）を生成する。
【００６５】
なお、被写体の距離Ｚはデプス画像から取得できる。また、瞳孔間距離ｅは、成人男性の平均値６．５ｃｍを採用する。また視聴者から表示画面までの距離Ｓは、最適な視聴距離が一般に表示画面の高さの３倍とされることから、３Ｈとする。
【００６６】
＜画素補間部１０３＞
画素補間部１０３は、画素シフト部１０２が出力した画素欠落領域フラグを受け付け、この画素欠落領域フラグにより示される画素欠落領域（オクルージョン）を補間する機能を有する。具体的には、画素欠落領域フラグにより画素欠落領域を特定し、画素欠落領域の近傍の画素を用いて、特定した画素欠落領域を線形補間する。
【００６７】
図７は、画素シフトにより生じた画素欠落領域を示す図である。図７（ａ）は、エッジ移動を行わなかった場合の画素欠落領域、図７（ｂ）は、エッジ移動を行った場合の画素欠落領域をそれぞれ示す。また、図８は、画素補間後の画像データを示す図である。図８（ａ）は図７（ａ）に示されるエッジ移動を行わなかった場合の画素欠落領域に対して線形補間をした場合の画像データ、図８（ｂ）は図７（ｂ）に示されるエッジ移動を行った場合の画素欠落領域に対して線形補間をした場合の画像データをそれぞれ示す。
【００６８】
エッジ移動を行わなかった場合、図７（ａ）に示されるように、前景オブジェクトと後景オブジェクトの境界に画素欠落領域が発生する。かかる画素欠落領域に対して画素の補間を行った場合、前景オブジェクトと背景オブジェクトとの間の線形的な色の内挿により欠落領域を補間することとなる。その結果、図８（ａ）に示されるように、前景オブジェクトの縁が中間色で引き延ばされ、前景オブジェクトの端部がぼけ、歪んだ画像となる。
【００６９】
一方エッジ移動を行った場合、画素欠落領域が後景側に数画素ずれる。これにより、図７（ｂ）に示されるように、画素欠落領域の両端の画素は、後景オブジェクトのものとなる。従って、かかる画素欠落領域に対して画素の補間を行った場合、後景オブジェクトの画素間の線形的な色の内挿により欠落領域を補間することになる。後景オブジェクト間の画素を用いて画素欠落領域を補間するため、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができ、図８（ｂ）に示すような良好な画質の画像データを生成することができる。
【００７０】
以上が画像処理装置１００の構成についての説明である。続いて、上記構成を備える画像処理装置１００の動作について説明する。
【００７１】
［動作］
＜視点画像生成処理＞
まず、画像処理装置１００による視点画像生成処理について説明する。図９は視点画像生成処理の流れを示すフローチャートである。本図に示されるように、デプス画像変換部１０１はデプス画像変換処理を行う（ステップＳ９０１）。デプス画像変換処理の詳細は後述する。次に、画素シフト部１０２は、シフト量の算出を行う（ステップＳ９０２）。具体的には、ステップＳ９０１で変換されたデプス画像に基づき、Ｐ＝ｅ（１−Ｓ／Ｚ）の関係式を用いて、各画素のシフト量を算出する。そして、画素シフト部１０２は、算出したシフト量に基づき画素シフト処理を行い、Ｒ画像を生成する（ステップＳ９０３）。Ｒ画像の生成後、画素補間部１０３は、画素シフト処理により生じた画素欠落領域を線形補間する（ステップＳ９０４）。以上が、画像処理装置１００による視点画像生成処理についての説明である。続いて、上記のステップＳ９０１のデプス画像変換処理の詳細について説明する。
【００７２】
＜デプス画像変換処理＞
図１０は、デプス画像変換処理の流れを示すフローチャートである。本図に示されるように、デプス画像変換部１０１はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次にデプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。
【００７３】
そして、デプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１０１は、エッジ位置をＮ画素シフトさせる（ステップＳ１００４）。差分がα以上でない場合（ステップＳ１００３、ＮＯ）、デプス画像変換部１０１は、その画素に対してエッジ位置のシフトを行わない。以上のステップＳ１００１からステップＳ１００４までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の詳細についての説明である。
【００７４】
以上のように本実施の形態によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標をシフトするので、画素欠落領域の両端の画素が後景オブジェクトの画素となる。後景オブジェクト間の画素を用いて画素欠落領域を補間するため、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。また、後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
【００７５】
［補足］
（左視点画像の生成について）
上記実施の形態では、入力画像を左視点画像（Ｌ画像）とし、画素シフトにより右視点画像（Ｒ画像）を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。入力画像を右視点画像とし、画素シフトにより左視点画像を生成してもよい。この場合、デプス画像変換部は、処理画素位置の奥行きの値（Ｃ）と処理画素位置の右１画素となりの奥行きの値（Ｄ）を取得し、処理画素位置の右１画素となりの奥行きの値（Ｄ）と処理画素位置の奥行きの値（Ｃ）の差分が所定の閾値（α）以上である（α≦Ｄ−Ｃ）場合、そのエッジ位置を右方向にＮ画素シフトする。
【００７６】
（多視点画像の生成について）
上記実施の形態では、左視点画像・右視点画像の２視点の画像を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。２視点以上の多視点画像を生成してもよい。本実施の形態では、図６に示される左目視点（L-View-Point）・右目視点（R-View-Point）の位置関係を考え、画素シフトすべき量を算出したが、左目視点・右目視点以外の視点の画像を生成するにあたっても、これと同様に視点の位置関係を考えることで画素シフトすべき量を算出し、画素シフトを行うことにより、その視点に対応する画像を生成することができる。
【００７７】
（ラインスキャン回路による実現性について）
上記の実施の形態で説明した画素シフト処理は、ラインスキャン回路で実現することができる。ラインスキャン回路とは、フレームメモリに格納された一画面分の画素（１９２０×１０８０）の集りを横１９２０画素ずつ読み出してデジタル映像信号に変換するハードウェア素子である。かかるラインスキャン回路は、１行分の画素データを格納しうるライン画素メモリと、フィルタ回路、パラレル／シリアル変換を行う変換回路によって実現することができる。上述したように画素シフト処理は、デプス画像の個々の画素の輝度を視差に変換して画素のシフトを行う処理である。ラインメモリに読み出された全周囲画像の一ライン分の画素の座標を、全周囲画像に対するデプス画像における対応するラインの奥行きに応じた画素数だけ横方向に移動すれば、デプス画像における個々の示される奥行きをもたらす他視点からの視点映像を作成することができる。
【００７８】
（デプス画像の生成について）
上記の実施の形態では、２次元画像およびデプス画像を入力し、デプス画像に基づく画素シフトにより左目用画像および右目用画像を得る場合を説明したが、本発明は必ずしもこの場合に限定されない。左目用画像および右目用画像を入力し、デプス画像は左目用画像および右目用画像から生成するとしてもよい。
【００７９】
図１１は、左目用画像および右目用画像からデプス画像の生成を行なう画像処理装置１１００の構成の一例を示すブロック図である。本図に示されるように、画像処理装置１１００は、デプス画像生成部１１０１、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３を含んで構成される。図１に示す画像処理装置１００とは、デプス画像生成部１１０１を備える点、および入力データが左目用画像と右目用画像である点において異なる。
【００８０】
デプス画像生成部１１０１は、左目用画像および右目用画像からデプス画像を生成する機能を有する。具体的には、まず左目用画像・右目用画像間の各画素について対応点探索を行う。そして、左目用画像と右目用画像の対応点の位置関係から、三角測量の原理に基づき、被写体の奥行き方向の距離を算出する。デプス画像は、各画素の奥行きを８ビットの輝度で表したグレースケール画像であり、デプス画像生成部１１０１は、算出した被写体の奥行き方向の距離を０〜２５５までの２５６階調の値に変換する。なお、対応点探索には、注目点の周りに小領域を設け、その領域中の画素値の濃淡パターンに基づいて行う領域ベースマッチング手法と、画像からエッジなど特徴を抽出し、その特徴間で対応付けを行う特徴ベースマッチングの２つに大きく大別されるが、何れの手法を用いてもよい。
【００８１】
なお、画像処理装置１１００は、デプス画像を生成後、生成したデプス画像に示される値を変更することにより、奥行き方向の距離を変更してもよい。これにより、入力した左目用画像・右目用画像の組みからなる立体視画像と異なる立体視強度の左目用画像・右目用画像を出力することができる。
【００８２】
画像処理装置１１００は、このような、デプス画像に示される値を変更することにより立体視強度を変更する場合において、再生成後の立体視画像がぼけたり、歪んだりすることを防ぐことができる。
【００８３】
≪実施の形態２≫
実施の形態２にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、エッジ位置移動処理の際、後景側の画素の複雑度を算出し、後景側の画素の複雑度が所定の閾値以下である場合を条件に、エッジ移動処理を行う点において、実施の形態１にかかる画像処理装置１００と異なる。後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
【００８４】
図１２は、実施の形態２にかかる画像処理装置１２００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１２００は、複雑度算出部１２０１、デプス画像変換部１２０２、画素シフト部１０２、画素補間部１０３を含んで構成される。
【００８５】
複雑度算出部１２０１は、画像データを構成する各画素の複雑度を算出する機能を有する。具体的には、隣接画素の画素値の差分の絶対値の総和を複雑度の特徴量として算出する。
【００８６】
デプス画像変換部１２０２は、後景側の画素の複雑度が所定の閾値以下である場合を条件に、入力されたデプス画像のエッジ位置を後景側に移動させる機能を有する。
【００８７】
図１３は、画像処理装置１２００の入力データである画像データの一例を示す図である。本図において、オブジェクト１３００は画素変化が単調なオブジェクトであり、オブジェクト１３０１は画素変化が複雑なオブジェクトである。また、オブジェクト１３００は前景側に、オブジェクト１３０１が後景側に位置する。かかる画像データのデプス画像に対して、エッジ位置を後景側、すなわちオブジェクト１３０１側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行った場合、オブジェクト１３０１の間に画素欠落領域が発生する。この画素欠落領域に対して画素補間を行った場合、複雑な後景オブジェクトが引き延ばされる。すなわち、図１４に示すように、複雑な後景オブジェクトがぼけ、歪んだ画像となり、画像全体の画質が劣化する。
【００８８】
本実施の形態にかかるデプス画像変換部１２０２は、後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うことにより、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐ。
【００８９】
画素シフト部１０２、画素補間部１０３については、実施の形態１にかかる画像処理装置１００と同じ構成であり、説明を略する。
【００９０】
続いて、実施の形態１と異なるデプス画像変換処理について説明する。図１５は実施の形態２にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１０に示される実施の形態１にかかる画像処理装置１００の動作と同じ部分については、同符号を付す。
【００９１】
本図に示されるように、デプス画像変換部１２０２はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次に複雑度算出部１２０１は、処理画素位置の複雑度データを生成する（ステップＳ１５０１）。ステップＳ１５０１の後、デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、複雑度算出部１２０１は、処理画素位置の左１画素となりの複雑度データを生成する（ステップＳ１５０２）。
【００９２】
デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１２０２は、後景側の画素の複雑度の値が所定の閾値（γ）以上であるかを判定する（ステップＳ１５０３）。
【００９３】
後景側の画素の複雑度の値がγ以上でない場合（ステップＳ１５０３、ＹＥＳ）、後景オブジェクトは複雑でないと判断し、デプス画像変換部１２０２は、エッジ位置をＮ画素右方向に（後景側に）シフトさせる（ステップＳ１００４）。
【００９４】
後景側の画素の複雑度の値がγ以上である場合（ステップＳ１５０３、ＹＥＳ）、後景オブジェクトは複雑であると判断し、デプス画像変換部１２０２は、画素シフト処理を行わない。以上のステップＳ１００１からステップＳ１５０３までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の説明である。
【００９５】
以上のように本実施の形態によれば、後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
【００９６】
≪実施の形態３≫
実施の形態３にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、エッジ位置移動処理の際、前景側の画素の複雑度と後景側の画素の複雑度を算出し、算出した前景側の画素の複雑度と後景側の画素の複雑度を比較する。そして、前景側の画素の複雑度が後景側の画素の複雑度よりも高い場合を条件に、エッジ移動処理を行う。前景オブジェクトが後景オブジェクトよりも複雑である場合に限り、エッジ位置を後景側に移動させるため、前景オブジェクトよりも複雑なオブジェクトが引き延ばされ、画質が劣化することを防ぐことができる。
【００９７】
図１６は、実施の形態３にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１５に示される実施の形態２にかかるデプス画像変換処理と同じ部分については、同符号を付す。本図に示されるように、デプス画像変換部１２０２はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次に複雑度算出部１２０１は、処理画素位置の複雑度データを生成する（ステップＳ１５０１）。ステップＳ１５０１の後、デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、複雑度算出部１２０１は、処理画素位置の左１画素となりの複雑度データを生成する（ステップＳ１５０２）。
【００９８】
デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１２０２は、前景側の画素の複雑度と後景側の画素の複雑度の比較を行う（ステップＳ１６０１）。
【００９９】
前景側の画素の複雑度が後景側の画素の複雑度よりも大きい場合（ステップＳ１６０１、ＹＥＳ）、デプス画像変換部１２０２は、エッジ位置をＮ画素右方向に（後景側に）シフトさせる（ステップＳ１００４）。前景側の画素の複雑度が後景側の画素の複雑度よりも大きくない場合（ステップＳ１６０１、ＮＯ）、デプス画像変換部１２０２は、画素シフト処理を行わない。以上のステップＳ１００１からステップＳ１６０１までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の説明である。
【０１００】
以上のように本実施の形態によれば、後景オブジェクトが前景オブジェクトよりも複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、前景オブジェクトよりも複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
【０１０１】
≪実施の形態４≫
実施の形態４にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行う点に特徴がある。これにより１フレーム単位で、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることを防ぎ、ちらつき発生による動画像の画質が劣化を防ぐことができる。
【０１０２】
図１７は、実施の形態４にかかる画像処理装置１７００の構成の一例を示すブロック図である。なお、図１２に示す実施の形態１にかかる画像処理装置１２００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１７００は、複雑度記憶部１７０１、デプス画像変換部１７０２、複雑度算出部１２０１、画素シフト部１０２、画素補間部１０３を含んで構成される。
【０１０３】
複雑度記憶部１７０１は、１フレーム前の前景オブジェクトの各画素が、後景側の画素よりも複雑か、複雑でないかを記憶する機能を有する。前景オブジェクトの各画素が、後景側の画素よりも複雑である場合、１の値を格納する。前景オブジェクトの各画素が、後景側の画素よりも複雑でない場合、０の値を格納する。
【０１０４】
デプス画像変換部１７０２は、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行う機能を有する。具体的には、１フレームにおける処理画素位置の画素が、後景側の画素よりも複雑でない場合、エッジ位置の移動処理を行わない。
【０１０５】
１フレーム単位でエッジ位置が前景側から後景側へと交互に移動した場合、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることとなり、ちらつきが発生し、動画像の画質が劣化する。本実施の形態にかかるデプス画像変換部１７０２は、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行うので、１フレーム単位でエッジ位置が前景側から後景側へと交互に移動することを防ぎ、ちらつきによる動画像の画質が劣化を防ぐことができる。
【０１０６】
複雑度算出部１２０１、画素シフト部１０２、画素補間部１０３については、実施の形態２にかかる画像処理装置１２００と同じ構成であり、説明を略する。
【０１０７】
続いて、実施の形態２と異なるデプス画像変換処理について説明する。図１８は、実施の形態４にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１５に示される実施の形態２にかかるデプス画像変換処理と同じ部分については、同符号を付す。
【０１０８】
本図に示されるように、デプス画像変換部１７０２はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次に複雑度算出部１２０１は、処理画素位置の複雑度データを生成する（ステップＳ１５０１）。ステップＳ１５０１の後、デプス画像変換部１７０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、複雑度算出部１２０１は、処理画素位置の左１画素となりの複雑度データを生成する（ステップＳ１５０２）。
【０１０９】
デプス画像変換部１７０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上でない場合（ステップＳ１００３、ＮＯ）、複雑度記憶部１７０１は、処理画素位置に０を格納する（ステップＳ１８０１）。
【０１１０】
差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１７０２は、前景側の画素の複雑度と後景側の画素の複雑度の比較を行う（ステップＳ１６０１）。前景側の画素の複雑度が後景側の画素の複雑度よりも大きくない場合（ステップＳ１６０１、ＮＯ）、複雑度記憶部１７０１は、処理画素位置に０を格納する（ステップＳ１８０１）。
【０１１１】
前景側の画素の複雑度が後景側の画素の複雑度よりも大きい場合（ステップＳ１６０１、ＹＥＳ）、デプス画像変換部１７０２は、１フレーム前の複雑度記憶部１７０１の処理画素位置のデータを参照する（ステップＳ１８０２）。１フレーム前の複雑度記憶部１７０１の処理画素位置のデータが０である場合（ステップＳ１８０２、ＹＥＳ）、エッジ位置の移動をおこなわず、複雑度記憶部１７０１は、処理画素位置に１の値を格納する（ステップＳ１８０３）。１フレーム前の複雑度記憶部１７０１の処理画素位置のデータが０でない場合（ステップＳ１８０２、ＮＯ）、デプス画像変換部１７０２は、エッジ位置をＮ画素右方向に（後景側に）シフトさせる（ステップＳ１００４）。
【０１１２】
その後、複雑度記憶部１７０１は処理画素位置に１の値を格納する（ステップＳ１８０３）。以上のステップＳ１００１からステップＳ１８０３までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の説明である。
【０１１３】
以上のように本実施の形態によれば、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行うことにより、フレーム単位で、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることを防ぎ、ちらつき発生による動画像の画質が劣化を防ぐことができる。
【０１１４】
≪実施の形態５≫
実施の形態５にかかる画像処理装置は実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、処理範囲を指定し、指定した処理範囲に対してエッジ位置移動処理を行う点に特徴がある。
【０１１５】
図１９は、実施の形態５にかかる画像処理装置１９００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１９００は、処理範囲選択部１９０１、デプス画像変換部１９０２、画素シフト部１０２、画素補間部１０３を含んで構成される。
【０１１６】
処理範囲選択部１９０１は、デプス画像変換処理を行う画像範囲を指定する機能を有する。
【０１１７】
図２０は、処理範囲選択部１９０１により選択される画像範囲の一例を示す図である。本図の例では右上のウィンドウ領域２００１を除く領域を処理範囲に指定する。この場合、ウィンドウ領域２００１に対しては、デプス画像変換処理によるエッジ位置の移動は行われない。
【０１１８】
デプス画像変換部１９０２は、処理範囲選択部１９０１により指定された画像範囲に対してデプス画像変換処理を行う機能を有する。図２０に示す例において、デプス画像変換部１９０２は、ウィンドウ領域２００１を除く領域に対してエッジ移動がなされたデプス画像が出力する。
【０１１９】
画素シフト部１０２、画素補間部１０３については、実施の形態１にかかる画像処理装置１００と同じ構成であり、説明を略する。
【０１２０】
以上のように、本実施形態によれば、エッジ移動処理を行う画像範囲を指定して、多視点の画像を生成することができる。
【０１２１】
≪実施の形態６≫
実施の形態６にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、変更後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、デプス画像変換部がデプス画像のエッジ位置移動後、さらにエッジを構成する画素に対して平滑化処理を行う点に特徴がある。
【０１２２】
図２１は、実施の形態６にかかる画像処理装置のデプス画像変換部が行うデプス画像変換を示す図である。図２１は、図３に示されるデプス画像に対し、デプス画像変換処理を行った場合の、デプス画像を示す図である。本図に示されるように、デプス画像変換部は、エッジ位置をＮ画素後景側に移動させた後、エッジを構成する画素に対して平滑化処理を施す。具体的にはガウスフィルタによりエッジを平滑化する。これにより、画素シフト処理により生じる画素欠落領域のサイズを縮小することができる。画素補間の対象がすくなくなり、画素補間による画質の劣化を抑えることができる。
【０１２３】
図２２は、実施の形態６にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１０に示される実施の形態１にかかる画像処理装置１００の動作と同じ部分については、同符号を付す。
【０１２４】
本図に示されるように、デプス画像変換部１０１はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次にデプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、デプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。
【０１２５】
差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１０１は、エッジ位置をＮ画素シフトさせる（ステップＳ１００４）。エッジ位置の移動後、デプス画像変換部１０１は、エッジを構成する画素に対して平滑化処理を施す（ステップＳ２２０１）。差分がα以上でない場合（ステップＳ１００３、ＮＯ）、デプス画像変換部１０１は、その画素に対してエッジ位置のシフトを行わない。以上のステップＳ１００１からステップＳ１００４までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理についての説明である。
【０１２６】
以上のように、本実施の形態によれば、エッジ位置をＮ画素後景側に移動さした後、エッジを構成する画素に対して平滑化処理を施す。これにより、画素シフト処理により生じる画素欠落領域のサイズを縮小することができる。画素補間の対象がすくなくなり、画素補間による画質の劣化を抑えることができる。
【０１２７】
≪実施の形態７≫
実施の形態７にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮがユーザ操作により決定・変更される点において異なる。
【０１２８】
図２３は、実施の形態７にかかる画像処理装置２３００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置２３００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３、操作部２３０１、およびレジスタ２３０２を含んで構成される。
【０１２９】
操作部２３０１は、ユーザの操作入力を受け付ける機能を有する。具体的には、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値の入力等を受け付ける
レジスタ２３０２は、操作部２３０１により入力されたデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を記憶する機能を有する。
【０１３０】
デプス画像変換部１０１は、レジスタ２３０２に記憶されているデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮを読み出し、デプス画像の変換を行なう。
【０１３１】
図２４は、操作部２３０１によるパラメータの受け付け処理の流れを示すフローチャートである。
【０１３２】
本図に示されるように、操作部２３０１は、まず、図２５に示すようなセットアップメニュー画面をユーザに提示する（ステップＳ２４０１）。
【０１３３】
図２５に示す例では、デプス画像変換の効果の程度を、「効果低」、「効果中」、「効果高」の３段階から選択するメニュー画面となっている。ユーザが「効果低」を選択した場合、α＝８、Ｎ＝２画素のパラメータがレジスタ２３０２に格納される。また、ユーザが「効果中」を選択した場合、α＝１６、Ｎ＝３画素のパラメータがレジスタ２３０２に格納される。また、ユーザが「効果高」を選択した場合、α＝３２、Ｎ＝４画素のパラメータがレジスタ２３０２に格納される。
【０１３４】
セットアップメニュー画面を表示した後、操作部２３０１は、ユーザが上下左右キーを入力したか判定する（ステップＳ２４０２）。
【０１３５】
上下左右キーが入力された場合（ステップＳ２４０２、ＹＥＳ）、操作部２３０１は、キー方向に従いハイライトを移動させる（ステップＳ２４０３）。
【０１３６】
上下左右キーが入力されない場合（ステップＳ２４０２、ＮＯ）、操作部２３０１は、チェックボックス上で決定キーが押されたか判定する（ステップＳ２４０４）。
【０１３７】
チェックボックス上で決定キーが押された場合（ステップＳ２４０４、ＹＥＳ）、操作部２３０１は、チェックボックスのチェックを行う（ステップＳ２４０５）。
【０１３８】
決定キーが押されない場合（ステップＳ２４０４、ＮＯ）、操作部２３０１は、ＯＫボタン上で決定キーが押されたかを判定する（ステップＳ２４０６）。
【０１３９】
決定キーが押されない場合（ステップＳ２４０６、ＮＯ）、操作部２３０１は、キャンセルボタン上で決定キーが押されたか判定する（ステップＳ２４０７）。
【０１４０】
ＯＫボタン上で決定キーが押された場合（ステップＳ２４０６、ＹＥＳ）、チャックした値をレジスタ２３０２に格納する（ステップＳ２４０８）。
【０１４１】
なお、上記では、デプス画像変換の効果の程度を、ユーザが「効果低」、「効果中」、「効果高」の３段階から選択する場合を説明したが、ユーザがデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を直接入力するとしてもよい。
【０１４２】
また、ユーザが、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値の入力するのではなく、２次元画像の種別を判定し、その判定結果に基づくデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮをレジスタに格納するとしてもよい。
図２６は、画像処理装置２６００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置２６００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３、判定部２６０１、およびレジスタ２３０２を含んで構成される。
【０１４３】
判定部２６０１は、入力された２次元画像データの種別を判定し、その判定結果に基づき、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を決定する機能を有する。決定したパラメータαおよびＮは、レジスタ２３０２に格納する。
【０１４４】
判定部２６０１は、入力された２次元画像データを解析し、例えば、「人物」、「風景」、「アニメ」といった画像の種別を判定する。画像の種別の判定では、例えば、肌色等を抽出することで、２次元画像データに写る被写体が人物であるか否かを判定することができる。
【０１４５】
そして、判定部２６０１は、画像種別の判定結果に基づき、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を決定する。例えば、人物が写る画像データである場合には、人物等を大きく飛び出して表示したいと考えられるため、デプス画像変換の効果の程度が高くなるパラメータ、例えばα＝３２、Ｎ＝４画素と決定する。
【０１４６】
また、風景の画像データである場合には、人物が写る画像データと比べ飛び出し量が低いと考えられるため、デプス画像変換の効果が低くなるパラメータ、例えば、α＝８、Ｎ＝２画素と決定する。
【０１４７】
以上のように本実施の形態によれば、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値をユーザが選択することにより、所望のデプス画像変換の効果で画像の処理を行なうことができる。
【０１４８】
≪変形例≫
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
【０１４９】
（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
【０１５０】
（ｂ）本発明は、アプリケーション実行制御を行うＩＣ、ＬＳＩ、その他の集積回路のパッケージとして構成されるものとしてもよい。図２７は、本発明の一態様にかかる画像処理装置を、ＬＳＩを用いて具現化した例を示す。本図に示されるように、ＬＳＩ２７００は、例えば、ＣＰＵ２７０１（中央処理装置：Central Processing Unit）、ＤＳＰ２７０２（デジタル信号プロセッサ：Digital Signal Processor）、ＥＮＣ／ＤＥＣ２７０３（エンコーダ／デコーダ：Encoder/Decoder）、ＶＩＦ２７０４（ビデオインターフェイス：Video Interface）、ＰＥＲＩ２７０５（周辺機器インターフェイス：Peripheral Interface）、ＮＩＦ２７０６（ネットワークインターフェイス：Network Interface）、ＭＩＦ２７０７（メモリインターフェイス：Memory Interface）、ＲＡＭ／ＲＯＭ２７０８（ランダムアクセスメモリ／読み出し専用メモリ：Random Access Memory/Read Only Memory）を含んで構成される。
【０１５１】
各実施の形態で説明した処理手順は、プログラムコードとしてＲＡＭ／ＲＯＭ２７０８に格納される。そして、ＲＡＭ／ＲＯＭ２７０８に格納されたプログラムコードは、ＭＩＦ２７０７を介して読み出され、ＣＰＵ２７０１またはＤＳＰ２７０２で実行される。これにより、各実施の形態で説明した画像処理装置の機能を実現することができる。
【０１５２】
また、ＶＩＦ２７０４は、Camera（Ｌ）２７１２、Camera（Ｒ）２７１３等の撮像装置や、ＬＣＤ２７１４（液晶ディスプレイ：Liquid Crystal Display）等の表示装置と接続され、立体視画像または立体視映像の取得または出力を行う。また、ＥＮＣ／ＤＥＣ２７０３は、取得または生成した立体視画像または立体視映像のエンコード・デコードを行う。また、ＰＥＲＩ２７０５は、Ｔｏｕｃｈ  Ｐａｎｅｌ２７１０等の操作装置と接続され、これらの周辺機器の制御を行う。また、ＮＩＦ２７０６は、ＭＯＤＥＭ２７０９等と接続され、外部ネットワークとの接続を行う。
【０１５３】
このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
【０１５４】
なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１５５】
（ｃ）本発明は、上記各実施の形態に記載の画像処理装置を備えるデジタルテレビ、携帯電話機器、パーソナルコンピュータ等の三次元画像表示装置としても実現可能である。また、上記各実施の形態に記載の画像処理装置を備えるＢＤプレーヤ、ＤＶＤプレーヤ等の再生機器としても実現可能である。この場合、処理対象となる二次元画像、およびデプス画像は、放送電波、またはネットワーク等を通じて取得される。
【０１５６】
（ｄ）上記実施の形態では、画素補間部が線形補間により画素欠落領域を補間する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、補間する近傍１６画素の値を用いて３次補間を行って画素の値を決めるバイキュービック補間により画素欠落領域を補間してもよい。
【０１５７】
（ｅ）上記実施の形態では、複雑度算出部が、隣接画素の画素値の差分の絶対値の総和を複雑度の特徴量として算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像データを周波数変換し、その高周波成分を複雑度の特徴量として算出してもよい。
【０１５８】
（ｆ）上記実施の形態４では、１フレーム前の複雑度を参照して、エッジ位置の移動処理を行う場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、前の複数フレームの複雑度を参照し、エッジ位置の移動処理を行ってもよい。
【０１５９】
（ｇ）上記実施の形態６では、ガウスフィルタによりエッジを平滑化する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、メディアンフィルタによりデプス画像のエッジ位置を平滑化してもよい。
【０１６０】
（ｈ）上記実施の形態では、デプス画像が各画素の奥行きを０〜２５５までの２５６階調の輝度で表したグレースケール画像である場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、０〜１２７までの１２８階調の輝度で表したグレースケール画像であってもよい。
【０１６１】
（ｉ）上記実施の形態では、視聴者から表示画面までの距離Ｓを表示画面の高さＨの３倍（３Ｈ）とし、画素シフト量を算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ＴＯＦ（Time Of Flight）型センサ等の距離センサにより、視聴者から表示画面までの距離Ｓを算出してもよい。
【０１６２】
（ｊ）上記実施の形態では、瞳孔間距離ｅを成人男性の平均値６．４ｃｍとし、画素シフト量を算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、視聴者が大人であるか子供であるか、男性であるか女性であるかを判別し、それに応じた瞳孔間距離ｅに基づき画素シフト量を算出してもよい。
【０１６３】
（ｋ）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１６４】
本発明にかかる画像処理装置によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標のシフトおよび画素欠落領域の補間を行うので、視聴者の注目を引く前景オブジェクトがぼけて歪むことなく、画素シフト処理により生じた画素欠落領域を補間し、元の画像データとは異なる視点の画像を生成することができ、有益である。
【符号の説明】
【０１６５】
１００  画像処理装置
１０１  デプス画像変換部
１０２  画素シフト部
１０３  画素補間部
１１０１  デプス画像生成部
１２０１  複雑度算出部
１７０１  複雑度記憶部
１９０１  処理範囲選択部
２３０１  操作部
２３０２  レジスタ
２６０１  判定部
【図１】
2013005365.tif 000003
【図２】
2013005365.tif 000004
【図３】
2013005365.tif 000005
【図４】
2013005365.tif 000006
【図５】
2013005365.tif 000007
【図６】
2013005365.tif 000008
【図７】
2013005365.tif 000009
【図８】
2013005365.tif 000010
【図９】
2013005365.tif 000011
【図１０】
2013005365.tif 000012
【図１１】
2013005365.tif 000013
【図１２】
2013005365.tif 000014
【図１３】
2013005365.tif 000015
【図１４】
2013005365.tif 000016
【図１５】
2013005365.tif 000017
【図１６】
2013005365.tif 000018
【図１７】
2013005365.tif 000019
【図１８】
2013005365.tif 000020
【図１９】
2013005365.tif 000021
【図２０】
2013005365.tif 000022
【図２１】
2013005365.tif 000023
【図２２】
2013005365.tif 000024
【図２３】
2013005365.tif 000025
【図２４】
2013005365.tif 000026
【図２５】
2013005365.tif 000027
【図２６】
2013005365.tif 000028
【図２７】
2013005365.tif 000029
【国際調査報告】
2013005365.tif 000030
2013005365.tif 000031
2013005365.tif 000032
2013005365.tif 000033