(57)【要約】【課題】複数の画像が隣接記録された画像に対する解像度変換における画像境界部のノイズ発生を防止した構成を実現する。【解決手段】解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する。例えば、出力画像と同じ入力画像の画像境界部の画素のミラーリング処理やコピー処理によって生成した仮想画素を参照画素として設定して画像境界近傍の出力画素の画素値を決定する。【選択図】図６
2012094936.tif 000002
【特許請求の範囲】
【請求項１】
画像の解像度変換を実行する映像信号出力部を有し、
前記映像信号出力部は、
解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する画像処理装置。
【請求項２】
前記映像信号出力部は、
画像境界近傍の出力画像の画素値算出に際して、入力画像の画像境界部の画素のミラーリング処理によって生成した仮想画素を参照画素として設定する請求項１に記載の画像処理装置。
【請求項３】
前記映像信号出力部は、
画像境界近傍の出力画像の画素値算出に際して、入力画像の画像境界部の画素のコピー処理によって生成した仮想画素を参照画素として設定する請求項１に記載の画像処理装置。
【請求項４】
前記映像信号出力部は、
画像境界近傍の出力画像の画素値算出に際して、
出力画素の画素位置と参照画素との距離に応じた重み係数を設定し、該重み係数を適用した参照画素の画素値加算により出力画素の画素値を算出する請求項１に記載の画像処理装置。
【請求項５】
前記映像信号出力部は、
画像の水平方向の画像境界近傍の出力画像の画素値算出に際して前記画端処理によって出力画素の画素値設定を実行する水平方向解像度変換部と、
画像の垂直方向の画像境界近傍の出力画像の画素値算出に際して前記画端処理によって出力画素の画素値設定を実行する垂直方向解像度変換部を有する請求項１に記載の画像処理装置。
【請求項６】
前記映像信号出力部は、
出力画像の各画素位置を示す位相情報に基づいて、前記画端処理を実行する必要がある画像境界部近傍の画素であるか否かの判定を実行する請求項１に記載の画像処理装置。
【請求項７】
前記映像信号出力部は、
３次元画像表示に適用するサイドバイサイド形式の画像、またはトップアンドボトム形式の画像に対する解像度変換処理に際して、左目用画像と右目用画像の画像境界近傍の出力画像の画素値算出に適用する参照画素の設定処理において前記画端処理を実行する請求項１に記載の画像処理装置。
【請求項８】
前記映像信号出力部は、
複数の異なる画素信号に対する解像度変換を並列に実行する請求項１に記載の画像処理装置。
【請求項９】
前記複数の異なる画素信号は、ＹＣｂＣｒ信号の各信号である請求項８に記載の画像処理装置。
【請求項１０】
前記映像信号出力部は、
異なる解像度を持つ複数の表示部に対応した解像度変換を並列に実行する請求項１に記載の画像処理装置。
【請求項１１】
画像の解像度変換を実行する映像信号出力部と、
前記映像信号出力部の生成した映像信号を表示する表示部を有し、
前記映像信号出力部は、
解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する画像表示装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、画像の解像度変換を実行する映像信号出力部を有し、
前記映像信号出力部が、解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、画像の解像度変換を実行する映像信号出力部を有し、
前記プログラムは、
前記映像信号出力部に、解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行させ、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定させる処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えば３次元画像（３Ｄ画像）を構成する左目用画像と右目用画像のように複数の異なる画像を含む画像に対する補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、３次元画像（３Ｄ画像）を表示可能としたテレビやＰＣなどの表示装置や、３次元画像（３Ｄ画像）を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。３Ｄ画像は異なる視点からの撮影画像、すなわち左目用画像と右目用画像を利用して表示処理が行われる。従って、３次元画像をメディアに記録する場合は、左目用画像と右目用画像の１組の画像を記録することが必要となり、再生処理に際してはこれらの１組の画像を利用して再生を行うことになる。
【０００３】
３次元画像データの記録あるいは転送処理方式には様々な方式がある。例えば、代表的な方式として、
フレームシーケンシャル（Ｆｒａｍｅ  Ｓｅｑｕｅｎｔｉａｌ）方式、
サイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式、
トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式、
これらの方式が知られている。
【０００４】
フレームシーケンシャル（Ｆｒａｍｅ  Ｓｅｑｕｅｎｔｉａｌ）方式は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）のフレームをＬ、Ｒ、Ｌ、Ｒ、・・・と交互に記録／転送する方式である。
サイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式は、ＬＲ画像を１フレーム画像中の左右に分割して記録／転送する方式である。
トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式は、ＬＲ画像を１フレーム画像中の上下に分割して記録／転送する方式である。
【０００５】
上記手法のうち、サイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式や、トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式ではＬ画像とＲ画像を１つの画像フレームの中に設定した分割領域（左右または上下）に格納して転送する。転送データは例えば表示装置において受信され、１フレームの画像からＬ画像とＲ画像とを取得し、これらを交互に出力するといった処理が行われる。
【０００６】
なお、例えばビデオカメラ等の撮像装置によって撮影されＨＤ等のメディアに記録された３Ｄ画像の解像度と表示装置の解像度とは一般的に異なっていることが多い。従って、撮像装置によってメディアに記録された３Ｄ画像の表示処理に際しては、表示装置の解像度に応じて拡大または縮小する画像補正処理が行われる。
【０００７】
この画像補正処理において、例えば出力画像中のある画素の画素値を決定する際に、入力画像の構成画素の画素値を参照した補間処理等が行われる。画素値補間処理の手法としては、例えば線形補間処理、バイリニア処理、バイキュービック処理等の従来から知られた補間処理が適用可能である。
【０００８】
しかし、上述のサイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式や、トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式では前述のようにＬＲ画像を１フレーム画像の分割領域（左右または上下）に設定して転送する。このような画像に対して、周囲画素を参照画素とした補間処理を実行するとＬＲ画像の境界部分の補間処理において問題が発生する。
【０００９】
例えばＬ画像とＲ画像の境界付近でＬ画像の補間処理を行う場合、Ｌ画像に隣接するＲ画像の画素値を参照してしまうといったことが発生する。同様にＲ画像についてもＬＲ画像の境界近傍ではＲ画像に隣接するＬ画像の画素値を参照して補間画素値を決定してしまうといった事態が発生する。このような誤った参照処理に基づく補間を行うと、本来、設定すべき画素値と大きく異なる画素値が設定されてしまいノイズを含む画素として出力されるといった問題が発生する。
【００１０】
このように、上述のサイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式や、トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式等、複数画像を同一のフレーム画像に並べた画像に対して拡大や縮小等の画像補正を実行すると、左目用画像と右目用画像の境界周辺の補正時に他方の画像の画素の影響が出てしまう。
【００１１】
このような問題を解決する手法を提案した従来技術として、例えば、特許文献１（特開２００８−２３６５２６号公報）がある。特許文献１は、画像に含まれるエッジパターンの検出を行い、検出したエッジパターンに応じて補間処理方法を切り替える構成を開示している。
しかし、この手法を適用しても、結局は補間する際には周辺画素を参照画素として用いており、左目用画像と右目用画像を確実に区別した処理を行うことができない場合が発生する。
【００１２】
さらに、特許文献２（特開平７−７９４１８号公報）は、時間方向の画素を利用したより高精度な解像度変換を行う構成を開示している。
しかし、この手法においても周辺画素を参照画素として利用しており、左目用画像と右目用画像の境界周辺画素における異なる画像間の参照処理を完全に防止することはできない。
【００１３】
このように、従来技術の問題点としては下記の問題点が存在する。
画像の拡大・縮小時に左目用画像と右目用画像の境界周辺に逆目用画素の影響が出てしまうためにトップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式の画像の場合は画面上下、サイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式の画像の場合は画面左右の画面上にノイズが発生する。結果として、補正処理後の画像を利用した３Ｄ映像の画質の悪化が発生し、また、３Ｄ画像を使用した画像解析系の機能に対しての精度も低下する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００８−２３６５２６号公報
【特許文献２】特開平７−７９４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明は、例えば上述の状況に鑑みてなされたものであり、例えば３次元画像（３Ｄ画像）を構成する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）のように複数の異なる画像を含む画像に対する補正処理を実行する構成において、ＬＲ画の境界等、画像境界部における誤った補正処理を防止して高品質な画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、
画像の解像度変換を実行する映像信号出力部を有し、
前記映像信号出力部は、
解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する画像処理装置にある。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、画像境界近傍の出力画像の画素値算出に際して、入力画像の画像境界部の画素のミラーリング処理によって生成した仮想画素を参照画素として設定する。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、画像境界近傍の出力画像の画素値算出に際して、入力画像の画像境界部の画素のコピー処理によって生成した仮想画素を参照画素として設定する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、画像境界近傍の出力画像の画素値算出に際して、出力画素の画素位置と参照画素との距離に応じた重み係数を設定し、該重み係数を適用した参照画素の画素値加算により出力画素の画素値を算出する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、画像の水平方向の画像境界近傍の出力画像の画素値算出に際して前記画端処理によって出力画素の画素値設定を実行する水平方向解像度変換部と、画像の垂直方向の画像境界近傍の出力画像の画素値算出に際して前記画端処理によって出力画素の画素値設定を実行する垂直方向解像度変換部を有する。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、出力画像の各画素位置を示す位相情報に基づいて、前記画端処理を実行する必要がある画像境界部近傍の画素であるか否かの判定を実行する。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、３次元画像表示に適用するサイドバイサイド形式の画像、またはトップアンドボトム形式の画像に対する解像度変換処理に際して、左目用画像と右目用画像の画像境界近傍の出力画像の画素値算出に適用する参照画素の設定処理において前記画端処理を実行する。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、複数の異なる画素信号に対する解像度変換を並列に実行する。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記複数の異なる画素信号は、ＹＣｂＣｒ信号の各信号である。
【００２５】
さらに、本発明の画像処理装置の一実施態様において、前記映像信号出力部は、異なる解像度を持つ複数の表示部に対応した解像度変換を並列に実行する。
【００２６】
さらに、本発明の第２の側面は、
画像の解像度変換を実行する映像信号出力部と、
前記映像信号出力部の生成した映像信号を表示する表示部を有し、
前記映像信号出力部は、
解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する画像表示装置にある。
【００２７】
さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、画像の解像度変換を実行する映像信号出力部を有し、
前記映像信号出力部が、解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する画像処理方法にある。
【００２８】
さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、画像の解像度変換を実行する映像信号出力部を有し、
前記プログラムは、
前記映像信号出力部に、解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行させ、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定させる処理を実行させるプログラムにある。
【００２９】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３１】
本発明の一実施例によれば、複数の画像が隣接記録された画像に対する解像度変換における画像境界部のノイズ発生を防止した構成が実現される。具体的には、例えば解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する。例えば、出力画像と同じ入力画像の画像境界部の画素のミラーリング処理やコピー処理によって生成した仮想画素を参照画素として設定して画像境界近傍の出力画素の画素値を決定する。この処理により、画像境界部近傍においても出力画像の画素値は、隣接する異なる画像の画素値を参照することなく算出され、境界部における他の画像の影響によるノイズ発生を防止した品質の高い出力画像の生成が可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明に係る画像処理装置の構成例について説明する図である。
【図２】マルチピクチャフォーマット規格について説明する図である。
【図３】サイドバイサイド形式の画像について説明する図である。
【図４】出力装置に応じて実行される解像度変換処理について説明する図である。
【図５】３Ｄ表示命令に基づく３Ｄ表示処理と２Ｄ表示命令に基づく２Ｄ表示処理について説明する図である。
【図６】映像信号出力部１０４の詳細構成を示すブロック図である。
【図７】画素データ分割部２０２から画素データ合成部２１５における処理の流れを説明する図を示す図である。
【図８】解像度変換部３００の構成例を示すブロック図である。
【図９】図８に示す解像度変換部３００において実行する解像度変換処理のシーケンスを説明するフローチャートを示す図である。
【図１０】入力画像の水平方向解像度が１４４０で、解像度変換後の水平方向解像度１９２０の場合の画素対応と処理について説明する図である。
【図１１】演算画素選択部３０３の詳細構成例を示す図である。
【図１２】画端処理の例について説明する図である。
【図１３】サイドバイサイド形式の画像の例と境界部におけるノイズ発生について説明する図である。
【図１４】ＬＲ画像境界部における出力画素生成処理の具体例について説明する図である。
【図１５】線形補間処理による出力画素の画素値算出処理例について説明する図である。
【図１６】線形補間処理による出力画素の画素値算出処理例について説明する図である。
【図１７】線形補間処理による出力画素の画素値算出処理例について説明する図である。
【図１８】線形補間処理による出力画素の画素値算出処理例について説明する図である。
【図１９】トップアンドボトム形式の画像の例と境界部におけるノイズ発生について説明する図である。
【図２０】多視点の画像を１つの画像フレーム中に含む画像の例について説明する図である。
【図２１】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．画像処理装置の構成と処理について
２．解像度変換処理の詳細について
３．画像がトップアンドボトム形式の場合の処理例について
４．多視点画像の解像度変換処理について
５．３次元画像（３Ｄ）と２次元画像（２Ｄ）との切り替え処理について
６．画像処理装置のハードウェア構成例について
【００３４】
［１．画像処理装置の構成と処理について］
図１以下を参照して、本発明の画像処理装置の構成と処理について説明する。本発明の画像処理装置は、先に説明したように１つの画像フレームに左目用画像（Ｌ画像）と右目用画像（Ｒ画像）など、複数の画像が混在する画像に対する画像補正処理における問題点を解決するものである。具体的には、例えば拡大処理や縮小処理等の解像度変換時の問題点を解決するものである。すなわち、ＬＲ画像の境界部近傍において、参照すべきでない隣接する他の画像の画素の参照による画素値設定を防止するものである。
【００３５】
先に説明したように、１つの画像フレームに左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を混在させて画像を記録、転送する方式としては以下の方式がある。
（１）サイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式：ＬＲ画像を１フレーム画像中の左右に分割して記録／転送する方式。
（２）トップアンドボトム（Ｔｏｐ＆Ｂｏｔｔｏｍ）方式：ＬＲ画像を１フレーム画像中の上下に分割して記録／転送する方式。
【００３６】
まず、以下の実施例では、画像がサイドバイサイド（Ｓｉｄｅ  ｂｙ  Ｓｉｄｅ）方式で転送された場合の処理例について説明する。
図１は本発明の画像処理装置の一実施例を示すブロック図である。
図１に示すように、画像処理装置１００は記録媒体読出し部１０１、復号部１０２、画像データ一時記録部１０３、映像信号出力部１０４、制御部１０５、入力部１０６、内蔵表示部１０７を有する。
【００３７】
入力部１０６はユーザからの指示入力を受ける。受け取った指示は制御部１０５へ転送される。以下では、ユーザから、「記録媒体に記録された３Ｄ形式画像を外部モニタに表示する」との指示を受けた場合の処理例について説明する。
【００３８】
制御部１０５は入力部１０６を介して受信した指示入力を解析し、その結果により各部に対して命令を発行する。
記録媒体読出し部１０１は制御部１０５からの記録媒体読出し命令により記録媒体からのデータ読出しを行う。記録媒体としては内蔵Ｆｌａｓｈメモリ、内蔵ＨＤＤの他に着脱可能なメモリーカード、ＣＤ−ＲやＤＶＤ−Ｒなどの光ディスク、ネットワーク上の記録装置など形式はどのようなものでもよい。記録媒体読出し部１０１により読み出された記録媒体に記録されていたデータは復号化部１０２へ転送される。
復号化部１０２は制御部１０５からの復号化命令により受信したデータの復号を行う。
【００３９】
記録媒体には上述したように３Ｄ形式画像が記録され、記録媒体読出し部１０１は記録媒体から３Ｄ形式画像を読み出して、復号化部１０２に提供する。
なお、例えば３次元画像表示用の左目用画像（Ｌ画像）と右目用画像（Ｒ画像）等のように、複数視点の画像を格納するフォーマットとしてＣＩＰＡで規格化されたマルチピクチャフォーマット規格がある。記録媒体には例えばマルチピクチャフォーマット規格に従った３Ｄ形式画像が記録されている。
【００４０】
マルチピクチャフォーマット規格は、図２に表すように、一般的なカメラ撮影画像の記録フォーマットとして定義された［Ｅｘｉｆ］で規定されているＪＰＥＧ圧縮データと同一構造の個別画像を記録し、複数の個別画像を関連付けて記録可能としたフォーマットである。左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の関連情報などのマルチピクチャフォーマット付属情報が記録可能な設定とされたフォーマットである。
【００４１】
復号化部１０２では記録媒体に記録されたマルチピクチャフォーマットに従ったデータ中に格納されている２視点のＪＰＥＧ画像［左目用画像（Ｌ画像）と右目用画像（Ｒ画像）］を取り出し、そのＪＰＥＧ画像を復号化し、例えばＹＣｂＣｒ４２２の画像データとして取り出し、画像データ一時記録部１０３へ転送する。この転送の際、取り出された画像データは、本例では図３に示すようにサイドバイサイド形式で転送され、画像データ一時記録部１０３に記録されるものとする。
【００４２】
なお、ＹＣｂＣｒ４２２の画像データは、輝度信号Ｙと、色差信号Ｃｂ，Ｃｒとを４：２：２のサンプリング比率で取得したデータである。水平方向の２つの画素対応のＹ号に対して、１つのＣｂ，Ｃｒの信号値を取得するサンプリング方式である。この方式により、例えば１つの画素についてのＲＧＢ信号各々８ビット、計２４ビットのデータをＹＣｂＣｒ４２２形式では１６ビットで表現可能となり、メモリ（画像データ一時記録部１０３）の使用効率を高めることが可能となる。
【００４３】
画像データ一時記録部１０３は例えばＤＤＲ  ＳＤＲＡＭ  （Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリにより構成され、受信した画像データを一時記録する。後段の映像信号出力部１０４が出力可能になると制御部１０５より画像データ一時記録部１０３に対して画像データ出力命令が受信される。すると画像データが映像信号出力部１０４へ転送される。
【００４４】
映像信号出力部１０４は制御部１０５より外部出力命令を受信すると、画像データ一時記録部１０３から読みだした画像データ（サイドバイサイド形式の画像データ）に基づいて、内蔵表示部１０７、または外部モニタの表示部構成に適合した出力データを生成して出力を行う。
【００４５】
例えば図４に示すように、外部モニタが、１９２０×１０８０画素の画像データを表示可能なディスプレイである場合、映像信号出力部１０４は、画像データ一時記録部１０３から入力するサイドバイサイド画像を１９２０×１０８０画素の画像データとする解像度変換を実行して出力する。
【００４６】
この処理により、外部モニタとしての例えば３Ｄテレビにおいて、テレビの解像度に応じたＬ画像とＲ画像を交互に表示し、例えばシャッタ式メガネを装着した観察者がＬ画像を左目でのみ観察し、Ｒ画像を右目でのみ観察する設定とする制御を実行することで、３Ｄ画像の表示、観察を行うことができる。
【００４７】
また、内蔵表示部１０７を出力先とし、内蔵表示部１０７が６４０×４８０画素の画像データを出力可能な構成である場合、入力するサイドバイサイド画像を６４０×４８０画素の画像データとする解像度変換を実行して出力する。この処理により、内蔵表示部１０７に３Ｄ画像を表示することができる。
【００４８】
なお、外部モニタ、あるいは内蔵表示部における３Ｄ画像の表示方式としては、シッャタ式メガネを必要とする方式に限らず、偏光板を用いたメガネを利用する方式、あるいは、裸眼で観察可能な３Ｄ画像を表示するディスプレイを用いた方式等、様々な方式が適用可能である。
【００４９】
図４には、画像データ一時記録部１０３から映像信号出力部１０４に入力するサイドバイサイド画像が１４４０×５４０画素の画像データとした例を示している。映像信号出力部１０４では、この１４４０×５４０画素の画像データに対する画像拡大あるいは縮小処理を伴う画像補正を実行して、外部モニタに適合した１９２０×１０８０画素の画像データを生成し、また、内蔵表示部１０７に適合した６４０×４８０画素の画像データを生成する。
なお、この映像信号出力部１０４の詳細構成と詳細処理については、後段でさらに詳細に説明する。
【００５０】
内蔵表示部１０７は例えば液晶パネルなどにより構成される。
内蔵表示部１０７は、制御部１０５より３Ｄ表示命令を受信すると、図５（ａ）に示すようにサイドバイサイド画像データに基づいて映像信号出力部１０４の生成した３Ｄ画像を表示する。また制御部１０５より２Ｄ表示命令を受信すると、図５（ａ）に示すようにサイドバイサイド画像をそのまま表示する。すなわち、Ｌ画像とＲ画像を１フレーム画像に設定したサイドバイサイド画像として表示する。
【００５１】
図６は、映像信号出力部１０４の詳細構成を示すブロック図である。この図６を用いて映像信号出力部１０４の詳細構成および詳細処理について説明する。
図６に示すように、映像信号出力部１０４は、画像データ入力部２０１、画素データ分割部２０２、水平方向解像度変換部２０３〜２０８垂直方向解像度変換部２０９〜２１４、画素データ合成部２１５、信号処理部２１６，２１７、外部出力部２１８、２１９、制御部２２０を有している。
【００５２】
制御部２２０は、先に図１を参照して説明した画像処理装置本体の制御部１０５から命令を受け取り、図６に示す映像信号出力部１０４の各構成部に対して命令を発行する。図の複雑化を防ぐために図示していないが、制御部２２０から各部への命令パスは存在する。
【００５３】
画素データ入力部２０１は画像データ一時記録部１０３に対して制御部２２０より制御部１０５を通じて画像データ出力命令を発行することで、データ一時記録部１０３に記録された３Ｄ画像データを入力する。
【００５４】
なお、先に説明したように、データ一時記録部１０３にはＬ画像とＲ画像を１フレーム画像に設定したサイドバイサイド画像形式のデータがＹＣｂＣｒ４２２画像データとして記録されている。
【００５５】
図６に示す映像信号出力部１０４の画素データ入力部２０１は画像データ一時記録部１０３からＹＣｂＣｒ４２２画像データを入力する。画像データは左上の画素から順に送信されてくる。入力画素は画素データ分割部２０２に送信される。
【００５６】
画素データ分割部２０２において、本実施例では画像フォーマットはＹＣｂＣｒ４２２、出力先は外部モニタと内蔵表示部１０７の２系統のため、制御部２２０より分割命令を受信すると、図６に示すように受信した画像データを後段の解像度変換処理を行うために画素成分（Ｙ，Ｃｂ，Ｃｒ）ごとに６つに分割処理を行う。
【００５７】
分割したそれぞれのデータは後段の水平方向解像度変換部２０３〜２０８へ転送する。画素データ分割部２０２は、それぞれ外部モニタ用Ｙ信号を水平方向解像度変換部２０３、外部モニタ用Ｃｂ信号を水平方向解像度変換部２０４、外部モニタ用Ｃｒ信号を水平方向解像度変換部２０５、内蔵表示部用Ｙ信号を水平方向解像度変換部２０６、内蔵表示部用Ｃｂ信号を水平方向解像度変換部２０７、内蔵表示部用Ｃｒ信号を水平方向解像度変換部２０８へ転送する。今回は出力先が外部モニタと内蔵表示部１０７の２つのパスのため、６系統への分割が必要となるが出力パスが増えると、ＹＣｂＣｒ４２２フォーマットの場合、パス×３の数の分割が必要になる。
【００５８】
水平方向解像度変換部２０３〜２０８は、制御部２２０から解像度変換命令としての拡大縮小命令を受信する。例えば、
入力画像の水平方向の解像度は１４４０、
画像を出力する外部モニタの水平方向の解像度は１９２０、
内蔵表示部１０４の水平方向の解像度は６４０、
これらの設定である場合、入力画像に対して各出力先の表示部の解像度に応じた解像度変換を行うことが必要となる。制御部２２０は、出力先に応じた解像度変換のための拡大縮小命令を発行する。
【００５９】
水平方向解像度変換部２０３〜２０８に水平方向解像度変換処理に必要な画素数が入力されると、それぞれの画素成分（Ｙ，Ｃｂ，Ｃｒ）ごとに水平方向の解像度変換処理を実行する。解像度変換処理の詳細については後述する。水平方向解像度変換部２０３〜２０８における水平方向解像度変換処理が終了すると、水平方向の解像度変換がなされた画素データがそれぞれ垂直方向解像度変換部２０９〜２１４へ転送される。
【００６０】
垂直方向解像度変換部２０９〜２１４も、制御部２２０より出力先に応じた解像度変換のための拡大縮小命令を受信する。例えば、
入力画像の垂直方向の解像度は５４０、
画像を出力する外部モニタの垂直方向の解像度は１０８０、
内蔵表示部１０４の水平方向の解像度は４８０、
これらの設定である場合、入力画像に対して各出力先の表示部の解像度に応じた解像度変換を行うことが必要となる。制御部２２０は、出力先に応じた解像度変換のための拡大縮小命令を発行する。
【００６１】
垂直方向解像度変換部２０９〜２１４に対して、垂直方向解像度変換処理に必要なライン数が入力すると、それぞれの画素成分ごとに垂直方向の解像度変換処理を実行する。処理は水平方向解像度変換と解像度変換方向が異なる処理となる。垂直方向解像度変換処理が終了すると、解像度変換された画素データがそれぞれ画素データ合成部２１５へ転送される。
【００６２】
画素データ合成部２１５において画素データの合成を行う。制御部２２０からの画素データ合成命令により、解像度変換部２０３〜２１４においてＹＣｂＣｒ各信号単位で独立に解像度変換処理を行なって生成した画素成分信号を合成し、出力用の画像データを生成する。本実施例では外部モニタと内蔵表示部１０７の２系統に出力することになっているので、合成した外部モニタ用の画像データを信号処理部２１６、内蔵表示部１０７の画像データを信号処理部２１７へ転送する。
【００６３】
図７に画素データ分割部２０２から画素データ合成部２１５における処理の流れを説明する図を示す。
画素データ分割部２０２は、画像データ入力部２０１からＹＣｂＣｒ４２２信号２５１を取得し、Ｙ信号２６１、Ｃｂ信号２６２、Ｃｒ信号２６３を生成する。
解像度変換部２０３〜２１４は、ＹＣｂＣｒ各信号単位で独立に解像度変換処理を実行する。この解像度変換は出力先（本例では外部モニタおよび内蔵表示部１０７）の解像度に応じた変換処理として行われる。
この解像度変換処理により、
外部モニタ用Ｙ信号２７１、
外部モニタ用Ｃｂ信号２７２、
外部モニタ用Ｃｒ信号２７３、
内蔵表示部用Ｙ信号２７４、
内蔵表示部用Ｃｂ信号２７５、
内蔵表示部用Ｃｒ信号２７６、
これらの信号が生成される。
【００６４】
これらの信号は、画素データ合成部２１５に入力される。画素データ合成部２１５は、
外部モニタ用Ｙ信号２７１、
外部モニタ用Ｃｂ信号２７２、
外部モニタ用Ｃｒ信号２７３、
これらの３信号の合成処理を実行して、外部モニタ用ＹＣｂＣｒ信号２８１を生成して図６に示す信号処理部２１６に出力する。
【００６５】
また、画素データ合成部２１５は、
内蔵表示部用Ｙ信号２７４、
内蔵表示部用Ｃｂ信号２７５、
内蔵表示部用Ｃｒ信号２７６、
これらの３信号の合成処理を実行して、内蔵表示部用ＹＣｂＣｒ信号２８２を生成して図６に示す信号処理部２１７に出力する。
【００６６】
信号処理部２１６、２１７は制御部２２０からの各種信号処理実行命令を受信し、後段の出力デバイスに合わせてガンマ補正など各種画像処理を行い、外部出力部２１８、内蔵表示部出力部２１９へ送信する。
【００６７】
外部出力部２１８と、内蔵表示部出力部２１９は後段の出力デバイスに合わせたインタフェース信号へ変換を行う。例えば外部モニタに対する信号の場合はＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、内蔵表示部１０４に対する信号の場合はＭＩＰＩ（Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ）形式にして画像出力を行う。
【００６８】
［２．解像度変換処理の詳細について］
次に水平方向解像度変換部２０３〜２０８、垂直方向解像度変換部２０９〜２１４で実行する解像度変換処理についての詳細について説明する。
【００６９】
図８に解像度変換部３００のブロック図を示す。図８に示す解像度変換部３００は、図６に示す以下の解像度変換部、すなわち、
水平方向解像度変換部２０３〜２０８、
垂直方向解像度変換部２０９〜２１４、
これらの各解像度変換部の１つの構成例を示す図である。水平方向解像度変換部２０３〜２０８と、垂直方向解像度変換部２０９〜２１４の各々は、図８に示す解像度変換部３００の構成を有する。
また、図９に、図８に示す解像度変換部３００において実行する解像度変換処理のシーケンスを説明するフローチャートを示す。
【００７０】
図８、図９を参照して解像度変換部３００において実行する解像度変換処理の詳細について説明する。
なお、水平方向解像度変換と、垂直方向解像度変換は、解像度変換の方向が異なるが基本的な処理は同様なので、ここでは水平方向解像度変換について説明する。
【００７１】
図８に示すように、解像度変換部３００は画素データ入力部３０１、出力位相演算部３０２、演算画素選択部３０３、係数算出部３０４、畳込み演算部３０５、係数和算出部３０６、正規化部３０７、画素データ出力部３０８、制御部３０９を有する。
【００７２】
制御部３０９は、図１に示す装置本体の制御部１０５から命令を受け取り、図８に示す解像度変換部３００の各構成部に対して命令を発行する。図の複雑化を防ぐために図示していないが、制御部３０９から各構成部への命令パスが存在する。
【００７３】
制御部１０５から入力画像の水平方向解像度と拡大縮小処理後の水平方向解像度を受信すると図９の解像度変換処理フローに従った処理が開始される。
なお、以下に説明する解像度変換処理例は、一例として、
入力画像の水平方向解像度＝１４４０とし、
解像度変換後の水平方向解像度＝１９２０とする、
このような設定の水平方向解像度変換を行う処理例について説明する。
すなわち、水平方向の画素数が１４４０画素の入力画像について、水平方向の画素数が１９２０画素の出力画像を生成する解像度変換を実行する。
【００７４】
図９に示すフローのステップＳ１０１において出力位相の演算を行う。図８に示す出力位相演算部３０２が、制御部３０９から入力画像の水平方向解像度情報（＝１４４０）と、拡大縮小処理後の水平方向解像度情報（＝１９２０）を受け取り、これらの入力情報に基づいて出力画素の位相演算を行う。
【００７５】
具体的には入力画像の水平方向解像度が１４４０で、解像度変換後の水平方向解像度１９２０のときは図１０に示すような位置関係に画素を配置することを演算により算出する。
図１０には、
（ａ）入力画素（水平方向解像度＝１４４０）
（ｂ）出力画素（水平方向解像度＝１９２０）
これらの異なる解像度を持つ入出力画素の画素位置を示している。
【００７６】
図８に示す出力位相演算部３０２は、図１０に示すように、例えば出力画素の０画素目の位相位置は入力画素の０番目の画素に対して、−０．１２５の位置に生成する必要があることを算出する。
出力画素の画素０の位相（入力画素０に対する位相）は、−０．１２５となる。
なお、入力画素の画素０の位相を０として、左方向を−、右方向＋、入力画素の隣接画素間距離を位相＝１．０として設定している。
例えば、図１０に示す（ａ）入力画素において画素番号７１８の画素は、位相＝７１８となる。
【００７７】
出力位相演算部３０２は、出力画素の各々について、入力画素の０番目の画素（画素０）の位置からのずれ量に対応する位相情報を算出して、算出した位相情報を演算画素選択部３０３に出力する。
位相情報出力が完了すると、ステップＳ１０２へ移行する。
【００７８】
ステップＳ１０２において、画素データが画素データ入力部３０１へ入力され、入力された画素は演算画素選択部３０３へ出力される。転送が終了すると、ステップＳ１０３へ移行する
【００７９】
ステップＳ１０３において、演算画素選択部３０３は、出力画素の画素値を算出するために必要な画素が入力されたかの解析を行い、必要な画素が入力されたと判断すると、入力画素から出力画素の画素値を算出する演算に使用する画素（参照画素）の選択を行う。
【００８０】
なお、これらの出力画素の画素値を算出するために必要な画素が入力されたかの解析処理と、参照画素の選択処理は、演算画素選択部３０３の詳細構成を示す図１１に示す必要画素判断部４０１において行われる。
【００８１】
必要画素判断部４０１は出力位相演算部３０２から受け取った位相から、その位相に出力画素を生成する演算に必要な入力画素を確認し、その画素が画素データ入力部３０１から演算画素選択部３０３へ転送されたかを判断する。
【００８２】
例えば入力画素に含まれる２画素から位相５３９．５の出力画素を生成することが必要な場合は、その出力画素の画素値を入力画素の画素値に基づいて算出することが必要となる。この位相５３９．５の出力画素の画素値算出に用いる参照画素は、例えば入力画素の画素５３９と画素５４０の２画素となる。この場合、必要画素判断部４０１は画素５４０が画素データ入力部３０１から演算画素選択部３０３へ転送されたかを判断する。
【００８３】
なお、入力画像の水平方向解像度が１４４０、解像度変換後の水平方向解像度が１９２０のときは、図１０に示すように出力画素０画素目は位相が−０．１２５なので入力画素の０画素目が演算画素選択部３０３へ転送されれば必要画素が入力されたと判断する。
【００８４】
必要画素判断部４０１において、演算画素選択部３０３へ必要画素が入力されたと判断した場合、ステップＳ１０４へ移行する。また入力されたと判断されなければ再びステップＳ１０２へ移行し、次の画素を入力する。
【００８５】
ステップＳ１０４において、演算画素選択部３０３は、図１１に示す画端位相判断部４０２において、画端処理が必要か否かの判断を行う。なお、本実施例において画端処理とは、画像の端部等の出力画素の画素値を決定する場合に実行する参照画素の設定または決定処理を意味する。
【００８６】
先に説明したように、位相５３９．５の出力画素の画素値を算出する場合、画素値算出に用いる参照画素として、入力画素の画素５３９と画素５４０の２画素を用いることができる。しかし、図１０に示す設定において、出力画素中の左端の画素である出力画素０の位相は−０．１２５であり、この位相に対応する位置より左側には入力画素が存在しない。従って出力画素０については、上記の位相５３９．５の出力画素の画素値算出処理のように、出力画素を挟む位置にある２つの入力画素を参照画素とするアルゴリズムを利用した画素値算出処理ができない。
【００８７】
同様に、図１０に示す出力画素の右端の出力画素１９１９についても、出力画素１９１９の右側に入力画素は存在せず、出力画素を挟む位置にある２つの入力画素を参照画素とするアルゴリズムを利用した画素値算出処理ができない。
【００８８】
従って、このような端部の画素については、出力画素位置の左右にある２つの入力画素を参照画素とするアルゴリズムとは異なる画像端部（画端）特有の画素値推定アルゴリズムを利用する。この画端特有の画素値推定アルゴリズムを利用した画素値設定処理において利用する参照画素の設定や決定処理を画端処理と呼ぶ。
【００８９】
出力画素の位相の左右位置に参照可能な入力画素が存在しない場合は、画端処理が必要と判断してステップＳ１０５へ移行する。そうでない場合はステップＳ１０６へ移行する。
【００９０】
出力画素の位相の左右位置に参照可能な入力画素が存在せず、画端処理が必要と判断した場合は、ステップＳ１０５において、演算画素選択部３０３の図１１に示す画端処理実行部４０４が画端処理を実行する。
【００９１】
画端処理は、前述したように出力画素の画素値を算出するために必要な入力画素が出力画素の画素位置の両側に存在しない場合の出力画素の画素値算出に適用する参照画素を設定または決定する処理である。
この画端処理の例について、図１２を参照して説明する。
【００９２】
図１２には、以下の２つの画端処理例を示している。
（ａ）ミラーリング処理
（ｂ）コピー処理
【００９３】
図１２（ａ）に示すミラーリング処理は、図に示すように、画像端部の画素（画素０，１，２，３）を境目に鏡に写したような形に仮想画素（画素０'，１'，２'，３'）をつくる処理である。
図１２（ｂ）に示すコピー処理は、画像端部の画素（画素０）をコピーすることで仮想画素（画素０'，１'，２'，３'）をつくる処理である。
この仮想的な入力画素を参照画素として用いて出力画素の画素値を算出する。
【００９４】
なお、ここで説明している例は入力画素の２画素を参照画素として用いて出力画素の画素値を設定する例であるため、図１２（ａ）に示すミラーリング処理を適用した場合と、図１２（ｂ）に示すコピー処理を適用した場合とで、出力画素の画素値として算出される値は同じになる。
【００９５】
参照画素は２画素のみならず、４画素等、さらに多くの画素を参照画素とする手法も可能である。このような場合は、図１２（ａ）に示すミラーリング処理を適用した場合と、図１２（ｂ）に示すコピー処理を適用した場合とで算出される出力画素の画素値が異なることがある。
なお、画端処理例として、本例ではミラーリング処理とコピー処理について説明したが、この他の画端処理による画素値推定を実行することも可能である。
【００９６】
図９に示すフローチャートのステップＳ１０５において画端処理が完了したらステップＳ１０６へ移行する。
ステップＳ１０６において、演算画素選択部３０３の図１１に示す境界位相判断部４０３が、出力画素の画素値算出演算において参照する入力画素として、左目用画像と右目用画像の２つの異なる画像の画素を含むか否かの判断を行う。
【００９７】
先に説明したように、３次元（３Ｄ）画像は左目用画像（Ｌ画像）と右目用画像（Ｒ画像）によって構成され、サイドバイサイド形式による画像転送形式では、図１３（ａ）に示すように、１つの画像フレームの左領域と右領域に左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を格納している。サイドバイサイド画像は図１３（ａ）に示すように左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を左右に接続した形式である。
【００９８】
このような画像に対して、複数の画素を用いて出力画素を生成する解像度変換処理を行う場合、２つの画像（Ｌ画像とＲ画像）の境界部の出力画素を生成する場合に、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の２つの異なる画像の画素を参照画素として利用して出力画像の画素値を算出する処理を行うと、全く異なる画像領域の画素値の影響を受けることになる。
【００９９】
このような他の画像の構成画素を参照画素として出力画素の画素値設定を行って生成したＬ画像またはＲ画像を利用した３次元画像表示を実行すると、図１３（ｂ）に示すように画像の両端の画素の画素値が、画像内部の画素の画素値と大きく異なるノイズを多く含む画素となる。これは、ＬＲ画像境界部において、Ｌ画像生成時にＲ画像の画素を参照画素として利用して出力画素の画素値設定を行うことで発生するノイズである。同様に、Ｒ画像生成時にＬ画像の画素を参照画素として利用することでも同様のノイズが発生する。
【０１００】
出力画素の画素値算出演算において参照する入力画素として、左目用画像と右目用画像の２つの異なる画像の画素を含むか否かの判断を行うために、演算画素選択部３０３の図１１に示す境界位相判断部４０３は、以下に示す（式１）を用いた判定処理を行う。
【０１０１】
ノイズ発生の出力画素範囲：（出力画像解像度−出力画素生成必要画素数）／２〜（出力画像解像度＋出力画素生成必要画素数−２）／２・・・・・（式１）
【０１０２】
なお、出力画素生成必要画素数は、出力画素を生成する際に参照する入力画素の画素数である。
上記式によって算出する出力画素は、最小値を左端画素＝０とし、最大値を右端画素＝解像度に応じた値（例えば１９１９）であり、出力画素の水平方向の位置を示す。
上記の（式１）によって算出する出力画素位置を示す出力画素においては、参照する入力画素として、左目用画像と右目用画像の２つの異なる画像の画素を含むと判定する。
【０１０３】
図１０に示す入力画像の水平方向解像度１４４０、解像度変換後の水平方向解像度１９２０において、２画素を利用して出力画素を生成する場合には、出力画素の位相が画素９５９、画素９６０の際に、上記（式１）を満たす。
すなわち、
（１９２０−２）／２〜（１９２０＋２−２）／２
＝（１９１８）／２〜（１９２０）／２
＝９５９〜９６０
このように、出力画素９５９と、出力画素９６０の画素値算出処理において、左目用画像と右目用画像の２つの異なる画像の画素を参照画素に設定してしまう可能性があることが導かれる。
【０１０４】
図９に示すフローチャートのステップＳ１０６において、図１１に示す境界位相判断部４０３が、上記（式１）による画像境界判定処理を行い、出力画素の画素値算出処理に際して左目用画像と右目用画像の２つの異なる画像の画素を参照画素に設定する可能性のある出力画素位置であると判定すると、ステップＳ１０６の判定はＹｅｓとなり、ステップＳ１０７に進む。
【０１０５】
一方、出力画素の画素値算出処理に際して左目用画像と右目用画像の２つの異なる画像の画素を参照画素に設定する可能性のある出力画素位置でないと判定すると、ステップＳ１０６の判定はＮｏとなり、ステップＳ１０８に進む。
【０１０６】
ステップＳ１０７では、図１１に示す演算画素選択部３０３の画端処理実行部４０４が画像境界における画端処理を行う。
すなわち、画素値算出を行う出力画素の位置が上述した（式１）の範囲に入っている場合、前述したようにもう一方の画像の影響を受ける境界部の画素であると判断し、ノイズの発生を防止するため、この境界部分についても画像端部の画素と同様の画端処理を実行する。
【０１０７】
画端処理は、例えば先に図１２を参照して説明した処理であり、
（ａ）ミラーリング処理
（ｂ）コピー処理
これらの処理である。
これらの処理により、出力画素の画素値を決定する演算処理において利用する参照画素の設定処理、すなわち画端処理を実行する。
【０１０８】
ＬＲ画像境界部においても、画像端部と同様の画端処理を実行することで、ＬＲ画像の境界部における出力画素を決定する際に他方の画像の画素値の影響を排除した出力画素の画素値設定が可能となる。
【０１０９】
すなわち、Ｌ画像の出力画素の画素値を算出する場合には、Ｌ画像領域の入力画素のみを参照画素として利用し、Ｒ画像の出力画素の画素値を算出する場合には、Ｒ画像領域の入力画素のみを参照画素として利用する処理が実行されることになる。
【０１１０】
この結果として、異なる画像の画素を参照画素として利用せずに出力画素の画素値算出が実行され、先に図１３（ｂ）を参照して説明したようなノイズが発生しない画質を向上した画像生成が可能となる。
【０１１１】
ＬＲ画像境界部における出力画素生成処理の具体例について、図１４を参照して説明する。
例えば、図１０に示す入力画像の水平方向解像度が１４４０、解像度変換後の水平方向解像度が１９２０のとき、出力画素９５９を生成する場合の例について説明する。
【０１１２】
左目用画像（Ｌ画像）の出力画素９５９を生成する場合、例えば、図１４（ａ）のようにも通常の参照画素の選択処理、すなわち、出力画素位置の左右にある入力画素である画素７１９と画素７２０を参照画素とすると、画素７１９は入力画像中のＬ画像であるが、画素７２０は入力画像中のＲ画像である。したがって２つの異なる画像の画素が参照画素として利用されてしまう。
【０１１３】
ＬＲ画像境界部では、このような通常処理を行わず、図１４（ｂ）に示すような処理を行う。
図１４（ｂ）のように、入力画素の左目画像の境界画素である画素７１９を、先に図１２（ａ），（ｂ）を参照して説明したミラーリング処理、あるいはコピー処理により、仮想画素７１９'を生成し、これらの２つの画素７１９、画素７１９'を参照画素とした出力画素９５９の画素値算出処理を行う。
【０１１４】
同様にＬＲ画像の境界部において、Ｒ画像の出力画素９６０を生成する場合、図１４（ｃ）に示すように、入力画素の右目画像の境界画素である画素７２０を、先に図１２（ａ），（ｂ）を参照して説明したミラーリング処理、あるいはコピー処理により、仮想画素７２０'を生成し、これらの２つの画素７２０、画素７２０'を参照画素とした出力画素９６０の画素値算出処理を行う。
【０１１５】
図９に示すフローチャートのステップＳ１０７では、図１１に示す演算画素選択部３０３の画端処理実行部４０４がこのような画端処理を、境界部の出力画素の生成に際して実行する。
ステップＳ１０７における画端処理が実行されるとステップＳ１０８へ移行する。
【０１１６】
ステップＳ１０８では、画素選択部４０５が出力画素の画素値設定の演算に使用する画素の実際の選択処理を行う。すなわち、参照画素の選択を行う。例えば入力画素２画素を用いて出力画素を演算する場合には、以下のような画素選択を実行する。
【０１１７】
（ａ）図１０の例の出力画素０画素目を生成する場合、
ステップＳ１０５において実行したミラーリング処理またはコピー処理等の画端処理において生成した入力画素０に基づく仮想画素０'と入力画素０を参照画素として選択する。
（ｂ）出力画素２画素目を生成する場合、
入力画素の画素１と入力画素の画素２を参照画素として選択する。
（ｃ）出力画素９５９画素目を生成する場合、
ステップＳ１０７の画端処理において実行したミラーリング処理またはコピー処理等の画端処理において生成した入力画素７１９に基づく仮想画素７１９'と入力画素７１９を参照画素として選択する。
このような画素選択処理を実行する。
【０１１８】
画素選択部４０５は、このように出力画素の位置に応じた参照画素の選択処理を実行する。選択した画素は図８に示す畳込み演算部３０５へ転送する。転送が終了すると図９に示すフローチャートのＳ１０９へ移行する。
【０１１９】
ステップＳ１０９において、係数算出部３０４が出力位相演算部３０２より受信した出力位相情報に基づいて、出力画素の画素値を算出するために選択した複数の参照画素の重みに相当する係数演算を行う。
【０１２０】
出力画素の画素位置の周辺の入力画素を用いた補間方法には様々な方法があるが、本実施例では、周辺の２画素を用いた線形補間の例について説明する。参照画素を２画素とした線形補間によって出力画素の画素値を算出する処理である。なお、その他の手法を用いることも可能である。
【０１２１】
線形補間処理による出力画素の画素値算出処理例について図１５を参照して説明する。
図１５に示すように出力画素Ａを生成する場合、出力画素Ａの近傍の周辺画素２画素を用いる。この周辺２画素は、入力画素または入力画素に基づいて生成された仮想画素によって構成される。画像端部または画像境界部における画端処理が行われている場合は、仮想画素が含まれることになる。
【０１２２】
図１５に示す出力画素Ａを生成する位相よりマイナス方向（図１５における左方向）の一番近くに存在する入力画素Ｍ１との位相差を、
位相差＝Ｐとする。
入力画素の画素間隔＝１として、出力画素Ａを生成する位相よりプラス方向（図１５における右方向）の一番近くに存在する入力画素Ｐ１との位相差は、
位相差＝１−Ｐ
である。
【０１２３】
以下に示す（式２）より、出力画素Ａの画素値を算出する。
出力画素Ａの画素値＝（ｆ（ａ）×Ｍ１＋ｆ（ｂ）×Ｐ１）／（ｆ（ａ）＋ｆ（ｂ））
・・・（式２）
なお、ｆ（ｘ）＝１−ｘ
ａ＝Ｐ
ｂ＝１−Ｐ
である。
【０１２４】
上記（式２）は、出力画素と参照画素間の距離に応じた重みに相当する係数ｆ（ａ），ｆ（ｂ）を設定して、２つの参照画素の画素値Ｍ１，Ｐ１に基づく線形補間処理によって出力画素Ａの画素値を算出する式である。
なお、線形補間のためｆ（ｘ）＝１−ｘとする。係数は式２のｆ（ａ）、ｆ（ｂ）であり、出力画素と参照画素との距離（位相差）に応じた値となる。
【０１２５】
係数演算の例について、図１６を参照して説明する。図１６に示す例は、図１０に示す出力画素０画素目の画素値算出処理例を示している。
画素値算出対象となる出力画素０の位相は−０．１２５である。
出力画素０の画素値算出に適用する参照画素は、図１６に示す入力画素０と、入力画素０に基づいてミラーリング処理またはコピー処理等の画端処理によって生成される仮想画素０'である。
【０１２６】
この場合の係数を求めると、
ｆ（ａ）＝１−（Ｐ）＝１−０．８７５＝０．１２５、
ｆ（ｂ）＝１−（１−Ｐ）＝１−０．１２５＝０．８７５、
となる。
【０１２７】
さらに、図１０に示す出力画素の画素２の画素値算出処理例について図１７を参照して説明する。
画素値算出対象となる出力画素２の位相は、
０．７５×２−０．１２５＝１．３７５
である。
出力画素２の画素値算出に適用する参照画素は、図１７に示す入力画素１と、入力画素２である。
【０１２８】
この場合の係数を求めると、
ｆ（ａ）＝１−Ｐ＝１−（０．３７５）＝０．６２５、
ｆ（ｂ）＝１−（１−Ｐ）＝１−０．６２５＝０．３７５、
となる。
【０１２９】
さらに、図１０に示す出力画素の画素９５９の画素値算出処理例について図１８を参照して説明する。
画素値算出対象となる出力画素９５９の位相は、
０．７５×９５９−０．１２５＝７１９．１２５
である。
出力画素９５９の画素値算出に適用する参照画素は、図１８に示す入力画素７１９と、入力画素７１９に基づいてミラーリング処理またはコピー処理等の画端処理によって生成される仮想画素７１９'である。
【０１３０】
この場合の係数を求めると、
ｆ（ａ）＝１−（Ｐ）＝１−０．１２５＝０．８７５、
ｆ（ｂ）＝１−（１−Ｐ）＝１−０．８７５＝０．１２５、
となる。
【０１３１】
このように、係数算出部３０６は、図９に示すフローチャートのステップＳ１０９において、出力画素と参照画素との距離（位相差）に応じた係数を算出する。
ステップＳ１０９において係数演算が終了すると、求められた係数値を畳込み演算部３０５、係数和算出部３０６へ出力する。
【０１３２】
係数和演算部３０６では係数算出部３０４から受信した係数の和を算出し、先に説明した（式２）の分母の値を算出する。すなわち、
出力画素Ａの画素値＝（ｆ（ａ）×Ｍ１＋ｆ（ｂ）×Ｐ１）／（ｆ（ａ）＋ｆ（ｂ））
・・・（式２）
上記（式２）中の分母に示す係数和、すなわち、
係数和＝（ｆ（ａ）＋ｆ（ｂ））
を算出する。
なお、今回の例では線形補間のため、常に係数和（ｆ（ａ）＋ｆ（ｂ））
は１になる。係数和の算出が終了すると、図９に示すフローチャートのステップＳ１１０へ移行する。
【０１３３】
ステップＳ１１０において、畳込み演算部３０５が畳込み演算を行う。畳込み演算部３０５では演算画素選択部３０３内の画素選択部４０５で選択された参照画素の画素値と、係数算出部３０４で求められた係数値（ｆ（ａ），ｆ（ｂ））を使用して、先に説明した（式２）の分子の値を算出する。
【０１３４】
すなわち、
出力画素Ａの画素値＝（ｆ（ａ）×Ｍ１＋ｆ（ｂ）×Ｐ１）／（ｆ（ａ）＋ｆ（ｂ））
・・・（式２）
上記（式２）中の分子に示す値、すなわち、
（ｆ（ａ）×Ｍ１＋ｆ（ｂ）×Ｐ１）
を算出する。
【０１３５】
例えば、図１７を参照して説明した出力画素２の画素値算出処理例では、
参照画素である入力画素１に対する係数ｆ（ａ）＝０．６２５
参照画素である入力画素２に対する係数ｆ（ｂ）＝０．３７５
である。
このとき、入力画素１の画素値が７５、入力画素２の画素値が２００の場合、
上記（式２）中の分子に示す値、すなわち、
（ｆ（ａ）×Ｍ１＋ｆ（ｂ）×Ｐ１）
は、以下のように算出される。
【０１３６】
ｆ（ａ）×Ｍ１＋ｆ（ｂ）×Ｐ１
＝０．６２５×７５＋０．３７５×２００
＝１２１．８７５
となる。
【０１３７】
図９に示すフローチャートのステップＳ１１０の演算処理が完了すると、演算結果が正規化部３０７へ転送され、ステップＳ１１１へ移行する。
ステップＳ１１１では、正規化部３０７が畳込み演算部３０５からの畳込み演算結果、係数和算出部３０６からの係数和演算結果を用いた正規化処理を行う。本実施例における正規化処理とは、前述の式２に従って、出力画素の画素値を算出する処理となる。今回の線形補間の例では係数和が常に１のため、畳込み演算の結果がそのまま本ステップの演算結果となる。正規化処理が終了すると演算結果は画素データ出力部３０８へ転送され、ステップＳ１１２へ移行する。
【０１３８】
図９に示すフローチャートのステップＳ１１２において、画素データ出力部３０８より一定画素ごとに出力を行う。最終画素まで処理が終了したと判断すると本処理を終了する。また最終画素まで処理が終了したと判断されなかった場合はＳ１０１に移行し、再び次の出力画素の生成処理を続けていく。
【０１３９】
このように、本発明の処理ではＬＲ画像の境界部における出力画素の画素値算出処理において、画像端部における画端処理を実行する。この画像境界部における画端処理によって、Ｌ画像については、入力画像中のＬ画像の画素のみを参照画素とした出力画素の画素値設定が実行される。同様に、Ｒ画像については、入力画像中のＲ画像の画素のみを参照画素とした出力画素の画素値設定が実行される。
【０１４０】
この処理によって、異なる画像の画素値を参照した処理が防止され、ＬＲ画像境界部においてノイズの発生がない公賓室な画像生成が可能となる。具体的には、サイドバイサイド画像を３Ｄモニタに出力した場合に逆目側画像の画素の影響のない良好な画像出力が可能となる。
【０１４１】
［３．画像がトップアンドボトム形式の場合の処理例について］
上述した実施例は、画像処理装置においてサイドバイサイド形式の画像データに対する解像度変換を実行する場合の処理例を説明した。
サイドバイサイド形式の画像は１つの画像フレームの左右領域に左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を設定した方式である。
この他、３Ｄ画像のデータ転送方式としては、１つの画像フレームの上下領域に左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を設定したトップアンドボトム形式がある。
【０１４２】
例えば図１９（ａ）に示す形式のデータである。
本発明に従った処理を実行しない場合に、３Ｄ表示されたときのノイズ位置は、サイドバイサイドの場合は図１３（ｂ）に示すように両サイドとなるが、トップアンドボトムでは図１９（ｂ）に示すように上下になる。これは画像の境目が垂直方向に存在するためである。
【０１４３】
このようにトップアンドボトム形式においてもＬ画像とＲ画像の境界部が存在し、本発明の処理を適用することでノイズを低減した画像生成が可能となる。
トップアンドボトム形式の画像に対する処理は、上述のサイドバイサイド形式の画像に対する処理と基本的には同様であり、ＬＲ画像境界部において画端処理を実行して、出力画像と同じ画像からのみ参照画素を選択する処理を行うことになる。
【０１４４】
サイドバイサイド形式の画像に対する処理では、図６に示す水平方向解像度変換部２０３〜２０８において、図１１に示す境界位相判断部４０３を用い、画像境界で画端処理と同様の処理を行うことになる。
一方、トップアンドボトム形式の画像に対する処理では、図６の垂直方向解像度変換部２０９〜２１４において、図１４の境界位相判断部４０３を用い、画像境界で画端処理と同様の処理を行うことになる。
この処理によって、トップアンドボトム画像を３Ｄモニタに出力する際に逆目側画像（左目用画像に対して右目用画像、右目用画像に対して左目用画像）の画素の影響を防止した解像度変換が可能になる。
【０１４５】
［４．多視点画像の解像度変換処理について］
本発明の画像処理装置は、３次元画像を構成する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）が混在する画像に対する処理のみではなく、例えば図２０に示すような多視点の画像を１つの画像フレーム中に含む画像に対する処理を行う場合も有効である。
【０１４６】
図２０に示す画像は、
（１）右方向の左目画像、
（２）右方向の右目画像、
（３）左方向の左目画像、
（４）左方向の右目画像、
これらの各画像により構成されている。
このような画像は、例えば専用モニタにおいて、ユーザが右側、左側の好きな方向の画像を選択して３Ｄ表示させることが可能となる。
【０１４７】
このように１つの画像フレーム中に異なる複数の画像が記録された設定であれば、各画像の境界が存在する。この境界部において上述した画端処理、すなわち出力画像と同じ入力画像の画素のみを参照画素として設定する画端処理を行うことで高品質な画像を生成することが可能となる。
【０１４８】
すなわち、画像境界部における解像変換処理等に際して実行する出力画素の画素値算出時に、出力画像と異なる画像の画素を参照せずに、出力画像と同じ入力画像の画素値のみを参照して出力画素の画素値を設定することが可能となる。
【０１４９】
図２０に示すような４分割画像の場合は、図６に示す水平方向解像度変換部２０３〜２０８と垂直方向解像度変換部２０９〜２１４の両方において、図１１に示す境界位相判断部４０３を用い、画像境界で画端処理と同様の処理を行う必要がある。
分割数が多くなった場合も同様に境界部分を判断し、その部分においては画端処理と同様の処理を行う必要がある。
【０１５０】
［５．３次元画像（３Ｄ）と２次元画像（２Ｄ）との切り替え処理について］
例えば、図１に示す画像処理装置１００の内蔵表示装置１０７に対して、制御部１０５から２次元画像（２Ｄ）の表示命令を出力する処理、あるいは、外部モニタを２Ｄ表示に設定する処理を行うことで２Ｄ画像を表示することが可能となる。
【０１５１】
記録媒体読出部１０１から読み出したデータを復号化部１０２にてデコードする際に受信したデータがマルチピクチャフォーマットなどの多視点を表すフォーマットでなく、単なるＪＰＥＧ画像だった場合には復号化部１０２から制御部１０５に対して、ＪＰＥＧ画像を受け取ったことを通知し、制御部１０５は２Ｄ表示のための処理を各部に行うことになる。具体的には内蔵表示装置１０７に２Ｄ表示命令を転送する他には、解像度変換時に図９に示すフロー中のステップＳ１０６において、常に「もう一方の画像の画素を含まない」と判断してステップＳ１０８に移行する処理が実行される。
この場合には、画像境界部における画端処理は実行されないことになる。
【０１５２】
［６．画像処理装置のハードウェア構成例について］
次に、上述した処理を実行する画像処理装置のハードウェア構成例について図２１を参照して説明する。図２１は、本発明の一実施例に係る画像処理装置４００の構成例を示すブロック図である。画像処理装置４００は、メディア４１０からデータを読み出して上述した解像度変換等の画像処理を実行して出力画像を生成する処理を行う装置である。具体的には例えば、テレビ、再生装置、ビデオカメラ、ＰＣなどの装置である。
【０１５３】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述の各実施例において説明した解像度変換を伴う画像生成処理等を実行する。
【０１５４】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【０１５５】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【０１５６】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスク等からなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１５７】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているコンテンツ、プログラム等の各種データを取得する。
【０１５８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５９】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１６０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１６１】
以上、説明したように、本発明の一実施例によれば、複数の画像が隣接記録された画像に対する解像度変換における画像境界部のノイズ発生を防止した構成が実現される。具体的には、例えば解像度変換対象となる入力画像に複数の異なる画像が含まれる場合、画像境界近傍の出力画像の画素値算出に際して、画像端部における参照画素の設定処理と同じ画端処理による参照画素の設定処理を実行し、該画端処理によって設定した参照画素の画素値を適用して画像境界近傍の出力画素の画素値を決定する。例えば、出力画像と同じ入力画像の画像境界部の画素のミラーリング処理やコピー処理によって生成した仮想画素を参照画素として設定して画像境界近傍の出力画素の画素値を決定する。この処理により、画像境界部近傍においても出力画像の画素値は、隣接する異なる画像の画素値を参照することなく算出され、境界部における他の画像の影響によるノイズ発生を防止した品質の高い出力画像の生成が可能となる。
【符号の説明】
【０１６２】
１００  画像処理装置
１０１  記録媒体読み出し部
１０２  復号化部
１０３  画像データ一時記録部
１０４  映像信号出力部
１０５  制御部
１０６  入力部
１０７  内蔵表示部
２０１  画像データ入力部
２０２  画素データ分割部
２０３〜２０８  水平方向解像度変換部
２０９〜２１４  垂直方向解像度変換部
２１５  画素データ合成部
２１６〜２１７  信号処理部
２１８  外部出力部
２１９  内蔵表示部出力部
２５１  ＹＣｂＣｒ４２２信号
２６１  Ｙ信号
２６２  Ｃｂ信号
２６３  Ｃｒ信号
２７１〜２７３  外部モニタ用信号
２７４〜２７６  内蔵表示部用信号
２８１  外部モニタ用ＹＣｂＣｒ４２２信号
２８２  内蔵表示部用ＹＣｂＣｒ４２２信号
３０１  画素データ入力部
３０２  出力位相演算部
３０３  演算画素選択部
３０４  係数算出部
３０５  畳込み演算部
３０６  係数和算出部
３０７  正規化部
３０８  画素データ出力部
４０１  必要画素判断部
４０２  画素位相判断部
４０３  境界位相判断部
４０４  画端処理実行部
４０５  画素選択部
７０１  ＣＰＵ
７０２  ＲＯＭ
７０３  ＲＡＭ
７０４  バス
７０５  入出力インタフェース
７０６  入力部
７０７  出力部
７０８  記憶部
７０９  通信部
７１０  ドライブ
７１１  リムーバブルメディア
【図１】
2012094936.tif 000003
【図６】
2012094936.tif 000004
【図７】
2012094936.tif 000005
【図８】
2012094936.tif 000006
【図９】
2012094936.tif 000007
【図１１】
2012094936.tif 000008
【図２１】
2012094936.tif 000009
【図２】
2012094936.tif 000010
【図３】
2012094936.tif 000011
【図４】
2012094936.tif 000012
【図５】
2012094936.tif 000013
【図１０】
2012094936.tif 000014
【図１２】
2012094936.tif 000015
【図１３】
2012094936.tif 000016
【図１４】
2012094936.tif 000017
【図１５】
2012094936.tif 000018
【図１６】
2012094936.tif 000019
【図１７】
2012094936.tif 000020
【図１８】
2012094936.tif 000021
【図１９】
2012094936.tif 000022
【図２０】
2012094936.tif 000023