(57)【要約】【課題】より小さな回路規模で且つ小メモリー容量で視差生成を行なう。【解決手段】１水平帰線区間を時分割して、左眼用画像１ラインＬ１が入力されると、ライン・メモリーｍｅｍ０に一時的に格納する。同じ水平帰線区間の後半では右眼用画像１ラインＲ１が入力されると、この右眼用画像１ラインＲ１をそのまま出力すると同時に、ライン・メモリーｍｅｍ０から左眼用画像１ラインＬ１の読み出しを行ない、多視点変換回路に出力する。サイド・バイ・サイド方式の信号であれば、ライン・メモリーを数本だけ持つことで、左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせることが可能である。【選択図】  図１
2012138655.tif 000002
【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像からなる立体映像信号を入力して、左眼用画像及び右眼用画像を、１ラインずつタイミングを合わせて出力するソート回路と、
前記ソート回路から出力される左眼用画像及び右眼用画像からそれぞれ視差画像を生成する視差生成回路と、
前記ソート回路から出力される左眼用画像及び右眼用画像を、それぞれ前記視差生成回路の処理時間だけ遅延して出力する、左眼用画像用及び右眼用画像用の各遅延回路と、
前記の各遅延回路及び前記視差生成回路からそれぞれ出力される画像を合成して、多視点画像を得る画像合成回路と、
を具備する画像処理装置。
【請求項２】
前記ソート回路は、３Ｄサイド・バイ・サイド方式の信号を入力し、１水平帰線区間を時分割して入力される左眼用画像の１ラインを一時的に格納する１ライン分のライン・メモリーを備え、同じ水平帰線区間の後半で入力される右眼用画像の１ラインの出力とタイミングを合わせて、前記ライン・メモリーから左眼用画像の１ラインを読み出して出力する、
請求項１に記載の画像処理装置。
【請求項３】
３Ｄサイド・バイ・サイド方式の入力信号は解像度が半分に縮退されており、
前記ソート回路からタイミングを合わせて出力される左眼用画像及び右眼用画像の各１ラインの信号をそれぞれ水平方向に拡大する左眼用画像用及び右眼用画像用の各水平方向スケーラーをさらに備え、
前記視差生成回路は、左眼用画像用及び右眼用画像用の各水平方向スケーラーでそれぞれ水平方向に拡大された後の信号から視差画像の信号を生成する、
請求項２に記載の画像処理装置。
【請求項４】
３Ｄサイド・バイ・サイド方式の入力信号は解像度が半分に縮退されており、
前記の各遅延回路及び前記視差生成回路からの各出力信号をそれぞれ水平方向に拡大する、左眼用画像用、右眼用画像用、及び視差画像用の各水平方向スケーラーをさらに備え、
前記画像合成回路は、前記の各水平方向スケーラーでそれぞれ水平方向に拡大された後の信号から多視点画像を生成する、
請求項２に記載の画像処理装置。
【請求項５】
前記ソート回路は、
４ライン分のライン・メモリーｍｅｍ０、ｍｅｍ１、ｍｅｍ２、ｍｅｍ３を備え、
３Ｄライン・オルタネーティブ方式の信号を入力した際に、
２水平帰線区間にわたって入力される左眼用画像及び右眼用画像の各１ラインをライン・メモリーｍｅｍ０、ｍｅｍ１に一時的に格納し、
続く２水平帰線区間において、ライン・メモリーｍｅｍ０、ｍｅｍ１から左眼用画像及び右眼用画像の各１ラインを、タイミングを合わせて出力するとともに、入力される左眼用画像及び右眼用画像の各１ラインをライン・メモリーｍｅｍ２、ｍｅｍ３に一時的に格納する、
請求項１に記載の画像処理装置。
【請求項６】
左眼用画像と右眼用画像からなる立体映像信号を入力して、左眼用画像及び右眼用画像を、１ラインずつタイミングを合わせて出力するソート・ステップと、
前記ソート・ステップにおいてタイミングを合わせて出力される左眼用画像及び右眼用画像からそれぞれ視差画像を生成する視差生成ステップと、
前記ソート・ステップにおいて出力される左眼用画像及び右眼用画像を、それぞれ前記視差生成ステップにおける処理時間だけ遅延して出力する遅延ステップと、
前記の遅延ステップ及び前記視差生成ステップからそれぞれ出力される画像を合成して、多視点画像を得る画像合成ステップと、
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、見る人が裸眼で立体視できる画像信号を処理する画像処理装置及び画像処理方法に係り、特に、正面だけでなくより広い視点から自然な立体映像を見ることができるように、左眼用画像及び右眼用画像からなる３Ｄ画像をさらに多視点変換する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に立体的に見える３Ｄ画像を提示することができる。３Ｄ画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、視差のある左眼用画像及び右眼用画像を非常に短い周期で交互に画面表示する表示装置と、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備えた３Ｄ眼鏡の組み合わせからなる時分割立体画像表示システムは、既に普及している（例えば、特許文献１を参照のこと）。しかしながら、同時に視聴する人数分だけ３Ｄ眼鏡を揃える必要がある、普段から眼鏡を掛けている人はさらにその上に３Ｄ眼鏡を掛けなければならない、長時間視聴すると目が疲れ易い、見る人の視点移動に合わせて見える画像が変化する、といった不便が指摘されている。付言すれば、携帯ディスク再生装置などの携帯型情報機器上で３Ｄ画像を楽しみたいときに、シャッター眼鏡まで持ち運ぶのは面倒である。
【０００４】
そこで、３Ｄ眼鏡が不要、すなわち裸眼で立体画像を提示できる裸眼３Ｄ画像技術の研究開発が期待されている。複数の方向すなわち多視点から対象物を撮影した画像を取得し、これら複数の画像の各画素を離散的に配置して１枚の合成画像を形成すると、裸眼で見る人に立体画像を知覚させることができる。例えば、実写立体画像を表示する際に、ディスプレイ面から手前方向に飛び出した近景領域の画質劣化を防ぐ立体画像表示装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００５】
立体視できる画像は、基本的には、対象物を左眼用カメラ及び右眼用カメラでそれぞれ実写した左眼用画像、右眼用画像からなる実写２視点画像である。これに対し、４視点、８視点という具合に視点数を増やし、より多くの方向から写した視差画像を合成することで、正面だけでなくより広い視点から自然な立体映像を見ることができるようになる。
【０００６】
通常、多視点画像は、アレイ状に配置した複数のカメラ（多視点カメラ）で得られる多視点の実写画像からなる。しかしながら、視点数の増大とともに多視点カメラのカメラ台数が増えるため、撮影などコンテンツの制作コストが増大し、また、コンテンツのデータ量が大きくなってしまう。付言すれば、データ量が肥大化すると、携帯ディスク再生装置などの携帯型情報機器上で３Ｄ画像を利用する際に、メモリーの増大、回路の大規模化などを招来し、携帯性を損なうことになる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２１７３１号公報
【特許文献２】特開２０１０−２２６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、見る人が裸眼で立体視できる画像信号を好適に処理することができる、優れた画像処理装置及び画像処理方法を提供することにある。
【０００９】
本発明のさらなる目的は、正面だけでなくより広い視点から自然な立体映像を見ることができるように、左眼用画像及び右眼用画像からなる３Ｄ画像を好適に多視点変換することができる、優れた画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
左眼用画像と右眼用画像からなる立体映像信号を入力して、左眼用画像及び右眼用画像を、１ラインずつタイミングを合わせて出力するソート回路と、
前記ソート回路から出力される左眼用画像及び右眼用画像からそれぞれ視差画像を生成する視差生成回路と、
前記ソート回路から出力される左眼用画像及び右眼用画像を、それぞれ前記視差生成回路の処理時間だけ遅延して出力する、左眼用画像用及び右眼用画像用の各遅延回路と、
前記の各遅延回路及び前記視差生成回路からそれぞれ出力される画像を合成して、多視点画像を得る画像合成回路と、
を具備する画像処理装置である。
【００１１】
本願の請求項２に記載の発明によれば、請求項１に記載の画像処理装置のソート回路は、３Ｄサイド・バイ・サイド方式の信号を入力し、１水平帰線区間を時分割して入力される左眼用画像の１ラインを一時的に格納する１ライン分のライン・メモリーを備え、同じ水平帰線区間の後半で入力される右眼用画像の１ラインの出力とタイミングを合わせて、前記ライン・メモリーから左眼用画像の１ラインを読み出して出力するように構成されている。
【００１２】
本願の請求項３に記載の発明によれば、３Ｄサイド・バイ・サイド方式の入力信号は解像度が半分に縮退されており、請求項２に記載の画像処理装置のソート回路からタイミングを合わせて出力される左眼用画像及び右眼用画像の各１ラインの信号をそれぞれ水平方向に拡大する左眼用画像用及び右眼用画像用の各水平方向スケーラーをさらに備えている。そして、視差生成回路は、左眼用画像用及び右眼用画像用の各水平方向スケーラーでそれぞれ水平方向に拡大された後の信号から視差画像の信号を生成するように構成されている。
【００１３】
本願の請求項４に記載の発明によれば、３Ｄサイド・バイ・サイド方式の入力信号は解像度が半分に縮退されており、請求項２に記載の画像処理装置の各遅延回路及び視差生成回路からの各出力信号をそれぞれ水平方向に拡大する、左眼用画像用、右眼用画像用、及び視差画像用の各水平方向スケーラーをさらに備えている。そして、画像合成回路は、前記の各水平方向スケーラーでそれぞれ水平方向に拡大された後の信号から多視点画像を生成するように構成されている。
【００１４】
本願の請求項５に記載の発明によれば、請求項１に記載の画像処理装置のソート回路は、４ライン分のライン・メモリーｍｅｍ０、ｍｅｍ１、ｍｅｍ２、ｍｅｍ３を備えている。そして、３Ｄライン・オルタネーティブ方式の信号を入力した際に、２水平帰線区間にわたって入力される左眼用画像及び右眼用画像の各１ラインをライン・メモリーｍｅｍ０、ｍｅｍ１に一時的に格納し、続く２水平帰線区間において、ライン・メモリーｍｅｍ０、ｍｅｍ１から左眼用画像及び右眼用画像の各１ラインを、タイミングを合わせて出力するとともに、入力される左眼用画像及び右眼用画像の各１ラインをライン・メモリーｍｅｍ２、ｍｅｍ３に一時的に格納するように構成されている。
【００１５】
また、本願の請求項６に記載の発明は、
左眼用画像と右眼用画像からなる立体映像信号を入力して、左眼用画像及び右眼用画像を、１ラインずつタイミングを合わせて出力するソート・ステップと、
前記ソート・ステップにおいてタイミングを合わせて出力される左眼用画像及び右眼用画像からそれぞれ視差画像を生成する視差生成ステップと、
前記ソート・ステップにおいて出力される左眼用画像及び右眼用画像を、それぞれ前記視差生成ステップにおける処理時間だけ遅延して出力する遅延ステップと、
前記の遅延ステップ及び前記視差生成ステップからそれぞれ出力される画像を合成して、多視点画像を得る画像合成ステップと、
を有する画像処理方法である。
【発明の効果】
【００１６】
本発明によれば、正面だけでなくより広い視点から自然な立体映像を見ることができるように、左眼用画像及び右眼用画像からなる３Ｄ画像を好適に多視点変換することができる、優れた画像処理装置及び画像処理方法を提供することができる。
【００１７】
本発明によれば、左右の実写画像を多視点変換して多視点画像を生成するための回路をより小さな回路規模で且つ小メモリー容量で構成した、優れた画像処理装置を提供することができる。
【００１８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００１９】
【図１】図１は、３Ｄサイド・バイ・サイド方式の信号が入力された場合のタイミング・チャートを示した図である。
【図２】図２は、３Ｄサイド・バイ・サイド方式の信号として入力される２視点画像を多視点画像に変換する多視点変換回路２０の構成例を示した図である。
【図３】図３は、３Ｄサイド・バイ・サイド方式の信号を入力としたときに左眼用画像Ｌと右眼用画像Ｒのタイミング合わせを行なソート回路２１の内部構成例を示した図である。
【図４】図４は、３Ｄサイド・バイ・サイド方式の信号として入力される２視点画像を多視点画像に変換する多視点変換回路４０の他の構成例を示した図である。
【図５】図５は、３Ｄライン・オルタネーティブ方式の信号が入力された場合のタイミング・チャートを示した図である。
【図６】図６は、３Ｄライン・オルタネーティブ方式の信号を入力としたときに左眼用画像Ｌと右眼用画像Ｒのタイミング合わせを行なうソート回路の内部構成例を示した図である。
【図７Ａ】図７Ａは、２視点画像から４視点画像に多視点変換処理する仕組みを説明するための図である。
【図７Ｂ】図７Ｂは、２視点画像から４視点画像に多視点変換処理する仕組みを説明するための図である。
【図８】図８は、３Ｄフレーム・パッキング式の信号が入力された場合のタイミング・チャートを示した図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００２１】
多視点の画像の各画素を離散的に配置して１枚の合成画像を形成すると、裸眼で見る人に立体画像を知覚させることができる。基本的な多視点画像は、対象物を左眼用カメラ及び右眼用カメラでそれぞれ実写した左眼用画像、右眼用画像からなる実写２視点画像である。これに対し、４視点、８視点という具合に視点数を増やし、より多くの方向から写した視差画像を合成することで、正面だけでなくより広い視点から自然な立体映像を見ることができるようになる。
【００２２】
多視点画像は、基本的には、アレイ状に配置した複数のカメラ（多視点カメラ）で得られる多視点の実写画像からなる。これに対し、単視点画像から多視点画像を生成する方法が知られている。多視点変換を用いれば、左眼用カメラ及び右眼用カメラで実写したオリジナルの２視点画像から、４視点（若しくはそれ以上の視点数の）多視点画像を生成することができる。
【００２３】
ここで言う多視点変換とは、左眼用カメラ及び右眼用カメラでそれぞれ撮影した画像に対し、２視点で撮影した静止画から奥行き（視差）の情報を求め、疑似的に多視点の画像を生成する処理である。左眼用画像、右眼用画像の各々に対して施す処理は、２次元画像に対して、画像内の各物体の奥行きを推定し、擬似的な３次元映像に変換する２Ｄ／３Ｄ変換にも類似する。
【００２４】
図７には、擬似３Ｄ生成を用いて２視点画像から４視点画像に多視点変換処理する仕組みを模式的に示している。
【００２５】
図７Ａにおいて、「Ｌ」、「Ｒ」はそれぞれ実在する左眼用カメラ、右眼用カメラであり、各々のカメラから、左眼用並びに右眼用の実写画像Ｌ、Ｒをそれぞれ得ることができる。
【００２６】
左眼用カメラで実写した左眼用画像Ｌに対して擬似３Ｄ変換を適用することで、上記の左眼用カメラＬに外挿される擬似的なカメラから写した外挿画像「（ＬＬ）Ｌｅｆｔ−Ｌｅｆｔ」、並びに、左眼用カメラＬに内挿される擬似的なカメラから写した内挿画像「（ＬＲ）Ｌｅｆｔ−Ｒｉｇｈｔ」を得ることができる。同様に、右眼用カメラで実写した左眼用画像Ｒに対して擬似３Ｄ変換を適用することで、上記の右眼用カメラＲに外挿される擬似的なカメラから写した外挿画像「（ＲＲ）Ｒｉｇｈｔ−Ｒｉｇｈｔ」、並びに、右眼用カメラＲに内挿される擬似的なカメラから写した内挿画像「（ＲＬ）Ｒｉｇｈｔ−Ｌｅｆｔ」を得ることができる。但し、各カメラＬＬ、Ｌ、ＬＲ、ＲＬ、Ｒ、ＲＲの間隔は均一であることができる。
【００２７】
左右２台のカメラで実写した各２次元画像に擬似３Ｄ生成を適用すると、このように、２つの外挿画像ＬＬ、ＲＲ及び２つの内挿画像を加えた６視点を生成することができる。但し、２台の擬似的な内挿カメラから取得される内挿画像ＬＲ、ＲＬは、左右の視差が逆転するおそれがあることから、後段の立体画像の作成には使用せず、破棄する（図７Ｂを参照のこと）。したがって、カメラ２台の実写画像から４台分のカメラ視点を生成することができる。そして、実写２視点画像Ｌ、Ｒに、左右の外挿画像ＬＬ、ＲＲを加えた多視点の画像の各画素を離散的に配置して１枚の合成画像を形成することにより、多視点変換することができる。
【００２８】
２視点画像Ｌ、Ｒからなる立体映像信号から上述のように多視差の画像を生成するには、一般的な３Ｄフォーマットの信号から、左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる必要がある。
【００２９】
ここで、立体視フレーム伝送方式として例えば、１垂直帰線区間内に左眼用画像フレームと右眼用画像フレームを１つずつ時分割で挿入する「フレーム・パッキング（ｆｌａｍｅ  ｐａｃｋｉｎｇ）」や、１水平帰線区間内に左眼用画像及び右眼用画像を１ラインずつ時分割で挿入する「サイド・バイ・サイド（ＳＢＳ）」、１水平帰線区間毎に左眼用画像及び右眼用画像の１ラインを交互に挿入する「ライン・オルタネーティブ（ｌｉｎｅ  ａｌｔｅｒｎａｔｉｖｅ）」などのフォーマットを挙げることができる。
【００３０】
図８には、３Ｄフレーム・パッキング方式の信号が入力された場合のタイミング・チャートを示している。
【００３１】
１４８ＭＨｚの３Ｄフレーム・パッキング方式の信号は、垂直帰線区間毎に、フル解像度の左眼用画像フレームと右眼用画像フレームが時分割入力される。そして、出力信号の周波数は７４ＭＨｚで、垂直帰線区間毎に、フル画像の左眼用画像フレームと右眼用画像フレームが同時出力（ｓｅｐａｒａｔｅ  ｏｕｔ）される。
【００３２】
ここで、３Ｄフレーム・パッキング方式の信号を入力とした場合の左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる方法について考察してみる。１垂直帰線区間内に、左眼用画像フレームＬ１と右眼用画像フレームＲ１が時分割で入力され、それぞれフレーム・メモリーｍｅｍ０及びｍｅｍ１に一時的に格納される。そして、次の１垂直帰線区間では、順次入力される左眼用画像フレームＬ２と右眼用画像フレームＲ２をそれぞれフレーム・メモリーｍｅｍ２及びｍｅｍ３に一時的に格納するとともに、フレーム・メモリーｍｅｍ０及びｍｅｍ１から左眼用画像フレームＬ１と右眼用画像フレームＲ１を同時に読み出して、多視点変換回路に出力する。さらに続く１垂直帰線区間では、順次入力される左眼用画像フレームＬ３と右眼用画像フレームＲ３をそれぞれフレーム・メモリーｍｅｍ０及びｍｅｍ１に一時的に格納するとともに、フレーム・メモリーｍｅｍ２及びｍｅｍ３から左眼用画像フレームＬ２と右眼用画像フレームＲ２を同時に読み出して、多視点変換回路に出力する。
【００３３】
２視点画像の多視点変換を行なうには、左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる必要があるが、３Ｄフレーム・パッキング方式の信号を入力とすると、図８から分かるように、４つのフレーム・メモリーが必要になる。
【００３４】
そこで、本発明者らは、左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる際に必要なメモリー量を削減するために、多視点変換回路への入力信号を３Ｄサイド・バイ・サイドの信号にする方法を提案する。サイド・バイ・サイド方式の信号であれば、ライン・メモリーを数本だけ持つことで、左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせることが可能であり、ＤＤＲ（Ｄｏｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ）などの大規模メモリーを使用する必要がない。また、入力信号を３Ｄライン・オルタネーティブ方式の信号にすることでも、同様の効果を得ることができる。
【００３５】
図１には、３Ｄサイド・バイ・サイド方式の信号が入力された場合のタイミング・チャートを示している。
【００３６】
１４８ＭＨｚの３Ｄサイド・バイ・サイド方式の信号は、水平帰線区間毎に、解像度を半分にした左眼用画像１ラインと右眼用画像１ラインが時分割で入力される。そして、出力信号の周波数は７４ＭＨｚで、水平帰線区間毎に、左眼用画像１ラインと右眼用画像１ラインをそれぞれ水平拡大して、同時出力（ｓｅｐａｒａｔｅ  ｏｕｔ）される。
【００３７】
ここで、３Ｄサイド・バイ・サイド方式の信号を入力とした場合の左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる方法について考察してみる。１水平帰線区間を時分割して、解像度を半分にした左眼用画像１ラインＬ１が入力されると、ライン・メモリーｍｅｍ０に一時的に格納する。そして、同じ水平帰線区間の後半では、解像度を半分にした右眼用画像１ラインＲ１が入力されると、この右眼用画像１ラインＲ１をそのまま出力すると同時に、ライン・メモリーｍｅｍ０から左眼用画像１ラインＬ１の読み出しを行ない、後段の視差生成回路（後述）に出力する。さらに続く１水平帰線区間では、解像度を半分にした左眼用画像１ラインＬ２が入力されると、ライン・メモリーｍｅｍ０に一時的に格納する。そして、同じ水平帰線区間の後半では、解像度を半分にした右眼用画像１ラインＲ２が入力されると、この右眼用画像１ラインＲ２をそのまま出力すると同時に、ライン・メモリーｍｅｍ０から左眼用画像１ラインＬ２の読み出しを行ない、後段の視差生成回路（後述）に出力する。以降は、同様の処理が繰り返される。
【００３８】
２視点画像の多視点変換を行なうには、左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる必要があるが、３Ｄサイド・バイ・サイド方式の信号を入力とすると、図１から分かるように、１ラインのライン・メモリーだけあればタイミングを合わせることができる。
【００３９】
図２には、３Ｄサイド・バイ・サイド方式の信号を入力として、左眼用画像Ｌ及び右眼用画像Ｒからなる２視点画像を多視点画像に変換する多視点変換回路２０の構成例を示している。
【００４０】
ソート回路２１は、３Ｄサイド・バイ・サイド方式の信号が入力されると、左眼用画像Ｌと右眼用画像Ｒのタイミング合わせを行なう。すなわち、ソート回路２１は、１水平帰線区間を時分割して、解像度を半分にした左眼用画像１ラインを入力すると、これをソート回路２１内のライン・メモリーに一時的に格納する。そして、同じ水平帰線区間の後半では、解像度を半分にした右眼用画像１ラインを入力すると、同じ水平帰線区間の後半では、解像度を半分にした右眼用画像１ラインの出力とタイミングを合わせて、ライン・メモリーから左眼用画像１ラインの読み出しを行なう。
【００４１】
続く水平方向スケーラー２２、２３は、ソート回路２１から水平帰線区間毎に同時出力される、解像度が半分の左眼用画像１ライン及び右眼用画像１ラインを、後段の視差生成回路２４の入力条件に適合するように、水平方向に拡大処理する。
【００４２】
視差生成回路２４は、水平拡大された左眼用画像１ライン及び右眼用画像１ラインを入力すると、元の左眼用画像並びに右眼用画像とはそれぞれ視差のある左眼用並びに右眼用の視差画像１ラインを生成する。ここで、左眼用の視差画像は、右眼用画像Ｌを実写する左眼用カメラに外挿される擬似的な外挿カメラで打ちした外挿画像ＬＬであり、また、右眼用の視差画像は、右眼用画像Ｒを実写す右眼用カメラに外挿される擬似的な外挿カメラで写した外挿画像ＲＲである。
【００４３】
遅延回路２５は、水平方向スケーラー２２が出力する左眼用画像１ラインを入力すると、視差生成回路２４でこの左眼用画像１ラインから外挿画像ＬＬの１ラインを生成して出力するまでの遅延時間を与え、タイミングを合わせて出力する。
【００４４】
また、遅延回路２６は、水平方向スケーラー２３が出力する右眼用画像１ラインを入力すると、視差生成回路２４でこの右眼用画像１ラインから外挿画像ＲＲの１ラインを生成して出力するまでの遅延時間を与え、タイミングを合わせて出力する。
【００４５】
このようにして、水平拡大された４視点の画像Ｌ、ＬＬ、ＲＲ、Ｒを得ることができる。そして、画像合成回路２７は、上記の４視点の画像Ｌ、ＬＬ、ＲＲ、Ｒを１ラインずつ入力すると、これら複数の画像の各画素を所定の規則に基づいて離散的に配置して、１枚の合成画像を形成して出力する。画像合成回路２７では、視差調整を考慮した画素配置を適宜行なうことができる。但し、各視点画像の画素の配置方法は本発明の要旨に直接関連しないので、本明細書では詳細な説明を省略する。
【００４６】
なお、図３には、３Ｄサイド・バイ・サイド方式の信号を入力としたときに左眼用画像Ｌと右眼用画像Ｒのタイミング合わせを行なうソート回路２１の内部構成例を示している。ソート回路２１は、１水平帰線区間を時分割して、左眼用画像１ラインを入力すると、ライト・イネーブル信号により指定されたタイミングで、ライン・メモリー３１に一時的に格納する。書き込みアドレス・コントローラー３２は、このときの書き込みアドレスを指定する。また、同じ水平帰線区間の後半で右眼用画像１ラインを入力すると、これをそのまま出力するとともに、ライン・メモリー３１内の読み出しアドレス・コントローラー３３で指定されたアドレスから左眼用画像１ラインの読み出しを行なう。
【００４７】
図４には、３Ｄサイド・バイ・サイド方式の信号を入力として、左眼用画像Ｌ及び右眼用画像Ｒからなる２視点画像を多視点画像に変換する多視点変換回路２０の構成例を示している。
【００４８】
ソート回路４１には、３Ｄサイド・バイ・サイド方式の信号が入力されると、左眼用画像Ｌと右眼用画像Ｒのタイミング合わせを行なう。すなわち、ソート回路４１は、１水平帰線区間を時分割して、解像度を半分にした左眼用画像１ラインを入力すると、これをソート回路４１内のライン・メモリーに一時的に格納する。そして、同じ水平帰線区間の後半では、解像度を半分にした右眼用画像１ラインを入力すると、同じ水平帰線区間の後半では、解像度を半分にした右眼用画像１ラインの出力とタイミングを合わせて、ライン・メモリーから左眼用画像１ラインの読み出しを行なう。ソート回路４１は、図３に示したものと同様の構成でよい。
【００４９】
視差生成回路４２は、解像度が半分のままの左眼用画像１ライン及び右眼用画像１ラインを入力すると、元の左眼用画像並びに右眼用画像とはそれぞれ視差のある左眼用並びに右眼用の視差画像１ラインを、解像度が半分のままで生成する。ここで、左眼用の視差画像は、右眼用画像Ｌを実写する左眼用カメラに外挿される擬似的な外挿カメラで打ちした外挿画像ＬＬであり、また、右眼用の視差画像は、右眼用画像Ｒを実写す右眼用カメラに外挿される擬似的な外挿カメラで写した外挿画像ＲＲである。
【００５０】
遅延回路４３は、ソート回路４１が出力する左眼用画像１ラインを入力すると、視差生成回路４２でこの左眼用画像１ラインから外挿画像ＬＬの１ラインを生成して出力するまでの遅延時間を与え、タイミングを合わせて出力する。
【００５１】
また、遅延回路４４は、ソート回路４１が出力する右眼用画像１ラインを入力すると、視差生成回路４２でこの右眼用画像１ラインから外挿画像ＲＲの１ラインを生成して出力するまでの遅延時間を与え、タイミングを合わせて出力する。
【００５２】
続いて、各水平方向スケーラー４５〜４８は、遅延回路４３、視差生成回路４２、遅延回路４４からそれぞれ出力される、解像度が半分のままの各画像Ｌ、ＬＬ、ＲＲ、Ｒの１ラインを、液晶パネルなどの出力先の表示デバイス（図示しない）の水平サイズに適合するように、水平方向に拡大処理する。
【００５３】
そして、画像合成回路４９は、水平拡大された４視点の画像Ｌ、ＬＬ、ＲＲ、Ｒを１ラインずつ入力すると、これら複数の画像の各画素を所定の規則に基づいて離散的に配置して、１枚の合成画像を形成して出力する。画像合成回路４９では、視差調整を考慮した画素配置を適宜行なうことができる。但し、各視点画像の画素の配置方法は本発明の要旨に直接関連しないので、本明細書では詳細な説明を省略する。
【００５４】
図２に示した多視点変換回路２０は３Ｄサイド・バイ・サイド方式の入力信号を水平拡大した後に視差画像ＬＬ、ＲＲの生成処理を行なうのに対し、図４に示した多視点変換回路４０は３Ｄサイド・バイ・サイド方式の入力信号から視差画像ＬＬ、ＲＲを生成した後に４視点画像Ｌ、ＬＬ、ＲＲ、Ｒの水平拡大を行なう点で相違する。前者によれば、水平方向スケーラーの個数を入力信号の視点数（２個）で済むのに対し、後者によれば出力となる多視点画像の視点数（４個）必要となり、前者の方が回路規模を小さくすることができる。他方、前者によれば、水平スケーラーは視差生成回路の入力条件に適合するように水平拡大するので、出力段の表示デバイスの水平サイズに適合しないおそれがあるが、後者によれば、視差生成後に表示デバイスの水平サイズに合うように水平拡大することができる。
【００５５】
これまで３Ｄサイド・バイ・サイド方式の信号を入力とする場合の実施形態について説明してきたが、入力信号を３Ｄライン・オルタネーティブ方式の信号にすることでも、同様にメモリー削減の効果を得ることができる。
【００５６】
ライン・オルタネーティブは、１水平帰線区間毎に左眼用画像及び右眼用画像の１ラインを交互に挿入する信号フォーマットである。図５には、３Ｄライン・オルタネーティブ方式の信号が入力された場合のタイミング・チャートを示している。
【００５７】
１４８ＭＨｚの３Ｄライン・オルタネーティブ方式の信号は、左眼用画像及び右眼用画像のフル解像度の１ラインが、１水平帰線区間毎に交互に入力される。そして、出力信号の周波数は７４ＭＨｚで、水平帰線区間毎に、左眼用画像１ラインと右眼用画像１ラインが同時出力（ｓｅｐａｒａｔｅ  ｏｕｔ）される。
【００５８】
ここで、３Ｄライン・オルタネーティブ方式の信号を入力とした場合の左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる方法について考察してみる。最初の水平帰線区間で、フル解像度の左眼用画像１ラインＬ１が入力されると、ライン・メモリーｍｅｍ０に一時的に格納される。また、次の水平帰線区間で、フル解像度の右眼用画像１ラインＲ１が入力されると、ライン・メモリーｍｅｍ１に一時的に格納される。さらに続く水平帰線区間では、ライン・メモリーｍｅｍ０及びｍｅｍ１にそれぞれ格納しておいた左眼用画像１ラインＬ１及び右眼用画像１ラインＲ１を読み出して、多視点変換回路に同時に出力する。また、この水平帰線区間で入力される左眼用画像の次の１ラインＬ２をライン・メモリーｍｅｍ２に一時的に格納し、また、次の水平帰線区間で入力される右眼用画像の次の１ラインＲ２をライン・メモリーｍｅｍ３に一時的に格納する。以降は、同様の処理が繰り返される。
【００５９】
２視点画像の多視点変換を行なうには、左眼用画像Ｌと右眼用画像Ｒのタイミングを合わせる必要があるが、３Ｄライン・オルタネーティブ方式の信号を入力とすると、図５から分かるように、４ラインのライン・メモリーだけあればタイミングを合わせることができる。
【００６０】
３Ｄライン・オルタネーティブ方式の信号も、３Ｄサイド・バイ・サイド方式と同様に、図２又は図４に示したような多視点変換回路２０、４０を用いて４視点画像を生成することができる。但し、左眼用画像Ｌと右眼用画像Ｒのタイミング合わせを行なうソート回路の構成が相違する。
【００６１】
図６には、３Ｄライン・オルタネーティブ方式の信号を入力としたときに左眼用画像Ｌと右眼用画像Ｒのタイミング合わせを行なうソート回路６０の内部構成例を示している。
【００６２】
図示のソート回路６０は、４ライン分のライン・メモリー（ｍｅｍ０、ｍｅｍ１、ｍｅｍ２、ｍｅｍ３）６１〜６４を備えている。書き込みアドレス・コントローラー６５は、各ライン・メモリー６１〜６４の書き込みアドレスを指定し、読み出しアドレス・コントローラー６６は、各ライン・メモリー６１〜６４の読み出しアドレスを指定する。また、各ライン・メモリー６１〜６４は、それぞれライン・イネーブル信号０〜３によって、指定された書き込みアドレスへ入力信号を書き込み可能な状態になる。
【００６３】
最初の水平帰線区間で、フル解像度の左眼用画像１ラインＬ１が入力されると、ライン・メモリー６１内の書き込みアドレス・コントローラー６５で指定されたアドレスに書き込まれる。また、次の水平帰線区間で、フル解像度の右眼用画像１ラインＲ１が入力されると、ライン・メモリー６２内の書き込みアドレス・コントローラー６５で指定されたアドレスに書き込まれる。
【００６４】
さらに続く水平帰線区間では、各ライン・メモリー６１、６２内の読み出しアドレス・コントローラー６６で指定されたアドレスから、左眼用画像１ラインＬ１及び右眼用画像１ラインＲ１を読み出して、同時に出力する。
【００６５】
また、この水平帰線区間で入力される左眼用画像の次の１ラインＬ２を、ライン・メモリー６２内の書き込みアドレス・コントローラー６５で指定されたアドレスに書き込む。さらにその次の水平帰線区間で入力される右眼用画像の次の１ラインＲ２を、ライン・メモリー３３内の書き込みアドレス・コントローラー６５で指定されたアドレスに書き込む。以降は、同様の処理が繰り返される。
【産業上の利用可能性】
【００６６】
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００６７】
本明細書では、本発明を２視点画像から４視点画像を得る画像処理装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。２視点の実写画像からさらに多数の視点画像を得る場合にも同様に本発明を適用することができる。
【００６８】
本発明に係る多視点画像生成用の画像処理回路は、例えば携帯ディスク再生装置などの携帯型情報機器に好適に適用することができるが、勿論、裸眼３Ｄ映像を表示出力するその他のさまざまな情報機器にも同様に適用することができる。
【００６９】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７０】
２０…多視点変換回路
２１…ソート回路
２２、２３…水平方向スケーラー
２４…視差生成回路
２５、２６…遅延回路
２７…画像合成回路
３１…ライン・メモリー
３２…書き込みアドレス・コントローラー
３３…読み出しアドレス・コントローラー
４１…ソート回路
４２…視差生成回路
４３、４４…遅延回路
４５〜４８…水平方向スケーラー
４９…画像合成回路
６０…ソート回路
６１〜６４…ライン・メモリー
６５…書き込みアドレス・コントローラー
６６…読み出しアドレス・コントローラー
【図１】
2012138655.tif 000003
【図３】
2012138655.tif 000004
【図５】
2012138655.tif 000005
【図６】
2012138655.tif 000006
【図８】
2012138655.tif 000007
【図２】
2012138655.tif 000008
【図４】
2012138655.tif 000009
【図７Ａ】
2012138655.tif 000010
【図７Ｂ】
2012138655.tif 000011