【手続補正書】
【提出日】平成24年11月2日(2012.11.2)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
色空間変換部１２０から出力されたビデオデータは、画像変換部１３０に入力される。
一方、奥行き情報出力部１１５からは、奥行き情報が画像変換部１３０に入力される。
画像変換部１３０は、後述する処理によって例えば左眼用画像（Ｌ：Ｌｅｆｔ）と右眼用画像（Ｒ：Ｒｉｇｈｔ）からなる両眼視差画像を生成し、立体表示装置の形式に従ってこれらの画像を合成して出力する。すなわち画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
なお、上述した説明では、画像合成部１３４は、非線形変換部１３３における視差強調処理としての非線形変換処理（図８参照）を（ｃ）補正後の微分信号（Ｈ’）に対して実行した結果として得られる視差強調信号（Ｅ’）と、入力信号（Ｓ）を利用して（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を下式に従って生成する例を説明した。
Ｒｉｇｈｔ＝Ｓ−Ｅ’
Ｌｅｆｔ＝Ｓ＋Ｅ’
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
しかし、前述したように、非線形変換部１３３における視差強調処理は必須ではない。すなわち、画像合成部１３４は、図４に示す点線のラインの入力を用いて（ｃ）補正後の微分信号（Ｈ’）と、入力信号（Ｓ）を利用して（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する構成としてもよい。この場合、画像合成部１３４は、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を下式に従って生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ’
Ｌｅｆｔ＝Ｓ＋Ｈ’
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
この距離に応じた補正微分信号（Ｈ’）（図９、図１０の（ｃ）の実線データ）を利用して、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を生成する。すなわち、画像合成部１３４は、（ｄ）右眼用画像信号（Ｒｉｇｈｔ）と、（ｅ）左眼用画像信号（Ｌｅｆｔ）を、入力信号と、距離に応じたゲイン値を乗じた補正微分信号（Ｈ’）との加減算処理を行う下式に従って生成する。
Ｒｉｇｈｔ＝Ｓ−Ｈ’
Ｌｅｆｔ＝Ｓ＋Ｈ’
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
図１４には、
入力信号（Ｓ）
第１左眼用信号（Ｌ１）（＝被写体距離（奥行き）が小さい場合）
第２左眼用信号（Ｌ２）（＝被写体距離（奥行き）が大きい場合）
第１右眼用信号（Ｒ１）（＝被写体距離（奥行き）が小さい場合）
第２右眼用信号（Ｒ２）（＝被写体距離（奥行き）が大きい場合）
これらの５つの信号を示している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
第１左眼用信号（Ｌ１）（＝被写体距離（奥行き）が小さい場合）、
第１右眼用信号（Ｒ１）（＝被写体距離（奥行き）が小さい場合）、
これらは例えば図１０に示す設定に対応し、
第２左眼用信号（Ｌ２）（＝被写体距離（奥行き）が大きい場合）、
第２右眼用信号（Ｒ２）（＝被写体距離（奥行き）が大きい場合）、
これらは図９に示す設定で生成した左右の眼用の信号に対応する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
なお、画像合成部１３４は、例えば、変換対象となる入力信号が静止画であれば、静止画を構成する１フレーム画像について、上記式、すなわち、
右眼用画像信号Ｒ＝Ｓ−Ｈ’
左眼用画像信号Ｌ＝Ｓ＋Ｈ’
または、
右眼用画像信号Ｒ＝Ｓ−Ｅ’
左眼用画像信号Ｌ＝Ｓ＋Ｅ’
上記式に従った信号合成処理によって、（ｄ）右眼用画像信号（Ｒ）と、（ｅ）左眼用画像信号（Ｌ）を生成する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１７６
【補正方法】変更
【補正の内容】
【０１７６】
第２パス画像変換部Ｌ，３００−Ｌ２は、第１パス画像変換部３００−１により生成された左眼用信号Ｌ１を入力として、さらに大きな視差を発生させる左眼信号Ｌ２を生成する。
第２パス画像変換部Ｒ，３００−Ｒ２は、第１パス画像変換部３００−１により生成された右眼用信号Ｒ１を入力として、さらに大きな視差を発生させる右眼信号Ｒ２を生成する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１７８
【補正方法】変更
【補正の内容】
【０１７８】
第２パス画像変換部Ｌ，３００−Ｌ２は、第１パス画像変換部３００−１により生成された左眼用信号Ｌ１を入力として、以下の処理を実行して、さらに大きな視差を発生させる左眼用信号Ｌ２を生成する。
第２パス位相制御信号生成部３２１は、入力信号（左眼用信号Ｌ１）に対して微分処理を行い、微分信号（ｈ（Ｌ１））を生成する。
第２パス非線形変換部３２２は、微分信号（ｈ（Ｌ１））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ（Ｌ１））を生成する。
第２パス画像合成部３２３は、入力信号（左眼用信号Ｌ１）に非線形変換された微分信号である視差強調信号（ｅ（Ｌ１））を加算することにより、以下の信号を生成する。
左眼用信号Ｌ２＝Ｌ１＋ｅ（Ｌ１）
このように、第２パス画像変換部Ｌ，３００−Ｌ２は、第１パス画像変換部３００−１により生成された左眼用信号Ｌ１を入力として、さらに大きな視差を発生させる左眼用信号Ｌ２を生成する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１７９
【補正方法】変更
【補正の内容】
【０１７９】
また、第２パス画像変換部Ｒ，３００−Ｒ２は、第１パス画像変換部３００−１により生成された右眼用信号Ｒ１を入力として、以下の処理を実行して、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。
第２パス位相制御信号生成部３３１は、入力信号（右眼用信号Ｒ１）に対して微分処理を行い、微分信号（ｈ（Ｒ１））を生成する。
第２パス非線形変換部３３２は、微分信号（ｈ（Ｒ１））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ（Ｒ１））を生成する。
第２パス画像合成部３３３は、入力信号（Ｒ１）に非線形変換された微分信号である視差強調信号（ｅ（Ｒ１））を減算することにより、以下の信号を生成する。
右眼用信号Ｒ２＝Ｒ１−ｅ（Ｒ１）
このように、第２パス画像変換部Ｒ，３００−Ｒ２は、第１パス画像変換部３００−１により生成された右眼用信号Ｒを入力として、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１８６
【補正方法】変更
【補正の内容】
【０１８６】
例えば、第１パス画像変換部３００−１の出力として得られる画像信号が、図１４に示す第１左眼用信号Ｌ１と、第１右眼用信号Ｒ１であり、
第２パス画像変換部Ｌ３００−Ｌ２の出力が図１４に示す第２左眼用信号Ｌ２、第２パス画像変換部Ｒ３００−Ｒ２の出力が図１４に示す第２右眼用信号Ｒ２に対応する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１８７
【補正方法】変更
【補正の内容】
【０１８７】
被写体距離の小さい画素領域では、第１パス画像変換部３００−１の出力として得られる図１４に示す第１左眼用信号Ｌ１と、第１右眼用信号Ｒ１が利用され、その視差は２αとなる。
また、被写体距離の大きい画素領域では、第２パス画像変換部Ｌ３００−Ｌ２の出力と、第２パス画像変換部Ｒ３００−Ｒ２の出力が利用され、その視差は、２（α＋β）となる。
このように、本発明による画像処理装置では、被写体距離に応じた視差を生成することが可能となる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１９８
【補正方法】変更
【補正の内容】
【０１９８】
また、第２パス画像変換部Ｒ，４００−Ｒ２は、第１パス画像変換部４００−１により生成された右眼用信号Ｒ１を入力として、以下の処理を実行して、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。
第２パス位相制御信号生成部４３１は、入力信号（右眼用信号Ｒ１）に対して微分処理を行い、微分信号（ｈ（Ｒ１））を生成する。
第２パスゲイン制御部４３２は、微分信号（ｈ（Ｒ１））に対して各画素の距離情報に応じたゲインを乗算して補正微分信号（ｈ’（Ｒ１））を生成する。
第２パス非線形変換部４３３は、補正微分信号（ｈ’（Ｒ１））に対して視差の発生を制御する非線形な変換処理を施す。図８を参照して説明した非線形変換処理を実行して出力として視差強調信号（ｅ’（Ｒ１））を生成する。
第２パス画像合成部４３４は、入力信号（Ｒ１）に非線形変換された補正微分信号である視差強調信号（ｅ’（Ｒ１））を減算することにより、以下の信号を生成する。
右眼用信号Ｒ２＝Ｒ１−ｅ’（Ｒ１）
このように、第２パス画像変換部Ｒ，４００−Ｒ２は、第１パス画像変換部４００−１により生成された右眼用信号Ｒ１を入力として、さらに大きな視差を発生させる右眼用信号Ｒ２を生成する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０２３０
【補正方法】変更
【補正の内容】
【０２３０】
ステップＳ１０８において左眼用画像の生成を終了すると、ステップＳ１０９において、左眼用画像の生成フレームと同一フレームに対して右眼用画像も生成するか否かを判定する。画像表示装置の出力方式が例えば図１８に示す時間分割出力方式の場合には、各フレームにおいては左眼、右眼のいずれかの画像のみを合成するため、右眼用画像の生成は行わないと判断してステップＳ１１１に進む。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０２３１
【補正方法】変更
【補正の内容】
【０２３１】
また、画像表示装置の出力方式が時間分割出力方式以外の場合、すなわち、図１９に示す２倍のフレームレートによる時間分割出力方式、または、図２０に示す空間分割出力方式、あるいは、画像表示装置側で、左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３４は、全ての入力フレームに対して右眼用画像を合成すると判断してステップＳ１１０に進む。ステップＳ１１０の処理はすでに説明した通り、前述した式に従った右眼用画像の生成処理である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０２３２
【補正方法】変更
【補正の内容】
【０２３２】
ステップＳ１１１では、画像合成部１３４の制御部は、画像の縮小処理を行うかどうかを判断する。画像表示装置の出力形式が図２０に示す空間分割出力方式の場合、画像縮小処理を行うと判断し、ステップＳ１１２に進む。画像表示装置の出力形式が図２０に示す空間分割出力方式以外の場合、すなわち、図１５〜図１７に示す左眼用画像、右眼用画像の同時出力方式、図１８に示す時間分割出力方式、または、図１９に示す２倍のフレームレートによる時間分割出力方式のいずれかである場合には、画像縮小処理は不要であるため、ステップＳ１１４に進む。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０２４５
【補正方法】変更
【補正の内容】
【０２４５】
これらの式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｈ’）＋（Ｓ−Ｈ’）＝Ｓ
または、
加算信号＝（Ｓ＋Ｅ’）＋（Ｓ−Ｅ’）＝Ｓ
結果として加算信号は、入力画像と等価になる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０２４６
【補正方法】変更
【補正の内容】
【０２４６】
従って、例えば、図１８、または図１９を参照して説明したように時間分割方式の立体表示装置で表示する場合において、観察者であるユーザが液晶シャッタ方式のメガネを外して画像を観察すると、人間の視覚系における時間的な積分機能により左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）が積分された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｈ’）＋（Ｓ−Ｈ’）＝Ｓ
または、
加算信号＝（Ｓ＋Ｅ’）＋（Ｓ−Ｅ’）＝Ｓ
上記信号［Ｓ］となる。すなわち、入力の２次元画像をそのまま知覚することが出来る。すなわち不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能となる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０２４７
【補正方法】変更
【補正の内容】
【０２４７】
また、図２０に示したように空間分割方式の立体表示装置で表示する場合には、偏光メガネを外した場合には、垂直方向の１画素を知覚できなくなる程度の距離から観察する場合には垂直方向の２画素が加算された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｈ’）＋（Ｓ−Ｈ’）＝Ｓ
または、
加算信号＝（Ｓ＋Ｅ’）＋（Ｓ−Ｅ’）＝Ｓ
上記信号［Ｓ］となる。一方、人間の網膜像差に対する視力は、通常視力の１０倍ほど高いため、このような距離から観察しても左眼用画像と右眼用画像の間の網膜像差は十分認識することが可能である。従って、偏光メガネを外した場合には、不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能であり、偏光メガネを装着すれば、立体知覚が可能となる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０２５３
【補正方法】変更
【補正の内容】
【０２５３】
画像入力部１１０から出力されたビデオデータは、色空間変換部１２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部１２０、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部１２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2011124935.tif 000001
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2011124935.tif 000002
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2011124935.tif 000003