(57)【特許請求の範囲】
【請求項１】
入力画像から右眼に表示する右眼画像及び左眼に表示する左眼画像の所定の帯域を強調処理又は反強調処理する画像強調工程を有し、
前記画像強調工程では、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記帯域の強調処理又は反強調処理の強調量を時間に応じて変動させる
ことを特徴とする画像処理方法。
【請求項２】
入力画像から右眼に表示する右眼画像及び左眼に表示する左眼画像の所定の帯域を強調処理又は反強調処理する画像強調工程を有し、
前記画像強調工程では、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記画像強調工程では、Ｃ１、Ｃ２を定数、σ１を０．５乃至５．０の範囲のパラメータ、σ２を０．０乃至１．０の範囲のパラメータとしたとき、下記で表わされるフィルタを使用する
ことを特徴とする画像処理方法。
【数１】
0005500066.tif 000004
【請求項３】
入力画像から右眼に表示する右眼画像及び左眼に表示する左眼画像の所定の帯域を強調処理又は反強調処理するする画像強調工程を有し、
前記画像強調工程では、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記入力画像において指定された注目領域に対してのみ前記帯域を強調処理又は反強調処理する
ことを特徴とする画像処理方法。
【請求項４】
入力画像から右眼に表示する右眼画像及び左眼に表示する左眼画像の所定の帯域を強調処理する画像強調工程を有し、
前記画像強調工程では、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記入力画像の帯域の強調処理又は反強調処理をした後、コントラストを強調する輝度補正を行って前記右眼画像及び左眼画像とする
ことを特徴とする画像処理方法。
【請求項５】
前記画像強調工程では、下記式（１）で表される線形フィルタを用いて強調処理又は反強調処理し、
前記右眼画像と前記左眼画像の強調量の差が０．１以上である
ことを特徴とする請求項１乃至４のいずれか１項記載の画像処理方法。
【数２】
0005500066.tif 000005
Ｙ（ｘ,ｙ）は元画像の１フレームにおける座標（ｘ,ｙ）地点の輝度値を表している。ｋは前記右眼画像及び前記左眼画像の強調量であり、０から大きくなるにつれて鮮鋭さが増大し、０から小さくなるにつれて鮮鋭さが低下する。ＢＰＦは前記所定の帯域の帯域成分を濾過する帯域濾過フィルタである。
【請求項６】
前記帯域濾過フィルタは１０ｃｙｃｌｅ  ｐｅｒ  ｄｅｇ  ［ｃｐｄ］以上、５０ｃｐｄ以下にピークを有する連続で滑らかな周波数特性を有する空間フィルタである
ことを特徴とする請求項５記載の画像処理方法。
【請求項７】
前記右眼画像と前記左眼画像の強調量の差が１０以下である
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
視野闘争を発生するよう前記右眼画像と前記左眼画像の強調量を異ならせる
ことを特徴とする請求項７記載の画像処理方法。
【請求項９】
右眼に表示する右眼画像を入力画像から取得し、
前記入力画像から左眼に表示する左眼画像を取得し、
前記入力画像を白黒反転又は色反転することによって、前記右眼画像又は前記左眼画像として生成し、
前記白黒反転又は色反転は、前記入力画像において指定された注目領域に対してのみ施す
ことを特徴とする画像処理方法。
【請求項１０】
一方の前記入力画像に対し水平方向の視差を付加する
ことを特徴とする請求項１乃至９のいずれか１項記載の画像処理方法。
【請求項１１】
入力画像から右眼に表示する右眼画像を取得する右眼画像取得手段と、
前記入力画像から左眼に表示する左眼画像を取得する左眼画像取得手段とを有し、
前記右眼画像取得手段及び／又は左眼画像取得手段は、前記入力画像に対して所定の帯域を強調処理又は反強調処理するものであって、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記右眼画像取得手段及び／又は左眼画像取得手段は、前記帯域の強調処理又は反強調処理の強調量を時間に応じて変動させる
ことを特徴とする画像処理装置。
【請求項１２】
入力画像から右眼に表示する右眼画像を取得する右眼画像取得手段と、
前記入力画像から左眼に表示する左眼画像を取得する左眼画像取得手段とを有し、
前記右眼画像取得手段及び／又は左眼画像取得手段は、前記入力画像に対して所定の帯域を強調処理又は反強調処理するものであって、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記右眼画像取得手段及び左眼画像取得手段は、Ｃ１、Ｃ２を定数、σ１を０．５乃至５．０の範囲のパラメータ、σ２を０．０乃至１．０の範囲のパラメータとしたとき、下記で表わされるフィルタを使用する
ことを特徴とする画像処理装置。
【数３】
0005500066.tif 000006
【請求項１３】
入力画像から右眼に表示する右眼画像を取得する右眼画像取得手段と、
前記入力画像から左眼に表示する左眼画像を取得する左眼画像取得手段とを有し、
前記右眼画像取得手段及び／又は左眼画像取得手段は、前記入力画像に対して所定の帯域を強調処理又は反強調処理するものであって、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
入力画像において注目領域を指定する注目領域指定手段を更に有し、
前記右眼画像取得手段及び／又は左眼画像取得手段は、前記注目領域に対してのみ前記帯域の強調処理又は反強調処理を施す
ことを特徴とする画像処理装置。
【請求項１４】
入力画像から右眼に表示する右眼画像を取得する右眼画像取得手段と、
前記入力画像から左眼に表示する左眼画像を取得する左眼画像取得手段とを有し、
前記右眼画像取得手段及び／又は左眼画像取得手段は、前記入力画像に対して所定の帯域を強調処理又は反強調処理するものであって、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記右眼画像取得手段及び左眼画像取得手段は、前記入力画像の帯域の強調処理又は反強調処理をした後、コントラストを強調する輝度補正を行って前記右眼画像及び左眼画像とする
ことを特徴とする画像処理装置。
【請求項１５】
前記右眼画像取得手段及び左眼画像取得手段は、下記式（１）で表される線形フィルタを有し
前記線形フィルタは前記帯域を強調処理又は反強調処理し、
前記右眼画像と前記左眼画像の強調量の差が０．１以上である
ことを特徴とする請求項１１乃至１４のいずれか１項記載の画像処理装置。
【数４】
0005500066.tif 000007
Ｙ（ｘ,ｙ）は元画像の１フレームにおける座標（ｘ,ｙ）地点の輝度値を表している。ｋは前記右眼画像及び前記左眼画像の強調量であり、０から大きくなるにつれて鮮鋭さが増大し、０から小さくなるにつれて鮮鋭さが低下する。ＢＰＦは前記所定の帯域の帯域成分を濾過する帯域濾過フィルタである。
【請求項１６】
前記帯域濾過フィルタは１０ｃｙｃｌｅ  ｐｅｒ  ｄｅｇ  ［ｃｐｄ］以上、５０ｃｐｄ以下にピークを有する連続で滑らかな周波数特性を有する空間フィルタである
ことを特徴とする請求項１５記載の画像処理装置。
【請求項１７】
前記右眼画像と前記左眼画像の強調量の差が１０以下である
ことを特徴とする請求項１６記載の画像処理装置。
【請求項１８】
前記右眼画像取得手段及び左眼画像取得手段は、視野闘争を発生するようそれぞれ前記右眼画像及び前記左眼画像の強調量を異ならせる
ことを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
入力画像から右眼に表示する右眼画像を取得する右眼画像取得手段と、
前記入力画像から左眼に表示する左眼画像を取得する左眼画像取得手段と、
前記入力画像において注目領域を指定する注目領域指定手段とを有し、
前記右眼画像取得手段又は左眼画像取得手段は、前記注目領域に対してのみ、前記入力画像を白黒反転又は色反転する、
ことを特徴とする画像処理装置。
【請求項２０】
一方の前記入力画像に対し水平方向の視差を付加する視差生成手段を更に有する
ことを特徴とする請求項１１乃至１９のいずれか１項記載の画像処理装置。
【請求項２１】
所定の動作をコンピュータに実行させるためのプログラムであって、
前記所定の動作は、入力画像から右眼に表示する右眼画像及び左眼に表示する左眼画像の所定の帯域を強調処理又は反強調処理する画像強調工程を有し、
前記画像強調工程では、前記右眼画像と前記左眼画像の強調量の差を、知覚によって鮮鋭さの違いを判別できる限界点である検知限以上とし、
前記画像強調工程では、さらに前記入力画像において指定された注目領域に対してのみ前記帯域の強調処理又は反強調処理を施す
ことを特徴とするプログラム。
【請求項２２】
所定の動作をコンピュータに実行させるためのプログラムであって、
前記所定の動作は、
右眼に表示する右眼画像を入力画像から取得し、
前記入力画像から左眼に表示する左眼画像を取得し、
前記入力画像を白黒反転又は色反転することによって、前記右眼画像又は前記左眼画像として生成し、
前記白黒反転又は色反転は、前記入力画像において指定された注目領域に対してのみ施す、
動作であることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点に異なる画像を表示するシステムにおいて表示品質を向上させる画像処理方法、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、特許文献１、特許文献２及び特許文献３に、左右の目に対応した輝度成分が互いに異なる画像を生成し、これらを表示する技術が開示されている。特許文献１では、左右の画像の一方の輝度を相対的に高くすることにより、また特許文献２、３では、一方の画像のコントラストを強調することにより、立体感や光沢感を得ている。【０００３】
図１８は、従来の画像処理装置の一例を示す図である。従来の画像処理装置３００は、両眼画像表示部３０１と、右画像輝度補正部３０２と、左画像輝度補正部３０３とから構成されている。両眼画像表示部３０１は、右画像表示部３０４と、左画像表示部３０５とを含む。入力された画像信号は、右画像輝度補正部３０２と、左画像輝度補正部３０３にそれぞれ入力される。右画像輝度補正手段３０２は、画像信号から輝度Ｙを抽出した後に明暗のコントラストを強調する。 コントラスト強調方法の一例として、図１０に示す第１のトーンカーブ５１を輝度Ｙに作用させる方法がある。左画像輝度補正部３０３は、右画像とは異なるパラメータを用いて輝度を補正する。左画像輝度補正部３０３の一例として、第２のトーンカーブ５２を輝度Ｙに作用させる方法がある。第２のトーンカーブ５２は、第１のトーンカーブ５１に比べると傾きが小さく、コントラスト強調効果が低い特性になっている。【０００４】
両眼画像表示部３０１は、人の右目と左目に異なる画像を提示することが可能な表示装置であり、立体ディスプレイとして利用されている。両眼画像表示部３０１の例としては、左右の画像投影部に異なる偏光フィルタを装着し、観察者の方で偏光眼鏡を通して両眼視するものがある。
【特許文献１】特開平１０−２２４８２２号公報
【特許文献２】特開２００４−２２９８８１号公報
【特許文献３】特表平１１−５１１３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術においては、画像の全体的な明暗を補正するだけではシャープネス感を強調することができないという問題点がある。【０００６】
本発明は、このような問題点を解決するためになされたものであり、両眼に異なる画像を表示することによって、画像品質を向上させる画像表示装置、画像表示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明に係る画像処理方法は、入力画像から右眼に表示する右眼画像及び左眼に表示する左眼画像の所定の帯域を強調処理又は反強調処理する画像強調工程を有し、前記画像強調工程では、前記右眼画像と前記左眼画像の強調量の差（以下、強調差ともいう。）を検知限以上とするものである。
【０００８】
本発明にかかる他の画像表示方法は、右眼に表示する右眼画像を入力画像とし、左眼に表示する左眼画像を前記入力画像を白黒反転又は色反転することによって生成するものである。
【発明の効果】
【０００９】
本発明によれば、鮮鋭感を向上させることができる画像処理方法、画像処理装置及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態にかかる画像処理装置を示すブロック図である。
【図２】本発明の第２の実施の形態にかかる画像処理装置を示すブロック図である。
【図３】強調量ｋと、鮮鋭さとの関係を示す説明図である。
【図４】帯域濾過フィルタ特性の一例を示す図である。
【図５】式（２）を用いた画像処理例を示す図であって、元画像例を示す図である。
【図６】式（２）を用いた画像処理例を示す図であって、鮮鋭さ低下例を示す図である。
【図７】式（２）を用いた画像処理例を示す図であって、鮮鋭さ強調画像の例を示す図である。
【図８】式（２）を用いた画像処理例を示す図であって、鮮鋭さ強調過多の例を示す図である。
【図９】ＢＰＦの一例である高周波フィルタを示す図である。
【図１０】第１のトーンカーブを示す図である。
【図１１】レンチキュラーレンズを用いた多眼表示部を示す図である。
【図１２】注目領域の一例を示す図である。
【図１３】本発明の第２の実施の形態にかかる画像処理装置の動作を示すフローチャートである。
【図１４】本発明の第３の実施の形態にかかる画像処理装置を示すブロック図である。
【図１５】本発明の第４の実施の形態にかかる画像処理装置を示すブロック図である。
【図１６】白黒反転トーンカーブを示す図である。
【図１７】本発明の第５の実施の形態にかかる画像処理装置を示すブロック図である。
【図１８】従来の画像処理装置の一例を示す図である。
【符号の説明】
【００１１】
１、１１、２１  多眼画像表示部
２  右眼画像輝度補正部
３  左眼画像輝度補正部
４、１３  右眼帯域強調部
５、１４  左眼帯域強調部
６、１７、２５  右眼画像表示部
７、１８、２６  左眼画像表示部
８、１２、２３  注目領域指定部
９、１９、２４、２９  視差生成部
１５  右眼強調量時系列変動部
１６  左眼強調量時系列変動部
２２  白黒反転部
２７  色反転部
３１  帯域濾過フィルタ特性
４２  液晶パネル
４３、４４  画像バッファ
４５  多眼表示部
５１、５２  トーンカーブ
６１  高周波フィルタ
７１  注目領域
７２  人物画像
８１  白黒反転トーンカーブ
１００、１１０、１２０、１３０  画像処理装置
１０１  右眼補正処理部
１０２  左眼補正処理部
【発明を実施するための最良の形態】
【００１２】
第１の実施の形態.【００１３】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の第１の実施の形態にかかる画像処理装置１００を示す図である。画像処理装置１００は、入力画像から右眼（第１の視点）に表示する右眼画像を取得する右眼画像取得部１０１と、入力画像から左眼（第２の視点）に表示する左眼画像を取得する左眼画像取得部１０２とを有する。そして、右眼画像取得部１０１、又は右眼画像取得部１０１及び左眼画像取得部１０２は入力画像の所定の帯域を強調処理するものであって、右眼画像と左眼画像の強調量の差（強調差）は検知限以上である。入力画像は、静止画像であっても動画像であってもよい。【００１４】
本実施の形態においては、左右の画像の一方を他方の強調処理とは異なる強調量で強調処理を行うことにより、視野闘争を生じさせ、コントラストを向上し、画質の向上を図るものである。ここで、右眼画像取得部１０１のみで帯域強調処理を行ってもよいし、右眼画像取得部１０１と左眼画像処理部１０２の双方で帯域強調処理を行い、当該帯域強調処理における強調量を異ならせるようにしてもよい。その場合、後述するように、右眼画像と左眼画像の強調量の差が０．１以上、それぞれ強調量が−０．１乃至１０であることが好ましい。さらに、帯域強調処理の強調量を時間に応じて変動させるようにしてもよい。また、後述するように、帯域強調処理ではなく、右目画像処理部及び左眼画像処理部のいずれか一方について白黒反転処理又は色反転処理を施してもよい。【００１５】
また、入力画像において指定された注目領域に対してのみ帯域強調処理、白黒反転又は色反転処理を施すようにしてもよい。注目領域を指定することにより視野闘争を起こす領域を制限することができるため、視聴者の注目を特定領域に集めることができる。さらに、一方の入力画像に対し水平方向の視差を付加するようにしてもよい。これにより、より画質が向上した視差画像（立体画像）を得ることができる。さらにまた、入力画像の帯域強調処理をした後、コントラストを強調する輝度補正を行って右眼画像及び左眼画像とするようにしてもよい。これにより、より画質を向上させることができる。【００１６】
第２の実施の形態.
次に、発明の第２の実施の形態について説明する。本実施の形態は、視野闘争を生じさせるための補正処理として帯域強調処理を施す例である。ここでは先ず、本実施の形態にかかる画像処理装置において、質感が変化して画質が向上する原理について説明する。大山、今井、和気編、"感覚・知覚心理学ハンドブック"、誠信書房、ｐｐ.７４４−７５１（非特許文献１）によると、左右の目に異なる画像を提示すると、脳内ではこれらの画像が合成されて知覚される。その知覚状態は安定ではなく、どちらかの画像が支配的に見えたり、両眼の画像が交互に見えたりする。この現象は視覚心理学において視野闘争とよばれる。【００１７】
また両眼の輝度値にあまり差がないときは両眼加重と呼ばれるコントラスト感度の向上の効果があることが知られている。この両眼視における視覚の不安定さを利用すると、左右の一方の画像を強く帯域強調することによって、強調される空間周波数帯域が支配的であるような画像中の部分領域において、視野闘争が引き起こされる。また同時に、輝度差が小さい領域では両眼加重によるコントラスト感の増大が起こる。この効果により物体上に生じる光の反射、光沢感などの質感を、脳内に想起させることができる。さらに、両眼で視差を生成することで、立体視においても上記の画質向上効果を与えることができる。【００１８】
次に、本発明の実施の形態について図面を参照して詳細に説明する。図２は、本発明の第２の実施の形態にかかる画像処理装置を示すブロック図である。図２に示すように、第２の実施の形態にかかる画像処理装置１１０は、多眼画像表示部１と、右眼画像輝度補正部２と、左眼画像輝度補正部３と、右眼帯域強調部４と、左眼帯域強調部５と、注目領域指定部８と、視差生成部９とを有する。多眼画像表示部１は、右眼画像表示部６と、左眼画像表示部７とを有する。【００１９】
入力された画像信号は、右眼帯域強調部４と、左眼帯域強調部５とにそれぞれ入力される。なお本実施の形態では、同じ入力信号を分配する構成になっているが、あらかじめ同じ入力画像を複製した画像データを、右眼帯域強調部４及び左眼帯域強調部５の入力として用いてもよい。【００２０】
右眼帯域強調部４は、入力画像に対して視覚の鮮鋭さに敏感な空間周波数帯域を強調又は抑圧し若しくは反強調し、右眼帯域強調画像を生成する。左眼帯域強調部５は、右眼帯域強調部４と同じ構成であるが強調量が異なる。具体的には強調量ｋの値が右眼帯域強調部４と異なる値を用いて強調処理を行い、右眼帯域強調画像とは強調量が異なる左眼帯域強調画像を生成する。これにより、コントラストを向上し、画質を向上させる。
【００２１】
右眼帯域強調部４の一例として、式（１）のような線形フィルタを用いて強調する方法がある。Ｙ（ｘ,ｙ）は元画像の１フレームにおける座標（ｘ,ｙ）地点の輝度値を表している。【００２２】
0005500066.tif 000002
【００２３】
式（１）のｋは強調量であり、０から大きくなるにつれて鮮鋭さが増大し、０から小さくなるにつれて鮮鋭さが低下する。ＢＰＦは視覚の鮮鋭さに敏感な帯域成分を濾過する帯域濾過フィルタである。【００２４】
鮮鋭さを増大させるための最適な強調量ｋの値は、ＢＰＦの形状や画像の絵柄に依存して決まる。しかしながら通常の利用状況において、鮮鋭さを上げていく場合、鮮鋭さの違いを知覚するためには、実験的に強調量ｋの値として０．１以上の差があることが望ましい。強調量ｋの差（強調差）が０．１よりも小さくなると鮮鋭さの違いを判別しにくくなる。知覚によって鮮鋭さの違いを判別できる限界点を検知限と呼ぶ。ｋが大きくなるにつれて鮮鋭さが増大していくが、あるレベルを越えると強調過多によってエッジ付近に白黒の縁取りが生じ、実写というよりも絵画風な画像になってしまう。強調量ｋと、鮮鋭さとの関係を示す説明図を図３に示す。【００２５】
鮮鋭さ特性曲線２０１は、一定量までは強調量に比例して鮮鋭さが大きくなるが、強調過多になるともはや鮮鋭さを感じることができず、逆に低下してしまうことを示す。ＢＰＦの形状や、画像の絵柄に依存するが、実験的には強調量ｋの上限はｋ＝１０程度である。すなわち、一方の画像の強調量を０とする場合（強調処理を行わない場合）、他方の強調処理における強調量は０．１≦ｋ≦１０とすることが好ましい。【００２６】
反強調処理として、鮮鋭さを低下させるには、強調量ｋを０より小さくする必要がある。このときいわゆる暈けた画像が出力されることになる。実験的に人間に鮮鋭さの低下を知覚させるためには、強調量が−０．１以下であることが望ましい。なお、鮮鋭さを低下させるときのｋの下限は−１．０、すなわち帯域成分を全て減算する場合である。ｋを−１．０より小さい値にすると、見た目に予想不能な画像効果が生じてしまう。すなわち、一方の強調量を０として、他方の鮮鋭さを低下させる場合、その強調量は、−１.０≦ｋ≦−０．１とすることが好ましい。右眼帯域強調部４及び左眼帯域強調部５において、同時に帯域強調処理を行う場合には、両者の強調量が−０．１乃至１０であって、強調量の差（強調差）が０．１乃至１０であることが好ましい。
【００２７】
ＢＰＦ（帯域濾過フィルタ）の帯域濾過特性の一例として、図４に帯域濾過フィルタ特性３１を示す。帯域濾過フィルタ特性３１は、２０ｃｙｃｌｅ  ｐｅｒ  ｄｅｇ  ［ｃｐｄ］付近にピークを持つ滑らかな線形フィルタを示している。同様な特性を有するフィルタを使用して画像の鮮鋭さを強調する方法が坂田、"絵素配列と画質（線状絵素）（視覚と画質）"、テレビジョン学会技術報告、Vol.6, No.37, 1983１（非特許文献２）及びA.Inoue and J.Tajima, "Adaptive Image Sharpening Method Using Edge Sharpness," Vol.E76-D, No.10, pp.1174-1180, 1993（非特許文献３）などに記載されている。実際には１０から５０ｃｐｄ付近にピークを有する連続で滑らかな周波数特性を有する空間フィルタを用いることができる。ＢＰＦの一例として、下記式（２）のＤＯＧ（Difference-Of-Gaussian）フィルタがある。【００２８】
0005500066.tif 000003
【００２９】
Ｃ１、Ｃ２は定数である。本フィルタは、ガウスフィルタの差分で表現されておりパラメータはσ１、σ２である。パラメータの値を変更することで、通過帯域を変更することができる。具体的な数値の例としてはσ１＝２．０、σ２＝１．０などがある。σ１は低周波側の立ち上がりを制御する値であり、値を大きくすることでより大きなエッジを強調する効果がある。σ２は高周波側のカットオフを制御する値であり、強調時のノイズ抑制に効果がある。【００３０】
σ１、σ２は、画像の解像度や絵柄によって最適な値が異なる。現在一般に利用されているＳＤＴＶ（Standard Definition TeleVision）、ＨＤＴＶ（High Definition TeleVision）、デジカメ写真などのデジタル画像データの場合、σ１の範囲は０．５乃至５．０であり、σ２の範囲は０．０乃至１．０であることが好ましい。【００３１】
図５乃至図８に式（２）を用いた画像処理例を示す。σ１＝２．０、σ２＝０．３である。図５は元画像例２１１、図６は鮮鋭さ低下例２１２、図７は鮮鋭さ強調画像の例２１３、図８は鮮鋭さ強調過多の例２１４を示す。なお、演算量を削減したＢＰＦの一例として図９に示す単純な高周波フィルタ６１を使用することもできる。これは鮮鋭さに敏感な帯域以上の高周波を濾過する特性を有する。【００３２】
以上述べた帯域強調処理は、輝度信号Ｙに対する処理を対象としている。カラー画像信号ＲＧＢが入力される場合には、輝度Ｙ信号と色差ＵＶ信号に分解した後に、輝度Ｙ信号にのみ帯域強調処理を作用させるほうが、演算量が少なくなるため一般的である。ただ、画像効果としてはＲ、Ｇ、Ｂ独立に処理することによっても同様の効果が得られるため、ＲＧＢ独立に帯域強調処理を行ってもよい。【００３３】
次に、左眼帯域強調部５の出力に対して、視差生成部９を作用させる。視差生成部９は、立体視を行うために片方の画像にのみ、水平方向の視差を付加するものである。具体的には、画像の各画素の奥行きに合わせて画素毎に平行移動させる処理を行う。例えば、遠方にある物体については移動量を０とし、近くの物体Ｘの領域画素を、水平方向にｄだけ移動させることで得られた画像と、右眼帯域強調画像とを両眼に表示させることで物体Ｘを手前に浮き出るように見せることができる。なお、本実施の形態では視差生成部９を、左眼帯域強調部５の後に配置したが、右眼帯域強調部４の後に配置することもできる。また立体視を行わないときには視差移動量を０とすればよい。なお、入力画像信号に視差情報が入力されている場合は、視差生成部９は必須ではない。【００３４】
右眼画像輝度補正部２は右眼帯域強調部４の出力画像信号から輝度Ｙを抽出した後に明暗のコントラストを強調して右眼表示画像を得る。 コントラスト強調方法の一例として、図１０に示す第１のトーンカーブ５１を輝度Ｙに作用させる方法がある。左眼画像輝度補正部３は左眼帯域強調部５の出力画像信号に対して、右眼表示画像とは異なるパラメータを用いて輝度を補正して左眼表示画像を得る。左眼画像輝度補正部３の一例として、第２のトーンカーブ５２を輝度Ｙに作用させる方法がある。第２のトーンカーブ５２は、第１のトーンカーブ５１に比べると傾きが小さく、コントラスト強調効果が低い特性になっている。右眼画像輝度補正部２は、従来手法における右眼画像輝度補正部２０２と同じ作用をし、左眼画像輝度補正部３は、従来手法における右眼画像輝度補正部２０３と同じ作用をする。ただし本実施の形態における輝度補正部では、前段の帯域強調があるために、極端な場合には輝度補正をしなくとも一定の画質改善効果が得られる。【００３５】
多眼画像表示部１は、異なる視点位置に異なる画像を提示することが可能な表示装置であり、右眼表示画像を表示する右眼画像表示部６と、左眼表示画像を表示する左眼画像表示部７とから構成されている。多眼画像表示部１は、右眼画像及び左眼画像を、左右の両目にそれぞれ対応させて表示させることができる。そのため、立体ディスプレイとして利用されることが多い。多眼画像表示部１の例としては、右眼画像投影部と左眼画像投影部に異なる偏光フィルタを装着し、観察者のほうで偏光眼鏡を通して両眼視するものがある。また多眼画像表示部１の他の例として、図１１に示すようなレンチキュラーレンズを用いた多眼表示部４５がある。多眼画像表示部４５は、レンチキュラーレンズを横に並べたものを、液晶パネル４２の前面に装着したものである。右眼画像バッファ４３と、左眼画像バッファ４４とにそれぞれの視点に対応した画像が蓄積されている。液晶パネル４２では、レンチキュラーレンズの大きさに合わせて右眼画像と左眼画像を短冊状に交互に合成して表示する。レンチキュラーレンズによって光路が曲げられることで、人間の左目と右目に対応した画像や、複数の視点に対応した画像を表示することが可能となる。【００３６】
図１１に多眼画像表示部の一例を示したが、多眼画像表示部は、これらに限るわけでない。例えば、眼鏡方式では、左右の目に対し異なる色の色フィルタを用いるアナグリフ方式、アナグリフ方式を発展させ可視光の波長領域を６個に分割し左右の各目に対し異なる３領域を使用する方式、また、液晶シャッター眼鏡（ステレオシャッター眼鏡）を用いて左右の目に対応する各画像を時間軸方向に分割して順に表示し対応する目の眼鏡を透過状態にする方式等がある。【００３７】
また、例えば、裸眼方式では、視差バリア（パララックスバリア）を用い左右の各目に届く光を制限するバリア方式や、さらに左右の目に対応する各画像を時分割で表示装置に表示すると共に表示装置のバックライトでの光の入れ方を右方向と左方向と時分割で切り替え更にレンズを併用することによって目に入る画像と光の方向を時分割に制御するスキャンバックライト方式等がある。更に別の方式として、ヘッドマウントディスプレイ等の形式により各目に対応した表示装置を目の直前におくニアアイ方式で配置 し、各表示装置に各目に対応した画像を表示するビューワ方式等がある。【００３８】
このような様々な各方式の多眼表示部に対し、本実施の形態は好適に適用できる。なぜなら本実施の形態にかかる画像処理方法においては、生成された画像は、各種の多眼画像表示部の方式に合わせて必要に応じて加工され多眼画像表示部を通し観察されることにより、多眼情報を認識することができるためである。【００３９】
注目領域指定部８は、画像中から視聴者が注意したい部分領域を指定する。注目領域の一例を図１２に示す。図１２は人物画像７２を表しており、その中の矩形で囲まれた領域が注目領域７１である。このケースでは、手前の人物の顔領域が指定されている。人物の顔以外にも、広告画像中の商品領域などが注目領域として考えられる。領域指定方法としては、マウスなどの入力機器を用いて指定する方法がある。また画像認識技術を用いて自動的に各画像フレーム中から検出する方法がある。なお、この注目領域指定部８は必要に応じて設ければよい。【００４０】
次に、本実施の形態にかかる画像処理装置の動作について説明する。図１３は、本実施の形態にかかる画像処理装置の動作を示すフローチャートである。図１３に示すように、先ず、画像信号を入力する（ステップＳ１）。本実施の形態においては、動画を入力することとしているが、静止画であっても同様に処理することができる。【００４１】
画像信号は、右眼帯域強調部４及び左眼帯域強調部５に入力される。右眼帯域強調部４に入力された画像信号は、所定の強調量ｋ１にて強調処理され(ステップＳ２)、右眼画像輝度補正部２に入力される。一方、左眼帯域強調部５に入力された画像信号は、強調量ｋ１とは０.１以上差がある強調量ｋ２にて強調処理される(ステップＳ３)。強調量ｋ１、ｋ２は、両者が−０．１乃至１０であって、両者の差（強調差）の絶対値が０．１乃至１０であることが好ましい。【００４２】
次に、左眼帯域強調処理５にて帯域強調された信号は、視差生成部９に入力され、所定の視差画像とされる(ステップＳ４)。その後、左眼画像輝度補正部３に入力される。右眼画像輝度補正部２及び左眼画像輝度補正部３でそれぞれ画像の輝度を最適化する(ステップＳ５、Ｓ６)。そして、上述したように、多眼画像表示部１にて右目画像及び左目画像を表示する(ステップＳ７)。【００４３】
本実施の形態においては、帯域強調部により、一方の視点の画像に対して高周波帯域成分を増大させること、及び視野闘争を意図的に生じさせることにより、鮮鋭感を向上させることができる。また、注目領域を指定することにより視野闘争を起こす領域を制限することができるため、視聴者の注目を特定領域に集めることができる。【００４４】
第３の実施の形態.
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。本実施の形態は、第１の実施の形態の帯域強調処理において、強調量を時系列に変動させる例である。図１４は、本発明の第３の実施の形態にかかる画像処理装置を示すブロック図である。図１４に示すように、第３の実施の形態にかかる画像処理装置１２０は、多眼画像表示部１１と、右眼帯域強調部１３と、左眼帯域強調部１４と、右眼強調量時系列変動部１５と、左眼強調量時系列変動部１６と、注目領域指定部１２と、視差生成部１９とを有する。多眼画像表示部１１は、右眼画像表示部１７と、左眼画像表示部１８とを有する。【００４５】
入力された画像信号は、右眼帯域強調部１３、左眼帯域強調部１４にそれぞれ入力される。右眼帯域強調部１３、左眼帯域強調部１４は、入力画像フレームに対し帯域強調処理を施す。一例として右眼帯域強調部４又は左眼帯域強調部５を使用することができる。右眼帯域強調部１３は、右眼強調量時系列変動部１５によって算出された右眼強調量を用いて、帯域強調処理を行う。左眼帯域強調部１４は、左眼強調量時系列変動部１６によって算出された左眼強調量を用いて、帯域強調処理を行う。【００４６】
右眼強調量時系列変動部１５は、あらかじめ定められた規則に従って変化する強調量を出力する。右眼強調量時系列変動部１５、及び左眼強調量時系列変動部１６の動作の一例を示す。右眼強調量時系列変動部１５にＮ個の強調量セットＦ（ｎ）（ｎ＝１...．Ｎ）が保存されている。左眼強調量時系列変動部１６にＮ個の強調量セットＧ（ｎ）（ｎ＝１...．Ｎ）が保存されているとする。時間ｔにおける右眼び左眼強調量算出の一例として、式（３）のＴ１（ｔ）,Ｔ２（ｔ）がある。
Ｔ１（ｔ）＝Ｆ（（ｔ％Ｎ）＋１）
Ｔ２（ｔ）＝Ｇ（（ｔ％Ｎ）＋１）      ・・・（３）【００４７】
式（３）の％は剰余を表す。式（３）では、予め定められたＮ個の強調量を時間ｔに合わせて順番に適用していくものである。また動画像への適用の場合、複数フレーム単位で強調量を切り替えることも可能である。一例として例えば、Ｎ＝１２、Ｆ（ｎ）＝｛１，１，１，１，３，３，３，３，１０，１０，１０，１０｝とすれば、４フレームごとに強調量を１，３，１０と切り替えることができる。また、左右の片方の強調量を固定した例として、式（４）のＴ１（ｔ）、Ｔ２（ｔ）がある。
Ｔ１（ｔ）＝Ｆ（１）
Ｔ２（ｔ）＝Ｆ（（ｔ％Ｎ）＋１）      ・・・（４）【００４８】
式（４）は、右眼帯域強調画像の強調量Ｔ１（ｔ）は固定のまま、左眼帯域強調画像の強調量Ｔ２（ｔ）のみを１からＮ番目まで順次切り替えていくことを示している。Ｎ＝２とすれば第２の強調量Ｔ２（ｔ）側において、２つの強調量による画像が順次切り替わる。式（４）では右眼帯域強調画像の強調量を固定としているが、逆に左眼Ｔ２側を固定として右眼Ｔ１側の画像を強調してもよい。【００４９】
次に左眼帯域強調部１４の出力に対して、視差生成部１９を作用させる。視差生成部１９は、立体視を行うために片方の画像にのみ、水平方向の視差を付加するものであり、視差生成部９と同等の動作をする。なお、入力画像信号に視差情報が入力されている場合は、視差生成部１９は必須ではない。【００５０】
視差生成部１９の出力と、右眼帯域強調部１３の出力は、多眼画像表示部１１に入力される。多眼画像表示部１１は、異なる視点位置に異なる画像を提示することが可能な表示装置であり、右眼表示画像を表示する右眼画像表示部１７と、左眼表示画像を表示する左眼画像表示部１８とから構成されている。多眼画像表示部１１は第１の実施の形態における多眼画像表示部１と同等の動作をする。
【００５１】
注目領域指定部１２は、画像中から視聴者が注意したい部分領域を指定するブロックであり、注目領域指定部８と同等の動きをするブロックである。指定した注目領域は、２つの帯域強調部に反映されて、帯域強調部は、注目領域内にのみ帯域強調処理を施す。【００５２】
本実施の形態によって質感が変化して画質が向上する原理について説明する。大山、今井、和気編、"感覚・知覚心理学ハンドブック"、誠信書房、pp.552-555（非特許文献４）によると、人間が異なる画像を２Ｈｚから５０Ｈｚ程度の範囲で交互に提示すると、ちらつき感を感じる。通常、このちらつき感は不快感の原因となるので、この周波数帯のピークを抑える処置が取られている。しかしながら、水面のきらめきや、金属光沢、メタリックな材質感、星の瞬きなど、物体が輝く様を表現するには、時間的に変化するフレームを提示することが必要である。【００５３】
この時間変化フレームを従来の単眼視表示で行うと、ちらつき感を生じるために、かえって画質低下を招く場合がある。しかし多眼表示システムによって一方の画像にだけ処理を行うことで、双方の画像が合成されて、知覚するちらつき感が緩和される。このようにして、Ｎ枚のフレームの画像を変化させながら提示することにより、物体の輝き、光沢感などの質感を、脳内に想起させることができる。さらに、両眼で視差を生成することで、立体視においても上記の画質向上効果を与えることができる。【００５４】
本実施の形態においては、第１の実施の形態と同様の効果を奏すると共に、一方の目の画像を時間的に変動させることと、視野闘争を意図的に生じさせることにより、物体の光沢感などの質感を再現することができる。【００５５】
第４の実施の形態.
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。本実施の形態は、視野闘争を生じさせるための補正処理として白黒反転処理を施す例である。図１５は、本発明の第４の実施の形態にかかる画像処理装置を示すブロック図である。図１５に示すように、第４の実施の形態にかかる画像表示装置１３０は、多眼画像表示部２１と、白黒反転部２２と、注目領域指定部２３と、視差生成部２４とから構成されている。多眼画像表示部２１は、右眼画像表示部２５と、左眼画像表示部２６とを有する。白黒反転部２２は、入力画像信号の輝度信号のみを反転する。【００５６】
まず入力画像信号を輝度信号と色信号に分解する。次に輝度信号にのみ白黒反転トーンカーブ補正を行う。この白黒反転トーンカーブ補正の一例として、図１６の白黒反転トーンカーブ８１によって輝度値を変換する方法がある。白黒反転トーンカーブ８１は、入力輝度Ｙが２５５（白）のときに、出力輝度Ｙ'が０（黒）となるような、右下がりのトーンカーブである。白黒反転トーンカーブ補正の後に、元の色信号を使って、輝度だけが反転したカラー画像信号に変換することができる。【００５７】
白黒反転部２２のもう一つの例として、輝度信号Ｙに式（５）を作用させる方法がある。輝度信号Ｙは０から２５５までの範囲の８ｂｉｔ信号を仮定している。式（５）のように最大輝度値から現信号を減算することで白黒反転させることができる。
Ｙ'＝２５５−Ｙ      ・・・（５）【００５８】
次に、白黒反転処理を行う前の入力画像信号を分岐して、視差生成部２４を作用させる。視差生成部２４は、立体視を行うために片方の画像にのみ、水平方向の視差を付加するものであり、視差生成部９と同等の動作をする。なお本実施例では、白黒反転する画像と別の画像に対して視差生成部を作用させているが、逆に白黒反転した画像に視差生成部を作用させてもよい。なお、入力画像信号に視差情報が入力されている場合は、視差生成部２４は必須ではない。【００５９】
白黒反転部２２と、視差生成部２４の出力画像信号は、多眼画像表示部２１に入力される。多眼画像表示部２１は、異なる視点位置に異なる画像を提示することが可能な表示装置であり、右眼表示画像を表示する右眼画像表示部２５と、左眼表示画像を表示する左眼画像表示部２６とから構成されている。多眼画像表示部２１は第１の実施の形態における多眼画像表示部１と同等の動作をする。【００６０】
注目領域指定部２３は、画像中から視聴者が注意したい部分領域を指定するブロックであり、注目領域指定部８と同等の動きをする。指定した注目領域は、白黒反転部２２に反映され、白黒反転部２２は、注目領域内にのみ白黒反転を施す。【００６１】
本実施の形態によって質感が変化する原理について説明する。画像に対して輝度値の白黒反転を行うと、撮影された物体の材質が透明に変化したように感じる場合がある。そこで、片方の視点に対する画像にのみ白黒反転を施すことで、材質の変化した前の画像と、後の画像との視野闘争をもたらすことができる。白黒反転を行って視野闘争を意図的に生じさせることにより、物体の透明感を増幅させて質感を変化させることができる。この処理を、例えば商品の宣伝画像における商品領域にのみに適用することにより、見た目の品質向上や人目を引く効果を上げることができる。【００６２】
第５の実施の形態．
次に、本発明の第５の実施の形態について図面を参照して詳細に説明する。図１７を参照すると、本発明の第５の実施の形態は、多眼画像表示部２１と、色反転部２７と、注目領域指定部２３と、視差生成部２４とから構成されている。多眼画像表示部２１は、右眼画像表示部２５と、左眼画像表示部２６とを含む。【００６３】
色反転部２７は、入力画像信号を、色情報含めて反転する手段である。色反転部２７の一例として、入力画像信号ＲＧＢに対して、Ｒ、Ｇ、Ｂ独立に反転する方法がある。反転する方法の一例としては、ＲＧＢ信号に式（６）を作用させる方法がある。ここでＲＧＢ信号は０から２５５までの範囲の８ｂｉｔ信号を仮定している。式（６）のように最大値から現信号を独立に減算することで色反転させることができる。
Ｒ'＝２５５−Ｒ
Ｇ'＝２５５−Ｇ      ・・・（６）
Ｂ'＝２５５−Ｂ【００６４】
色反転部２７の他の例として、輝度色差信号に変換した後に反転させる方法がある。入力信号ＲＧＢを、輝度色差信号であるＹＵＶに分解する。ＹＵＶ信号として例えばＩＴＵ−Ｒ  ＢＴ.６０１で標準化されているＹＣｂＣｒを利用することができる。ＲＧＢとＹＣｂＣｒとの相互変換については一般に広く知られており、Ｙが輝度信号、ＣｂとＣｒが色差を表す。色反転方法の一例として、式（７）に示すようにＹ、Ｃｂ、Ｃｒを独立に反転させる方法がある。
Ｙ'＝２５５−Ｙ
Ｃｂ'＝２５５−Ｃｂ      ・・・（７）
Ｃｒ'＝２５５−Ｃｒ【００６５】
なお、信号の反転処理として、図１６の白黒反転トーンカーブ８１のようなトーンカーブ補正を適用することも可能である。【００６６】
次に、色反転を行う前の入力画像信号を分岐して、視差生成部２４を作用させる。視差生成部２４は、立体視を行うために片方の画像にのみ、水平方向の視差を付加するものであり、視差生成部９と同等の動作をする。なお本実施形態では、色反転する画像と別の画像に対して視差生成部を作用させているが、逆に色反転した画像に視差生成部を作用させてもよい。なお、入力画像信号に視差情報が入力されている場合は、視差生成部２４は必須ではない。
【００６７】
色反転部２７と、視差生成部２４の出力画像信号は、多眼画像表示部２１に入力される。多眼画像表示部２１は、異なる視点位置に異なる画像を提示することが可能な表示装置であり、右眼表示画像を表示する右眼画像表示部２５と、左眼表示画像を表示する左眼画像表示部２６とから構成されている。多眼画像表示部２１は第１の実施の形態における多眼画像表示部１と同等の動作をする。
【００６８】
注目領域指定部２３は、画像中から視聴者が注意したい部分領域を指定するブロックであり、注目領域指定部８と同等の動きをするブロックである。指定した注目領域は、色反転部２７に反映され、注目領域内にのみ色反転を施す。【００６９】
本発明によって質感が変化する原理について説明する。画像に対して輝度値の色反転を行うと、白黒反転と同様に撮影された物体の材質が透明に変化したように感じる場合がある。そこで、片方の視点に対する画像にのみ色反転を施すことで、材質の変化した前の画像と、後の画像との視野闘争をもたらすことができる。これにより、物体の表面に透明感を与えることができる。この処理を、例えば商品の宣伝画像における商品領域にのみに適用することにより、見た目の品質向上や人目を引く効果を上げることができる。【００７０】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。【００７１】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【００７２】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
例えば第４，５の実施形態では、右眼画像取得手段により、入力画像から右眼に表示する右眼画像を取得する。さらに左眼画像取得手段により、入力画像から左眼に表示する左眼画像を取得する。また、右眼画像取得手段は、取得した入力画像を白黒反転又は色反転する。
これに対し、第４，５の実施形態では、右眼に表示する右眼画像を入力画像としてもよい。また左眼に表示する左眼画像を、入力画像を白黒反転又は色反転することによって生成してもよい。
【産業上の利用可能性】
【００７３】
本発明は、複数の視点に異なる画像を表示するシステムにおいて表示品質を向上させる画像処理方法、画像処理装置及びプログラムに利用することができる。
【図１】
0005500066.tif 000008
【図２】
0005500066.tif 000009
【図３】
0005500066.tif 000010
【図４】
0005500066.tif 000011
【図５】
0005500066.tif 000012
【図６】
0005500066.tif 000013
【図７】
0005500066.tif 000014
【図８】
0005500066.tif 000015
【図９】
0005500066.tif 000016
【図１０】
0005500066.tif 000017
【図１１】
0005500066.tif 000018
【図１２】
0005500066.tif 000019
【図１３】
0005500066.tif 000020
【図１４】
0005500066.tif 000021
【図１５】
0005500066.tif 000022
【図１６】
0005500066.tif 000023
【図１７】
0005500066.tif 000024
【図１８】
0005500066.tif 000025