(57)【要約】立体画像において、着目された領域以外の領域が着目された領域より目立たない自然な立体画像を表示することができる立体画像の表示方法及び装置を提供するため、２つの画像を表示して立体画像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域を定め、この領域以外の領域についてボカシ加工を行なうものである。
2004100564.tif 000002
【特許請求の範囲】
【請求項１】
２つの画像を表示して立体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域を定め、この領域以外の領域についてボカシ加工を行なうことを特徴とする立体画像の表示方法。
【請求項２】
クロスポイント（ＣＰ）より前方の領域を着目領域をとし、クロスポイントより後方の領域にボカシ加工を行なうことを特徴とする請求の範囲１記載の立体画像の表示方法。
【請求項３】
着目領域を合焦点領域の周辺領域とし、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲１に記載の立体画像の表示方法。
【請求項４】
着目すべき物体を抽出しその物体周辺を着目領域とし、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲１に記載の立体画像の表示方法。
【請求項５】
画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定する請求の範囲１に記載の立体画像の表示方法。
【請求項６】
ボカシ処理のボカシ程度は着目領域から離れるに従って大きくすることを特徴とする請求の範囲１乃至請求の範囲５に記載の立体画像の表示方法。
【請求項７】
撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なう請求の範囲１乃至請求の範囲６のいずれかに記載の立体画像の表示方法。
【請求項８】
２つの画像を表示して立体体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域を定める領域着目手段と、この領域以外の領域についてボカシ加工を行なうボカシ加工手段とを備えたことを特徴とする立体画像の表示装置。
【請求項９】
領域着目手段は、クロスポイントより前方の領域を着目領域をとし、ボカシ処理手段は、クロスポイントより後方の領域にボカシ加工を行なうことを特徴とする請求の範囲８に記載の立体画像の表示装置。
【請求項１０】
領域着目手段は、着目領域を合焦点領域の周辺領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲８に記載の立体画像の表示装置。
【請求項１１】
領域着目手段は、着目すべき物体を抽出しその物体周辺を着目領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲８に記載の立体画像の表示装置。
【請求項１２】
領域着手段は、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定する請求の範囲８に記載の立体画像の表示装置。
【請求項１３】
ボカシ処理手段は、ボカシの程度を着目領域から離れるに従って大きくすることを特徴とする請求の範囲乃至請求の範囲１２のいずれかに記載の立体画像の表示装置。
【請求項１４】
撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なう請求の範囲８乃至請求の範囲１３のいずれかに記載の立体画像の表示装置。
【発明の詳細な説明】
【技術分野】  この発明は、立体画像の表示方法及び装置に係り、特に、特定の着目領域を決め、この領域から外れた領域について積極的にボカシをかける立体画像の表示方法及び装置に関する。
【背景技術】  従来、複数の撮像手段、例えばカメラを用いて物体（被写体）を撮像することにより立体的な映像情報を得て、これを人間の視覚的特性に合わせて実像表示することが行われている。
その一つとして両眼視差方式が挙げられる。両眼視差方式は、２台のカメラ配置を肉眼の基線長（例えば７２ｍｍ）に設定し、また肉眼の視野輻輳角範囲を考慮して各値を設定して撮像する。
そして、これらの画像を表示する際、観察者に認識される物体との距離、形状に応じた適切な視差（像の横ずれ）を与えて表示する。
このため、撮影時のカメラの撮影位置と、観測者の視点位置の変化に応じて表示画像を変更する必要がある。
そして、撮影同一のコンテンツを画面サイズの異なる表示装置で再生するとき、両側の視差が交叉し、後方の景色が前方の着目領域より視差が大きい上逆相になるため、目立ってしまい、着目すべき個所が見にくくなると言う問題があった。このような現象は肉眼でも同様に生じているはずであるが、生理的作用により、着目している物体以外の個所は自然にぼけてしまっているのである。しかし、ＳＣＣＤカメラなどでは、焦点を合わせた個所より後方について全面的にピントが合ってしまうため、上述した理由により立体視しにくい状態になってしまうのである。
即ち、図１０に示すように、２台のカメラ１，２で背景Ｃ中の被写体Ａ，Ｂを撮影した場合において、得られた画像４１，４２を観察した場合、着目すべき被写体Ａの背景となる背景Ｃの画像が被写体Ａ，Ｂより手前に認識されてしまうこととなる場合がある。
この発明は、かかる現状に鑑み創案されたものであって、その目的とするところは、立体画像において、着目された領域以外の領域が着目された領域より目立たない自然な立体画像を表示することができる立体画像の表示方法及び装置を提供しようとするものである。
【発明の開示】
上記目的を達成するため、請求の範囲１に記載の本発明は、２つの画像を表示して立体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域を定め、この領域以外の領域についてボカシ加工を行なうことを特徴とする立体画像の表示方法である。
本発明によれば、着目すべき物体がある着目領域以外の領域は、ボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲２に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、クロスポイントより前方の領域を着目領域とし、クロスポイントより後方の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、着目領域を合焦点領域の周辺領域とし、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができず、着目した領域が明確に立体表示される。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、着目すべき物体を抽出しその物体周辺を着目領域とし、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、着目すべき物体の周辺を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定するものである。
本発明によれば、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲６に記載の本発明は、請求の範囲１乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、ボカシ処理のボカシ程度を、着目領域から離れるに従って大きくすることを特徴とするものである。
本発明によれば、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲７に記載の本発明は、請求の範囲１乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なうものである。
本発明によれば、各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
請求の範囲８に記載の本発明は、２つの画像を表示して立体体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域を定める領域着目手段と、この領域以外の領域についてボカシ加工を行なうボカシ加工手段と、を備えたことを特徴とする立体画像の表示装置である。
本発明によれば、領域着目手段により着目すべき物体がある着目領域が特定され、それ以外の領域はボカシ処理手段でボカシ加工がおこなわれるため、観者はこの領域について明瞭な画像を得ることができず、着目した領域が明確に立体表示される。
請求の範囲９に記載の本発明は、請求の範囲８に記載の立体画像の表示装置における領域着目手段は、クロスポイントより前方の領域を着目領域とし、ボカシ処理手段は、クロスポイントより後方の領域にボカシ加工を行なうことを特徴とする。
本発明によれば、領域着目手段は、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工を行い、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１０に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着目手段は、着目領域を合焦点領域の周辺領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工をおこない、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１１に記載の本発明は、領域着目手段は、着目すべき物体を抽出しその物体周辺を着目領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲８記載の立体画像の表示装置。
本発明によれば、領域着目手段は、着目すべき物体の周辺を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工を行い、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１２に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着手段は、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定するものである。本発明によれば、領域着目手段は、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲１３に記載の本発明は、請求の範囲８乃至請求の範囲１２のいずれかに記載の立体画像の表示装置において、ボカシ処理手段はボカシの程度を着目領域から離れるに従って大きくすることを特徴とするものである。本発明によれば、ボカシ処理手段は、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲１４に記載の本発明は、請求の範囲８乃至請求の範囲１３のいずれかに記載の立体画像の表示装置において、撮影した画像情報を一旦画像メモリに格納し、格納した画像情報に基づいて各処理を行なうことを特徴とするものである。
本発明によれば、領域着目手段及びボカシ処理手段での各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
【図面の簡単な説明】  図１は、本発明に係る立体画像信号変換装置の構成を示すブロック図である。
図２は、図１に示した立体画像信号変換装置の作動を示すフローチャートである。
図３は、画像における着目領域とボカシ領域とを示す図である。
図４は、画像におけるボカシ加工を示す説明図である。
図５は、本発明に係る立体画像信号変換装置の例を示すブロック図である。
図６は、撮影された物体の状態を説明する図である。
図７は、着目領域と、ボカシ領域の例を示す図である。
図８は、着目領域と、ボカシ領域の他の例を示す図である。
図９は、着目領域と、ボカシ領域の他の例を示す図である。
図１０は、本発明が適用される立体画像撮影装置を示す図である。
【発明を実施するための最良の形態】  以下、本発明に係る立体画像信号変換方法及び装置を実施するための形態について説明する。
図１乃至図１１は、本発明に係る立体画像信号変換方法及び装置の一例を示すものである。
図１は本発明に係る立体画像信号変換装置の構成を示すブロック図、図２は図１に示した立体画像信号変換装置の作動を示すフローチャート、図３は画像における着目領域とボカシ領域とを示す図、図４は画像におけるボカシ加工を示す説明図、図５は本発明に係る立体画像信号変換装置の例を示すブロック図、図６は撮影された物体の状態を説明する図、図７は着目領域とボカシ領域の例を示す図、図８は着目領域とボカシ領域の他の例を示す図、図９は着目領域とボカシ領域の他の例を示す図、図１０は本発明が適用される立体画像撮影装置を示す図である。
本例では、立体画像信号変換装置は、基本的には、右側カメラ１、左側カメラ２に接続された領域着目手段１０と、ボカシ処理手段２０と、から構成されている。
そして、本例において領域着目手段１０は、上記２台のカメラ１，２で撮影した２つの画像を表示して立体体像を表示するに際し、着目すべき物体（被写体）があり明瞭に表示すべき着目領域を定める。
また、上記ボカシ処理手段２０は、上記着目領域以外の領域についてボカシ加工を行なう。
本例に係る立体画像信号変換装置の処理の流れは図２、図３、図４に示す通りである。即ち、左右２台のカメラ１，２で撮影を行い（Ｓ１）、次に領域着目手段１０はこの撮影で得られた各画像４０中に明瞭に表示する着目領域３０を決定する（Ｓ２）。これにより着目領域以外のぼかすべき領域（ボカシ領域５０）が決定される（Ｓ３）。そしてボカシ処理手段２０がボカシ領域のボカシ加工を行なう。
このボカシ加工は、図４に示すように、ボカシ領域５０の各画素について公知のボカシフィルタ９０、例えば、ソーベルフィルタ、ラプラシアンフィルタ、ガウシアンフィルタを適用することにより行われる。この際、ボカシの程度を着目領域から離れるに従って大きくするようにすれば、着目領域３０からボカシ領域５０への変化が自然なものとなり、観者は自然な立体画像を得ることができる。これらのボカシの程度はフィルタの大きさ係数などをソフトウエア的に変更することにより行なうことができる。
次に、本例に係る領域着目手段１０における着目領域について説明する。
本例では２台のカメラ１，２は、図１０に示すように、距離ｄを離し、クロスポイント（ＣＰ）でそれぞれの光軸が交わるように配置されている。
また、領域着目手段１０は、図５に示すように、撮影対象を特定する撮影対象特定手段１１、着目すべき物体までの距離を測定する距離測定手段１２、着目領域の大きさなどを指定する着目領域指定手段１３、ボカシの種類、程度などを設定するボカシ状態設定手段１４からなる。
このような構成の立体画像信号変換装置において、着目領域の特定はさまざまな手法を用いて決定できる。
まず、第１の方法は、クロスポイント（ＣＰ）情報に基づいて着目領域を決定する手法である。これは、図７に示すように、視界６０中のクロスポイント（ＣＰ）より手前側を着目領域７０とし、クロスポイント（ＣＰ）より遠方をボカシ領域８０とするものである。即ち、得られた画像の位相の同逆により着目領域を決定する手法であるともいえる。これは、図６及び図１０に示すように、同相（画像中クロスポイントを通る中央線に対して物体が同じ側にある場合を言う（図６（１））：以下同じ）である部分を着目領域とし、逆相（画像中クロスポイントを通る中央線に対して物体が逆の側にある場合を言う（図６（２））：以下同じ）をボカシ領域とするものと同等となる。
第２の方法は、着目物体Ａまでの距離Ｆ、即ち、カメラ１，２がフォーカスをあわせた位置７０を着目領域７０とし、着目領域の前後をボカシ領域８０，８０とするものである。このとき、着目物体Ａまでの距離Ｌ及び軸Ｏからのずれ量Δｙは以下の手法で計算することができる。
即ち、
左カメラにおいては、以下の式が成立する。
ｙＬＰ／｛（Δｙ／ｃｏｓθＬ）＋〔（Δｚ−ΔｙｔａｎθＬ）ｓｉｎθＬ〕｝＝ｆ／｛（ｚｃ／ｃｏｓθＬ）−〔（Δｚ−ΔｙｔａｎθＬ）ｓｉｎθＬ〕｝        （式１）
ここでｆは撮像手段のレンズの焦点距離を表している。
右カメラの式でも同様の式が成り立つ。
そして、
θＬ＝θＲ＝θとしてカメラを固定すると式１は以下のように簡単となる。
ｙＬＰ／｛（Δｙ／ｃｏｓθ）＋〔（Δｚ−Δｙｔａｎθ）ｓｉｎθ〕｝＝ｆ／｛（ｚｃ／ｃｏｓθ）−〔（Δｚ−Δｙｔａｎθ）ｓｉｎθ〕｝          （式２）
図４より三角形ｆ、ｙ１ｐ、Ｏｙと三角形ｆＰＱは相似であるので、
ｙＬＰ／‘Ａ’＝ｆ／‘Ｂ’となる。
ここで‘Ａ’＝‘ｃ’＋‘ｄ’
‘Ｂ’＝‘ｅ’−‘ｆ’
として分け、‘ｃ’‘ｄ’‘ｅ’‘ｆ’を導き出すと、
‘ｃ’＝（Δｙ／ｃｏｓθ）
‘ｄ’＝（Δｚ−Δｙｔａｎθ）／ｓｉｎθ
‘ｅ’＝（ｚｃ／ｃｏｓθ）
‘ｆ’＝（Δｚ−Δｙｔａｎθ）・ｃｏｓθ
になる。
‘ｃ’〜‘ｆ’を  ｙＬ／‘Ａ’＝ｆ／‘Ｂ’に代入すると、
ｙＬＰ／｛（Δｙ／ｃｏｓθ）＋〔（Δｚ−Δｙｔａｎθ）ｓｉｎθ〕｝＝ｆ／｛（ｚｃ／ｃｏｓθ）−〔（Δｚ−Δｙｔａｎθ）ｃｏｓθ〕｝        （式３）
この２式（式２及び式３）からΔｚ、Δｙを求めれば良い。
ここでｔａｎＡはカメラの画角で定数であるので、計算及び定測であらかじめ求めておくことができる。また、以下の数値７５６はＣＣＤ撮像素子の中央から左右の端縁までの素子数であり、この値は、撮像素子の素子数及び計算の起端点を変更（例えば起端点を左端にする等）することにより適宜変更できる。
また、‘Ｒ’は、
〔（Δｚ＋Δｙｔａｎθ）ｓｉｎθ−（Δｙ／ｃｏｓθ）〕／〔｛ｚ／ｃｏｓθ−〔（Δｚ＋Δｙｔａｎθ）／ｃｏｓθ〕｝ｔａｎＡ〕＝＋ｘＲ／７５６
‘Ｌ’は、
〔（Δｚ−Δｙｔａｎθ）ｓｉｎθ＋（Δｙ／ｃｏｓθ）〕／〔｛ｚ／ｃｏｓθ−〔（Δｚ−Δｙｔａｎθ）／ｃｏｓθ〕｝ｔａｎＡ〕＝＋ｘＬ／７５６
となる。
‘Ｒ’
７５６（Δｚ＋Δｙｔａｎθ）ｓｉｎθ−〔（７５６・Δｙ）／ｃｏｓθ〕＝〔（＋ｚ・ｘＲ・ｔａｎＡ）／ｃｏｓθ〕−｛〔ｘＲ（Δｚ＋Δｙｔａｎθ）ｔａｎＡ〕／ｃｏｓθ｝
７５６・ｔａｎθ・ｓｉｎθ−（７５６／ｃｏｓθ）＋〔（ｘＲ・ｔａｎθ・ｔａｎＡ）／ｃｏｓθ〕Δｙ
＝＋７５６・Δｚ・ｓｉｎθ＋〔（ｚ・ｘＲ・ｔａｎＡ）／ｃｏｓθ〕−〔（ｘＲ・Δｚ・ｔａｎＡ）／ｃｏｓθ〕
‘Ｌ’
７５６（Δｚ−Δｙｔａｎθ）ｓｉｎθ＋〔（７５６・Δｙ）／ｃｏｓθ〕＝〔（＋ｚ・ｘＬ・ｔａｎＡ）／ｃｏｓθ〕−｛〔（ｘＬ（Δｚ＋Δｙｔａｎθ）ｔａｎＡ）／ｃｏｓθ〕
−７５６・ｔａｎθ・ｓｉｎθ＋（７５６／ｃｏｓθ）−｛〔−（ｘＬ・ｔａｎθ・ｔａｎＡ）〕／ｃｏｓθ｝｝Δｙ
＝−７５６・Δｚ・ｓｉｎθ＋〔（ｚ・ｘＬ・ｔａｎＡ）／ｃｏｓθ〕−〔（ｘＬ・Δｚ・ｔａｎＡ）／ｃｏｓθ〕
〔−７５６・Δｚ・ｓｉｎθ＋｛〔ｔａｎＡ・ｘＲ（ｚ−Δｚ）〕／ｃｏｓθ｝〕／｛７５６・ｔａｎθ・ｓｉｎθ＋〔（−７５６＋ｘＲ・ｔａｎθ・ｔａｎＡ）／ｃｏｓθ〕｝＝〔−７５６・Δｚ・ｓｉｎθ＋｛〔ｔａｎＡ・ｘＬ（＋ｚ−Δｚ）〕／ｃｏｓθ｝〕／｛−７５６・ｔａｎθ・ｓｉｎθ＋〔（７５６−ｘＬ・ｔａｎθ・ｔａｎＡ）／ｃｏｓθ〕｝
‘Ｋ’＝−７５６・Δｚ・ｓｉｎθ
‘Ｍ’＝（−７５６＋ｘＲ・ｔａｎθ・ｔａｎＡ）／ｃｏｓθ
‘Ｎ’＝（７５６・ｘＬ・ｔａｎθ・ｔａｎＡ）／ｃｏｓθ
‘Ｏ’＝７５６・ｔａｎθ・ｓｉｎθ＋〔（−７５６＋ｘＲ・ｔａｎθ・ｔａｎＡ）／ｃｏｓθ〕
‘Ｐ’＝−７５６・ｔａｎθ・ｓｉｎθ＋〔（７５６−ｘＬ・ｔａｎθ・ｔａｎＡ）／ｃｏｓθ〕
｛〔−‘Ｑ’・Δｚ＋‘Ｒ’ｘＲ（ｚ−Δｚ）〕／‘Ｏ’｝＝｛〔−‘Ｑ’・Δｚ＋‘Ｒ’ｘＬ（ｚ−Δｚ）〕／‘Ｐ’｝
−‘Ｑ’‘Ｐ’Δｚ＋‘Ｒ’‘Ｐ’ｘＲ・ｚ−‘Ｒ’‘Ｐ’ｘＲ・Δｚ＝−‘Ｑ’‘Ｏ’・Δｚ＋‘Ｏ’‘Ｒ’ｘＬ・ｚ−‘Ｏ’‘Ｒ’ｘＬ・Δｚ
（−‘Ｑ’‘Ｐ’−‘Ｒ’‘Ｐ’・ｘＲ＋‘Ｏ’‘Ｒ’ｘＬ＋‘Ｑ’‘Ｏ’）Δｚ＝＋‘Ｏ’‘Ｒ’ｘＬ・ｚ−‘Ｒ’‘Ｐ’ｘＲ・ｚ＝（‘Ｏ’‘Ｒ’ｘＬ−‘Ｒ’‘Ｐ’ｘＲ）ｚ
‘Ｓ’＝−‘Ｑ’‘Ｐ’−‘Ｒ’‘Ｐ’・ｘＲ＋‘Ｏ’‘Ｒ’ｘＬ＋‘Ｑ’‘Ｏ’
‘Ｏ’＝‘Ｏ’‘Ｒ’ｘＬ−‘Ｒ’‘Ｐ’ｘＲ
ここで、
ｘＲ、ｘＬは画像のズレ量
ｚはクロスポイント
求めるのはΔｚである。
‘Ｒ’は下式で求められる。
７５６（Δｚ＋Δｙｔａｎθ）ｓｉｎθ−〔（７５６・Δｙ）／ｃｏｓθ〕＝〔（ｚ・ｘＲ・ｔａｎＡ）／ｃｏｓθ〕−｛〔ｘＲ（Δｚ＋Δｙｔａｎθ）ｔａｎＡ〕／ｃｏｓθ｝
７５６・Δｚ＋〔（ｘＲ・ｔａｎＡ）／ｃｏｓ〕・Δｚ＝〔（ｚ・ｘＲ・ｔａｎＡ）／ｃｏｓθ〕−〔（ｘＲ・Δｙｔａｎθ・ｔａｎＡ）／ｃｏｓθ〕−７５６・Δｙ・ｔａｎθ・ｓｉｎθ＋〔（７５６・Δｙ）／ｃｏｓθ〕
｛（７５６・ｃｏｓθ＋ｘＲ・ｔａｎＡ）／ｃｏｓθ｝Δｚ＝（ｚ・ｘＲ・ｔａｎＡ−ｘＲ・Δｙ・ｔａｎθ・ｔａｎＡ−７５６・Δｙ・ｓｉｎ２θ＋７５６・Δｙ）／ｃｏｓθ
‘Ｌ’は下式で求められる。
７５６（Δｚ−Δｙｔａｎθ）ｓｉｎθ＋〔（７５６・Δｙ）／ｃｏｓθ〕＝〔（ｚ・ｘＬ・ｔａｎＡ）／ｃｏｓθ〕−｛〔ｘＬ（Δｚ−Δｙｔａｎθ）ｔａｎＡ〕／ｃｏｓθ｝
７５６・Δｚ＋〔（ｘＬ・ｔａｎＡ）／ｃｏｓθ〕・Δｚ＝〔（ｚ・ｘＬ・ｔａｎＡ）／ｃｏｓθ〕＋〔（ｘＬ・Δｙｔａｎθ・ｔａｎＡ）／ｃｏｓθ〕−７５６・Δｙ・ｔａｎθ・ｓｉｎθ−〔（７５６・Δｙ）／ｃｏｓθ〕
｛（７５６・ｃｏｓθ＋ｘＬ・ｔａｎＡ）／ｃｏｓθ｝Δｚ＝（ｚ・ｘＬ・ｔａｎＡ＋ｘＬ・Δｙ・ｔａｎθ・ｔａｎＡ−７５６・Δｙ・ｓｉｎ２θ＋７５６・Δｙ）／ｃｏｓθ
基本式よりΔｙも計算する。なおΔｙは、本例ではセンターからのズレ量である。
（ｚ・ｘＲ・ｔａｎＡ−ｘＲ・Δｙ・ｔａｎθ・ｔａｎＡ−７５６・Δｙ・ｓｉｎ２θ＋７５６・Δｙ）／〔（７５６・ｃｏｓθ）＋（ｘＲ・ｔａｎＡ）〕＝（ｚ・ｘＬ・ｔａｎＡ＋ｘＬ・Δｙ・ｔａｎθ・ｔａｎＡ＋７５６・Δｙ・ｓｉｎ２θ−７５６・Δｙ）／〔（７５６・ｃｏｓθ）＋（ｘＬ・ｔａｎＡ）〕
〔ｚ・ｘＲ・ｔａｎＡ＋（−ｘＲ・ｔａｎθ・ｔａｎＡ−７５６  ｓｉｎ２θ＋７５６）Δｙ〕／‘Ｌ’＝〔ｚ・ｘＬ・ｔａｎＡ＋（ｘＬ・ｔａｎθ・ｔａｎＡ＋７５６・ｓｉｎ２θ−７５６）Δｙ〕／‘Ｍ’
‘Ｌ’＝（ｚ・ｘＲ・ｔａｎＡ−ｘＲ・Δｙ・ｔａｎθ・ｔａｎＡ−７５６・Δｙ・ｓｉｎ２θ＋７５６・Δｙ）／〔（７５６・ｃｏｓθ）＋（ｘＲ・ｔａｎＡ）〕
‘Ｍ’＝（ｚ・ｘＬ・ｔａｎＡ＋ｘＬ・Δｙ・ｔａｎθ・ｔａｎＡ＋７５６・Δｙ・ｓｉｎ２θ−７５６・Δｙ）／〔（７５６・ｃｏｓθ）＋（ｘＬ・ｔａｎＡ）〕
‘Ｎ’＝−ｘＲ・ｔａｎθ・ｔａｎＡ−７５６  ｓｉｎ２θ＋７５６
‘Ｏ’＝ｘＬ・ｔａｎθ・ｔａｎＡ＋７５６・ｓｉｎ２θ−７５６
‘Ｑ’＝ｚ・ｘＲ・ｔａｎＡ
‘Ｒ’＝ｚ・ｘＬ・ｔａｎＡ
‘Ｍ’‘Ｑ’＋‘Ｍ’‘Ｎ’Δｙ＝‘Ｌ’‘Ｒ’＋‘Ｌ’‘Ｏ’Δｙ
｛‘Ｍ’‘Ｎ’−‘Ｌ’‘Ｏ’｝Δｙ＝（‘Ｌ’‘Ｒ’−‘Ｍ’‘Ｑ’）
Δｙ＝‘Ｓ’／‘Ｔ’
これにより、左右の撮像素子の画像から、物点までの距離Ｌ及び左右方向のずれ量Δｙが求められる。
本例では、この結果をテーブルに予め格納しておくことにより、画像取得時から瞬時にＬ及びΔｙの値を出力することができる。
また、テーブルには予め光学素子に関する収差の補正量を格納しておくことができ、この値は使用するレンズ等の補正量に合わせて適宜変更できる。
次に、第３の方法は、着目物体Ａまでの距離Ｆ、即ちカメラ１，２がフォーカスをあわせた位置７０の前側を着目領域７０とし、着目領域７０の後側をボカシ領域８０とするものである。
また、上記方法に限らず着目領域を定めることができる。即ち、上記手法を組み合わせることができる。
さらに、２つの画像情報から計算により、立体画像を構成する各画素までの距離を求めることにより正確に着目領域を決定することができる。
また、撮影した画像情報を一旦画像メモリに格納し、格納した画像情報に基づいて各処理を行なうことができ、この場合、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
以上説明したように、本例に係る立体画像信号変換装置によれば、着目した領域以外はぼけて表示されるため、観者は着目すべき領域の映像に集中して観察鑑賞をおこなうことができ、また、観者の目や頭脳の負担をへらし、立体画像鑑賞に伴う肉体的疲労を軽減できる。
そして、これらの処理は、立体画像表示の実用化にきわめて有用であり、立体画像放送、立体画像処理ソフトへの適用が有効である。
【産業上の利用可能性】  請求の範囲１に記載の本発明は、２つの画像を表示して立体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域を定め、この領域以外の領域についてボカシ加工を行なうことを特徴とする立体画像の表示方法である。
本発明によれば、着目すべき物体がある着目領域以外の領域はボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲２に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、クロスポイントより前方の領域を着目領域をとし、クロスポイントより後方の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、着目領域を合焦点領域の周辺領域とし、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、着目すべき物体を抽出しその物体周辺を着目領域とし、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、着目すべき物体の周辺を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定することを特徴とするものである。
本発明によれば、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲６に記載の本発明は、請求の範囲１乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、ボカシ処理のボカシ程度は着目領域から離れるに従って大きくすることを特徴とするものである。
本発明によれば、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲７に記載の本発明は、請求の範囲１乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なうものである。
本発明によれば、各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
請求の範囲８に記載の本発明は、２つの画像を表示して立体体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域を定める領域着目手段と、この領域以外の領域についてボカシ加工を行なうボカシ加工手段とを備えたことを特徴とする立体画像の表示装置である。
本発明によれば、領域着目手段により着目すべき物体がある着目領域画特定され、それ以外の領域はボカシ処理手段でボカシ加工がおこなわれるため、観者はこの領域について明瞭な画像を得ることができず、着目した領域が明確に立体表示される。
請求の範囲９に記載の本発明は、請求の範囲８に記載の立体画像の表示装置領域着目手段は、クロスポイントより前方の領域を着目領域をとし、ボカシ処理手段は、クロスポイントより後方の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工を行い、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１０に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着目手段は、着目領域を合焦点領域の周辺領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工をおこない、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１１に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着目手段は、着目すべき物体を抽出しその物体周辺を着目領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は、着目すべき物体の周辺を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工を行い、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１２に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着手段は、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定するものである。
本発明によれば、領域着目手段は、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲１３に記載の本発明は、請求の範囲８乃至請求の範囲１２のいずれかに記載の立体画像の表示装置において、ボカシ処理手段は、ボカシの程度を着目領域から離れるに従って大きくすることを特徴とするものである。
本発明によれば、ボカシ処理手段は、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲１４に記載の本発明は、請求の範囲８乃至請求の範囲１３のいずれかに記載の立体画像の表示装置において、撮影した画像情報を一旦画像メモリに格納し、格納した画像情報に基づいて各処理を行なうことを特徴とするものである。
本発明によれば、領域着目手段及びボカシ処理手段での各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
【図１】
2004100564.tif 000003
【図２】
2004100564.tif 000004
【図３】
2004100564.tif 000005
【図４】
2004100564.tif 000006
【図５】
2004100564.tif 000007
【図６】
2004100564.tif 000008
【図７】
2004100564.tif 000009
【図８】
2004100564.tif 000010
【図９】
2004100564.tif 000011
【図１０】
2004100564.tif 000012
【手続補正書】
【提出日】平成17年1月27日(2005.1.27)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２つの画像を表示して立体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域をクロスポイントより前方をその領域と定め、クロスポイントより後方の領域をボカシ加工することを特徴とする立体画像の表示方法。
【請求項２】
（削除）
【請求項３】
着目領域を合焦点領域の周辺領域とし、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲１に記載の立体画像の表示方法。
【請求項４】
着目すべき物体を抽出しその物体周辺を着目領域とし、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲１に記載の立体画像の表示方法。
【請求項５】
画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定する請求の範囲１に記載の立体画像の表示方法。
【請求項６】
ボカシ処理のボカシ程度は着目領域から離れるに従って大きくすることを特徴とする請求の範囲１又は請求の範囲３乃至請求の範囲５に記載の立体画像の表示方法。
【請求項７】
撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なう請求の範囲１又は請求の範囲３乃至請求の範囲６のいずれかに記載の立体画像の表示方法。
【請求項８】
２つの画像を表示して立体像を表示するに際し、着目すべき物体があり、明瞭に表示すべき着目領域をクロスポイントより前方をその領域と定める領域着目手段と、このクロスポイントより後方の領域についてボカシ加工を行なうボカシ加工手段と、を備えたことを特徴とする立体画像の表示装置。
【請求項９】
（削除）
【請求項１０】
領域着目手段は、着目領域を合焦点領域の周辺領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲８に記載の立体画像の表示装置。
【請求項１１】
領域着目手段は、着目すべき物体を抽出しその物体周辺を着目領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とする請求の範囲８に記載の立体画像の表示装置。
【請求項１２】
領域着手段は、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定する請求の範囲８に記載の立体画像の表示装置。
【請求項１３】
ボカシ処理手段は、ボカシの程度を着目領域から離れるに従って大きくすることを特徴とする請求の範囲８又は請求の範囲１０乃至請求の範囲１２のいずれかに記載の立体画像の表示装置。
【請求項１４】
撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なう請求の範囲８又は請求の範囲１０乃至請求の範囲１３のいずれかに記載の立体画像の表示装置。
【手続補正００２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
明      細      書
立体画像の表示方法及び装置
技術分野
この発明は、立体画像の表示方法及び装置に係り、特に、特定の着目領域を決め、この領域から外れた領域について積極的にボカシをかける立体画像の表示方法及び装置に関する。
技術背景
従来、複数の撮像手段、例えばカメラを用いて物体（被写体）を撮像することにより立体的な映像情報を得て、これを人間の視覚的特性に合わせて実像表示することが行われている。
その一つとして両眼視差方式が挙げられる。両眼視差方式は、２台のカメラ配置を肉眼の基線長（例えば７２ｍｍ）に設定し、また肉眼の視野輻輳角範囲を考慮して各値を設定して撮像する。
そして、これらの画像を表示する際、観察者に認識される物体との距離、形状に応じた適切な視差（像の横ずれ）を与えて表示する。
このため、撮影時のカメラの撮影位置と、観測者の視点位置の変化に応じて表示画像を変更する必要がある。
そして、撮影同一のコンテンツを画面サイズの異なる表示装置で再生するとき、両側の視差が交叉し、後方の景色が前方の着目領域より前側に見えてしまうということがあった。
【手続補正００３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
即ち、図１０に示すように、２台のカメラ１，２で背景Ｃ中の被写体Ａ，Ｂを撮影した場合において、得られた画像を観察した場合、着目すべき被写体Ａの背景となる背景Ｃの画像が被写体Ａ，Ｂより手前に認識されてしまうこととなる場合がある。
この発明は、かかる現状に鑑み創案されたものであって、その目的とするところは、立体画像において、着目された領域以外の領域が着目された領域より手前に表示されない自然な立体画像を表示することができる立体画像の表示方法及び装置を提供しようとするものである。
発明の開示
上記目的を達成するため、請求の範囲１に記載の本発明は、２つの画像を表示して立体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域をクロスポイントより前方をその領域と定め、クロスポイントより後方の領域をボカシ加工することを特徴とする立体画像の表示方法である。
本発明によれば、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、着目領域を合焦点領域の周辺領域とし、それ以外の領


【手続補正００４】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦卓の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができず、着目した領域が明確に立体表示される。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、着目すべき物体を抽出しその物体周辺を着目領域とし、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、着目すべき物体の周辺を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定するものである。
本発明によれば、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲６に記載の本発明は、請求の範囲１又は請求の範囲３乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、ボカシ処理のボカシ程度を、着目領域から離れるに従って大きくすることを特徴とするものである。
本発明によれば、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲７に記載の本発明は、請求の範囲１又は請求の範囲３乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なうものである。


【手続補正００５】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
本発明によれば、各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
請求の範囲８に記載の本発明は、２つの画像を表示して立体像を表示するに際し、着目すべき物体があり、明瞭に表示すべき着目領域をクロスポイントより前方をその領域と定める領域着目手段と、このクロスポイントより後方の領域についてボカシ加工を行なうボカシ加工手段と、を備えたことを特徴とする立体画像の表示装置である。
本発明によれば、領域着目手段は、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工を行い、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１０に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着目手段は、着目領域を合焦点領域の周辺領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、ボカジ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工をおこない、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。


【手続補正００６】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
請求の範囲１１に記載の本発明は、請求の範囲８記載の立体画像の表示装置を技術的前提とし、領域着目手段は、着目すべき物体を抽出しその物体周辺を着目領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は、着目すべき物体の周辺を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工を行い、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１２に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着手段は、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定するものである。本発明によれば、領域着目手段は、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲１３に記載の本発明は、請求の範囲８又は請求の範囲１０乃至請求の範囲１２のいずれかに記載の立体画像の表示装置において、ボカシ処理手段はボカシの程度を着目領城から離れるに従って大きくすることを特徴とするものである。本発明によれば、ボカシ処理手段は、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲１４に記載の本発明は、請求の範囲８又は請求の範囲１０乃至請求の範囲１３のいずれかに記載の立体画像の表示装置において、撮影した画像情報を一旦画像メモリに格納し、格納した画像情報に基づいて各処理を行なうことを特徴とするものである。
本発明によれば、領域着目手段及びボカシ処理手段での各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。


【手続補正００７】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
図面の簡単な説明
図１は、本発明に係る立体画像信号変換装置の構成を示すブロック図である。
図２は、図１に示した立体画像信号変換装置の作動を示すフローチャートである。
図３は、画像における着目領域とボカシ領域とを示す図である。
図４は、画像におけるボカシ加工を示す説明図である。
図５は、本発明に係る立体画像信号変換装置の例を示すブロック図である。
図６は、撮影された物体の状態を説明する図である。
図７は、着目領域と、ボカシ領域の例を示す図である。
図８は、着目領域と、ボカシ領域の他の例を示す図である。
図９は、着目領域と、ボカシ領域の他の例を示す図である。
図１０は、本発明が適用される立体画像撮影装置を示す図である。
発明を実施するための最良の形態
以下、本発明に係る立体画像信号変換方法及び装置を実施するための形態について説明する。
図１乃至図１０は、本発明に係る立体画像信号変換方法及び装置の一例を示すものである。
図１は本発明に係る立体画像信号変換装置の構成を示すブロック図、図２は図１に示した立体画像信号変換装置の作動を示すフローチャート、図３は画像における着目領域とボカシ領域とを示す図、図４は画像におけるボカシ加工を示す説明図、図５は本発明に係る立体画像信号変換装置の例を示すブロック図、図６は撮影された物体の状態を説明する図、図７は着目領域とボカシ領域の例を示す図、図８は着目領域とボカシ領域の他の例を示す図、図９は着目領域とボカシ領域の他の例を示す図、図１０は本発明が適用される立体画像撮影装置を示す図である。
本立体画像信号変換装置は、基本的には、右映像用カメラ１、左映像用カメラ２に接続された領域着目手段１０と、ボカシ処理手段２０と、


【手続補正００８】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
から構成されている。
そして、本例において領域着目手段１０は、上記２台のカメラ１，２で撮影した２つの画像を表示して立体体像を表示するに際し、着目すべき物体（被写体）があり明瞭に表示すべき着目領域を定める。
また、上記ボカシ処理手段２０は、上記着目領域以外の領域についてボカシ加工を行なう。
本例に係る立体画像信号変換装置の処理の流れは図２、図３、図４に示す通りである。即ち、カメラ１，２で撮影を行い（Ｓ１）、次に領域着目手段１０はこの撮影で得られた各画像４０中に明瞭に表示する着目領域３０を決定する（Ｓ２）。これにより着目領域以外のぼかすべき領域（ボカシ領域５０）が決定される（Ｓ３）。そしてボカシ処理手段２０がボカシ領域のボカシ加工を行なう。
このボカシ加工は、図４に示すように、ボカシ領域５０の各画素について公知のボカシフィルタ９０、例えば、ソーベルフィルタ、ラプラシアンフィルタ、ガウシアンフィルタを適用することにより行われる。この際、ボカシの程度を着目領域から離れるに従って大きくするようにすれば、着目領域３０からボカシ領域５０への変化が自然なものとなり、観者は自然な立体画像を得ることができる。これらのボカシの程度はフィルタの大きさ係数などをソフトウエア的に変更することにより行なうことができる。
次に、本例に係る領域着目手段１０における着目領域について説明する。
本例では２台のカメラ１，２は、図１０に示すように、距離ａを離し、クロスポイント（ＣＰ）でそれぞれの光軸が交わるように配置されている。
また、領域着目手段１０は、図５に示すように、撮影対象を特定する撮影対象特定手段１１、着目すべき物体までの距離を測定する距離測定手段１２、着目領域の大きさなどを指定する着目領域指定手段１３、ボカシの種類、程度などを設定するボカシ状態設定手段１４からなる。


【手続補正００９】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
このような構成の立体画像信号変換装置において、着目領域の特定はさまざまな手法を用いて決定できる。
まず、第１の方法は、クロスポイント（ＣＰ）情報に基づいて着目領域を決定する手法である。これは、図７に示すように、視界６０中のクロスポイント（ＣＰ）より手前側を着目領域７０とし、クロスポイント（ＣＰ）より遠方をボカシ領域８０とするものである。即ち、得られた画像の位相の同逆により着目領域を決定する手法であるともいえる。これは、図６に示すように、同相（画像中クロスポイントを通る中央線に対して物体が同じ側にある場合を言う（図６（２））：以下同じ）である部分をボカシ領域とし、逆相（画像中クロスポイントを通る中央線に対して物体が逆の側にある場合を言う（図６（１））：以下同じ）を着目領域とするものと同等となる。
このとき、図１０に示すように、着目物体Ａまでの距離Ｌ及び軸Ｏからのずれ量Δｙは、例えば、本出願人に先に出願したＰＣＴ／ＪＰ０３／５２１１（特願２００４−５７１０８８）と同様の方法を用いることができる。
【手続補正０１０】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
次に、第３の方法は、図８に示すように、着目物体Ａまでの距離Ｆ、即ち、カメラ１，２がフォーカスをあわせた（合焦点）位置７０を着目領域７０とし、着目領域の前後をボカシ領域８０，８０とするものである。合焦点の検出は公知の技術である画像輪郭やカメラのレンズから求めることができる。
また、上記方法に限らず着目領域を定めることができる。即ち、上記手法を組み合わせることができる。
さらに、２つの画像情報から計算により、立体画像を構成する各画素までの距離を求めることにより正確に着目領域を決定することができる。
また、撮影した画像情報を一旦画像メモリに格納し、格納した画像情報に基づいて各処理を行なうことができ、この場合、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
以上説明したように、本例に係る立体画像信号変換装置によれば、着目した領域以外はぼけて表示されるため、観者は着目すべき領域の映像に集中して観察鑑賞をおこなうことができ、また、観者の目や頭脳の負


【手続補正０１１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
担をへらし、立体画像鑑賞に伴う肉体的疲労を軽減できる。
そして、これらの処理は、立体画像表示の実用化にきわめて有用であり、立体画像放送、立体画像処理ソフトへの適用が有効である。
産業上の利用可能性
請求の範囲１に記載の本発明は、２つの画像を表示して立体像を表示するに際し、着目すべき物体があり明瞭に表示すべき着目領域をクロスポイントより前方をその領域と定め、クロスポイントより後方の領域をボカシ加工することを特徴とする立体画像の表示方法である。
本発明によれば、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲３に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、着目領域を合焦点領域の周辺領域とし、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲４に記載の本発明は、請求の範囲１に記載の立体画像の表


【手続補正０１２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
示方法において、着目すべき物体を抽出しその物体周辺を着目領域とし、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、着目すべき物体の周辺を着目領域とし、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工がおこなわれ、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲５に記載の本発明は、請求の範囲１に記載の立体画像の表示方法において、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定することを特徴とするものである。
本発明によれば、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲６に記載の本発明は、請求の範囲１又は請求の範囲３乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、ボカシ処理のボカシ程度は着目領域から離れるに従って大きくすることを特徴とするものである。
本発明によれば、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲７に記載の本発明は、請求の範囲１又は請求の範囲３乃至請求の範囲５のいずれかに記載の立体画像の表示方法において、撮影した画像情報をいったん画像メモリに格納し、格納した画像情報に基づいて各処理を行なうものである。
本発明によれば、各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。
請求の範囲８に記載の本発明は、２つの画像を表示して立体像を表示するに際し、着目すべき物体があり、明瞭に表示すべき着目領域をクロスポイントより前方をその領域と定める領域着目手段と、このクロスポイントより後方の領域についてボカシ加工を行なうボカシ加工手段とを備えたことを特徴とする立体画像の表示装置である。


【手続補正０１３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明によれば、領域着目手段は、通常着目すべき物体があるクロスポイントより前方の領域を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工を行い、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１０に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着目手段は、着目領域を合焦点領域の周辺領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は通常着目すべき物体がある合焦点領域の周辺領域の部分を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される非合焦点の領域にボカシ加工をおこない、観者はこの領域について明瞭な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１１に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着目手段は、着目すべき物体を抽出しその物体周辺を着目領域とし、ボカシ処理手段は、それ以外の領域にボカシ加工を行なうことを特徴とするものである。
本発明によれば、領域着目手段は、着目すべき物体の周辺を着目領域とし、ボカシ処理手段は、それ以外の着目すべき物体が存在しない背景等が表示される領域にボカシ加工を行い、観者はこの領域について明瞭


【手続補正０１４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
な画像を得ることができないため、着目した領域が明確に立体表示される。
請求の範囲１２に記載の本発明は、請求の範囲８に記載の立体画像の表示装置において、領域着手段は、画像を構成する各画素の撮影している物体までの距離を計算して着目領域を確定するものである。
本発明によれば、領域着目手段は、撮影した画像の各画素までの距離を計算することにより、着目すべき物体を特定することができる。これにより、ボカシ領域を定めることができる。
請求の範囲１３に記載の本発明は、請求の範囲８又は請求の範囲１０乃至請求の範囲１２のいずれかに記載の立体画像の表示装置において、ボカシ処理手段は、ボカシの程度を着目領域から離れるに従って大きくすることを特徴とするものである。
本発明によれば、ボカシ処理手段は、着目領域からボカシ領域への変化が自然なものとなり、観者は自然な立体画像を得ることができる。
請求の範囲１４に記載の本発明は、請求の範囲８又は請求の範囲１０乃至請求の範囲１３のいずれかに記載の立体画像の表示装置において、撮影した画像情報を一旦画像メモリに格納し、格納した画像情報に基づいて各処理を行なうことを特徴とするものである。
本発明によれば、領域着目手段及びボカシ処理手段での各処理は一旦メモリに格納された除法について後から行なえばよいから、着目領域の設定やボカシ処理をリアルタイムで行なう必要がなくなり、高速な処理が要求されない。


【手続補正０１５】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2004100564.tif 000013
【国際調査報告】
2004100564.tif 000014
2004100564.tif 000015