【手続補正書】
【提出日】平成16年7月26日(2004.7.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法。
【請求項２】
初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする請求項１記載の視差推定方法。
【請求項３】
前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする請求項１、又は２記載の視差推定方法。
【請求項４】
前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする請求項３記載の視差推定方法。
【請求項５】
前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
【請求項６】
前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
【請求項７】
前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
【請求項８】
前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法。
【請求項９】
前記初期視差の信頼性評価値は、請求項５〜８のいずれかに記載の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法。
【請求項１０】
２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送することを特徴とする画像伝送方法。
【請求項１１】
請求項１０記載の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示することを特徴とする画像表示方法。
【請求項１２】
多眼式画像から代表画像を選択し、選択されなかった画像は、当該画像をはさんで視点方向が最も近い２枚の代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送することを特徴とする多視点画像伝送方法。
【請求項１３】
請求項１２記載の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法。
【請求項１４】
前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする請求項１２記載の多視点画像伝送方法。
【請求項１５】
２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えたことを特徴とする視差推定装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
【課題を解決するための手段】
本発明（請求項１対応）は、２つの撮像画像の初期視差と前記初期視差の信頼性評価値とを計算し、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定することにより、前記物体輪郭線において不連続に変化する視差推定を行うことを特徴とする視差推定方法である。
また、本発明（請求項２対応）は、初期視差の信頼性の低い領域における視差は、前記視差と、前記物体輪郭線とを用いて定義した視差分布のエネルギーを最小化するように決定することを特徴とする請求項１記載の視差推定方法である。
また、本発明（請求項３対応）は、前記エッジ検出は、周波数特性の異なる方向別フィルタの各出力を統合して行うことを特徴とする請求項１、又は２記載の視差推定方法である。
また、本発明（請求項４対応）は、前記エッジ検出は、前記周波数特性の異なる方向別フィルタの各出力の統合結果に対して、更に稜線抽出を行うことを特徴とする請求項３記載の視差推定方法である。
また、本発明（請求項５対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項６対応）は、前記初期視差の信頼性評価値は、初期視差計算時の１画素当たりの残差平方和を用いることを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項７対応）は、前記初期視差の信頼性評価値は、初期視差計算時の残差平方和、画像のノイズレベル、及び輝度勾配を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項８対応）は、前記初期視差の信頼性評価値は、左右双方の画像を基準として計算した初期視差の対応の差異を用いて計算することを特徴とする請求項１〜４のいずれかに記載の視差推定方法である。
また、本発明（請求項９対応）は、前記初期視差の信頼性評価値は、請求項５〜８のいずれかに記載の前記視差推定方法の２つ以上を組み合わせて計算することを特徴とする視差推定方法である。
また、本発明（請求項１０対応）は、２眼式画像から左右それぞれの画像を基準とした初期視差と前記初期視差の信頼性評価値を計算し、初期視差が正しく計算できない領域での視差は請求項１〜９のいずれかに記載の方法によって再計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差から前記２眼式画像の他方の画像を予測して予測誤差を計算し、前記一方の画像を基準とした視差から他方の画像を基準とした前記再計算後の視差を予測して予測誤差を計算し、前記２眼式画像の一方の画像と当該一方の画像を基準とした前記再計算後の視差と前記２眼式画像の他方の画像の予測誤差と前記他方の画像を基準とした再計算後の視差の予測誤差とを符号化し伝送する画像伝送方法である。
また、本発明（請求項１１対応）は、請求項１０記載の画像伝送方法により伝送された符号化信号を受信し、その受信信号から２眼式画像及び再計算後の視差を復号化し、その復号化された２眼式画像及び復号化された再計算後の視差を用いて中間視点画像を生成し、その中間視点画像及び前記２眼式画像を併せて多眼式画像として表示する画像表示方法である。
また、本発明（請求項１２対応）は、多眼式画像から代表画像を選択し、選択されなかった画像は、当該画像をはさんで視点方向が最も近い２枚の代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって計算した視差と前記２枚の代表画像とを用いて予測し、前記選択されなかった画像と予測画像の残差を計算し、前記代表画像と前記選択されなかった画像の予測誤差を符号化して伝送する多視点画像伝送方法である。
また、本発明（請求項１３対応）は、請求項１２記載の画像伝送方法により伝送された符号化信号を受信し、前記代表画像を復号化し、前記代表画像をそれぞれ基準画像として請求項１〜４に記載のいずれかの方法によって視差を計算し、送信部で代表画像に選択されなかった画像を前記代表画像と前記視差を用いて予測し、前記選択されなかった画像の予測誤差を復号化し、前記予測誤差を前記予測画像に重畳して多視点画像を復元することを特徴とする多視点画像復元方法である。
また、本発明（請求項１４対応）は、前記代表画像の符号化は、１枚の代表画像と当該代表画像を基準として他の代表画像について計算した視差から他の代表画像を予測し、前記一枚の代表画像と前記他の代表画像の予測誤差を符号化することにより行うことを特徴とする請求項１２記載の多視点画像伝送方法である。
また、本発明（請求項１５対応）は、２つの撮像画像の初期視差を計算する初期視差推定部と、前記初期視差の信頼性評価値と計算する信頼性評価部と、前記画像のエッジを検出する輪郭検出部と、前記信頼性評価値と前記画像のエッジ検出結果とを用いて視差が不連続に変化する物体輪郭線を抽出し、前記信頼性評価値に基づき前記初期視差の信頼性の低い領域を抽出し、その抽出した初期視差の信頼性の低い領域における視差は、周囲の視差に対して滑らかに接続するように、かつ、前記物体輪郭線においては変化するように決定し、前記物体輪郭線において不連続に変化する視差推定を行う視差推定部を備えた視差推定装置である。