(57)【要約】【課題】  疲労感や違和感が少なく、動画および静止画に対応した、立体感を強調する立体画像処理装置を提供する。【解決手段】  画像データ入力受付部１２は、複数視点の画像からなる立体画像データ１１の入力を、各視点について１フレームずつ受け付ける。前景背景分離部１３は、画像データ入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する。前景処理部１４は、前景背景分離部１３から受けた前景立体画像データに、強調する処理を施す。背景処理部１５は、前景背景分離部１３から受けた背景立体画像データに、画像処理を施す。前景背景合成部１６は、背景処理部１５から受けた背景立体画像データに、前景処理部１４から受けた前景立体画像データを重ねた立体強調画像データ１７を出力する。【選択図】    図１
2007110360.tif 000002
【特許請求の範囲】
【請求項１】
複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部と、
前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部と、
前記前景背景分離部から受けた前景立体画像データに、強調する処理を施して出力する前景処理部と、
前記前景背景分離部から受けた背景立体画像データに、前記前景処理部の出力を重ねた立体画像データを出力する前景背景合成部と
を備えることを特徴とする立体画像処理装置。
【請求項２】
複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部と、
前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部と、
前記前景背景分離部から受けた背景立体画像データに、画像処理を施して出力する背景処理部と、
前記背景処理部の出力に、前記前景背景分離部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部と
を備えることを特徴とする立体画像処理装置。
【請求項３】
複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部と、
前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部と、
前記前景背景分離部から受けた前景立体画像データに、強調する処理を施す前景処理部と、
前記前景背景分離部から受けた背景立体画像データに、画像処理を施す背景処理部と、
前記背景処理部から受けた背景立体画像データに、前記前景処理部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部と
を備えることを特徴とする立体画像処理装置。
【請求項４】
コンピュータを、
複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部、
前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部、
前記前景背景分離部から受けた前景立体画像データに、強調する処理を施して出力する前景処理部、
前記前景背景分離部から受けた背景立体画像データに、前記前景処理部の出力を重ねた立体画像データを出力する前景背景合成部
として機能させることを特徴とするプログラム。
【請求項５】
コンピュータを、
複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部、
前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部、
前前記前景背景分離部から受けた背景立体画像データに、画像処理を施して出力する背景処理部、
前記背景処理部の出力に、前記前景背景分離部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部
として機能させることを特徴とするプログラム。
【請求項６】
コンピュータを、
複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部、
前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部、
前記前景背景分離部から受けた前景立体画像データに、強調する処理を施す前景処理部、
前記前景背景分離部から受けた背景立体画像データに、画像処理を施す背景処理部、
前記背景処理部から受けた背景立体画像データに、前記前景処理部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像の立体感を強調する立体画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
従来の立体画像の表示は、複数視点の画像を、カメラの配置や人間の目の間隔あるいはディスプレイの設計値などから計算されるパラメータで順当に計算を行い、三次元ディスプレイ上で合成している。そして、この三次元ディスプレイに表示された画像を両目で見ることで、立体的に知覚される。しかし、画像ソースによっては、三次元ディスプレイ上での合成の際に順当に計算を行って表示しただけでは、十分な立体感を得られないことがある。そこで、三次元ディスプレイ上での合成の際に、計算に用いるカメラの配置などのパラメータを調整することで、立体感を強調している。また、動画を対象にして、動きの大きさをコントロールすることで、立体感にメリハリを付ける技術が知られている（特許文献１）。
【特許文献１】特開平１１−９８５４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、合成の際に計算に用いるパラメータを調整することで、立体感を強調した画像にすると、この画像を見る人間の目に負担が生じてしまい、疲労感や違和感が発生するという問題がある。また、特許文献１に示す方法にあっては、動画を対象にしており、静止画には対応できないという問題がある。
【０００４】
本発明は、このような事情に鑑みてなされたもので、その目的は、疲労感や違和感が少なく、動画および静止画に対応した、立体感を強調する立体画像処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
この発明は上述した課題を解決するためになされたもので、請求項１に記載の発明は、複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部と、前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部と、前記前景背景分離部から受けた前景立体画像データに、強調する処理を施して出力する前景処理部と、前記前景背景分離部から受けた背景立体画像データに、前記前景処理部の出力を重ねた立体画像データを出力する前景背景合成部とを備えることを特徴とする立体画像処理装置である。
【０００６】
また、請求項２に記載の発明は、複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部と、前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部と、前記前景背景分離部から受けた背景立体画像データに、画像処理を施して出力する背景処理部と、前記背景処理部の出力に、前記前景背景分離部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部とを備えることを特徴とする立体画像処理装置である。
【０００７】
また、請求項３に記載の発明は、複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部と、前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部と、前記前景背景分離部から受けた前景立体画像データに、強調する処理を施す前景処理部と、前記前景背景分離部から受けた背景立体画像データに、画像処理を施す背景処理部と、前記背景処理部から受けた背景立体画像データに、前記前景処理部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部とを備えることを特徴とする立体画像処理装置である。
【０００８】
また、請求項４に記載の発明は、コンピュータを、複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部、前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部、前記前景背景分離部から受けた前景立体画像データに、強調する処理を施して出力する前景処理部、前記前景背景分離部から受けた背景立体画像データに、前記前景処理部の出力を重ねた立体画像データを出力する前景背景合成部として機能させることを特徴とするプログラムである。
【０００９】
また、請求項５に記載の発明は、コンピュータを、複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部、前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部、前前記前景背景分離部から受けた背景立体画像データに、画像処理を施して出力する背景処理部、前記背景処理部の出力に、前記前景背景分離部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部として機能させることを特徴とするプログラムである。
【００１０】
また、請求項６に記載の発明は、コンピュータを、複数視点の画像からなる立体画像データの入力を、各視点について１フレームずつ受け付ける入力受付部、前記入力受付部から受けた立体画像データを前景立体画像データと背景立体画像データに分離する前景背景分離部、前記前景背景分離部から受けた前景立体画像データに、強調する処理を施す前景処理部、前記前景背景分離部から受けた背景立体画像データに、画像処理を施す背景処理部、前記背景処理部から受けた背景立体画像データに、前記前景処理部から受けた前景立体画像データを重ねた立体画像データを出力する前景背景合成部として機能させることを特徴とするプログラムである。
【発明の効果】
【００１１】
この発明によれば、立体画像データを前景背景分離部にて、前景立体画像データと背景立体画像データに分離し、前景に対しては前景処理部が、背景に対しては背景処理部が、それぞれ別々の画像処理を施すため、見る人の疲労感や違和感が少なくしつつ、立体感を強調することを可能にしている。
【００１２】
また、この発明によれば、画像の時間変化によらず、画像を１フレームずつ処理するため、静止画にも動画にも対応することを可能にしている。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による立体画像処理装置の構成を示す概略ブロック図である。１０は、立体画像処理装置であり、画像データ入力受付部１２、前景背景分離部１３、前景処理部１４、背景処理部１５および前景背景合成部１６からなる。１１は、立体カメラなどで撮影した、両眼用の２視点からの各々１フレームからなる立体画像データである。画像データ入力受付部１２は、立体画像データ１１の入力を受け付ける処理である。前景背景分離部１３は、立体画像データを、予め用意しておいた背景のみの立体画像データと画素ごとに比較し、異なる場合は前景として分離し、同じ場合は背景として分離する処理である。前景処理部１４は、前景の立体画像データに対して、明度および彩度を上げることで、色調を視覚的に目立つ色に変化させる処理である。背景処理部１５は、予め用意しておいた図２に示すような奥行き感のある立体画像に背景を差し替える処理である。前景背景合成部１６は、背景処理部１５の出力した背景の上に、前景処理部１４の出力した前景を重ねた立体強調画像データ１７を出力する処理である。立体強調画像データ１７は、三次元ディスプレイに入力すると立体画像を表示するデータであり、両眼用の２視点からの画像からなる。
【００１４】
次にこの立体画像処理装置３０の動作を説明する。まず、両眼用の画像を撮影できる立体カメラで背景のみを撮影する。立体カメラは、背景のみの立体画像データを立体画像データ１１と同じ形式で出力するので、これを立体画像処理装置１０の画像データ入力受付部１２に入力する。画像データ入力受付部１２は、背景のみの立体画像データを受けると、そのまま、これを前景背景分離部１３に出力する。前景背景分離部１３は、この背景のみの立体画像データを受けると、これを比較用立体画像データとして、そのまま格納する。次に、先ほど撮影した背景と背景が同じなるようにしたまま、対象物を背景の手前に置いて立体カメラにて、目的の画像を撮影する。立体カメラは、撮影結果を立体画像データ１１として出力するので、これを立体画像処理装置１０の画像データ入力受付部１２に入力する。画像データ入力受付部１２は、立体画像データ１１を受けると、これを各視点について１フレームずつ、前景背景分離部１３に出力する。
【００１５】
前景背景分離部１３は、立体画像データ１１を受けると、先に格納した比較用立体画像データと該立体画像データ１１とを、各視点のフレームについて、各画素のデータを比較する。データが一致する画素は背景として、データが一致しない画素は、該立体画像データの該当画素のデータを前景として分離する。前景として分離された前景立体画像データは、前景処理部１４へ出力され、背景として分離された背景立体画像データは、背景処理部１５へ出力される。前景処理部１４は、前景立体画像データを受けると、その各画素データの明度および彩度の値を、例えば１．２倍にするなどして、より大きな値に変換する。これにより、前景の各画素は、視覚的に目立つ色となるため、視認性が上がって、立体感が強調される。前景処理部１４は、明度および彩度を変換した前景立体画像データを、前景背景合成部１６に出力する。
【００１６】
一方、背景立体画像データを受けた背景処理部１５は、予め背景処理部１５に登録してあった図２〜図３のような奥行きのある立体画像に差し替えて、これを背景立体画像データとして、前景背景合成部１６へ出力する。前景背景合成部１６は、背景処理部１５から背景立体画像データを、前景処理部１４から前景立体画像データを受けると、該前景立体画像データを該背景立体画像データに重ねた立体強調画像データ１７を生成して、出力する。出力された立体強調画像データ１７を三次元ディスプレイに入力して表示される画像は、前景は色の変換により視認性が上がっており、背景は奥行きのある画像となっているため、三次元ディスプレイにおける合成の際に計算に用いるパラメータを調整することで立体感を強調した画像と比較すると、画像を見る人間の目に負担をかけずに、立体感を強調することができる。
なお、本実施形態の立体画像処理装置１０では、動画を１フレームずつ処理するように説明したが、静止画に対しても、これを動画の１フレームとみなして同様の処理を行うことで対応が可能である。
【００１７】
また、前景背景分離部１３は、立体画像データ１１と背景のみ立体画像データとを比較することで前景と背景を分離していたが、前景背景分離部１３にクロマキーデータを用意しておき、また、入力する立体画像データ１１の撮影時の背景をクロマキーデータと一致するクロマキー色にしておき、立体画像データ１１の画素がクロマキーデータと一致する場合は背景とみなすクロマキー処理により、前景と背景を分離してもよい。
【００１８】
また、前景処理部１４は、色を変換して視認性を上げる色調強調としたが、以下の（１）または（２）のどちらかの処理であってもよい。
（１）視差強調
入力された前景立体画像データの左視点の画像と右視点の画像の視差が大きくなるようにずらす。三次元ディスプレイにて表示すると、これにより、ずれを大きくする前よりも、手前にあるように知覚されるため、立体感が強調される。
（２）拡大
入力された前景立体画像データの画像を拡大する。大きく見えることで、立体感が強調される。
【００１９】
また、背景処理部１５は、背景を奥行きのある画像に差し替える差込みとしたが、以下の（ａ）〜（ｃ）の何れかの処理であってもよい。
（ａ）ぼかし
入力された背景立体画像データの輪郭をぼかす。ぼかすことで、背景に焦点をあわせづらくなり、前景を目立たせることができる。
（ｂ）コントラスト・明るさ低減
入力された背景のコントラストおよび明度を下げる。背景の色調が目立たなくなることで、前景を強調することができる。
（ｃ）単色化
背景を削除して単色とする。背景を単色として、目立たなくすることで、前景を強調することができる。
【００２０】
本実施形態または前景処理部１４を前述の（１）または（２）、背景処理部１５を前述の（ａ）〜（ｃ）のいずれかとしたときの、立体感の感じ方の強さについて調べたアンケート結果を図４に示す。図４において、立体画像処理装置による処理前の立体画像と比較して、立体感の強さに変わりがない場合が３点、立体感が強くなっている場合は４点および５点であり、点数が大きいほど立体感が強く感じられたことを示す。また、立体感が処理前より弱くなっている場合は、２点および１点である。図４の表中の各点数に対する数字は、該点数を回答した人数を表し、平均点は、該処理に対して回答された点数の平均を表す。したがって、平均点が高い処理ほど、立体感を強調する効果が高いと言える。アンケートの結果を見ればわかるように、本実施形態の組合せである前景に色調強調、背景に差込みの場合に、最も立体感を強調する効果が高い。
【００２１】
また、本実施形態においては、前景処理部１４にて色調強調、背景処理部１５にて差込みを行うとしたが、前景処理部１４にて色調強調と拡大の処理をする、背景処理部１５にてぼかしとコントラスト・明るさ低減の処理をするなど、前景処理部１４もしくは背景処理部１５にて、単一の処理を行うだけでなく、複数の処理を行うとしてよい。また、前景処理１４または背景処理部１５のどちらかがなく、前景だけ、もしくは、背景だけに処理を行うとしてもよい。
【００２２】
また、図１における立体画像処理装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより立体画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００２３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００２４】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【００２５】
【図１】この発明の一実施形態による立体画像処理装置の構成を示すブロック図である。
【図２】同実施形態における背景処理部１５で用いる差込用の背景画像である。
【図３】同実施形態における背景処理部１５で用いる差込用の背景画像である。
【図４】立体感の感じ方に関するアンケート結果である。
【符号の説明】
【００２６】
１０…立体画像処理装置
１１…立体画像データ
１２…画像データ入力受付部
１３…前景背景分離部
１４…前景処理部
１５…背景処理部
１６…前景背景合成部
１７…立体強調画像データ
【図１】
2007110360.tif 000003
【図２】
2007110360.tif 000004
【図３】
2007110360.tif 000005
【図４】
2007110360.tif 000006