(57)【要約】【課題】一般的にデジタルカメラ、フィルムカメラを問わず実写画像での画像合成は、これらをデジタルデ−タ化しペイントソフトなどでアルファ値マスクを用いて合成処理を行う。近景の物体の奥に別の素材があたかも存在するかのように合成しようとするとクロマキ−等の技術を利用して近景のオブジェクトをマスクを使って切り抜き、その背後に合成用の素材を配置したり、クロマキ−が使えない素材では、合成用の素材が手前の物体にかからないように手作業で重なってしまう部分を切り抜いて合成するなど非常に手間が掛かるものであった。【解決手段】本発明では、ステレオカメラによる複数の実写画像から奥行き情報（Ｚ値）を計算し、これを用いて画像合成を容易に行うという全く新しい考え方によって画像合成による表現の幅を広げることを目的とするものである。【選択図】図１
2008259155.tif 000002
【特許請求の範囲】
【請求項１】
水平に並ぶ一対のレンズ光学系及びＣＣＤを含む受光装置からなるカメラユニットを有するデジタルステレオカメラまたはデジタルステレオビデオカメラを画像記録部として持つことを特徴とするデジタル撮影装置及び画像処理装置。
【請求項２】
単眼のデジタルカメラまたはデジタルビデオカメラであって、主カメラユニットに加えＺ値計算専用画像撮影用の副カメラユニットを有することを特徴とするデジタル撮影装置及び画像処理装置。
【請求項３】
請求項１、請求項２のデジタルステレオカメラまたはデジタルステレオビデオカメラ及び単眼のデジタルカメラまたはデジタルビデオカメラによってデジタル撮影された視差を持った左右の画像からそれぞれの元画像に対応した奥行き情報であるＺ値をＺ値計算モジュ−ルで計算し、計算結果をグレ−スケ−ルの画像デ−タとして作成することを特徴とするデジタル撮影装置及び画像処理装置。
【請求項４】
請求項３で作成された、Ｚ値グレ−スケ−ル画像デ−タとステレオまたは単眼の元画像とをデ−タファイル内で独立に保持することができるようなオリジナルまたは、要求を満たすことが可能な既存フォ−マットにシステム内部の画像処理モジュ−ルで変換し、カメラ内外のストレ−ジに対してデ−タ保存できることを特徴とするデジタル撮影装置及び画像処理装置。
【請求項５】
ユ−ティリティを利用することによってカメラ内部またはデ−タ転送先のパ−ソナルコンピュ−タ上で、Ｚ値を利用した画像合成を行うことが可能なデジタル撮影装置及び画像処理装置。
【請求項６】
画像デ−タファイルとしてはステレオ静止画像からステレオ動画像までを対象とすることを特徴とするデジタル撮影装置及び画像処理装置。
【請求項７】
デシタルカメラ、携帯電話機、ＰＨＳ電話機、ＰＤＡ装置またはパ−ソナルコンピュ−タのいずれかで動作することを特徴とするデジタル撮影装置及び画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、ステレオカメラの視差画像を用いて撮影画像から奥行き情報であるＺ値を計算し、これをグレ−スケ−ルデ−タ化して撮影画像に対する付加情報として専用のフォ−マットに書き出すことによってステレオ写真または単眼写真に於いて奥行きを加味した自然な画像合成を可能にする写真素材及び映像素材を作成するデジタル撮影装置及び画像処理装置に関するものである。
【背景技術】
【０００２】  ステレオカメラは、人間の眼の間隔を基準にして２枚の視差を持った画像を撮影し、これをそれぞれ対応した方の眼に見えるようにすることで、立体感のあるイメ−ジを再現することを目的とした手法で、１９４０年代から米国を中心に広まった。【０００３】  一方、コンピュ−タグラフィックスに於いてレンダリングと呼ばれる画像生成時に物体の前後関係を計算する必要で奥行き情報（Ｚ値）を生成しているが、これを画像処理に利用することで後処理としてカメラから被写体までの距離に応じてフォ−カスボケを加えたりする用途に使われていた。また、このＺ値を利用することによって二次元画像でありながら撮影された近景の後ろ側に別撮影された素材を自然に配置するというような画像合成でもＺ値は利用されている。【０００４】  更に、カメラはこれまでのフィルムカメラからＣＣＤ撮像素子を用いたデジタルカメラに急速に移行しており、出荷数でフィルムカメラを追い抜き、カメラメ−カ−ではフィルムカメラ製造からの撤退を発表しているところが相次いでいる。
【発明の開示】
【発明が解消しようとする課題】
【０００５】  一般的にデジタルカメラ、フィルムカメラを問わず実写画像での画像合成は、これらをデジタルデ−タ化しペイントソフトなどでアルファ値マスクを用いて合成処理を行う。コラ−ジュのような単なる重ね合わせであれば問題ないが、近景の物体の奥に別の素材があたかも存在するかのように合成しようとするとクロマキ−等の技術を利用して近景のオブジェクトをマスクを使って切り抜き、その背後に合成用の素材を配置したり、クロマキ−が使えない素材では、合成用の素材が手前の物体にかからないように手作業で重なってしまう部分を切り抜いて合成するなど非常に手間が掛かるものであった。
【０００６】  更に、ステレオカメラによる立体画像同士の合成などは、両眼分の画像で同様の処理を複数枚に対して行わなければならず精度を維持する観点からも不可能と言ってもいいものであった。
【０００７】  本発明では、ステレオカメラによる複数の実写画像から奥行き情報（Ｚ値）を計算し、これを用いて画像合成を容易に行うという全く新しい考え方によって画像合成による表現の幅を広げることを目的とするものである。
【課題を解決するための手段】
【０００８】  本発明は、水平に並ぶ一対のレンズ光学系及びＣＣＤを含む受光装置からなるカメラユニットを有するデジタルステレオカメラまたはデジタルステレオビデオカメラを画像記録部として持つことを特徴とするものである。
【０００９】  本発明は、単眼のデジタルカメラまたはデジタルビデオカメラであって、主カメラユニットに加え、Ｚ値計算専用画像撮影用の副カメラユニットを有することを特徴とするものである。
【００１０】  本発明は、請求項１、請求項２のデジタルステレオカメラまたはデジタルステレオビデオカメラ及び単眼のデジタルカメラまたはデジタルビデオカメラによってデジタル撮影された視差を持った左右の画像からそれぞれの元画像に対応した奥行き情報であるＺ値をＺ値計算モジュ−ルで計算し、計算結果をグレ−スケ−ルの画像デ−タとして作成することを特徴とするものである。
【００１１】  本発明は、請求項３で作成された、Ｚ値グレ−スケ−ル画像デ−タとステレオまたは単眼の元画像とをデ−タファイル内で独立に保持することができるようなオリジナルまたは、要求を満たすことが可能な既存フォ−マットにシステム内部の画像処理モジュ−ルで変換し、カメラ内外のストレ−ジに対してデ−タ保存できることを特徴とするものである。
【００１２】  本発明は、ユ−ティリティを利用することによってカメラ内部またはデ−タ転送先のパ−ソナルコンピュ−タ上で、Ｚ値を利用した画像合成を行うことが可能であることを特徴とするものである。
【００１３】  本発明は、画像デ−タファイルとしてステレオ静止画像からステレオ動画像までを対象とすることを特徴とするものである。
【００１４】  本発明はデジタルカメラ、携帯電話機、ＰＨＳ電話機、ＰＤＡ装置またはパ−ソナルコンピュ−タのいずれかで動作することを特徴とするものである。
【発明の効果】
【００１５】  人間は五感による刺激によって様々な興奮を受けることができる。音響に於けるステレオ化、サラウンド化の流れを見るまでもなく忠実な再現はどの感覚器に対しても常に求められている。
【００１６】  コンピュ−タグラフィックスによる画像合成はより高度になりこれまで映画化が不可能であったようなシ−ンも極めて自然に作り出すことができるようになっている。
【００１７】  本発明では、ステレオカメラとデジタル技術の融合によりユ−ザ−が特別な知識を持つことなく一般のデジタルカメラと変わらない操作のみで合成用のＺ値を持ったデ−タを得ることが可能で、これを用いることによりＣＭ写真等のビジネス分野や個人の趣味の分野で高度な画像合成を可能にすると同時に表現の幅を広げ、遊び心を刺激する画像及び映像の製作において真価を発揮するものである。
【発明を実施するための最良の形態】
【００１８】  以下、本発明の実施形態を、図１に基づいて説明する。【００１９】  被写体（１）を、本発明による撮影装置で撮影することで視差を持った一対のステレオ画像：左眼画像（３）と右眼画像（４）が作成される。【００２０】  この画像をＺ値計算モジュ−ル（５）で視差に基づく２枚画像の差異から奥行き情報であるＺ値を計算し、これを元に左右それぞれの視点からの奥行きをグレ−スケ−ルで表現した画像（６）が作成される。【００２１】  画像処理モジュ−ル（７）では、撮影で作成された左眼画像（３）、右眼画像（４）と左眼用のＺ値グレ−スケ−ル画像及び右眼用のＺ値グレ−スケ−ル画像（６）を組み合わせたステレオデジタルカメラであれば「ステレオ画像対応デ−タフォ−マット」（８）を、単眼カメラであれば「単眼画像対応デ−タフォ−マット」（９）を作成し、これをリム−バブルストレ−ジ（１０）にデ−タファイルとして書き出し、保存する。【００２２】  これら保存されたデ−タファイルは、Ｚ値情報と画像情報を共に持っており、このフォ−マットに対応した専用ユ−ティリティまたは、当フォ−マット対応のプラグインソフトを介して市販のペイントソフトウェアでＺ値を用いた高度な画像合成を行うことができる。
【図面の簡単な説明】
【００２３】
【図１】デジタルステレオカメラを用いたＺ値合成素材作成装置概念図である。
【図２】ステレオ画像に於けるＺ値画像合成の概念図である。
【図３】単眼画像に於けるＺ値画像合成の概念図である。
【図１】
2008259155.tif 000003
【図２】
2008259155.tif 000004
【図３】
2008259155.tif 000005