(57)【要約】【課題】  被写界の各部の３次元計測データを、画像処理に有効利用するための技術を提供する。【解決手段】  本発明のカメラシステムは、画像各部の被写界の奥行きデータを３次元計測によって求める。この奥行きデータを階調マップ化し、奥行きマップ付きの画像ファイルを生成する。一方、本発明の画像処理装置は、この奥行きマップ付きの画像ファイルから奥行きマップを取得し、奥行きマップに基づいて画像各部における画像処理を制御する。【選択図】      図３
2008067093.tif 000002
【特許請求の範囲】
【請求項１】
被写界を撮影して画像データを生成する撮像部と、
前記撮像部が撮影する前記被写界について３次元計測を実施し、前記被写界の３次元計測データを得る３次元計測装置と、
前記３次元計測データから得られる前記被写界の奥行きデータを、前記画像データの画素単位または画像領域単位に配列して階調マップ化することにより、前記画像データと対応する奥行きマップを生成するデータ処理部と、
前記奥行きマップを前記画像データに付属させて記録することにより、奥行きマップ付きの画像ファイルを生成するファイル生成部と
を備えたことを特徴とするカメラシステム。
【請求項２】
請求項１に記載のカメラシステムにおいて生成された奥行きマップ付きの画像ファイルを取り込み、画像データと奥行きマップを得るファイル取得部と、
前記奥行きマップに基づいて、前記画像データの画像各部における画像処理を制御する画像処理部と
を備えたことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像処理部は、
ユーザー操作に従って、画像上の位置（以下コントロールポイントという）の入力を受け付ける操作部と、
前記奥行きマップに基づいて、前記コントロールポイントを含む所定の奥行き範囲に収まる選択範囲を抽出して処理マスクを生成するマスク生成部と、
前記処理マスクに応じて、画像各部の画像処理の反映度合いを制御する処理演算部とを備えた
ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記画像ファイルから閃光照明の発光量を情報取得し、前記奥行きマップと前記発光量とに基づいて、画像各部における前記閃光照明の光量分布を示す閃光マップを生成する閃光マップ生成部と、
前記閃光マップに基づいて、前記画像データの画像各部の明るさ調整を制御する処理演算部とを備えた
ことを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記奥行きマップに基づいて、前記画像データを奥行き別に領域分割して、領域分割された画像データごとに画像ブレを検出するブレ検出部と、
前記奥行き別に前記画像ブレを表す点像関数の逆フィルタを求めるフィルタ作成部と、
前記画像データの前記奥行き別に前記逆フィルタをかけて、前記画像データの画像ブレを軽減する処理演算部とを備えた
ことを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記奥行きマップに基づいて、前記画像データを奥行き別に領域分割して、領域分割された画像データごとに光源推定の画像処理を実施する光源推定部と、
前記奥行き別の光源推定結果に応じて前記画像データに施すホワイトバランス調整を制御する処理演算部とを備えた
ことを特徴とする画像処理装置。
【請求項７】
コンピュータを、請求項２ないし請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。                                                                                
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステム、画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
下記の特許文献１には、画像ファイルから撮像レンズのピント距離（被写体距離レンジ，被写体距離情報）を取得して、ピント距離から主要被写体を推定する技術が開示されている。例えば、被写体距離レンジが近景撮影を示す場合は、人物が主要被写体であると判断し、肌色検出を行うことで主要被写体を検出する。また、被写体距離レンジが遠景撮影を示す場合は、景色が主要被写体であると判断し、青空検出などにより主要被写体を検出する。
【特許文献１】特開２００５−１７４２４７公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、公知の３次元計測技術（視差検出、光切断法、レンズのフォーカススキャンに伴う鮮鋭箇所の検出など）を用いた３次元計測装置が知られている。この種の３次元計測装置を用いることで、被写界の各部について３次元計測データを得ることができる。
本発明は、この被写界の３次元計測データを、画像処理に有効利用するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
《１》  本発明のカメラシステムは、撮像部、３次元計測装置、データ処理部、およびファイル生成部を備える。
撮像部は、被写界を撮影して画像データを生成する。
３次元計測装置は、撮像部が撮影する被写界について３次元計測を実施し、被写界の３次元計測データを生成する。
データ処理部は、３次元計測データから得られる被写界の奥行きデータを、画像データの画素単位または画像領域単位に配列して階調マップ化することにより、画像データと対応する奥行きマップを生成する。
ファイル生成部は、奥行きマップを画像データに付属させて記録することにより、奥行きマップ付きの画像ファイルを生成する。
《２》  本発明の画像処理装置は、ファイル取得部、および画像処理部を備える。
ファイル取得部は、請求項１に記載のカメラシステムにおいて生成された奥行きマップ付きの画像ファイルを取り込み、画像データと奥行きマップを得る。
画像処理部は、奥行きマップに基づいて、画像データの画像各部における画像処理を制御する。
なお、ここでの画像処理は、画質調整のように画像を加工する処理、または光源推定のように画像を解析する処理のいずれでもよい。
《３》  なお好ましくは、画像処理部は、操作部、マスク生成部、および処理演算部を備える。
操作部は、ユーザー操作に従って、画像上の位置（以下コントロールポイントという）の入力を受け付ける。
マスク生成部は、奥行きマップに基づいて、コントロールポイントを含む所定の奥行き範囲に収まる選択範囲を抽出して処理マスクを生成する。
処理演算部は、処理マスクに応じて、画像各部の画像処理の反映度合いを制御する。
《４》  また好ましくは、画像処理部は、閃光マップ生成部、および処理演算部を備える。
閃光マップ生成部は、画像ファイルから閃光照明の発光量を情報取得する。閃光マップ生成部は、奥行きマップと発光量とに基づいて、画像各部における閃光照明の光量分布を求めて、閃光マップとする。
処理演算部は、この閃光マップに応じて画像データの画像各部の明るさ調整を制御する。
《５》  また好ましくは、画像処理部は、ブレ検出部、フィルタ作成部、および処理演算部を備える。
ブレ検出部は、奥行きマップに基づいて、画像データを奥行き別に領域分割し、領域分割された画像データごとに画像ブレを検出する。
フィルタ作成部は、奥行き別に画像ブレを表す点像関数の逆フィルタを求める。
処理演算部は、画像データの奥行き別に逆フィルタをかけて、画像データの画像ブレを軽減する。
《６》  なお好ましくは、画像処理部は、光源推定部、および処理演算部を備える。
光源推定部は、奥行きマップに基づいて、画像データを奥行き別に領域分割する。光源推定部は、これら領域分割された画像データごとに光源推定の画像処理を実施する。
処理演算部は、奥行き別に求めた光源推定結果に応じて、画像データに施すホワイトバランス調整を制御する。
《７》  本発明の画像処理プログラムは、コンピュータを、上記《１》〜《６》のいずれか１項に記載の画像処理装置として機能させるためのプログラムである。
【発明の効果】
【０００５】
本発明のカメラシステムでは、被写界の奥行きマップを生成して、画像データに付属させる。したがって、画像データの表示や後処理などにおいて、付属する奥行きマップを参照することで、画像各部の被写体の奥行きを知ることができる。
【０００６】
一方、本発明の画像処理装置およびそのプログラムでは、奥行きマップに基づいて、画像各部の画像処理を制御する。その結果、画像各部の奥行きによる影響を考慮した高度な画質調整や画像解析が可能になる。
【発明を実施するための最良の形態】
【０００７】
［カメラシステム１０１の構成］
図１は、カメラシステム１０１のシステム構成を示すブロック図である。
図１において、カメラシステム１０１には、撮像部１１、データ処理部１２、およびファイル生成部１３などからなるカメラ本体が設けられる。さらに、このカメラ本体のアクセサリーシューなどには、３次元計測装置１４が装着される。
【０００８】
［画像処理装置１０２の構成］
図２は、画像処理装置１０２のシステム構成を示すブロック図である。
図２において、画像処理装置１０２は、ファイル取得部２１、画像処理部２２、およびモニタ装置２３を備えて概略構成される。
この画像処理部２２は、処理演算部２４、操作部２５、マスク生成部２６、閃光マップ生成部２７、ブレ検出部２８、フィルタ作成部２９、および光源推定部３０を備えて構成される。
なお、この画像処理装置１０２については、画像処理プログラムとコンピュータによってソフトウェア的に実現してもよい。
【０００９】
［カメラシステム１０１の動作説明］
図３は、カメラシステム１０１の動作を説明する流れ図である。
以下、図３に示すステップ番号に沿って、この動作を説明する。
【００１０】
ステップＳ１：  撮像部１１は、ユーザーによるレリーズ操作を待機する。このレリーズ操作を受け付けると、ステップＳ２に動作を移行する。
【００１１】
ステップＳ２：  撮像部１１は、被写界を撮影し、画像データＡを生成する。画像データＡは、データ処理部１２へ出力される。
【００１２】
ステップＳ３：  データ処理部１２は、３次元計測装置１４に対して、３次元計測を指示する。３次元計測装置１４は、撮像部１１から所定の基線長だけ離れた位置から被写界を撮影し、視差比較用の画像データＢを生成する。
【００１３】
ステップＳ４：  データ処理部１２は、撮像部１１の焦点距離から撮影画角を求め、３次元計測装置１４に伝達する。３次元計測装置１４は、この撮影画角に基づいて、画像データＡ，Ｂに写る被写体の画素数サイズが等しくなるよう解像度調整を実施する。
【００１４】
ステップＳ５：  ３次元計測装置１４は、ステップＳ４で処理された画像データＡ，Ｂの間でブロックマッチングを行い、基線長方向の視差を検出する。
【００１５】
ステップＳ６：  ３次元計測装置１４は、ブロック単位の視差に基づいて、ブロック単位の奥行きデータを求める。なお、この奥行きデータは、計測精度や人間の距離感覚の観点から、対数値のように遠いほど数値間隔を圧縮した値にすることが好ましい。
【００１６】
ステップＳ７：  ３次元計測装置１４は、ブロック単位の奥行きデータを、ステップＳ２で生成された画像データＡの画素単位または画像領域単位に配列して階調マップ化し、奥行きマップを生成する。
【００１７】
ステップＳ８：  ファイル生成部１３は、ステップＳ２で生成された画像データＡと、奥行きマップとをまとめて画像ファイルを生成する。
例えば、画像データＡのαチャネルに奥行きマップを格納してもよい。
また例えば、画像ファイル内の付随情報領域（メーカーノートなど）に奥行きマップを格納してもよい。
また例えば、画像ファイルと対応付けられる別ファイル（画像ファイルと同一ファイル名で拡張子のみを変えるなど）に奥行きマップを格納してもよい。
このように作成された奥行きマップ付きの画像ファイルは、ファイル生成部１３を介して、メモリーカードなどの記録媒体に保存される。
【００１８】
［画像処理装置１０２の動作説明］
カメラシステム１０１で作成された奥行きマップ付きの画像ファイルは、記録媒体や通信媒体などを介して、画像処理装置１０２に伝達される。画像処理装置１０２では、奥行きマップを参照しつつ、画像ファイルに対して事後的な画像処理を実施する。この画像処理により、画像各部の奥行きを考慮した高度な画質調整または画像解析が実現する。
以下、これら画像処理ごとに、画像処理装置１０２の動作を具体的に説明する。
【００１９】
（１）コントロールポイントによる処理
画像処理装置１０２では、ユーザーがＧＵＩ（Graphical User Interface）操作を行うことにより、画像上にコントロールポイントを配置する。このコントロールポイントを介して、所望の画質調整を行うことができる。
図４は、このコントロールポイントを用いた画像処理の流れを説明する図である。以下、図４に示すステップ番号に沿って、この動作を説明する。
【００２０】
ステップＳ１１：  画像処理装置１０２のファイル取得部２１は、カメラシステム１０１で作成された奥行きマップ付きの画像ファイルを取り込み、内部のメモリ領域に格納する。ファイル取得部２１は、この奥行きマップ付きの画像ファイルから、画像データと奥行きマップを抽出する。
【００２１】
ステップＳ１２：  操作部２５は、ユーザーからのＧＵＩ操作により、画像上の位置指定を受け付け、その位置にコントロールポインタＰを配置する（図５参照）。
このコントロールポインタＰには、下記の調整スライダが表示される。
(a)奥行き範囲の前後幅の調整スライダ
(b)色相パラメータの調整スライダ
(c)彩度パラメータの調整スライダ
(d)明るさパラメータの調整スライダ
(e)コントラストパラメータの調整スライダ
(f)赤成分パラメータの調整スライダ
(g)緑成分パラメータの調整スライダ
(h)青成分パラメータの調整スライダ
(i)暖色系パラメータの調整スライダ
なお、サイズパラメータの調整スライダを加えて、コントロールポインタＰから所定半径内に選択範囲（後述）を範囲制限してもよい。
【００２２】
ステップＳ１３：  マスク生成部２６は、奥行きマップを参照して、コントロールポインタＰの配置箇所に位置する被写体の奥行きを求める。
【００２３】
ステップＳ１４：  マスク生成部２６は、コントロールポインタＰの奥行きに対して、予め設定される前後幅だけ広げて、奥行き範囲を定める。マスク生成部２６は、奥行きマップを参照して、この奥向き範囲に入る画像領域を選択範囲として抽出する。
【００２４】
ステップＳ１５：  マスク生成部２６は、選択範囲に高い不透明度を与えて、処理マスクを作成する。このとき、コントロールポインタＰの奥行きに近いほど、高い不透明度を与えてもよい。
【００２５】
ステップＳ１６：  操作部２５は、コントロールポインタＰの前後幅の調整スライダ（図５参照）の変更操作を受け付けると、ステップＳ１４に動作を移行し、処理マスクの再設定を行う。前後幅の調整スライダの変更操作が無い場合、操作部２５はステップＳ１７に動作を移行する。
なお、この前後幅の調整プロセスにおいて、選択範囲を画像上に重ねて表示してもよい。このような選択範囲の表示により、選択範囲の状態をユーザーに知らせることができる。
【００２６】
ステップＳ１７：  操作部２５は、コントロールポインタＰの画像処理パラメータの調整スライダ（図５参照）の変更操作を受け付けると、ステップＳ１８に動作を移行する。画像処理パラメータの変更操作が無い場合、操作部２５はステップＳ１９に動作を移行する。
【００２７】
ステップＳ１８：  処理演算部２４は、ステップＳ１７で受け付けた画像処理パラメータの変更を、処理マスクの不透明度に応じて、画像データに反映させる。
【００２８】
ステップＳ１９：  操作部２５は、ユーザーからコントロールポインタＰの処理完了を指示されると、上述した一連の処理を完了する。一方、処理完了の指示が無い場合、ステップＳ１６に動作を戻し、コントロールポインタＰに関する画像処理を継続する。
このようなコントロールポインタＰに関する処理により、所望の奥行き範囲に位置する被写体を選択範囲として抽出し、その被写体に対する画像処理を選択的に実施することが可能になる。
【００２９】
（２）閃光マップの処理
画像処理装置１０２では、閃光照明を行って撮影された画像データに対し、閃光マップを用いた画像処理が可能になる。
図６は、この閃光マップを用いた画像処理の流れを説明する図である。以下、図６に示すステップ番号に沿って、この動作を説明する。
【００３０】
ステップＳ３１：  上述したステップＳ１１と同じ処理。
【００３１】
ステップＳ３２：  閃光マップ生成部２７は、画像ファイルの付随情報から、閃光照明の発光量（またはその発光量の照射角分布）を情報取得する。
【００３２】
ステップＳ３３：  閃光マップ生成部２７は、奥行きマップに基づいて、下記の情報を検出する。
(a)閃光照明の発光部から画像各部の被写体までの距離、
(b)閃光照明の中心軸から画像各部の被写体までの角度
(c)画像各部の被写体の面角度（奥行きデータを面方向に結んで得られる傾斜角度）
【００３３】
ステップＳ３４：  閃光マップ生成部２７は、発光量（または発光量の照射角分布）と、上記(a),(b)の情報から、画像各部の被写体に到達する照射光量を推定する。
さらに、閃光マップ生成部２７は、上記(c)の面角度から、照射光量の何割がカメラ側に戻るかを求めることにより、反射光量を推定することもできる。
閃光マップ生成部２７は、このように求めた画像各部の照射光量（または反射光量）を、画像データの画素単位または画像領域単位に配列して階調マップ化することにより、閃光マップを生成する。
【００３４】
ステップＳ３５：  閃光マップ生成部２７は、閃光マップの照射光量（または反射光量）の低い箇所ほど高い不透明度を与えて、処理マスクを作成する。
【００３５】
ステップＳ３６：  処理演算部２４は、処理マスクの不透明度が高い箇所ほど、画像データを明るく調整する。また、処理マスクの不透明度が低い箇所ほど、画像データの明るさを下げる。
このような閃光マップに関する処理により、閃光照明の届きにくい被写体を選別し、その被写体を明るく調整することができる。また、閃光照明が強く当たるハイライト箇所を選別し、そのハイライト箇所の明るさを抑制することができる。
したがって、閃光照明の照明ムラを適度に抑え、自然な照明状態の画像データを得ることが可能になる。
【００３６】
（３）奥行き別のブレ補正処理
画像処理装置１０２では、奥行きマップを用いて、奥行き別のブレ補正処理を行うことができる。
図７は、この奥行き別のブレ補正処理の流れを説明する図である。以下、図７に示すステップ番号に沿って、この動作を説明する。
【００３７】
ステップＳ５１：  上述したステップＳ１１と同一の処理。
【００３８】
ステップＳ５２：  ブレ検出部２８は、奥行きマップに基づいて、画像データを奥行き別に領域分割する。
【００３９】
ステップＳ５３：  ブレ検出部２８は、領域分割された画像データごとに、画像ブレ（ブレ方向、ブレ幅）を検出する。
例えば、縦横斜めなどそれぞれの方向に隣接画素差の絶対値和を算出する。この絶対値和の最も小さくなる方向を、ブレ方向とすればよい。
また例えば、求めたブレ方向に画像をずらしながら画像の自己相関を求め、その自己相関特性の広がり具合からブレ幅を検出してもよい。
【００４０】
ステップＳ５４：  フィルタ作成部２９は、奥行き別に求めた画像ブレ（ブレ方向，ブレ幅）に基づいて、奥行き別の画像ブレを表す点像関数を求める。
【００４１】
ステップＳ５５：  フィルタ作成部２９は、奥行き別の点像関数の逆フィルタを決定する。なお、画像ブレと逆フィルタとの対応テーブルを予め用意することにより、画像ブレから逆フィルタを即座に決定することも可能である。
【００４２】
ステップＳ５６：  処理演算部２４は、奥行き別に領域分割された画像データに対して、奥行き別の逆フィルタを個別にかけることにより、奥行き別に画像ブレを補正する。
【００４３】
ステップＳ５７：  処理演算部２４は、奥行き別に画像ブレを補正した画像データを合成する。
このような奥行き別の画像ブレ補正により、奥行き別に生じる被写体ブレを補正することができる。また、カメラの平行ブレに起因して奥行き別に生じるカメラブレを補正することもできる。
【００４４】
（４）奥行き別の光源推定処理
画像処理装置１０２では、奥行きマップを用いて、奥行き別に光源推定を行うことができる。
図８は、この奥行き別の光源推定処理の流れを説明する図である。以下、図８に示すステップ番号に沿って、この動作を説明する。
【００４５】
ステップＳ７１：  上述したステップＳ１１と同一の処理。
【００４６】
ステップＳ７２：  光源推定部３０は、奥行きマップに基づいて、画像データを奥行き別に領域分割する。
【００４７】
ステップＳ７３：  光源推定部３０は、奥行き別に領域分割した画像データごとに、光源推定を実施する。
例えば、低彩度箇所について色相分布を求め、この色相分布の偏りから光源推定を実施してもよい。また例えば、画素単位の色相を平均化し、色度空間上でその平均色相に最も近い黒体放射軌跡上の色温度を求めることにより、光源推定を行ってもよい。
【００４８】
ステップＳ７４：  画像処理装置１０２では、カスタム設定によって、ホワイトバランスにおいて混合光源の特徴をどの程度活かすかが予め設定される。
光源推定部３０は、このカスタム設定に基づいて、混合光源の特徴を画像処理に活かすか否かを決定する。
混合光源の特徴を活かす場合、光源推定部３０はステップＳ７６に動作を移行する。
一方、混合光源の特徴を活かさない場合、光源推定部３０はステップＳ７５に動作を移行する。
【００４９】
ステップＳ７５：  このステップでは、光源推定部３０は、奥行き別に独立してホワイトバランス調整値を決定する。このように独立に決定されるホワイトバランス調整値は、奥行き別に色の偏りを抑制する。その結果、混合光源のような複雑な光源下にあっても、個々の被写体の持つ本来の色あいを正確に再現することが可能になる。
このようなホワイトバランス調整値の決定後、光源推定部３０は、ステップＳ７７に動作を移行する。
【００５０】
ステップＳ７６：  このステップでは、光源推定部３０は、奥行き別の光源推定結果を、予め定められた光源優先ルールに照合して、ホワイトバランス調整値を決定する。
例えば、近景が色温度の低い室内光源であり、かつ遠景が太陽光源の場合、太陽光源を中心にして近景および遠景のホワイトバランス調整値を決定する。この場合、室内光の色合いを若干残すホワイトバランス調整（その場の光を活かした調整）が実現する。
また例えば、近景が色温度の高い日陰であり、かつ遠景が太陽光源の場合、奥行き別にホワイトバランス調整値を決定する。この場合、日陰の青味を抑制しつつ、遠景についても自然な色合いに調整することができる。
【００５１】
ステップＳ７７：  処理演算部２４は、奥行き別に領域分割された画像データに対して、
ステップＳ７５またはステップＳ７６で決定したホワイトバランス調整値を適用して、ホワイトバランス調整を行う。
【００５２】
ステップＳ７８：  処理演算部２４は、奥行き別にホワイトバランス調整を実施した画像データを再合成することにより、ホワイトバランス調整を完了した画像データを得る。
このような奥行き別の光源推定により、被写界の混合光源を適切に判別することが可能になる。また、奥行き別のホワイトバランス調整により、混合光源による複雑な色の偏りを除去して、被写体の持つ本来の色あいを忠実に再現することが可能になる。また、光源優先ルールに従って、近景／遠景の光源の特徴を選択的に残すことも可能になる。
【００５３】
［本実施形態の効果など］
上述したカメラシステム１０１では、奥行きデータを階調マップ化して、画像データに付属させる。その結果、画像各部の被写体の奥行きを活かした表示や画像処理を後から実施することが可能になる。
【００５４】
一方、上述した画像処理装置１０２では、この奥行きマップの情報を利用することにより、画像各部の被写体の奥行きを考慮した画像処理が可能になる。
【００５５】
また、上述した画像処理装置１０２では、画像上にコントロールポイントＰを配置して、前後幅の調整スライダを調整することにより、所定の奥行き範囲に位置する被写体を感覚的に選別することができる。さらに、コントロールポインタＰに対する画像処理パラメータの調整スライダを調整することにより、所定の奥行き範囲に位置する被写体に対して所望の画像処理を施すことも可能になる。その結果、奥行き別の画像処理を簡易かつ感覚的に実施することが可能になる。
【００５６】
さらに、上述した画像処理装置１０２では、奥行きマップの情報から、画像各部の被写体に閃光照明がどの程度当たっているかを判断できる。この判断に基づいて、画像各部の明るさ調整を行うことにより、画像データに現れる閃光照明の照明ムラを適度に抑制することが可能になる。
【００５７】
また、上述した画像処理装置１０２では、奥行き別に画像ブレを補正する。したがって、被写体ブレやカメラの平行ブレなどに起因する奥行き別に生じる画像ブレを適切に補正することが可能になる。
【００５８】
さらに、上述した画像処理装置１０２では、奥行き別に光源推定を実施する。したがって、複雑な混合光源などを奥行き別に区別することが可能になり、より正確な光源推定が可能になる。
【００５９】
《実施形態の補足事項》
なお、上述した実施形態では、３次元計測装置１４として、視差検出によって３次元計測を行う装置を示した。しかしながら、本発明は３次元計測の方式に限定されるものではない。
【００６０】
また、上述した実施形態では、カメラ本体に３次元計測装置１４を外付けするケースについて説明した。しかしながら、本発明はこれに限定されるものではない。カメラ本体に３次元計測装置を内蔵してもよい。
【００６１】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
【産業上の利用可能性】
【００６２】
以上説明したように、本発明は、カメラシステム、画像処理装置、および画像処理プログラムなどに利用可能な技術である。
【図面の簡単な説明】
【００６３】
【図１】カメラシステム１０１のシステム構成を示すブロック図である。
【図２】画像処理装置１０２のシステム構成を示すブロック図である。
【図３】カメラシステム１０１の動作を説明する流れ図である。
【図４】コントロールポイントを用いた画像処理の流れを説明する図である。
【図５】コントロールポイントの操作の様子を説明する図である。
【図６】閃光マップを用いた画像処理の流れを説明する図である。
【図７】奥行き別のブレ補正処理の流れを説明する図である。
【図８】奥行き別の光源推定処理の流れを説明する図である。
【符号の説明】
【００６４】
１１…撮像部，１２…データ処理部，１３…ファイル生成部，１４…３次元計測装置，２１…ファイル取得部，２２…画像処理部，２３…モニタ装置，２４…処理演算部，２５…操作部，２６…マスク生成部，２７…閃光マップ生成部，２８…ブレ検出部，２９…フィルタ作成部，３０…光源推定部，１０１…カメラシステム，１０２…画像処理装置
【図１】
2008067093.tif 000003
【図２】
2008067093.tif 000004
【図３】
2008067093.tif 000005
【図４】
2008067093.tif 000006
【図５】
2008067093.tif 000007
【図６】
2008067093.tif 000008
【図７】
2008067093.tif 000009
【図８】
2008067093.tif 000010