(57)【要約】【課題】  光学系に混入した異物の影だけを簡単な画像編集で確実に除去する。【解決手段】  画像データを撮影した撮影機材、レンズおよび絞り値の組み合わせに対応する異物の影の大きさを示す光学特性テーブルと、異物の大きさに基づいて撮影画像の光量が減光される率を示す減光率テーブルとを持ち、異物の影の領域とその周辺の領域との階調の違いから、この影の部分の減光率を求めると共に、減光率テーブルに示された減光率とに基づいて影の部分の階調を上げるように編集する。【選択図】  図１
2007104134.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像に含まれる、撮影機材の光学系に混入した異物の影を除去する画像編集装置であって、
画像データを記憶する記憶装置と、
前記画像データ上のある座標位置を入力するための座標位置入力手段と、
入力された前記座標位置に基づいて前記画像データを編集する画像処理手段と
を備え、
前記画像処理手段は、前記画像データを撮影した撮影機材、レンズおよび絞り値の組み合わせに対応する異物の影の大きさを示す光学特性テーブルと、該異物の大きさに基づいて撮影画像の光量が減光される率を示す減光率テーブルとを持ち、
前記座標位置が示された場合、
該画像データが撮影された際の撮影機材、レンズおよび絞り値の組み合わせを取得し、
前記光学特性テーブルからこの組み合わせに対応する異物の影の大きさに相当する影が、前記座標位置に存在するか否かを調べ、
存在するときは、異物の影の領域とその周辺の領域との階調の違いから、この影の部分の減光率を求めると共に、この減光率と前記減光率テーブルに示された減光率とに基づいて、この影の部分の階調を上げるように編集する
ことを特徴とする画像編集装置。
【請求項２】
前記画像データは、さらにこの画像を撮影した撮影機材、レンズおよび絞り値を含んでおり、前記画像処理手段は、この画像データに含まれる情報を抽出して用いることを特徴とする請求項１に記載の画像編集装置。
【請求項３】
カメラと、
前記カメラで撮影した画像データを記憶する記憶装置と、
前記画像データ上のある座標位置を入力するための座標位置入力手段と、
入力された前記座標位置に基づいて前記画像データを編集する画像処理手段と
を備え、
前記画像処理手段は、前記画像データを撮影したカメラ、レンズおよび絞り値の組み合わせに対応する、カメラの光学系に混入した異物の影の大きさを示す光学特性テーブルと、該異物の大きさに基づいて撮影画像の光量が減光される率を示す減光率テーブルとを持ち、
前記座標位置が示された場合、
該画像データが撮影された際のカメラ、レンズおよび絞り値の組み合わせを取得し、
前記光学特性テーブルからこの組み合わせに対応する異物の影の大きさに相当する影が、前記座標位置に存在するか否かを調べ、
存在するときは、異物の影の領域とその周辺の領域との階調の違いから、この影の部分の減光率を求めると共に、この減光率と前記減光率テーブルに示された減光率とに基づいて、この影の部分の階調を上げるように編集する
ことを特徴とする撮影装置。
【請求項４】
前記画像データは、さらにこの画像を撮影したカメラ、レンズおよび絞り値を含んでおり、前記画像処理手段は、この画像データに含まれる情報を抽出して用いることを特徴
とする請求項３に記載の撮影装置。
【請求項５】
画像データを記憶し、
前記画像データ上の、ある座標位置が入力された場合、
画像データを撮影した際の撮影機材、レンズおよび絞り値の組み合わせに対応する異物の影の大きさを予め定めたテーブルから、前記画像データを撮影した際の組み合わせに対応する異物の影の大きさを求め、
求めた大きさの影が、前記座標位置に表示されている場合、
その異物の影の領域とその周辺の領域との階調の違いからこの影の部分の減光率を求めると共に、異物の大きさに基づいて撮影画像の光量が減光される減光率を予め定めたテーブルから、該異物の大きさに対応する減光率を求め、
求めた二つの減光率に基づいてこの影の部分の階調を上げるように編集する
ことを特徴とする画像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の撮影機器の画像処理に関し、特に撮影した画像に写り込む異物の影を除去する処理に関する。
【背景技術】
【０００２】
従来、さまざまな要因でカメラのような撮影機器の光学系に異物が混入することが多い。たとえば一眼レフカメラであればレンズ交換の際に起こり易い。それ以外にもオートフォーカス機能や絞り調整のための機械的な構造を持つ場合、それらの部品の摩擦などによって発生することがある。
【０００３】
光学系に混入した異物は撮影機器の撮影画像上に影を落とす。この影を除去するため、この影のエッジを複数のフィルタを変えながらどの位置にどの程度の影があるのかをデータベース化して自己補正する方法が提案されている（特許文献１参照）。
【０００４】
しかしながら、この場合には異物の影以外の、類似する画像の一部に対しても補正が掛かる懸念があり、精度良く自動で補正するのは困難である。また異物の影のエッジ検出や補正のための透過率算出を算出しこれを画像全体に対して記憶しておく必要がある。結果的に補正に要するコストが上がり小規模の機器では使いづらい。
【特許文献１】特開２００５−７９８５６公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮影機器の撮影画像に表れる、光学系に混入した異物の影だけを簡易な処理で確実に除去することは困難である。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、異物の影だけを簡単な画像編集で除去する画像編集装置、撮影装置及び画像編集方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、
撮影画像に含まれる、撮影機材の光学系に混入した異物の影を除去する画像編集装置であって、画像データを記憶する記憶装置と、前記画像データ上のある座標位置を入力するための座標位置入力手段と、入力された前記座標位置に基づいて前記画像データを編集する画像処理手段とを備え、前記画像処理手段は、前記画像データを撮影した撮影機材、レンズおよび絞り値の組み合わせに対応する異物の影の大きさを示す光学特性テーブルと、該異物の大きさに基づいて撮影画像の光量が減光される率を示す減光率テーブルとを持ち、前記座標位置が示された場合、該画像データが撮影された際の撮影機材、レンズおよび絞り値の組み合わせを取得し、前記光学特性テーブルからこの組み合わせに対応する異物の影の大きさに相当する影が、前記座標位置に存在するか否かを調べ、存在するときは、異物の影の領域とその周辺の領域との階調の違いから、この影の部分の減光率を求めると共に、この減光率と前記減光率テーブルに示された減光率とに基づいて、この影の部分の階調を上げるように編集することを特徴とする画像編集装置が提供される。
【０００８】
また、本発明によれば、
カメラと、前記カメラで撮影した画像データを記憶する記憶装置と、前記画像データ上のある座標位置を入力するための座標位置入力手段と、入力された前記座標位置に基づいて前記画像データを編集する画像処理手段とを備え、前記画像処理手段は、前記画像データを撮影したカメラ、レンズおよび絞り値の組み合わせに対応する、カメラの光学系に混入した異物の影の大きさを示す光学特性テーブルと、該異物の大きさに基づいて撮影画像の光量が減光される率を示す減光率テーブルとを持ち、前記座標位置が示された場合、該画像データが撮影された際のカメラ、レンズおよび絞り値の組み合わせを取得し、前記光学特性テーブルからこの組み合わせに対応する異物の影の大きさに相当する影が、前記座標位置に存在するか否かを調べ、存在するときは、異物の影の領域とその周辺の領域との階調の違いから、この影の部分の減光率を求めると共に、この減光率と前記減光率テーブルに示された減光率とに基づいて、この影の部分の階調を上げるように編集することを特徴とする撮影装置が提供される。
【０００９】
また、本発明によれば、
画像データを記憶し、前記画像データ上の、ある座標位置が入力された場合、画像データを撮影した際の撮影機材、レンズおよび絞り値の組み合わせに対応する異物の影の大きさを予め定めたテーブルから、前記画像データを撮影した際の組み合わせに対応する異物の影の大きさを求め、求めた大きさの影が、前記座標位置に表示されている場合、その異物の影の領域とその周辺の領域との階調の違いからこの影の部分の減光率を求めると共に、異物の大きさに基づいて撮影画像の光量が減光される減光率を予め定めたテーブルから、該異物の大きさに対応する減光率を求め、求めた二つの減光率に基づいてこの影の部分の階調を上げるように編集することを特徴とする画像編集方法が提供される。
【発明の効果】
【００１０】
本発明の効果として、異物の影だけを簡単な画像編集で除去する画像編集装置、撮影装置及び画像編集方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
たとえば一眼レフカメラを考えた場合、交換レンズの交換の際、どんなに注意しても異物の混入が避けられない。あるいは、どんなに密閉度の高い光学系を持っていても塵の多い環境で使用する場合にもこの問題は顕在化する。工場出荷時での異物が入り込まないようにコントロールしていても、使用する段階での異物の混入は避けられない。
【００１２】
図１に、本実施形態に掛かる撮影装置の一例を示す。図１には、カメラ１００、画像処理装置１０１、撮像ユニット１０２、レンズ１０３、被写体１０４、インタフェース部１０５、記憶装置１０６、座標位置入力部１０７及び画像処理部１０８が示されている。
【００１３】
カメラ１００は、電子的に画像を撮影することができるデジタルカメラ、監視用カメラ、ネットワークカメラあるいはファイバーカメラである。カメラ１００は画像を撮影し、その画像を電子的な情報に変換する機能を備えていれば足り、使用目的に応じてさまざまな形態のカメラが使用できる。
【００１４】
画像処理装置１０１は、カメラ１００が撮影した画像データを記憶するとともに、この画像に対して所定の画像処理を施す機能を有する。
【００１５】
撮像ユニット１０２は、表面に入射した光線に応じた電気信号を発生するもので、たとえばCCD(Charge Coupled Devices)が知られている。入射光を画像として構成するためには少なくとも二次元画像を再構成可能な信号が得られる必要がある。
【００１６】
レンズ１０３は、入射光を屈折されることで撮影ユニット１０２上に映像を結ぶように構成されており、カメラ１００の光学系の一部をなしている。
【００１７】
被写体１０４は、本実施形態の撮影装置が主に撮影しようとする被写体である。通常は、この被写体１０４が鮮明に写るようにピントを調整する。
【００１８】
インタフェース部１０５は、カメラ１００と画像処理装置１０１の間を電気的に接続するための機能を有する。インタフェース部１０５が中継する電子データは主に撮像ユニット１０２が撮影し電子的な情報に変換されたデータである。
【００１９】
記憶装置１０６は、インタフェース部１０５を介して得られた画像データを記憶しておく機能を有する。記憶装置１０６はフラッシュメモリのような固体メモリであっても良いし、磁気ディスク装置のようなものであっても良い。本実施形態のように小規模のシステムであれば、消費電力を抑えられる固体メモリの方が望ましい。
【００２０】
座標位置入力部１０７は、画像処理装置１０１を操作する利用者が、撮影した映像を見ながら異物の影であると思われる領域を入力することができる機能を有している。たとえば、撮影した画像を確認するためのLCD(Liquid Crystal Display)と、このLCDの表面に形成されたタッチセンサを組み合わせたものである。タッチセンサ以外にもマウスやデジタイザなど座標を指定できるものであれば置換できる。
【００２１】
画像処理部１０８は、記憶装置１０６から撮影画像を取得し、また座標位置入力部１０７から得られた座標情報とに基づいて、撮像画像に含まれる異物の影を除去する画像処理機能を有している。
【００２２】
図２は、本実施形態におけるカメラ１００に紛れ込んだ異物が落とす影の現れ方の例を示したものである。図２（ａ）、（ｂ）に従って、それぞれレンズの口径が異なる光学系（交換レンズ等）における同一の大きさの異物の影響について説明する。
【００２３】
図２(ａ)の光学系を構成するレンズの口径が小さく、図２（ｂ）の方がそれより大きい場合を想定している。
【００２４】
図２(ａ)、（ｂ）には、撮像ユニット１０２を構成する撮像素子２０１と赤外線カットフィルタ２０２及び光学系に紛れ込んだ異物２０３がそれぞれ示されている。
【００２５】
撮像素子２０１はCCD等の半導体素子からなるが、不要な光成分を必要に応じて減光するためのフィルタを設ける。本実施形態の撮像ユニット１０２はこのフィルタとして赤外線カットフィルタ２０２を設けている。
【００２６】
異物２０３は、予期せずに紛れ込んださまざまな異物、たとえば空中を浮遊する砂塵、毛髪、埃である。これら異物のうち撮像ユニット１０２に到達するものがあると、その異物の影が直接撮像ユニット１０２の表面に投影されるため撮影画像に顕著な影響が出てくる。
【００２７】
また赤外線カットフィルタ２０２は、図２（ａ）（ｂ）に示すようにある程度厚みを持つため入射する光線の方向に従って撮像素子２０１に落とす異物の影に違いが出てくる。図２（ａ）の場合、よりレンズの口径の大きい図２（ｂ）の場合と比較して撮像ユニット１０２への入射角が小さくなるため、異物２０３が同一の大きさを有していても撮像素子２０１上で見た直径ＬがＬａ＜Ｌｂのように異なったものとなる。
【００２８】
このように交換レンズを換えたときのように光学系の違いにより異物２０３の影の出方が異なり、さらに赤外線カットフィルタ２０２に相当するフィルタの厚みによっても変わってくる。それ以外にも、カメラに絞り機能が備えてある場合には、光線の入射口の面積を絞ることで入射光の範囲を制限する効果を持つことから、レンズの口径が小さくなるのと同様に光線の入射角が小さくなる場合がある。つまり異物２０３の影の大きさを特定するためには少なくともその光学系の特徴と、カメラ本体との組み合わせで考えなければならない。逆に、これら光学系の条件が定まればこの条件に特有の影の大きさがほぼ決まることを意味する。
【００２９】
図３は、カメラ種別とレンズ種別および撮影時の絞り値との組み合わせに対する異物の影の直径を示した光学特性テーブル３００である。カメラ種別とレンズ種別は撮影機器の光学的な特性を特徴付けており、また撮影時の絞りの状況を加味したものに対応する異物２０３の影の直径を示すテーブルとなっている。この光学特性テーブル３００は、画像処理部１０８内部に予め記録されており画像処理の際に使用される。
【００３０】
図４は、本実施形態におけるカメラ１００の撮影した映像４００の一例を示したものである。映像４００を見ると、主に撮影しようとしている被写体１０４が中央付近に捉えられている。さらにカメラ１００の撮像ユニット１０２の表面に付着した異物２０３の影４０１が示されている。
【００３１】
影４０１は、一般的には撮影画像の映り込んだ領域の光量を落とすだけで、極端に大きな異物が付着しない限りその部分の撮影画像を遮ることはない。また、影４０１はその領域内で均一ではなく、異物２０３の周囲には回折した光線が差し込むため図４に示すように影４０１の外周は中央付近に比べて明るい。このとき異物２０３が大きいほど回折して差し込む光線の光量が減ずることから、異物２０３の大きさが大きいほど減光量が大きく、逆に小さければ小さいほど少なくなる。
【００３２】
図５は、異物２０３の大きさとその影によって撮影画像の一部が減光される減光率の関係を示した減光率テーブル５００である。上述したように影の直径が大きいほど減光率は高くなるように設定されている。
【００３３】
この減光率テーブル５００は、画像処理部１０８内部に予め記録されており画像処理の際に使用される。
【００３４】
図６は、本実施形態における、ある撮影画像に含まれる影４０１を除去する際の処理フローの一例を示している。
【００３５】
画像処理装置１０１は、まず編集対象である撮影画像上のどこかを座標位置入力部１０７を介して指定されたかどうか判定する（ステップＳ０１）。指定されていない場合は再度座標を入力するよう催促する。
【００３６】
指定された座標位置がある場合、その画像を撮影したカメラの種類と撮影の際に使用したレンズおよび絞り値を取得する（ステップＳ０２）。これらの情報の取得は編集の都度利用者が入力しても良いし、撮影画像内に情報を記憶できる画像形式（たとえばExif(Exchangeable Image File Format)形式）とすれば個々の撮影画像にこれらの情報を記録するなどして取得することができる。
【００３７】
カメラの種別とレンズと絞り値が得られた後、これらの組み合わせ条件に該当する影の直径の情報を光学特性テーブル３００から取得する。そして指定された画像位置、あるいは極近傍に、光学特性テーブル３００から取得した直径の影が存在するかを判定する（ステップＳ０３）。撮影機材および絞り値に対応する、特性テーブル３００から得られた影の直径に相当する影が見つからない場合は一連の編集処理を終了する。
【００３８】
条件に合致する直径の影がある場合、編集対象である撮影画像上における影の座標位置を求める（ステップＳ０４）。
【００３９】
影の座標が求まったならば、特性テーブル３００から得られた影の直径に含まれる範囲の階調とその周辺の階調との差を求め、この差に基づいて異物２０３によってどれだけ減光されたかを求める（ステップＳ０５）。影の直径には図４に示す影４０１のように中心からの距離によって階調が変化している。影の範囲の階調を求める際は、影の直径全体の階調を考慮（たとえば平均値）しても良いし、予め定めた相対位置（たとえば中心からの距離）の階調を求めればよい。所定の相対位置の階調を影の範囲の階調とみなすことで、影の範囲全体の階調を求める必要なく減光率算出のコストを抑えることができる。
【００４０】
さらに異物２０３の大きさに伴う減光率を求める（ステップＳ０６）。異物２０３の大きさは、予め分かっている場合にはその値を用いればよい。あるいは、異物の影のより中央に向かう部分は異物の大きさにしたがって階調が低くなる特性があることから、しきい値を定めこのしきい値よりも低い階調の範囲の直径を異物２０３の大きさと推定することも可能である。
【００４１】
ステップＳ０５、Ｓ０６にてそれぞれ減光率が求まったならば、それぞれの減光率の両方を考慮して直径で示される影の範囲の減光率を求める（ステップＳ０７）。前述したように影の中央と、直径の周辺に近いところとでは減光率に違いが出てくるため、影の領域内それぞれの相対位置（たとえば影の中心点との距離や半径）に応じて決められる。
【００４２】
最後に、画像データの影の範囲のそれぞれの画素の値を、求めた減光率で除算する（ステップＳ０７）。このように、元画像の画素ごとに減光率で除算、つまり階調を上げてやることで、異物２０３の落とす影の影響を抑えることができる。
【００４３】
このように構成することにより、異物の影だけを簡単な画像編集で除去する画像編集装置、撮影装置及び画像編集方法を提供することができる
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４４】
【図１】本実施形態における撮影装置の一例を示す図である。
【図２】本実施形態における、光学系に紛れ込んだ異物が落とす影の現れ方の例を示す図である。
【図３】本実施形態における光学特性テーブルの一例を示す図である。
【図４】本実施形態における撮影画像の一例を示す図である。
【図５】本実施形態における減光率テーブルの一例を示す図である。
【図６】本実施形態における、ある撮影画像に含まれる影を除去する際の処理フローの一例を示す図である。
【符号の説明】
【００４５】
１００・・・カメラ、１０１・・・画像処理装置、１０２・・・撮像ユニット、１０３・・・レンズ、１０４・・・被写体、１０５・・・インタフェース部、１０６・・・記憶装置、１０７・・・座標位置入力部、１０８・・・画像処理部、２０１・・・撮像素子、２０２・・・赤外線カットフィルタ、２０３・・・異物、３００・・・光学特性テーブル、４０１・・・異物の落とす影、５００・・・減光率テーブル
【図１】
2007104134.tif 000003
【図２】
2007104134.tif 000004
【図３】
2007104134.tif 000005
【図４】
2007104134.tif 000006
【図５】
2007104134.tif 000007
【図６】
2007104134.tif 000008