(57)【要約】【課題】照明の当たる位置や色合いを変化させることなく暗いシーンの撮影を実現するカメラおよび画像処理装置を提供する。【解決手段】画像処理装置は、ストロボを使用せずに撮像した画像の低周波成分を特定する第１画像情報抽出部１６と、ストロボを使用して撮像した画像の高周波成分を特定する第２画像情報抽出部２１と、第１画像情報抽出部１６から出力される低周波成分、および、第２画像情報抽出部２１から出力される高周波成分を合成して合成画像を生成する合成部２４とを備える。【選択図】図１
2017175382.tif 000002
【特許請求の範囲】
【請求項１】
ストロボを使用せずに撮像した画像の低周波成分を特定する第１画像情報抽出部と、
ストロボを使用して撮像した画像の高周波成分を特定する第２画像情報抽出部と、
前記第１画像情報抽出部から出力される低周波成分のみ、および、前記第２画像情報抽出部から出力される高周波成分のみ、を合成して合成画像を生成する合成部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記第２画像情報抽出部は、
入力画像に対して複数の座標位置の画素値を平均化して特定座標位置の画素値を出力する平均化フィルタと、
前記入力画像から前記平均化フィルタの出力を差し引いて前記高周波成分を取得する差分回路と
を備えることを特徴とする画像処理装置。
【請求項３】
被写体に応じて画像信号を出力する撮像素子と、
被写体に向けて発光するストロボ発光装置と、
前記撮像素子に向けて撮像を指示する撮像信号、および、前記ストロボ発光装置に向けて発光を指示するストロボ信号を出力する制御装置と、
前記制御装置が前記ストロボ信号を出力せずに前記撮像信号を出力した際に前記画像信号から低周波成分のみを抽出する第１画像情報抽出部と、
前記制御装置が前記ストロボ信号を出力するとともに前記撮像信号を出力した際に前記画像信号から高周波成分のみを抽出する第２画像情報抽出部と、
前記第１画像情報抽出部から出力される低周波成分、および、前記第２画像情報抽出部から出力される高周波成分を合成して合成画像を生成する合成部と
を備えることを特徴とするカメラ。
【請求項４】
請求項３に記載のカメラにおいて、前記第２画像情報抽出部は、
入力画像に対して複数の座標位置の画素値を平均化して特定座標位置の画素値を出力する平均化フィルタと、
前記入力画像から前記平均化フィルタの出力を差し引いて前記高周波成分を取得する差分回路と
を備えることを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびカメラに関する。
【背景技術】
【０００２】
特許文献１はストロボ色補正方法を開示する。当該方法によれば、ストロボ発光直前の被写体が撮像され、画像の輝度分布が抽出される。直後にストロボ発光下で被写体が撮像され、輝度分布が抽出される。２つの輝度分布の差分が特定され、差分に比例して色補正が実施される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の方法では色合いは修正されるものの、前方から照明(ストロボ)が照射されるため、陰の部分などを自然な風合いに補正することはできない。
ここで言う自然な風合いとは、ストロボを照射せずに撮影した場合、一般的に照明や光源は上方にあり、上方からの光により形成される影の部分などを示す。
【０００５】
本発明は、照明の当たる位置や色合いを変化させることなく暗いシーンの撮影を実現するカメラおよび画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一形態は、ストロボを使用せずに撮像した画像の低周波成分のみを特定する第１画像情報抽出部と、ストロボを使用して撮像した画像の高周波成分のみを特定する第２画像情報抽出部と、前記第１画像情報抽出部から出力される低周波成分、および、前記第２画像情報抽出部から出力される高周波成分を合成して合成画像を生成する合成部とを備える画像処理装置に関する。
【０００７】
ストロボを使用せずに感度を上げて撮像した画像から低周波成分を抽出する。ノイズを除くとともに色情報および輝度情報を取得する。ストロボを使用して撮像した画像から高周波成分を抽出する。輪郭といったエッジ情報を取得する。これらの画像が合成されると、照明の当たる位置や色合いを変化させることなく暗いシーンの画像は生成される。
【０００８】
画像処理装置では、前記第２画像情報抽出部は、入力画像に対して複数の座標位置の画素値を平均化して特定座標位置の画素値を出力する平均化フィルタと、前記入力画像から前記平均化フィルタの出力を差し引いて前記高周波成分を取得する差分回路とを備えてもよい。複数の座標位置の画素値が平均化されると、画像の低周波成分は特定されることができる。したがって、平均化フィルタは第１画像情報抽出部として機能することができる。こうしてストロボを使用せずに撮像する場合と、ストロボを使用して撮像する場合とで画像処理が共通化され、回路構造や処理プロセスの簡素化は実現されることができる。
【０００９】
本発明の他の形態は、被写体に応じて画像信号を出力する撮像素子と、被写体に向けて発光するストロボ発光装置と、前記撮像素子に向けて撮像を指示する撮像信号、および、前記ストロボ発光装置に向けて発光を指示するストロボ信号を出力する制御装置と、前記ストロボ信号を出力せずに前記撮像信号を出力した際に前記画像信号から低周波成分のみを抽出する第１画像情報抽出部と、前記ストロボ信号を出力するとともに前記撮像信号を出力した際に前記画像信号から高周波成分のみを抽出する第２画像情報抽出部と、前記第１画像情報抽出部から出力される低周波成分、および、前記第２画像情報抽出部から出力される高周波成分を合成して合成画像を生成する合成部とを備えるカメラに関する。
【００１０】
ストロボを使用せずに感度を上げて撮像した画像から低周波成分を抽出する。ノイズを除くとともに色情報および輝度情報を取得する。ストロボを使用して撮像した画像から高周波成分を抽出する。輪郭といったエッジ情報を取得する。これらの画像が合成されると、照明の当たる位置や色合いを変化させることなく暗いシーンの画像は生成される。
【００１１】
前記第２画像情報抽出部は、入力画像に対して複数の座標位置の画素値を平均化して特定座標位置の画素値を出力する平均化フィルタと、前記入力画像から前記平均化フィルタの出力を差し引いて前記高周波成分を取得する差分回路とを備えてもよい。複数の座標位置の画素値が平均化されると、画像の低周波成分は特定されることができる。したがって、平均化フィルタは第１画像情報抽出部として機能することができる。こうしてストロボを使用せずに撮像する場合と、ストロボを使用して撮像する場合とで画像処理が共通化され、回路構造や処理プロセスの簡素化は実現されることができる。
【発明の効果】
【００１２】
以上のように開示の装置によれば、照明の当たる位置や色合いを変化させることなく暗いシーンの撮影を実現するカメラおよび画像処理装置は提供される。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係るカメラの構成を概略的に示すブロック図である。
【図２】撮像動作の経過を示すタイムチャートである。
【図３】比較例に係る画像を示す写真である。
【図４】図３の画像を部分的に抜き出して拡大した写真である。
【図５】ストロボを使用せずに、短い露光時間であって高い感度で撮像された画像の写真である。
【図６】図５の画像を部分的に抜き出して拡大した写真である。
【図７】図５の画像の低周波成分画像を示す写真である。
【図８】図７の画像を部分的に抜き出して拡大した写真である。
【図９】ストロボを使用して撮像された画像の写真である。
【図１０】図９の画像を部分的に抜き出して拡大した写真である。
【図１１】図９の画像の低周波成分画像を示す写真である。
【図１２】図１１の画像を部分的に抜き出して拡大した写真である。
【図１３】図９の画像の高周波成分画像を示す写真である。
【図１４】図１３の画像を部分的に抜き出して拡大した写真である。
【図１５】本実施形態に係る合成画像を示す写真である。
【図１６】図１５の画像を部分的に抜き出して拡大した写真である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照しつつ本発明の実施形態を説明する。
【００１５】
（１）カメラの構成
図１は本発明の一実施形態に係るカメラの構成を概略的に示す。カメラ１１は、被写体に応じて画像信号を出力する撮像素子１２を備える。撮像素子１２には例えばＣＭＯＳセンサやＣＣＤセンサが利用される。撮像素子１２の撮像面には個々の画素ごとに位置情報を特定する二次元座標系が設定される。
【００１６】
カメラ１１は画像信号プロセッサ１３を備える。画像信号プロセッサ１３は撮像素子１２に接続される。画像信号プロセッサ１３は個々の画素ごとにＲＧＢ成分やＹＵＶ成分といった画素値を取得する。画素値の取得にあたって画像信号プロセッサ１３は露光時間、ＩＳＯ感度を調整する。撮像にあたって画像信号プロセッサ１３には撮像を指示する撮像信号が供給される。
【００１７】
カメラ１１はストロボ発光装置１４を備える。ストロボ発光装置１４は被写体に向けて発光する。ストロボの発光にあたってストロボ発光装置１４には発光を指示するストロボ信号が供給される。
【００１８】
カメラ１１は制御部（制御装置）１５を備える。制御部１５はカメラ１１の撮像動作を制御する。撮像動作の制御にあたって制御部１５は撮像信号およびストロボ信号を生成する。本実施形態では制御部１５で通常撮像モードおよびストロボ発光モードが設定される。通常撮像モードではストロボを使用せずに撮像動作は実施される。一方で、ストロボ発光モードでは、ストロボを使用しない撮像動作と、ストロボを使用する撮像動作とが相次いで実施される。それらの順番は問われないものの、望ましくは、ストロボを使用する撮像動作に先立ってストロボを使用しない撮像動作が実施される。制御部１５には、個々の撮像動作ごとに、露光時間、ＩＳＯ感度といった撮像条件が設定される。これら撮像条件に従って撮像信号は生成される。
【００１９】
カメラ１１は第１画像情報抽出部１６を備える。第１画像情報抽出部１６は平均化フィルタ１７および画像メモリ１８で形成される。平均化フィルタ１７で平均化された画像信号は画像メモリ１８に一時的に保存される。平均化フィルタ１７は、入力画像に対して複数の座標位置の画素値(各画素におけるＲ成分、Ｇ成分及びＢ成分のそれぞれの値)を平均化して特定座標位置の画素値を出力する。例えば３ｘ３の平均化フィルタ１７では、特定座標位置（ｘ，ｙ）の画素値ｏｕｔ［ｙ］[ｘ]の算出にあたって次式が用いられる。
【数１】
2017175382.tif 000003
ここで、特定座標位置（ｘ，ｙ）の左の座標はｘ−１で特定され、右の座標はｘ＋１で特定され、上の座標はｙ−１で特定され、下の座標はｙ＋１で特定される。個々の座標位置の画素値はｉｎ［ｙ］［ｘ］で特定される。平均化フィルタ１７には５ｘ５の平均化フィルタやそれよりも広範囲の平均化フィルタが用いられてもよい。平均化フィルタ１７による平均化により画像からは高周波成分が除かれ、低周波成分だけとなる。画像メモリ１８は、平均化フィルタ１７で平均化された画像すなわち低周波成分画像を一時的に格納する。
【００２０】
カメラ１１は第２画像情報抽出部２１を備える。第２画像情報抽出部２１は、前述の平均化フィルタ１７および画像メモリ１８に加えて、差分回路２２および画像メモリ２３で形成される。差分回路２２は画像信号プロセッサ１３および画像メモリ１８に接続される。差分回路２２は、個々の座標位置ごとに、画像信号プロセッサ１３から提供される入力画像の画素値から平均化フィルタ１７の出力を差し引いて高周波成分画像を生成する。画像メモリ２３には、差分回路２２で得られた高周波成分画像が一時的に格納される。
【００２１】
カメラ１１は画像合成部２４を備える。画像合成部２４は画像メモリ１８および画像メモリ２３に接続される。画像合成部２４は、第１画像情報抽出部１６の画像メモリ１８から出力される低周波成分画像、および、第２画像情報抽出部２１の画像メモリ２３から出力される高周波成分画像を合成して合成画像を生成する。合成画像の生成にあたって低周波成分画像や高周波成分画像は一時記憶回路２５に一時的に格納されてもよい。合成画像の画像信号はＨＤＭＩ（登録商標）やＮＴＳＣといったビデオ信号を生成する出力装置に送られてもよい。
【００２２】
（２）カメラの撮像動作
次にカメラ１１の撮像動作を説明する。通常撮像モードでは制御部１５は画像信号プロセッサ１３に向けて撮像信号を供給する。撮像信号は通常の撮像条件に従って生成される。このとき、ストロボ信号は生成されない。画像信号プロセッサ１３は撮像素子１２から画素値を取得する。取得された画素値は切替部２６を通過しそのまま出力される。
【００２３】
ストロボ発光モードでは、図２に示されるように、ストロボを使用しない撮像動作１に続いて、ストロボを使用する撮像動作２が実施される。撮像動作１では制御部１５は画像信号プロセッサ１３に向けて撮像信号を供給する。撮像信号は、暗いシーンの撮像に最適な露光時間に比べて短い露光時間を設定するものの、ＩＳＯ感度を上げる。例えば１０００ミリ秒の露光時間およびＩＳＯ１２５の感度で最適な撮像が実現される場合には、１０ミリ秒の露光時間およびＩＳＯ１２８００の感度で撮像が実施されてもよく、あるいは、１０ミリ秒の露光時間および１００倍の感度で撮像が実施されてもよい。こうして露光時間が短縮される結果、被写体のぶれは極力回避されることができる。
【００２４】
画像信号プロセッサ１３は撮像素子１２から画素値を取得する。画像信号は第１画像情報抽出部１６に送られる。第１画像情報抽出部１６はストロボを使用せずに撮像した画像の低周波成分を抽出する。こうして低周波成分画像は生成される。低周波成分画像では平均化フィルタ１７により高周波ノイズ（例えば高い感度に起因してランダムに多数出現する光点等）は除去されて色情報および輝度情報は取得される。低周波成分画像は画像合成回路２４に送られる。画像合成回路２４は一時的に一時記憶回路２５に低周波成分画像を格納してもよい。
【００２５】
撮像動作２では制御部１５は画像信号プロセッサ１３に向けて撮像信号を供給すると同時にストロボ発光装置１４に向けてストロボ信号を供給する。ストロボを使用して画像は撮像される。撮像信号は、明るいシーンの撮像に最適な露光時間を設定し、通常どおりにＩＳＯ感度を維持する。露光時間は撮像動作１のときよりも短い。
【００２６】
画像信号プロセッサ１３は撮像素子１２から画素値を取得する。画像信号は第１画像情報抽出部１６および差分回路２２に送られる。第１画像情報抽出部１６は撮像した画像の低周波成分を抽出する。低周波成分画像は生成される。低周波成分画像は第２画像情報抽出部２１の差分回路２２に送られる。差分回路２２は画像信号プロセッサ１３からの入力画像から低周波成分画像を差し引く。こうして第２画像情報抽出部２１はストロボを使用して撮像した画像の高周波成分を抽出する。高周波成分画像は生成される。高周波成分画像では輪郭といったエッジ情報は取得される。高周波成分画像は画像合成回路２４に送られる。
【００２７】
画像合成回路２４は高周波成分画像および低周波成分画像を合成する。色情報および輝度情報を含むぼんやりとした画像（低周波成分画像）に輪郭線（高周波成分画像）とが合成される。感度を上げて撮像した低周波成分画像と高周波成分画像である輪郭線を合成することで、暗所で撮像しても鮮明な画像を得ることができる。
【００２８】
本実施形態では第２画像情報抽出部２１は第１画像情報抽出部１６の平均化フィルタ１７および画像メモリ１８を含む。第１画像情報抽出部１６および第２画像情報抽出部２１で平均化フィルタ１７および画像メモリ１８は共有される。ストロボを使用せずに撮像する場合と、ストロボを使用して撮像する場合とで画像処理が共通化され、回路構造や処理プロセスの簡素化は実現されることができる。
【００２９】
（３）検証
本発明者は本実施形態の効果を検証した。検証にあたって、図３に示されるように、暗い部屋で撮像が実施された。ストロボを使用せずに１０００ミリ秒の露光時間およびＩＳＯ１２５の感度が設定された。画素数は５４００ｘ３６００であった。図４では図３の画像の一部が抜き出されて拡大された。ＩＳＯ感度が低くても、十分な露光時間が確保されれば、鮮明な画像が得られることが確認された。
【００３０】
次に、図５に示されるように、本発明者は暗い部屋で同様な被写体を撮像した。ストロボを使用せずに１０ミリ秒の露光時間およびＩＳＯ１２８００の感度が設定された。画素数は５４００ｘ３６００であった。図６では図５の画像の一部が抜き出されて拡大された。高い感度に起因してランダムに多数出現する光点（ノイズ）が増加することが確認された。
【００３１】
図７は図５の画像の低周波成分画像である。図８では図７の画像の一部が抜き出されて拡大された。平均化にあたって１７ｘ１７平均化フィルタが用いられた。こうして生成された低周波成分画像には画像全体に存在したノイズが抑制されていることが確認される。
【００３２】
図９に示されるように、本発明者は暗い部屋でストロボを使用して同様な被写体を撮像した。１ミリ秒の露光時間およびＩＳＯ１２５の感度が設定された。画素数は５４００ｘ３６００であった。図１０では図９の画像の一部が抜き出されて拡大された。ストロボ（光源）の反射光が確認された。部分的に光が届いていないことが確認された。
【００３３】
図１１は図９の画像の低周波成分画像である。図１２では図１１の画像の一部が抜き出されて拡大された。図１３は図９の画像の高周波成分画像である。図１４では図１３の画像の一部が抜き出されて拡大された。高周波成分画像の生成にあたって図９の画像から図１１の画像が差し引かれた。
【００３４】
図１５に示されるように、図７の低周波成分画像と図１３の高周波成分画像とが合成された。図１６では図１５の画像の一部が抜き出されて拡大された。良好な画像が得られることが確認された。
【符号の説明】
【００３５】
１１…カメラ、１２…撮像素子、１４…ストロボ発光装置、１５…制御装置（制御部）、１６…第１画像情報抽出部、１７…平均化フィルタ、２１…第２画像情報抽出部、２２…差分回路、２４…合成部（画像合成部）。
【図１】
2017175382.tif 000004
【図２】
2017175382.tif 000005
【図３】
2017175382.tif 000006
【図４】
2017175382.tif 000007
【図５】
2017175382.tif 000008
【図６】
2017175382.tif 000009
【図７】
2017175382.tif 000010
【図８】
2017175382.tif 000011
【図９】
2017175382.tif 000012
【図１０】
2017175382.tif 000013
【図１１】
2017175382.tif 000014
【図１２】
2017175382.tif 000015
【図１３】
2017175382.tif 000016
【図１４】
2017175382.tif 000017
【図１５】
2017175382.tif 000018
【図１６】
2017175382.tif 000019