(57)【要約】【課題】輝度差が大きい状況を撮像する場合において、画質を劣化させることなく適正露出にすることを可能にする撮像装置を提供する。【解決手段】撮像画像を撮像し、撮像画像を第１領域と第２領域とに分割する。撮像装置１０９は、制御部１０３によって、分割されたそれぞれの領域に合わせて絞り値を制御し、第１領域に合わせた絞り値で撮像した第１画像と、第２領域に合わせた絞り値で撮像した第２画像と、を合成する。【選択図】図２
2020010112.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像を第１領域と第２領域とに分割する領域分割手段と、
前記分割されたそれぞれの領域に合わせ、絞り値を制御する制御手段と、
前記第１領域に合わせた絞り値で撮像した第１画像と前記第２領域に合わせた絞り値で撮像した第２画像と、を合成する合成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記第１画像を記憶する記憶手段と、
前記第１領域の変化を検出する変化検出手段と、をさらに備え、
前記制御手段は、前記変化検出手段で変化を検出した場合に前記記憶手段に記憶された前記第１画像を更新する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記憶手段は、前記第２画像をさらに記憶し、
前記変化検出手段は、前記記憶手段に記憶された前記第２画像における前記第１領域と、前記第２領域に合わせた絞り値で撮像した第３画像における前記第１領域との輝度値を比較し、差分が閾値以上の場合に前記第１領域が変化したと判断する、
ことを特徴とする請求項２に記載の撮像装置
【請求項４】
投影画像を投影する投影装置とネットワークを介して接続可能な通信手段をさらに備え、
前記制御手段は、前記通信手段が前記投影装置から前記投影画像の変化信号を受信した場合に、前記記憶手段に記憶された前記第１画像を更新する、
ことを特徴とする請求項１に記載の撮像装置
【請求項５】
前記領域分割手段は、前記撮像画像を複数の部分領域に分割し、それぞれの前記部分領域の輝度値を比較することにより、前記第１領域と前記第２領域とを特定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記領域分割手段は、前記複数の部分領域のうち、前記輝度値が第１輝度値の領域を前記第１領域と、前記第１輝度値よりも低い第２輝度値の領域を前記第２領域として特定する、ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記領域分割手段は、
前記第１領域と前記第２領域とを特定する領域特定手段と、
前記第１領域の切り出し画像を生成する切り出し手段と、
を備える、ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置
【請求項８】
撮像画像を撮像する撮像装置の制御方法であって、
撮像された撮像画像を第１領域と第２領域とに分割する工程と、
前記分割されたそれぞれの領域に合わせ、絞り値を制御する工程と、
前記第１領域に合わせた前記絞り値で撮像した第１画像と、前記第２領域に合わせた絞り値で撮像した第２画像と、を合成する工程と、
を含むことを特徴とする制御方法。
【請求項９】
コンピュータを、請求項１乃至７何れか１項記載の撮像装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
撮像装置、撮像装置の制御方法、および、プログラムに関する。
【背景技術】
【０００２】
近年、例えば、プロジェクタなどの投影装置から出力される投影画像を撮像するシーンなど、輝度差の大きいシーンを撮像する手法としてワイドダイナミックレンジ処理（以下、ＷＤＲ処理と記載する）が提案されている。ＷＤＲ処理では、長秒露光で撮像した画像と、短秒露光で撮像した画像を合成することで露出を適正化している。
【０００３】
このような撮像手法として、特許文献１では、直前の画像の動き情報と輝度情報から露出を適正化する方法が開示されている。また、特許文献２では、露光時間の制御により露出を適正化できない場合は、感度を制御することにより露出を適正化する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１５３１５４号公報
【特許文献２】特開２０１５−０５３６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
撮像時にＷＤＲ処理を行うと、投影装置のホイールの回転速度と、撮像装置のシャッター速度が同期した場合に、虹色の横縞ノイズが発生する場合がある。この現象は、短秒露光で撮像することが原因だと考えられる。特許文献１に開示された従来技術では、短秒露光を行うためこのような虹色の横縞ノイズが発生しうる。また、特許文献２に開示された従来技術では、輝度差が大きいシーンを撮影する場合には、感度制御により露出を適正化することとなるため、ノイズが増加し、画質が劣化しうる。本発明は、輝度差が大きい状況を撮像する場合において、画質を劣化させることなく適正露出にすることを可能にする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、撮像手段によって撮像された撮像画像を第１領域と第２領域とに分割する領域分割手段と、分割されたそれぞれの領域に合わせ、絞り値を制御する制御手段と、第１領域に合わせた絞り値で撮像した第１画像と第２領域に合わせた絞り値で撮像した第２画像と、を合成する合成手段と、を備える。
【発明の効果】
【０００７】
本発明の撮像装置によれば、輝度差が大きい状況を撮像する場合において、画質を劣化させることなく適正露出にすることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】第１実施形態に係る撮像装置の機能構成の一例を示すブロック図である。
【図３】第１実施形態に係る各領域の特定方法を説明するための模式図である。
【図４】第１実施形態に係る記憶部に記憶される画像を説明するための模式図である。
【図５】第１実施形態に係る合成画像を生成する処理を説明する模式図である。
【図６】第１実施形態に係る切り出し画像Ａの更新処理を説明する模式図である。
【図７】第１実施形態に係る露出の適正化処理流れを示したフローチャートである。
【図８】第２実施形態に係る撮像装置の機能構成の一例を示すブロック図である。
【図９】第２実施形態に係る合成画像を生成する処理を説明する模式図である。
【図１０】第２実施形態に係る露出の適正化処理の流れを示したフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明を実施するための形態について詳細に説明する。本実施形態では、一例としてプロジェクタなどの投影装置から出力される投影画像を含む画像を撮像する状況において、露出を最適化する処理について説明する。
＜第１実施形態＞
【００１０】
図１は、第１実施形態に係る撮像装置１０９の構成の一例を示すブロック図である。撮像装置１０９は、光学系１１０と、撮像部１０１と、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、を備える。光学系１１０は、レンズや絞り、シャッター等を含む。撮像部１０１は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の撮像素子である。撮像部１０１は、光学系１１０を通して結像した光を撮像素子において受光して、その受光した光を電荷に変換して撮像信号を生成する。なお、動画撮影が行われている場合、撮像部１０１では連続的な撮像が行われ、撮像部１０１から出力される撮像信号は動画を構成する各フレームの撮像信号となる。
【００１１】
ＣＰＵ１１１は、ＲＯＭ１１２に記憶されたプログラムを読み出して撮像装置１０９の処理を制御する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１１２は、ブートプログラム等を記憶する。ＣＰＵ１１１がＲＯＭ１１２に記憶されたプログラムに基づき処理を実行することによって、後述する撮像装置１０９の機能及び処理等が実現される。
【００１２】
図２は、第１実施形態に係る撮像装置の機能構成の一例を示すブロック図である。撮像装置１０９は、撮像部１０１と、領域分割部１０２と、制御部１０３と、記憶部１０４と、合成部１０５と、変化検出部１０６と、を備える。領域分割部１０２は、撮像部１０１によって撮像された撮像画像を輝度値に基づいて、投影画像が投影されている領域と、投影画像が投影されていない領域とに分割する。領域分割部１０２は、領域特定部１０７と、切り出し部１０８と、を含む。領域特定部１０７は、撮像画像のうち、輝度値が高い領域を投影画像が投影されている領域、即ち、投影領域２０１（第１領域）と、投影領域２０１の輝度値よりも低い輝度値の領域を投影画像が投影されていない領域、即ち、投影外領域２０３（第２領域）として特定する。なお、領域特定部１０７による領域の特定方法の詳細については後述する。切り出し部１０８は、領域特定部１０７の結果を基に、撮像画像から投影領域２０１を切り出し、投影領域２０１の画像を生成する。
【００１３】
制御部１０３は、撮像装置１０９全体の制御を行う。制御部１０３は、例えば、投影領域２０１および投影外領域２０３のそれぞれの露出が適正となるように絞り値を制御する。この時、投影領域２０１および投影外領域２０３のそれぞれについて露光時間を固定とすることで、虹色の横縞ノイズを発生させずに、露出を調整することができる。記憶部１０４は、切り出し部１０８で生成した投影領域２０１の画像を記憶する。記憶部１０４に記憶された投影領域２０１の画像は、制御部１０３によって更新される。合成部１０５は、記憶部１０４に記憶された投影領域２０１の画像と、撮像部１０１によって撮像された撮像画像とを合成し、合成画像３０３を出力する。変化検出部１０６は、記憶部１０４に記憶された投影領域２０１の画像と、撮像部１０１によって撮像された撮像画像とを比較し、比較結果を制御部１０３に通知する。
【００１４】
以下、図３を参照して、第１実施形態に係る領域特定部１０７による各領域の特定方法について説明する。図３は、第１実施形態に係る各領域の特定方法を説明するための模式図である。図３（Ａ）は、投影領域２０１の特定方法を示す模式図である。撮像部１０１によって撮像された撮像画像には、プロジェクタなどの投影装置から出力された投影画像２０５と、それ以外の被写体である例えば人物２０２とが含まれている。撮像画像の撮像後、領域特定部１０７は、撮像画像を複数の部分領域２０４に分割する（撮像画像を格子状に分割して得られる部分領域２０４の１つを例示している）。領域特定部１０７は、部分領域２０４ごとの輝度値を算出し、撮像画像の輝度分布を生成する。図３（Ｂ）は、輝度分布の一例を示す模式図である。本図では、濃淡で輝度値を示しており、輝度値が高くなる程淡くなるように図示している。領域特定部１０７は、輝度値を所定のテーブルなどで量子化することで領域をおおまかに分ける。この図の例では、領域特定部１０７は輝度値が第１輝度値の領域を投影領域２０１と、投影領域２０１の輝度値である第１輝度値よりも低い第２輝度値の領域を投影外領域２０３と判断する。
【００１５】
次に、図４を参照して、第１実施形態に係る記憶部１０４について説明する。図４は、第１実施形態に係る記憶部１０４に記憶される画像を説明するための模式図である。本実施形態において、記憶部１０４には、２種類の画像が記憶される。図４（Ａ）は、切り出し画像Ａを説明するための模式図である。領域分割部１０２により、撮像画像において投影領域２０１を特定した後、制御部１０３は、投影領域２０１に露出が合うように絞り値を制御し、撮像部１０１が撮像画像を撮像する。この時、絞り値は、投影領域２０１に露出が合うように制御されているため、投影外領域２０３は暗くなり、人物２０２などの投影外領域２０３に位置する被写体は視認しづらい状態となる。その後、切り出し部１０８は、投影領域２０１に露出が合った絞り値で撮像した撮像画像の投影領域２０１を切り出し、露出が投影領域２０１に合った切り出し画像（本明細において、切り出し画像Ａ３０１とする）を記憶部１０４に格納し、記憶させる。切り出し画像Ａ３０１は、合成処理で使用される。なお、領域に露出が合うとは、画像の対象領域について白とび黒潰れしない様な好ましい光量を撮像素子で受光できる設定になることとする。
【００１６】
図４（Ｂ）は、切り出し画像Ｂを説明するための模式図である。切り出し画像Ａ３０１を記憶部１０４に格納後、制御部１０３は、投影外領域２０３に露出が合うように絞り値を制御し、撮像部１０１が撮像画像を撮像する。この時、絞り値は、投影外領域２０３に露出が合うように制御されているため、投影領域２０１は明るくなり、投影領域２０１が白飛びした状態となる。その後、切り出し部１０８は、投影外領域２０３に露出が合った絞り値で撮像した撮像画像の投影領域２０１を切り出し、露出が投影外領域２０３に合った切り出し画像（本明細書において、切り出し画像Ｂ３０２とする）を記憶部１０４に格納し、記憶させる。切り出し画像Ｂ３０２は、投影領域２０１の変化を検出するために使用される。なお、本実施形態においては、記憶部１０４は一例として切り出した撮像画像を記憶する構成とするが、撮像画像全体を記憶しても良い。
【００１７】
図５は、第１実施形態に係る合成画像３０３を生成する処理を説明する模式図である。切り出し画像Ｂ３０２を記憶部１０４に格納後、合成部１０５は、投影外領域２０３に露出を合わせて撮像した撮像画像と、記憶部１０４に記憶された切り出し画像Ａ３０１とを合成し、合成画像３０３を出力する。このとき合成比率は、投影外領域２０３に露出を合わせて撮像した撮像画像の投影領域２０１に対して、切り出し画像Ａ３０１を１００％とすることで、撮像画像の投影領域２０１だけを切り出し画像Ａ３０１に差し替える。これにより、投影領域２０１と投影外領域２０３の両方の露出を適正化することができる。
【００１８】
図６は、第１実施形態に係る切り出し画像Ａ３０１の更新処理を説明する模式図である。記憶部１０４に記憶された切り出し画像Ａ３０１は、投影画像２０５が変更されることにより、更新される。合成画像３０３が出力された後、投影外領域２０３に露出を合わせた状態を継続し、再度撮像部１０１が撮像画像を撮像する。そして、変化検出部１０６は、撮像画像における投影領域２０１と、記憶部１０４に記憶した切り出し画像Ｂ３０２の輝度値を、部分領域２０４ごとに比較する。図６（Ａ）は、投影画像２０５が変更された場合を説明する模式図である。撮像画像中の投影領域２０１における部分領域２０４ａの輝度値と、切り出し画像Ｂ３０２における部分領域２０４ｂの輝度値との差分が閾値以上の場合、変化検出部１０６は、投影領域２０１が変化したと判断する。そして、投影領域２０１が消失していない場合は、再度投影領域２０１に露出を合わせて撮像し、切り出し画像Ａ３０１を更新する。投影領域２０１が消失している場合は、処理を終了する。
【００１９】
図６（Ｂ）は、投影画像２０５が変更されていない場合を説明する模式図である。撮像画像中の投影領域２０１の部分領域２０４ａの輝度値と、切り出し画像Ｂ３０２の部分領域２０４ｂの輝度値との差分が閾値未満の場合、変化検出部１０６は、投影領域２０１が変化していないと判断する。そして、撮像画像と、記憶部１０４に記憶されている切り出し画像Ａ３０１と、を合成し合成画像３０３を出力する。
【００２０】
以下、図７を参照して、第１実施形態に係る露出の適正化処理の流れについて説明する。図７は、第１実施形態に係る露出の適正化処理の流れを示したフローチャートである。本フローにおける各工程は、制御部１０３による各部の制御によって実行されうる。まず、ステップ４０１では、撮像部１０１が投影画像２０５を含む撮像画像を撮影し、領域特定部１０７が撮像画像において投影領域２０１および投影外領域２０３を特定する。この時点の撮像においては、投影領域２０１および投影外領域２０３のいずれにも露出が合っていない状態であってもよい。ステップ４０２では、制御部１０３が投影領域２０１に露出が合うように絞り値を制御し、撮像部１０１が撮像画像を撮像する。ステップ４０３では、切り出し部１０８が投影領域２０１に露出を合わせて撮像した撮像画像（ステップ４０２で撮像した撮像画像）の投影領域２０１を切り出し、切り出し画像Ａ３０１を生成する。生成された切り出し画像Ａ３０１は、記憶部１０４に記憶される。ステップ４０４では、制御部１０３が、投影外領域２０３に露出が合うように絞り値を制御し、撮像部１０１が撮像画像を撮像する。
【００２１】
ステップ４０５では、切り出し部１０８が、投影外領域２０３に露出を合わせて撮像した撮像画像（ステップ４０４で撮像した撮像画像）の投影領域２０１を切り出し、切り出し画像Ｂ３０２を生成する。生成された切り出し画像Ｂ３０２は、記憶部１０４に記憶される。ステップ４０６では、合成部１０５が、切り出し画像Ａ３０１と、投影外領域２０３に露出を合わせて撮像した撮像画像（ステップ４０４で撮像した撮像画像）とを合成し、合成画像３０３を出力する。ステップ４０７では、制御部１０３は、ステップ４０４の状態から絞り値を変更せず、撮像部１０１が再度撮像を行う。
【００２２】
ステップ４０８では、変化検出部１０６が、ステップ４０７において撮像された撮像画像の投影領域２０１と、切り出し画像Ｂ３０２の輝度値を、部分領域２０４ごとに比較する。変化検出部１０６は、輝度値の差分が閾値以上ある場合は投影領域２０１に変化があると判断する（ステップ４０８、ＹＥＳ）。そして、ステップ４０９では、制御部１０３は、領域特定部１０７によって投影領域２０１が特定できるか判定する。投影領域２０１が特定できない場合（ステップ４０９、ＹＥＳ）、投影領域２０１が消失したと判断し、処理を終了する。投影領域２０１が特定できる場合（ステップ４０９、ＮＯ）、投影領域２０１が変化したと判断し、ステップ４０２に戻る。そして再度露出を投影領域２０１に合わせて撮像し（ステップ４０２）、記憶部１０４に記憶された切り出し画像Ａ３０１を更新する（ステップ４０３）。また、ステップ４０８で輝度値の差分が閾値未満の場合（ＮＯ）は、投影領域２０１に変化がないと判断し、ステップ４０６に戻り、合成処理を実行する。
【００２３】
以上によれば、絞り値を制御することにより、露出を適正化するため虹色の横縞ノイズの発生を低減することが可能となり、輝度差が大きい状況を撮像する場合においても、画質を劣化させることなく適正露出にすることが可能となる。なお、説明の簡便のため、図４〜図６では絞りを変えて撮像した撮像画像から複数の切り出し画像を切り出す例を用いて説明しているが、単純に図３（ｂ）で領域分割した情報に基づいて、合成比率を高めて合成してもよい。その場合には、記憶部１０４は、絞りを変えて撮像した複数の撮像画像と、各撮像画像についての合成比率を示すマスク画像を保持するようにすればよい。
＜第２実施形態＞
【００２４】
次に、第２実施形態について説明する。第２実施形態として言及しない事項は、前述の実施形態に従う。第２実施形態に係る撮像装置１０９は、通信部５０１を有しているが、変化検出部１０６を有していない。
【００２５】
図８は、第２実施形態に係る撮像装置の機能構成の一例を示すブロック図である。通信部５０１は、ネットワーク５０２を介し、プロジェクタなどの投影装置５０３と接続可能である。通信部５０１は、投影装置５０３から投影画像２０５の変化信号を受信し、制御部１０３に出力する。制御部１０３は、投影画像２０５の変化信号を受信したことにより、投影領域２０１が変化したと判断する。
【００２６】
図９は、第２実施形態に係る合成画像３０３を生成する処理を説明する模式図である。まず、第１実施形態と同様に、切り出し画像Ａ３０１を記憶部１０４に記憶させる。本実施形態では、投影装置５０３から信号を受信することで投影領域２０１の変化を検出するため、切り出し画像Ｂ３０２を記憶する必要がない。そこで、切り出し画像Ａ３０１を記憶部１０４に記憶後、切り出し画像Ｂ３０２の記憶は行わず、合成処理を実行する。
【００２７】
以下、図１０を参照して、第２実施形態に係る露出の適正化処理の流れについて説明する。図１０は、第２実施形態に係る露出の適正化処理の流れを示したフローチャートである。本フローにおける各工程は、制御部１０３による各部の制御によって実行されうる。ステップ４０１〜４０４、４０６および４０７は、第１実施形態に係る図４と同様であるため、説明を省略する。なお、上述のとおり、本実施形態では、切り出し画像Ｂ３０２の記憶（ステップ４０５）は行わない。ステップ４０７の後、ステップ７０１では、制御部１０３は、通信部５０１が投影装置５０３から投影画像２０５の変化信号を受信したか判断する。変化信号を受信していないと判断した場合（ＮＯ）は、ステップ４０６に戻り、合成処理を実行する。変化信号を受信したと判断した場合（ＹＥＳ）は、ステップ４０９へ進む。ステップ４０９は、第１実施形態に係る図４と同様であるため、説明を省略する。
【００２８】
本実施形態によれば、投影装置５０３からの信号を通信部５０１が受信することで、投影領域２０１の変化を検出するため、切り出し画像Ｂ３０２を記憶する必要がなく、撮像装置１０９における処理負荷を軽減することができる。
＜その他の実施形態＞
【００２９】
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。
【００３０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。さらに、撮像装置１０９のＲＯＭ１１２に本発明の処理を記憶させることで、撮像装置１０９が本発明の機能を実行することも可能である。この場合、撮像装置１０９のＣＰＵ１１１がＲＯＭ１１２に記憶されたプログラムに基づき処理を実行することによって、上述のフローチャートの撮像装置１０９による処理が実現される。
【符号の説明】
【００３１】
１０１  撮像部
１０２  領域分割部
１０３  制御部
１０４  記憶部
１０５  合成部
１０６  変化検出部
１０７  領域特定部
１０８  切り出し部
１０９  撮像装置
【図１】
2020010112.tif 000003
【図２】
2020010112.tif 000004
【図３】
2020010112.tif 000005
【図４】
2020010112.tif 000006
【図５】
2020010112.tif 000007
【図６】
2020010112.tif 000008
【図７】
2020010112.tif 000009
【図８】
2020010112.tif 000010
【図９】
2020010112.tif 000011
【図１０】
2020010112.tif 000012