(57)【要約】【課題】ディスプレイ装置の表示更新周波数と撮像素子の受像更新周波数との違いにより生じるモアレを解消する。【解決手段】撮像装置１は、撮像素子１１から得られるプレビュー画像を、所定のレートで逐次取得する。次に、撮像装置１は、取得した各プレビュー画像に含まれるモアレを検出する。次に、撮像装置１は、取得した各プレビュー画像それぞれから、モアレの所定の位相に相当する部分をそれぞれ抽出する。次に、撮像装置１は、抽出した部分を撮像画像に組み合わせて、１つの画像データを生成する。【選択図】図１
2015159396.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から得られる画像データを、所定のレートで逐次取得する画像取得部と、
前記画像取得部が取得した各画像データに含まれるモアレを検出するモアレ検出部と、
前記画像取得部が取得した各画像データそれぞれから、前記モアレ検出部が検出したモアレの所定の位相に相当する部分をそれぞれ抽出する抽出部と、
前記抽出部が抽出した部分を組み合わせて１つの画像データを生成する画像生成部と
を備える撮像装置。
【請求項２】
前記モアレ検出部は、前記画像取得部が取得した各画像データ間において、一定の変化量で位相が変化する空間周波数がある部分を、モアレが生じている部分として検出する
請求項１に記載の撮像装置。
【請求項３】
前記抽出部は、前記画像取得部が取得した各画像データそれぞれから、前記モアレ検出部が検出したモアレの輝度のピークに相当する部分をそれぞれ抽出する
請求項１または請求項２に記載の撮像装置。
【請求項４】
撮像素子から得られる画像データを、所定のレートで逐次取得するステップと、
前記取得した各画像データからモアレが生じている部分を検出するステップと、
前記取得した各画像データそれぞれから、前記検出したモアレの所定の位相に相当する部分をそれぞれ抽出するステップと、
前記抽出した部分を組み合わせて１つの画像データを生成するステップと
を含む画像生成方法。
【請求項５】
コンピュータを、
撮像素子から得られる画像データを、所定のレートで逐次取得する画像取得部、
前記画像取得部が取得した各画像データに含まれるモアレを検出するモアレ検出部、
前記画像取得部が取得した各画像データそれぞれから、前記モアレ検出部が検出したモアレの所定の位相に相当する部分をそれぞれ抽出する抽出部、
前記抽出部が抽出した部分を組み合わせて１つの画像データを生成する画像生成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
ブラウン管やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｔｓｔａｌ  Ｄｉｓｐｌａｙ）などのディスプレイやプロジェクターなどの表示装置に表示されるコンテンツを、デジタルカメラやスマートフォンなどのカメラ機能を利用して、撮像した場合に、一方向に動くモアレ（干渉縞）が発生する場合がある。これは表示装置の表示更新周波数と、撮像素子の受像更新周波数との違いにより生じるものである。また表示装置のバックライトにフリッカーが生じている場合に、ローリングシャッターを使用するＣＭＯＳセンサを用いて当該表示装置を撮像した場合にも、フリッカーの周波数とローリングシャッターの走査速度とのずれにより同様のモアレが発生する。
【０００３】
なお、特許文献１には、表示装置の画素の間隔と撮像素子の画素の間隔とが一致しないことにより生じるモアレの解消方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２３９９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ディスプレイの画素の間隔と撮像素子の画素の間隔とが一致しないことにより生じるモアレは、高い空間周波数で現れるため、特許文献１に記載の方法のように画像を暈すことで解消することができる。他方、ディスプレイ装置の表示更新周波数と撮像素子の受像更新周波数との違いにより生じるモアレは、空間周波数が低く、画像を暈すことでは解消することができない。
本発明の目的は、上述した課題を解決する撮像装置、画像生成方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、撮像素子から得られる画像データを、所定のレートで逐次取得する画像取得部と、前記画像取得部が取得した各画像データに含まれるモアレを検出するモアレ検出部と、前記画像取得部が取得した各画像データそれぞれから、前記モアレ検出部が検出したモアレの所定の位相に相当する部分をそれぞれ抽出する抽出部と、前記抽出部が抽出した部分を組み合わせて１つの画像データを生成する画像生成部とを備える撮像装置である。
【発明の効果】
【０００７】
上記態様によれば、ディスプレイ装置の表示更新周波数と撮像素子の受像更新周波数との違いにより生じるモアレを解消することができる。
【図面の簡単な説明】
【０００８】
【図１】いくつかの実施形態に係る撮像装置のハードウェア構成を示す概略ブロック図である。
【図２】いくつかの実施形態に係る撮像装置のソフトウェア構成を示す概略ブロック図である。
【図３】いくつかの実施形態に係る撮像装置による画像生成方法の概略を示す図である。
【図４】いくつかの実施形態に係る撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態について詳しく説明する。
《第１の実施形態》
図１は、いくつかの実施形態に係る撮像装置１のハードウェア構成を示す概略ブロック図である。
撮像装置１は、光学系から受光した光を電子情報である画像データに変換する装置である。撮像装置１は、撮像素子１１、量子化器１２、シャッターボタン１３、ＣＰＵ１４（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、主記憶装置１５、補助記憶装置１６、ＬＣＤ１７、ＬＣＤＣ１８（ＬＣＤ  Ｃｏｎｔｒｏｌｌｅｒ）を備える。
【００１０】
撮像素子１１は、光学系を介して光を受光し、光の量に応じた電荷を蓄積する素子である。撮像素子１１は、所定のリフレッシュレート（受像更新周波数）で蓄積した電荷を量子化器１２に出力する。
量子化器１２は、撮像素子１１から出力された電荷を量子化し、画像データを逐次生成する。
シャッターボタン１３は、押下により撮像のタイミングを決定するためのボタンである。
ＬＣＤ１７は、量子化器１２から得られる画像を逐次プレビュー画像として表示する。
ＬＣＤＣ１８は、ＬＣＤ１７の表示を制御する制御装置である。
【００１１】
本実施形態に係る撮像装置１は、ＣＰＵ１４が、プログラムを補助記憶装置１６から読み出して主記憶装置１５に展開し、当該プログラムに従って処理を実行することで、画像データに含まれるモアレを除去する。
【００１２】
図２は、いくつかの実施形態に係る撮像装置１のソフトウェア構成を示す概略ブロック図である。
ＣＰＵ１４は、プログラムを実行することで、プレビュー画像取得部１０１、フォーカス処理部１０２、シャッター判定部１０３、撮像画像取得部１０４、モアレ検出部１０５、抽出部１０６、画像生成部１０７を備える。また、ＣＰＵ１４は、プログラムに従って、プレビュー画像保持部１０８及び撮像画像保持部１０９の記憶領域を主記憶装置１５に確保する。なお、プレビュー画像取得部１０１及び撮像画像取得部１０４は、画像取得部の一例である。
【００１３】
プレビュー画像取得部１０１は、ＬＣＤ１７に表示させたプレビュー画像をリフレッシュレートに従ってＬＣＤＣ１８から取得し、当該プレビュー画像をプレビュー画像保持部１０８に記録する。
フォーカス処理部１０２は、光学系のオートフォーカス処理を実行する。
シャッター判定部１０３は、シャッターボタン１３が押下されたか否かを判定する。
撮像画像取得部１０４は、シャッターボタン１３が押下されたときに撮像素子１１が撮像した撮像画像を量子化器１２から取得し、当該撮像画像を撮像画像保持部１０９に記録する。
【００１４】
モアレ検出部１０５は、プレビュー画像取得部１０１が取得したプレビュー画像に含まれるモアレを検出する。
抽出部１０６は、プレビュー画像保持部１０８が保持する各プレビュー画像から、モアレの輝度ピーク部分を抽出する。
画像生成部１０７は、抽出部１０６が複数のプレビュー画像から抽出した輝度ピーク部分を、撮像画像保持部１０９が保持する撮像画像に合成することで、モアレのない画像データを生成する。
【００１５】
ここで、本実施形態に係る画像生成方法の概略について説明する。
図３は、いくつかの実施形態に係る撮像装置１による画像生成方法の概略を示す図である。
図３に示すように、撮像装置１がディスプレイ装置を撮像すると、撮像画像及びプレビュー画像には、平行波状のモアレが発生することがある。当該モアレは、ディスプレイ装置のリフレッシュレートと撮像素子１１のリフレッシュレートとのずれによって生じるものである。このとき、時系列のプレビュー画像に含まれるモアレは、その位相が一定量ずつ変位している。これは、モアレの原因であるリフレッシュレートが一定の速度であるためである。
撮像装置１は、各プレビュー画像からモアレの輝度ピーク部分を抽出して、撮像画像に合成することで、図３に示すようにモアレのない画像データを生成する。
【００１６】
次に、本実施形態の撮像装置１の動作の詳細について説明する。
図４は、いくつかの実施形態に係る撮像装置１の動作を示すフローチャートである。
撮像装置１を起動し、光学系を被写体に向けると、フォーカス処理部１０２は、光学系のオートフォーカス処理を行い、光学系の焦点を被写体に合わせる（ステップＳ１）。このとき、ＬＣＤＣ１８は、量子化器１２が生成した画像データをプレビュー画像としてＬＣＤ１７に表示させる。
【００１７】
次に、モアレ検出部１０５は、プレビュー画像取得部１０１からＬＣＤ１７に表示されているプレビュー画像を取得し、当該プレビュー画像にモアレが生じているか否かを判定する（ステップＳ２）。具体的には、モアレ検出部１０５は、プレビュー画像取得部１０１が取得した時系列のプレビュー画像をフーリエ変換することでプレビュー画像の空間周波数を特定し、時系列のプレビュー画像間で一定の変化量で位相が変化する空間周波数がある場合に、当該部分にモアレが発生していると判定する。
【００１８】
モアレ検出部１０５が、プレビュー画像にモアレが生じていると判定した場合（ステップＳ２：ＹＥＳ）、プレビュー画像取得部１０１は、取得したプレビュー画像をプレビュー画像保持部１０８に記録する（ステップＳ３）。プレビュー画像を記録した場合、またはモアレ検出部１０５がプレビュー画像にモアレが生じていないと判定した場合（ステップＳ２：ＮＯ）、シャッター判定部１０３は、シャッターボタン１３が押下されたか否かを判定する（ステップＳ４）。シャッター判定部１０３がシャッターボタン１３が押下されていないと判定した場合（ステップＳ４：ＮＯ）、ステップＳ２に戻り、プレビュー画像にモアレが生じているか否かを判定する。なお、プレビュー画像にモアレが発生している場合、プレビュー画像保持部１０８には逐次プレビュー画像が追加記録されていく。他方、主記憶装置１５においてプレビュー画像保持部１０８として確保される記憶領域には限りがある。そのため、プレビュー画像取得部１０１は、プレビュー画像保持部１０８として確保した記憶領域に新たなプレビュー画像を記録できない場合、最も古いプレビュー画像を破棄して、新たなプレビュー画像を記録する。
【００１９】
他方、シャッター判定部１０３が、シャッターボタン１３が押下されたと判定した場合（ステップＳ４：ＹＥＳ）、撮像画像取得部１０４は、量子化器１２から当該タイミングで撮像された画像データを取得し、当該画像データを撮像画像として撮像画像保持部１０９に記録する（ステップＳ５）。つまり、撮像した画像にモアレが含まれる場合、プレビュー画像保持部１０８には、撮像画像の直前に撮像されたプレビュー画像が保持される。次に、抽出部１０６は、プレビュー画像保持部１０８に、撮像画像の直前に撮像されたプレビュー画像が保持されているか否かを判定する（ステップＳ６）。
【００２０】
抽出部１０６が、プレビュー画像保持部１０８に撮像画像の直前に撮像されたプレビュー画像が保持されていると判定した場合（ステップＳ６：ＹＥＳ）、モアレ検出部１０５は、当該プレビュー画像と撮像画像とを解析し、プレビュー画像の中から、撮像画像と同じモアレが発生している部分を検出する（ステップＳ７）。具体的には、モアレ検出部１０５は、撮像画像と時系列のプレビュー画像との間で、一定の変化量で位相が変化する空間周波数がある部分を、モアレが発生している部分として検出する。このとき、モアレ検出部１０５は、モアレの空間周波数及び各プレビュー画像におけるモアレの位相を特定する。
【００２１】
次に、抽出部１０６は、プレビュー画像保持部１０８が保持するプレビュー画像それぞれから、モアレ検出部１０５が検出したモアレの輝度のピークに相当する部分をそれぞれ抽出する（ステップＳ８）。具体的には、抽出部１０６は、モアレ検出部１０５がステップＳ７で特定したモアレの空間周波数及び各プレビュー画像におけるモアレの位相に基づいて、プレビュー画像の中から輝度ピーク部分を特定する。
【００２２】
次に、画像生成部１０７は、撮像画像保持部１０９が保持する撮像画像のうち、モアレ検出部１０５が検出した部分に、抽出部１０６がプレビュー画像から抽出したモアレの輝度のピークに相当する部分を合成することで、モアレのない画像データを生成する（ステップＳ９）。そして、画像生成部１０７は、生成した画像データを補助記憶装置１６に記録し（ステップＳ１０）、処理を終了する。
【００２３】
他方、抽出部１０６が、プレビュー画像保持部１０８にプレビュー画像が保持されていないと判定した場合（ステップＳ６：ＮＯ）、撮像画像保持部１０９が保持する撮像画像にはモアレが発生していないため、合成処理を行わず、当該撮像画像を補助記憶装置１６に記録し（ステップＳ１０）、処理を終了する。
【００２４】
上記処理により、撮像装置１は、ディスプレイ装置の表示更新周波数と撮像素子１１の受像更新周波数との違いにより生じるモアレを解消した画像データを得ることができる。
【００２５】
《第２の実施形態》
第１の実施形態では、画像生成部１０７は、抽出部１０６が抽出した輝度ピーク部分を合成することでモアレのない画像データを生成する場合について説明したが、これに限られない。
第２の実施形態に係る撮像装置１では、抽出部１０６は、プレビュー画像保持部１０８が保持するプレビュー画像それぞれから、モアレ検出部１０５が検出したモアレの所定の位相（例えば、６０度や１２０度など）に相当する部分をそれぞれ抽出する。この場合、第１の実施形態と比較して輝度が落ちるが、第１の実施形態と同様に、モアレのない画像を得ることができる。
【００２６】
《第３の実施形態》
第１、第２の実施形態では、抽出部１０６は、プレビュー画像保持部１０８が保持するプレビュー画像それぞれから、モアレ検出部１０５が検出したモアレの１つの位相に相当する部分をそれぞれ抽出する場合について説明したが、これに限られない。
第３の実施形態に係る撮像装置１では、抽出部１０６は、モアレ検出部１０５が検出したモアレのうち、輝度が同じくなる２つの位相（例えば、６０度と１２０度、０度と１８０度など）に相当する部分をそれぞれ抽出する。これにより、抽出部１０６は、１枚のプレビュー画像から第１の実施形態及び第２の実施形態の２倍の合成用画像を抽出することができる。
【００２７】
《第４の実施形態》
第１の実施形態では、抽出部１０６が、複数のプレビュー画像におけるモアレの輝度ピークに相当する部分を抽出する場合について説明したが、これに限られない。
第４の実施形態に係る撮像装置１では、抽出部１０６は、複数のプレビュー画像におけるモアレの輝度ピークを含む所定の位相幅（例えば、輝度ピークが９０度である場合、３０度から６０度まで）の部分を抽出する。具体的には、抽出部１０６は、連続する２つのプレビュー画像におけるモアレの位相のずれ量に相当する位相幅の部分を抽出する。そして、画像生成部１０７は、抽出部１０６が抽出した複数の部分のうち、モアレの位相の時間変位の最後の１周期に相当するものを合成することで、モアレのない画像を生成する。
これにより、撮像装置１は、プレビュー画像保持部１０８に少なくともモアレの位相の時間変位の１周期に相当する枚数のプレビュー画像が保持されていれば、モアレのない画像を得ることができる。つまり、第４の実施形態に係る撮像装置１は、第１〜第３の実施形態と比較して少ないプレビュー画像からモアレのない画像データを得ることができる。
【００２８】
《第５の実施形態》
第４の実施形態では、抽出部１０６が、連続する２つのプレビュー画像におけるモアレの位相のずれ量に相当する位相幅の部分を抽出する場合について説明したが、これに限られない。
第５の実施形態に係る撮像装置１では、抽出部１０６は、連続する２つのプレビュー画像におけるモアレの位相のずれ量の２倍に相当する位相幅の部分を抽出する。この場合、抽出部１０６が抽出された部分を合成する際に、当該部分間に重複が生じる。画像生成部１０７は、重複が生じた部分の画素値を、重複した２つの画素の平均値として、画像データを生成する。これにより、撮像装置１は、より自然な画像データを得ることができる。
【００２９】
《第６の実施形態》
第１の実施形態では、撮像蔵置が静止画像の画像データからモアレを除去する場合について説明したが、これに限られない。
第６の実施形態に係る撮像装置１では、撮像画像取得部１０４は、量子化器１２から取得する画像データに基づいて動画像を取得する。そのため、撮像画像保持部１０９には、複数のフレーム画像からなる動画像が保持される。そして、抽出部１０６は、プレビュー画像保持部１０８が保持するプレビュー画像からモアレの所定の位相を含む部分を抽出し、画像生成部１０７は、抽出部１０６が抽出した部分を撮像画像保持部１０９が保持する動画像の各フレーム画像に合成することで、動画像を生成する。これにより、撮像装置１は、モアレのない動画像を得ることが出来る。
【００３０】
《第７の実施形態》
第６の実施形態では、抽出部１０６が、プレビュー画像保持部１０８が保持するプレビュー画像からモアレの所定の位相を含む部分を抽出する場合について説明したが、これに限られない。
第７の実施形態では、抽出部１０６は、撮像画像保持部１０９が保持する動画像の複数のフレーム画像からモアレの所定の位相を含む部分を抽出する。これにより、撮像装置１は、プレビュー画像保持部１０８を有する必要がなくなる。
【００３１】
《第８の実施形態》
第１の実施形態では、抽出部１０６が、撮像画像の直前に撮像されたプレビュー画像からモアレの輝度ピークの部分を抽出する場合について説明したが、これに限られない。
第８の実施形態では、プレビュー画像取得部１０１は、撮像画像の撮像後も継続してプレビュー画像をプレビュー画像保持部１０８に記録する。そして、抽出部１０６は、撮像画像の直後に撮像されたプレビュー画像から、モアレの輝度ピークの部分を抽出する。この場合も、撮像装置１は、第１の実施形態と同様に、モアレのない画像を得ることが出来る。
【００３２】
《第９の実施形態》
第１の実施形態では、撮像画像の直前に撮像されたプレビュー画像から、第８の実施形態では撮像画像の直後に撮像されたプレビュー画像から、モアレの輝度ピークの部分を抽出する場合について説明したが、これに限られない。
第９の実施形態では、プレビュー画像取得部１０１は、撮像画像の撮像後も継続してプレビュー画像をプレビュー画像保持部１０８に記録する。そして、抽出部１０６は、撮像画像の直前に撮像されたプレビュー画像と直後に撮像されたプレビュー画像との両方から、モアレの輝度ピークの部分を抽出する。これにより、撮像装置１は、第１の実施形態や第８の実施形態と比較してより精度よくモアレのない画像を得ることが出来る。
【００３３】
《第１０の実施形態》
第１の実施形態では、ＣＰＵ１４がモアレの除去処理を行う場合について説明したが、これに限られない。第１０の実施形態に係る撮像装置１は、ＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備え、当該ＧＰＵがモアレの除去処理を行う。この場合も、撮像装置１は、第１の実施形態と同様にモアレのない画像を得ることが出来る。
【００３４】
なお、上述した少なくとも１つの実施形態において、補助記憶装置１６は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェースを介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータに配信される場合、配信を受けたコンピュータが当該プログラムを主記憶装置１５に展開し、上記処理を実行しても良い。
【００３５】
また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１６に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３６】
１…撮像装置  １１…撮像素子  １２…量子化器  １３…シャッターボタン  １４…ＣＰＵ  １５…主記憶装置  １６…補助記憶装置  １７…ＬＣＤ  １８…ＬＣＤＣ  １０１…プレビュー画像取得部  １０２…フォーカス処理部  １０３…シャッター判定部  １０４…撮像画像取得部  １０５…モアレ検出部  １０６…抽出部  １０７…画像生成部  １０８…プレビュー画像保持部  １０９…撮像画像保持部
【図１】
2015159396.tif 000003
【図２】
2015159396.tif 000004
【図４】
2015159396.tif 000005
【図３】
2015159396.tif 000006