(57)【要約】【課題】スケーリング処理によってモアレが低減されたり消滅したりした場合でも撮像画像データにモアレが発生していることをユーザに通知することができる技術を提供する。【解決手段】本発明の画像処理装置は、撮像画像データを記憶部に記録する記録手段と、前記撮像画像データの画像サイズを変更することによりスケールド画像データを生成するスケーリング手段と、前記撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理を行う検出手段と、前記スケールド画像データと、前記検出処理の結果に関する検出情報とを表示部へ出力する出力手段と、を有する。【選択図】図１
2018042009.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像データを記憶部に記録する記録手段と、
前記撮像画像データの画像サイズを変更することによりスケールド画像データを生成するスケーリング手段と、
前記撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理を行う検出手段と、
前記スケールド画像データと、前記検出処理の結果に関する検出情報とを表示部へ出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記出力手段は、前記スケールド画像データと前記検出情報とを含むデータを前記表示部へ出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出処理によってモアレ領域が検出された場合に、前記出力手段は、検出されたモアレ領域に関する情報を含む検出情報を前記表示部へ出力する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記撮像画像データの複数の画像領域のそれぞれについて前記検出処理を行う
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記検出情報は、前記撮像画像データの複数の画像領域のそれぞれについて、モアレ領域が存在するか否かを示す情報を含む
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記検出処理の結果に基づいて前記撮像画像データからモアレを除去可能な除去手段、をさらに有し、
前記記録手段は、前記除去手段によってモアレが除去された場合に、モアレが除去された後の撮像画像データを前記記憶部に記録する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記除去手段は、前記検出処理によってモアレ領域が検出された場合に、前記撮像画像データからモアレを除去する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記出力手段は、前記除去手段によってモアレが除去された場合に、前記検出情報を前記表示部へ出力する処理を省略する
ことを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
撮像によって前記撮像画像データを生成する撮像手段、をさらに有し、
前記画像処理装置は撮像装置である
ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理の結果に関する検出情報と、前記撮像画像データの画像サイズを変更することによって生成されたスケールド画像データとを取得する取得手段と、
前記検出処理の結果が示されるように前記スケールド画像データを前記検出情報に基づ
いて補正することにより、表示画像データを生成する補正手段と、
前記表示画像データに基づいて画像を表示する表示手段と、
を有することを特徴とする表示装置。
【請求項１１】
前記補正手段は、
前記検出処理の結果を示すグラフィック画像データを前記検出情報に基づいて生成する生成手段と、
前記スケールド画像データに前記グラフィック画像データを合成することにより前記表示画像データを生成する合成手段と、
を有する
ことを特徴とする請求項１０に記載の表示装置。
【請求項１２】
前記取得手段は、
前記スケールド画像データと前記検出情報を含むデータを取得し、
取得したデータから前記スケールド画像データと前記検出情報を抽出する
ことを特徴とする請求項１０または１１に記載の表示装置。
【請求項１３】
前記検出処理によってモアレ領域が検出された場合に、前記検出情報は、検出されたモアレ領域に関する情報を含み、
前記検出処理によってモアレ領域が検出された場合に、前記補正手段は、前記スケールド画像データの、検出されたモアレ領域に対応する画像領域が示されるように、前記スケールド画像データを前記検出情報に基づいて補正することにより、前記表示画像データを生成する
ことを特徴とする請求項１０〜１２のいずれか１項に記載の表示装置。
【請求項１４】
前記検出情報は、前記撮像画像データの複数の画像領域である複数の特定領域のそれぞれについて、モアレ領域が存在するか否かを示す情報を含み、
前記補正手段は、前記スケールド画像データの、モアレ領域が存在する特定領域に対応する画像領域が示されるように、前記スケールド画像データを前記検出情報に基づいて補正することにより、前記表示画像データを生成する
ことを特徴とする請求項１０〜１３のいずれか１項に記載の表示装置。
【請求項１５】
撮像画像データを記憶部に記録する記録ステップと、
前記撮像画像データの画像サイズを変更することによりスケールド画像データを生成するスケーリングステップと、
前記撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理を行う検出ステップと、
前記スケールド画像データと、前記検出処理の結果に関する検出情報とを表示部へ出力する出力ステップと、
を有することを特徴とする画像処理装置の制御方法。
【請求項１６】
撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理の結果に関する検出情報と、前記撮像画像データの画像サイズを変更することによって生成されたスケールド画像データとを取得する取得ステップと、
前記検出処理の結果が示されるように前記スケールド画像データを前記検出情報に基づいて補正することにより、表示画像データを生成する補正ステップと、
前記表示画像データに基づいて画像を表示する表示ステップと、
を有することを特徴とする表示装置の制御方法。
【請求項１７】
請求項１５に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１６に記載の表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および表示装置に関する。
【背景技術】
【０００２】
撮像装置では、細かい幾何学パターン（周期パターン）を有する被写体を撮像した場合に、被写体のパターンと撮像センサのパターンとが干渉しあい、撮像画像データ（被写体の画像を表す画像データ）にモアレが発生することがある。上記干渉によるモアレが発生した場合には、ユーザは、撮像装置の位置を調整する。それにより、上記干渉の発生が抑制され、モアレの発生が抑制される。
【０００３】
モアレに関する技術は、例えば、特許文献１，２に開示されている。特許文献１には、モアレを検出する技術が開示されている。特許文献１に開示の技術では、網点領域（網点の画像領域）のダイナミックレンジに基づいて、モアレ領域（モアレが発生している画像領域）が検出される。それにより、モアレ領域をユーザに通知することができ、ユーザはモアレ領域を把握することができる。特許文献２には、画像データからモアレを削除する技術が開示されている。特許文献２に開示の技術では、モアレ領域にモアレパターンを重ねる画像処理により、画素データが補正される。
【０００４】
しかしながら、撮像画像データを表示装置で表示する場合において、撮像画像データにスケーリング処理が施されることがある。スケーリング処理は、画像サイズを変更する画像処理であり、例えば、画像を拡大する拡大処理、画像を縮小する縮小処理、等である。撮像画像データにスケーリング処理が施されることにより、モアレが低減されたり消滅したりする。そのため、スケーリング処理後の撮像画像データからは、スケーリング処理前の撮像画像データに発生しているモアレを高精度に検出することはできない。その結果、撮像画像データにモアレが発生していることをユーザが気づけずに、モアレが発生している撮像画像データが最終的な撮像画像データとして記録されることがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２１７１９４号公報
【特許文献２】特開平６−２４５０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、スケーリング処理によってモアレが低減されたり消滅したりした場合でも撮像画像データにモアレが発生していることをユーザに通知することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、
撮像画像データを記憶部に記録する記録手段と、
前記撮像画像データの画像サイズを変更することによりスケールド画像データを生成するスケーリング手段と、
前記撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理を行う検出手段と、
前記スケールド画像データと、前記検出処理の結果に関する検出情報とを表示部へ出力する出力手段と、
を有することを特徴とする画像処理装置である。
【０００８】
本発明の第２の態様は、
撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理の結果に関する検出情報と、前記撮像画像データの画像サイズを変更することによって生成されたスケールド画像データとを取得する取得手段と、
前記検出処理の結果が示されるように前記スケールド画像データを前記検出情報に基づいて補正することにより、表示画像データを生成する補正手段と、
前記表示画像データに基づいて画像を表示する表示手段と、
を有することを特徴とする表示装置である。
【０００９】
本発明の第３の態様は、
撮像画像データを記憶部に記録する記録ステップと、
前記撮像画像データの画像サイズを変更することによりスケールド画像データを生成するスケーリングステップと、
前記撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理を行う検出ステップと、
前記スケールド画像データと、前記検出処理の結果に関する検出情報とを表示部へ出力する出力ステップと、
を有することを特徴とする画像処理装置の制御方法である。
【００１０】
本発明の第４の態様は、
撮像画像データの、モアレが発生している画像領域であるモアレ領域を、前記撮像画像データに基づいて検出する検出処理の結果に関する検出情報と、前記撮像画像データの画像サイズを変更することによって生成されたスケールド画像データとを取得する取得ステップと、
前記検出処理の結果が示されるように前記スケールド画像データを前記検出情報に基づいて補正することにより、表示画像データを生成する補正ステップと、
前記表示画像データに基づいて画像を表示する表示ステップと、
を有することを特徴とする表示装置の制御方法である。
【００１１】
本発明の第５の態様は、本発明の第３の態様である画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。
【００１２】
本発明の第６の態様は、本発明の第４の態様である表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、スケーリング処理によってモアレが低減されたり消滅したりした場合でも撮像画像データにモアレが発生していることをユーザに通知することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例１に係る撮像表示システムの構成例を示すブロック図
【図２】実施例１に係る撮像表示システムの大まかな構成の一例を示す図
【図３】実施例１に係る撮像装置の処理フローの一例を示すフローチャート
【図４】実施例１に係るモアレ検出データの一例を示す図
【図５】実施例１に係る付加情報の一例を示す図
【図６】実施例１に係る表示装置の処理フローの一例を示すフローチャート
【図７】実施例１に係るグラフィック画像データの一例を示す図
【図８】実施例１に係る表示画像データの一例を示す図
【図９】実施例１に係る表示画像データの一例を示す図
【図１０】実施例２に係る撮像表示システムの構成例を示すブロック図
【図１１】実施例２に係る撮像装置の処理フローの一例を示すフローチャート
【発明を実施するための形態】
【００１５】
＜実施例１＞
以下、本発明の実施例１について説明する。図１は、本実施例に係る撮像表示システム１００の構成例を示すブロック図である。撮像表示システム１００は、撮像装置１０１と表示装置１０８を有する。なお、表示装置１０８は、撮像装置１０１とは別体の表示装置であってもよいし、撮像装置１０１と一体化された表示部であってもよい。
【００１６】
撮像装置１０１は、撮像によって撮像画像データを生成したり、表示装置１０８へデータを出力したりする。撮像装置１０１は、デジタルカメラなどである。撮像装置１０１は、撮像部１０２、記録部１０３、スケーリング部１０４、モアレ検出部１０５、データ合成部１０６、及び、データ送信部１０７を有する。なお、記録部１０３、スケーリング部１０４、モアレ検出部１０５、データ合成部１０６、及び、データ送信部１０７は、撮像装置１０１とは別体の画像処理装置（パーソナルコンピュータなど）に設けられていてもよい。その場合には、表示装置１０８は、画像処理装置とは別体の表示装置であってもよいし、画像処理装置と一体化された表示部であってもよい。
【００１７】
撮像部１０２は、撮像センサを有しており、撮像によって撮像画像データを生成する。記録部１０３は、撮像部１０２によって生成された撮像画像データを、記憶部に記録する。記憶部としては、磁気ディスク、光ディスク、半導体メモリ、等を使用することができる。撮像画像データが記録される記憶部は、撮像装置１０１（画像処理装置）に内蔵された記憶部であってもよいし、撮像装置１０１（画像処理装置）に対して着脱可能な記憶装置であってもよい。
【００１８】
スケーリング部１０４は、撮像部１０２によって生成された撮像画像データの画像サイズを変更することにより、スケールド画像データを生成する。換言すれば、スケーリング部１０４は、撮像部１０２によって生成された撮像画像データにスケーリング処理を施すことにより、スケールド画像データを生成する。スケーリング処理は、画像サイズを変更する画像処理であり、例えば、画像を拡大する拡大処理、画像を縮小する縮小処理、等である。スケーリング処理の方法は特に限定されない。スケーリング処理の方法としては、従来技術である様々な方法を用いることができる。
【００１９】
モアレ検出部１０５は、撮像部１０２によって生成された撮像画像データ（スケーリング処理が施される前の画像データ）のモアレ領域を当該撮像画像データに基づいて検出するモアレ検出処理を行う。そして、モアレ検出部１０５は、モアレ検出処理の結果に関するモアレ検出データ（モアレ検出情報）を生成する。細かい幾何学パターン（周期パターン）を有する被写体を撮像した場合には、被写体のパターンと撮像センサのパターンとが干渉しあうことで、「モアレ」と呼ばれる縞模様が撮像画像データに発生することがある。モアレ領域は、モアレが発生している画像領域である。モアレは「干渉縞」などとも呼ばれる。モアレ検出処理の方法は特に限定されない。モアレ検出処理の方法としては、従来技術である様々な方法を用いることができる。
【００２０】
データ合成部１０６は、スケーリング部１０４によって生成されたスケールド画像データと、モアレ検出部１０５によって生成されたモアレ検出データとを合成することにより、スケールド画像データとモアレ検出データとを含む合成データを生成する。合成データの生成方法は特に限定されないが、例えば、データ合成部１０６は、スケールド画像デー
タに、メタデータとしてモアレ検出データを付加することにより、合成データを生成する。
【００２１】
データ送信部１０７は、スケーリング部１０４によって生成されたスケールド画像データと、モアレ検出部１０５によって生成されたモアレ検出データとを、表示装置１０８へ出力（送信）する。本実施例では、データ送信部１０７は、データ合成部１０６によって生成された合成データを、表示装置１０８へ出力する。なお、スケーリング部１０４によって生成されたスケールド画像データと、モアレ検出部１０５によって生成されたモアレ検出データとが個別に出力されてもよい。
【００２２】
表示装置１０８は、撮像装置１０１から出力されたデータに基づいて画面に画像を表示する。表示装置１０８は、液晶表示装置、有機ＥＬ表示装置、プラズマ表示装置、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）シャッター方式表示装置、プロジェクタ（投影装置）、等である。表示装置１０８は、データ受信部１０９、画像処理部１１３、及び、表示部１１２を有する。
【００２３】
データ受信部１０９は、スケーリング部１０４によって生成されたスケールド画像データと、モアレ検出部１０５によって生成されたモアレ検出データとを、撮像装置１０１から取得（受信）する。本実施例では、データ受信部１０９は、データ合成部１０６によって生成された合成データを、撮像装置１０１から取得する。そして、データ受信部１０９は、取得した合成データのデコード処理を行うことにより、取得した合成データからスケールド画像データとモアレ検出データを抽出する。
【００２４】
画像処理部１１３は、モアレ検出部１０５によって行われたモアレ検出処理の結果が示されるように、データ受信部１０９によって取得されたスケールド画像データを、データ受信部１０９によって取得されたモアレ検出データに基づいて補正する。それにより、スケールド画像データによって表された画像（スケールド画像）と、モアレ検出処理の結果とを示す表示画像データが生成される。
【００２５】
本実施例では、画像処理部１１３は、グラフィック生成部１１０と画像合成部１１１を有する。グラフィック生成部１１０は、モアレ検出部１０５によって行われたモアレ検出処理の結果を示すグラフィック画像データを、データ受信部１０９によって取得されたモアレ検出データに基づいて生成する。画像合成部１１１は、データ受信部１０９によって取得されたスケールド画像データと、グラフィック生成部１１０によって生成されたグラフィック画像データとを合成する。それにより、スケールド画像と、グラフィック画像データによって表された画像（グラフィック画像）とが配置された表示画像データが生成される。
【００２６】
なお、表示画像データの生成方法は特に限定されない。例えば、グラフィック画像データの生成が行われずに、スケールド画像データの画素値を変更することにより、表示画像データが生成されてもよい。
【００２７】
表示部１１２は、表示画像データに基づいて画面に画像を表示する。
【００２８】
図２は、撮像表示システム１００の大まかな構成の一例を示す図である。本実施例では、図２に示すように、ケーブル２００を用いて撮像装置１０１と表示装置１０８とが互いに接続されている。ケーブル２００は、例えば、ＨＤＭＩケーブル（ＨＤＭＩ（登録商標）規格に準じたケーブル）である。なお、撮像装置１０１に対する表示装置１０８の接続の方法は、特に限定されない。ケーブル２００として、ＨＤＭＩケーブルとは異なるケーブルが使用されてもよい。例えば、ケーブル２００としてＳＤＩケーブルが使用されても
よい。撮像装置１０１に対して表示装置１０８が無線で接続されてもよい。表示装置１０８が、他の装置（サーバなど）を介して撮像装置１０１に接続されてもよい。
【００２９】
本実施例では、撮像装置１０１は、撮像によって、水平有効画素数７６８０×垂直有効ライン数４３２０の画像サイズを有する撮像画像データ２０１を生成する。撮像画像データ２０１の画像領域２０２にはモアレが発生している。撮像装置１０１は、撮像画像データ２０１にスケーリング処理を施すことにより、水平有効画素数３８４０×垂直有効ライン数２１６０のスケールド画像データ２０３を生成する。スケーリング処理によってモアレが低減されたり消滅したりする。例えば、スケーリング処理において、撮像画像データ２０１の複数の画素を用いた補間処理により、スケールド画像データ２０３の画素が生成されることがある。その場合には、補間処理によってモアレが低減されたり消滅したりする。そのため、図２では、スケールド画像データ２０３の、撮像画像データ２０１の画像領域２０２に対応する画像領域２０４において、モアレは発生していない。
【００３０】
なお、撮像画像データ２０１の画像サイズ、スケールド画像データ２０３の画像サイズ、モアレ領域のサイズ、モアレ領域の形状、モアレ領域の位置、等は特に限定されない。例えば、撮像画像データ２０１の画像サイズは、水平有効画素数７６８０×垂直有効ライン数４３２０より大きくても小さくてもよい。スケールド画像データ２０３の画像サイズは、水平有効画素数３８４０×垂直有効ライン数２１６０より大きくても小さくてもよい。スケールド画像データ２０３の画像サイズは、撮像画像データ２０１の画像サイズより大きくてもよい。
【００３１】
表示装置１０８は、水平有効画素数３８４０×垂直有効ライン数２１６０の画像サイズを有する画像２０５をドットバイドットで表示できる。表示装置１０８は、水平有効画素数３８４０×垂直有効ライン数２１６０の画像サイズを有するスケールド画像データ２０３を取得する。そして、表示装置１０８は、取得したスケールド画像データ２０３に基づいて、水平有効画素数３８４０×垂直有効ライン数２１６０の画像２０５を表示する。上述したように、スケールド画像データ２０３にはモアレは発生していない。そのため、ユーザは、画像２０５を確認しても、撮像画像データ２０１の画像領域２０２におけるモアレの発生を把握することができない。
【００３２】
図３は、撮像装置１０１の処理フローの一例を示すフローチャートである。図３の処理フローの実行タイミングは特に限定されないが、例えば、撮像装置１０１に対してユーザが行った操作に応じて、図３の処理フローが実行される。操作は、撮影（撮像画像データの記録）の実行を指示する操作などである。
【００３３】
まず、Ｓ３０１にて、撮像部１０２は、撮像によって撮像画像データ２０１を生成する。
【００３４】
次に、Ｓ３０２にて、モアレ検出部１０５は、Ｓ３０１において生成された撮像画像データ２０１のモアレ領域を、当該撮像画像データ２０１に基づいて検出する（モアレ検出処理）。図２に示すように、撮像画像データ２０１にはモアレ領域２０２が存在する。そのため、本実施例では、Ｓ３０２のモアレ検出処理により、モアレ領域２０２が検出される。
【００３５】
そして、Ｓ３０３にて、モアレ検出部１０５は、Ｓ３０２のモアレ検出処理によってモアレ領域が検出されたか否かに応じて、処理を切り替える。Ｓ３０２のモアレ検出処理によってモアレ領域が検出された場合にはＳ３０４へ処理が進められ、Ｓ３０２のモアレ検出処理によってモアレ領域が検出されなかった場合には、Ｓ３０４の処理が省略され、Ｓ３０５へ処理が進められる。本実施例では、Ｓ３０２のモアレ検出処理によってモアレ領
域２０２が検出されたため、Ｓ３０４へ処理が進められる。
【００３６】
Ｓ３０４において、モアレ検出部１０５は、Ｓ３０２のモアレ検出処理の結果に基づいて、モアレ検出データを生成する。本実施例では、Ｓ３０２のモアレ検出処理によってモアレ領域が検出された場合に、検出されたモアレ領域に関する情報を含むモアレ検出データが生成される。具体的には、本実施例で生成されるモアレ検出データは、撮像画像データの複数の画像領域である複数の特定領域のそれぞれについて、モアレ領域が存在するか否かを示す情報を含む。その後、Ｓ３０５へ処理が進められる。
【００３７】
図４は、モアレ検出データ４００の一例を示す図である。本実施例では、モアレ検出部１０５は、複数の特定領域として、撮像画像データ２０１の画像領域全体を構成する複数の分割領域を設定する。具体的には、撮像画像データ２０１のアスペクト比（水平有効画素数：垂直有効ライン数）が１６：９であるため、水平方向１６個×垂直方向９個の分割領域が設定される。複数の特定領域は予め定められていてもよい。そして、モアレ検出部１０５は、モアレ領域が存在する分割領域に識別値「１」が対応付けられ、且つ、モアレ領域が存在しない分割領域に識別値「０」が対応付けられたデータを、モアレ検出データ４００として生成する。本実施例では、モアレ領域２０２に対応する分割領域群４０１に識別値「１」が対応付けられ、且つ、他の分割領域に識別値「０」が対応付けられたモアレ検出データ４００が生成される。
【００３８】
なお、特定領域のサイズ、特定領域の形状、特定領域の数、特定領域の配置、等は特に限定されない。例えば、特定領域の形状は、円形、楕円形、三角形、五角形、六角形、等であってもよい。特定領域の輪郭は、直線部分と曲線部分の両方を含んでいてもよい。特定領域の数は、１４４個（＝水平方向１６個×垂直方向９個）より多くても少なくてもよい。複数の特定領域は千鳥格子状に配置されていてもよい。また、特定領域は分割領域に限られない。例えば、特定領域は他の特定領域から離れていてもよいし、特定領域の少なくとも一部が他の特定領域の少なくとも一部に重なっていてもよい。
【００３９】
なお、特定領域にモアレ領域が存在するか否かの判断方法は特に限定されない。例えば、モアレ領域の少なくとも一部を含む特定領域が、モアレ領域が存在する特定領域として扱われ、他の特定領域が、モアレ領域が存在しない特定領域として扱われてもよい。モアレ領域のみを含む特定領域が、モアレ領域が存在する特定領域として扱われ、他の特定領域が、モアレ領域が存在しない特定領域として扱われてもよい。モアレ領域を所定の割合以上の割合で含む特定領域が、モアレ領域が存在する特定領域として扱われ、他の特定領域が、モアレ領域が存在しない特定領域として扱われてもよい。また、複数の特定領域のそれぞれについてモアレ検出処理が行われてもよい。そして、モアレ検出処理によってモアレ領域が検出された特定領域が、モアレ領域が存在する特定領域として扱われ、モアレ検出処理によってモアレ領域が検出されなかった特定領域が、モアレ領域が存在しない特定領域として扱われてもよい。
【００４０】
なお、モアレ領域が検出されたか否かに拘らずにＳ３０４の処理が行われてもよい。また、モアレ検出データは、図４のモアレ検出データ４００に限られない。例えば、モアレ領域を示すデータが、モアレ検出データとして生成されてもよい。具体的には、モアレ領域の始点座標と終点座標を示すデータが、モアレ検出データとして生成されてもよい。例えば、モアレ領域の始点座標は、モアレ領域の左上隅の座標であり、モアレ領域の終点座標は、モアレ領域の右下隅の座標である。モアレ領域の位置とサイズを示すデータが、モアレ検出データとして生成されてもよい。例えば、モアレ領域の位置は、モアレ領域の中心位置であり、モアレ領域のサイズは、モアレ領域の半径、モアレ領域の幅と高さ、等である。モアレ検出データは、モアレ領域に関する情報以外の情報を含んでいてもよい。例えば、モアレ検出データは、撮像画像データにモアレ領域が存在するか否かを示す情報を
含んでいてもよい。モアレ検出データは、モアレ領域に関する情報を含んでいなくてもよい。例えば、モアレ検出データは、撮像画像データにモアレ領域が存在するか否かを示すデータであってもよい。
【００４１】
Ｓ３０５にて、記録部１０３は、Ｓ３０１において生成された撮像画像データ２０１を、記憶部に記録する。次に、Ｓ３０６にて、スケーリング部１０４は、Ｓ３０１において生成された撮像画像データ２０１にスケーリング処理を施すことにより、スケールド画像データ２０３を生成する。なお、Ｓ３０５の処理がＳ３０１の処理よりも後に行われれば、Ｓ３０５の処理のタイミングは特に限定されない。また、Ｓ３０６の処理が、Ｓ３０１の処理よりも後、且つ、Ｓ３０７の処理よりも前に行われれば、Ｓ３０６の処理のタイミングは特に限定されない。
【００４２】
そして、Ｓ３０７にて、データ合成部１０６は、Ｓ３０６において生成されたスケールド画像データ２０３と、モアレ検出データとを合成することにより、スケールド画像データ２０３とモアレ検出データとを含む合成データを生成する（データ合成）。データ送信部１０７は、生成された合成データを表示装置１０８へ出力する。本実施例では、Ｓ３０２のモアレ検出処理によってモアレ領域が検出された場合には、スケールド画像データ２０３と、Ｓ３０４において生成されたモアレ検出データ４００とが合成される。Ｓ３０２のモアレ検出処理によってモアレ領域が検出されなかった場合には、データ合成が省略され、スケールド画像データ２０３が合成データとして使用される。
【００４３】
なお、モアレ領域が検出されたか否かに拘らずにデータ合成が行われてもよい。例えば、Ｓ３０２のモアレ検出処理によってモアレ領域が検出されなかった場合に、スケールド画像データ２０３と、Ｓ３０１において生成された撮像画像データ２０１にモアレ領域が存在しないことを示すモアレ検出データとが合成されてもよい。
【００４４】
本実施例では、ケーブル２００として、ＨＤＭＩケーブルが使用される。そのため、合成データとして、ＨＤＭＩ規格のデータが生成される。ＨＤＭＩ規格では、データは、画像データ部とブランキングデータ部を有する。画像データ部には、画像データ（各画素の画素データ）が記述される。ブランキングデータ部には、画像データの付加情報（メタデータ）が記述される。ＨＤＭＩ規格では、付加情報の１つとしてＶｅｎｄｏｒ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｆｒａｍｅが定義されており、１９２ｂｉｔ以下のデータサイズを有するベンダー独自データを付加情報として記述することができる。本実施例では、画像データ部にスケールド画像データ２０３を記述し、ブランキングデータ部のＶｅｎｄｏｒ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｆｒａｍｅにモアレ検出データ４００を記述することにより、合成データが生成される。
【００４５】
図５は、Ｖｅｎｄｏｒ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｆｒａｍｅ５００の一例を示す。Ｖｅｎｄｏｒ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｆｒａｍｅ５００は、Ｎａｍｅ５０１＝ＨＢ０〜ＰＢ２７を含む３１バイトのデータである。Ｎａｍｅ５０１＝ＰＢ４〜ＰＢ２７に対応するデータ部に、ベンダー独自データを記述することができる。本実施例では、Ｎａｍｅ５０１＝ＰＢ４に対応するデータ部５０２に、水平方向における特定領域の数を表すＷｉｄｔｈ（０ｘ１０）が記述される。Ｎａｍｅ５０１＝ＰＢ５に対応するデータ部５０３に、垂直方向における特定領域の数を表すＨｅｉｇｈｔ（０ｘ０９）が記述される。そして、Ｎａｍｅ５０１＝ＰＢ６〜ＰＢ２３に対応するデータ部５０４に、モアレ検出データ４００が記述される。図５において、「Ｍ［Ｘ，Ｙ］」（Ｘ＝０〜８，Ｙ＝０〜１５）は、上（または下）からＸ＋１番目且つ左（または右）からＹ＋１番目の特定領域の識別値である。
【００４６】
図６は、表示装置１０８の処理フローの一例を示すフローチャートである。図６の処理
フローの実行タイミングは特に限定されないが、例えば、表示装置１０８へのデータ（合成データ）の入力に応じて、図６の処理フローが実行される。
【００４７】
まず、Ｓ６０１にて、データ受信部１０９は、撮像装置１０１から合成データを取得する。そして、データ受信部１０９は、取得した合成データのデコード処理を行うことにより、合成データから、図３のＳ３０６において生成されたスケールド画像データ２０３と、モアレ検出データ４００とを抽出する。本実施例では、スケールド画像データ２０３は、合成データの画像データ部から抽出され、モアレ検出データ４００は、合成データのＶｅｎｄｏｒ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｆｒａｍｅ５００から抽出される。本実施例では、データ受信部１０９において、モアレ検出データが取得されないことがある。具体的には、Ｓ３０２のモアレ検出処理によってモアレ領域が検出されなかった場合に、モアレ検出データは取得されない。
【００４８】
次に、Ｓ６０２にて、グラフィック生成部１１０は、Ｓ６０１において取得されたモアレ検出データ４００を用いて、Ｓ３０１において生成された撮像画像データ２０１にモアレが発生しているか否かを判断する。具体的には、モアレ検出データ４００にＭ［Ｘ，Ｙ］＝１が含まれている場合に、グラフィック生成部１１０は、モアレが発生していると判断する。モアレ検出データ４００にＭ［Ｘ，Ｙ］＝１が含まれていない場合には、グラフィック生成部１１０は、モアレが発生していないと判断する。また、Ｓ６０１においてモアレ検出データが取得されなかった場合にも、グラフィック生成部１１０は、モアレが発生していないと判断する。モアレが発生している場合には、Ｓ６０３へ処理が進められ、モアレが発生していない場合には、Ｓ６０３の処理が省略され、Ｓ６０４へ処理が進められる。本実施例ではモアレ検出データ４００にＭ［Ｘ，Ｙ］＝１が含まれているため、モアレが発生していると判断され、Ｓ６０３へ処理が進められる。
【００４９】
Ｓ６０３にて、グラフィック生成部１１０は、Ｓ６０１において取得されたモアレ検出データ４００に基づいて、Ｓ３０２のモアレ検出処理の結果を示すグラフィック画像データを生成する。本実施例では、Ｓ６０１において取得されたスケールド画像データ２０３の、モアレ検出処理によって検出されたモアレ領域に対応する画像領域を示すグラフィック画像データが生成される。具体的には、スケールド画像データ２０３の、モアレ領域が存在する特定領域に対応する画像領域を示すグラフィック画像データが生成される。その後、Ｓ６０４へ処理が進められる。
【００５０】
図７は、グラフィック画像データ７００の一例を示す図である。本実施例では、グラフィック画像データ７００の画像サイズは、スケールド画像データ２０３の画像サイズ（水平有効画素数３８４０×垂直有効ライン数２１６０）と同じである。グラフィック生成部１１０は、モアレ検出データ４００（Ｗｉｄｔｈ（０ｘ１０）とＨｅｉｇｈｔ（０ｘ０９））から、複数の特定領域を判断する。そして、グラフィック生成部１１０は、スケールド画像データ２０３の画像領域全体を構成し、且つ、複数の特定領域にそれぞれ対応する複数の対応領域を設定する。複数の対応領域は予め定められていてもよい。その後、グラフィック生成部１１０は、複数の対応領域に対する相対位置が、複数の特定領域に対するＭ［Ｘ，Ｙ］＝１の特定領域の相対位置と等しい対応領域を示すグラフィック画像データ７００を生成する。図７では、グラフィック画像７０１により、Ｍ［Ｘ，Ｙ］＝１の１つ以上の特定領域に対応する１つ以上の対応領域からなる画像領域が示されている。
【００５１】
本実施例では、以下の式１−１，１−２を用いて、各対応領域の画像サイズ（水平有効画素数と垂直有効ライン数）が算出される。具体的には、水平方向１６個×垂直方向９個の特定領域が使用されるため、各対応領域の水平有効画素数として２４０（＝３８４０／１６）が算出され、各対応領域の垂直有効ライン数として２４０（＝２１６０／９）が算出される。
各対応領域の水平有効画素数＝
スケールド画像データの水平有効画素数÷水平方向における特定領域の数
・・・（式１−１）
各対応領域の垂直有効ライン数＝
スケールド画像データの垂直有効ライン数÷垂直方向における特定領域の数
・・・（式１−２）
【００５２】
そのため、スケーリング処理による画像サイズの変化率（縮小率または拡大率）と同じ変化率で複数の特定領域のサイズを変更することにより得られる複数の領域が、複数の対応領域として使用される。それにより、撮像画像データ２０１（スケーリング処理が施される前の画像データ）を用いて生成されたモアレ検出データ４００から、スケールド画像データ２０３の、モアレ領域が存在する特定領域に対応する画像領域を、容易に検出することができる。
【００５３】
Ｓ６０４にて、画像合成部１１１は、Ｓ６０１において取得されたスケールド画像データ２０３を用いて、表示画像データを生成する。具体的には、Ｓ６０２において「モアレが発生していない」と判断された場合には、画像合成部１１１は、スケールド画像データ２０３を表示画像データとして採用する。Ｓ６０２において「モアレが発生している」と判断された場合には、画像合成部１１１は、スケールド画像データ２０３と、Ｓ６０３において生成されたグラフィック画像データとを合成することにより、表示画像データを生成する。本実施例では、スケールド画像データ２０３とグラフィック画像データ７００とを合成することにより、表示画像データが生成される。
【００５４】
Ｓ６０５にて、表示部１１２は、Ｓ６０４において生成された表示画像データに基づいて、画面に画像を表示する。
【００５５】
図８は、表示画像データ８００の一例を示す図である。表示画像データ８００では、スケールド画像データ２０３によって表されたスケールド画像に、グラフィック画像７０１が重ねられている。そのため、ユーザは、表示画像データ８００に基づいて表示された画像を確認することにより、撮像画像データ２０１におけるモアレの発生を把握することができる。具体的には、ユーザは、撮像画像データ２０１の画像領域２０２におけるモアレの発生を把握することができる。それにより、ユーザは、撮像画像データ２０１におけるモアレの発生が解消されるように、モアレの撮像装置に対する操作を行うことができる。図９は、撮像装置に対する操作によってモアレが解消された場合の表示画像データ９００の一例を示す図である。表示画像データ９００では、グラフィック画像７０１のような画像は配置されていない。そのため、ユーザは、表示画像データ９００に基づいて表示された画像を確認することにより、撮像画像データのモアレが解消されたことを確認できる。
【００５６】
なお、モアレ領域に対応する領域がより詳細に示されるように表示画像データが生成されてもよい。例えば、スケーリング処理の変化率と撮像画像データの画像サイズとを使用することにより、スケールド画像データにおける複数の座標から、モアレ領域の始点座標に対応する座標と、モアレ領域の終点座標に対応する座標とを検出することができる。その結果、モアレ領域に対応する領域を高精度に検出することができ、モアレ領域に対応する領域をより詳細に示す表示画像データを生成することができる。また、特定領域のサイズ、対応領域のサイズ、等を低減することにより、モアレ領域に対応する領域をより詳細に示す表示画像データを生成することができる。特定領域のサイズ、対応領域のサイズ、等を１画素サイズへ低減すれば、モアレ領域に対応する領域を非常に詳細に示す表示画像データを生成することができる。
【００５７】
図８では、モアレ領域に対応する領域がハッチング画像によって示されているが、モア
レ領域に対応する領域を示すグラフィック画像はハッチング画像に限られない。例えば、モアレ領域に対応する領域を示すグラフィック画像は、領域の位置とサイズを示すテキスト画像、領域を囲む枠画像、等であってもよい。
【００５８】
また、表示画像データにおいて、モアレ領域の発生が示されれば、モアレ領域に対応する領域は示されなくてもよい。モアレ領域の発生を示すグラフィック画像は、例えば、アイコン画像、テキスト画像、等である。但し、モアレ領域に対応する領域が示されることにより、ユーザは、モアレ領域が抑制されるように、撮像装置に対する操作をより容易に行うことができる。そのため、モアレ領域に対応する領域が示されるように表示画像データが生成されることが好ましい。
【００５９】
なお、撮像画像データ（スケーリング処理が施される前の画像データ）にモアレが発生していない場合に、モアレが発生していないことが示されるように表示画像データが生成されてもよい。例えば、モアレが発生していないことを示すグラフィック画像（アイコン画像、テキスト、等）が表示されるように、表示画像データが生成されてもよい。
【００６０】
以上述べたように、本実施例によれば、スケーリング処理が施される前の撮像画像データからモアレ領域が検出される。そして、モアレ領域の検出結果が示されるように、スケーリング処理が施された後のスケールド画像データが補正され、補正後のスケールド画像データに基づいて画像が表示される。それにより、スケーリング処理によってモアレが低減されたり消滅したりした場合でも撮像画像データにモアレが発生していることをユーザに通知することができる。そして、ユーザは、撮像装置に対する操作（撮像装置の移動、撮像角度の変更、等）を行うことにより、撮像画像データにおけるモアレの発生を抑制することができる。その結果、モアレが発生している撮像画像データが最終的な撮像画像データとして記録されることを抑制できる。
【００６１】
なお、撮像画像データは、静止画データであってもよいし、動画データであってもよい。撮像画像データが動画データである場合には、例えば、各フレームについて上述した処理が行われる。
【００６２】
＜実施例２＞
以下、本発明の実施例２について説明する。本実施例では、モアレ検出処理の結果に基づいて撮像画像データからモアレを除去可能な撮像装置（画像処理装置）が使用される例を説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。
【００６３】
図１０は、本実施例に係る撮像表示システム１０００の構成例を示すブロック図である。図１０において、実施例１（図１）と同じ機能部には、実施例１と同じ符号が付されている。本実施例に係る撮像装置１００１は、実施例１の撮像装置１０１が有する各機能部と、モアレ除去部１００２とを有する。
【００６４】
モアレ除去部１００２は、モアレ検出処理の結果に基づいて撮像画像データからモアレを除去するモアレ除去処理を実行することができる。モアレ除去部１００２は、モアレ除去処理を行った場合に、モアレ除去処理が施された後の撮像画像データを出力し、モアレ除去処理を行わなかった場合に、撮像部１０２によって生成された撮像画像データを出力する。そのため、モアレ除去処理を行われなかった場合には、実施例１と同様の処理が行われ、モアレ除去処理が行われた場合には、モアレ除去処理とスケーリング処理とが施された後の撮像画像データが、スケールド画像データとして使用される。モアレ除去処理の方法は特に限定されない。モアレ除去処理の方法としては、従来技術である様々な方法を用いることができる。
【００６５】
本実施例では、モアレ除去処理が行われた場合に、記録部１０３は、モアレ除去処理が施された後の撮像画像データを、記憶部に記録する。それにより、撮像部によって生成された撮像画像データが記録される場合よりも確実に、モアレが発生している撮像画像データの記録を抑制することができる。また、本実施例では、モアレ除去処理が行われた場合に、表示装置１０８に対するモアレ検出データの出力が省略される。そのため、モアレ除去処理が行われた場合には、表示装置１０８において表示された画像において、モアレ検出処理の結果は示されない。表示装置１０８では、スケールド画像データに基づくスケールド画像が表示される。それにより、ユーザは、モアレの発生を意識せずに、種々の作業（例えば、撮影のための作業）を効率良く行うことができる。さらに、本実施例では、モアレ検出処理によってモアレが検出された場合に、モアレ除去処理が実行される。それにより、他の場合よりも確実に、モアレが発生している撮像画像データの記録を抑制することができる。また、ユーザは、他の場合よりも効率良く種々の作業を行うことができる。
【００６６】
なお、モアレ除去処理が行われたか否かに拘らず、表示装置１０８に対するモアレ検出データの出力が行われてもよい。モアレ除去処理が行われた場合に、モアレ除去処理が実行されたことを示すモアレ検出データが表示装置１０８へ出力されてもよい。そして、表示装置１０８において、モアレ除去処理が実行されたことが示されるように、表示画像データが生成されてもよい。また、モアレ除去処理の実行タイミングは特に限定されない。例えば、撮像装置に対してユーザが行った操作、撮像装置の動作モード、等に応じて、モアレ除去処理の実行／非実行が切り替えられてもよい。
【００６７】
図１１は、撮像装置１００１の処理フローの一例を示すフローチャートである。まず、Ｓ１１０１〜Ｓ１１０３の処理が行われる。Ｓ１１０１〜Ｓ１１０３の処理は、実施例１（図３）のＳ３０１〜Ｓ３０３の処理と同じである。Ｓ１１０２のモアレ検出処理によってモアレ領域が検出された場合にはＳ１１０４へ処理が進められ、Ｓ１１０２のモアレ検出処理によってモアレ領域が検出されなかった場合には、Ｓ１１０４の処理が省略され、Ｓ１１０５へ処理が進められる。
【００６８】
Ｓ１１０４にて、モアレ除去部１００２は、Ｓ３０２のモアレ検出処理の結果に基づいて、Ｓ３０１において生成された撮像画像データからモアレを除去する（モアレ除去処理）。その後、Ｓ１１０５へ処理が進められる。
【００６９】
Ｓ１１０５にて、記録部１０３は、撮像画像データを記憶部に記録する。Ｓ１１０４のモアレ除去処理が行われた場合には、記録部１０３は、Ｓ１１０４のモアレ除去処理が施された後の撮像画像データを、記憶部に記録する。Ｓ１１０４のモアレ除去処理が行われなかった場合には、記録部１０３は、Ｓ１１０１において生成された撮像画像データを、記憶部に記録する。
【００７０】
次に、Ｓ１１０６にて、スケーリング部１０４は、撮像画像データにスケーリング処理を施すことにより、スケールド画像データを生成する。Ｓ１１０４のモアレ除去処理が行われた場合には、スケーリング部１０４は、Ｓ１１０４のモアレ除去処理が施された後の撮像画像データにスケーリング処理を施すことにより、スケールド画像データを生成する。Ｓ１１０４のモアレ除去処理が行われなかった場合には、スケーリング部１０４は、Ｓ１１０１において生成された撮像画像データにスケーリング処理を施すことにより、スケールド画像データを生成する。
【００７１】
そして、Ｓ１１０７にて、データ合成部１０６は合成データを生成し、データ送信部１０７は、生成された合成データを表示装置１０８へ出力する。本実施例では、データ合成部１０６は、Ｓ１１０６において生成されたスケールド画像データを、合成データとして
使用する。本実施例では、Ｓ３０２のモアレ検出処理によってモアレ領域が検出された場合には、スケールド画像データ２０３と、Ｓ３０４において生成されたモアレ検出データ４００とが合成される。Ｓ３０２のモアレ検出処理によってモアレ領域が検出された場合には、スケールド画像データ２０３と、Ｓ３０４において生成されたモアレ検出データ４００とが合成される。
【００７２】
以上述べたように、本実施例によれば、モアレ除去処理が適宜実行され、モアレ除去処理の実行／非実行に応じて、処理が適宜切り替えられる。それにより、システムの利便性、システムの各装置の利便性、等をより向上することができる。
【００７３】
なお、実施例１，２の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００７４】
なお、実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【００７５】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７６】
１０１，１００１：撮像装置  １０３：記録部  １０４：スケーリング部
１０５：モアレ検出部  １０７：データ送信部  １０８：表示装置
１０９：データ受信部  １１２：表示部  １１３：画像処理部
【図１】
2018042009.tif 000003
【図２】
2018042009.tif 000004
【図３】
2018042009.tif 000005
【図４】
2018042009.tif 000006
【図５】
2018042009.tif 000007
【図６】
2018042009.tif 000008
【図７】
2018042009.tif 000009
【図８】
2018042009.tif 000010
【図９】
2018042009.tif 000011
【図１０】
2018042009.tif 000012
【図１１】
2018042009.tif 000013