(57)【要約】【課題】注視領域の表示遅延を改善しつつ、表示画面全体の画質低下を軽減することができる撮像装置を提供する。【解決手段】撮像装置２０１は、被写体を撮像する撮像センサー部１０１と、撮像センサー部１０１で取得した入力データを現像処理して画像データを生成する現像処理部１０２と、画像データの一部を用いて第１の画像を生成する画像処理部Ａ１０３と、画像データにレンズ歪曲収差補正等の所定の画像処理を施し、画像処理の工程数が第１の画像と異なる第２の画像を生成する画像処理部Ｂ１０５、画像処理部Ｃ１０７、画像処理部Ｄ１０９と、第２の画像に第１の画像を合成して第３の画像を生成する画像合成部１１０と、第３の画像を表示する表示装置１１１を備える。【選択図】図１
2016076771.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
前記撮像手段で取得した入力データを現像処理して画像データを生成する現像手段と、
前記画像データの一部を用いて第１の画像を生成する第１の生成手段と、
前記画像データに所定の画像処理を施し、前記第１の画像と画像処理の工程数が異なる第２の画像を生成する第２の生成手段と、
前記第２の画像に前記第１の画像を合成して第３の画像を生成する合成手段と、
前記第３の画像を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記現像手段は、前記入力データに対して、ＲＧＢのオフセット調整、ゲイン調整及びガンマ補正のうち少なくとも１つの処理を施すことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像データの一部は、予め設定された注視領域に対応する画像データであることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記第１の生成手段は、前記注視領域に従って前記第１の画像の大きさ及び画像データ全体に占める位置を決定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記第１の生成手段は、前記画像データの一部に対し、所定の処理を施して前記第１の画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記所定の処理は、レンズの歪曲収差の補正処理、ノイズ除去処理、色調整処理のうち少なくとも１つであることを特徴とする請求項５記載の撮像装置。
【請求項７】
前記所定の処理における処理工程数は、許容される表示遅延時間に従って決定されることを特徴とする請求項６記載の撮像装置。
【請求項８】
前記第１の生成手段は、前記第１の画像を生成するに際し、前記画像データから前記第１の画像となるべき１部を大きさを変えて複数準備し、準備した第１の画像となるべき画像の大きさに従って処理内容の異なる画像処理を施して複数の第１の画像となるべき画像を生成し、該複数の第１の画像となるべき画像から前記注視領域の大きさに対応する画像を選択して前記第２の画像に合成される第１の画像とすることを特徴とする請求項３乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の生成手段は、前記第１の画像となるべき１部の大きさが小さいほど、高度な画像処理を施すことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記第１の生成手段は、前記第１の画像を生成するに際し、第１の画像となるべき画像を１つ以上生成し、該第１の画像となるべき画像から前記第２の画像に合成される第１の画像を決定する決定手段を備え、
前記第２の生成手段は、前記画像データに対して所定の画像処理を施して前記第１の画像となるべき画像及び前記第２の画像とは画像処理の工程数が異なる別の第１の画像となるべき画像を生成し、
前記決定手段は、前記第１の画像となるべき画像及び前記別の第１の画像となるべき画像の中から前記第２の画像に合成される第１の画像を決定することを特徴とする請求項３乃至７のいずれか１項に記載の撮像装置。
【請求項１１】
前記別の第１の画像となるべき画像に対する画像処理の工程数は、前記第２の画像に対する画像処理の工程数よりも少ないことを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記第１の生成手段は、前記注視領域が複数設定された場合、前記画像データの複数部を用いて前記第１の画像を生成し、前記合成手段は、前記第１の生成手段で生成された複数部からなる第１の画像を前記第２の画像に合成させて前記第３の画像を形成することを特徴とする請求項３乃至７のいずれか１項に記載の撮像装置。
【請求項１３】
前記第２の生成手段は、前記画像データにレンズの歪曲収差の補正処理、ノイズ除去処理、色調整処理のうち少なくとの１つを施して前記第２の画像を形成することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記合成手段は、前記第１の画像を拡大した後、前記第２の画像に合成して前記第３の画像を形成することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記合成手段は、前記第１の画像と前記第２の画像との境界における合成比率を段階的に変化させて前記第３の画像を形成することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記合成手段は、前記第１の画像と前記第２の画像との境界をフィルタ処理によってぼかして前記第３の画像を形成することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１７】
前記合成手段は、前記第１の画像と前記第２の画像の境界を枠線で示して前記第３の画像を形成することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影する画像を表示する表示部を備えた撮像装置に関する。
【背景技術】
【０００２】
コンパクトデジタルカメラやノンレフレックスカメラ（ミラーボックスのないレンズ交換式カメラ）は一眼レフカメラとは異なり、撮影する被写体を確認するための小型の電子ビューファインダー（ＥＶＦ）を備えている。この種のカメラは、ＥＶＦを採用することによってミラーボックスが不要となるので、装置本体の小型・軽量化を図ることができる。一方、撮影画像をＥＶＦに表示するための画像処理にはある程度の時間を要する。従って、ＥＶＦの表示画像と実際に撮影される被写体画像との間に時間的な差が生じ、撮影者が意図した瞬間の被写体を撮影することが困難であるという問題がある。
【０００３】
ところで、従来は、コンパクトデジタルカメラのユーザの多くがプロカメラマンではなかったことから、かかるＥＶＦにおける表示遅延は大きな問題ではなかった。
【０００４】
しかしながら、近年、高級コンパクトカメラやミラーレスカメラに代表されるハイアマチュアまたはプロ向けの製品が増加し、表示遅延の課題は無視できないものとなっている。
【０００５】
そこで、かかる表示遅延の問題を解消するために、ユーザが注視する被写体領域（注視領域）から先に撮像素子からの画像読み出しを開始し、ＥＶＦへの表示も、注視領域から順次先に表示する技術が提案されている。また、このような画像読み出し順序及びＥＶＦへの表示順序を変更する技術と共に、注視領域以外の画像については、画像処理を省略する技術も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−６０４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記注視領域から先に読み出して先に表示する技術は、注視領域の表示遅延時間を短くできるものの、特殊読み出し可能な専用の撮像素子と、該撮像素子に対応した特殊な順序で表示できる専用のＥＶＦが必要である。また、注視領域以外の画像処理を省略する技術においては、画像処理の省略によりＥＶＦ表示画像全体としての画質が低下し、注視領域が表示画像の中央付近にある場合には、画像周辺部でレンズによる歪みが目立つという問題がある。
【０００８】
本発明は、このような状況に鑑み、注視領域の表示遅延を改善しつつ、表示部への表示画面全体の画質低下を軽減することができる撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、請求項１記載の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段で取得した入力データを現像処理して画像データを生成する現像手段と、前記画像データの一部を用いて第１の画像を生成する第１の生成手段と、前記画像データに所定の画像処理を施し、前記第１の画像と画像処理の工程数が異なる第２の画像を生成する第２の生成手段と、前記第２の画像に前記第１の画像を合成して第３の画像を生成する合成手段と、前記第３の画像を表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像データの一部を用いた第１の画像と、画像データに所定の画像処理を施し、画像処理の工程数が第１の画像と異なる第２の画像を合成して第３の画像とし、該第３の画像を表示手段に表示する。これによって、注視領域に対応する画像データの１部を第１の画像とし、注視領域の表示遅延を改善しつつ、注視領域以外の部分に画像処理を施して、表示部への表示画面全体の画質低下を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施の形態に係る撮像装置の機能構成を示すブロック図である。
【図２】撮像素子の画素配列の一例を示す図である。
【図３】第１の実施の形態における画像表示処理の手順を示すフローチャートである。
【図４】第１の実施の形態における表示画面の一例を示す図である。
【図５】第２の実施の形態に係る撮像装置の機能構成を示すブロック図である。
【図６】第２の実施の形態における画像表示処理の手順を示すフローチャートである。
【図７】第２の実施の形態における表示画面の一例を示す図である。
【図８】第３の実施の形態に係る撮像装置の機能構成を示すブロック図である。
【図９】第３の実施の形態における画像表示処理の手順を示すフローチャートである。
【図１０】第３の実施の形態における表示画面の一例を示す図である。
【図１１】第４の実施の形態に係る撮像装置の機能構成を示すブロック図である。
【図１２】第４の実施の形態における画像表示処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１３】
図１は、第１の実施の形態に係る撮像装置の機能構成を示すブロック図である。この撮像装置は、表示画面の中央付近を注視領域として撮影する装置であって、注視領域の表示遅延時間を短くするためのものである。表示遅延時間とは、撮像部で被写体を撮像してから表示部に表示されるまでの経過時間をいう。
【００１４】
図１において、撮像装置２０１は、レンズ群１００、撮像センサー部１０１、第１の画像生成部１２０、第２の画像生成部１３０、第１の画像と第２の画像を合成する画像合成部１１０、及び、第３の画像を表示する表示部１１１から主として構成されている。第１の画像生成部１２０は、現像処理部１０２及び画像処理部Ａ１０３を備えている。第２の画像生成部１３０は、記憶部Ｂ１０４及び画像処理部Ｂ１０５、記憶部Ｃ１０６及び画像処理部Ｃ１０７、並びに記憶部Ｄ１０８及び画像処理部Ｄ１０９を備えている。
【００１５】
このような構成において、レンズ群１００は、被写体からの入射光量や合焦の調節を行い、撮像画像を撮像センサー部１０１に結像させる。撮像センサー部１０１は、ＣＣＤやＣＭＯＳなどの撮像素子からなり、レンズ群１００から取得した画像を光電変換し、さらにアナログ・デジタル変換してデジタル信号を出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタが、例えば、モザイク状に配置されている。
【００１６】
図２は、撮像素子の画素配列の一例を示す図である。図２において、撮像素子における各画素は、例えば、画素毎にモザイク状に配置され、４画素毎に赤１画素、青１画素及び緑２画素を１組として規則的に並べた構造となっている。このような画素配置は、一般に、ベイヤー配列と呼ばれる。
【００１７】
撮像センサー部１０１によって変換された電気信号は、ベイヤー画像情報として第１の画像生成部１２０の現像処理部１０２に送信される。現像処理部１０２は、ベイヤー画像信号を受信し、受信した画像信号に対し、ＲＧＢのオフセット調整、ゲイン調整、ガンマ補正処理を行う。すなわち、現像処理部１０２は、受信したベイヤー画像信号に対し、例えば、オフセット調整、ゲイン調整を施すことによってホワイトバランスを調整する。ガンマ補正では、撮像センサー部１０１やレンズ群１００などの特性を考慮して、撮像装置の使用者（ユーザ）が所望する記録画像を生成するための特性で処理される。ガンマ補正値を変えることによって、映画フィルムの質感や階調を再現した記録画像の生成や、ＴＶモニターで表示するための記録画像を生成することもできる。
【００１８】
ガンマ補正処理を行った後、現像処理部１０２は、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換した画像を生成して記憶部Ｂ１０４に記憶させる。第１の画像生成部１２０の画像処理部Ａ１０３は、現像処理部１０２の処理画像データの１部である注視領域の画像を用いて第１の画像を生成する。このとき、画像処理部Ａ１０３は、ユーザによって予め設定された注視領域に従って画像データの一部としての第１の画像の大きさ及び画像データ全体に占める位置を決定する。
【００１９】
第２の画像生成部１３０における画像処理部Ｂ１０５、画像処理部Ｃ１０７及び画像処理部Ｄ１０９は、記憶部Ｂ１０４に記憶された画像に対して順次画像処理を実施する。例えば、画像処理部Ｂ１０５は、レンズの歪曲収差の補正処理を実行し、画像処理部Ｃ１０７は、ノイズ除去処理を実行し、画像処理部Ｄ１０９は、色調整処理を実行する。
【００２０】
すなわち、画像処理部Ｂ１０５は、記憶部Ｂ１０４に記憶された画像に対して、例えば、レンズの歪曲収差の補正処理を実行し、その出力画像を記憶部Ｃ１０６に記憶する。また、画像処理部Ｃ１０７は、記憶部Ｃ１０６に記憶された画像に対して、例えば、ノイズ除去処理を実行し、その出力画像を記憶部Ｄ１０８に記憶する。更に、画像処理部Ｄ１０９は、記憶部Ｄ１０８に記憶された画像に対して、例えば、色調整処理を実行し、その出力画像を第２の画像とする。
【００２１】
現像処理部１０２と画像処理部Ａ１０３の出力画像を遅延量の基準「遅延０」とすると、記憶部Ｂ１０４と画像処理部Ｂ１０５の遅延量は、「遅延＋１」、記憶部Ｃ１０６と画像処理部Ｃ１０７の遅延量は、「遅延＋２」となる。また、記憶部Ｄ１０８と画像処理部Ｄ１０９の遅延量は「遅延＋３」となる。遅延量の単位は、例えば、フレーム遅延とする。第１の画像と第２の画像の遅延差は、例えば、３フレーム時間である。
【００２２】
画像合成部１１０は、画像処理部Ａ１０３から出力された第１の画像と画像処理部１０９から出力された第２の画像を合成して第３の画像を生成する。表示装置１１１は、ＥＶＦまたはディスプレイであり、画像合成部１１０で合成された第３の画像を表示する。
【００２３】
撮像装置２０１の各処理部は、図示省略した制御部のＣＰＵによって制御され、所定の動作を実行し、第１の画像と第２の画像を合成した第３の画像を表示部１１１に表示する。
【００２４】
次に、図１の撮像装置２０１で実行される画像表示処理について説明する。
【００２５】
図３は、第１の実施の形態における画像表示処理の手順を示すフローチャートである。
この画像表示処理は、図１の撮像装置２０１の図示省略した制御部のＣＰＵが、やはり図示省略されたＲＯＭに記憶された画像表示処理プログラムに従って実行する。
【００２６】
図３において、画像表示処理が開始されると、ＣＰＵは、先ず、レンズ群１００、撮像センサー部１０１を制御して撮影を開始する（ステップＳ１０１）。次いで、ＣＰＵは、表示装置１１１を制御して画像処理部Ｄ１０９の出力画像である第２の画像を表示装置１１１に表示させる（ステップＳ１０２）。第２の画像は、現像処理部１０２で処理され、記憶部Ｂ１０４に記憶された画像に対し、画像処理部Ｂ１０５、画像処理部Ｃ１０７及び画像処理部Ｄ１０９で所定の処理が施された画像である。
【００２７】
次いで、ＣＰＵは、ユーザによって遅延改善表示が選択されているか否かを判定する（ステップＳ１０３）。遅延改善表示の選択は、ユーザが、シャッターボタンを押下した場合に自動的に選択される設定、またはユーザからの指示、例えば、モード設定等によって選択的に選択される設定とすることができる。ステップＳ１０３の判定の結果、遅延改善表示が選択されている場合（ステップＳ１０３で「ＹＥＳ」）、ＣＰＵは、ユーザによる事前の設定に従って、例えば、表示装置１１１の表示画面の画面中央部を注視領域として指定する（ステップＳ１０４）。
【００２８】
図４は、第１の実施の形態における表示画面の一例を示す図であり、図４（ａ）は、破線枠によって注視領域が指定された画像を示す図であり、図４（ｂ）は、画像置き換え後に注視領域の周囲を敢えて枠線で示した状態を示す図である。また、図４（ｃ）は、注視領域（第１の画像）を拡大して第２の画像と合成した第３の画像を示す図である。図４（ａ）において、画面中央部が破線枠によって囲まれた注視領域として指定されている。
【００２９】
注視領域の大きさを指定する方法は、画素数で指定する方法、画面全体に対する比率で指定する方法、ユーザからの指示によって指定する方法、注視すべき被写体の大きさによって可変とする方法等が考えられる。また、注視領域の位置は、画面中央部に限定されるものではなく、例えば、画面中央部に注視すべき被写体が無いときには中央部以外であってもよい。注視領域の選択方法並びに注視領域の大きさ及び位置は、特に制限されるものではない。
【００３０】
図３に戻り、画像中央部に注視領域を設定した（ステップＳ１０４）後、ＣＰＵは、現像処理部１０２の出力値から注視領域に対応する画像の１部を用いて第１の画像を生成する（ステップＳ１０５）。次いで、ＣＰＵは、画像合成部１１０を制御して第２の画像の注視領域を、第１の画像に置き換えて第３の画像を生成する（ステップＳ１０６）。置き換えの際、第２の画像と第１の画像で遅延時間および画像処理の工程数が異なるため、位置ズレや画質の差が生じることがある。第３の画像の生成方法は、画像を単純に置き換える方法だけではなく、図４（ｂ）に示すように画像置き換え後の注視領域の周囲を敢えて枠線で示してユーザに認識させることで、違和感を軽減する方法が考えられる。また、第１の画像と第２の画像の境界をフィルタ処理によってぼかしたり、合成比率を段階的に変化させたりして境界を目立たなくする方法などがある。第１の画像と第２の画像における注視領域の大きさ及び表示画面における位置は、原則として同一に設定される。しかしながら、そのままの画角で表示する以外に、図４（ｃ）に示すように第１の画像の注視領域を拡大した画像を第２の画像に合成して第３の画像を生成し、これによって、注視領域内の画像確認を補助する方法もある。これらの表示方法は、シーンに応じて適応的に選択できるようにし、また、ユーザの指示により設定できるようにしてもよい。なお、フィルタ処理や合成処理自体の具体的手法は、公知であるために説明を省略する。
【００３１】
図３に戻り、第３の画像を生成した後、ＣＰＵは、表示装置１１１を制御して第３の画像を表示装置１１１の表示画面に表示する（ステップＳ１０７）。表示画面に第３の画像を表示した後、ＣＰＵは、本処理を終了して被写体の記録を開始する（ステップＳ１０８）。
【００３２】
一方、ステップＳ１０３の判定の結果、遅延改善表示の選択がなかった場合（ステップＳ１０３で「ＮＯ」）、ＣＰＵは、処理をステップＳ１０２に戻し、第２の画像を表示しながら、ユーザが遅延改善表示を選択するまで待機する。
【００３３】
図３の処理によれば、注視領域としての第１の画像については、画像処理部Ｂ１０５、画像処理部Ｃ１０７及び画像処理部Ｄ１０９の処理を省略したので、注視領域が表示装置に表示されるまでの遅延を改善することができる。また、注視領域としての第１の画像を表示画面中央付近に設定したので、第２の画像に第１の画像を合成した第３の画像において生じ易い画像周辺部の歪を防止することができる。なお、基本的な画像処理、すなわち、オフセット調整、ゲイン調整、ガンマ補正等は、現像処理部１０２で実行されるので、表示画面全体の画質が極端に低下することはない。
【００３４】
本実施の形態において、記憶部Ｂ１０４、記憶部Ｃ１０６、記憶部Ｄ１０８としては、例えば、ＲＡＭ等のメモリが使用される。記憶部構成は、１個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成であってもよい。
【００３５】
本実施の形態において、撮像素子駆動周期、各記憶部駆動周期およびＥＶＦ駆動周期の同期をそれぞれ制御可能とする構成とすることが望ましい。例えば、撮像素子とＥＶＦの同期信号の遅延量を計測し、撮像素子駆動周期を基準として、各記憶部駆動周期、ＥＶＦ駆動周期の同期信号の遅延量が所定の範囲内に入るように調節することができる。撮像素子駆動周期とＥＶＦ駆動周期は、同一周期の場合は制御が容易である。但し、撮像素子駆動周期とＥＶＦ駆動周期は、同一周期に限定されるものではない。
【００３６】
本実施の形態において、画像処理部Ａ１０３は、現像処理部１０２で生成された画像データの一部に対し、レンズの歪曲収差の補正処理、ノイズ除去処理、色調整処理等のうち少なくとも１つを施すことが好ましい。これによって、第２の画像に合成される第１の画像の画質を向上させて第２の画像の画質に近づけることができる。画像処理部Ａ１０３が上述の一部の画像データに施す画像処理の処理工程数は、例えば、ユーザが許容する表示遅延時間に従って決定される。
【００３７】
本実施の形態において、現像処理部１０２は、入力データとしてのベイヤー画像信号に対し、ＲＧＢのオフセット調整、ゲイン調整、ガンマ補正処理のうち少なくとも１つの処理を行う。どこまでの処理を行うかは、例えば、ユーザによって許容される表示遅延時間に基づいて決定される。
【００３８】
本発明において、第２の画像に、第１の画像を合成させる合成処理では、第２の画像と第１の画像との境界部分に、フィルター処理等を施して当該境界を目立たなくすることが好ましい。
【００３９】
本実施の形態において、画像合成部１１０は、第２の画像に第１の画像を合成させる際、手振れ補正の動き又はカメラの動き（パン）を考慮して合成することが好ましい。これによって第２の画像と第１の画像との境界での動きの相違を緩和することができる。
【００４０】
次に、本発明の第２の実施の形態について図面を用いて詳細に説明する。
【００４１】
図５は、第２の実施の形態に係る撮像装置の機能構成を示すブロック図である。この撮像装置は、被写体認識機能によって注視領域を決定して撮影する装置であって、ユーザが所望する注視領域が画面の中央付近にない場合を例示するものである。
【００４２】
図５において、撮像装置２０２は、上述した図１の撮像装置２０１と基本的な構成が共通するものである。従って、機能が同じ同一部材には同一の符号を付し、重複する説明を省略する。以下、本実施の形態に係る撮像装置２０２において、第１の実施の形態に係る撮像装置２０１との相違点を中心に説明する。
【００４３】
撮像装置２０２が図１の撮像装置２０１と異なるところは、第１の画像生成部１２０の現像処理部１０２と画像処理部Ａ１０３との間に、認識部１１２を設けた点である。認識部１１２は、被写体の顔を認識したり、人物を判別したり、物体を認識するブロックである。なお、説明の便宜のため、認識部１１２を画像処理部Ａ１０３と独立したブロックとして構成したが、画像処理部Ａ１０３に認識部１１２の機能を付加したものを適用することもできる。
【００４４】
図６は、第２の実施の形態における画像表示処理の手順を示すフローチャートである。
この画像表示処理は、撮像装置２０２の図示省略した制御部のＣＰＵが、やはり図示省略されたＲＯＭに記憶された画像表示処理プログラムに従って実行する。
【００４５】
以下、図５の撮像装置２０２で実行される画像表示処理について、上述した第１の実施の形態で実行される画像表示処理（図３）との相違点を中心に説明する。
【００４６】
図６において、画像表示処理が開始されると、ＣＰＵは、上述した第１の実施の形態における画像表示処理と同様、撮影を開始し、表示装置１１１に第２の画像を表示させ、遅延改善表示が選択されているか否かを判定する（ステップＳ２０１〜Ｓ２０３）。
【００４７】
ステップＳ２０３の判定の結果、遅延改善表示が選択されている場合（ステップＳ２０３で「ＹＥＳ」）、ＣＰＵは、注視領域の条件を設定する（ステップＳ２０４）。本実施の形態において、注視領域の条件として、例えば、人間の「顔」及び「花束」であることが指定されているものとする。なお、注視領域の条件の指定方法は、表示装置１１１の画像をユーザが確認して外部から指定する方法や、あらかじめ物体情報を登録して指定する方法などがある。
【００４８】
注視領域の条件を設定した（ステップＳ２０４）後、ＣＰＵは、画像認識動作を実行させる（ステップＳ２０５））。すなわち、ＣＰＵは、認識部１１２を制御して表示装置１１１の表示画面において、注視領域として指定された条件に一致する画像、例えば、顔と花束を認識させる。
【００４９】
次いで、ＣＰＵは、注視領域の条件に一致する画像を認識できたか否かを判定する（ステップＳ２０６）。ステップＳ２０６の判定の結果、認識部１１２が注視領域の条件に一致する画像（顔と花束）を認識できた場合（ステップＳ２０６で「ＹＥＳ」）、図７に示したように、認識領域を注視領域に設定する（ステップＳ２０７）。
【００５０】
図７は、第２の実施の形態における表示画面の一例を示す図であり、注視領域が複数設定されている場合であって、具体的には、人の顔と花束が破線で囲まれて注視領域に設定されている。
【００５１】
注視領域を設定した（ステップＳ２０７）後、ＣＰＵは、現像処理部１０２の出力値から注視領域に対応する複数部の画像を切り取って第１の画像を生成する（ステップＳ２０８）。次いで、ＣＰＵは、第１の実施の形態（図３）と同様、第２の画像の注視領域を第１の画像に置き換えて第３の画像を生成する（ステップＳ２０９）。このときＣＰＵは、第２の画像における２つの注視画像を、対応する２つの画像を有する第１の画像で置き換える。第３の画像を生成した（ステップＳ２０９）後、ＣＰＵは、表示装置１１１を制御して第３の画像を表示装置１１１に表示し（ステップＳ２１０）、その後、記録を開始して本処理を終了する（ステップＳ２１１）。
【００５２】
一方、ステップＳ２０３で遅延改善表示が選択されていなかった場合（ステップＳ２０３で「ＮＯ」）、ＣＰＵは、処理をステップＳ２０２に戻し、遅延改善表示が選択されるまで待機する。また、ステップＳ２０６の判定の結果、注視領域の条件に一致する画像が認識できなかった場合（ステップＳ２０６で「ＮＯ」）、ＣＰＵは、処理をステップＳ２０５に戻して画像認識動作を継続する。
【００５３】
図６の処理によれば、第１の実施の形態と同様、注視領域と対応する第１の画像については、画像処理部Ｂ１０５、画像処理部Ｃ１０７及び画像処理部Ｄ１０９の処理を省略したので、第１の画像が表示装置に表示されるまでの遅延を改善することができる。また、注視領域を認識するための認識部１１２を設けたので、注視領域と対応する第１の画像を素早く認識して第２の画像と合成した第３の画像として表示できる。したがって、これによっても表示遅延を改善することができる。
【００５４】
また、基本的な画像処理、すなわち、オフセット調整、ゲイン調整、ガンマ補正等は、現像処理部１０２で実行されるので、表示画面全体の画質が極端に低下することもない。
【００５５】
本実施の形態において、注視領域の個数と大きさは特に限定されるものではなく、ユーザは、注視領域の個数と大きさを必要に応じて任意に変更することができる。
【００５６】
次に、本発明の第３の実施の形態について図面を用いて詳細に説明する。
【００５７】
図８は、第３の実施の形態に係る撮像装置の機能構成を示すブロック図である。この撮像装置は、注視領域の大きさによって第１の画像を生成する際の処理内容を変えて撮影する装置を例示するものである。
【００５８】
図８において、この撮像装置２０３は、上述した図１の撮像装置２０１と基本的な構成が共通する。従って、機能が同じ同一部材には同一の符号を付し、重複する説明は省略する。以下、本実施の形態に係る撮像装置２０３において、第１の実施の形態に係る撮像装置２０１との相違点を中心に説明する。
【００５９】
図８の撮像装置２０３が図１の撮像装置２０１と異なるところは、図１における第１の画像生成部１２０の画像処理部Ａ１０３に代えて、画像処理部Ｅ１１３及び第１画像選択部１１４を設けた点である。画像処理部Ｅ１１３は、注視領域に対して現象処理部１０２からの画像データに異なる複数の画像処理を施して複数の画像を生成し、第１の画像となるべき画像として出力する。複数の画像処理とは、例えば、図１の画像処理部Ａ１０３、画像処理部Ｂ１０５、画像処理部Ｃ１０７、画像処理部Ｄ１０９の処理、または、これらの処理の一部を簡略化した処理などが挙げられる。画像処理部Ｅ１１３は、処理内容の相違に応じて、第１画像選択部１１４に対して、１つ以上の第１の画像となるべき画像、例えば、画像１、画像２、画像３を出力する。
【００６０】
画像２は、画像１に比べて高度の処理が施された画像であり、画像３は、画像２に比べてより高度の処理が施された画像である。第１画像選択部１１４は、画像処理部Ｅ１１３から出力された複数の第１の画像となるべき画像の中から１つの画像を選択して第１の画像を決定する。この場合、第１画像選択部１１４は、ユーザによって選択された注視領域の大きさを基準にして１つの画像を選択する。選択の基準については、後述する。
【００６１】
図９は、第３の実施の形態における画像表示処理の手順を示すフローチャートである。
この画像表示処理は、撮像装置２０３の図示省略した制御部のＣＰＵが、やはり図示省略されたＲＯＭに記憶された画像表示処理プログラムに従って実行する。
【００６２】
以下、図８の撮像装置２０３で実行される画像表示処理について、上述した第１の実施の形態で実行される画像表示処理（図３）との相違点を中心に説明する。
【００６３】
図９において、画像表示処理が開始されると、ＣＰＵは、上述した第１の実施の形態における画像表示処理と同様、撮影を開始し、表示装置１１１に第２の画像を表示させ、遅延改善表示が選択されているか否かを判定する（ステップＳ３０１〜Ｓ３０３）。
【００６４】
ステップＳ３０３の判定の結果、遅延改善表示が選択されている場合（ステップＳ３０３で「ＹＥＳ」）、ＣＰＵは、例えば、ユーザによって指定された注視領域の範囲を設定する（ステップＳ３０４）。図１０は、第３の実施の形態における表示画面の一例を示す図であり、注視領域の範囲を指定する画面を示す図である。図１０において、表示画面上に、一点鎖線で囲まれた範囲Ａ、及び二点鎖線で囲まれた範囲Ｂが指定されている。例えば、ユーザは、図１０の画面において任意の大きさの注視領域を指定する。注視領域の範囲の指定は、ユーザが行う他、あらかじめ物体情報を登録設定しておき、登録物体が入る範囲を指定する方法などがある。
【００６５】
例えば、ユーザの指定に基づいて注視領域の範囲を設定した（ステップＳ３０４）後、ＣＰＵは、注視領域が図１０の範囲Ａよりも大きいか否か判定する（ステップＳ３０５）。ステップＳ３０５の判定の結果、注視領域が範囲Ａよりも大きい場合（ステップＳ３０５で「ＹＥＳ」）、ＣＰＵは、図８の第１の画像生成部１２０における画像１を第１の画像として選択して画像合成部１１０に送信する。そして、ＣＰＵは、画像合成部１１０を制御して第２の画像に画像１を合成して第３の画像を生成し、表示装置１１１に表示して本処理を終了する（ステップＳ３０６）。第３の画像の生成方法は、第１の実施の形態と同様である。
【００６６】
一方、ステップＳ３０５の判定の結果、注視領域が範囲Ａよりも大きくない場合（ステップＳ３０５で「ＮＯ」）、ＣＰＵは、注視領域が範囲Ｂよりも大きいか否か判定する（ステップＳ３０７）。ステップＳ３０７の判定の結果、注視領域が範囲Ｂよりも大きい場合（ステップＳ３０７で「ＹＥＳ」）、ＣＰＵは、図８の第１の画像生成部１２０における画像２を第１の画像として選択して画像合成部１１０に送信する。そして、ＣＰＵは、画像合成部１１０を制御して第２の画像に画像２を合成して第３の画像を生成し、表示装置１１１に表示して本処理を終了する（ステップＳ３０８）。
【００６７】
また、ステップＳ３０７の判定の結果、注視領域が範囲Ｂよりも大きくない場合（ステップＳ３０７で「ＮＯ」）、ＣＰＵは、図８の第１の画像生成部１２０における画像３を第１の画像として選択して画像合成部１１０に送信する。そして、ＣＰＵは、画像合成部１１０を制御して第２の画像に画像３を合成して第３の画像を生成し、表示装置１１１に表示して本処理を終了する（ステップＳ３０９）。
【００６８】
図９の処理によれば、大きさを変えて複数準備された注視領域の大きさに従って第１の画像を生成する際の処理内容を変更することができる。例えば、注視領域が最も小さい場合の処理として、図１における画像処理部Ａ１０３の処理、図８における画像処理部Ｂ１０５、画像処理部Ｃ１０７、及び画像処理部Ｄ１０９の処理の全て、またはその大部分を選択することができる。画面が小さい場合は、処理時間がかからないの、複雑な処理まで行うことができる。これによって、注視領域の画質を第２の画像と同程度に向上させることができるので、表示画像全体の画質の低下を防止することができる。
【００６９】
本実施の形態において、画像処理部Ｅ１１３は、注視領域の大きさが小さくなるほど該注視領域に対する処理内容をより高度なものとする。例えば、一番小さい画像３は、現像処理部１０２の処理画像の１部に対し、画像処理部Ｂ１０５、画像処理部Ｃ１０７、及び画像処理部Ｄ１０９の処理が施された画像である。また、画像３よりも大きい画像２は、例えば、現像処理部１０２の処理画像の１部に対し、画像処理部Ｂ１０５、及び画像処理部Ｃ１０７の処理が施された画像である。また、画像２よりも大きい画像１は、現像処理部１０２の処理画像の１部に対し、例えば、画像処理部Ｂ１０５の処理のみが施された画像である。
【００７０】
本実施の形態において、画像処理部Ｂ１０５の処理は、例えば、レンズの歪曲収差を補正する処理である。また、画像処理部Ｃ１０７の処理は、例えば、ノイズを除去する処理であり、画像処理部Ｄ１０９の処理は、例えば、色調整処理である。
【００７１】
本実施の形態において、画像１、画像２及び画像３に対する処理内容は、画像処理部Ｅ１１３で確保できる処理時間に従って好適に決定される。
【００７２】
本実施の形態においては、説明の便宜上、注視領域を設定する際の目安となる範囲を範囲Ａ及び範囲Ｂとして説明したが、範囲の数は、特に限定されるものではない。従って、画像処理部Ｅ１１３内における画像処理の種類又は時間に応じて範囲の数を増加させてもよい。
【００７３】
また、本実施の形態において、画像処理部Ｅ１１３の出力数は、特に限定されるものではなく、１つ以上であればよい。なお、画像処理部Ｅ１１３における処理は、処理内容ごとに必要とする時間が異なり、注視領域の大きさによっては所望の時間内に処理が完了しない場合がある。従って、第１画像選択部１１４は、画像処理部Ｅ１１３から出力された画像であっても処理が完了していないものは、選択しないように制御される。
【００７４】
次に、本発明の第４の実施の形態について図面を用いて詳細に説明する。
【００７５】
図１１は、第４の実施の形態に係る撮像装置の機能構成を示すブロック図である。この撮像装置は、ユーザによって許容される表示遅延時間の長さに従って第１の画像を生成する際の処理内容を変えて撮影する装置を例示するものである。
【００７６】
表示遅延時間として、どれだけ許容できるかは、ユーザによって異なる。許容時間が長ければ、その分、表示画質を上げる画像処理を行うことができる。一方、許容時間が短ければ、画像処理時間をできるだけ短くする必要がある。なお、この場合、画像処理に要する時間が短いので、その分、画質が低下する。
【００７７】
図１１において、この撮像装置２０４は、上述した図１の撮像装置２０１と基本的な構成が共通する。従って、機能が同じ同一部材には同一の符号を付し、重複する説明を省略する。以下、本実施の形態に係る撮像装置２０４において、第１の実施の形態に係る撮像装置２０１との相違点を中心に説明する。
【００７８】
図１１の撮像装置２０４が図１の撮像装置２０１と異なるところは、第１の画像決定部１１５を追加した点である。第１の画像決定部１１５は、画像処理Ａ１０３の出力画像である第１の画像となるべき画像と、画像処理部Ｂ１０５の出力画像である画像Ｂと、画像処理部Ｃ１０７の出力画像である画像Ｃから第１の画像を決定して画像合成部１１０に送信する。なお、画像処理Ａ１０３は、第１の画像となるべき画像を１つ以上生成する。また、画像Ｂ及び画像Ｃは、それぞれ画像処理部Ｂ１０５及び画像処理部Ｃ１０７から出力され、第１の画像と同じ注視領域を含む同じ大きさの画像として切り出されたものである。画像Ｂ及び画像Ｃは、上述の第１の画像となるべき画像に対応する画像であり、別の第１の画像となるべき画像に相当する。
【００７９】
図１２は、第４の実施の形態における画像表示処理の手順を示すフローチャートである。この画像表示処理は、撮像装置２０４の図示省略した制御部のＣＰＵが、やはり図示省略されたＲＯＭに記憶された画像表示処理プログラムに従って実行する。
【００８０】
以下、図１１の撮像装置２０４で実行される画像表示処理について、上述した第１の実施の形態で実行される画像表示処理（図３）との相違点を中心に説明する。
【００８１】
図１２において、画像表示処理が開始されると、ＣＰＵは、上述した第１の実施の形態における画像表示処理と同様、撮影を開始し、表示装置１１１に第２の画像を表示させ、遅延改善表示が選択されているか否かを判定する（ステップＳ４０１〜Ｓ４０３）。
【００８２】
ステップＳ４０３の判定の結果、遅延改善表示が選択されている場合（ステップＳ４０３で「ＹＥＳ」）、ＣＰＵは、許容される表示遅延時間が、ユーザによって選択されていることを確認する（ステップＳ４０４）。ユーザは、予め又はＣＰＵの求めに応じて許容される表示遅延時間を設定する。表示遅延時間としては、例えば、Ｄ０＝３ｍｓ、Ｄ１＝５ｍｓ、Ｄ２＝１０ｍｓである。
【００８３】
表示遅延時間の設定を確認した（ステップＳ４０４）後、ＣＰＵは、表示遅延時間としてＤ０が選択されている否かを判定する（ステップＳ４０５）。ステップＳ４０５の判定の結果、Ｄ０が選択されている場合（ステップＳ４０５で「ＹＥＳ」）、ＣＰＵは、第１の画像決定部１１５を制御して図１１における第１の画像となるべき画像を第１の画像として選択させる。次いで、ＣＰＵは、画像合成部１１０を制御して第２の画像に選択した第１の画像を合成して第３の画像を生成させ、第３の画像を表示装置１１１に表示する（ステップＳ４０６）。
【００８４】
一方、ステップＳ４０５の判定の結果、ユーザによってＤ０が選択されていない場合（ステップＳ４０５で「ＮＯ」）、ＣＰＵは、ユーザによって表示遅延時間Ｄ１が選択されているか否か判定する（ステップＳ４０７）。ステップＳ４０７の判定の結果、表示遅延時間としてＤ１が選択されている場合（ステップＳ４０７で「ＹＥＳ」）、ＣＰＵは、第１の画像決定部１１５を制御して図１１における画像Ｂを第１の画像として選択させる。次いで、ＣＰＵは、画像合成部１１０を制御して第２の画像に選択した第１の画像を合成して第３の画像を生成させ、第３の画像を表示装置１１１に表示する（ステップＳ４０８）。
【００８５】
また、ステップＳ４０７の判定の結果、表示遅延時間Ｄ１が選択されていない場合（ステップＳ４０７で「ＮＯ」）、ＣＰＵは、第１の画像決定部１１５を制御して図１１における画像Ｃを第１の画像として選択させる。次いで、ＣＰＵは、画像合成部１１０を制御して第２の画像に選択した第１の画像を合成して第３の画像を生成させ、第３の画像を表示装置１１１に表示する（ステップＳ４０９）。なお、第３の画像の生成方法は、第１の実施の形態と同様である。
【００８６】
図１２の処理によれば、ユーザによって許容される表示遅延時間がＤ０（３ｍｓ）の場合は、画像処理部Ａ１０３の処理だけが施された第１の画像となるべき画像を第１の画像として選択して第３の画像を形成する。また、許容される表示遅延時間がＤ１（５ｍｓ）の場合は、画像処理部Ｂ１０５の処理が施された画像Ｂを第１の画像として選択して第３の画像を形成する。更にまた、許容される表示遅延時間がＤ２（１０ｍｓ）の場合は、画像処理部Ｂ１０５の処理および画像処理部Ｃ１０７の処理が施された画像Ｃを第１の画像として選択して第３の画像を形成する。すなわち、ユーザが許容できる表示遅延時間に応じた処理が施された画像を、第２の画像に合成させる第１の画像として選択することによって、表示遅延の許容範囲内で、表示画面全体の画質低下を好適に軽減することができる。
【００８７】
上述の各実施の形態において、第２の画像を生成するための画像処理部として、画像処理部Ｂ１０５、画像処理部Ｃ１０７、画像処理部Ｄ１０９の３つを例示して説明したが、第２の画像を生成するための画像処理部は、特に、これらに限定されるものではない。すなわち、第２の画像を生成するための画像処理部は、少なくとも１つ以上の画像処理を実行できる画像処理部であればよい。
【符号の説明】
【００８８】
１００  レンズ群
１０１  撮像センサー部
１０２  現像処理部
１０３  画像処理部Ａ
１０４  記憶部Ｂ
１０５  画像処理部Ｂ
１０６  記憶部Ｃ
１０７  画像処理部Ｃ
１０８  記憶部Ｄ
１０９  画像処理部Ｄ
１１０  画像合成部
１１１  表示装置
１１３  画像処理部Ｅ
１１４  第１画像選択部
１１５  第１の画像決定部
２０１〜２０４  撮像装置
【図１】
2016076771.tif 000003
【図２】
2016076771.tif 000004
【図３】
2016076771.tif 000005
【図４】
2016076771.tif 000006
【図５】
2016076771.tif 000007
【図６】
2016076771.tif 000008
【図７】
2016076771.tif 000009
【図８】
2016076771.tif 000010
【図９】
2016076771.tif 000011
【図１０】
2016076771.tif 000012
【図１１】
2016076771.tif 000013
【図１２】
2016076771.tif 000014