(57)【要約】【課題】一部の領域の画像を読み出す設定がなされた場合でも、適切な構図の画像を生成できるようにすることである。【解決手段】撮像装置は、撮像素子から画像を読み出す読み出し手段と、読み出された画像を基に構図を決定する決定手段と、読み出された画像から決定された構図の画像を生成する生成手段を有し、撮像素子の最大撮像領域の一部である第１の領域から画像を読み出す設定がなされている場合に、予め定められた条件を満たすと、第１の領域よりも広い第２の領域の画像を読み出し、第２の領域の画像を基に決定された構図の画像を生成する。【選択図】図６
2019161532.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から画像を読み出す読み出し手段と、
前記読み出し手段により読み出された画像を基に構図を決定する決定手段と、
前記読み出し手段により読み出された画像から前記決定手段により決定された構図の画像を生成する生成手段を有し、
前記読み出し手段が前記撮像素子の最大撮像領域の一部である第１の領域から画像を読み出す設定がなされている場合に、予め定められた条件を満たすと、前記読み出し手段が前記撮像素子の前記第１の領域よりも広い第２の領域の画像を読み出し、前記生成手段が前記第２の領域の画像から前記決定手段により決定された構図の画像を生成することを特徴とする撮像装置。
【請求項２】
前記予め定められた条件は、前記決定手段により決定された構図の領域が前記第１の領域からはみ出していることを含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、前記決定された構図の領域が前記第１の領域からはみ出していない場合には、前記第１の領域の画像から前記決定された構図の画像を生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記読み出し手段は、電子ズームによる拡大が指示された場合に、前記第１の領域の画像を読み出し、
前記生成手段は、前記決定された構図の領域の画像を拡大することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記読み出し手段は、前記撮像素子の最大撮像領域のアスペクト比とは異なるアスペクト比の画像の撮像が指示された場合に、前記第１の領域の画像を読み出すことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項６】
電子ビューファインダ表示の場合に、前記読み出し手段が前記第１の領域の画像を読み出して、前記決定手段が前記第１の領域の画像を基に構図を決定し、
前記電子ビューファインダ表示の後に静止画撮影が指示された場合に、前記電子ビューファインダ表示のときに前記決定手段により決定された構図の領域が前記第１の領域からはみ出していた場合には、前記読み出し手段が前記第２の領域の画像を読み出すことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
ユーザの指示に応じて、前記決定手段が構図を決定する機能をオンにするか否かを設定する制御手段を有し、
前記予め定められた条件は、前記制御手段が、前記決定手段が構図を決定する機能をオンに設定することを含むことを特徴とする請求項１に記載の撮像装置。
【請求項８】
撮像素子から画像を読み出す読み出しステップと、
前記読み出された画像を基に構図を決定する決定ステップと、
前記読み出された画像から前記決定ステップにおいて決定された構図の画像を生成する生成ステップを有し、
前記読み出しステップでは、前記撮像素子の最大撮像領域の一部である第１の領域から画像を読み出す設定がなされている場合に、予め定められた条件を満たすと、前記撮像素子の前記第１の領域よりも広い第２の領域の画像を読み出し、
前記生成ステップでは、前記第２の領域の画像から前記決定された構図の画像を生成することを特徴とする撮像装置の制御方法。
【請求項９】
コンピュータを、請求項１〜７のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。
【背景技術】
【０００２】
画像を解析してより良い構図を提案する自動構図解析の機能が知られている。その機能は、構図解析を行って、主要被写体をバランス良く配置する、あるいは主要被写体を大胆に切り取る等の構図を作り出すことで、撮影者に構図表現の広がりを提案する。
【０００３】
特許文献１には、トリミング領域候補内の所定の位置に被写体領域を配置するように各トリミング領域候補を設定する画像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５８８２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
最大画角の上下または左右の画像を削除することにより様々なアスペクト比を実現する場合に、自動構図解析が難しくなる課題がある。ユーザ設定によって最大画角以外のアスペクト比が選択されると、自動構図解析により構図解析可能な領域が狭くなる。そのために、被写体の配置を変更する余裕が取れなくなり、自動構図選択の選択肢が少なくなってしまう。また、電子ズーム処理によって中心付近の画像を引き伸ばす設定を使用した場合にも同様に、自動構図解析による構図選択の選択肢が少なくなってしまう。
【０００６】
本発明の目的は、一部の領域の画像を読み出す設定がなされた場合でも、適切な構図の画像を生成できるようにすることである。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像素子から画像を読み出す読み出し手段と、前記読み出し手段により読み出された画像を基に構図を決定する決定手段と、前記読み出し手段により読み出された画像から前記決定手段により決定された構図の画像を生成する生成手段を有し、前記読み出し手段が前記撮像素子の最大撮像領域の一部である第１の領域から画像を読み出す設定がなされている場合に、予め定められた条件を満たすと、前記読み出し手段が前記撮像素子の前記第１の領域よりも広い第２の領域の画像を読み出し、前記生成手段が前記第２の領域の画像から前記決定手段により決定された構図の画像を生成する。
【発明の効果】
【０００８】
本発明によれば、一部の領域の画像を読み出す設定がなされた場合でも、適切な構図の画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成例を示すブロック図である。
【図２】アスペクト比を変更する際の領域を示す図である。
【図３】撮影者が決定した構図を示す図である。
【図４】自動構図解析による被写体の最適配置を示す図である。
【図５】電子ズーム処理を行う際の領域を示す図である。
【図６】自動構図解析を示すフローチャートである。
【図７】静止画撮影時の自動構図解析を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、アスペクト比の変更や電子ズーム処理を有効にした場合においても、適切な自動構図選択を行う方法について説明する。
【００１１】
図１は、本発明の実施形態に係る撮像装置１２０の構成例を示すブロック図である。撮像部１００は、撮像素子（イメージセンサ）により被写体の光像を画像信号に変換し、画像信号をアナログからデジタルに変換し、画像データを出力するカメラユニットである。撮像部１００は、操作部１０５などを介して入力されたユーザによる撮像指示を入力すると、画像データを生成する。中央処理装置（ＣＰＵ）１０１は、その画像データを撮像データとして、外部メモリ制御部１１１の外部メモリ（記録媒体）に記録する。撮像部１００は、一度の撮像指示により、同一の被写体を複数の視点から捉えた、互いに視差のある複数の画像データ（以下、視差画像データと呼ぶ）を生成する。表示部１０６は、撮像装置１２０の背面に設けられ、撮像部１００により生成された画像データを、リアルタイムでライブビュー機能により表示する。
【００１２】
ＣＰＵ１０１は、撮像装置１２０内の各構成部を統括的に制御するプロセッサである。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリおよびワークエリア等として機能するメモリである。ＲＯＭ１０３は、ＣＰＵ１０１が実行するプログラム等を格納するメモリである。バス１０４は、各種データの伝送経路である。例えば、撮像部１００は、バス１０４を介して、画像データをデジタル信号処理部１０９等に出力する。操作部１０５は、ユーザの指示を入力する入力デバイスであり、ボタンやモードダイヤルなどのハードウェアを有する。表示部１０６は、画像や文字の表示を行う表示装置であり、例えば液晶ディスプレイである。表示部１０６は、タッチスクリーンとしてのタッチ入力機能を有していてもよい。その場合、操作部１０５の機能の一部を表示部１０６が担うことになる。 表示制御部１０７は、表示部１０６に表示される画像や文字の表示制御を行う制御回路である。
【００１３】
撮像部制御部１０８は、ＣＰＵ１０１の指示に基づき、フォーカスを合わせる、シャッタを開く／閉じる、開口絞りを調節するなどの、撮像部１００の制御を行う制御回路である。デジタル信号処理部１０９は、バス１０４を介して画像データを入力し、その画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種画像処理を行う処理回路である。エンコーダ部１１０は、バス１０４を介して画像データを入力し、その画像データに対して、ＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理回路である。
【００１４】
外部メモリ制御部１１１は、撮像装置１２０をパーソナルコンピュータ（ＰＣ）や外部メモリ（例えば、ハードディスク、メモリーカード、ＵＳＢメモリ）に接続するためのインターフェースである。外部メモリ制御部１１１は、画像データをＰＣまたは外部メモリに出力（格納）することができる。画像処理部１１２は、撮像部１００により生成された画像データ、またはデジタル信号処理部１０９から出力された画像データに対して、後述する自動構図解析処理、表示画像の生成などの画像処理を行う処理回路である。
【００１５】
図２は、撮像部１００の撮像素子の画像領域を示す図である。領域２０１は、撮像部１００の撮像素子から読み出される最大撮像領域（最大画角領域）を示しており、３：２のアスペクト比である。領域２０２は、撮像部１００の撮像素子から読み出される１６：９のアスペクト比の画像の領域を示している。領域２０２は、最大撮像領域２０１のアスペクト比とは異なるアスペクト比の領域である。１６：９のアスペクト比の領域２０２の画像は、最大撮像領域２０１の画像に対して上下の領域を削減することにより得られる。
【００１６】
ユーザは、操作部１０５の操作により、３：２のアスペクト比の画像の撮影、または１６：９のアスペクト比の画像の撮影を選択することができる。例えば、撮像部１００は、ＣＰＵ１０１により、３：２のアスペクト比の画像の撮像が指示されると、最大撮像領域２０１の画像を読み出す。また、撮像部１００は、ＣＰＵ１０１により、１６：９のアスペクト比の画像の撮像が指示されると、領域２０２の画像を読み出す。領域２０２の画像は、最大撮像領域２０１の画像の一部の画像である。
【００１７】
図３は、撮影者による画像の構図決定を説明するための図である。領域３０１は、図２の領域２０１と同様に、最大撮像領域（３：２のアスペクト比）を示している。領域３０２は、図２の領域２０２と同様に、１６：９のアスペクト比の画像の領域を示している。被写体３０３は、領域３０２の中央に配置される日の丸構図と呼ばれる構図になっている。被写体３０３は、領域３０２の中央に配置して日の丸構図としながらも、１６：９のアスペクト比の領域３０２を撮影画角とすることで、パノラマ感を出すように構成されている。
【００１８】
図４は、自動構図選択による構図決定を説明するための図である。領域４０１は、図２の領域２０１と同様に、最大撮像領域（３：２のアスペクト比）を示している。領域４０２は、図２の領域２０２と同様に、１６：９のアスペクト比の画像の領域を示している。被写体４０３は、図３の被写体３０３に対応する。領域４０４は、撮像装置１２０の自動構図解析により設定した構図の領域を示している。図３では、撮影者が決定した被写体３０３を含む領域３０２の日の丸構図を示した。図４では、の４０４では被写体４０３を三分割交点に配置するような領域４０４の構図を決定している。自動構図解析により設定された領域４０４は、被写体４０３を三分割交点のポイントに配置することで、被写体４０３と背景のバランスを最適化する構図となっている。図４の例では、領域４０４は、１６：９のアスペクト比の領域４０２からはみ出している。１６：９のアスペクト比の領域４０２から構図として最適な領域４０４を切り出すことは困難である。
【００１９】
図５は、電子ズーム処理する場合の領域を説明するための図である。領域５０１は、図２の領域２０１と同様に、最大撮像領域（３：２のアスペクト比）を示している。領域５０２は、図４の領域４０４と同様、自動構図解析により設定した構図の領域である。領域５０３は、電子ズームで使用する領域を示している。光学ズームでは、撮像部１００は、レンズ光学系を制御して焦点距離を変化させ、画像を拡大する。電子ズームでは、撮像部１００は、中央部の画像の領域５０３を拡大表示することで、擬似的に焦点距離を伸ばす。最大撮像領域５０１の画像を読み出す場合には、フレームレートを向上させるために、画素データの垂直方向または水平方向の少なくともどちらか一方を加算平均や間引き処理によって削減することで、データ量を減らす。例えば、撮像部１００は、最大撮像領域５０１の画像の垂直方向のライン数を減らす。電子ズーム処理する場合に、最大撮像領域５０１の中から電子ズーム処理領域５０３を切り出して、最大撮像領域５０１のサイズに拡大すると、データ量が削減された画像を拡大するために、ジャギーが発生するなどの画質劣化が生じてしまう。しかし、近年では、電子ズーム処理する場合には、撮像素子から電子ズーム領域５０３の画像だけを読み出して拡大処理する方式が主流である。この方式では、撮像素子の画像データを垂直方向または水平方向に削減せず、読み出す領域を小さくすることでデータ量を減らすことができるため、電子ズーム領域５０３を最大撮像領域５０１のサイズに拡大した場合に画質劣化を抑えることが可能である。図５の例では、自動構図解析により設定された領域５０２は、電子ズーム領域５０３からはみ出しており、電子ズーム領域５０３から構図として最適な領域５０２を切り出すことが困難である。
【００２０】
図６は、電子ビューファインダ表示状態または動画撮影状態において自動構図解析を行う方法を示すフローチャートである。ステップＳ６０１では、ＣＰＵ１０１は、ユーザの操作部１０５の操作により、電子ズームによる拡大が指示され、電子ズーム機能がオンであるか否かを判定する。ＣＰＵ１０１は、電子ズーム機能がオンである場合にはステップＳ６０５に進み、電子ズーム機能がオフである場合にはステップＳ６０２に進む。
【００２１】
ステップＳ６０２は、電子ズームをしない場合の処理である。ステップＳ６０２では、ＣＰＵ１０１は、撮像部１００の撮像素子の最大撮像領域４０１の画像を読み出し、その読み出した画像の拡大は行わない。次に、ステップＳ６０３では、ＣＰＵ１０１は、ユーザの操作部１０５の操作により、自動構図解析機能がオンであるか否かを判定する。ＣＰＵ１０１は、自動構図解析機能がオンである場合にはステップＳ６０４に進み、自動構図解析機能がオフである場合には図６の処理を終了する。
【００２２】
ステップＳ６０４では、ＣＰＵ１０１は、上記の読み出した最大撮像領域４０１の画像を基に、自動構図解析処理を行う。ＣＰＵ１０１は、図４を用いて説明したように、上記の読み出した最大撮像領域４０１の画像の被写体４０３を基に自動構図解析を行い、好適な構図となる領域４０４を設定する。そして、ＣＰＵ１０１は、最大撮像領域４０１の画像から領域４０４の画像を切り出す。自動構図解析処理の詳細については、図４で説明したような三分割交点を用いる方法など様々な手法を用いることができ、特許文献１にもその一例が示されている。
【００２３】
ステップＳ６０５は、電子ズームをする場合の処理である。ステップＳ６０５では、ＣＰＵ１０１は、図５を用いて説明したように、撮像部１００の撮像素子の電子ズーム領域５０３の画像のみを読み出す。電子ズーム領域５０３は、撮像素子の最大撮像領域５０１の一部の領域である。次に、ステップＳ６０６では、ＣＰＵ１０１は、ユーザの操作部１０５の操作により、自動構図解析機能がオンであるか否かを判定する。ＣＰＵ１０１は、自動構図解析機能がオンである場合にはステップＳ６０７に進み、自動構図解析機能がオフである場合には図６の処理を終了する。
【００２４】
ステップＳ６０７では、ＣＰＵ１０１は、上記の読み出した電子ズーム領域５０３の画像を基に、自動構図解析処理を行う。ＣＰＵ１０１は、図５を用いて説明したように、上記の読み出した電子ズーム領域５０３の画像を基に自動構図解析を行い、好適な構図となる領域を設定する。自動構図解析の方法は、上記のステップＳ６０４と同様である。
【００２５】
次に、ステップＳ６０８では、ＣＰＵ１０１は、ステップＳ６０７の自動構図解析の結果を参照し、図５における自動構図解析により設定された領域５０２が電子ズーム領域５０３からはみ出しているか否かを判定する。ＣＰＵ１０１は、領域５０２が電子ズーム領域５０３からはみ出している場合には、ステップＳ６０９に進む。
【００２６】
領域５０２が電子ズーム領域５０３からはみ出していない場合には、ＣＰＵ１０１は、上記の読み出した電子ズーム領域５０３の画像から領域５０２の画像を切り出し、領域５０２の画像を拡大処理する。これにより、電子ズームが実現され、領域５０２の拡大画像が生成される。
【００２７】
ステップＳ６０９は、自動構図解析により設定された領域５０２が電子ズーム領域５０３からはみ出している場合の処理である。ステップＳ６０９では、ＣＰＵ１０１は、撮像部１００の撮像素子の最大撮像領域５０１の画像を読み出し、その最大撮像領域５０１の画像の中の領域５０２の画像を切り出し、領域５０２の画像を拡大処理することで電子ズームを実現する。これにより、領域５０２の拡大画像が生成される。なお、ここで必ずしも最大撮像領域５０１の画像を読み出す必要はなく、電子ズーム領域５０３よりも広く、かつ、領域５０２が包含される領域を読み出してもよい。
【００２８】
図６の電子ビューファインダ表示状態または動画撮影状態では、ＣＰＵ１０１は、上記で得られた画像を表示部１０６に表示する。ユーザが、表示部１０６に表示されている画像を確認しながら、静止画撮影ボタンを押すことにより、静止画撮影が指示された場合、ＣＰＵ１０１は、図７の静止画撮影処理を開始する。
【００２９】
図７は、静止画撮影時に自動構図解析を行う方法を示すフローチャートである。ステップＳ７０１では、ＣＰＵ１０１は、ユーザの操作部１０５の操作により、自動構図解析機能がオンであるか否かを判定する。ＣＰＵ１０１は、自動構図解析機能がオンである場合にはステップＳ７０２に進み、自動構図解析機能がオフである場合にはステップＳ７０４に進む。
【００３０】
ステップＳ７０４は、自動構図解析を行わない場合の処理である。ステップＳ７０４では、ＣＰＵ１０１は、撮像部１００の撮像素子の最大撮像領域の画像を読み出し、ステップＳ７０６に進む。
【００３１】
ステップＳ７０２は、自動構図解析を行う場合の処理である。ステップＳ７０２では、ＣＰＵ１０１は、図６で説明した電子ビューファインダ表示状態でのステップＳ６０４またはＳ６０７の自動構図解析の結果を取得する。次に、ステップＳ７０３では、ＣＰＵ１０１は、ステップＳ７０２で取得した電子ビューファインダ表示状態での自動構図解析の結果に基づき、ステップＳ６０８と同様に、自動構図領域５０２が電子ズーム領域５０３からはみ出しているか否かを判定する。ＣＰＵ１０１は、図４の場合には、自動構図領域４０４が１６：９のアスペクト比の領域４０２からはみ出しているか否かを判定し、図５の場合には、自動構図領域５０２が電子ズーム領域５０３からはみ出しているか否かを判定する。ＣＰＵ１０１は、自動構図領域が領域４０２又は５０３からはみ出している場合にはステップＳ７０４に進み、自動構図領域が領域４０２又は５０３からはみ出していない場合にはステップＳ７０５に進む。
【００３２】
ステップＳ７０５は、自動構図領域が撮影画角の領域４０２または５０３からはみ出していない場合の処理である。ステップＳ７０５では、ＣＰＵ１０１は、ユーザにより設定されたアスペクト比または電子ズームに応じて、撮像部１００の撮像素子の一部の領域４０２または５０３の画像を読み出し、ステップＳ７０６に進む。
【００３３】
ステップＳ７０６では、ＣＰＵ１０１は、ユーザの操作部１０５の操作により、自動構図解析機能がオンであるか否かを判定する。ＣＰＵ１０１は、自動構図解析機能がオンである場合にはステップＳ７０７に進み、自動構図解析機能がオフである場合には図７の処理を終了する。
【００３４】
ステップＳ７０７では、ＣＰＵ１０１は、ステップＳ７０４またはＳ７０５で読み出した画像に対して自動構図解析を行い、自動構図領域を設定する。そして、ＣＰＵ１０１は、ステップＳ７０４またはＳ７０５で読み出した画像から自動構図領域の画像を切り出す。電子ズーム機能がオンの場合には、ＣＰＵ１０１は、その切り出した画像を拡大する。これにより、自動構図の画像が生成される。自動構図解析の方法は、上記のステップＳ６０４と同様である。
【００３５】
その後、ＣＰＵ１０１は、外部メモリ制御部１１１を介して、上記で得られた画像を撮影静止画として外部メモリに記録する。また、このとき上記で得られた画像とともに、操作部１０５の操作に応じた選択されたアスペクト比の元画像を記録するようにしてもよい。すなわち、１６：９のアスペクト比が選択された場合には、ステップＳ７０４で最大撮像領域が読み出されたか、あるいは、ステップＳ７０５で部分読み出しが行われたかに関わらず、１６：９のアスペクト比となる画像を記憶する。
【００３６】
本実施形態によれば、アスペクト比または電子ズームを設定した場合においても、撮影者のフレーミングでは切れてしまう被写体も、自動構図領域に含めることが可能となり、最適な自動構図を提供することができる。
【００３７】
なお、本実施形態では、アスペクト比が３：２の最大撮像領域２０１の画像を、アスペクト比が１６：９の領域２０２の画像に変更する際の動作を説明したが、これに限定されるものではない。例えば、最大撮像領域２０１のアスペクト比が４：３の場合や、アスペクト比が１：１の領域の画像に変更する際にも適用することが可能である。
【００３８】
また、電子ズーム領域５０３は、拡大倍率が１つだけの場合について説明したが、これに限定されるものではない。例えば、電子ズーム倍率を段階的に切り替え可能である場合には、複数の電子ズーム領域を用いることが可能である。さらに、本実施形態では、部分領域を読み出した場合に自動構図解析により設定された領域がはみ出す場合には、読み出し領域を最大撮像領域に切り替えていたが、読み出し領域を切り替える条件は、これに限られるものではない。自動構図解析により設定された領域がはみ出すか否かを判定するまでもなく、自動構図解析機能がオンである場合には、オンでない場合に比べて、読み出し領域を拡大するように構成してもよい。
【００３９】
また、撮像装置１２０は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
【００４０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４１】
以上、特定の実施形態を参照しながら本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を斟酌するべきである。
【符号の説明】
【００４２】
１００  撮像部、１０１  ＣＰＵ、１０２  ＲＡＭ、１０３  ＲＯＭ、１０４  バス、１０５  操作部、１０６  表示部、１０７  表示制御部、１０８  撮像部制御部、１０９  デジタル信号処理部、１１０  エンコーダ部、１１１  外部メモリ制御部、１１２  画像処理部、１２０  撮像装置
【図１】
2019161532.tif 000003
【図２】
2019161532.tif 000004
【図３】
2019161532.tif 000005
【図４】
2019161532.tif 000006
【図５】
2019161532.tif 000007
【図６】
2019161532.tif 000008
【図７】
2019161532.tif 000009