(57)【要約】【課題】動きのある被写体、表示用静止画の範囲外へのフレーミングを考慮した撮影領域の位置の提示を行う。【解決手段】光学ズームと電子ズームのズーム倍率を変更するズーム倍率変更手段と、表示用画像を表示する表示手段と、初期の表示用画像として撮像手段により撮影された広角端での表示用静止画を記憶する記憶手段と、当該撮像装置の位置姿勢を検出する位置姿勢検出手段と、ズーム倍率と位置姿勢により、広角端での表示用静止画から変更された撮影領域の位置を算出する撮影領域算出手段と、広角端での表示用静止画に算出された撮影領域の位置を重畳することによって、表示手段に表示させる表示用画像を生成する画像処理手段とを有する撮像装置であって、画像処理手段は、撮影領域の位置が前記表示用静止画を超えるとき（Ｓ２０１）には、該超える領域を含む新たな表示用画像を生成する（Ｓ２０３〜Ｓ２０６）。【選択図】図３
2011087095.tif 000002
【特許請求の範囲】
【請求項１】
光学ズームと電子ズームのズーム倍率を変更するズーム倍率変更手段と、
表示用画像を表示する表示手段と、
初期の表示用画像として撮像手段により撮影された広角端での表示用静止画を記憶する記憶手段と、
当該撮像装置の位置姿勢を検出する位置姿勢検出手段と、
前記ズーム倍率と前記位置姿勢により、前記広角端での表示用静止画から変更された撮影領域の位置を算出する撮影領域算出手段と、
前記広角端での表示用静止画に前記算出された撮影領域の位置を重畳することによって、前記表示手段に表示させる前記表示用画像を生成する画像処理手段とを有する撮像装置であって、
前記画像処理手段は、前記撮影領域の位置が前記表示用静止画を超えるときには、該超える領域を含む新たな表示用画像を生成することを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記表示用静止画を超える領域を前記表示用静止画に追加するとともに、同サイズの画像領域を前記表示用静止画の反対側から削除することによって、前記新たな表示用画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、前記新たな表示用画像における前記撮影領域の画像を上書き更新することを特徴とする請求項１または２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ズーム倍率変更機能を備える撮像装置に関するものである。
【背景技術】
【０００２】
近年、ズーム倍率の高倍率化が進み、光学ズーム３０倍以上、光学ズームと電子ズームを併用することで１０００倍以上のズーム倍率を有する撮像装置も存在している。これらの高倍率のズーム倍率を有する撮像装置により、遠くの被写体を手軽に撮影することが可能になった。しかし、高倍率のズーム倍率での撮影においては、撮影している画角が極端に狭くなるため、ユーザは撮影している撮影領域及び被写体を見失い、フレーミングが困難になる状態が発生する。
【０００３】
このような高倍率なズーム倍率で撮影を行う場合、撮影領域の周辺情報、または、撮影領域の位置情報をユーザに提示（画面上に表示することを意味する）することにより、フレーミングを支援する技術が提案されている。
【０００４】
第１の技術として、ワイド端からテレ側へズーム操作を行う際、光学ズームによりズーム倍率制御を行う前に、電子ズームにより撮像素子の有効画素の切り出しサイズを画質が劣化しないサイズまでズーム倍率制御を行う。電子ズームでは、撮像素子の有効画素にて取り込んでいる画像情報の一部を切り出すことにより、見かけ上、焦点距離を伸ばすことでズーム倍率制御を行っている。そのため、撮影領域の周辺情報、すなわち撮像素子の有効画素切り出し領域以外の画像情報も同時に取り込んでいる。このように撮像素子が取り込んだ画像情報、すなわち撮影領域の周辺情報も同時に表示することで、ユーザに撮影領域のみではなく、周辺情報も含め提示することが開示されている（特許文献１）。
【０００５】
第２の技術として、加速度センサを用い、取得した撮像装置の移動方向、移動量及びズーム倍率情報から撮影領域の位置情報を算出する。そして、撮像レンズのワイド位置（ワイド端に限らず、撮影している画角より広角な画角）で撮影した静止画に、撮影領域の位置情報を示すための枠等を重畳表示させる。これにより、広角な静止画内における撮影領域の位置情報をユーザに提示することが開示されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１２４２３号公報
【特許文献２】特開２００７−１０４１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記第１の技術の場合、今日、一般に使用されている撮像素子（１００万画素〜１０００万画素）において、より広角な撮影領域の周辺情報を表示しようとすると、表示量に応じて撮像素子の切り出しサイズを小さくする必要がある。しかしながら、切り出しサイズを小さくすることにより、撮影領域の画素数が小さくなるため、撮影された画像情報が低下して画質の劣化に繋がる。また、撮像素子の切り出しサイズを小さくするのではなく、撮像素子の有効画素数を大きくすることで撮影領域の周辺情報を大きくすることも考えられるが、この場合、コストが高くなってしまう。
【０００８】
第２の技術では、撮影した静止画上に撮影領域の位置情報を重畳表示するため、電子ズームに限らず、光学ズーム領域においても撮影領域の位置情報の提示が可能であり、また、風景などの静物撮影では撮影領域の位置情報の提示が可能である。しかしながら、広角で撮影した静止画を用い、且つ光学ズームでの撮影時において表示用静止画の更新が不可能なため、被写体に動きがある場合、撮影領域の位置を知ることは困難である。また、表示用画像の画像範囲外の位置にフレーミングして撮影する場合、ズーム位置をワイド位置に戻し、表示用画像を再度撮影して表示用画像を更新させる必要がある。すなわち、第２の技術では、動きのある被写体、表示用の静止画の画像範囲外へのフレーミングを考慮した撮影領域の位置情報の提示は困難であった。
【０００９】
（発明の目的）
本発明の目的は、動きのある被写体、表示用静止画の範囲外へのフレーミングを考慮した撮影領域の位置の提示を行うことのできる撮像装置を提供しようとするものである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、光学ズームと電子ズームのズーム倍率を変更するズーム倍率変更手段と、表示用画像を表示する表示手段と、初期の表示用画像として撮像手段により撮影された広角端での表示用静止画を記憶する記憶手段と、当該撮像装置の位置姿勢を検出する位置姿勢検出手段と、前記ズーム倍率と前記位置姿勢により、前記広角端での表示用静止画から変更された撮影領域の位置を算出する撮影領域算出手段と、前記広角端での表示用静止画に前記算出された撮影領域の位置を重畳することによって、前記表示手段に表示させる前記表示用画像を生成する画像処理手段とを有する撮像装置であって、前記画像処理手段が、前記撮影領域の位置が前記表示用静止画を超えるときには、該超える領域を含む新たな表示用画像を生成することを特徴とするものである。
【発明の効果】
【００１１】
本発明によれば、動きのある被写体、表示用静止画の範囲外へのフレーミングを考慮した撮影領域の位置の提示を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例に係る撮像装置の概略構成の一例を示す図である。
【図２】実施例に係る撮影領域の位置情報の提示手順を示すフローチャートである。
【図３】実施例に係る表示用画像の更新手順を示すフローチャートである。
【図４】図３のステップＳ２０３での具体的動作を示す図である。
【図５】図３のステップＳ２０４，Ｓ２０５での具体的動作を示す図である。
【図６】ステップＳ２０６およびステップＳ１０６での具体的動作を示す図である。
【発明を実施するための形態】
【００１３】
本発明を実施するための形態は、以下の実施例の通りである。
【実施例】
【００１４】
図１は本発明の一実施例に係る撮像装置（以下、カメラ）１００の概略構成例を示す図である。図１において、１は外部から入射した光をカメラ１００内部に導く複数枚から成るレンズである。また、ズームに関連するレンズを光軸に対して平行に前後移動することで、光学ズーム倍率を変更することができる。２はレンズ１の駆動状態を検出するレンズ状態検出部、３はレンズ１を駆動するレンズ駆動モータ、４は後述のマイクロコンピュータ１７による制御に基づいてレンズ駆動モータ３へ電力の供給を行うレンズ駆動部である。５は入射する光の量を調整する絞り、６は絞り５の駆動状態を検出する絞り状態検出部、７は絞り５を駆動する絞り駆動モータ、８は後述のマイクロコンピュータ１７による制御に基づいて絞り駆動モータ７へ電力の供給を行う絞り駆動部である。
【００１５】
９はＮＤフィルタ、１０はＮＤフィルタ９の駆動状態を検出するＮＤフィルタ駆動検出部である。１１はＮＤフィルタ９を駆動するＮＤフィルタ駆動モータ、１２は後述のマイクロコンピュータ１７による制御に基づいてＮＤフィルタ駆動モータ１１へ電力の供給を行うＮＤフィルタ駆動部である。ここで、本実施例では、ＮＤフィルタ９を構成した形態を示すが、ＮＤフィルタ９を構成しないカメラであってもよい。ＮＤフィルタ９を構成しないカメラの場合、ＮＤフィルタ駆動モータ１１、ＮＤフィルタ駆動部１２は省略されても構わない。
【００１６】
１３は被写体の撮像を行う撮像素子である。撮像素子１３は、通常ＣＣＤで構成させることが多いが、ＣＣＤ以外の他の撮像素子、例えばＣＭＯＳであっても構わない。１４は後述のマイクロコンピュータ１７による制御に基づいて撮像素子１３を駆動するための駆動パルス等を供給する撮像素子駆動部である。１５は撮像素子１３の各画素に蓄えられた電荷（画像信号）に基づく画像情報をサンプリング及び増幅するためのＣＤＳ（相関二重サンプリング）／ＡＧＣ（自動利得制御）部である。１６はＣＤＳ／ＡＧＣ部１５から出力される画像情報をデジタル信号に変換するＡ／Ｄ変換部である。
【００１７】
１７はカメラ１００における動作を統括的に制御するマイクロコンピュータであり、例えば、後述のデジタル信号処理部１８からの輝度・色等の情報を受けて、各種の演算処理を行う。また、本実施例では、マイクロコンピュータ１７は撮影領域算出手段の機能を持ち、カメラ１００の位置姿勢（カメラの位置およびレンズが向いている方向）、ズーム位置の情報から撮影領域の位置の計算を行う。１８はＡ／Ｄ変換部１６から出力されたデジタルの画像情報に対して種々の信号処理を行うデジタル信号処理部である。このデジタル信号処理部１８により、撮像素子１３の有効画素から取り込まれた画像情報を切り出すことで電子ズームを行う。また、表示用画像にマイクロコンピュータ１７により算出された撮影領域の位置情報を示すための提示枠を重畳する。
【００１８】
１９は撮像した画像を一時的に保存するための記憶部である。２０はカメラ１００で撮像された画像情報を記録する記録媒体である。２１はデジタル信号処理部１８により生成された画像情報を表示するための表示部である。通常、ＬＣＤ（液晶ディスプレイ）、ＥＶＦ（電子ファインダ）などが使用される。本実施例では、表示部２１に撮影領域の位置に提示枠を重畳した表示を行う。
【００１９】
２２はカメラの位置姿勢情報を取得する位置姿勢検出手段を成す位置姿勢情報検出部である。加速度センサなどがこれにあたる。２３は操作スイッチである。この操作スイッチ２３の状態をマイクロコンピュータ１７に送信することで、撮影モード、メニュー切り換え操作など行う。
【００２０】
本実施例のカメラ１００では、ワイド端からテレ側へズーム操作を行う際、レンズ１による光学ズームを行う前に、デジタル信号処理部１８により電子ズームを行う。これは、撮影範囲に対する取り込み範囲を大きくし、撮影領域の周辺の情報を常に得るためである。ここでの電子ズームでは、撮像素子１３の切り出しサイズは画質が劣化しない範囲まで行うものとする。操作スイッチ２３により撮影位置提示モードに変更されている場合、光学ズームのズーム倍率が等倍ではない、すなわち光学ズームのズーム位置がワイド端でない場合、レンズ駆動部４によりレンズ１のレンズ位置をワイド端に移動させる。なお、撮影位置提示モードとは、撮影領域の位置表示モードを意味する。そして、そのレンズ位置で静止画を撮影する。ここで撮影された静止画は撮像素子１３の有効画素にて取り込まれた画像情報から構成され、これを表示用画像の初期画像とする。この時、撮像素子１３の有効画素にて取り込まれた画像情報を用い、電子ズーム中はワイド端の画角を同じ画像情報として取り込んでおり、電子ズーム倍率は等倍でなくても構わない。撮影された静止画は記憶部１９に記憶する。その後、ユーザがズーム倍率を変更しながら自由に撮影することになる。
【００２１】
上記の撮影時、レンズ１の光学ズームの倍率が等倍より大きい場合、位置姿勢情報検出部２２によりカメラ１００の位置姿勢、レンズ状態検出部２によりズーム倍率を取得する。そして、取得したカメラ１００の位置姿勢情報とズーム倍率情報からマイクロコンピュータ１７により撮影領域の位置を算出する。そして、記憶部１９に記憶された表示用静止画に、マイクロコンピュータ１７により算出された撮影領域の位置をデジタル信号処理部１８により重畳させる。ここで、撮影領域の位置は提示枠等の指標を用いて提示するものとする。この表示用画像（表示用静止画）を表示部２１に表示することにより、ユーザに撮影領域の位置を提示することができる。
【００２２】
光学ズームの倍率が等倍の場合は、撮影領域の位置表示を表示部２１に表示しない。これは、電子ズームのみの場合、ユーザが撮影領域の位置を見失うほど狭い画角にならないためである。すなわち、光学ズームの倍率により撮影領域の位置表示の表示／非表示を切り換える。
【００２３】
撮影領域の位置が表示用静止画内に存在する場合、撮像素子１３の有効画素にて取り込まれた画像情報の領域を表示用静止画上に常に上書き更新する。ここで、ワイド端からテレ側へのズーム倍率変更は電子ズームから行うため、電子ズーム領域のみでなく、光学ズーム領域を含め、撮像素子１３の有効画素にて取り込まれた撮影領域の周囲の画像情報も上書きする。そのため、撮影領域の周囲に限られるが、動きのある被写体の場合も動きを考慮して表示することが可能である。光学ズームの倍率が等倍、すなわち光学ズーム位置がワイド端の場合、撮像素子１３の有効画素が取り込んでいる画像情報の画角と撮影領域の画角とが一致するため、表示用静止画を全て更新する。
【００２４】
ここで、フレーミングによりカメラ１００の位置姿勢が変化したため、撮影領域の位置が表示用静止画内の領域を超えたとする。この場合、まず、撮影領域の位置が表示用静止画の表示範囲を超えたことをユーザに知らせるため、撮影領域の位置を提示する提示枠等の指標を点滅させるなどの方法で警告を行う。その後、マイクロコンピュータ１７により撮影領域の位置と表示用静止画から、撮像素子１３の有効画素の取り込み範囲が表示用静止画を超えた範囲に新しい領域を作成する。そして、その領域に撮像素子１３の有効画素にて取り込まれている画像情報を上書き更新することで、表示用静止画の表示範囲外の画像を新たに生成する。このとき、新しく生成した領域を表示用画像の範囲内に納めるため、大きさを調整する。この動作を繰り返すことで、ワイド端で撮影した初期画像である表示用静止画を超えた範囲の画像の生成を行う。
【００２５】
上記説明した一連の処理について、図２及び図３のフローチャートを用いて説明する。なお、図２は撮影領域の位置情報の提示手順を、図３は表示用画像の更新手順を、それぞれ示している。
【００２６】
初めに図２のフローチャートを用いて、撮影領域の位置情報の提示を行う際について説明する。まず、図２のステップＳ１０１にて、撮影位置提示モードが設定されているか否かを判定する。撮影位置提示モードの切り換えには操作スイッチ２３が用いられる。ここで、撮影位置提示モードが設定されている場合は、撮影領域の位置情報を提示するためのステップＳ１０２以降へ進む。撮影位置提示モードでない場合は、撮影している通常のスルー画を表示し、当該フローチャートにおける処理を終了する。
【００２７】
撮影位置提示モードが設定されているとしてステップＳ１０２へ進むと、レンズ１のズーム位置をワイド側に戻し、静止画の撮影を促す。そして、静止画撮影が行われるとその静止画を表示用画像の初期画像とする。なお、ズーム位置がワイド端ではない場合は、ワイド端に移動させる。このとき、現在のズーム位置を記憶し、静止画撮影後、記憶したズーム位置に戻す方法が考えられる。また、撮影した表示用静止画を記憶部１９に一時保存する。このとき、表示用静止画を記録媒体２０に保存することも考えられる。
【００２８】
次のステップＳ１０３では、位置姿勢情報検出部２２によりカメラ１００の位置姿勢やレンズ状態検出部２によりズーム倍率が変更されていないかを判定する。ここで、カメラ１００の位置姿勢、撮像レンズ１のズーム倍率が変更されていると判定した場合はステップＳ１０４へ進む。そして、位置姿勢情報検出部２２、レンズ状態検出部２により得られた各情報から、再度カメラ１００の撮影領域の位置情報をマイクロコンピュータ１７により計算する。また、変更されていないと判定した場合は撮影領域の位置情報は前回と同じ位置であるため、ステップＳ１０４によるマイクロコンピュータ１７の撮影領域の位置計算は行わず、ステップＳ１０３から直ちにステップＳ１０５へ進む。
【００２９】
次のステップＳ１０５では、表示用画像を生成・更新する。表示用画像の生成・更新の詳細については、図３のフローチャートにより後述する。続くステップＳ１０６では、上記ステップＳ１０５により生成・更新された表示用画像上に上記ステップＳ１０４で算出された撮影領域の位置情報を示すため、デジタル画像処理部１８により位置を示す提示枠等の指標を重畳表示する。その後、ステップＳ１０１へ戻る。すなわち、ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０４→Ｓ１０５→Ｓ１０６を繰り返すことで、ユーザに撮影領域の提示を実現する。
【００３０】
次に、上記ステップＳ１０５での表示用画像の生成・更新の手順について、図３のフローチャートにより説明する。
【００３１】
まず、図３のスッテプＳ２０１にて、撮像素子１３の有効画素の取り込んだ画像情報が表示用静止画内であるかどうかをマイクロコンピュータ１７により判定する。この結果、撮像素子１３の有効画素の取り込み範囲が表示用静止画内である場合はステップＳ２０２へ進み、マイクロコンピュータ１７により算出された撮影領域の位置に撮像素子１３の有効画素が取り込んだ画像情報を上書き更新する。なお、レンズ１の光学ズームの倍率が等倍の場合は、撮像素子１３の有効画素が取り込んでいる画像情報はワイド端の画角と一致しているため、表示用画像全体を更新する。
【００３２】
上記ステップＳ２０１にて撮像素子１３の有効画素の取り込んだ画像情報の範囲（取り込み範囲）が表示用静止画の範囲外であると判定した場合は、表示用静止画の範囲外の領域に新たに画像領域を生成するためにステップＳ２０３以降の処理へ進む。
【００３３】
生成・更新手順としては、まず、ステップＳ２０３にて、撮像素子１３の取り込み範囲が表示用静止画の範囲から超えている領域を計算する。例えば図４に示すように、取り込み範囲が表示用静止画の右側を超えている場合は、水平方向に超えている長さを計算する。また、上下のどちらかの場合は、垂直方向の長さを計算する。
【００３４】
次のステップＳ２０４では、図５（ａ）に示すように、表示用静止画に算出された長さ分の領域を新たに生成する。生成された領域には画像情報がないため、グレーアウトなど画像情報が存在する領域と区別ができるようにする。そして、次のステップＳ２０５にて、表示用画像の表示サイズを調整するため、生成された領域と同サイズの画像領域を、追加した反対側の領域から削除する（図５（ｂ）参照）。
【００３５】
そして、次のステップ２０６にて、新たに生成された領域に、マイクロコンピュータ１７により算出したカメラ１００の撮影領域の画像情報を上書き更新する。ここで、図６（ａ）に示すように、新たに生成された領域では、画像情報がない部分が存在する。それらの領域においては、撮像素子１３（カメラ１００）をフレーミングする等で撮影領域の位置を移動させることにより画像情報を上書き更新できる。この処理を繰り返すことで、ワイド端の静止画を取り直すことなく表示用画像を更新することができる。更新した領域には、図２のステップＳ１０６にて図６（ｂ）のように提示枠を表示する。
【００３６】
以上のステップＳ２０３〜Ｓ２０６の手順を経て常に表示用画像を更新することにより、ユーザに対して撮影領域の周辺情報を提示することができる。
【００３７】
上記実施例によれば、撮影位置提示モードが選択された場合、以下の手順で処理を行う。まず、撮像レンズ１の光学ズーム倍率をワイド端（最大広角端）に変更して撮像素子１３を用いて表示用静止画を撮影し、その表示用静止画を初期表示用画像として記憶部１９に記憶する。その後、カメラの姿勢変更、および、光学ズーム、電子ズームにより、ズーム倍率が変更されて撮影されたとする。すると、カメラ１００の位置姿勢とズーム倍率から撮影領域の位置を算出する。そして、上記の記憶された表示用静止画上に、算出された撮影領域の位置を提示する指標を重畳し、指標が重畳された表示用静止画をＬＣＤ等の表示部２１に表示する。そして、表示用静止画内の撮影領域を含む、撮像素子１３にて撮像されている有効画素の取り込み領域の範囲を常に更新する。ここで、電子ズームにより撮像素子１３の有効画素にて取り込まれた画像情報を切り出すため、撮像素子１３にて取り込まれる領域は撮影領域より大きい。そのため、撮影領域、及び、その周辺の提示をユーザに行うことが可能である。
【００３８】
上記の通り、撮影領域の位置が表示用静止画の範囲内の場合は、算出された撮影領域の位置の画像を上書き更新する。この時、初期表示用画像として撮影したワイド端の静止画の範囲を超える撮影領域にフレーミングが行われた際には、撮像素子１３の有効画素にて取り込まれている画像情報を用いて表示用静止画の範囲外の画像を新たに生成する。
【００３９】
このように表示用画像上の撮像素子１３の有効画素にて取り込んでいる範囲の画像情報を上書き更新するため、撮影領域の周辺の情報も提示することが可能である。それと同時に、その範囲内では常に画像情報が更新されるため、動きのある被写体を表示することも可能である。また、初期表示用画像として撮影したワイド端の表示用静止画を超える撮影領域にフレーミングが行われた際には、撮像素子１３の有効画素が取り込んでいる画像情報を用いて表示用画像の範囲外の画像を新たに生成するようにしている。よって、再度、ズーム位置をワイド端に戻して撮影する必要が無く、従来に比べ、動きのある被写体や動画などの連続撮影にも対応可能である。
【符号の説明】
【００４０】
１      レンズ
１３    撮像素子
１７    マイクロコンピュータ
１８    デジタル信号処理部
２０    記憶部
２１    表示部
２２    位置姿勢情報検出部
２３    操作スイッチ
【図１】
2011087095.tif 000003
【図２】
2011087095.tif 000004
【図３】
2011087095.tif 000005
【図４】
2011087095.tif 000006
【図５】
2011087095.tif 000007
【図６】
2011087095.tif 000008