(57)【要約】【課題】被写体が移動している場合であっても、当該被写体を含む画像を容易に撮像する。【解決手段】画像を連続して撮像する撮像部と、撮像部により連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する主要被写体決定部と、複数の画像に含まれる他の画像における主要被写体を、一の画像の主要被写体とのマッチングにより検出する主要被写体追従部と、主要被写体追従部により検出された主要被写体に基づいて、撮像部における他の画像の撮像条件を設定する撮像条件設定部とを備える撮像装置を提供する。【選択図】図１
2006060329.tif 000002
【特許請求の範囲】
【請求項１】
画像を連続して撮像する撮像部と、
前記撮像部により連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する主要被写体決定部と、
前記複数の画像に含まれる他の画像における主要被写体を、前記一の画像の主要被写体とのマッチングにより検出する主要被写体追従部と、
前記主要被写体追従部により検出された主要被写体に基づいて、前記撮像部における前記他の画像の撮像条件を設定する撮像条件設定部と
を備える撮像装置。
【請求項２】
前記主要被写体追従部は、前記他の画像について、検出した主要被写体を含む一部の領域を選択し、
当該撮像装置は、
前記他の画像における、前記主要被写体追従部により選択された一部の領域の画像のみを表示する表示部
を更に備える請求項１に記載の撮像装置。
【請求項３】
前記他の画像を、前記主要被写体追従部により選択された、前記他の画像中の一部の領域を示す情報に対応付けて格納する格納部を更に備える請求項２に記載の撮像装置。
【請求項４】
前記他の画像における、前記主要被写体追従部により選択された一部の領域の画像のみを格納する格納部を更に備える請求項２に記載の撮像装置。
【請求項５】
前記主要被写体追従部は、前記他の画像について、検出した主要被写体の大きさ、及び当該主要被写体を含む、選択するべき領域の大きさの比を予め定められた値にするべく、当該主要被写体を含む領域の大きさを決定する請求項２に記載の撮像装置。
【請求項６】
前記他の画像について、前記主要被写体追従部により選択された領域の中心の、前記他の画像の中心からの変位に基づいて生じている画像の歪みを補償するべく、当該選択された領域の画像を変形する画像変形部を更に備える請求項２に記載の撮像装置。
【請求項７】
前記撮像部は、魚眼レンズを含む光学系を有し、
前記画像変形部は、前記他の画像について、前記主要被写体追従部により選択された領域の中心の、前記他の画像の中心からの変位に基づいて生じている画像の歪みを補償するべく、前記光学系の収差に基づいて、当該選択された領域の画像を変形する
請求項６に記載の撮像装置。
【請求項８】
前記他の画像について、前記主要被写体追従部により選択された領域の中心が、前記他の画像の外縁近傍に位置する場合に、その旨を利用者に通知する通知部を更に備える請求項２に記載の撮像装置。
【請求項９】
前記通知部は、前記他の画像について、前記主要被写体追従部により選択された領域の中心が、前記他の画像の外縁近傍に位置する場合に、前記撮像部の光軸の向きを、前記他の画像の中心から当該領域の中心への方向に変化させるべき旨を利用者に通知する請求項８に記載の撮像装置。
【請求項１０】
前記通知部は、前記他の画像について、前記主要被写体追従部により選択された領域の中心が、前記他の画像の中心からより遠い程、前記撮像部の光軸の向きを、前記他の画像の中心から当該領域の中心への方向に、より大きく変化させるべき旨を利用者に通知する請求項９に記載の撮像装置。
【請求項１１】
画像を連続して撮像する撮像段階と、
前記撮像段階において連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する主要被写体決定段階と、
前記複数の画像に含まれる他の画像における主要被写体を、前記一の画像の主要被写体とのマッチングにより検出する主要被写体追従段階と、
前記主要被写体追従段階において検出された主要被写体に基づいて、前記撮像段階における前記他の画像の撮像条件を設定する撮像条件設定段階と
を備える撮像方法。
【請求項１２】
撮像装置を機能させる撮像プログラムであって、
前記撮像装置を、
画像を連続して撮像する撮像部と、
前記撮像部により連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する主要被写体決定部と、
前記複数の画像に含まれる他の画像における主要被写体を、前記一の画像の主要被写体とのマッチングにより検出する主要被写体追従部と、
前記主要被写体追従部により検出された主要被写体に基づいて、前記撮像部における前記他の画像の撮像条件を設定する撮像条件設定部と
を備える撮像装置として機能させる撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。特に本発明は、画像を撮像する撮像装置、撮像方法、及び撮像プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラが急速に普及しており、利用者は、様々な場面で画像を撮像している。しかし、被写体が移動している場合に、被写体を追いかけつつ、ズームやフォーカス等の撮像条件を調整したり、好適なシャッターチャンスで撮像したりすることは、一般の利用者にとっては難しい。
【０００３】
そこで、被写体が有する発信機から出力された信号に基づいて、被写体が最適な構図で撮像されるように、撮像方向やズームを自動的に制御する撮像装置が開示されている（例えば、特許文献１参照。）。
【０００４】
【特許文献１】特開２００３−２７４２５７
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の撮像装置においては、被写体が発信機を有している必要があるので、利用者が手軽に利用することが難しく、また、多様な被写体を撮像することが困難であるという問題があった。また、撮像装置は回転雲台上に設けられている必要があるので、撮像装置を容易に移動させることができず、利用者が撮像したい場面であっても、画像を撮像することができない場合があった。
【０００６】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の形態においては、撮像装置であって、画像を連続して撮像する撮像部と、撮像部により連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する主要被写体決定部と、複数の画像に含まれる他の画像における主要被写体を、一の画像の主要被写体とのマッチングにより検出する主要被写体追従部と、主要被写体追従部により検出された主要被写体に基づいて、撮像部における他の画像の撮像条件を設定する撮像条件設定部とを備える。主要被写体追従部は、他の画像について、検出した主要被写体を含む一部の領域を選択し、当該撮像装置は、他の画像における、主要被写体追従部により選択された一部の領域の画像のみを表示する表示部を更に備えてもよい。
【０００８】
当該撮像装置は、他の画像を、主要被写体追従部により選択された、他の画像中の一部の領域を示す情報に対応付けて格納する格納部を更に備えてもよい。当該撮像装置は、他の画像における、主要被写体追従部により選択された一部の領域の画像のみを格納する格納部を更に備えてもよい。主要被写体追従部は、他の画像について、検出した主要被写体の大きさ、及び当該主要被写体を含む、選択するべき領域の大きさの比を予め定められた値にするべく、当該主要被写体を含む領域の大きさを決定してもよい。
【０００９】
当該撮像装置は、他の画像について、主要被写体追従部により選択された領域の中心の、他の画像の中心からの変位に基づいて生じている画像の歪みを補償するべく、当該選択された領域の画像を変形する画像変形部を更に備えてもよい。撮像部は、魚眼レンズを含む光学系を有し、画像変形部は、他の画像について、主要被写体追従部により選択された領域の中心の、他の画像の中心からの変位に基づいて生じている画像の歪みを補償するべく、光学系の収差に基づいて、当該選択された領域の画像を変形してもよい。
【００１０】
当該撮像装置は、他の画像について、主要被写体追従部により選択された領域の中心が、他の画像の外縁近傍に位置する場合に、その旨を利用者に通知する通知部を更に備えてもよい。通知部は、他の画像について、主要被写体追従部により選択された領域の中心が、他の画像の外縁近傍に位置する場合に、撮像部の光軸の向きを、他の画像の中心から当該領域の中心への方向に変化させるべき旨を利用者に通知してもよい。通知部は、他の画像について、主要被写体追従部により選択された領域の中心が、他の画像の中心からより遠い程、撮像部の光軸の向きを、他の画像の中心から当該領域の中心への方向に、より大きく変化させるべき旨を利用者に通知してもよい。
【００１１】
また、本発明の第２の形態においては、画像を連続して撮像する撮像段階と、撮像段階において連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する主要被写体決定段階と、複数の画像に含まれる他の画像における主要被写体を、一の画像の主要被写体とのマッチングにより検出する主要被写体追従段階と、主要被写体追従段階において検出された主要被写体に基づいて、撮像段階における他の画像の撮像条件を設定する撮像条件設定段階とを備える。
【００１２】
また、本発明の第３の形態においては、撮像装置を機能させる撮像プログラムであって、撮像装置を、画像を連続して撮像する撮像部と、撮像部により連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する主要被写体決定部と、複数の画像に含まれる他の画像における主要被写体を、一の画像の主要被写体とのマッチングにより検出する主要被写体追従部と、主要被写体追従部により検出された主要被写体に基づいて、撮像部における他の画像の撮像条件を設定する撮像条件設定部とを備える撮像装置として機能させる。
【００１３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１４】
本発明によれば、被写体が移動している場合であっても、当該被写体を含む画像を容易に撮像することができる。
【発明を実施するための最良の形態】
【００１５】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、本発明の実施形態に係る撮像装置１０の構成の一例を示すブロック図である。撮像装置１０は、例えばデジタルカメラであり、画像を撮像する。ここで、撮像装置１０は、静止画を撮像するデジタルスチルカメラであってよく、また、動画像を撮像するデジタルビデオカメラであってもよい。
【００１７】
本発明の実施形態に係る撮像装置１０は、移動している被写体を撮像する場合であっても、当該被写体の動きに合わせて、利用者に撮像装置１０の撮像方向を変化させることなく、当該被写体を含む画像を撮像することを目的とする。
【００１８】
撮像装置１０は、撮像部１００、１次メモリ１１０、画像処理部１２０、撮像条件設定部１３０、表示部１４０、通知部１５０、及び２次メモリ１６０を備える。撮像部１００は、画像を連続して撮像し、撮像した画像を示す画像データを、１次メモリ１１０に順次出力する。撮像部１００は、光学系１０２、ＣＣＤ１０４、及び撮像信号処理部１０６を有する。光学系１０２は、被写体を示す光学像をＣＣＤ１０４の受光面上に結像する。ＣＣＤ１０４は、複数の受光素子を含み、光学系１０２により結像された被写体の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電気信号として撮像信号処理部１０６に出力する。撮像信号処理部１０６は、ＣＣＤ１０４から受け取った、被写体の光学像を示すアナログの電気信号を、Ｒ、Ｇ、Ｂの各成分に分解する。また、撮像信号処理部１０６は、当該電気信号におけるＲ、Ｇ、Ｂの各成分を調整することにより、被写体像のホワイトバランスを調整する。そして、撮像信号処理部１０６は、Ｒ、Ｇ、Ｂの各成分に分解されたアナログの電気信号をＡ／Ｄ変換し、その結果として得られた被写体像を示すデジタルの画像データを１次メモリ１１０に出力する。１次メモリ１１０は、例えばＤＲＡＭ等の揮発性メモリであり、撮像信号処理部１０６から受け取った画像データを格納する。
【００１９】
画像処理部１２０は、撮像部１００により撮像され、１次メモリ１１０に格納された画像データに対して画像処理を行う。画像処理部１２０は、主要被写体決定部１２２、主要被写体追従部１２４、及び画像変形部１２６を有する。主要被写体決定部１２２は、撮像部１００により連続して撮像された複数の画像に含まれる一の画像における主要被写体を決定する。なお、以降の説明においては、当該一の画像を「主画像」として記載する。そして、主要被写体決定部１２２は、撮像部１００により撮像された画像、及び主画像について決定した主要被写体を示す情報、例えば主要被写体の位置等を、主要被写体追従部１２４に出力する。
【００２０】
主要被写体追従部１２４は、撮像部１００により撮像された複数の画像に含まれる、主画像とは異なる他の画像における主要被写体を、主要被写体決定部１２２によって主画像において決定された主要被写体とのマッチングにより検出する。ここで、他の画像とは、例えば、主画像に続いて撮像部１００により撮像された、単一または複数の画像であってよい。なお、以降の説明においては、当該他の画像を「従画像」として記載する。主要被写体追従部１２４は、例えば、従画像のそれぞれについて画像認識処理を行うことにより、主画像における主要被写体と同一の被写体として認識された被写体を、当該従画像における主要被写体として検出する。また、主要被写体追従部１２４は、従画像のそれぞれについて、検出した主要被写体を含む一部の領域を選択する。そして、主要被写体追従部１２４は、従画像、及び選択した一部の領域を示す情報、例えば領域の位置等を、画像変形部１２６、撮像条件設定部１３０、表示部１４０、及び通知部１５０に出力する。画像変形部１２６は、主要被写体追従部１２４から受け取った従画像について、主要被写体追従部１２４により選択された領域の中心の、当該従画像の中心からの変位に基づいて生じている画像の歪みを補償するべく、当該選択された領域の画像を変形する。そして、画像変形部１２６は、変形した従画像を２次メモリ１６０に出力する。
【００２１】
撮像条件設定部１３０は、撮像部１００において連続して撮像されている従画像における主要被写体の画質を向上させるべく、既に撮像されている従画像について主要被写体追従部１２４により検出された主要被写体に基づいて、撮像部１００における撮像条件を設定する。ここで、撮像条件とは、例えば、ズーム倍率や露光時間、焦点距離、ホワイトバランス等であってよく、光学系１０２、ＣＣＤ１０４、及び撮像信号処理部１０６等の、撮像部１００における各部材が制御されることによって設定されてよい。
【００２２】
表示部１４０は、例えばＬＣＤパネルを用いた電子ビューファインダー（ＥＶＦ）であってよく、主要被写体追従部１２４から受け取った従画像のそれぞれについて、当該従画像全体ではなく、当該従画像における主要被写体追従部１２４により選択された一部の領域の画像のみを表示する。通知部１５０は、主要被写体追従部１２４から受け取った従画像のそれぞれについて、主要被写体追従部１２４により選択された領域の中心が、当該従画像の外縁近傍に位置する場合に、その旨を、表示部１４０に表示させる等して利用者に通知する。
【００２３】
２次メモリ１６０は、例えばフラッシュメモリ等の不揮発性メモリであり、画像変形部１２６から受け取った従画像について、当該従画像全体ではなく、当該従画像における主要被写体追従部１２４により選択された一部の領域の画像のみを格納する。ここで、２次メモリ１６０は、撮像部１００により撮像されたすべての画像を格納するのではなく、例えば、利用者が、表示部１４０により順次表示されている従画像を見ながら、好適な画像が撮像されていると判断して撮像装置１０におけるレリーズスイッチを全押しした時点に表示されていた画像のみを格納してよい。
【００２４】
本発明の実施形態に係る撮像装置１０によれば、利用者は、主画像についてのみ主要被写体を指定することによって、以降撮像される従画像においては、撮像方向を固定したままであっても、移動する主要被写体を撮像し続けることができる。また、主要被写体が移動することにより、撮像装置１０から主要被写体までの距離や主要被写体の輝度等が時間の経過と共に変化する場合であっても、連続して撮像している従画像における主要被写体に基づいて撮像条件を自動的に設定することにより、利用者が撮像条件を調整しなくとも、主要被写体を含む画像を高い画質で撮像することができる。また、本発明の実施形態に係る撮像装置１０によれば、利用者は、主画像についてのみ主要被写体を指定することによって、以降撮像される従画像においては、撮像方向を固定したままであっても、移動する主要被写体を含むようにトリミングされた画像を表示部１４０により参照することができる。これにより、利用者は、移動している被写体を追いかける必要が無く、例えば被写体である人物の表情が好適な場合など、画像の内容に基づいてシャッターチャンスを窺うことに意識を集中させることができる。つまり、利用者が特段の撮像技術を有していなくとも、好適な撮像条件と、好適なタイミングとで、移動する被写体を容易に撮像することができる。
【００２５】
また、近年、デジタルカメラに用いられるＣＣＤの画素数が飛躍的に向上しているが、画像の保存環境や参照環境等における制約のため、利用者が利用する画像の解像度は、ＣＣＤの画素数に比べて低い場合が多い。つまり、従来の撮像装置において、ＣＣＤの画素数の増加が、利用者の利益に繋がっていない場合があった。一方、本発明の実施形態に係る撮像装置１０によれば、撮像部１００は、主要被写体を示す領域に比べて広い領域で画像を撮像し、撮像した画像をトリミングして表示または格納する。従って、撮像装置１０において、表示または格納される画像の解像度は、撮像される画像の解像度に比べて低い。しかし、ＣＣＤ１０４の画素数が大きく向上していることにより、撮像装置１０においては、撮像した画像をトリミングしても、十分に高い解像度で画像を表示または格納することができる。つまり、撮像装置１０は、ＣＣＤ１０４の画素数を効果的に利用することができる。
【００２６】
図２は、本発明の実施形態に係る画像処理部１２０における処理の一例を示す。図２（ａ）は、撮像部１００により撮像された主画像の一例である主画像２００を示す。図２（ｂ）は、撮像部１００により主画像２００に続いて撮像された従画像の一例である従画像２１０を示す。図２（ｃ）は、撮像部１００により従画像２１０に続いて撮像された従画像の一例である従画像２２０を示す。
【００２７】
まず、主要被写体決定部１２２は、主画像２００において、被写体２０２を主要被写体として決定する。例えば、主要被写体決定部１２２は、主画像２００において公知のエッジ抽出処理を行うことにより、主画像２００に含まれる複数の被写体の輪郭を抽出する。そして、主要被写体決定部１２２は、抽出された複数の被写体の輪郭のそれぞれについて、主画像２００における当該輪郭で囲まれる領域の画像の色分布を検出する。そして、主要被写体決定部１２２は、複数の被写体のそれぞれについて検出した色分布に基づいて、肌色を多く含む被写体が人物を示す被写体であると検出し、当該被写体を主要被写体として決定する。ここで、人物を示す被写体を複数検出した場合、主要被写体決定部１２２は、検出した複数の被写体のうち、主画像２００において最大となる被写体を、主要被写体として決定してよい。このように、画像処理によって主要被写体が検出可能である場合は、撮像装置１０が自動的に主要被写体を決定することによって、利用者の負担を低減することができる。
【００２８】
また、例えば、主要被写体決定部１２２は、主画像２００を表示部１４０に表示させて、何れの被写体を主要被写体にすべきかを利用者に指示させることにより、主要被写体を決定してもよい。具体的には、主画像２００に含まれる複数の被写体のうち、利用者が主画像２００において指示した位置に存在する被写体を、主要被写体として決定する。これにより、主要被写体が人物ではない場合であっても、主要被写体を決定することができる。
【００２９】
続いて、主要被写体追従部１２４は、従画像２１０において主要被写体を検出する。例えば、主要被写体追従部１２４は、従画像２１０において、被写体２０２をパターンデータとするパターンマッチング処理を行い、被写体２０２と類似する被写体２１２を検出する。そして、主要被写体追従部１２４は、検出した被写体２１２を、従画像２１０における主要被写体とする。また、主要被写体追従部１２４は、被写体２１２を含む一部の領域２１４を選択する。主要被写体追従部１２４により選択された領域の画像は、表示部１４０により表示されたり、また２次メモリ１６０により格納されたりすることにより、利用者に提供される。更に、主要被写体追従部１２４は、従画像２２０においても、従画像２１０の場合と同様に、主要被写体として被写体２２２を検出する。また、主要被写体追従部１２４は、被写体２２２を含む一部の領域２２４を選択する。
【００３０】
ここで、主要被写体追従部１２４は、従画像２１０及び従画像２２０のそれぞれについて、検出した主要被写体の大きさと、当該主要被写体を含む、選択するべき領域の大きさとの比を予め定められた値にするべく、主要被写体を含む領域の大きさを決定してよい。具体的には、主要被写体追従部１２４は、被写体２１２の大きさと領域２１４の大きさとの比、及び被写体２２２の大きさと領域２２４の大きさとの比が、予め定められた値に略同一となるべく、領域２１４及び領域２２４の大きさを決定する。ここで、予め定められた値とは、利用者が予め指定した値であってよく、例えば、利用者が、主画像において、何れの被写体が主要被写体であるかを指定すると共に、トリミング領域も同時に指定した場合の、主要被写体の大きさとトリミング領域の大きさとの比であってよい。また、画像変形部１２６は、主要被写体追従部１２４により選択された領域の画像を、例えば横１０２４ピクセル及び縦７６８ピクセル等の予め定められた大きさに拡大または縮小して、２次メモリ１６０に格納させてもよい。
【００３１】
なお、主要被写体追従部１２４が選択する領域の大きさを制御することにより、主要被写体の大きさと選択する領域の大きさとの比を予め定められた値にするのに代えて、撮像条件設定部１３０が光学系１０２のズーム倍率を制御することにより、主要被写体の大きさと選択される領域の大きさとの比を予め定められた値にしてもよい。但し、ズーム倍率を制御することにより、当該大きさの比を予め定められた値にする場合には、選択する領域の大きさを制御することにより、当該大きさの比を予め定められた値にする場合に比べて、撮像装置１０は、例えば解像度等に関して、より高い画質の画像を出力することができる一方で、より長い応答時間を必要とする。従って、撮像装置１０は、ズーム倍率の制御と、選択する領域の制御との、何れの方法を用いて大きさの比を予め定められた値にするかを、例えば利用者に指定させる等して、切り替え可能に制御してよい。
【００３２】
本発明の実施形態に係る撮像装置１０によれば、主要被写体が移動することにより、撮像した画像における主要被写体の大きさが時間の経過と共に変動する場合であっても、利用者自身がズーム倍率等を調整することなく、主要被写体が一定の大きさとなるように画像を表示または格納することができる。これにより、利用者は、ズーム倍率の調整等に煩わされることなく、好適なシャッターチャンスを窺うことに、より一層意識を集中させることができる。
【００３３】
図３は、本発明の実施形態に係る表示部１４０に表示される画像の第１の例である画像３００を示す。表示部１４０は、撮像部１００により撮像された従画像における、主要被写体追従部１２４により選択された一部の領域の画像のみを表示する。更に、表示部１４０は、主要被写体追従部１２４により選択された領域の画像に重畳して、表示領域の外縁近傍に上下左右を示す矢印を表示する。そして、通知部１５０は、撮像された従画像について、主要被写体追従部１２４により選択された領域の中心が、当該従画像の外縁近傍に位置する場合に、撮像部１００の光軸の向きを、当該従画像の中心から当該領域の中心への方向に変化させるべき旨を利用者に通知する。ここで、従画像の外縁近傍とは、例えば、従画像の外周から予め定められた範囲だけ内側の領域であってよく、更に、予め定められた範囲とは、例えば、従画像における外周から中心までの距離の３分の１等として、利用者等により予め定められていてよい。
【００３４】
通知部１５０は、例えば、主要被写体追従部１２４により選択された領域の中心が、当該従画像における右端近傍に位置する場合に、当該従画像の中心から当該領域の中心への方向である右方向に光軸の向きを変化させるべき旨を、右端に表示されている矢印３１０を反転表示させたり、または点滅表示させたりすることにより、利用者に通知する。また、通知部１５０は、選択された領域が左端近傍に位置する場合には左方向に、選択された領域が上端近傍に位置する場合には上方向に、また、選択された領域が下端近傍に位置する場合には下方向に、それぞれ光軸の向きを変化させる旨を、対応する位置を示す矢印を反転表示させたり、または点滅表示させたりすることにより、利用者に通知する。なお、通知部１５０は、上下左右のうち、何れか１つの矢印のみを用いて利用者への通知を行うだけでなく、例えば上方向の矢印と左方向の矢印との双方を反転表示させることにより、左上方向に光軸の向きを変化させるべき旨を通知する等、複数の矢印を用いて利用者への通知を行ってもよい。
【００３５】
本発明の実施形態に係る撮像装置１０によれば、主要被写体が移動している場合であっても、撮像方向を変えることなく、主要被写体を追い続けることができる。しかし、主要被写体を含む一部の画像がトリミングして表示されている場合、利用者は、トリミングされている領域が、撮像部１００により撮像された従画像において、何れの位置に存在しているかを知ることができない。このため、主要被写体が更に移動して、撮像部１００の画角から外れてしまうことにより、利用者がシャッターチャンスを窺っている最中に、突然、主要被写体が表示されなくなるという問題が発生し得る。しかし、本発明の実施形態に係る撮像装置１０によれば、主要被写体が撮像部１００の画角から外れる可能性がある場合には、その旨が利用者に通知されるので、利用者は、撮像方向を変更する等して対処することにより、継続して主要被写体を捉え続けることができる。更に、撮像方向を変更すべき方向が通知されることによって、利用者は、主要被写体を容易に捉え続けることができる。
【００３６】
図４は、本発明の実施形態に係る通知部１５０における処理の一例を示す。通知部１５０は、撮像部１００により撮像された従画像について、主要被写体追従部１２４により選択された領域の中心が、当該従画像の中心からより遠い程、撮像部１００の光軸の向きを、当該従画像の中心から当該領域の中心への方向に、より大きく変化させるべき旨を利用者に通知する。例えば、通知部１５０は、従画像４００に含まれる枠４１０と、枠４１０に囲まれた領域に含まれる枠４２０を定義する。ここで、枠４１０及び枠４２０の位置及び大きさは、利用者等によって予め定められていてよい。
【００３７】
そして、通知部１５０は、主要被写体追従部１２４により選択された領域４３０の中心、例えば重心が、枠４２０に囲まれる領域Ａに含まれる場合には、利用者に対して通知を行わない。また、通知部１５０は、領域４３０の中心が、枠４１０と枠４２０とによって囲まれる領域Ｂに含まれる場合には、例えば図３において説明したように、従画像４００の中心から領域４３０の中心への方向を示す矢印を反転表示または点滅表示させることにより、光軸の向きを変化させるべき旨を利用者に通知する。そして、通知部１５０は、領域４３０の中心が、従画像４００の外周と枠４１０とによって囲まれる領域Ｃに含まれる場合には、領域Ｂの場合とは異なる色で矢印を表示させたり、または領域Ｂに含まれる場合に比べて、より速く矢印を点滅させたりすることにより、光軸の向きをより大きく変化させるべき旨を利用者に通知する。
【００３８】
本発明の実施形態に係る撮像装置１０によれば、光軸の向きを変化させる度合いが段階的に通知されることにより、利用者は、撮像方向の変更などの対処を、より確実に行うことができる。
【００３９】
なお、撮像装置１０が利用者に光軸の向きを変更するべき旨を通知する方法は、図３に示したような矢印を表示する方法に限定されず、他の方法を用いてもよい。例えば、表示部１４０は、矢印に代えて、他の形状のマークを、表示領域の外縁近傍に表示してもよい。以降、更なる通知方法の例を、図５及び図６を用いて説明する。
【００４０】
図５は、本発明の実施形態に係る表示部１４０に表示される画像の第２の例である画像５００を示す。本例において、表示部１４０は、主要被写体追従部１２４により選択された領域の画像に重畳して、垂直方向に対応するスクロールバー５１０及び水平方向に対応するスクロールバー５２０を表示する。この場合、通知部１５０は、撮像部１００により撮像された従画像における、主要被写体追従部１２４により選択された領域の垂直方向の位置及び大きさを、スクロールバー５１０におけるスクロールボックス５１５の位置及び大きさによって通知する。また、通知部１５０は、撮像部１００により撮像された従画像における、主要被写体追従部１２４により選択された領域の水平方向の位置及び大きさを、スクロールバー５２０におけるスクロールボックス５２５の位置及び大きさによって通知する。
【００４１】
図６は、本発明の実施形態に係る表示部１４０に表示される画像の第３の例である画像６００を示す。本例において、表示部１４０は、主要被写体追従部１２４により選択された領域のみを表示するのではなく、撮像された従画像全体を表示する。そして、表示部１４０は、主要被写体追従部１２４により選択された領域を示す枠６１０を、従画像に重畳して表示する。これにより、利用者は、主要被写体追従部１２４によって選択された領域と、撮像された画像全体との位置関係を、容易に把握することができる。また、これにより、選択された領域の画像を、表示部１４０の表示領域の大きさに合致させるべく、当該画像を拡大または縮小する必要がなくなるので、撮像装置１０における画像処理の負荷を低減することができる。なお、表示部１４０は、選択された領域を示す枠を従画像に重畳して表示するのに代えて、従画像と、選択された領域の画像とを、並べて表示してもよい。
【００４２】
図７は、本発明の実施形態に係る撮像部１００により撮像される画像の例を示す。通常、撮像部１００が有する光学系１０２において用いられるレンズの表面は平面ではなく、撮像部１００により撮像された画像は、多くの場合、画像の中心から離れる程、大きな歪みを生じる。この現象は、歪曲収差と呼ばれ、光学系１０２として、魚眼レンズ等の広角レンズや、望遠レンズを用いる場合に、より顕著になる。例えば、理想的には図７（ａ）に示す画像７００として撮像されるべき画像が、魚眼レンズ等の広角レンズを用いることにより、図７（ｂ）に示す画像７１０として撮像されたり（樽型歪曲収差）、また、望遠レンズを用いることにより、図７（ｃ）に示す画像７２０として撮像されたりする（糸巻き型歪曲収差）。
【００４３】
本発明の実施形態に係る撮像装置１０においては、光学系１０２として、魚眼レンズ等の広角レンズを含む光学系を用いることにより、より広角で画像を撮像して、利用者に撮像装置１０の撮像方向を変更させることなく、より長い時間、主要被写体を捉え続けることができる。しかし、この場合、撮像された従画像において主要被写体追従部１２４により選択された領域が、当該従画像の中心から離れた位置に存在する場合、選択された画像の歪みは大きく、２次メモリ１６０に格納する画像の品質の低下を招きかねない。そこで、画像変形部１２６は、撮像された従画像について、主要被写体追従部１２４により選択された領域の中心の、当該従画像の中心からの変位に基づいて生じている画像の歪みを補償するべく、光学系１０２の収差に基づいて、当該選択された領域の画像を変形する。例えば、撮像部１００が、画像７００として撮像されるべき画像を、画像７１０として撮像する特性を有する場合に、画像変形部１２６は、画像７１０を画像７００に変形する公知の画像処理技術を用いて、主要被写体追従部１２４により選択された領域の画像を変形することにより、当該領域の画像の歪みを補償する。
【００４４】
本発明の実施形態に係る撮像装置１０によれば、魚眼レンズ等の広角レンズを用いて、より広範囲の画像を撮像する場合に、主要被写体が、撮像される画像の何れの位置に存在していても、主要被写体の形状が実際の形状と略同一となる高品質な画像を利用者に提供することができる。
【００４５】
なお、画像変形部１２６は、歪曲収差によって画像に歪みが生じる場合だけでなく、他の原因によって画像に歪みが生じる場合においても、当該歪みを補償するべく、画像を変形してよい。例えば、撮像部１００が、イメージサークルの外縁近傍に被写体が存在する場合であっても、イメージサークルの中心近傍に存在する場合と同様に、撮像した画像における被写体像を、あたかも光軸に平行な方向から見ているように結像する光学系１０２を有しているとする。このようにして撮像された被写体像は、撮像装置１０及び被写体のそれぞれにおける位置を固定したまま、撮像装置１０の撮像方向のみを変化させて、当該被写体が光軸上に位置するような撮像方向で撮像した場合の被写体像とは異なっている。ここで、それぞれの被写体像の差は、前者の被写体像を示す領域の中心が、撮像された画像全体における中心から離れる程、より大きくなる。ここで、画像変形部１２６は、光軸に平行な方向から見ているように結像された被写体像を含む、主要被写体追従部１２４により選択された領域の画像を、撮像装置１０の撮像方向を当該被写体の方向に向けて撮像した場合に撮像されるべき被写体像を含む画像に変形する。例えば、画像変形部１２６は、選択された領域の画像において、撮像された画像の中心により近い部分を、より大きく拡大するべく変形する。これにより、撮像装置１０の撮像方向を固定したままであっても、主要被写体の動きに合わせて撮像方向を変化させて撮像したかのような画像を利用者に提供することができる。
【００４６】
なお、図１に示した撮像装置１０において、表示部１４０は、画像変形部１２６によって変形された画像ではなく、変形される前の画像を表示するとして説明した。図１に示した構成によれば、画像変形部１２６における画像変形処理に高い演算処理能力が必要とされる場合であっても、毎秒３０フレーム等の高頻度で表示が更新される表示部１４０においては画像変形処理を行わないことにより、撮像装置１０に必要とされる演算処理能力が増大することを防止することができる。しかし、撮像装置１０が十分な演算処理能力を有している場合には、画像変形部１２６は、表示部１４０が表示する画像のそれぞれについて、本図において説明した画像変形処理を行ってもよい。
【００４７】
図８は、本発明の実施形態に係る撮像装置１０における処理の流れの一例を示すフローチャートである。まず、撮像部１００は、主画像を撮像する（Ｓ１０００）。続いて、主要被写体決定部１２２は、撮像された主画像において、主要被写体を決定する（Ｓ１０１０）。例えば、主要被写体決定部１２２は、撮像部１００が連続して撮像している複数の画像のうち、利用者が主要被写体の位置を指示した時点で表示部１４０により表示されている画像を主画像として認識すると共に、利用者に指示された位置に存在する被写体を主要被写体として決定してよい。続いて、撮像部１００は、従画像を撮像する（Ｓ１０２０）。続いて、主要被写体追従部１２４は、撮像された従画像に含まれる主要被写体を検出すると共に、当該従画像について、検出した主要被写体を含む一部の領域を選択する（Ｓ１０３０）。続いて、表示部１４０は、従画像における、主要被写体追従部１２４により選択された領域の画像のみを表示する（Ｓ１０４０）。
【００４８】
続いて、撮像条件設定部１３０は、主要被写体追従部１２４により検出された主要被写体に基づいて、撮像部１００における撮像条件を設定する（Ｓ１０５０）。具体的には、撮像条件設定部１３０は、検出された主要被写体に対して画像処理を行った結果として得られる、主要被写体のエッジ抽出画像や色分布を示す情報等に基づき、撮像部１００のズーム倍率、焦点距離、露光時間、及びホワイトバランス等の撮像条件を設定する。続いて、通知部１５０は、主要被写体追従部１２４により選択された領域の中心が、従画像の外縁近傍に位置するか否かを判定する（Ｓ１０６０）。そして、選択された領域の中心が、従画像の外縁近傍に位置すると判定した場合（Ｓ１０６０：Ｙｅｓ）、通知部１５０は、その旨を利用者に通知する（Ｓ１０７０）。続いて、撮像装置１０は、利用者によって、画像の格納が指示されたか否かを判定する（Ｓ１０８０）。例えば、利用者は、レリーズスイッチを半押しすることによって、本図に示した処理を開始する旨を撮像装置１０に指示すると共に、レリーズスイッチを全押しすることにより、その時点で表示部１４０に表示されている画像を格納する旨を指示してよい。そして、画像の格納が指示されていないと判定した場合（Ｓ１０８０：Ｎｏ）、撮像装置１０は、処理をＳ１０２０に戻し、撮像部１００に次の従画像を撮像させる。
【００４９】
一方、画像の格納が指示されていると判定された場合（Ｓ１０８０：Ｙｅｓ）、画像変形部１２６は、従画像を、例えば図７において説明したように変形する（Ｓ１０９０）。そして、２次メモリ１６０は、画像変形部１２６により変形された従画像を格納する（Ｓ１１００）。ここで、２次メモリ１６０は、従画像のうち主要被写体追従部１２４により選択された領域の画像のみを格納するのに代えて、従画像と、主要被写体追従部１２４により選択された領域を示す情報、例えば領域の位置等とを対応付けて格納してもよい。これにより、利用者は、主要被写体追従部１２４により決定されたトリミング領域に不満を感じる場合であっても、画像の撮像後に、自身の好みに応じて自由にトリミングを行うことができる。
【００５０】
図９は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００５１】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５２】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１０と通信し、撮像装置１０にプログラム及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。
【００５３】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００５４】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１０に送信される。撮像装置１０に送信されたプログラムは、撮像装置１０においてインストールされて実行される。撮像装置１０にインストールされて実行されるプログラムは、撮像装置１０を、図１から図８にかけて説明した撮像装置１０として機能させる。
【００５５】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００５６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態に係る撮像装置１０の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理部１２０における処理の一例を示す図である。
【図３】本発明の実施形態に係る表示部１４０に表示される画像の第１の例である画像３００を示す図である。
【図４】本発明の実施形態に係る通知部１５０における処理の一例を示す図である。
【図５】本発明の実施形態に係る表示部１４０に表示される画像の第２の例である画像５００を示す図である。
【図６】本発明の実施形態に係る表示部１４０に表示される画像の第３の例である画像６００を示す図である。
【図７】本発明の実施形態に係る撮像部１００により撮像される画像の例を示す図である。
【図８】本発明の実施形態に係る撮像装置１０における処理の流れの一例を示すフローチャートである。
【図９】本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。
【符号の説明】
【００５８】
１０  撮像装置、１００  撮像部、１０２  光学系、１０４  ＣＣＤ、１０６  撮像信号処理部、１１０  １次メモリ、１２０  画像処理部、１２２  主要被写体決定部、１２４  主要被写体追従部、１２６  画像変形部、１３０  撮像条件設定部、１４０  表示部、１５０  通知部、１６０  ２次メモリ
【図１】
2006060329.tif 000003
【図２】
2006060329.tif 000004
【図３】
2006060329.tif 000005
【図４】
2006060329.tif 000006
【図５】
2006060329.tif 000007
【図６】
2006060329.tif 000008
【図７】
2006060329.tif 000009
【図８】
2006060329.tif 000010
【図９】
2006060329.tif 000011