(57)【要約】【課題】撮影者の視線位置を反映させて動画を記録するとともに、そのデータ量を少なくする。【解決手段】カメラ１００は外部カメラ１００ａで被写体を撮像して画像データを得て、画像データに所定の画像処理を施して処理済み画像データとする。被写体を撮像する際、全体制御演算部２１１は内部カメラ１００ｂで得られたユーザー画像に応じて撮影者の視線位置を検出して視線位置情報を得て、視線位置情報に応じて撮影者の視線位置を含む領域を注視領域として画像データが示す画像に設定する。そして、全体制御演算部は注視領域における画像処理を当該注視領域以外の領域における画像処理と異ならせる。【選択図】図１
2015080167.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを得る撮像手段と、前記画像データに所定の画像処理を施して処理済み画像データを得る画像処理手段とを有する撮像装置であって、
前記被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出手段と、
前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記画像データが示す画像に設定する設定手段と、
前記画像処理手段を制御して前記注視領域における画像処理を当該注視領域以外の領域における画像処理と異ならせる制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記画像処理手段によって前記注視領域以外の領域における画像処理としてぼかし信号処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記画像処理手段を制御して、前記視線位置情報が示す視線位置が当該注視領域に留まる時間に応じて前記注視領域における画像処理を異ならせることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
光学像を受けて光電変換によって画像データを出力する撮像素子を備える撮像手段と、前記撮像素子の画素読み出しを行う画素読み出し手段とを有する撮像装置であって、
被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出手段と、
前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記被写体画像データが示す画像に設定する設定手段と、
前記画素読み出し手段を制御して前記注視領域における画素読み出しを前記注視領域以外の領域における画素読み出しと異ならせる制御手段と、
を有することを特徴とする撮像装置。
【請求項５】
前記制御手段は、前記画素読み出し手段を制御して、前記視線位置情報が示す視線位置が当該注視領域に留まる時間に応じて前記画素読み出しにおける間引き率を切り替えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像手段で得られた画像データに応じた画像を表示する表示手段と、
前記視線位置検出手段で得られた視線位置情報に応じて、前記撮影者が前記表示手段に表示された画像を目視しているか否かを判定する判定手段と、
前記判定手段によって前記撮影者が前記表示手段に表示された画像を目視していると判定されると、前記表示手段に表示された画像における視線位置を表示手段における表示部座標系から前記被写体が存在する外界座標系に変化する変換手段とを有することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮影者の眼領域を検出する検出手段を備え、
前記設定手段は前記検出手段で検出された眼領域に基づいて得られた瞳孔の開き度合に応じて前記注視領域の面積を変更することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記設定手段は、前記視線位置情報に基づいて前記注視領域を設定する際、前記視線位置が当該注視領域に留まる時間に応じて前記注視領域の面積を変更することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項９】
前記視線位置検出手段で得られた視線位置情報をメモリに記録する記憶手段を備え、前記記憶手段は現在の視線位置情報が示す視線位置と過去の視線位置情報が示す視線位置との差分が所定の範囲にないと視線位置情報の更新を行うことを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項１０】
被写体を撮像して画像データを得る撮像手段と、前記画像データに所定の画像処理を施して処理済み画像データを得る画像処理手段とを有する撮像装置の制御方法であって、
前記被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出ステップと、
前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記画像データが示す画像に設定する設定ステップと、
前記画像処理手段を制御して前記注視領域における画像処理を当該注視領域以外の領域における画像処理と異ならせる制御ステップと、
を有することを特徴とする制御方法。
【請求項１１】
被写体を撮像して画像データを得る撮像手段と、前記画像データに所定の画像処理を施して処理済み画像データを得る画像処理手段とを有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出ステップと、
前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記画像データが示す画像に設定する設定ステップと、
前記画像処理手段を制御して前記注視領域における画像処理を当該注視領域以外の領域における画像処理と異ならせる制御ステップと、
を実行させることを特徴とする制御プログラム。
【請求項１２】
光学像を受けて光電変換によって画像データを出力する撮像素子を備える撮像手段と、前記撮像素子の画素読み出しを行う画素読み出し手段とを有する撮像装置の制御方法であって、
被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出ステップと、
前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記被写体画像データが示す画像に設定する設定ステップと、
前記画素読み出し手段を制御して前記注視領域における画素読み出しを前記注視領域以外の領域における画素読み出しと異ならせる制御ステップと、
を有することを特徴とする制御方法。
【請求項１３】
光学像を受けて光電変換によって画像データを出力する撮像素子を備える撮像手段と、前記撮像素子の画素読み出しを行う画素読み出し手段とを有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出ステップと、
前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記被写体画像データが示す画像に設定する設定ステップと、
前記画素読み出し手段を制御して前記注視領域における画素読み出しを前記注視領域以外の領域における画素読み出しと異ならせる制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置その制御方法、および制御プログラムに関し、特に、撮像装置の駆動方法に関する。
【背景技術】
【０００２】
一般に、写真又は動画は単なる映像および音声の記録のみでなく、思い出を記録する手段として重要な役割を担っている。思い出を記録するという観点に立てば、思い出のシーン又は風景といった映像に加えて、当該映像において特に撮影者がいずれの被写体に興味をもって撮影したのかという撮影者の視線位置も重要な情報の１つである。撮影者の視線位置に関する情報（視線位置情報）によって、撮影者が撮影の際どのようなシーン（画角）を選択したか、そして、当該シーンの中でいずれの部分にカメラの焦点を合わせているかをある程度推測することができる。
【０００３】
視線位置情報を積極的に写真又は動画に反映させる手法として、例えば、特許文献１に記載の手法が知られている。特許文献１に記載のカメラでは、撮影者の眼の視線位置を検出する視線位置検出装置を備えている。そして、レリーズ前段の動作に応じて視線位置を検出し、この視線位置を合焦目標としてフォーカスレンズを駆動して焦点調節動作を行うようにしている。
【０００４】
ところで、特許文献１に記載のカメラは、撮影者がファインダーを覗くことによって被写体像を確認して撮影するタイプの撮像装置であり、視線位置の検出対象である撮影者の眼の位置が特定の場所に収まっているので、視線位置の検出が比較的に容易である。
【０００５】
一方、検出対象である眼の位置が所定の場所に収まっていなくても、視線位置として視覚情報を検出する手法がある（特許文献２参照）。
【０００６】
図１５は、従来のカメラにおける視線位置検出を説明するためのフローチャートである。
【０００７】
図１５に示す視線位置検出においては、画像中の顔画像（顔領域ともいう）から所定の大きさ以上の顔領域を検出対象の顔領域として選択し、検出対象の顔領域における特徴量を抽出して視線位置情報を求める。
【０００８】
視線位置検出を開始すると、カメラは被写体を撮影して画像データを得る（ステップＳ５０１）。カメラは画像データにおいて人物の顔領域を検出する（ステップＳ５０２）。そして、カメラは顔領域が検出されたか、つまり、画像データに顔領域が含まれているか否かを判定する（ステップＳ５０３）。
【０００９】
図１６は、画像データにおける顔領域の検出の一例を説明するための図である。
【００１０】
顔領域を検出する際には、例えば、眼および口などを検出して、これら眼および口の空間的な配置関係に応じて顔領域であるか否かを判定する。そして、顔領域の代表値として顔の中心位置（図１６に示す顔領域の中心位置８１２）を検出する顔検出方法がある。
【００１１】
顔領域が検出されると（ステップＳ５０３において、ＹＥＳ）、カメラは、検出された顔領域から１つの顔領域を選択して、当該選択した顔領域に係るアドレスデータをメモリに保存する（ステップＳ５０４）。続いて、カメラは選択した顔領域の大きさが所定の大きさ以上であるか否かを判定する（ステップＳ５０５）。
【００１２】
顔領域が小さい人物についてその情報量が不足し、視線位置を高精度に検出できない恐れがある。このため、その大きさが所定の大きさ以上の顔領域のみについて視線位置の検出を行う。
【００１３】
ここで、顔領域の大きさとは、例えば、図１６に示す左眼の中心位置８０５と右眼の中心位置８１１との距離、または肌色の面積などの顔領域の大きさを示す尺度であればいずれを用いてもよい。ここでは、左眼の中心位置８０５と右眼の中心位置８１１との距離の２倍を顔領域の大きさとする。
【００１４】
なお、左眼の中心位置８０５と右眼の中心位置８１１を探索する際には、例えば、前述のステップＳ５０２で検出された顔領域の中心位置に応じて、統計的に左右の眼が存在し得る範囲を設定して、当該範囲で予め設定されたテンプレートを用いて探索を行うようにしてもよい。
【００１５】
顔領域の大きさが所定の大きさ以上でないと（ステップＳ５０５において、ＮＯ）、カメラは、ステップＳ５０２で検出した顔領域において未だ選択されていない顔領域が存在するか否かを判定する（ステップＳ５０６）。未だ選択されていない顔領域が存在すると（ステップＳ５０６において、ＮＯ）、カメラはステップＳ５０４の処理に戻る。
【００１６】
一方、未だ選択されていない顔領域が存在しないと（ステップＳ５０６において、ＹＥＳ）、カメラは顔検出失敗フラグをＯＮとする（ステップＳ５０７）。そして、カメラは後述するステップＳ５０８の処理に進む。なお、画像データに顔領域が存在しないと（ステップＳ５０３において、ＮＯ）、カメラはステップＳ５０７の処理に進み、顔検出失敗フラグをＯＮとする。
【００１７】
顔領域の大きさが所定の大きさ以上であると（ステップＳ５０５において、ＹＥＳ）、カメラは、ステップＳ５０４で得た顔領域のアドレスデータをメモリから読み出して、当該アドレスデータおよび画像データに応じて、選択された顔領域について所定の処理を行う。
【００１８】
まず、カメラは、顔領域の中心位置８１２などに加えて、眼頭８０１および８０７と眼尻８００および８０６などの特徴点の位置を検出する（ステップＳ５０８）。ここでは、カメラは瞳が存在するか否かについても検出を行う。これらの眼頭８０１および８０７と眼尻８００および８０６の位置の検出、そして、瞳が存在するか否かの検出の際には、例えば、カメラは予め設定されたテンプレートなどを用いて、エッジを走査する。瞳が存在すると、カメラは眼頭８０１および８０７と眼尻８００および８０６、そして、眼蓋８０２、８０３、８０８、および８０９などに応じて瞳部分の面積を算出する。
【００１９】
続いて、カメラは左眼の中心位置８０４、右眼の中心位置８１０、および顔の中心位置８１２に応じて、顔領域の向きが正立でかつ顔領域のサイズが所定のサイズであって、その解像度の異なる画像データを２種類（例えば、高解像度の画像データと低解像度の画像データ）生成する。つまり、カメラは２種類の正規化画像データを生成する（ステップＳ５０９）。これら正規化画像データは顔領域の向きに対応する特徴量および眼領域の特徴量を抽出する際に用いられる。
【００２０】
次に、カメラは、２種類の正規化画像データのうち解像度の低い正規化画像データを用いて、顔領域の向きに対応する特徴量（顔の輪郭エッジ、耳、鼻、髪の位置および形状など）を抽出する（ステップＳ５１０）。
【００２１】
続いて、カメラは、瞳部分の面積と瞳部分の位置関係とに基づいて視線位置の信頼度を算出する（ステップＳ５１１）。ここでは、信頼度は、眼の表出の程度（瞳部分の面積が所定の値以上であるか否か）で表される。そして、眼の表出程度が高い程、視線位置の信頼度が高く視線位置推定に用いてもよいことになる。なお、視線位置の信頼度の算出は、右眼および左眼の各々について行われる。
【００２２】
次に、カメラは、視線位置の信頼度に基づいて、眼領域の特徴量として右眼、左眼、および両眼のいずれを用いるかを選択する（ステップＳ５１２）。そして、カメラは、２種類の正規化画像データのうち解像度の高い正規化画像データを用いて、選択した眼（眼領域）についてその特徴量を抽出して、特徴量について眼領域の大きさに起因する個人差を吸収するため正規化処理を行う（ステップＳ５１３）。
【００２３】
続いて、カメラは顔領域の向きに対応する特徴量と眼領域の特徴量とに応じて視線特徴量を生成する（ステップＳ５１４）。そして、カメラは視線特徴量に対応する識別モデルを生成して、当該識別モデルに基づいて視線方向がいずれの被写体の方向を向いているのか推定して視線位置情報を得る（ステップＳ５１５）。その後、カメラは視線位置検出処理を終了する。
【００２４】
図１７は、視線位置検出処理で得られた視線位置情報を説明するための図である。
【００２５】
上述のようにして、視線位置情報を得ると、顔の向きθ２に対して眼の向きθ１を関係付けた視線位置情報が得られることになる。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特開平２−３２３１２号公報
【特許文献２】特開２０１２−３７９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２７】
ところが、上述の手法を動画で用いた場合、人の興味の対象は頻繁に変わり易いことを考慮すると、フォーカスレンズを頻繁に駆動する必要がある。このため、フォーカスレンズを駆動する際、駆動モータの応答が間に合わず、フォーカスレンズを視線位置に追従させることが困難となってしまう。さらには、頻繁に駆動されるフォーカスレンズの動作音が記録映像に混入してしまうことになる。
【００２８】
一方、映像を記録する際には、そのデータ量は少ないほうがメモリ容量の関係で好ましい。よって、撮影者にとって興味がある被写体に関する映像についてはデータ量が大きくなっても高解像度で記録し、その他の重要でない被写体に関する映像について可能な限りデータ量を少なくして記録することが望ましい。
【００２９】
そこで、本発明の目的は、視線位置を反映させて動画を記録するとともに、そのデータ量を少なくすることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００３０】
上記の目的を達成するため、本発明による撮像装置は、被写体を撮像して画像データを得る撮像手段と、前記画像データに所定の画像処理を施して処理済み画像データを得る画像処理手段とを有する撮像装置であって、前記被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出手段と、前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記画像データが示す画像に設定する設定手段と、前記画像処理手段を制御して前記注視領域における画像処理を当該注視領域以外の領域における画像処理と異ならせる制御手段と、を有することを特徴とする。
【００３１】
また、本発明による撮像装置は、光学像を受けて光電変換によって画像データを出力する撮像素子を備える撮像手段と、前記撮像素子の画素読み出しを行う画素読み出し手段とを有する撮像装置であって、被写体を撮像する際、撮影者の視線位置を検出して視線位置情報を得る視線位置検出手段と、前記視線位置情報に応じて前記撮影者の視線位置を含む領域を注視領域として前記被写体画像データが示す画像に設定する設定手段と、前記画素読み出し手段を制御して前記注視領域における画素読み出しを前記注視領域以外の領域における画素読み出しと異ならせる制御手段と、を有することを特徴とする。
【発明の効果】
【００３２】
本発明によれば、視線位置情報に応じて撮影者の視線位置を含む領域を注視領域として被写体画像データが示す画像に設定して、注視領域における画像処理又は画素読み出しを注視領域以外の領域における画像処理又は画素読み出しと異ならせる。この結果、動画像においても撮影者がいずれの被写体に注目して撮影を行ったかを容易に判別できるように画像記録を行うことができる。さらには、注視領域と注視領域以外の領域において、画像処理又は画素読み出しを異ならせれば、記録の際のデータ量を削減することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラを用いて被写体を撮影する際の撮影画角の確認の一例を示す図である。
【図３】図１に示すカメラを背面側から示す図である。
【図４】図１に示すカメラで行われる視線位置キャリブレーションの一例を説明するためのフローチャートである。
【図５】図１に示すカメラにおける撮影処理を説明するためのフローチャートである。
【図６】図１に示すカメラを用いて撮影する際の撮影者の眼、視線、および視線位置と被写体との位置関係を示す図である。
【図７】図６に示す１つの領域における視線の有無を説明するための図であり、（ａ）は時刻毎の被写体の様子を示す図、（ｂ）は視線の有無を示す関数を示す図である。
【図８】図６に示す領域の全てにおけるＴ値の一例を示す図である。
【図９】図１に示すカメラで行われるぼかし信号処理を説明するためのフローチャートである。
【図１０】本発明の第２の実施形態によるカメラで行われる注目領域の設定の一例を示す図である。
【図１１】図１０に示すα（Ｔ）の条件を説明するための図である。
【図１２】本発明の第３の実施形態によるカメラで行われる撮像素子の駆動モードの切り替えを示す図である。
【図１３】本発明の第３の実施形態によるカメラで行われる撮像素子の駆動モード切り替えによって読み出される画素を示す図であり、（ａ）は全画素読み出しを示す図、（ｂ）は水平１／３間引きおよび垂直１／３間引きを示す図、（ｃ）は水平１／９間引きおよび垂直１／９間引きを示す図である。
【図１４】図１６に示す右眼を拡大して示す図である。
【図１５】従来のカメラにおける視線位置検出を説明するためのフローチャートである。
【図１６】画像データにおける顔領域の検出の一例を説明するための図である。
【図１７】視線位置検出処理で得られた視線位置情報を説明するための図である。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００３５】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００３６】
図示の撮像装置は、例えば、静止画および動画の撮影が可能なデジタルカメラ（以下単にカメラと呼ぶ）１００であり、外部カメラ部１００ａおよび内部カメラ部１００ｂを有している。そして、外部カメラ１００ａは被写体の撮影に用いられ、内部カメラ１００ｂはユーザーである撮影者の撮影に用いられる。
【００３７】
なお、図示のように、外部カメラ部１００ａおよび内部カメラ部１００ｂの構成は同一であって、全体制御演算部２１１によって制御される。
【００３８】
外部カメラ１００ａは、撮影レンズユニット（以下単にレンズ部と呼ぶ）２０１、レンズ駆動部２０２、メカニカルシャッタ（以下単にメカシャッタと呼ぶ）２０３、絞り２０４、シャッタ・絞り駆動部２０５、撮像素子２０６、ＣＤＳ・Ａ／Ｄ回路２０７、撮像信号処理回路２０８、およびタイミング発生部２０９を有している。同様に、内部カメラ１００ｂは、レンズ２１８、レンズ駆動部２１９、メカシャッタ２２０、絞り２２１、シャッタ・絞り駆動部２２２、撮像素子２２３、ＣＤＳ・Ａ／Ｄ回路２２４、撮像信号処理回路２２５、およびタイミング発生部２２６を有している。
【００３９】
外部カメラ１００ａと内部カメラ１００ｂの動作は同様であるので、ここでは、外部カメラ１００ａに注目してその動作を説明する。撮影の際には、レンズ部２０１およびメカシャッタ２０３を通過した被写体像（光学像）は絞り２０４によってその光量が調整されて、撮像素子２０６に結像する。
【００４０】
図２は、図１に示すカメラを用いて被写体を撮影する際の撮影画角の確認の一例を示す図である。
【００４１】
図２に示すように、ここでは、撮影者はカメラ１００に備えられた表示部２１３に表示される画像を目視して確認するか又は被写体を直接見て、その撮影画角を確認する。そして、外界の位置を表す座標系を外界座標系（ＸＲ，ＹＲ，ＺＲ）とし、表示部２１３上のアドレスを表示部座標系（ＸＬ，ＹＬ，ＺＬ）とする。また、撮像素子２０６は、例えば、所謂Ｘ−Ｙアドレス型の走査手法によって画素読み出しが行われる撮像素子である。
【００４２】
撮像素子２０６は、光電変換によって光学像に応じたアナログ信号をＣＤＳ・Ａ／Ｄ回路２０７に出力する。ＣＤＳ・Ａ／Ｄ回路２０７は当該アナログ信号に対して相関２重サンプリングおよびゲイン調整を行った後、Ａ／Ｄ変換を行ってデジタル信号（以下撮像信号と呼ぶ）を出力する。この際には、ＣＤＳ・Ａ／Ｄ回路２０７はＲ、Ｇ１、Ｇ２、およびＢの撮像信号を撮像信号処理回路２０８に送る。
【００４３】
撮像信号処理回路２０８は、撮像信号に対してノイズを軽減するローパスフィルタ処理、シェーディング補正処理、およびＷＢ処理などの各種画像処理を行うとともに、各種補正処理および圧縮処理等を行って画像データを出力する（以下この画像データを外部カメラ画像データ又は被写体画像データと呼ぶ）。
【００４４】
レンズ部２０１はズームレンズおよびフォーカスレンズ（ともに図示せず）を有しており、レンズ駆動部２０２は、全体制御演算部２１１の制御下でズームレンズおよびフォーカスレンズを駆動制御する。シャッタ・絞り駆動部２０５は、全体制御演算部２１１の制御下でメカシャッタ２０３および絞り２０４を駆動制御される。タイミング発生部２０９は、全体制御演算部２１１の制御下で、撮像素子２０６および撮像信号処理回路２０８の各々にタイミング信号を出力する。
【００４５】
内部カメラ１００ｂにおいても、外部カメラと同様にして制御および画像処理が行われる。ここでは、撮像信号処理回路２２５から出力される画像データを内部カメラ画像データ又はユーザー画像データと呼ぶ。
【００４６】
全体制御演算部２１１はカメラ全体の制御を司るとともに後述する各種演算を実行する。撮像信号処理回路２０８から出力された外部カメラ画像データはメモリ部２１０に一時的に記憶される。記録媒体制御インターフェース（Ｉ／Ｆ）部２１２は記録媒体２１４に外部カメラ画像データを記録するとともに、記録媒体２１４に記録された画像データの読み出しを行う。表示部２１３には外部カメラ画像データに応じた画像が表示される。なお、上記の記録媒体２１４は半導体メモリなどであって、カメラに対して着脱可能である。
【００４７】
外部Ｉ／Ｆ部２１５は、例えば、外部コンピュータと通信を行うためにためのインターフェースである。メモリ部２１６は全体制御演算部２１１で得られた演算結果を記憶するために用いられる。ユーザー（例えば、撮影者）は操作部２１７を用いてカメラの駆動条件又は撮影条件（以下カメラ設定と呼ぶ）を設定する。そして、全体制御演算部２１１はユーザーによって設定されたカメラ設定に応じてカメラを制御する。なお、内部カメラで得られた内部カメラ画像データはメモリ部２２７に保存される。
【００４８】
続いて、図１に示すカメラにおける視線位置に係るキャリブレーションについて説明する。
【００４９】
図３は、図１に示すカメラを背面側（表示部側）から示す図である。
【００５０】
視線位置のキャリブレーションは撮影前に行われる。ユーザー（ここでは、撮影者）が操作部２１７によって視線位置のキャリブレーションを指示すると、全体制御演算部２１１は、後述するように、表示部２１３の四隅にキャリブレーションポイント（ＣＰ）４０１（図３においてＡ〜Ｄで示すポイント）を表示する。そして、全体制御演算部２１１はＣＰ４０１に対して音声ガイド又は表示ガイドなどによって撮影者の視線位置を誘導する。この際、全体制御演算部２１１は、後述するように、各ＣＰ４０１における視線特徴量と視線位置情報との対応付けを行う。
【００５１】
なお、表示部２１３にはＡＦ枠４０２が表示される。また、表示部２１３の上側には、内部カメラ１００ｂ（つまり、内部カメラ１００ｂのレンズ部２１８）が配置され、内部カメラ１００ｂによってユーザーである撮影者が撮影される。
【００５２】
図４は、図１に示すカメラで行われる視線位置キャリブレーションの一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は全体制御演算部２１１の制御下で行われる。
【００５３】
視線位置キャリブレーションを開始すると、全体制御演算部２１１は、キャリブレーションフラグＩを初期化する。つまり、Ｉ＝０とする（ステップＳ７０１）。続いて、全体制御演算部２１１は、図３に示すように、表示部２１３の四隅にＣＰ４０１を表示する（ステップＳ７０２）。この際、全体制御部２１１は、Ｉ＝０であると、ＣＰ４０１（Ａ）を表示し、Ｉ＝１であると、ＣＰ４０１（Ｂ）を表示する。そして、全体制御部２１１は、Ｉ＝２であると、ＣＰ４０１（Ｃ）を表示し、Ｉ＝３であるとＣＰ４０１（Ｄ）を表示する。
【００５４】
続いて、全体制御演算部２１１は音声ガイド又は表示ガイドによって、表示されたＣＰ４０１に視線位置を定めるように撮影者をガイドする。その後、全体制御演算部２１１は内部カメラ１００ｂのレンズ駆動部２１９を制御して、レンズ部２１８の焦点を撮影者に合わせて撮影を行う（ステップＳ７０３）。その際、全体制御演算部２１１はその撮影条件である撮影ズーム位置を示す撮影ズーム位置情報Ｚ、撮影者との距離を示す距離情報Ｌ、シャッタ速度Ｔｖ、絞り値Ｆ、およびゲイン設定Ｇをメモリ部２１６に保存する。
【００５５】
次に、全体制御演算部２１１は、撮影の結果得られたユーザー画像データに応じて視線特徴量を検出する（ステップＳ７０４）。視線特徴量の検出については、図１５〜図１８に関連して説明した手法が用いられるので、ここでは説明を省略する。そして、全体制御演算部２１１は視線特徴量をメモリ部２１６に保存する。
【００５６】
続いて、全体制御演算部２１１は、メモリ部２１６から視線特徴量を読出して、当該視線特徴量が所定の範囲に入っているか否かを判定する。つまり、全体制御演算部２１１は撮影者がＣＰ４０１を見ているか否かを判定することになる（ステップＳ７０５）。
【００５７】
撮影者がＣＰ４０１を見ていないと判定すると（ステップＳ７０５において、ＮＯ）、全体制御演算部２１１は、例えば、表示部２１３に「視線特徴量検出が出来ません」の文言をエラー表示する（ステップＳ７０６）。そして、全体制御演算部２１１はステップＳ７０２の処理に戻る。
【００５８】
一方、撮影者がＣＰ４０１を見ていると判定すると（ステップＳ７０５において、ＹＥＳ）、全体制御演算部２１１は、ＣＰフラグＩ＝３であるか否かを判定する（ステップＳ７０７）。Ｉ＝３でないと（ステップＳ７０７において、ＮＯ）、全体制御演算部２１１は、ＣＰフラグＩをインクリメントして（Ｉ＝Ｉ＋１：ステップＳ７０８）、ステップＳ７０２の処理に戻る。
【００５９】
Ｉ＝３であると（ステップＳ７０７において、ＹＥＳ）、全体制御演算部２１１は、ステップＳ７０４で求めた視線特徴量と現在表示中の既知の表示部座標系（ＸＬ，ＹＬ，ＺＬ）を用いて表わされるＣＰの位置と対応づける（ステップＳ７０９）。そして、全体制御演算部２１１は視線特徴量に応じて視線位置情報を作成するための識別モデルのパラメータを更新して、視線位置キャリブレーションを終了する。なお、識別モデルについては既知であるのでここでは説明を省略する。
【００６０】
上述のようにして、視線位置キャリブレーションを行うと、後述の視線位置が表示部２１３にあるか否かを判定することができる。
【００６１】
いま、ＣＰ４０１（Ａ）〜（Ｄ）において表示部座標系（ＸＬ，ＹＬ，ＺＬ）で示される座標をそれぞれ（ＸＬＡ，ＹＬＡ，ＺＬＡ）、（ＸＬＢ，ＹＬＢ，ＺＬＢ）、（ＸＬＣ，ＹＬＣ，ＺＬＣ）、および（ＸＬＤ，ＹＬＤ，ＺＬＤ）とする。この際、視線特徴量に基づいて推定される視線位置情報が式（１）〜式（３）の範囲に収まっていれば、撮影者は表示部２１３（つまり、ＣＰ）を見ていると判定することができる。
【００６２】
Ｍｉｎ（ＸＬＡ，ＸＬＢ，ＸＬＣ，ＸＬＤ）≦ＸＬ≦Ｍａｘ（ＸＬＡ，ＸＬＢ，ＸＬＣ，ＸＬＤ）      （１）
Ｍｉｎ（ＹＬＡ，ＹＬＢ，ＹＬＣ，ＹＬＤ）≦ＹＬ≦Ｍａｘ（ＹＬＡ，ＹＬＢ，ＹＬＣ，ＹＬＤ）      （２）
Ｍｉｎ（ＺＬＡ，ＺＬＢ，ＺＬＣ，ＺＬＤ）≦ＺＬ≦Ｍａｘ（ＺＬＡ，ＺＬＢ，ＺＬＣ，ＺＬＤ）      （３）
なお、上述の例では、ＣＰ４０１に撮影者の視線位置を誘導させて視線位置キャリブレーションを行うようにした。一方、被写体を撮影する際、撮影者は表示部２１３を見て被写体の画角を確認するとともに、ＡＦ枠４０２を見つつピント位置が被写体に合うか否かを確認する。この際には、撮影者の視線位置は必ずＡＦ枠４０２にある。よって、撮影の前に行われるＡＦ動作の際に、ＡＦ枠４０２をＣＰ４０１と看做して視線位置キヤリブレーションを行うようにしてもよい。
【００６３】
図５は、図１に示すカメラにおける撮影処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、全体制御演算部２１１の制御下で行われる。
【００６４】
いま、カメラがＥＶＦ表示状態で動作中であるとする。ユーザーが操作部２１７を操作して撮影開始の指令を与えると、全体制御演算部２１１は、内部カメラ１００ｂのレンズ駆動部２１９を制御してレンズ部２１８の焦点を撮影者に合わせ撮影を行う（ステップＳ１０１）。この際、全体制御演算部２１１は、撮影条件であるズーム位置情報Ｚ、距離情報Ｌ、シャッタ速度Ｔｖ、絞り値Ｆ、およびゲイン設定Ｇはメモリ部２１６に保存する。
【００６５】
続いて、全体制御演算部２１１は、内部カメラ１００ｂで得られたユーザー画像データに応じて、前述したようにして視線特徴量を検出する（ステップＳ１０２）。そして、全体制御演算部２１１は視線特徴量をメモリ部２１６に保存する。次に、全体制御演算部２１１は、前述したようにして、視線特徴量から表示部座標系における視線位置情報を算出する（ステップＳ１０３）。
【００６６】
ここでは、現在の視線位置情報が示す視線位置と１つ前のフレームで求めた（つまり、過去の）視線位置情報が示す視線位置との距離（つまり、差分）をΔｌとすると、距離Δｌが所定の値以下である場合には、１つ前のフレームで求めた視線位置情報を用いることにする。なお、視線位置情報はメモリ部２１６に保存される。
【００６７】
続いて、全体制御演算部２１１は、前述の式（１）〜式（３）を用いて視線位置情報に基づいて撮影者が表示部２１３を見ているのか否かを判定する（ステップＳ１０４）。撮影者が表示部２１３を見ていないと判定すると（ステップＳ１０４において、ＮＯ）、全体制御演算部２１１は、メモリ部２１６からズーム位置情報Ｚを読出して、撮影画角領域を外界座標系を用いて算出する（ステップＳ１０５）。撮影画角の四隅の座標を、外部座標系でそれぞれ（ＸＲＡ，ＹＲＡ，ＺＲＡ）、（ＸＲＢ，ＹＲＢ，ＺＲＢ）、（ＸＲＣ，ＹＲＣ，ＺＲＣ）、および（ＸＲＤ，ＹＲＤ，ＺＲＤ）とした際には、撮影画角の存在範囲は次の式（４）〜式（６）で表わすことができる。
【００６８】
Ｍｉｎ（ＸＲＡ，ＸＲＢ，ＸＲＣ，ＸＲＤ）≦ＸＲ≦Ｍａｘ（ＸＲＡ，ＸＲＢ，ＸＲＣ，ＸＲＤ）      （４）
Ｍｉｎ（ＹＲＡ，ＹＲＢ，ＹＲＣ，ＹＲＤ）≦ＹＲ≦Ｍａｘ（ＹＲＡ，ＹＲＢ，ＹＲＣ，ＹＲＤ）      （５）
Ｍｉｎ（ＺＲＡ，ＺＲＢ，ＺＲＣ，ＺＲＤ）≦ＺＲ≦Ｍａｘ（ＺＲＡ，ＺＲＢ，ＺＲＣ，ＺＲＤ）      （６）
続いて、全体制御演算部２１１は、ステップＳ１０２で得た視線特徴量から外界座標系における視線位置情報を算出する（ステップＳ１０６）。そして、全体制御演算部２１１は当該視線位置情報をメモリ部２１６に保存する。なお、ここでも、得られた視線位置情報が示す視線位置と１つ前のフレームで得られた視線位置情報が示す視線位置との距離が所定の値以下であると、１つ前のフレームで得られた視線位置情報が用いられる。
【００６９】
次に、全体制御演算部２１１は、撮影者がカメラ１００の撮影画角内を見ているか否かを判定する（ステップＳ１０７）。つまり、全体制御演算部２１１は、上述の式（４）〜式（６）を用いて、ステップＳ１０６で求めた視線位置情報がステップＳ１０５で求めた撮影画角に入っているか否かを判定する。
【００７０】
撮影者が撮影画角内を見ていると判定すると（ステップＳ１０７において、ＹＥＳ）、全体制御演算部２１１は表示部２１３（つまり、画像）における領域の注目度を表すＴ値を得て、当該Ｔ値に基づいて注視領域を求める（ステップＳ１０８）。注視領域の算出手法については後述する。
【００７１】
続いて、全体制御演算部２１１は外部カメラ１００ａを駆動して被写体の撮影を行う（ステップＳ１０９）。全体制御演算部２１１は、外部カメラ１００ａで得られた被写体画像データについて、例えば、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、およびオプティカルブラック積分演算処理を行って、その演算結果（つまり、画像データ）をメモリ部２１６に格納する（ステップＳ１１０）。さらに、全体制御演算部２１１はぼかし信号処理を行って、被写体画像データをメモリ部２１０に格納する。なお、ぼかし信号処理については後述する。
【００７２】
次に、全体制御演算部２１１はメモリ部２１０に格納した被写体画像データを読み出して現像・圧縮・伸張処理部（図示せず）によって圧縮・伸張処理を行って記憶媒体２１４への書き込みを行う記録処理を行う（ステップＳ１１１）。
【００７３】
続いて、全体制御演算部２１１はユーザー操作によって撮影終了指令があったか否かを判定する（ステップＳ１１２）。撮影指示指令がないと（ステップＳ１１２において、ＮＯ）、全体制御演算部２１１はステップＳ１０１の処理に戻る。一方、撮影指示指令があると（ステップＳ１１２において、ＹＥＳ）、全体制御演算部２１１は撮影処理を終了する。
【００７４】
なお、撮影者が表示部２１３を見ていると判定すると（ステップＳ１０４において、ＹＥＳ）、全体制御演算部２１１はステップＳ１０８の処理に進む。
【００７５】
撮影者が撮影画角内を見ていないと判定すると（ステップＳ１０７において、ＮＯ）、全体制御演算部２１１は表示部２１３に「撮影者の顔認識ができません」と警告を表示する（ステップＳ１１３：エラー表示）。そして、全体制御演算部２１１はユーザー画像データについてシェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、およびオプティカルブラック積分演算処理を行って、その演算結果をメモリ部２１６に格納する（ステップＳ１１４）。その後、全体制御演算部２１１はステップＳ１１１の処理に進む。
【００７６】
なお、撮影者が表示部２１３で被写体を注視している際に得られる視線位置情報（表示部座標系で表現）と、撮影者が被写体を直接注視している際に得られる視線位置情報（外部座標系で表現）とが撮影画角内で示す点領域は同一である。また、視線位置情報の算出に当たっては、画素単位で算出するようにしてもよく、所定の面積を有する領域で算出するようにしてもよい。
【００７７】
ここで、表示部２１３に表示された画像の領域毎の注目度を示すＴ値とこのＴ値から算出される注視領域について説明する。
【００７８】
図６は、図１に示すカメラを用いて撮影する際の撮影者の眼、視線、および視線位置と被写体との位置関係を示す図である。ここでは、撮影者の眼を参照番号１００１で示し、視線を参照番号１００２で示す。そして、視線位置を参照番号１００３で示す。
【００７９】
図示のように、撮影者が観察している被写体全領域が領域（Ａ）〜領域（Ｏ）の１５領域に分割されている。これら領域（Ａ）〜領域（Ｏ）の左上のアドレスは、図示のように、領域（Ａ）から順に（Ｐ０，Ｐ０）、（Ｐ０，Ｐ１）、・・・、（Ｐ２，Ｐ４）で示される。また、領域（Ａ）〜領域（Ｏ）の各々のサイズ（画素数）は横Ｍ、縦Ｎとする（ＭおよびＮはそれぞれ２以上の整数）。なお、領域（Ａ）〜領域（Ｏ）のアドレスは表示部座標系（ＸＬ，ＹＬ，ＺＬ）で表されている。
【００８０】
図７は、図６に示す１つの領域における視線の有無を説明するための図である。そして、図７（ａ）は時刻毎の被写体の様子を示す図であり、図７（ｂ）は視線の有無を示す関数を示す図である。
【００８１】
図７（ａ）では、図６に示す１５領域の内領域（Ｌ）において時刻ｔ０〜ｔ１１の被写体の様子が示されている。そして、時刻ｔ０〜ｔ１１の各々は隣接する時刻と１フレーム分の時間だけ離れており、自国ｔ１１が最新の時刻である。また、図７（ｂ）では、各時刻（各瞬間）において領域（Ｌ）に撮影者の視線１００２が向いている場合を”１”、向いていない場合を”０”として、視線の有無表す関数Ｓ（ｔ）をグラフ化されている（式（７）および式（８）参照）。
【００８２】
なお、図７に示す時間間隔（サンプリング間隔）は撮像素子におけるフレームの読出し間隔であり、例えば、フレームレートが６０ｆｉｅｌｄ／ｓｅｃの場合には、その時間間隔は１／６０ｓｅｃである。
【００８３】
Ｓ（ｔ）＝０（視線が向いていない）      （７）
Ｓ（ｔ）＝１（視線が向いている）      （８）
なお、式（７）、および式（４）に係る判定は、表示部座標系（ＸＬ，ＹＬ，ＺＬ）および外部座標系（ＸＲ，ＹＲ，ＺＲ）のいずれで表わされた視線位置情報においても同様に判定される。
【００８４】
図７（ｂ）に示すように、時刻ｔ０〜ｔ１、ｔ７〜ｔ１１においては、視線１００２は領域（Ｌ）にはほとんど向けられていないが、時刻ｔ２〜ｔ６においては視線１００２が集中的に領域（Ｌ）に向けられている。
【００８５】
時刻ｔにおけるＴ値であるＴ（ｔ）は、次の式（９）によって時刻ｔから数フレーム分さかのぼった時刻から時刻ｔまでの所定の時間幅ΔｔでＳ（ｔ）を積分することによって求める。
【００８６】
【数１】
2015080167.tif 000003
【００８７】
但し、ｔａおよびｔｂは任意の時刻を示し、ｔｂ−ｔａ＝Δｔである。
【００８８】
いま、時間幅Δｔを３０フレーム分の時間幅とした場合、時刻ｔ＝ｔ３０における領域（Ｌ）のＴ値であるＴ（ｔ３０）は、式（１０）によって所定の時間幅ΔｔでＳ（ｔ）を積分することによって求めることができる。
【００８９】
【数２】
2015080167.tif 000004
【００９０】
図８は、図６に示す領域の全てにおけるＴ値の一例を示す図である。
【００９１】
例えば、図８において、図６に示す領域Ａ〜領域（Ｏ）の全てについて、上記のＴ（ｔ３０）算出して、横軸を領域、縦軸をＴ（ｔ３０）とする。ここで、Ｔ値が予め定められた閾値Ｔｈｆ以上の領域を注目度が高い領域とした場合には、領域Ｄ、領域Ｌ、および領域Оが注目度の高い領域である注視領域となる。このようにして、得られた注視領域を示す注視領域情報は全体制御演算部２１１によってメモリ部２１６に保存される。
【００９２】
図８に示す例では、注視領域情報は次の式（１１）〜式（１３）のようになる。
【００９３】
領域（Ｄ）：（Ｐ０，Ｐ３），Ｍ，Ｎ      （１１）
領域（Ｌ）：（Ｐ２，Ｐ１），Ｍ，Ｎ      （１２）
領域（Ｏ）：（Ｐ２，Ｐ４），Ｍ，Ｎ      （１３）
図９は、図１に示すカメラで行われるぼかし信号処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、全体制御演算部２１１の制御下で行われる。
【００９４】
ぼかし信号処理を開始すると、全体制御演算部２１１はメモリ部２１６から注視領域情報を読み出す（ステップＳ６０１）。そして、全体制御演算部２１１はメモリ部２１０から被写体画像データを読み出す（ステップＳ６０２）。ここでは、全体制御演算部２１１はアドレスが小さい方から順次被写体画像データを所定のブロック毎に信号データとして読み出す。
【００９５】
続いて、全体制御演算部２１１は信号データが注視領域に含まれるか否かを判定する（ステップＳ６０３）。ここでは、注視領域は左上座標Ａｄｄ（アドレス）、水平サイズＨ−ｓｉｚｅ、および垂直サイズＶ−ｓｉｚｅによって規定されており、全体制御演算部２１１は被写体画像データが左上座標Ａｄｄ、水平サイズＨ−ｓｉｚｅ、および垂直サイズＶ−ｓｉｚｅで規定される領域に含まれるか否かを判定することになる。
【００９６】
信号データが注視領域に含まれないと（ステップＳ６０３において、ＮＯ）、全体制御演算部２１１は、当該信号データについてメディアン処理又はローパスフィルタ処理などの演算処理によるぼかし処理を行う（ステップＳ６０４）。なお、ぼかし処理について既知であるので、ここでは説明を省略する。
【００９７】
続いて、全体制御演算部２１１は被写体画像データの全てを読み出したか否かを判定する（ステップＳ６０５）。なお、信号データが注視領域に含まれると（ステップＳ６０３において、ＹＥＳ）、全体制御演算部２１１はステップＳ６０５の処理に進む。
【００９８】
被写体画像データの全てが読み出されていないと（ステップＳ６０５において、ＮＯ）、全体制御演算部２１１はステップＳ６０２の処理に戻る。一方、被写体画像データの全てが読み出されると（ステップＳ６０５において、ＹＥＳ）、全体制御演算部２１１はぼかし信号処理を行った信号データ（つまり、ブロック）とぼかし信号処理を行わない信号データとを合成して合成画像データ（処理済み画像データ）を得る（ステップＳ６０６）。そして、全体制御処理部２１１はぼかし信号処理を終了する。
【００９９】
このように、本発明の第１の実施形態では、撮影者の視線位置の変化に追随して、撮影者の視線位置以外の領域（ブロック）に対してぼかし信号処理を施す。この結果、ぼかし信号処理によって撮影者がいずれの被写体に注目して撮影を行ったか容易に分かり、動画についてストーリー性を持たせて記録することができる。
【０１００】
［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成、撮影処理、および注目領域（注目度）の算出について第１の実施形態によるカメラと同様である。そして、第２の実施形態によるカメラでは、注視領域を注視度合いに応じてその広さを変化させる。
【０１０１】
図１０は、本発明の第２の実施形態によるカメラで行われる注目領域の設定の一例を示す図である。
【０１０２】
前述の第１の実施形態で説明したように、注視領域は視線位置に係るＴ値が閾値Ｔｈｆ以上である領域が注目領域として設定される。図１０に示す例では、視線位置１３０２を覆う（つまり、囲む）所定の面積を有する領域が注目領域として設定される。ここでは、注視領域１３０１は、視線位置１３０２の画像上におけるアドレスが座標（ｘｐ，ｙｐ）である場合に、座標（ｘｐ−α（Ｔ），ｙｐ−α（Ｔ））を起点とし、水平方向に２α（Ｔ）、垂直方向に２α（Ｔ）のサイズを有する正方形の領域とする。
【０１０３】
図１１は、図１０に示すα（Ｔ）の条件を説明するための図である。
【０１０４】
図１１において、α（Ｔ）は次の式（１４）〜式（１７）の条件を満たすように規定される。
【０１０５】
α（Ｔ）＝０  ０≦Ｔ＜Ｔｈｆ      （１４）
α（Ｔ）＝α０   Ｔｈｆ≦Ｔ＜Ｔ１      （１５）
α（Ｔ）＝α０＋β（Ｔ−Ｔ１）  Ｔ１≦Ｔ＜Ｔ２      （１６）
α（Ｔ）＝αＭ   Ｔ２≦Ｔ      （１７）
但し、α０およびαＭはそれぞれ正の値であり、α０＜αＭである。また、βは１以上の正の値である。
【０１０６】
なお、図１０の例では視線位置１３０２は点として描かれているが、視線位置１３０２自体が所定の面積を有する領域であってもよい。
【０１０７】
上記の式（１４）〜式（１７）から容易に理解できるように、注視領域１３０１は所定の期間以上に亘って領域を注視していると、当該領域が注目領域として設定されてしかも所定の大きさまで拡大されることになる。
【０１０８】
前述の図８に示す例では、時刻ｔ＝ｔ６において、領域（Ｄ）、領域（Ｌ）、および領域（Ｏ）に視線位置があるとすると、次の式（１８）〜式（２０）によって注視領域として領域（Ｄ）’、領域（Ｌ）’、および領域（Ｏ）’が求められる。ここでは、注視領域は左上座標Ａｄｄ、水平サイズＨ−ｓｉｚｅ、および垂直サイズＶ−ｓｉｚｅで規定される。
【０１０９】
領域（Ｄ）’：（Ｐ０−α０，Ｐ３−α０），（Ｍ＋２α０），（Ｎ＋２α０）    （１８）
領域（Ｌ）’：（Ｐ２−αＭ，Ｐ１−αＭ），（Ｍ＋２αＭ），（Ｎ＋２αＭ）    （１９）
領域（Ｏ）’：（Ｐ２−α０，Ｐ４−α０），（Ｍ＋２α０），（Ｎ＋２α０）    （２０）
なお、式（１８）〜式（２０）を用いて得られた注視領域を示す注目領域情報はその左座標Ａｄｄ、水平サイズＨ−ｓｉｚｅ、および垂直Ｖ−ｓｉｚｅがメモリ部２１６に格納される。
【０１１０】
このように、本発明の第２の実施形態では、撮影者の視線位置の変化に追随して、撮影者の視線位置以外の領域（ブロック）に対してぼかし信号処理を施す。この結果、ぼかし信号処理によって撮影者がいずれの被写体に注目して撮影を行ったか容易に分かり、動画についてストーリー性を持たせて記録することができる。そして、撮影者の注目度合いに応じて、注視領域の面積を変化させるようにしたので、撮影者の興味のある被写体を確実に鮮明に記録することができる。
【０１１１】
なお、上述の第１の実施形態および第２の実施形態では、注視領域の形状を正方形としたが、注目領域は円形でもよく、視線の対象となる被写体の輪郭を拡大した経常など他の形状でもあってもよい。
【０１１２】
［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成、撮影処理、および注目領域（注目度）の算出について第１の実施形態によるカメラと同様である。そして、第３の実施形態によるカメラでは、視線情報に応じて得られる注視領域と注視領域以外の領域において撮像素子の駆動方法を変更する。
【０１１３】
第３の実施形態によるカメラでは、図５に示す撮影処理において、ステップＳ１０で領域の注目度を表すＴ値を得る。そして、全体制御演算部２１１は当該Ｔ値に応じて領域毎に撮像素子２０６の駆動モードを変更する。なお、撮像素子２０６の駆動モードの切り替えはタイミング発生部２０９によって行われる。
【０１１４】
図１２は、本発明の第３の実施形態によるカメラで行われる撮像素子の駆動モードの切り替えを示す図である。
【０１１５】
全体制御演算部２１１は、Ｔ値に応じて次の式（２１）〜式（２３）で示すようにして、撮像素子２０６の駆動モードをタイミング発生部２０９を制御して切り替える。
【０１１６】
水平１／９間引き（Ｈ１／９）、垂直１／９間引き（Ｖ１／９）  ０≦Ｔ＜Ｔｈｆ      （２１）
水平１／３間引き（Ｈ１／３）、垂直１／３間引き（Ｖ１／３）  Ｔｈｆ≦Ｔ＜Ｔ１      （２２）
全画素読み出し   Ｔ１≦Ｔ      （２３）
図１３は、本発明の第３の実施形態によるカメラで行われる撮像素子の駆動モード切り替えによって読み出される画素を示す図である。そして、図１３（ａ）は全画素読み出しを示す図であり、図１３（ｂ）は水平１／３間引きおよび垂直１／３間引きを示す図である。また、図１３（ｃ）は水平１／９間引きおよび垂直１／９間引きを示す図である。
【０１１７】
上述のようにして、撮像素子２０６の駆動モードを切り替えて画素読み出しが行われる。この際、全体制御演算部２１１は、間引きモード（つまり、水平１／９間引き・垂直１／９間引き読み又は水平１／３間引き・垂直１／３間引き読み）においては、間引かれた画素を周辺の画素の平均値で補って補完する。
【０１１８】
その後、全体制御演算部２１１は異なる駆動モードで読み出された画像データを一枚画像に合成する。さらに、全体制御演算部２１１は合成後の画像データについてシェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理を行って、演算結果（処理後の画像データ）をメモリ部２１６に格納する。
【０１１９】
上述の式（２１）〜式（２３）から容易に理解できるように、注目度を示すＴ値が大きな領域については、全体制御演算部２１１は重要度の高い領域であると判定して読み出す画素数を多くする。一方、Ｔ値が小さな領域ほど、全体制御演算部２１１は間引き率を大きくする。
【０１２０】
このように、本発明の第３の実施形態では、ぼかし信号処理によって撮影者がいずれの被写体に注目して撮影を行ったか容易に分かり、動画についてストーリー性を持たせて記録することができる。さらに、注視領域について高解像度とし、それ以外の領域では低解像度として画像を記録するようにしたので、同一の画質で記録する場合に比べて、データ量を大幅に削減することができる。
【０１２１】
［第４の実施形態］
続いて、本発明の第４の実施形態によるカメラの一例について説明する。なお、第４の実施形態によるカメラの構成、撮影処理、および注目領域（注目度）の算出について第１の実施形態によるカメラと同様である。そして、第４の実施形態によるカメラでは、撮影者の視線位置に加えて、撮影者の瞳孔の開き度合いに応じて注視領域の大きさを変更し、注視領域とそれ以外の領域において信号処理方法を変更する。
【０１２２】
第４の実施形態においては、前述したようにして、全体制御演算部２１１は視線位置情報を算出する。そして、全体制御演算部２１１は、眼領域の特徴量を抽出する際（図１５参照）、瞳孔の面積を求めて、瞳孔面積を示す瞳孔面積情報Ｑおよび視線位置情報をメモリ部２１６に保存する。なお、瞳孔面積の算出については後述する。
【０１２３】
続いて、全体制御演算部２１１は視線位置情報および瞳孔面積情報に基づいて注視領域を求める。そして、全体制御演算部２１１は注視領域を示す注視領域情報をメモリ部２１６に格納する。なお、注視領域の算出方法については後述する。
【０１２４】
図１４は、図１６に示す右眼を拡大して示す図である。
【０１２５】
図１４において、白眼の中に黒眼があり、黒眼中に瞳孔が存在する。白眼の上端、白眼の下端、黒眼の上端、黒眼の下端、瞳孔の上端、および瞳孔の下端の位置をそれぞれ、参照番号８０２、８０３、９０１、９０２、９０３、および９０４で示す。そして、黒眼の上端、黒眼の下端、瞳孔の上端、および瞳孔の下端９０１〜９０４、白眼の上端８０２、および白眼の下端８０３の位置に応じて距離ＬａおよびＬｂを求める。
【０１２６】
続いて、距離Ｌｂに対する距離Ｌａの比Ｌａ／Ｌｂを求めて、比Ｌａ／Ｌｂと外部カメラ１００ａで撮影した際の撮影条件（距離情報Ｌ、シャッタ速度Ｔｖ、絞り値Ｆ、ゲイン設定Ｇ）とに応じて瞳孔面積情報Ｑを算出する。
【０１２７】
撮影者の顔を撮影した際、撮影者の瞳孔面積情報Ｑが示す瞳孔面積が所定の面積Ｑｔｈよりも大きければ、撮影者が当該被写体に対して特に興味を持っていると考えられる。そこで、瞳孔面積が所定の面積Ｑｔｈよりも大きい場合には、全体制御演算部２１１は、図１０に示す注視領域１３０１について、式（２４）〜式（２７）に示すようにα（Ｔ）をＴに応じて変化させる。
【０１２８】
α（Ｔ）＝０  ０≦Ｔ＜Ｔｈｆ      （２４）
α（Ｔ）＝γ×α０  Ｔｈｆ≦Ｔ＜Ｔ１      （２５）
α（Ｔ）＝γ×｛α０＋β（Ｔ−Ｔ２）｝  Ｔ１≦Ｔ＜Ｔ２      （２６）
α（Ｔ）＝γ×αＭ  Ｔ２≦Ｔ      （２７）
但し、α０およびαＭは正の値でα０＜αＭである。また、βは１以上の正の値であり、γは１より大きな正の値である。
【０１２９】
このようにして、本発明の第４の実施形態では、α（Ｔ）をＴに応じて変化させるようにしたので、撮影者の興味を引いた被写体に関しては注視領域を大きくする設定することができる。この結果、撮影者の興味を引いた被写体については鮮明に記録することができる。
【０１３０】
上述の説明から明らかなように、図１に示す例においては、外部カメラ１００ａが撮像手段として機能し、全体制御演算部２１１が画像処理手段、設定手段、および制御手段として機能する。さらに、内部カメラ１００ｂおよび全体制御演算部２１１は視線位置検出手段として機能する。
【０１３１】
また、全体制御演算部２１１およびタイミング発生部２０９は画素読み出し手段として機能し、全体制御演算部２１１および表示部２１３は表示手段として機能する。そして、全体制御演算部２１１は判定手段および変換手段として機能する。加えて、内部カメラ１００ｂおよび全体制御演算部２１１は検出手段として機能し、全体制御演算部２１１は記憶手段とし機能する。
【０１３２】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１３３】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１３４】
上記の制御方法および制御プログラムの各々は、少なくとも視線位置検出ステップ、設定ステップ、および制御ステップを有している。
【０１３５】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１３６】
１００  カメラ
１００ａ  外部カメラ
１００ｂ  内部カメラ
２０６，２２３  撮像素子
２０８，２２５  撮像信号処理回路
２１０，２１６，２２７  メモリ部
２１１  全体制御演算部
２１３  表示部
２１４  記録媒体
２１７  操作部
【図１】
2015080167.tif 000005
【図２】
2015080167.tif 000006
【図３】
2015080167.tif 000007
【図４】
2015080167.tif 000008
【図５】
2015080167.tif 000009
【図６】
2015080167.tif 000010
【図７】
2015080167.tif 000011
【図８】
2015080167.tif 000012
【図９】
2015080167.tif 000013
【図１０】
2015080167.tif 000014
【図１１】
2015080167.tif 000015
【図１２】
2015080167.tif 000016
【図１３】
2015080167.tif 000017
【図１４】
2015080167.tif 000018
【図１５】
2015080167.tif 000019
【図１６】
2015080167.tif 000020
【図１７】
2015080167.tif 000021