(57)【要約】【課題】着目すべき特定の被写体を効果的に識別することができる画像表示装置を提供する。【解決手段】画像表示装置は、画像中の被写体の位置を検出する第１の検出手段と、画像中の被写体の位置を検出する第２の検出手段と、第１の検出手段と第２の検出手段のうち、少なくとも一方を選択する選択手段とを備える。また、画像表示装置は、選択された第１の検出手段または第２の検出手段にて検出された被写体の位置に被写体指標を重畳して画像を表示する表示手段を備える。各手段は、システムコントローラ１１２の機能によって実現される。【選択図】図６
2009100371.tif 000002
【特許請求の範囲】
【請求項１】
画像中の被写体の位置を検出する第１の検出手段と、
前記画像中の被写体の位置を検出する第２の検出手段と、
前記第１の検出手段と前記第２の検出手段のうち、少なくとも一方を選択する選択手段と、
選択された前記第１の検出手段または前記第２の検出手段にて検出された前記被写体の位置に被写体指標を重畳して前記画像を表示する表示手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記第１の検出手段は、前記画像を取得する際に焦点制御の対象となる前記被写体の位置を検出することを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記第１の検出手段は、前記被写体に持たせた発信器を用いて前記被写体の位置を検出することを特徴とする請求項１または２記載の画像表示装置。
【請求項４】
前記第２の検出手段は、読み出した画像から抽出した特徴量と、予め記憶されている特徴量を比較することによって前記被写体の位置を検出することを特徴とする請求項１乃至３のいずれかに記載の画像表示装置。
【請求項５】
前記被写体指標の大きさを、選択された検出された前記被写体の大きさに基づいて変更するサイズ変更手段を備えることを特徴とする請求項１乃至４のいずれかに記載の画像表示装置。
【請求項６】
前記被写体指標の明るさを、前記画像の輝度に基づいて変更する明度変更手段を備えることを特徴とする請求項１乃至５のいずれかに記載の画像表示装置。
【請求項７】
前記第１の検出手段にて検出された前記被写体の位置に重畳する前記被写体指標と、前記第２の検出手段にて検出された前記被写体の位置に重畳する前記被写体指標とで、表示形態を異ならせる表示属性設定手段を備えることを特徴とする請求項１乃至６のいずれかに記載の画像表示装置。
【請求項８】
画像中の被写体の位置を検出する第１の検出手段と、
前記画像中の被写体の位置を検出する第２の検出手段と、
前記第１の検出手段と前記第２の検出手段のうち、少なくとも一方を選択する選択手段と、
選択された前記第１の検出手段または前記第２の検出手段にて検出された前記被写体の位置に被写体指標を重畳して前記画像を表示する表示手段と、
を備えることを特徴とする記録再生装置。
【請求項９】
前記第１の検出手段は、前記画像を取得する際に焦点制御の対象となる前記被写体の位置を検出することを特徴とする請求項８記載の記録再生装置。
【請求項１０】
前記第１の検出手段は、前記被写体に持たせた発信器を用いて前記被写体の位置を検出することを特徴とする請求項８または９記載の記録再生装置。
【請求項１１】
前記第２の検出手段は、読み出した画像から抽出した特徴量と、予め記憶されている特徴量を比較することによって前記被写体の位置を検出することを特徴とする請求項８乃至１０のいずれかに記載の記録再生装置。
【請求項１２】
前記被写体指標の大きさを、選択された検出された前記被写体の大きさに基づいて変更するサイズ変更手段を備えることを特徴とする請求項８乃至１１のいずれかに記載の記録再生装置。
【請求項１３】
前記被写体指標の明るさを、前記画像の輝度に基づいて変更する明度変更手段を備えることを特徴とする請求項８乃至１２のいずれかに記載の記録再生装置。
【請求項１４】
前記第１の検出手段にて検出された前記被写体の位置に重畳する前記被写体指標と、前記第２の検出手段にて検出された前記被写体の位置に重畳する前記被写体指標とで、表示形態を異ならせる表示属性設定手段を備えることを特徴とする請求項８乃至１３のいずれかに記載の記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置及び記録再生装置に関し、特に、画像上の特定オブジェクトあるいは特定エリアを標示する機能を備えた画像表示装置及び記録再生装置に関する。
【背景技術】
【０００２】
近年、高品位映像ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）を扱う製品群として、小型軽量のＨＤビデオカメラやＨＤディスプレイが急速に台頭している。そして、これにより、かつては業務機器でしか扱えなかった高精細なハイビジョン映像を、パーソナルユースで、手軽に「撮る」、そして「観る」環境が拡充している。
【０００３】
この背景技術として、ＨＤ撮像系における画像センサ素子の微細化や高速転送処理化とともに、Ｈ．２６４規格に代表される高能率符号化技術の進展がある。また、ＨＤディスプレイにおいても、液晶式、プラズマ式、そしてＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｏｕｓ）式等、薄型化、高精細化、大画面化が推し進められている。
【０００４】
加えて、膨大な映像データを取り扱うストレージ技術も高度化し、ＨＤ時代に対応した大容量のリムーバブルメディアやテラバイトオーダーのサーバー等が具現化されている。
【０００５】
こうした背景の下、高品位映像ＨＤを「撮る」あるいは「観る」ことが自在になり、質の高いクリエイティブな映像へのニーズが高まっている。このように、良質な映像を「撮る」あるいは「観る」にあたり、さまざまな支援技術が提案されている。
【０００６】
例えば、特許文献１には、撮影カメラの自動追尾技術が提案されている。具体的には、特許文献１は、特定の被写体から特徴を抽出し、撮影カメラの動きを被写体の動きに自動追尾させたパン、チルト制御を行うことで、画面内に被写体を確実に捕捉し、良質な映像を撮る技術を提案している。
【特許文献１】特開２００３−６９８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記従来技術によれば、運動会や発表会等の撮影において、多人数のなかから特定の被写体を識別することによって、撮像フレーム内に被写体を収めることができる。しかしながら、こうして撮影した映像は、被写体以外の人あるいはモノが多数登場する映像であり、複雑な背景で被写体が紛れてしまうような映像である。
【０００８】
即ち、映像再生時に視聴者の立場に立って着目すべき被写体を認識するのが困難になってしまうという新たな課題が顕在化してきた。
【０００９】
例えば、パーソナル撮影のホームビデオ映像を、家族や知人、友人に視聴してもらうとき、着目すべき人物または物体がどこに位置するか、撮影者の説明なしでは大変分かり難いという現状がある。うっかりすると、一瞬の被写体登場シーンを見逃してしまうことがある。
【００１０】
パーソナルユースのホームビデオでは、テレビ放送のように編集等で撮影意図、視聴意図を明示できないケースがほとんどであり、視聴者の立場での着目ポイントが不明瞭になってしまう。
【００１１】
この不具合を解決するために、焦点状態及び露出状態を最適とするためのＡＦ枠の位置を撮影メタデータとして記憶しておいて、再生時にこのＡＦ枠の位置を表示する技術が考えられる。この技術によれば、画像データ中の主被写体に対して、その位置を示すための指標を表示させることが可能となり、着目ポイントを明確にすることができる。
【００１２】
しかしながら、撮影時にＡＦ枠を設定した被写体と、再生時に注目したい被写体とが必ずしも一致するとは限らない。例えば、子供の運動会にて、自分の子供を中心に撮影を行った画像を、他の子供の家族に見せる場合には、その他の子供の位置を示す指標を出すほうが望ましい。
【００１３】
このように、従来技術では、撮影した映像を観る際の視聴支援が不親切といった課題があった。
【００１４】
本発明の目的は、着目すべき特定の被写体を効果的に識別することができる画像表示装置及び記録再生装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、請求項１記載の画像表示装置は、画像中の被写体の位置を検出する第１の検出手段と、前記画像中の被写体の位置を検出する第２の検出手段と、前記第１の検出手段と前記第２の検出手段のうち、少なくとも一方を選択する選択手段と、選択された前記第１の検出手段または前記第２の検出手段にて検出された前記被写体の位置に被写体指標を重畳して前記画像を表示する表示手段とを備えることを特徴とする。
【００１６】
請求項８記載の記録再生装置は、画像中の被写体の位置を検出する第１の検出手段と、前記画像中の被写体の位置を検出する第２の検出手段と、前記第１の検出手段と前記第２の検出手段のうち、少なくとも一方を選択する選択手段と、選択された前記第１の検出手段または前記第２の検出手段にて検出された前記被写体の位置に被写体指標を重畳して前記画像を表示する表示手段とを備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、着目すべき特定の被写体を効果的に識別することができる
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１９】
図１は、本発明の実施の形態に係る記録再生装置の機能ブロック図である。
【００２０】
図１に示す記録再生装置（撮像装置）１００と、記録再生装置１００によって撮影（記録）される被写体に装着する発信器１３０とで記録再生システムが構成される。
【００２１】
携帯型の発信器１３０は、赤外光発信部１３１と制御部１３２から成り、被写体に装着して使用される。制御部１３２は、不図示のバッテリ電源によって動作し、赤外光発信部１３１の発光素子を駆動して、不図示のレンズを介して外部に赤外光を発信する。
【００２２】
この赤外光は被写体で反射され、後述する赤外光検出部１１１がこの反射した赤外光を検出することによって、撮影画角における被写体の座標が特定される。
【００２３】
次に、記録再生装置１００について説明する。
【００２４】
記録再生装置１００は、固定された前玉レンズ１０１、被写体で反射された光学像の拡大率を変化させるためのズームレンズ１０２、後述する第１撮像素子１０７に到達する光学像の光量を調整して露出制御を行うための絞り装置１０３を備える。
【００２５】
また、記録再生装置１００は、第１撮像素子１０７に到達する光学像の結像位置を調整して焦点を調節するためのフォーカスレンズ１０４を備える。また、記録再生装置１００は、フォーカスレンズ１０４を透過した光学像を２つに分割し、一方を光学フィルタ１０６に導き、他方を赤外光透過フィルタ１０９に導くためにスプリッタ１０５を備える。
【００２６】
また、記録再生装置１００は、光学フィルタ１０６と撮像素子１０７を備える。光学フィルタ１０６を透過した光学像は撮像素子１０７に結像される。撮像素子１０７は、ＣＣＤやＣＭＯＳセンサ等の光電変換機能を備えており、蓄積した電荷を垂直方向、水平方向に順次転送して撮像信号を生成する。
【００２７】
また、記録再生装置１００はカメラ信号処理部１０８を備える。カメラ信号処理部１０８は、撮像素子１０７で生成された撮像信号に対して、周知の色分離、階調補正、ホワイトバランス調整等、所定のカメラ信号処理を施し、画像データを出力する。
【００２８】
また、記録再生装置１００は、赤外光透過フィルタ１０９と撮像素子１１０を備える。赤外光透過フィルタ１０９は、赤外波長域のみを通過させる機能を有しており、赤外光透過フィルタ１０９を透過した光学像は撮像素子１１０に結像される。
【００２９】
撮像素子１１０は、ＣＣＤやＣＭＯＳセンサ等の光電変換機能を備えており、蓄積した電荷を垂直方向、水平方向に順次転送して赤外光検出信号を生成する。
【００３０】
また、記録再生装置１００は、赤外光検出部１１１とシステムコントローラ１１２を備える。赤外光検出部１１１は、撮像素子１１０にて生成された赤外光検出信号から、発信器１３０を装着した被写体の撮影画角内における二次元座標を求め、システムコントローラ１１２に被写体座標として出力する。
【００３１】
システムコントローラ１１２は中央演算処理機能（ＣＰＵ）を備える。システムコントローラ１１２の不図示のメモリに格納されたプログラムを実行することにより、記録再生装置１００の全体システムを統括制御する。
【００３２】
このシステムコントローラ１１２は、ユーザーが指示するコマンドを受信実行する機能を備える。また、システムコントローラ１１２は、赤外光検出部１１１にて検出された被写体の位置情報を撮影メタデータに管理する。
【００３３】
更に、システムコントローラ１１２は、撮影時のズーム倍率、絞り値、ホワイトバランス設定値等、一連の撮像パラメータも撮影メタデータとし、画像データの属性情報として画像データとともに管理する。これら撮影メタデータは、撮影された画像データとともに記録メディア１１９の所定領域に記録される。
【００３４】
また、記録再生装置１００は、撮像素子１０７の駆動タイミングを制御する駆動回路１１３とズームレンズ駆動回路１１４を備える。
【００３５】
ズームレンズ駆動回路１１４は、不図示のズームボタンの操作量に応じてズームレンズ１０２の位置を変化させ、光学像の拡大率を変化させる。また、ズームレンズ駆動回路１１４は、マニュアル駆動でズームレンズ１０２を動かした際に、ズームレンズ１０２の位置を検出してシステムコントローラ１１２に送信する機能も備える。
【００３６】
また、記録再生装置１００は、絞り駆動回路１１５とフォーカスレンズ駆動回路１１６を備える。
【００３７】
絞り駆動回路１１５は、システムコントローラ１１２の指示に応じて、絞り装置１０３の開口径を変化させる。フォーカスレンズ駆動回路１１６は、システムコントローラ１１２の指示に応じて、フォーカスレンズ１０４の位置を変化させる。
【００３８】
カメラ信号処理部１０８は、撮像素子１０７から入力された撮像信号を基に、ＡＦ評価値や被写体輝度値を求める。そして、システムコントローラ１１２は、このＡＦ評価値と被写体輝度値と赤外光検出部１１１にて検出された被写体の位置情報を基に、被写体位置の焦点状態と露出状態が最適となるように、以下の各回路を制御する。
【００３９】
即ち、システムコントローラ１１２は、駆動回路１１３、絞り駆動回路１１５及びフォーカスレンズ駆動回路１１６を制御する。
【００４０】
また、記録再生装置１００は圧縮伸長部１１７を備える。圧縮伸長部１１７は、カメラ信号処理部１０８で生成された画像データに対して、ＭＰＥＧ２あるいはＭＰＥＧ４等、記録メディア１１９のフォーマットに準拠した映像圧縮、伸長処理を施す。
【００４１】
また、記録再生装置１００は、記録メディア１１９へのデータの記録及び再生を担う記録再生処理部１１８を備える。本実施の形態では、記録メディア１１９はディスクが用いられている。記録再生処理部１１８は、不図示のディスクサーボによって、ディスクの回転並びに、光学ヘッドのアクセスを制御し、記録メディア１１９における盤面上の所定アドレスに対して、データの記録または再生を担う。
【００４２】
ここで、ディスクを用いた場合の記録メディア１１９への記録再生動作について説明する。
【００４３】
記録メディア１１９は、記録層がＧｅ−Ｓｂ−Ｔｅ等の相変化材料で構成されており、回転させながら光ビーム強度を変調して照射すると、記録層がアモルファス状態と結晶状態が可逆的に変化する。
【００４４】
記録層を結晶状態からアモルファス状態に変化させるには、光ビームをパルス状に照射し、一旦溶融した後急冷する。逆に、アモルファス状態から結晶状態変化させるには、比較的弱い光ビーム強度のレーザー光を照射して結晶化温度以上でアニールする。
【００４５】
この２つの状態での光学的変化を利用して情報の記録または再生を行う。再生時は、上記２つの状態で反射率が異なることを利用して再生信号を抽出し、周知の波形等化、二値化処理、復調処理、ＥＣＣ（エラー訂正：Error Correction Code）を行う。そして、処理後の信号は、圧縮伸長部１１７に出力され、フォーマットに順じた画像復号処理が施される。
【００４６】
また、記録再生装置１００は、ＴＦＴ（Thin Film Transistor）やＬＣＤ（Liquid Crystal Display）等の表示部１２１を備える。表示部１２１は、カメラ信号処理部１０８にて生成された画像データや記録メディア１１９から読み出した画像データを基に、静止画像や動画像を表示する。
【００４７】
また、表示部１２１は、記録再生装置１００のシステムの動作状況や管理情報の表示、あるいは、コマンド指示等を受けるインタフェース機能を備える。
【００４８】
また、記録再生装置１００は、表示制御部１２０、被写体表示設定部１２２、表示属性設定部１２３を備える。
【００４９】
表示制御部１２０は表示部１２１を制御する。被写体表示設定部１２２は、ユーザーの指示に応じて、後述する撮影メタデータに基づく被写体表示を行うのか、被写体識別結果に基づく被写体表示を行うかを設定し、システムコントローラ１１２に出力する。表示属性設定部１２３は、被写体の位置を表わす指標の表示形態を設定し、システムコントローラ１１２に出力する。
【００５０】
また、記録再生装置１００は被写体特徴抽出部１２４を備える。被写体特徴抽出部１２４は、圧縮伸長部１１７、カメラ信号処理部１０８を介して記録メディア１１９から読み出した画像データに対して、顔検出処理を行う。
【００５１】
被写体特徴抽出部１２４は、例えば、画像データから、口や目等の顔の構成要素に相当する形状を抽出し、その構成要素の位置を基準として顔領域を検出する。被写体特徴抽出部１２４は、更に顔領域のそれぞれから、被写体の顔の構成要素の形状に関する顔情報を抽出する。
【００５２】
顔情報は、例えば、口や目や眉毛等の具体的な形状や座標に関する情報を含み、あるいは、例えば、鼻の端点、鼻穴の中心点、耳の端点等の形状や座標に関する情報や、それらの色情報を含む。
【００５３】
ここで、顔情報は、それぞれの端点や中心点あるいは目の黒点等を入力された顔の画像において、例えば、ニューラルネットワークや空間フィルタを用いたエッジ検出等の手法を用いて距離（位置）を算出することにより抽出することができる。
【００５４】
また、記録再生装置１００は、被写体識別部１２５とメモリ１２６を備える。被写体識別部１２５は、被写体特徴抽出部１２４にて抽出された顔情報と、予めメモリ１２６に登録された個人の顔情報とのマッチングを取ることで、画像データ中に存在する被写体の識別を行う。
【００５５】
そして、被写体識別部１２５は、画像データ中の個人が特定できると、その個人の顔領域の座標を被写体座標として、その個人を特定するためのデータとともにシステムコントローラ１１２に出力する。
【００５６】
このように、本実施の形態では、赤外光検出部１１１にて検出された被写体の位置情報を含む撮影メタデータから目的とする被写体の位置を求める機能を備える。また、本実施の形態では、再生した画像データに対する被写体識別部１２５による識別結果から目的とする被写体の位置を求める機能を備える。
【００５７】
次に、図２、図３、図４を用いて、本実施の形態における表示部１２１における被写体指標の表示例を示す。
【００５８】
図２は、図１における表示部による被写体指標の第１の表示例を示す図である。
【００５９】
具体的には、図２は、目的とする被写体に矢印状の被写体指標を重ね合わせて画像データを表示する例を表わしている。図２（ａ）は広角撮影時の被写体指標２０１の表示例、図２（ｂ）は拡大撮影時の被写体指標２０２の表示例である。
【００６０】
画像データとともに記録された撮影メタデータを用いて被写体指標を表示するのであれば、赤外光検出部１１１にて得られた被写体座標に基づいて被写体指標の位置を決定する。そして、撮影メタデータに含まれるズームレンズ１０２の位置情報とフォーカスレンズ１０４の位置情報から目的とする被写体の大きさを推定し、被写体指標のサイズを設定する。
【００６１】
画像データに目的とする被写体の撮影メタデータが伴っていない場合に、被写体指標を表示するのであれば、被写体識別部１２５にて得られた被写体座標に基づいて被写体指標の位置を決定する。そして、被写体識別部１２５から得られた顔領域に基づいて被写体指標のサイズを設定する。
【００６２】
被写体指標は、目的とする被写体が小さいようであれば、この目的とする被写体が背景に紛れやすいと考えられるため、被写体に比較して大きいサイズで表示される（被写体指標２０１）。反対に、目的とする被写体がクローズアップされていれば、被写体の識別が容易であるため、被写体に比較して小さいサイズで表示される（被写体指標２０２）。
【００６３】
また、被写体指標の輝度は、その画像データについてカメラ信号処理部１０８で得られた輝度情報に基づいて決定される。即ち、画像データの平均輝度が暗い場合は、ホワイト等の高輝度の矢印（被写体指標）が表示され、平均輝度が明るい場合は、ブラック等の低輝度の矢印（被写体指標）が表示される。
【００６４】
このように、画像データにおける、目的とする被写体の位置、大きさ及び輝度情報に応じて、識別表示を最適化して視認性を向上させている。
【００６５】
尚、被写体指標の表示のＯＮ／ＯＦＦは、ユーザーによって予め指定することが可能である。
【００６６】
図３は、図１における表示部による被写体指標の第２の表示例を示す図である。
【００６７】
具体的には、図３は、表示部１２１が、目的とする被写体に矢印状の被写体指標の代わりに、枠状の被写体指標を重ね合わせて画像データを表示する例を表わしている。図３（ａ）は広角撮影時の被写体指標３０１の表示例、図３（ｂ）は拡大撮影時の被写体指標３０２の表示例である。
【００６８】
このように、被写体指標の形態は特定の形に限定されるものではなく、画像や文字等を用いることも可能である。
【００６９】
図４は、図１における表示部による被写体指標の第３の表示例を示す図である。
【００７０】
具体的には、図４は、図３と同様に、枠状の被写体指標４０１、４０２を画像データに重ね合わせた表示例であるが、図３と異なり、目的とする被写体以外の領域を目立たなくさせるマスキング処理を施している。
【００７１】
被写体指標４０１、４０２の内部は、通常の画像データが表示されているが、被写体指標４０１、４０２の外部は、グレーの輝度レベルを重畳させた、所謂シャドーマスク処理が施されている。
【００７２】
この表示形態によれば、ユーザーは、着目したい被写体にだけ注目することができ、被写体の識別効果を高めることができる。ここで、マスキング処理の輝度レベルは、画像データの輝度に応じて可変としてもよい。
【００７３】
マスキングの表示方法としては、図４のようなシャドーマスクに加え、網掛け、ベタ色化、無表示（ブラック化）等、予めユーザーの嗜好によって指定できる構成となっている。また、フレーム枠の形状も、四角形に限定されるものではなく、丸形、多角形、特定のイメージ画像枠を用いることも可能である。
【００７４】
表示属性設定部１２３が、ユーザーの指示に応じてシステムコントローラ１１２を介して表示制御部１２０を制御することで、図２乃至４に示したように、ユーザーが自由に被写体指標の表示形態を選択することができる。
【００７５】
更に本実施の形態では、ユーザーの指示に応じて、被写体表示設定部１２２が以下の被写体指標の表示を選択する。
【００７６】
即ち、被写体表示設定部１２２は、赤外光検出部１１１にて検出された被写体の位置情報を含む撮影メタデータを用いて被写体指標を表示するか、撮影メタデータを用いずに被写体識別部１２５にて得られた被写体座標に基づいて被写体指標を表示するかを選択する。
【００７７】
例えば、自分の子供の運動会において、自分の子供に発信器１３０を装着させて撮影を行えば、撮影メタデータを利用することで、簡単に自分の子供に対して被写体指標を表示させることができる。
【００７８】
これに対し、同じ画像データから他の子供に対して被写体指標を表示させたい場合には、メモリ１２６に予め他の子供の顔情報を登録し、被写体識別部１２５の被写体識別結果を利用することで他の子供に対して被写体指標を表示させることができる。
【００７９】
これらの被写体指標は一方を選択することもできるし、両方を同時に表示することもできる。また、予め複数人の顔情報を登録しておけば、被写体識別部１２５は同時に複数人を識別することができる。
【００８０】
発信器１３０を装着した自分の子供に被写体指標を表示するか、発信器１３０を装着していない他の子供に被写体指標を表示するかは、ユーザーが自由に選択できる。あるいは、両方に対して同時に被写体指標を表示させることも可能である。
【００８１】
図５は、図１における表示部による被写体指標の第４の表示例を示す図である。
【００８２】
具体的には、撮影メタデータと被写体識別部１２５の被写体識別結果を同時に利用して、被写体指標２０１、３０１を表示させた例である。
【００８３】
撮影メタデータを用いて確実に自分の子供に対して被写体指標２０１を表示させつつ、他の子供が同一画像内に写っていれば、その他の子供に対しても被写体指標３０１を表示させる。このとき、互いの被写体指標の表示形態を異ならせれば、一目でどの対象がどこにいるかを把握することが容易になる。
【００８４】
この機能を用いることで、撮影時に目的とする被写体に対して確実に被写体指標を表示させることができるとともに、他の被写体に対して被写体指標を表示する要望があったときにも対応することが可能となる。
【００８５】
図６は、図１の記録再生装置によって実行される被写体指標の表示処理の手順を示すフローチャートである。
【００８６】
本処理は、図１におけるシステムコントローラ１１２の制御の下に実行される。
【００８７】
記録再生装置１００は、撮影時、あるいは、再生時に被写体指標を表示する動作を行うことができるものであり、被写体指標を表示する設定がなされた場合には、ステップＳ１０１よりその処理を開始する。
【００８８】
ステップＳ１０１において、まず画像データを取り込む。この画像データは撮影によって撮像素子１０７で得られた撮像信号をカメラ信号処理部１０８にて画像データに変換したものでも良いし、記録再生処理部１１８が記録メディア１１９から読み出したものでも良い。
【００８９】
そして、被写体表示設定部１２２が、赤外光検出部１１１にて検出された被写体の位置情報を含む撮影メタデータを用いて被写体指標を表示する設定であるかを判定し、そうであればステップＳ１０２に進み、そうでなければステップＳ１０４に進む。
【００９０】
ステップＳ１０２において、画像データに添付された撮影メタデータを読み出し、撮影メタデータから被写体座標を読み出し、被写体指標の位置を決定する。
【００９１】
ステップＳ１０２は、画像中の被写体の位置を検出する第１の検出手段として機能する。また、第１の検出手段は、画像を取得する際に焦点制御の対象となる被写体の位置を検出する。また、第１の検出手段は、被写体に持たせた発信器１３０を用いて被写体の位置を検出する。
【００９２】
ステップＳ１０３において、画像データに添付された撮影メタデータにおける、ズームレンズ１０２の位置情報とフォーカスレンズ１０４の位置情報から目的とする被写体の大きさを推定する。
【００９３】
ステップＳ１０４において、被写体表示設定部１２２が、画像データに添付された撮影メタデータを用いずに、被写体識別部１２５にて得られた被写体座標に基づいて被写体指標を表示する設定であるかを判定する。そうであればステップＳ１０５に進み、そうでなければステップＳ１０７に進む。
【００９４】
ステップＳ１０５において、被写体識別部１２５が、被写体特徴抽出部１２４で抽出された顔情報とメモリ１２６に登録された顔情報とのマッチングを取ることで、ユーザーが予め指定した人物を識別する。そして、その人物の顔領域の座標を被写体座標として読み出し、被写体指標の位置を決定する。
【００９５】
ステップＳ１０５は、画像中の被写体の位置を検出する第２の検出手段として機能する。また、第２の検出手段は、読み出した画像から抽出した特徴量と、予め記憶されている特徴量を比較することによって被写体の位置を検出する。
【００９６】
ステップＳ１０１及びステップＳ１０４は、第１の検出手段と第２の検出手段のうち、少なくとも一方を選択する選択手段として機能する。
【００９７】
ステップＳ１０６において、識別された顔領域の大きさを読み出す。
【００９８】
ステップＳ１０７において、表示属性設定部１２３で設定された被写体指標の表示形態を読み出す。被写体指標の表示形態とは、図２乃至５で例を挙げて説明した被写体指標の具体的な表示形態のことである。
【００９９】
図５に示すように、撮影メタデータによる被写体指標２０１と被写体識別部１２５の識別結果による被写体指標３０１を、その表示形態を異ならせて同時に表示させることも可能である。
【０１００】
ステップＳ１０７は、第１の検出手段にて検出された被写体の位置に重畳する被写体指標と、第２の検出手段にて検出された被写体の位置に重畳する被写体指標とで、表示形態を異ならせる表示属性設定手段として機能する。
【０１０１】
ステップＳ１０８において、画像データの輝度を読み出し、平均輝度を算出する。
【０１０２】
ステップＳ１０９において、ステップＳ１０３及びステップＳ１０６の一方、あるいは、両方で得られた大きさに関するデータを基に、被写体指標の表示サイズを演算する。
【０１０３】
ステップＳ１０９は、被写体指標の大きさを、選択された検出された被写体の大きさに基づいて変更するサイズ変更手段として機能する。
【０１０４】
ステップＳ１１０において、ステップＳ１０８で求めた平均輝度に応じて、被写体指標の明るさを演算する。被写体指標の視認性を向上させるため、画像データの平均輝度が暗い場合はホワイト等の高輝度の被写体指標を表示し、平均輝度が明るい場合はブラック等の低輝度の被写体指標を表示する。
【０１０５】
ステップＳ１１０は、被写体指標の明るさを、画像の輝度に基づいて変更する明度変更手段として機能する。
【０１０６】
ステップＳ１１１において、ステップＳ１０２、Ｓ１０５で求められた位置、ステップＳ１０７で読み出された表示形態、ステップＳ１０９で演算されたサイズ、及び、ステップＳ１１０で演算された明るさに基づいて、被写体指標を形成する。そして、画像データに重畳して被写体指標の表示を行う。
【０１０７】
ステップＳ１１１は、選択された第１の検出手段または第２の検出手段にて検出された被写体の位置に被写体指標を重畳して画像を表示する表示手段として機能する。
【０１０８】
ステップＳ１１２において、例えば、再生モードの終了等、被写体指標の表示を終了させる必要のあるユーザーから指示があるか判定し、あればこのフローを終了し、なければステップＳ１０１に戻り、次の画像データを取り込む。
【０１０９】
被写体指標を表示する対象が動画であれば、この処理を繰り返すことで、フレーム毎、あるいは、数フレーム毎に被写体指標の表示を更新することができる。
【０１１０】
以上説明したように、本実施の形態によれば、画像データに主被写体を示す被写体指標を表示させたい場合には、撮影メタデータから被写体位置を求めて指標を表示することで、複雑な画像処理をすることなく画像データ中の被写体に指標を重畳させることができる。
【０１１１】
被写体指標の表示に際し、画像処理を用いないので、被写体が激しく動いていて画像がボケやすいような状況であっても、被写体の位置を比較的正確に求めることが可能である。
【０１１２】
これに加え、撮影時に主被写体としなかった被写体に対して指標を表示させたい場合には、マッチング処理によって画像データから目的とする被写体を識別することで、主被写体以外の任意の被写体にも指標を重畳させることも可能になる。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態に係る記録再生装置の機能ブロック図である。
【図２】図１における表示部による被写体指標の第１の表示例を示す図である。
【図３】図１における表示部による被写体指標の第２の表示例を示す図である。
【図４】図１における表示部による被写体指標の第３の表示例を示す図である。
【図５】図１における表示部による被写体指標の第４の表示例を示す図である。
【図６】図１の記録再生装置によって実行される被写体指標の表示処理の手順を示すフローチャートである。
【符号の説明】
【０１１４】
１００  記録再生装置
１０７  撮像素子
１０８  カメラ信号処理部
１１０  撮像素子
１１１  赤外光検出部
１１２  システムコントローラ
１１７  圧縮伸長部
１１８  記録再生処理部
１１９  記録メディア
１２０  表示制御部
１２１  表示部
１２２  被写体表示設定部
１２３  表示属性設定部
１２４  被写体特徴抽出部
１２５  被写体識別部
１２６  メモリ
【図１】
2009100371.tif 000003
【図２】
2009100371.tif 000004
【図３】
2009100371.tif 000005
【図４】
2009100371.tif 000006
【図５】
2009100371.tif 000007
【図６】
2009100371.tif 000008