(57)【要約】      （修正有）【課題】静止画撮影の撮影において、撮影者が画角を決定する時どこを注視していたのかを第三者が容易に確認可能とする撮像装置を提供する。【解決手段】静止画を撮影するまでの動画を撮影する際に動画のフレーム画像毎に複数の視線入力情報を収集する視線入力情報収集手段１０４と、静止画記録時に静止画に関連付けて動画と視線入力情報を記録する記録手段１０７と、静止画に関連付けて記録された動画を表示する動画表示手段１０６と、動画のフレーム画像毎に関連づけて記録した視線入力情報をフレーム画像に重ねて強調表示する第１の視線入力情報表示手段であり、過去と現在のフレーム画像の画角の変化量を算出する画角変化量算出手段であり、過去数フレーム分の視線入力情報を、画角変化量算出手段で算出した画角の移動に合わせて視線入力情報の表示座標を移動して現在のフレーム画像に重ねて表示する第２の視線入力情報表示手段である制御部と、を備える。【選択図】図１
2018207415.tif 000002
【特許請求の範囲】
【請求項１】
静止画を撮影するまでの動画を撮影する動画撮影手段（１０１、１０４、１０５、１１０、１０７）と、
前記動画のフレーム画像毎に複数の視線入力情報を収集する視線入力情報収集手段（１０１、１０４、１１０）と、
静止画記録時に静止画に関連付けて前記動画と前記視線入力情報を記録する記録手段（１０１、１１０、１０７）と、
静止画に関連付けて記録された、静止画を撮影するまでの間撮影していた動画を表示する動画表示手段（１０１、１０７、１１０、１０６）と、
動画のフレーム画像毎に関連づけて記録していた１つ乃至複数の視線入力情報をフレーム画像に重ねて強調表示する第１の視線入力情報表示手段（１０１、１０７、１１０、１０６）と、
過去のフレーム画像と現在のフレーム画像の特徴量から画角の変化量を算出する画角変化量算出手段（１０１、１１０）と、
過去数フレーム分の視線入力情報を、前期画角変化量算出手段で算出した画角の移動に合わせて視線入力情報の表示座標を移動して現在のフレーム画像に重ねて表示する第２の視線入力情報表示手段（１０１、１１０、１０６）と、
を備えることを特徴とする撮像装置。
【請求項２】
前記第２の視線入力情報表示手段は、新しい情報ほど強く強調して表示し、古くなるにつれ強調を緩めて表示することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線入力機能を備える撮像装置および表示装置に関し、特に静止画撮影時の撮影者の視線位置を第三者に分かり易く表示することに関する。
【背景技術】
【０００２】
従来より、静止画撮影を行う際、上級者がどこを・いつ目視確認して構図を決めているのかを第三者に視覚的・客観的に伝えることは困難であった。
【０００３】
特許文献１には、視線位置を検出するビデオカメラで、再生時に撮影者の注視点位置を再確認し得るビデオカメラを提供するという発明が開示されている。この発明で開示された方法を用いれば、撮影者の目線がどこに集中していたかを第三者も知ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−０９１３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、撮影者が画角決定時に画面内のどこを注視していたのかを確認する目的において視線情報表示の見易さについては考慮がされていない。動画の表示に視線位置を重ねて表示するだけでは、視線の動きが早すぎて撮影者の確認ポイントが第三者に伝わらない可能性がある。
【０００６】
そこで、本発明の目的は、静止画撮影の撮影において、撮影者が画角を決定する時どこを注視していたのかを第三者が容易に確認することを可能にした撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る撮像装置は、
静止画を撮影するまでの動画を撮影する動画撮影手段（１０１、１０４、１０５、１１０、１０７）と、
前記動画のフレーム画像毎に複数の視線入力情報を収集する視線入力情報収集手段（１０１、１０４、１１０）と、
静止画記録時に静止画に関連付けて前記動画と前記視線入力情報を記録する記録手段（１０１、１１０、１０７）と、
静止画に関連付けて記録された、静止画を撮影するまでの間撮影していた動画を表示する動画表示手段（１０１、１０７、１１０、１０６）と、
動画のフレーム画像毎に関連づけて記録していた１つ乃至複数の視線入力情報をフレーム画像に重ねて強調表示する第１の視線入力情報表示手段（１０１、１０７、１１０、１０６）と、
過去のフレーム画像と現在のフレーム画像の特徴量から画角の変化量を算出する画角変化量算出手段（１０１、１１０）と、
過去数フレーム分の視線入力情報を、前期画角変化量算出手段で算出した画角の移動に合わせて視線入力情報の表示座標を移動して現在のフレーム画像に重ねて表示する第２の視線入力情報表示手段（１０１、１１０、１０６）と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影者が最終成果物である静止画を撮影するまでの間、どこに注目して撮影したのかを第三者に客観的に伝えることができる撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】ハードウェア構成図
【図２（ａ）】実施例１の処理を説明するフローチャート
【図２（ｂ）】実施例１の処理を説明するフローチャート
【図３】実施例１の表示動作を説明する図
【図４】実施例１の移動量の算出方法を説明する図
【図５】実施例２の強調表示動作を説明する図
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態に係るハードウェア構成図である。
【実施例１】
【００１１】
以下、図１を参照して、本発明の第１の実施例による、ハードウェア構成について説明する。
【００１２】
図１は視線入力機能を備えるカメラ１００のハードウェア構成図である。
【００１３】
制御部１０１は中央演算処理装置で、制御部１０１のプログラムを格納しているＲＯＭ１０９、および、制御部１０１が動作中の様々なデータを保持するＲＡＭ１１０を内蔵している。
【００１４】
撮像部１０５は不図示の撮像素子や撮像データを一時的に保存するバッファなどで構成される。ユーザーが操作部１１３を操作することで制御部１０１がシャッター１０３を動作させると、レンズ１０２から入力された光束を撮像部１０５で受光し撮像データを生成する。撮像部１０５は撮像データの生成が完了すると、撮像データを生成したことを制御部１０１に通知する。
【００１５】
制御部１０１は、撮像部１０５から撮像データ生成の通知を受けて、撮像部１０５から撮像データを取得してＲＡＭ１１０に記録する。制御部１０１はＲＡＭ１１０に記録した撮像データをＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の形式に加工した後、ファイルとして記憶媒体１０７に記録する。
【００１６】
また、ユーザーが操作部１１３を操作することによって画像ファイルの表示を指示されると、制御部１０１は、記憶媒体１０７に記録されたファイルを読み出して表示部１０６に表示する。制御部１０１は画像ファイルを表示する際、必要があれば関連付けられたデータファイルなどを記憶媒体１０７から読み出して利用する。
【００１７】
視線検出部１０４はユーザーの視線方向を一定周期で検出し、視線検出部が内蔵する不図示のＣＣＤ上の座標を出力する機能をもつ。ユーザーが操作部１１３を操作して視線入力を必要とするモードに切り替えた場合、制御部１０１は視線検出部１０４を制御して撮影者の視線検出を開始する。視線検出部から得たＣＣＤ上の座標を撮像面上の座標に変換し、視線入力情報としてＲＡＭ１１０に連続的に記録する。
【００１８】
以下、図２を参照して処理フローを説明する。
【００１９】
図２は視線検出と静止画撮影までの動画を合わせて記録する静止画撮影動作と、再生について説明する処理フローを表す。
【００２０】
図２（ａ）は静止画を撮影するまでの撮影者の注目領域を動画と合わせて表示するための撮影動作を説明する処理フローである。
【００２１】
ユーザーが操作部１１３を操作して視線入力動画を記録する静止画撮影モードを選択した状態で、ユーザーの視線検出を行う条件が整った時、制御部１０１は撮像部１０５、表示部１０６、ＲＡＭ１１０、記憶媒体１０７を制御して静止画に関連づけて記録する動画の撮影を開始する（Ｓ２０２）。また、制御部１０１は視線検出部１０４を制御して視線入力検知を開始する（Ｓ２０３）。視線検出を行う条件とは、たとえば、ファインダー撮影の場合、ファインダー内に設置した外光センサーが遮光されたことを検出した時など、ユーザーがファインダーを覗いている状態、すなわち、ユーザーの視線を検出できる状態を指す。
【００２２】
視線検出ができる状態の時は、制御部１０１は一定周期で視線検出部１０４から座標情報を取得し、撮像面上の座標に変換した視線入力情報をＲＡＭ１１０に蓄積する（Ｓ２０５）。
【００２３】
なお、デジタルカメラで撮影する動画のフレームレートは一般的に３０ｆｐｓ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ）や６０ｆｐｓであり、本実施例の視線検出はこれより高い頻度で行う例を示しているが、１フレーム画像につき視線検出１回の頻度でもよい。動画のフレームレートと視線検出の頻度の好ましい関係は以下の式で表すことができる。
【００２４】
ｅ（Ｈｚ）＝ｍ（ｆｐｓ）×ｔ
ｅ：視線検出の頻度（周波数）
ｍ：フレームレート
ｔ：整数定数
続いて、制御部１０１は、動画のフレーム画像を記録するタイミングが来るまでＳ２０５を繰り返し行う。動画のフレーム画像を記録するタイミングが来たとき（Ｓ２０８）、制御部１０１は撮像部１０５から取得した動画のフレーム画像を記憶媒体１０７に記録（Ｓ２１１）する。更に、制御部１０１は当該フレーム画像を記録するまでにＲＡＭ１１０に蓄積していた視線入力情報群をフレーム画像に関連づけて記憶媒体１０７に記録する（Ｓ２１４）。ユーザーが操作部１１３を操作してレリーズするまで、Ｓ２０５からＳ２１４の動作を繰り返す。
【００２５】
ユーザーが操作部１１３を操作してレリーズを実施した時（Ｓ２１８）、制御部１０１は動画撮影を終了し（Ｓ２２０）、シャッター１０３、レンズ１０２、撮像部１０５を制御してフォーカシング精度および解像度の高い静止画を撮影する。制御部１０１は撮像部１０５から受信した画像データに画像処理を施した後、ファイルとして記憶媒体１０７に記録する（Ｓ２２１）。この時、静止画と関連づけて動画を記憶媒体１０７に記録する（Ｓ２２４）。ユーザーが操作部１１３を操作して視線入力動画を記録する静止画撮影モードをやめなければ、制御部１０１は動画撮影を再開する（Ｓ２０２）。
【００２６】
なお、動画は静止画に内蔵してもよいし、別ファイルとしてもよい。静止画に内蔵する方法としては、画像ファイルに一般的に付属するＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）のメーカーノートを利用することで動画データを静止画ファイル内に記録することができる。別ファイルの場合の関連づけは、静止画ファイルのＥｘｉｆメーカーノートに動画ファイルのファイル名などを記録する方法もあるし、単純に静止画ファイルの撮影日時と動画ファイルの撮影日時・撮影時間を比較する方法をとることもできる。
【００２７】
図２（ｂ）は静止画を撮影するまでの撮影者の注目領域を動画と合わせて表示する動作を説明する処理フローである。
【００２８】
ユーザーが操作部１１３の操作により静止画撮影時の視線入力動画再生を実行した時、制御部１０１は記憶媒体１０７から動画ファイルをＲＡＭ１１０に読み出しフレーム画像を表示部１０６に表示する（Ｓ２４１）。最初のフレームの場合、Ｓ２４８から始まる過去フレームの視線入力情報強調表示処理をスキップする（Ｓ２４５）。
【００２９】
制御部１０１は記憶媒体１０７からフレーム画像に関連づけて記録された視線入力情報をＲＡＭ１１０に読み出し、フレーム画像に合成して表示部１０６に強調表示を行う（Ｓ２５７）。同様に、当該フレーム画像に関連づく視線入力情報の強調表示を繰り返す（Ｓ２６１）。動画に含まれるフレームの再生が終わっていない場合（Ｓ２６４）、次のフレーム画像を表示部１０６に表示する（Ｓ２４１）。２番目以降のフレームでは、以前のフレームに合成して表示していた視線入力情報があるか確認する（Ｓ２４５）。
【００３０】
過去のフレームに関連づいて表示していた視線入力情報がある場合、制御部１０１は過去フレーム画像と最新のフレーム画像の特徴量の遷移から画角の変化量を算出する（Ｓ２４８）。続けて、制御部１０１は過去フレーム画像に関連づく視線入力情報の座標に画角の変化量を加算して表示部１０６に再表示を行う（Ｓ２５１）。同様に、制御部１０１は既定の数の過去フレームに関連づく視線入力情報の座標を修正して表示部１０６に再表示する（Ｓ２５４）。制御部１０１は、過去フレームに関連づくすべての視線入力情報を表示部１０６に表示後、現在のフレーム画像に関連づく視線入力情報を全て表示部１０６に表示する（Ｓ２５７、Ｓ２６１）。制御部１０１は以降、全フレーム画像を再生し終わるまでＳ２４１からの処理を繰り返す（Ｓ２６４）。
【００３１】
以下、図３を用いて図２（ｂ）のフローによって実行される表示部１０６の表示動作を説明する。ここでは現在の視線入力情報と合わせて過去２フレーム分の視線入力情報を動画に合成して表示する例を示す。
【００３２】
図３は静止画を撮影するまでの視線入力情報を表示する動画を、フレーム毎に時系列に並べた図である。
【００３３】
フレーム画像はフレーム１画像３００、フレーム２画像３１０、フレーム３画像３２０、フレーム４画像３３０、フレーム５画像３４０の順に新しくなる。
【００３４】
フレーム１画像３００には円柱３０１、直方体３０３、横倒しの円柱３０５が被写体として写っている。動画の撮影を開始してからフレーム１画像３００を記録するまでの間、撮影者の視線方向をプロットした視線入力情報３０７をフレーム１画像３００に重ねて表示している。
【００３５】
フレーム２画像３１０では、撮影者が直方体３０３に注目してカメラの方向を右に微調整している。フレーム１画像３００の記録からフレーム２画像３１０を記録する時までの間、撮影者が直方体３０３に注目していたため、視線入力情報３１３は直方体３０３の位置に集中している。この時、フレーム１画像３００を記録するまでの視線入力情報３０７は、フレーム２画像３１０で移動された画角に合わせて移動した位置３１１に表示する。
【００３６】
フレーム３画像３２０を記録する時には、撮影者は円柱３０１に注目して画角を左に移動している。最新の視線入力情報３１９と合わせて、フレーム１画像３００の視線入力情報３０７の座標を移動して３１５の位置に表示し、フレーム２画像３１０の視線入力情報３１３を３１７の位置に表示している。
【００３７】
フレーム４画像３３０を記録する時には、撮影者は構図の左上と右下に注目して下方向に画角を移動している。最新の視線入力情報３３１と合わせて、フレーム２の視線入力情報３１３の座標を移動して３３３の位置に表示し、フレーム３の視線入力情報３１９を３３５の位置に表示している。この例では過去の視線入力情報を表示する規定数は２なので、フレーム４画像３３０にはフレーム１画像３００の視線入力情報３０７は表示しない。
【００３８】
フレーム５画像３４０を記録する時には、撮影者は構図の右下に注目して右下方向に画角を移動している。最新の視線入力情報３４３と合わせて、フレーム３の視線入力情報３１９を３４５の位置に表示し、フレーム４画像３３０の視線入力情報３３１を３４１および３４３の位置に移動して表示している。フレーム５画像３４０ではフレーム２画像の視線入力情報３１３も表示しなくなる。
【００３９】
以下、図４を用いてフレーム画像間の画角の移動量を検出する方法の一例を説明する。
【００４０】
図４（ａ）のフレーム１画像４０１と、次フレームであるフレーム２画像４１１には合焦距離に３つのオブジェクトが写っている。フレーム１画像４０１とフレーム２画像４１１をそれぞれ輪郭抽出すると、図４（ｂ）のフレーム１画像の輪郭抽出画像４０３と、フレーム２画像の輪郭抽出画像４１３が得られる。輪郭抽出の方法は、２値化した画像のノイズを除去して境界線追跡アルゴリズムなどを使用すれば求めることができるが本発明では特に限定はしない。
【００４１】
ここで、合焦距離にある大きなオブジェクトの座標の重心を計算すると、フレーム１画像のオブジェクトの重心座標４０４と、フレーム２画像のオブジェクトの重心座標４１４の移動方向と移動量を求めることができる。
【００４２】
なお、オブジェクトの大きさや重心を求める時は、輪郭抽出の前に実施した２値化画像を用いる。２値化して連結したピクセル集合にラべリングを行い、ラべリングされたピクセル数の多いものが大きなオブジェクトであり、ラべリングされたピクセルのｘ座標平均、ｙ座標平均がオブジェクトの重心座標となる。
【００４３】
図４（ｃ）は図４（ｂ）の輪郭抽出されたフレーム１画像４０３とフレーム２画像４１３の合成画像である。
【００４４】
フレーム１画像の合焦距離にある最も大きなオブジェクト４０７と、フレーム２画像の合焦距離にあるもっとも大きなオブジェクト４１７を比較し、画角移動方向・移動量を求める。さらに、フレーム１画像の合焦距離にある次点の大きさのオブジェクト４０８と、同じくフレーム２画像の合焦距離にある次点の大きさのオブジェクト４１８を比較し、移動方向・移動量を求める。合焦距離にある複数のオブジェクトの移動距離と方向がほぼ一致すれば、画角が移動したものとして判断することができるので、過去フレームの視線入力情報の座標に画角の移動量を加算することで、新フレーム上に表示する座標を求めることができる。
【００４５】
実施例１では説明を簡略化するため、過去の視線入力情報を表示する規定数を２としたが、実際には１秒程度表示が継続することが望ましい。たとえば３０ｆｐｓの動画撮影を行う場合、１フレームの表示時間は約０．０３秒であるため、過去の視線入力情報を表示する規定数は３０程度が妥当である。
【００４６】
このように、過去数フレームの視線位置を画角の移動に合わせて強調表示することで撮影者が実際に見ていた時間より長く強調表示されるため、撮影者が素早くチェックした被写体や構図の位置についても漏れなく第三者が認識することができる。
【実施例２】
【００４７】
以下、図５を用いて視線入力情報の新旧に応じて強調度合を変化させる表示部１０６の表示動作を説明する。
【００４８】
図５は図３で示した静止画を撮影するまでの視線入力情報を表示する動画をフレーム毎に時系列に並べた図上で、視線入力情報の表示を時間とともに強調を緩くする例を示している。
【００４９】
動画のフレーム画像は、フレーム１画像５００、フレーム２画像５１０、フレーム３画像５２０、フレーム４画像５３０、フレーム５画像５４０の順に新しくなる。
【００５０】
フレーム１画像５００には円柱５０１、直方体５０３、横倒しの円柱５０５が被写体として写っている。動画の撮影を開始してからフレーム１画像５００を記録するまでの間、撮影者の視線方向をプロットした視線入力情報５０７を重ねて表示している。
【００５１】
フレーム２画像５１０では、撮影者が直方体５０３に注目してカメラの方向を右に微調整している。フレーム１画像記録からフレーム２画像を記録する時までの間、撮影者が直方体５０３に注目していたため、視線入力情報５１３は直方体５０３の位置に集中している。この時、フレーム１画像５００を記録するまでの視線入力情報５０７は、フレーム２画像５１０で移動された画角に合わせて移動した位置５１１に表示するが、初期のものより色の濃さや視線情報をプロットするピクセルサイズを小さくするなど強調を和らげて表示する。
【００５２】
フレーム３画像５２０を記録する時には、撮影者は円柱５０１に注目して画角を左に移動して、フレーム２画像５１０で表示していたよりさらに強調を和らげ５１５の位置に表示する。フレーム２の視線入力情報５１３は、やはり初期の表示より強調を和らげて５１７の位置に表示する。
【００５３】
フレーム４画像５３０を記録する時には、撮影者は左上と右下に注目して下方向に画角を移動している。最新の視線入力情報５３１と合わせて、フレーム２画像５１０の視線入力情報５１３の座標を移動して、フレーム３画像５２０の表示よりさらに強調を緩和して５３３の位置に表示する。フレーム３画像５４０の視線入力情報５１９は初期の表示より強調を緩和して５３５の位置に表示する。この例では過去の視線入力情報を表示する規定数は２なので、フレーム４画像５３０にはフレーム１画像５００の視線入力情報５０７は表示しない。
【００５４】
フレーム５画像５４０を記録する時には、撮影者は右下に注目して右下方向に画角を移動している。最新の視線入力情報５４３と合わせて、フレーム３画像５２０の視線入力情報５１９をフレーム４画像５３０の表示よりさらに強調を緩和して５４５の位置に表示する。フレーム４画像５３０の視線入力情報５３１は、初期の表示より強調を緩和して５４１の位置に移動して表示する。フレーム５画像５４０ではフレーム２画像の視線入力情報５１１も表示しなくなる。
【００５５】
この例のように、過去の視線入力情報は古くなるに従い強調を緩和して表示することで、直近の注目領域と以前の注目領域が明確になり、撮影者の注目領域の変遷が第三者に認識しやすくなる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５７】
１００  視線入力機能を備えるカメラ、１０１  制御部、１０２  レンズ、
１０３  シャッター、１０４  視線検出部、１０５  撮像部、１０６  表示部、
１０７  記憶媒体、１０９  ＲＯＭ、１１０  ＲＡＭ、１１３  操作部
【図１】
2018207415.tif 000003
【図２（ａ）】
2018207415.tif 000004
【図２（ｂ）】
2018207415.tif 000005
【図３】
2018207415.tif 000006
【図４】
2018207415.tif 000007
【図５】
2018207415.tif 000008