(57)【要約】【課題】ユーザが特別な操作を行うことなく、ユーザ固有の画像を自動的に記録する。【解決手段】画像記録装置は、ユーザの頭部に装着され、ユーザの視線方向の被写体像を撮像して撮像画像を出力する撮像部１０３ａと、ユーザが所定時間以上連続して被写体を注視しているか否かを判定する注視判定部２０１と、注視判定部２０１の判定結果に基づいて撮像部１０３ａの撮影動作を開始させる自動撮影部２０４とを有し、自動撮影部２０４による撮影動作により撮影された画像を画像ファイルとしてフラッシュメモリに記録する。【選択図】図３
2014143595.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着する画像記録装置であって、
前記ユーザの視線方向の被写体像を撮像して撮像画像を出力する撮像手段と、
前記ユーザが所定時間以上連続して被写体を注視しているか否かを判定する注視判定手段と、
前記注視判定手段の判定結果に基づいて前記撮像手段に撮影動作を開始させる自動撮影手段と、
前記自動撮影手段による撮影動作により撮影された画像を画像ファイルとして記録する画像記録手段と、
を備えることを特徴とする画像記録装置。
【請求項２】
請求項１に記載の画像記録装置において、
前記注視判定手段は、
前記ユーザの視線方向を検出する視線検出手段を備え、
前記視線方向が所定時間以上連続して実質的に同じであると前記視線検出手段が検出したとき、前記ユーザが所定時間以上連続して前記被写体を注視していると判定することを特徴とする画像記録装置。
【請求項３】
請求項２に記載の画像記録装置において、
前記撮像画像の中に人物画像が含まれるか否かを判定する人物判定手段をさらに備え、
前記自動撮影手段は、前記視線方向が所定時間以上連続して実質的に同じであって前記撮像画像の中に人物画像が含まれないと前記人物判定手段が判定したとき前記撮像手段に撮影動作を開始させると共に、前記撮像画像の中に人物画像が含まれると前記人物判定手段が判定したとき前記撮像手段に撮影動作を開始させないことを特徴とする画像記録装置。
【請求項４】
請求項３に記載の画像記録装置において、
前記撮像画像の中に人物画像が含まれると前記人物判定手段が判定したとき、前記人物画像の表情を検出する表情検出手段をさらに備え、
前記自動撮影手段は、前記撮像画像の中に人物画像が含まれると前記人物判定手段が判定した場合に、前記表情検出手段が笑顔を検出しているときは前記撮像手段に撮影動作を開始させ、前記表情検出手段が怒った顔を検出しているときは前記撮像手段に撮影動作を開始させないことを特徴とする画像記録装置。
【請求項５】
請求項２から４のいずれか一項に記載の画像記録装置において、
前記ユーザの少なくとも片目に対向する位置に設けられ、画像を表示する表示手段と、
前記画像記録手段に記録された前記画像ファイルのサムネイル画像を前記表示手段に表示するサムネイル表示手段と、
前記視線方向が所定時間以上連続して同一の前記サムネイル画像に向いているとき、当該サムネイル画像に対応した前記画像ファイルを前記表示手段に再生表示させる再生手段とをさらに備えることを特徴とする画像記録装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像記録装置において、
前記注視判定手段は、
前記ユーザの瞳孔の大きさを検出する瞳孔検出手段を備え、
前記瞳孔の大きさが所定時間以上連続して所定の大きさ以上であるとき、前記ユーザが所定時間以上連続して前記被写体を注視していると判定することを特徴とする画像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像記録装置に関する。
【背景技術】
【０００２】
身体に装着可能なウェアラブルカメラにより、ユーザが遭遇する日常風景を自動的に撮影して記録するライフログが注目されている。特許文献１には、ホイッスル音等の音声をトリガとして自動撮影を行うウェアラブルカメラが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３５６９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、ユーザが特別な操作を行うことなく、ユーザ固有の画像を自動的に記録することができる画像記録装置の提供にある。特許文献１の発明では、画像を自動的に記録するためにはトリガとなる所定の音声を発生させるという特別な操作を必要としている。
【課題を解決するための手段】
【０００５】
本発明による画像記録装置は、ユーザの頭部に装着する画像記録装置であって、ユーザの視線方向の被写体像を撮像して撮像画像を出力する撮像手段と、ユーザが所定時間以上連続して被写体を注視しているか否かを判定する注視判定手段と、注視判定手段の判定結果に基づいて、撮像手段に撮影動作を開始させる自動撮影手段と、自動撮影手段による撮影動作により撮影された画像を画像ファイルとして記録する画像記録手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ユーザが特別な操作を行うことなく、ユーザ固有の画像を自動的に記録することができる。
【図面の簡単な説明】
【０００７】
【図１】（ａ）本発明の一実施の形態による画像記録装置の概略正面図である。（ｂ）本発明の一実施の形態による画像記録装置の概略背面図である。
【図２】本発明の一実施の形態による画像記録装置のブロック構成図である。
【図３】本発明の一実施の形態による画像記録装置の機能ブロック図である。
【図４】画像記録装置が画像記録モードのときに実行する処理に関するフローチャートである。
【図５】画像記録装置が画像再生モードのときに実行する処理に関するフローチャートである。
【図６】画像再生を行う画像ファイルを選択するための表示画面の一例を示す図である。
【発明を実施するための形態】
【０００８】
図１（ａ）は、本発明の一実施の形態による画像記録装置の概略正面図である。そして図１（ｂ）は、図１（ａ）に図示した画像記録装置の概略背面図である。画像記録装置１００は、ユーザの頭部に装着される電子機器であって、例えばウェアラブルカメラ、ヘッドマウントディスプレイなどである。図１（ａ）および（ｂ）は、本発明をシースルー型のヘッドマウントディスプレイに適用した場合の一例を示している。
【０００９】
画像記録装置１００は、眼鏡と同様のフレーム構造１０１を備え、ユーザの頭部により支持される。フレーム構造１０１の所定の位置には、画像表示部１０２が取り付けられている。画像表示部１０２は、ユーザに視認させる画像を、表示光学系１０４を介してユーザの左眼に表示する。
【００１０】
図１（ａ）に示すように、画像表示部１０２の前面側には、撮像部１０３ａが取り付けられており、ユーザの視線方向の被写体像を撮像している。表示光学系１０４は、ユーザの左眼前方に設けられたレンズであって、その一部にハーフミラー（不図示）を有する。画像表示部１０２の背面側には、図１（ｂ）に示すように、眼球撮像部１０３ｂが設けられており、ユーザの左眼を撮像している。
【００１１】
図２は、画像記録装置１００のブロック構成図である。画像記録装置１００は、ＣＰＵ２０と、ＲＡＭ２２と、プログラムＲＯＭ２４と、ビデオＲＡＭ２６と、フラッシュメモリ２８とを備える。
【００１２】
ＣＰＵ２０は、画像記録装置１００で実行される各種処理を制御する。ＲＡＭ２２は、画像記録装置１００で各種処理が実行される際の作業領域となる。プログラムＲＯＭ２４は、画像記録装置１００のＣＰＵ２０が実行する各種処理のためのコンピュータプログラムを記憶する。
【００１３】
ビデオＲＡＭ２６は、画像表示部１０２で表示される画像（画像を示す画像データ）を記憶する。また、ビデオＲＡＭ２６は、撮像部１０３で撮像された撮像画像（撮像画像データ）を記憶する。フラッシュメモリ２８は、画像表示部１０２で画像を表示する際に、ビデオＲＡＭ２６に記憶される画像のためのデータ等を記憶する。
【００１４】
また、画像記録装置１００は、映像信号処理部３０と、計時部３２と、カメラ制御部３４と、操作部３６と、表示部１０２と、撮像部１０３ａと、眼球撮像部１０３ｂとを備える。
【００１５】
映像信号処理部３０には、画像表示部１０２が接続されている。映像信号処理部３０は、ＣＰＵ２０からの指令に従い、ビデオＲＡＭ２６に記憶されている画像が画像表示部１０２に表示されるように制御する。画像表示部１０２は、例えば網膜走査型ディスプレイによって構成され、映像信号処理部３０で処理された画像信号に応じた画像光を二次元走査する。その走査された画像光は、表示光学系１０４のハーフミラーを介してユーザの左眼に導かれ、網膜上に画像を形成する。
【００１６】
カメラ制御部３４には、撮像部１０３ａと眼球撮像部１０３ｂとが接続されている。撮像部１０３ａは、ユーザの視線方向の被写体像を撮像している。眼球撮像部１０３ｂは、フレーム構造１０２などに装着され、ユーザの左眼を撮像する。カメラ制御部３４は、ＣＰＵ２０からの指令に従い、撮像部１０３ａと眼球撮像部１０３ｂによる撮像を制御する。カメラ制御部３４は、撮像部１０３ａおよび眼球撮像部１０３ｂにより撮像された撮像画像を、ビデオＲＡＭ２６に記憶する。
【００１７】
計時部３２は、ＣＰＵ２０により制御され、所定のタイミングからの経過時間を検出する。操作部３６は、電源スイッチ、モード切り替えスイッチ、レリーズスイッチなどを含む。
【００１８】
画像記録装置１００は、動作モードとして、画像記録モードと、画像再生モードとを少なくとも有する。画像記録モードのときは、画像記録装置１００は、ＣＰＵ２０の制御のもと、撮像部１０３ａの撮像画像に基づく画像ファイルをフラッシュメモリ２８に記録する。一方で、画像再生モードのときは、画像記録装置１００は、ＣＰＵ２０の制御のもと、フラッシュメモリ２８に記録された画像ファイルを映像信号処理部３０と画像表示部１０２とを介して、ユーザの網膜に表示する。
【００１９】
図３は、画像記録装置１００の制御ブロック図である。画像記録装置１００のＣＰＵ２０は、プログラムＲＯＭ２４に記憶されたプログラムを実行することにより、図３に示す注視判定部２０１と、人物判定部２０２と、表情検出部２０３と、自動撮影部２０４として機能する。
【００２０】
注視判定部２０１は、ユーザが所定時間以上連続して所定の被写体を注視しているか否かを判定する。注視判定部２０１は、視線検出部２１１と、瞳孔検出部２１２とを有する。視線検出部２１１は、例えば眼球撮像部１０３ｂが撮像したユーザの左眼の画像に基づいて、ユーザの視線方向を検出する。瞳孔検出部２１２は、例えば眼球撮像部１０３ｂが撮像したユーザの左眼の画像に基づいて、ユーザの左眼の瞳孔の開き具合（大きさ）を検出する。
【００２１】
注視判定部２０１は、視線検出部２１１により検出されたユーザの視線方向が所定時間以上連続して同一方向を向いているとき、ユーザが所定時間以上連続して所定の被写体を注視していると判定する。また、注視判定部２０１は、瞳孔検出部２１２により検出されたユーザの左眼の瞳孔が所定時間以上連続して所定の大きさ以上に開いているとき、ユーザが所定時間以上連続して所定の被写体を注視していると判定する。視線検出部２１１の検出結果に基づく判定と瞳孔検出部２１２の検出結果に基づく判定との両方を同時に利用することにしてもよいし、いずれかをユーザが選択することにしてもよい。なお、所定時間は、例えば３０秒であって、計時部３２により計時される。
【００２２】
人物判定部２０２は、周知の顔検出技術を用いて、ビデオＲＡＭ２６に記憶された撮像部１０３ａの撮像画像の中に人物画像が存在するか否かを判定する。表情検出部２０３は、ビデオＲＡＭ２６に記憶された撮像部１０３ａの撮像画像の中に人物画像が存在すると人物判定部２０２が判定したときに、顔画像に基づいてその人物像の表情を検出する。例えば、表情検出部２０３は、ユーザの目、口、顔のしわの形状、口の開閉具合など、顔全体に分布する特徴に基づいて、笑顔や怒った顔などを検出する。例えば、目尻が下がっている、口角が上がっている、口が開いている、ほうれい線が明瞭であるなどの特徴が顔画像から検出された場合、その顔画像の表情は笑顔であると判断する。また例えば、目尻が上がっている、口角が下がっている、眉間のしわが明瞭であるなどの特徴が顔画像から検出された場合、その顔画像の表情は怒っている顔であると判断する。
【００２３】
自動撮影部２０４は、カメラ制御部３４を制御して、撮像部１０３ａによる撮影動作を自動的に開始させる。カメラ制御部３４によりビデオＲＡＭ２６に記憶された撮像部１０３ａの撮像画像は、ＣＰＵ２０の制御のもと、所定の画像処理と所定の画像圧縮処理とが施された後に、フラッシュメモリ２８に記憶される。
【００２４】
図４は、画像記録装置１００が画像記録モードのときに実行する処理に関するフローチャートである。ステップＳ４００では、ＣＰＵ２０は、注視判定部２０１の処理により、ユーザが所定時間以上連続して所定の被写体を注視しているか否かを判定する。ＣＰＵ２０は、ステップＳ４００が否定判定された場合はステップＳ４００の処理を繰り返し、ステップＳ４００が肯定判定された場合は処理をステップＳ４０１に進める。
【００２５】
ステップＳ４０１では、ＣＰＵ２０は、人物判定部２０２の処理により、撮像部１０３ａの撮像画像の中に人物画像が存在するか否かを判定する。ＣＰＵ２０は、撮像画像に人物画像が含まれない場合、例えば風景のみの場合、ステップＳ４０１が否定判定されて、処理をステップＳ４０３に進める。ＣＰＵ２０は、撮像画像に人物画像が含まれる場合、ステップＳ４０１が肯定判定されて、処理をステップＳ４０２に進める。
【００２６】
ステップＳ４０２では、ＣＰＵ２０は、撮像画像の中に含まれた人物の表情を表情検出部２０３の処理により検出する。ＣＰＵ２０は、人物の表情が笑顔の場合はステップＳ４０３に処理を進め、人物の表情が怒った顔の場合には、ステップＳ４００に処理を戻す。人物が怒っていると判断された場合、ＣＰＵ２０は、その人物がユーザによる撮影を拒んでいると判断して、画像の記録を行わない。これにより、撮影を拒絶する人物のプライバシーを保護することができる。
【００２７】
ステップＳ４０３では、ＣＰＵ２０は、自動撮影部２０４の処理により、撮像部１０３ａによる撮影動作を開始させる。記録される画像は、静止画像でも、動画像でもよい。動画像を撮影している場合は、撮影中であることを表す画像を画像表示部１０２から出力することにしてもよい。例えば、ＣＰＵ２０は、「ＲＥＣ」などの文字を含む画像を、画像表示部１０２から出力させる。ＣＰＵ２０は、自動撮影処理により撮像部１０３ａの撮像画像に基づく画像ファイルがフラッシュメモリ２８に記憶された後、処理をステップＳ４００に戻す。
【００２８】
図５は、画像記録装置１００が画像再生モードのときに実行する処理に関するフローチャートである。ステップＳ５００では、ＣＰＵ２０は、フラッシュメモリ２８に記憶されている画像ファイルを１個以上取得する。ステップＳ５０１では、ＣＰＵ２０は、ステップＳ５００で取得した画像ファイルの各々に対してサムネイル画像を生成する。ステップＳ５０２では、ステップＳ５０１で生成されたサムネイル画像の各々を表示するための表示画面を生成する。
【００２９】
図６は、ステップＳ５０２で生成される表示画面のレイアウトの一例を示す図である。図６に示す表示画面のレイアウト６００では、ステップＳ５０１で生成されたサムネイル画像を表示する表示領域６０１ａ、６０１ｂ、６０１ｃ、および６０１ｄと、ポインタ６０２とを有する。ポインタ６０２は、図３の視線検出部２１１により検出された視線方向に基づいて表示される。
【００３０】
再びに図５に戻り、ステップＳ５０３では、ＣＰＵ２０は、映像信号処理部３０を制御して、ステップＳ５０２で生成した表示画面が画像表示部１０２により表示されるように制御する。
【００３１】
ステップＳ５０４では、ＣＰＵ２０は、視線検出部２１１の処理により、ユーザの視線方向が所定時間以上連続して同一方向を向いているか否かを判定する。すなわち、ポインタ６０４の位置が所定時間（例えば、５秒）以上連続して同じ位置にあるか否かを判定する。ＣＰＵ２０は、ステップＳ５０４が肯定判定された場合は処理をステップＳ５０５に進め、ステップＳ５０４が否定判定された場合は処理をステップＳ５０１に進める。
【００３２】
ステップＳ５０５では、ＣＰＵ２０は、ポインタ６０２の位置がサムネイル画像の表示領域６０１ａ〜６０１ｄの内側か否かを判定する。ＣＰＵ２０は、ステップＳ５０５が肯定判定された場合は処理をステップＳ５０６に進め、ステップＳ５０５が否定判定された場合は処理をステップＳ５０７に進める。
【００３３】
ステップＳ５０６では、ＣＰＵ２０は、ポインタ６０２が位置している表示領域に対応した画像ファイルを選択して、その画像ファイルの再生を開始する。例えば、静止画像の画像ファイルが選択された場合は静止画像を表示し、動画像の画像ファイルが選択された場合は動画像を再生表示する。再生終了後、ＣＰＵ２０は、処理をステップＳ５０２に戻す。
【００３４】
ステップＳ５０７では、ＣＰＵ２０は、ユーザが表示されているサムネイル画像に興味がないものと判断して、サムネイル画像を表示する画像ファイルを他の画像ファイルに変更する。ＣＰＵ２０は、画像ファイルを変更した後、処理をステップＳ５００に戻す。
【００３５】
以上で説明した実施の形態によれば、以下の作用効果が得られる。
画像記録装置１００は、ユーザの頭部に装着するヘッドマウントディスプレイであって、ユーザの視線方向の被写体像を撮像して撮像画像を出力する撮像部１０３ａと、ユーザが所定時間以上連続して被写体を注視しているか否かを判定する注視判定部２０１と、注視判定部２０１の判定結果に基づいて撮像部１０３ａの撮影動作を開始させる自動撮影部２０４と、自動撮影部２０４による撮影動作により撮影された画像をフラッシュメモリ２８に記録させるＣＰＵ２０とを備える。このような構成を備えることにより、ユーザが自分の興味等に従って被写体を観察しているだけで、ユーザが特別な操作を行うことなく、ユーザ固有の画像を自動的に記録することができる。
【００３６】
以上で説明した実施形態は、以下のように変形して実施できる。
〔変形例１〕
上記の実施の形態では、画像表示部１０２はユーザの左眼に画像を導いて左眼の網膜上に画像を形成したが、ユーザの右眼に画像を導いて右眼の網膜上に画像を形成することにしてもよい。また、眼球撮像部１０３ｂはユーザの左眼の画像を撮像することとしたが、右眼の画像を撮像することとしてもよい。なお、左目用と右眼用の画像表示部１０２および眼球撮像部１０３ｂを同時に設けることとしてもよい。
【００３７】
〔変形例２〕
上記の実施の形態は、光学シースルーヘッドマウントディスプレイの例で説明したが、ビデオシースルーヘッドマウントディスプレイや頭部に装着するウェアラブルカメラにも本発明は適用できる。
【００３８】
〔変形例３〕
画像表示部１０２は、網膜走査型ディスプレイであるものとしたが、他の透過式の表示方法を用いてもよく、非透過式の液晶ディスプレイや有機ＥＬディスプレイなどを用いることにしてもよい。画像の記録と同時に音声を集音する集音部や、音声を再生するスピーカをさらに備えることにしてもよい。
【００３９】
〔変形例４〕
図４のステップＳ４０２の処理は、省略することができる。ステップＳ４０２の処理を省略する場合、ＣＰＵ２０は、ステップＳ４０１が肯定判定されたとき、処理をステップＳ４００に戻すことにすればよい。
【００４０】
以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。
【符号の説明】
【００４１】
２０  ＣＰＵ
２４  プログラムＲＯＭ
２８  フラッシュメモリ
３２  計時部
１００  画像記録装置
１０２  画像表示部
１０３ａ  撮像部
１０３ｂ  眼球撮像部
【図１】
2014143595.tif 000003
【図２】
2014143595.tif 000004
【図３】
2014143595.tif 000005
【図４】
2014143595.tif 000006
【図５】
2014143595.tif 000007
【図６】
2014143595.tif 000008