(57)【要約】【課題】映像を閲覧した複数の人の中から、表示する人を抽出するための撮像装置を提供すること。【解決手段】第１の映像を表示する表示手段と、前記表示手段によって表示された映像を閲覧している第１の閲覧者を撮像する撮像手段と、前記撮像手段により撮像する際に、前記第１の閲覧者の視線を検出する検出手段と、前記表示手段によって表示された映像のうち、前記第１の閲覧者が注目している箇所を特定する手段と、第１の閲覧者と、第１の閲覧者が前記表示手段によって表示された映像の中の注目している被写体と、を関連付けて記憶する手段と、を有し、第２の閲覧者が前記映像を閲覧する際に、第１の閲覧者について前記関連付けて記憶した情報に応じて、第１の閲覧者の撮像データを第２の映像として表示するか否かを判定することを特徴とする。【選択図】図１
2016167716.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像を表示する表示手段と、
前記表示手段によって表示された映像を閲覧している第１の閲覧者を撮像する撮像手段と、
前記撮像手段により撮像する際に、前記第１の閲覧者の視線を検出する検出手段と、
前記表示手段によって表示された映像のうち、前記第１の閲覧者が注目している箇所を特定する手段と、
第１の閲覧者と、第１の閲覧者が前記表示手段によって表示された映像の中の注目している被写体と、を関連付けて記憶する手段と、を有し、
第２の閲覧者が前記映像を閲覧する際に、第１の閲覧者について前記関連付けて記憶した情報に応じて、第１の閲覧者の撮像データを第２の映像として表示するか否かを判定することを特徴とする撮像装置。
【請求項２】
前記第２の閲覧者が前記映像を閲覧する際に、注目している被写体を特定する手段を有し、前記第２の閲覧者が注目している被写体に連動して、第１の閲覧者を選択して表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１の閲覧者が、第１の映像のうち一定時間同じ被写体に注目しているときに第１の閲覧者の映像を第２の映像として表示することを特徴とする請求項１に記載の撮像装置。
【請求項４】
第１の閲覧者の映像を第２の映像として表示する際に、第１の映像のうち第１の閲覧者が注目している被写体から視線が外れたあとも、一定時間第１の閲覧者を第２の映像として表示を続けることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に撮影した被写体を表示する装置に関する。
【背景技術】
【０００２】
従来から、メインの被写体を記録するとともに撮影者自身を記録するという技術があった。特許文献１には、撮影者側カメラで撮った画像から撮影者の顔画像を抽出し、アウトカメラで撮った画像の重要でない部分に重畳するという技術が開示されている。また、特許文献２には、視聴者の視線を検出して表示されている画像情報と視聴者の視線情報に基づいて注目している情報を判定するという技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−９４７４１号公報
【特許文献２】特開２００９−５０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、映像を閲覧している人物を撮影して記録しておき、他の人が同じ映像を見たときに過去に閲覧して記録しておいた人をディスプレイに表示しようとする状況において、表示スペースの関係から閲覧者を表示できる人数に制限がある。
【０００５】
このため、過去の閲覧者が多数いると表示できる人数分だけ抽出しなければならない。これまでは、そうした課題に対して解決するする有効な方法がなく、メイン映像を見ていなかった閲覧者が選択され、映像とは関係ない反応をしている人が表示される可能性があった。
【０００６】
そこで、本発明の目的は、再生しているメインの映像に注目していた閲覧者を表示することを可能にした撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、
第１の映像を表示する表示手段と、
前記表示手段によって表示された映像を閲覧している第１の閲覧者を撮像する撮像手段と、
前記撮像手段により撮像する際に、前記第１の閲覧者の視線を検出する検出手段と、
前記表示手段によって表示された映像のうち、前記第１の閲覧者が注目している箇所を特定する手段と、
第１の閲覧者と、第１の閲覧者が前記表示手段によって表示された映像の中の注目している被写体と、を関連付けて記憶する手段と、を有し、
第２の閲覧者が前記映像を閲覧する際に、第１の閲覧者について前記関連付けて記憶した情報に応じて、第１の閲覧者の撮像データを第２の映像として表示するか否かを判定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、映像を再生する際に、映像を過去に閲覧した閲覧者の中から、特定の被写体に注目していた閲覧者を適切に抽出して表示する撮像装置の提供を実現できる。
【図面の簡単な説明】
【０００９】
【図１】本発明を実施するための好ましい実施の形態を説明するための構成図である。
【図２】被写体を撮影するときの動作を説明するフローチャートである。
【図３】再生時の動作の概略を説明するフローチャートである。
【図４】再生時に閲覧者を撮影するときの動作を説明するフローチャートである。
【図５】第１の実施形態において、再生時に過去の閲覧者を表示するときの動作を説明するフローチャートである。
【図６】メインの映像で検出した被写体について説明する図である。
【図７】閲覧者と閲覧者が注目している被写体の関連付けを説明する図である。
【図８】メインの映像と過去の閲覧者の表示について説明する図である。
【図９】メインの映像のうち選択できる被写体について説明する図である。
【図１０】第２の実施形態において、再生時に過去の閲覧者を表示するときの動作を説明するフローチャートである。
【図１１】第３の実施形態において、再生時に過去の閲覧者を表示するときの動作を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は本発明の実施形態にかかわる撮像装置である。
【実施例１】
【００１１】
本発明の第１の実施例による、撮像装置について説明する。図１は本発明を実現するための撮像装置の構成を示したものである。
【００１２】
１０１で示す撮像部１はメインの被写体を撮影するためのものであり、撮影した映像データはデジタルデータに変換され、１０２の信号処理部１に入力されて各種画像処理が行われる。
【００１３】
一時記憶メモリ１０３は画像処理等で使用されるデータを一時的に格納するための作業領域に使用する。
【００１４】
画像処理が行われた映像データはメモリカード、または、無線ＬＡＮを介して接続したサーバ、等の外部記憶メモリ１０４に保存される。
【００１５】
映像データを再生する場合は、１０４からデータを読出し、表示装置１０５に映像の表示を行う。
【００１６】
さらに、本発明を実現するための撮像装置には１０６で示す撮像部２が備えられており、外部記憶メモリ１０４に格納された映像を表示装置１０５に表示している最中に、閲覧している閲覧者の顔の映像を撮影し、デジタルデータを生成するためのものである。
【００１７】
１０６で生成されたデジタルデータは、各種画像処理を１０７の信号処理部２で行い外部記憶メモリ１０４に記録する。このとき、閲覧者の映像データと再生した映像データを関連付けるデータを外部記憶メモリ１０４に一緒に記録を行う。
【００１８】
また、視線検出部１０８は閲覧者を撮影した映像から視線検出を行って画面上で注目している領域を検出し、再生されている映像のうち、閲覧者がどの被写体に注目しているかを特定する。閲覧者が注目している被写体を特定した後、閲覧者と閲覧者が注目している被写体との関連付け情報を外部記憶メモリ１０４に記録する。
【００１９】
１０９はＣＰＵであり、上記で述べた処理についての各種制御を行うプログラムが実行される。
【００２０】
次に図２を用いて、メインの被写体の撮影時の動作について詳細に説明を行っていく。ユーザーが撮影開始ボタンを押すと撮影モードに入り、メインカメラが起動して撮影が開始する（Ｓ２０１）。
【００２１】
撮影した映像について、特定の被写体が含まれているか否かを検出し（Ｓ２０２）、撮影した映像を記録するとともに検出された被写体の領域を記録しておく（Ｓ２０３、Ｓ２０４）。このときの特定の被写体とは、たとえば人の顔やペット、あるいは撮像装置内にある個人認識用データを利用した特定の人物といったものである。これらの検出方法については、当該関係者によく知られた技術であるため、内容を省略する。
【００２２】
Ｓ２０５でユーザーの操作によって撮影の終了が指示されたか否かを判定し、撮影の終了が指示されていれば、メインの被写体の撮影は終了する。撮影の終了が指示されていなければ、次に入力された映像に対して再びＳ２０２〜Ｓ２０４を繰り返して行っていく。
【００２３】
以下では図３〜５を用いて再生時の動作について詳細に説明を行っていく。
【００２４】
図３は再生時の動作の概略を説明するためのフローチャートである。
【００２５】
本実施例の撮像装置が再生モードに入ると、外部記憶メモリ１０４に記憶されている映像データを読出し、撮像装置に備えられている液晶ディスプレイ等の表示装置１０５に表示を行う（ステップＳ３０１）。
【００２６】
次のステップＳ３０２で、表示されている映像を閲覧している閲覧者を撮影するモードが起動し、閲覧者の映像を記録する。
【００２７】
ステップＳ３０３は、同じ映像を過去に閲覧した閲覧者を撮影した映像の中から表示する過去の閲覧者を決定し、ディスプレイにメインの映像とともに、選出した過去の閲覧者の表示を行う。
【００２８】
図４は図３におけるステップＳ３０２の動作についての詳細を説明するフローチャートである。
【００２９】
撮像装置が閲覧者撮影モードに入ると、まず表示デバイス付近に供えられたカメラが起動し（Ｓ４０１）、再生映像を閲覧している閲覧者の撮影が開始される（Ｓ４０２）。
【００３０】
閲覧者を撮影した画像をもとに閲覧者の視線を検出し、閲覧者が表示画面中の注目している箇所の特定を行う（Ｓ４０３）。閲覧者の視線検出については、たとえば特開２００６−２０４８５５号公報などの方法を用いることで行うことができる。
【００３１】
次のステップＳ４０４では、閲覧者の注目している箇所がメインの映像の特定の被写体であるか否かの判定を行う。
【００３２】
たとえば、図６に示すようなメインの映像を図２の手順に従って撮影したときに、被写体として２人の顔の位置を検出した場合、閲覧者の注目箇所と顔の位置とを比較して、二人のいずれかに注目しているか、またはそれ以外の箇所に注目しているかを判定する。
【００３３】
判定方法としては、Ｓ２０４で検出して記録しておいたデータをメモリから読出し、被写体の領域と判定された範囲６０１あるいは６０２と、閲覧者が注目している箇所との比較を行って判定する。
【００３４】
Ｓ４０４で閲覧者が特定の被写体を見ていると判定された場合、外部記録メモリにある被写体と閲覧者との関連付け情報を更新する。
【００３５】
実際には閲覧者は映像再生途中でほかの被写体に注目が移ることもあるため、たとえば図７で示すようにタイムコードと被写体と閲覧者を関連付けて記録を行うようにするとなお良い。
【００３６】
再生が終了したか否かを判定し、映像の再生が終了していなければ再度Ｓ４０３へ戻って同じ動作を繰り返す（Ｓ４０６）。
【００３７】
図５は図３のステップＳ３０３の動作についての詳細を説明するフローチャートである。
【００３８】
過去に同じ映像を再生したときに閲覧した閲覧者を撮影し、図３のＳ３０２によってその時の閲覧者と、閲覧者が注目している被写体との関連付け情報が記録されている。
【００３９】
まず、ステップＳ５０１はＳ３０２でおこなった現在の閲覧者が注目している被写体を取得する。次に過去の閲覧者と過去の閲覧者が注目している被写体との関連付け情報が記録されている情報を読み出し、現在の再生時間において、Ｓ５０１で取得した被写体に着目している過去の閲覧者を抽出する（Ｓ５０２）。
【００４０】
抽出した閲覧者をディスプレイに表示し（Ｓ５０３）、これを映像の再生が終了するまで繰り返し行う（Ｓ５０４）。
【００４１】
過去の閲覧者の表示の仕方については、たとえば図８に示すようなものが考えられる。８０１はメインの映像を表示するエリアであり、８０２は過去に同じ映像を閲覧した閲覧者のうち、Ｓ５０２で抽出した人を表示するエリアである。
【００４２】
表示方法についてはこれに限ったことではなく、たとえば、メインの映像の上に重畳表示するようにしてもよい。
【００４３】
ステップＳ５０２において、過去の閲覧者の抽出人数が表示可能な人数を超えてしまった場合や表示可能な人数にみたない場合については、例えば以下のような方法で対応できる。
【００４４】
対象被写体に注目している人が閲覧者表示エリアに対して多いときは、たとえば対象被写体を見ている時間が長いなど、優先度を決めて選択する。対象被写体に注目している人が閲覧者表示エリアに対して少ないときは、対象被写体を見ている人のみを表示してもよいし、抽出された閲覧者に加えて表示可能な人数までそれ以外の人も表示するようにしてもよい。
【００４５】
基本的な動作については上記のとおりであるが、過去閲覧者の表示が頻繁に切り替わって見にくくならないように、過去閲覧者の抽出時に一定時間同じ被写体を見ていると判定した人のみ表示するようにするとなお良い。
【００４６】
あるいは、過去の閲覧者を抽出して表示した際に、対象の被写体から視線が外れたときでも一定時間同じ過去閲覧者の表示を続けるようにしてもよい。このようにすることで、視線が一時被写体から離れても、再び同じ被写体に視線が戻った時に、頻繁に過去閲覧者が切り替わることなく表示を続けることができ、見づらくなることを防止する。
【００４７】
上記で述べたように、過去閲覧者データが増えても、映像を再生する際に対象の被写体を決めてその被写体に注目していた過去の閲覧者を抽出することで、他の閲覧者に埋もれて表示されなくなることを抑止できる。このため、映像と関係のないところに注目しているために本来の内容とは関係のない反応をしている過去の閲覧者の表示を防止することができる。
【実施例２】
【００４８】
以下、図１０を参照して、本発明の第２の実施例による、撮像装置について説明する。
【００４９】
基本的な構成は実施例１と同じであり、再生時の動作は実施例１と同じく図３で示すとおりであるが、本発明の第２の実施例では、表示する過去の閲覧者の選択を、明示的に指定する例である。図１０は図３のステップＳ３０３の動作を詳細に説明するフローチャートである。
【００５０】
まず、Ｓ１００１でメインの映像を表示するとともに、特定の被写体を明示する。例えば図９で示すように、撮影時に検出した人の顔の領域情報をメモリから取得し、９０１および９０２を選択できることを明示する。
【００５１】
現在の閲覧者は、表示されている映像のうち、特定の被写体について注目していた過去の閲覧者の反応を見るために、たとえばタッチパネルのディスプレイの画面上をタッチして、表示したい被写体を選択する（Ｓ１００２）。
【００５２】
被写体の指定の方法は、上記に限らず、たとえば選択できる被写体をカーソルで表示し、操作ボタン等で指定する方法などもある。
【００５３】
次に、過去の閲覧者を撮影したときに記録した注目している被写体情報をメモリから取得し、Ｓ１００２で指定された被写体に注目していた過去の閲覧者を抽出する（Ｓ１００３）。過去の閲覧者の抽出の仕方は、実施例１で述べた方法で行う。
【００５４】
Ｓ１００３で抽出した閲覧者を実施例１で述べた方法でディスプレイに表示し（Ｓ１００４）、これを再生が終了するまで繰り返し行う（Ｓ１００５）。
【００５５】
このとき過去閲覧者の表示が頻繁に切り替わって見にくくならないよう、過去閲覧者の抽出時に一定時間同じ被写体を見ていると判定した人のみ表示するようにするとなお良い。
【００５６】
あるいは、過去の閲覧者を抽出して表示した際に、対象の被写体から視線が外れたときでも一定時間同じ過去閲覧者の表示を続けるようにしてもよい。このようにすることで、視線が一時被写体から離れても、再び同じ被写体に視線が戻った時に、頻繁に過去閲覧者が切り替わることなく表示を続けることができ、見づらくなることを防止する。
【００５７】
上記のようにすることで、再生者の意図した被写体に注目している過去の閲覧者の未表示することができ、映像の内容とは関係のない反応をしている過去の閲覧者の表示を防止することができる。
【実施例３】
【００５８】
以下、図１１を参照して、本発明の第３の実施例による、撮像装置について説明する。
【００５９】
基本的な構成は実施例１と同じであり、再生時の動作は実施例１と同じく図３で示すとおりであるが、本発明の第３の実施例では、表示する過去の閲覧者の選択の方法が異なる。
【００６０】
実施例１は一つの被写体に注目していた過去の閲覧者を表示する例であったが、実施例３では複数の被写体を対象とした例である。
【００６１】
図１１は図３のステップＳ３０３の動作を詳細に説明するフローチャートである。
【００６２】
再生している映像を撮影したときに、Ｓ２０４で映像と一緒に、検出した被写体の領域を記録しているが、過去閲覧者の選択時にはまずＳ１１０１でこの情報を取得する。図６のような場合では、被写体は２つである。
【００６３】
次にＳ１１０２で、この２つの被写体についてどちらかに注目している過去の閲覧者の抽出を行う。過去の閲覧者の抽出の仕方は、たとえば実施例１で述べた方法で行う。
Ｓ１１０２で抽出した過去の閲覧者について実施例１で述べたような方法でディスプレイに表示する（Ｓ１１０３）。
【００６４】
Ｓ１１０４は映像の再生が終了していれば終了するが、映像の再生が終了していなければ再びＳ１１０１に戻り、これを映像再生が終了するまで繰り返しおこなう。
【００６５】
このとき過去閲覧者の表示が頻繁に切り替わって見にくくならないよう、過去閲覧者の抽出時に対象としている複数の被写体のうち、いずれかを一定時間見ていると判定した人のみ表示するようにするとなお良い。
【００６６】
あるいは、過去の閲覧者を抽出して表示した際に、対象の複数の被写体から視線が外れたときでも一定時間同じ過去閲覧者の表示を続けるようにしてもよい。このようにすることで、視線が一時被写体から離れても、再び同じ被写体に視線が戻った時に、頻繁に過去閲覧者が切り替わることなく表示を続けることができ、見づらくなることを防止する。
【００６７】
上記のようにすることで、再生者の意図した被写体に注目している過去の閲覧者の未表示することができ、映像の内容とは関係のない反応をしている過去の閲覧者の表示を防止することができる。
【００６８】
上記のようにすることで、被写体が複数あった場合でも、映像の内容とは関係のない反応をしている過去の閲覧者の表示を防止することができる。
【００６９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７０】
１０１  撮像部１、１０２  信号処理部１、１０３  一時記憶メモリ、
１０４  外部記憶メモリ、１０５  表示装置、１０６  撮像部２、
１０７  信号処理部２、１０８  視線検出部、１０９  ＣＰＵ
【図１】
2016167716.tif 000003
【図２】
2016167716.tif 000004
【図３】
2016167716.tif 000005
【図４】
2016167716.tif 000006
【図５】
2016167716.tif 000007
【図６】
2016167716.tif 000008
【図７】
2016167716.tif 000009
【図８】
2016167716.tif 000010
【図９】
2016167716.tif 000011
【図１０】
2016167716.tif 000012
【図１１】
2016167716.tif 000013