(57)【要約】【課題】  あるユーザの事象が定常的に遠隔の他ユーザに提示される遠隔コミュニケーションにおいて、ユーザが相手に知らせたくなかった事象まで提示されてしまう可能性がある。【解決手段】  第１のユーザが存在する現実空間の映像を撮像する。映像に基づいて、現実空間における事象を認識する。認識手段にて認識できる事象であって、第１のユーザとは異なる第２のユーザに提示してもよいとされる許可事象を設定する。認識された事象が設定した許可事象に該当するか否かに基づいて、認識された事象を第２のユーザに提示してもよいか否かを判断する。第２のユーザに提示してもよいと判断された事象を示す情報を送信する。【選択図】  図１
2011172205.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが存在する現実空間に関する事象を設定する設定手段と、
前記現実空間の映像を撮像する撮像手段と、
前記映像に基づいて、前記現実空間における事象を認識する認識手段と、
前記認識された事象が前記設定した事象に該当するか否かに基づいて、前記認識された事象を前記ユーザとは異なる他者に提示してもよいか否かを判断する判断手段と、
前記他者に提示してもよいと判断された事象を示す情報を送信する送信手段と、
を有することを特徴とする映像情報処理装置。
【請求項２】
前記判断手段が、前記認識された事象が変化した場合に、前記認識された事象を前記他者に提示してもよいか否かを判断することを特徴とする請求項１に記載の映像情報処理装置。
【請求項３】
前記設定手段が、前記他者に提示してもよいとする事象を設定し、
前記判断手段が、前記認識された事象が変化した場合に、前記設定した事象に該当する前記認識された事象を前記ユーザとは異なる他者に提示してもよいとして判断する
ことを特徴とする請求項１又は２に記載の映像情報処理装置。
【請求項４】
前記判断手段で提示してもよいと判断された場合、前記映像と前記認識された事象に基づいて、提示情報を作成する作成手段
を更に備え、
前記送信手段が、前記作成された提示情報を、前記事象を示す情報として送信することを特徴とする請求項１乃至３の何れか１項に記載の映像情報処理装置。
【請求項５】
前記送信手段が、前記映像を、前記事象を示す情報として送信することを特徴とする請求項１乃至３の何れか１項に記載の映像情報処理装置。
【請求項６】
前記送信された提示情報を前記他者に提示する提示手段
を更に有することを特徴とする請求項１乃至５の何れか１項に記載の映像情報処理装置。
【請求項７】
前記事象は、前記現実空間の人物もしくは環境の事象である
ことを特徴とする請求項１乃至６の何れか１項に記載の映像情報処理装置。
【請求項８】
前記ユーザに、前記事象の設定を要求する要求手段
を更に有することを特徴とする請求項１乃至７の何れか１項に記載の映像情報処理装置。
【請求項９】
前記要求手段が、前記認識手段がすでに認識された過去の事象と異なる新たな事象を認識することにより事象の変化を検知したときに、前記許可事象の設定を要求する
ことを特徴とする請求項８に記載の映像情報処理装置。
【請求項１０】
前記要求手段が、前記認識手段で認識された事象が前記許可事象にないときに、該認識された事象を許可事象とするか否かの設定を要求する
ことを特徴とする請求項８又は９に記載の映像情報処理装置。
【請求項１１】
前記提示手段が、前記要求手段が前記許可事象の設定を要求する前に、過去に設定されたことのある許可事象の履歴を提示する
ことを特徴とする請求項８乃至１０の何れか１項に記載の映像情報処理装置。
【請求項１２】
前記事象を示す情報は、複数の種類の提示形式を有することを特徴とする請求項１乃至１１の何れか１項に記載の映像情報処理装置。
【請求項１３】
前記複数の提示形式には、前記撮像された映像を提示する形式、及び、前記事象を表現するテキストを提示する形式が含まれることを特徴とする請求項１２に記載の映像情報処理装置。
【請求項１４】
前記設定手段が、前記設定する事象ごとにプライバシーレベルを設定し、
前記判断手段が、前記プライバシーレベルに応じて、前記複数の種類の提示形式のうち何れであれば、前記認識された事象を前記他者に提示してもよいかを判断することを特徴とする請求項１２又は１３に記載の映像情報処理装置。
【請求項１５】
前記作成手段が、前記認識手段の認識結果の確度に応じて前記提示形式を決定し、該提示形式の提示情報を作成することを特徴とする請求項１２又は１３に記載の映像情報処理装置。
【請求項１６】
前記認識手段が、前記映像に撮像された人物の位置、姿勢及び該映像を撮像した時刻に基づいて、前記人物の行動を認識することを特徴とする請求項１乃至１５の何れか１項に記載の映像情報処理装置。
【請求項１７】
前記認識手段が、前記映像に撮像された物体の位置、姿勢及び該映像を撮像した時刻に基づいて、前記物体が存在する環境を認識することを特徴とする請求項１乃至１５の何れか１項に記載の映像情報処理装置。
【請求項１８】
映像情報処理装置が行う映像情報処理方法であって、
前記映像情報処理装置の設定手段が、ユーザが存在する現実空間の事象を設定させる設定工程と、
前記映像情報処理装置の撮像手段が、前記現実空間の映像を撮像する撮像工程と、
前記映像情報処理装置の認識手段が、前記映像に基づいて、前記現実空間における事象を認識する認識工程と、
前記映像情報処理装置の判断手段が、前記認識された事象が前記設定した事象に該当するか否かに基づいて、前記認識された事象を前記ユーザとは異なる他者に提示してもよいか否かを判断する判断工程と、
前記映像情報処理装置の送信手段が、前記他者に提示してもよいと判断された事象を示す情報を送信する送信工程と、
を有することを特徴とする映像情報処理方法。
【請求項１９】
請求項１８に記載の映像情報処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一方の事象を遠隔の他方に提示するシステムにおいて、提示元のユーザに許可を得てから事象を提示する装置および方法に関する。
【背景技術】
【０００２】
映像を利用した遠隔コミュニケーションが、一般に実現されている。例えば、離れたオフィス間での会議目的のものが専用システムとして実現されている。また、Ｗｅｂカメラとネット接続ＰＣを利用した手軽なビデオチャットアプリケーションが、離れている家族や仲間とのコミュニケーションツールとして広く利用されている。
【０００３】
一般的な生活空間同士を繋ぐ映像遠隔コミュニケーションにおいては、コミュニケーションを始める前に、相手に見られたくないものをカメラの視野外へ片付けたいというケースがある。しかし、テレビ電話のように、一方からの開始要求に応答した瞬間からコミュニケーションが始まる場合、事前にカメラの視野内の片付けをしておくことはできない。そこで、「一方がコミュニケーション開始を要求する」というプロセスと「コミュニケーションが始まる」というプロセスの間に、「他方の事象に応じてコミュニケーション開始が了解される」というプロセスを用意する技術がいくつか提案されている。
【０００４】
特許文献１には、一方が他方の観察を開始する旨を要求し、それに他方が同意してから初めて観察映像の提示が始まる技術が開示されている。特許文献２には、遠隔映像コミュニケーションの開始を希望した方が、プライバシーの保護された相手映像を見て相手の状況を確認し、コミュニケーションを開始するか否かを判断する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０４−０７６６９８
【特許文献２】特開平１１−０３２１４４
【特許文献３】特開２００２−３１４９６３
【特許文献４】特開２００３−０６７８７４
【特許文献５】特開２００４−２８７５３９
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献３及び特許文献４には、あるユーザの事象が定常的に他ユーザへ提示される遠隔コミュニケーションが開示されている。このコミュニケーションでは、その開始を人が明示的に要求することなく、一方の事象が他方へ伝達される。つまり、「コミュニケーション開始が要求され、それが了解される」というプロセスがないので、先に述べた公知の技術を適用することが出来ない。そして、この遠隔コミュニケーションで事象が映像で表現されていると、相手に見せたくない事象を見せてしまう。特許文献５に開示される技術を用いて、映像ではなくテキスト（動作名）で事象を提示した場合であっても、表現される内容が具体的であれば、知らせたくなかった事象まで相手に知られてしまう。すなわち、公知の技術の持ってしても、この種の遠隔コミュニケーションでは、プライバシーの保護が十分ではない。
【０００７】
つまり、明示的なコミュニケーション開始の要求なしにユーザの事象が定常的に他ユーザに提示される遠隔コミュニケーションにおいて、従来技術では、自分の事象が他方へ提示されるユーザのプライバシー保護に十分でないという課題があった。
また、そのユーザの事象をどこまで相手に伝えてもよいかを制御することができないという課題もあった。
【０００８】
以上の点を鑑み、本発明では、ユーザの事象が定常的に遠隔の他ユーザに提示される遠隔コミュニケーションにおいて、事象ごとに相手に提示する許可を、その事象が起こる前にユーザから得ておくことで、プライバシーを保護する。すなわち、事前に提示許可を得ている事象もしくはそれに類する事象である場合のみ、ユーザの明示的なコミュニケーション開始要求なしに、事象を他ユーザに提示する。これにより、事象が起こる度にユーザがその事象伝達の可否を判断する手間なく、定常的にユーザの事象を遠隔の他ユーザに提示することができる。事象が発生する前にその伝達可否が判断されているので、初めて発生する事象であっても、伝達すべき事象であれば滞りなく相手に提示される。提示を許可した事象だけでなく、ある基準で許可された事象に類すると判断される事象も伝達されるので、事前の提示許可作業も、実用的な作業量となりうる。また、単純に提示許可を得るだけでなく、事象ごとのプライバシー保護の必要性や重要性も事前にユーザから得ることで、その時々によって異なる判断基準に応じた事象提示を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題は、以下の装置によって解決できる。
ユーザが存在する現実空間に関する事象を設定する設定手段と、
前記現実空間の映像を撮像する撮像手段と、
前記映像に基づいて、前記現実空間における事象を認識する認識手段と、
前記認識された事象が前記設定した事象に該当するか否かに基づいて、前記認識された事象を前記ユーザとは異なる他者に提示してもよいか否かを判断する判断手段と、
前記他者に提示してもよいと判断された事象を示す情報を送信する送信手段と、
を有することを特徴とする映像情報処理装置。
【発明の効果】
【００１０】
本発明によれば、ユーザ自身の判断において許可した事象のみを選択的もしくは部分的に、遠隔の他ユーザに定常的に提示することで、ユーザのプライバシーを保護することができる。
【図面の簡単な説明】
【００１１】
【図１】第一の実施形態に係る映像情報処理装置の構成図である。
【図２】第一の実施形態に係る映像情報処理装置の処理を示すフローチャートである。
【図３】第二の実施形態に係る映像情報処理装置の構成図である。
【図４】第二の実施形態に係る映像情報処理装置の処理を示すフローチャートである。
【図５】コンピュータの構成例である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明をその好適な実施形態に従って詳細に説明する。
【００１３】
〔第一実施形態〕
本実施形態に係る映像情報処理装置は、第１のユーザが存在しうる現実空間の事象を認識し、自動的に認識結果に対応する提示許可があるかを確認して、その事象を示す情報を第１のユーザにとって他者である第２のユーザが存在する現実空間に提示する。そして、認識結果に対応する事象がない場合は、その事象に対応する提示許可の設定を要求し、学習を行う。ここでの事象は、現実空間における人物または環境に関する事象である。例えば、その現実空間における人の在否、位置やその人物の識別、その現実空間における人の移動・表情・姿勢・動作・行動や、現実空間の明るさ・温度・物の有無・物の移動などの事象である。
【００１４】
以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
【００１５】
図１は、本実施形態に係る映像情報処理装置１００の概略を示す図である。図１に示すように、映像情報処理装置１００は、撮像部１０１、認識部１０２、作成部１０３、判断部１０４、設定部１０５、提示部１０６から構成される。また、提示部１０６が遠隔地にある場合は、その提示部１０６にデータを送信する不図示の送信部１０７が構成に更に含まれる。本実施形態では、第１のユーザを事象の提示元、第２のユーザを事象の提示先として説明する。
【００１６】
撮像部１０１は、第１のユーザが存在しうる現実空間の映像を撮像する。例えば、天井から吊り下げられたカメラや、床、台、テレビや携帯電話に据え置き・内蔵されたカメラである。なお、ここでの現実空間は、例えば、第１のユーザが住む家の居間である。撮像された映像は認識部１０２および作成部１０３へ出力される。
認識部１０２は、撮像部１０１から映像を受け取り、この映像に映る事象を認識する。例えば、認識部１０２は、人の在否・位置・姿勢・行動や環境の事象などの事象を認識する。
【００１７】
以下に、その実現方法について述べる。
認識対象となる人の位置の認識は、例えば、撮像部１０１による撮像された映像中から、第１のユーザ（もしくは、人の顔や頭部など）に起因する映像特徴を検出することによって実現される。映像特徴として、局所領域における勾配方向をヒストグラム化した特徴量であるＨｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量を利用しても良い。人に起因する映像特徴は、人の映る映像を多量に集めて、それらに含まれる特徴量に共通するものを、例えばＢｏｏｓｔｉｎｇと呼ばれるアルゴリズムを用いて、統計的に学習することによって特定しても良い。このように特定された人に起因する映像特徴が、撮像部１０１による撮像された映像に含まれていれば、「人が、特徴の検出された位置に居る」と認識する。
【００１８】
人の姿勢の認識は、例えば、人が映っていると認識された映像に対し、人の身体パーツに起因する映像特徴を検出することによって実現される。その検出方法は、上述の人の検出と同様であるから説明は割愛する。複数の身体パーツ（例えば頭と肩と腰と膝と足先）を検出すれば、その検出位置同士の関係から、映像に映る人の姿勢を認識することができる。例えば、頭と肩と腰の検出位置が一直線上に並び、膝と足先の検出位置がその直線から前方に（顔の向いている方向に）ある距離以上離れていたとする。さらに膝と足先の検出位置を結ぶ直線が、頭と肩と腰の検出位置が並ぶ直線とおおよそ平行であったとする。この場合「膝を曲げて（椅子などに）腰掛けている姿勢」と認識することができる。
【００１９】
人の行動の認識は、例えば、その処理を行う日時と、上述の「人の位置の認識」と「人の姿勢の認識」の結果を用いて実現される。具体的には、撮像部１０１により撮像された映像中の、どこで人が検出され、その人はどんな姿勢で、それは一体何時であったかを用いて行われる。例えば、撮像部１０１により撮像された映像中のダイニングテーブルが映る付近に（映像中のどこにダイニングテーブルが映っているかは、事前にキャリブレーションされ既知とする）人が検出されたとする。そして、その人の姿勢がテーブルの中央向きに、膝を曲げて（椅子などに）腰掛けている姿勢であり、その時間が午後の７時であるとする。するとこれらの結果は「夕食の頃合である午後７時に、人がダイニングテーブルに向かって座っている」と解釈できるので、その人は食事をしている蓋然性が高いと判断できる。これにより、「人が食事をしている」と認識することができる。このときに、同じ場所で複数の人が検出され、それぞれ同様の姿勢であったならば、「家族みんなで食事をしている」と認識することができる。同様に、例えば午後６時に、玄関にて人が検出され、その検出位置が家の内部に向かって変化していれば、「人が帰宅した」と認識することができる。また例えば、午後８時から一定時間、リビングルームのソファ上で人が検出され続け、その人がテレビに向かって座っている姿勢であると認識されたならば、「人がテレビを見ている」と認識することが出来る。時間、人の位置、人の姿勢の組み合わせと、それらに対する行動認識結果の対応を、事前にリスト化しておけば、複数の行動を認識することができる。
【００２０】
また、人の検出位置の変位から人が毎秒○ｍで移動していると認識したり、人の姿勢認識結果の変動から人が毎秒○ｍの速さで手を動かしていると認識したり、定量的な値を認識結果として出力してもよい。
【００２１】
認識部１０２の認識対象は、人ではなく、物体でも良い。すなわち、物体の位置や姿勢を認識しても良い。これにより、物体を認識した結果と日時から、環境の事象を認識することができる。例えば、日中に撮像部１０１により撮像された映像中にたくさんの物が検出された場合、「環境が散らかっている」と認識することができる。それがもし夜中であれば、「不審者により部屋が荒らされている」と認識することもできる。開き戸の向きと壁の向きが平行であれば、「扉が閉まっている」と認識でき、そうでなければ「扉は開いている」と認識できる。さらには物に限らず、撮像部１０１により撮像された映像全体の明るさなどから、電灯がついているかどうかを認識しても良い。
【００２２】
以上に述べた方法で認識した結果は、作成部１０３および判断部１０４へと送られる。
【００２３】
作成部１０３は、撮像部１０１の撮像する映像および認識部１０２の認識結果を用いて、第１のユーザの事象を示す情報（以下、「事象情報」と呼ぶ）を作成する。例えば、認識結果のテキストに時刻情報などを合わせた「何月何日何時何分に○○（認識結果）」という文を、撮像部１０１の撮像する映像に重畳したものを、事象情報とする。認識結果のテキストのみを事象情報としてもよい。もしくは、事前に用意した認識結果毎のアイコン（「食事中」という認識結果ならお茶碗のマークなど）と、時刻情報を意味するアイコン（その時刻を示すアナログ時計のマークなど）を組み合わせたアイコンを事象情報としてもよい。認識結果毎に用意する二値の変化パターンを光の点滅で表現したものを事象情報としても良い。なお、一つの事象に対し、複数の事象情報を作成しても良い。例えば、テキストを映像に重畳して表現した事象情報と、テキストのみで表現した事象情報と、アイコンのみで表現した事象情報の３種を、同時に生成しても良い。作成部１０３が作成した事象情報は、判断部１０４へと送られる。
【００２４】
判断部１０４は、認識部１０２から受け取る認識結果ごとに、認識結果に対応する事象情報を第１のユーザ以外に提示することを第１のユーザが許可しているか否かを示す情報提示許可情報を保持する。この認識結果即ち事象に応じた許可情報は、予め第１のユーザにより選択または設定されているものとする。そして、作成部１０３より事象情報を受け取ると、認識部１０２から受け取る認識結果に対応した情報提示許可情報に基づいて、事象情報を提示部１０６に出力するか否かを判断する。
【００２５】
例えば判断部１０４には、「第１のユーザを含む家族がみんなで食事をしている」という認識結果に対して「いかなる種類の事象情報でも提示してよい」という情報提示許可情報が保持される。例えば、「第１のユーザがテレビを見始めた」という認識結果に対して「テキストのみで構成される事象情報ならば提示してよい」という情報提示許可情報が保持される。例えば、「第１のユーザが帰宅した」という認識結果に対して「いかなる種類の事象情報も提示してはならない」という情報提示許可情報が保持される。もしくは、「第１のユーザが帰宅した」という認識結果に対して「（帰宅した）時間情報を含まない事象情報であれば提示してよい」という情報提示許可情報が保持されても良い。このような認識結果とそれに対する情報提示許可情報の組は、例えばリスト形式で判断部１０４内に保持される。作成部１０３より送られた事象情報のうち、判断部１０４で提示してもよいという情報提示許可情報が設定されている場合、その事象情報は、情報提示部１０６へと送られる。作成部１０３にて一つの認識結果に対して複数の事象情報が作成され、それらが判断部１０４に送られ、その中の複数の事象情報について提示を許可する情報提示許可情報が設定されている場合は、最も情報量の多い事象情報が提示部１０６へと送信される。このとき、提示部１０６が遠隔地にある場合、不図示の送信部１０７により送信される。
【００２６】
情報量の大小は、例えば事象情報のデータ量などにより比較しても良い。即ち、映像を含む事象情報はデータ量が多いので情報量が多く、テキストのみで表現される事象情報はデータ量が少ないので情報量が少なく、光の点滅で表現される事象情報は更にデータ量が少ないので情報量もより少ない傾向がある。この傾向を利用して情報量を比較すれば良い。また、映像情報であって、モザイクをかけるなどにより状況に応じて情報量を少なくしてもよい。作成部１０３より送られた事象情報に対し、情報提示許可情報が設定されていない、もしくは不十分な場合、判断部１０４はその事象情報を設定部１０５へと送り、対応する情報提示許可情報を問い合わせる。
【００２７】
設定部１０５は、認識部１０２が出力しうる認識結果に対し、それぞれに対応する事象情報を第２のユーザへ提示してもよいか否かを、第１のユーザに設定させる。そのような事象を、以下では、許可事象と呼ぶ。そして、ある認識結果に対応する事象が許可事象であるか否かを指定する設定を、情報提示許可情報と呼ぶ。第１のユーザに情報提示許可情報を設定させるために、設定部１０５は、ありうる認識結果のリストや、その認識結果に対応する事象情報の例を、スピーカーやディスプレイなどを通じて、第１のユーザに提示し、許可事象か否かの設定を促す。認識結果に対応する事象情報の例として、過去に実際に作成部１０３が作成した事象情報を提示してもよい。また、このとき、過去に設定されたことのある許可事象の履歴を同時に提示してもよい。提示された認識結果のリストや対応する事象情報の例や過去の許可事象の例を見聞きした第１のユーザは、それぞれの認識結果対応する事象情報を第２のユーザへ提示しても良い許可事象とするか否かの判断を行う。その判断結果を情報提示許可情報として、マウス、キーボード、タッチパネル、マイク、カメラなどで設定する。ある認識結果に対応する事象を、特に制限なく第２のユーザへの提示を許可する許可事象と設定する場合、情報提示許可情報は、「いかなる種類の事象情報でも、その認識結果に対応するものは相手に提示して良い」となる。条件付きで第２のユーザへの提示を許可する場合は、例えば、「設定部１０５により第１のユーザに示されている事象情報の形式である場合限り、その認識結果に対応する事象情報は提示して良い」となる。第２のユーザへの提示を許可しない場合には、情報提示許可情報は「その認識結果に対応するものは相手に提示してはならない」となる。設定された情報提示許可情報は、判断部１０４に送られる。
【００２８】
設定部１０５を介した情報提示許可情報の設定は、任意の時点で、第１のユーザがデータ入出力部１０５を介して、任意の認識結果に対応する情報提示許可情報を、更新したり、削除したり、追加したりする。もし、認識部１０２がある事象を認識した際に、その認識結果に対する情報提示許可情報が設定されていなければ、設定部１０５を介してその時点で第１のユーザに対して情報提示許可情報の設定を促しても良い。
【００２９】
情報定時許可情報の設定は、認識部１０２が出力しうる認識結果に対し個別に行っても良いし、認識結果をグルーピングして、まとめて行っても良い。例えばその方法は、インターネットアクセスにおけるセキュリティレベルを制御するのと類似した操作となる。すなわち、第一のユーザが、任意の時点で、他のユーザに対するプライバシーレベルを、「高」「中」「低」などの複数のレベルから、ＧＵＩやボタンやジェスチャーＵＩや音声認識ＵＩを介して選択する。すると、選択されたレベルに応じて、認識部１０２が出力しうる全認識結果に対して、しかるべき情報提示許可情報が設定される。例えば選択されたレベルが「高」ならば、全ての認識結果に対して、「テキストで表現される事象情報に限り提示して良い」という情報提示許可情報が設定される。例えば選択されたレベルが「低」ならば、全ての認識結果に対して、「いかなる種類の事象情報でも、その認識結果に対応する事象情報は相手に提示して良い」という情報提示許可情報が設定される。例えば選択されたレベルが「中」ならば、一般にプライバシーレベルが低く設定されることの多い認識結果（例えば「テレビを見ている」）に対して「いかなる種類の事象情報でも、その認識結果は相手に提示して良い」という情報提示許可情報が設定される。そして、一般にプライバシーレベルが高く設定されることの多い認識結果（例えば「食事をしている」）に対しては、「テキストで表現される事象情報に限り提示して良い」という情報提示許可情報が設定される。ここでは「一般に設定されることの多いプライバシーレベル」を設定値とする例を挙げたが「認識された人物の数」や「認識された人物の位置」などを基準に情報定時許可情報の設定レベルをコントロールしても良い。
【００３０】
提示部１０６は、判断部１０４から事象情報が送られてくると、第１のユーザとは別の第２のユーザが存在しうる現実空間に事象情報を提示する。例えば、ディスプレイやスピーカーなどに映像を含む事象情報を提示する。例えば、電光掲示板に、テキストによる事象情報を提示する。例えば、ＬＥＤの点灯で二値の変化パターンで表現される事象情報を提示する。あるいは、スピーカーから音声による事象情報を提示する。
【００３１】
（処理）
図２に示したフローチャートを用いて、本実施形態の映像情報処理装置１００が行う処理について説明する。
【００３２】
ステップＳ２０１では、撮像部１０１が、第１のユーザが存在しうる現実空間の映像を撮像する。例えば、天井から吊り下げられたカメラや、床、台、テレビや携帯電話に据え置き・内蔵されたカメラから撮像する。なお、ここでの現実空間は、例えば、第１のユーザが住む家の居間である。
【００３３】
例えば、撮像部１０１は第１のユーザを撮像してもよいし、第１のユーザに装着するカメラから第１のユーザが存在する現実空間を常に撮像し続けてもよい。例えば、カメラを用いる場合、パンチルトやズームや位置や姿勢などのカメラパラメータは可変でもよい。第１のユーザが存在しうる現実空間の事象を反映する現象を計測する人感センサや温度センサなどのセンサを合わせて備えてもよい。その場合、センサの計測結果は映像と合わせて認識部１０２へ送られる。撮像された映像は認識部１０２および作成部１０３へと出力され、ステップＳ２０２へ進む。
【００３４】
ステップＳ２０２では、認識部１０２が、撮像部１０１から映像を受け取り、この映像に映る事象を認識する。例えば、認識部１０２は、人の在否・位置・姿勢・行動や環境の事象などの事象を認識する。具体的には、認識部１０２は、第１のユーザが居る、家族がみんなで食事をしている、帰宅した、テレビを見始めた、テレビを見終わった、だれもいない、じっとしている、うろうろしている、寝ているなどを認識結果として出力する。
【００３５】
また、現実空間中の人物数やそれぞれの存在位置や動作速度などの数値化できる事象を認識してもよい。事象認識の実現方法は、例えば、行動の認識であれば、映像から抽出される人物の位置や動きやその抽出時間に対応して、認識対象となる行動を事前にリスト化しておく。そして、そのときに得られた映像からの抽出結果を照らし合わせて、合致するものを行動認識結果として出力するという方法がある。撮像部１０１がセンサを合わせて備えている場合、そのセンシング結果も利用して、認識を行ってよい。なお、認識部１０２は、物理的に撮像部１０１と同じ場所にあってもよいし、撮像部１０１とネットワーク越しに接続された、例えば遠隔地のサーバー上にあってもよい。認識結果は、作成部１０３および判断部１０４へと送られ、ステップＳ２０３へ進む。
【００３６】
ステップＳ２０３では、作成部１０３が、撮像部１０１の撮像する映像や認識部１０２の認識結果を用いて、事象情報を作成する。例えば、認識結果を表現したテキストに時刻情報などを合わせた「何月何日何時何分に○○（認識結果）」という文を、撮像部１０１の撮像する映像に重畳する。
【００３７】
また、撮像部１０１の映像をそのまま事象情報としてもよい。その際、撮像部１０１の映像に含まれるプライバシーに関わる部分を、映像認識結果に基づいて隠蔽処理を施した映像を事象情報としてもよい。もしくは、ステップＳ２０２により得た認識結果の内容をわかりやすく表現する、予め用意されたアニメーションなどを映像に重畳してもよい。作成する事象情報は１種類でなくてもよく、同じ事象を示すものを複数種類作成してもよい。複数種類の事象情報を作成する場合には、毎回複数種類の情報を作成してもよいし、撮像部１０１の撮像する映像や認識部１０２の認識結果に応じて可能な種類の事象情報を作成してもよい。
【００３８】
また例えば、作成部１０３は認識部１０２の認識結果の確度に応じて、作成する事象情報を変えてもよい。確度とは、ここでは認識結果に対して認識部１０２自身が見込む正解確率の意味で用いる。一般的な画像認識では、事前に学習した画像パターンと、認識対象の画像パターンの類似性を評価して、類似度が高ければ認識対象は学習していた画像パターンに対応するものと同じであると認識する。人の認識であれば、事前に人を撮像した画像の特徴的なパターンを学習しておき、その画像パターンと類似するものが認識対象である画像中に見つかれば、その画像中には人がいると認識する。そのときの類似度が高ければ確度は高いということになり、類似度が低ければ確度が低いということとなる。
【００３９】
例えば作成部１０３は、得られる確度が低い場合に、認識結果が間違っている可能性がある程度高いことから、映像を含む事象情報を作成して、第１または第２のユーザがその事象の内容を直接見て確認できるようにする。逆に、認識結果の確度が高い場合は、プライバシー保護を優先して、第１または第２のユーザがその事象の内容を直接見て確認できないテキストのみで表現される事象情報も作成する。すなわち、確度に応じて、事象情報を提示する形式を決定し、決定された形式で事象情報を作成する。作成部１０３が作成した事象情報は、判断部１０４へと送られ、ステップＳ２０４へ進む。
【００４０】
ステップＳ２０４では、判断部１０４が、認識部１０２から受け取る認識結果ごとに、認識結果に対応する事象情報を第１のユーザ以外に提示することを第１のユーザが許可しているか否かを示す情報提示許可情報を確認する。例えば、「第１のユーザを含む家族がみんなで食事をしている」という認識結果に対して「いかなる種類の事象情報でも提示してよい」という情報提示許可情報が設定されている。例えば、「第１のユーザがテレビを見始めた」という認識結果に対して「テキストのみで構成される事象情報ならば提示してよい」という情報提示許可情報が設定されている。例えば、「第１のユーザが帰宅した」という認識結果に対して「いかなる種類の事象情報も提示してはならない」という情報提示許可情報が設定されている。例えば、何らかの認識結果に対しては、情報提示強化情報が設定されていない場合もありうる。
【００４１】
つまり、ステップＳ２０４では、認識結果に対応する情報提示許可情報が判断部１０４の内部に保持されているかどうかが確認される。内部に情報提示許可情報が保持されている場合には、それらはステップＳ２０１に先立って選択ないし設定されていたものである。（その選択ないし設定方法は、次に述べるステップＳ２０５における情報提示許可情報の選択ないし設定方法と同等のものとする。）ステップＳ２０４で、保持されていないと確認された場合、判断部１０４が作成部１０３からステップＳ２０３で受け取った事象情報を設定部１０５へと送り、処理はステップＳ２０５へ進む。
【００４２】
加えて、情報提示許可情報が設定されてから一定時間以上が経過していれば、同じ事象であってもその提示に対する許可の仕方が変わっていることも考えられる。よって、認識部１０２から受け取る認識結果に対する情報提示許可情報が設定されている場合でも、例えば、情報提示許可情報が設定されてから一定時間以上が経過していればそれを削除する。
【００４３】
また、認識結果に対応する情報提示許可情報が保持されていることがステップＳ２０４で確認された場合でも、その情報提示許可情報が設定されてから一定時間が経過している場合、ユーザへの問い合わせが必要と判断する。そして、判断部１０４が作成部１０３からステップＳ２０３で受け取った事象情報を設定部１０５へと送り、ステップＳ２０５へ進む。
【００４４】
また、情報提示許可情報が判断部１０４に保持されていて、その情報提示許可情報が提示不許可を示す内容であることが、ステップＳ２０４で確認された場合、ステップＳ２０１へ戻る。
また、情報提示許可情報が判断部１０４に保持され、保持されてから一定時間が経過せず、その内容が「いかなる事象情報も提示してはならない」という提示不許可を示す設定でないことが、ステップＳ２０４で確認された場合、ステップＳ２０６へ進む。
【００４５】
ステップＳ２０５では、ステップＳ２０２における認識結果に対応する事象情報を第２のユーザへの提示を許可してもよい許可事象か否かの設定を要求し、第１のユーザに設定させる。例えば、マウス、キーボード、マイク、カメラなどのデータ設定用のユーザインタフェースで設定させる。その際、判断部１０４から受け取った事象情報を、スピーカーやディスプレイなどを介して第１のユーザに提示してもよい。例えば、判断部１０４から１種類の事象情報を受け取っていれば、その情報そのもの、もしくは、それを簡略化したものを第１のユーザに提示して、「この事象情報を第２のユーザに提示してもよいですか？」と尋ねる。判断部１０４から複数種類の事象情報を受け取っていれば、それらを簡略化したものを並べて、もしくは、順に第１のユーザに提示して、「どの種類の事象情報ならば第２のユーザに提示してもよいですか？」と尋ねる。
【００４６】
こうした質問に対する第１のユーザの応答を、設定部１０５はマウス、キーボード、マイク、カメラなどの設定ユーザインタフェースを介して受け取る。必要ならば音声認識技術やジェスチャー認識技術を利用して解釈して、情報提示許可情報とし設定する。例えば、第１のユーザが提示許可を意味するマウス操作やキー入力をしたときには、「いかなる種類の事象情報でも提示してよい」という情報提示許可情報とする。
【００４７】
例えば、第１のユーザが提示されている事象情報の一部を選択した上で提示許可を意味するマウス操作やキー入力を行うと、設定部１０５は「選ばれた事象情報と同じ種類であれば提示してよい」という情報提示許可情報を得る。例えば、第１のユーザが提示不許可を意味する発話やジェスチャーをすると、それを音声認識やジェスチャー認識技術を用いて解釈し、「いかなる種類の事象情報も提示してはならない」という情報提示許可情報を設定部１０５は得る。設定部１０５が情報提示許可情報を得れば、それを判断部１０４に送り、処理はステップＳ２０４へ戻る。なお、第１のユーザから情報提示許可情報が一定時間以上設定されない場合には、図２に示していないが、処理は何もせずステップＳ２０１へと戻る。
【００４８】
ステップＳ２０６では、判断部１０４が、情報提示許可情報に基づいて事象情報の出力内容を選択する。
具体的には、作成部１０３から判断部１０４へ送られた事象情報の種類と、事象提示情報に示される提示が許可された事象情報の種類とを照らし合わせ、合致したものの中の１種類が選択される。すなわち、両者が合致するものが１種類であればそれが選択される。
【００４９】
例えば、作成部１０３から判断部１０４へ送られた事象情報が１種類で、情報提示許可情報が「いかなる種類の事象情報でも提示してよい」という内容である場合がこれにあたる。また、事象提示情報が「特定種類の事象情報ならば提示してよい」という内容で、作成部１０３から判断部１０４へ送られた事象情報にその特定種類が含まれる場合もこれにあたる。
【００５０】
判断部１０４へ送られた事象情報の種類と、事象提示情報に示された提示が許可された事象情報の種類との間で合致するものが複数種類ある場合には、何らかの基準で１種類を選択する。例えば、作成部１０３から判断部１０４へ送られた事象情報が複数種類で、事象提示情報が「いかなる種類の事象情報でも提示してよい」という内容である場合がこれにあたる。選択基準はどんなものでもよいが、例えば情報量の多さを基準にして選択すればよい。どちらのケースにおいても、１種類の事象情報が選択されると、その選択された種類の事象情報が提示部１０６へと送られ、処理はステップＳ２０７へと進む。
【００５１】
判断部１０４へ送られた事象情報の種類と、事象提示情報に示された提示が許可された事象情報の種類との間で合致するものが１種類もない場合には、例えば、事象情報の選択が不可となり、ステップＳ２０１へと戻る。例えば、情報提示許可情報が「いかなる種類の事象情報も提示してはならない」という内容を示す場合がこれにあたる。また、事象提示情報が「特定種類の事象情報ならば提示してよい」という内容で、作成部１０３から判断部１０４へ送られた事象情報にその特定種類の事象情報が含まれない場合もこれにあたる。
【００５２】
また、事象提示情報に示された提示が許可された事象情報の種類との間で合致するものが１種類もない場合には、処理をＳ２０１ではなくＳ２０５へ進める。そして、改めてＳ２０３で作成した事象情報を第２のユーザに提示しても良いかどうかを第１のユーザに設定させてもよい。
【００５３】
ステップＳ２０７では、提示部１０６が、判断部１０４から事象情報が送られてくると、第１のユーザとは別の第２のユーザが存在しうる現実空間に事象情報を提示する。例えば、ディスプレイやスピーカーなどに映像を含む事象情報を提示する。例えば、電光掲示板に、テキストでの表現による情報事象を提示する。例えば、ＬＥＤの点灯で事象情報を提示する。判断部１０４から送られた事象情報が提示部１０６において提示され、ステップＳ２０１へ戻る。
【００５４】
以上の処理によって、映像情報処理装置１００は、第１のユーザが存在しうる現実空間の映像を認識し、自動的に認識結果に対応する提示許可があるかを確認する。そして、提示許可があれば第１のユーザが存在しうる現実空間の事象を示す情報を、第１のユーザとは別の第２のユーザに提示する。認識結果に対応する提示許可は本映像情報処理装置１００の処理が始まる前に選択ないし設定されているものとする。ゆえに、本映像情報処理装置１００は、第１ないし第２のユーザの手を煩わせることなく、第１のユーザの許可に応じた事象だけを選択的に、自動的に第２のユーザに伝達することが出来る。提示許可が事前に選択ないし設定されていない場合でも、一度だけ提示許可のユーザによる選択ないし設定がなされれば、以降は同様の事象が起こったときにユーザがすべきアクションはない。よってこの場合でも、やはり第１ないし第２のユーザの手を煩わせることなく、第１のユーザの許可に応じた事象だけを選択的に、自動的に第２のユーザに伝達することが出来ると言える。
【００５５】
なお、本実施形態の説明では第１のユーザから第２のユーザへの二人で事象情報を提示する事例を取り上げたが、本実施形態を三人以上のユーザ間での事象情報提示にも適用可能である。
【００５６】
〔第二実施形態〕
本実施形態に係る映像情報処理装置は、第１のユーザが存在しうる現実空間の事象を認識し、その認識結果に基づいて事象の変化を検知するごとにその事象の提示可否を判断し、提示可能であればその事象を示す情報を第２のユーザに提示する。
【００５７】
以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
図３は、本実施形態に係る映像情報処理装置３００の概略を示す図である。図３に示すように、映像情報処理装置３００は、撮像部１０１、認識部１０２、作成部１０３、判断部３０４、設定部１０５、提示部１０６から構成されている。この構成の大半は図１に示した映像情報処理装置１００と同様であるので、同様の部分には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。本実施形態においても、第１のユーザを事象の提示元、第２のユーザを事象の提示先として説明する。
【００５８】
撮像部１０１は、第１のユーザが存在しうる現実空間の映像を撮像する。撮像された映像は認識部１０２および作成部１０３および判断部３０４へ出力される。
認識部１０２は、撮像部１０１から映像を受け取り、この映像に映る事象を認識する。認識結果は、作成部１０３および判断部３０４へと送られる。
【００５９】
判断部３０４は、認識部１０２より認識結果を受け取り、第１のユーザが存在しうる現実空間の事象変化を検知する。例えば、認識部１０２から常に一つずつの認識結果が送られてくる場合に、受け取る認識結果が変化したことをして、それを事象変化として検知する。事象変化を検知した場合には、変化後の事象に対応する情報提示許可情報の問い合わせと、その事象を示す映像もしくは認識結果もしくはその両方を、設定部１０５へと送る。
【００６０】
設定部１０５は、判断部３０４より情報提示許可情報の問い合わせを受けると、問い合わせの対象である事象に関して設定されている情報提示許可情報が、内部に保持されているかどうかを確認する。そして、判断部３０４から受け取る映像もしくは認識結果もしくはその両方に対応する、もしくは類する事象についての情報提示許可情報が保持されていれば、それを情報許可提示情報として作成部１０３へと送る。例えば、「第１のユーザとその家族であるＢさんが食事をしている」という事象に対して「いかなる種類の事象情報でも提示してよい」という情報提示許可情報が設定されていて、内部に保持されていたとする。このときに、「第１のユーザとその家族であるＣさんが食事をしている」という事象についての提示許可の問い合わせが来たとする。その場合に設定部１０５は、自律的に「いかなる種類の事象情報でも提示してよい」という情報提示許可情報を作成部１０３へ送る。これにより、判断部３０４が事象の変化を検知するたびに、特に第１のユーザがアクションを起こさずとも、適当な情報提示許可情報に基づいて、事象を第２のユーザに提示する、もしくは提示しないことが実現される。
【００６１】
もし、設定部１０５の内部に、問い合わせ対象である事象に対応する、もしくは類する事象についての情報提示許可情報が保持されていなければ、その設定を、第１のユーザに要求する。例えば、「どの提示形式（映像、テキスト、光パターンで提示）でならば今の事象を第２のユーザに提示してもよいですか？」と尋ねる。その際、判断部３０４より受け取る、その事象を示す映像もしくは認識結果もしくはその両方を第１のユーザに示す。第１のユーザより提示してもよいとされた提示形式がいずれであるかを示す設定を得ると、それを新たな情報提示許可情報として、内部に記録すると共に、作成部１０３へ送る。
【００６２】
作成部１０３は、設定部１０５より受け取った情報提示許可情報に基づいて、撮像部１０１の撮像する映像および認識部１０２の認識結果から事象情報を作成する。例えば、作成部１０３は、同じ事象に対して、様々な提示形式（テキスト、映像、光パターンで提示）に合わせて情報を作成する。
そして、作成された事象情報は、不図示の送信部１０７から提示部１０６へと送信される。
【００６３】
提示部１０６は、事象情報が送られてくると、第１のユーザとは別の第２のユーザが存在しうる現実空間に事象情報を提示する。
図４に示したフローチャートを用いて、本実施形態の映像情報処理装置３００が行う処理について説明する。
ステップＳ４０１では、撮像部１０１が、第１のユーザが存在しうる現実空間の映像を撮像する。撮像された映像は認識部１０２および作成部１０３および判断部３０４へ出力し、ステップＳ４０２へ進む。
【００６４】
ステップＳ４０２では、認識部１０２が、撮像部１０１から映像を受け取り、この映像に映る事象を認識する。認識結果は、作成部１０３および判断部３０４へと送られ、ステップＳ４０３へ進む。
【００６５】
ステップＳ４０３では、判断部３０４において、ステップＳ２０２で得られた認識結果を用いて、事象の変化を検知する。これは、過去の事象と、新たに認識された事象が一致するか否かにより事象が変化したかを検知することができる。過去に認識結果である事象を受け取っていなければそれを内部に設定して処理はステップＳ４０１へと戻る。過去に認識結果を受け取っていれば、それまでの受け取り履歴と、ステップＳ２０２で得られた認識結果を照らし合わせて、事象の変化があったかどうかを検知する。事象の変化が検知されなければ処理はステップＳ４０１へ戻り、事象変化が検知されれば処理はステップＳ４０４へ進む。
【００６６】
例えば、認識部１０２から複数の認識結果が送られてくる場合に、受け取る認識結果中の一定割合以上の認識結果に変化があったことをして、それを事象変化として検知する。また、事前に「事象変化」を明示的に定義しておいてもよい。すなわち、「認識結果Ａから認識結果Ｂになったとき」や「認識結果Ｃを得たとき」は事象変化とする。逆に「認識結果Ｂから認識結果Ａになったとき」や「認識結果Ｃから他の認識結果に変わったとき」は事象変化としない、というルールを定めておく。このようなルールに従って事象検知を行ってもよい。
【００６７】
なお、認識結果が定性的なものであれば（例えば「食事をしている」や「くつろいでいる」という事柄を示すものであれば）、値の変化がすなわち事象変化の指標となる。また、認識結果が定量的なものであれば（例えば「毎秒○ｍで移動している」や「毎秒○ｍの速さで手を動かしている」であれば）、ある基準時間内の変化度合い（つまり認識結果の微分値などの大きさ）が事象変化の指標となる。以上に例示した方法により、適切な状態検知を実現すれば、例えば、二つの事象を短時間で行き来する場合や定量的には些細な事象の変化は「事象の変化」としないなどの、実用的な事象の変化の検知を実現することが可能である。判断部３０４が、認識部１０２より受け取る認識結果の受け取り履歴に基づいて、第１のユーザが存在しうる現実空間の事象変化を検知する。判断部３０４は、事象変化をした場合に、提示許可確認信号とその事象を示す映像もしくは認識結果またはその両方を設定部１０５へと送り、ステップＳ４０４へと進む。
【００６８】
ステップＳ４０４では、設定部１０５が、判断部３０４より送られた映像もしくは認識結果もしくはその両方に対応するもしくは類する事象についての情報提示許可情報を確認する。判断部３０４から受け取る映像もしくは認識結果もしくはその両方に対応する、もしくは類する事象についての情報提示許可情報が保持されていれば、それを情報許可提示情報として作成部１０３へと送る。もし、設定部１０５の内部に、問い合わせ対象である事象に対応する、もしくは類する事象についての情報提示許可情報が保持されていなければ、その設定を、第１のユーザに要求する。例えば、「どの提示形式（映像、テキスト、光パターン）でならば今の事象を第２のユーザに提示してもよいですか？」と尋ねる。その際、判断部３０４より受け取る、その事象を示す映像もしくは認識結果もしくはその両方を第１のユーザに示す。第１のユーザより提示してもよいとされた提示形式がいずれであるかを示す設定を得ると、それを新たな情報提示許可情報として、作成部１０３へ送り、ステップＳ４０５へ進む。
【００６９】
ステップＳ４０５では、設定された情報提示許可情報が判断部１０４により確認される。その内容が「今の事象は提示してはならない」という内容を示す場合、ステップＳ４０１へ戻り、提示してもよい場合、ステップＳ４０６へと進む。
【００７０】
ステップＳ４０６では、設定部１０５より受け取った情報提示許可情報に基づいて、撮像部１０１の撮像する映像および認識部１０２の認識結果から事象情報を作成する。例えば、作成部１０３は、同じ事象に対して、様々な提示形式（テキスト、映像、光パターンなど）に合わせて情報を作成し、ステップＳ４０７へ進む。
【００７１】
ステップＳ４０７では、提示部１０６は、判断部１０４から事象情報が送られてくると、第１のユーザとは別の第２のユーザが存在しうる現実空間に事象情報を提示し、ステップＳ４０１へ戻る。
【００７２】
以上の処理によって、映像情報処理装置３００は、第１のユーザが存在しうる現実空間の映像を認識する。その認識結果に基づいて事象の変化を検知するごとに第１のユーザに提示許可を確認して、第１のユーザが存在しうる現実空間の事象を示す情報を、第１のユーザとは別の第２のユーザに提示する。現実空間における事象は時々刻々と変更するが、事象が変化するたびに映像情報処理装置１００が提示許可を確認する。これにより、伝えたくなかった事象が知らないうちに相手に提示されるということは起こらない。また、「事象変化の検知方法」を適切に設定できれば、頻繁に提示許可を第１のユーザに問い合わせることも避けられる。
【００７３】
〔その他の実施形態〕
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク５０４、５０７又は各種記憶媒体５０２、５０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ５０１（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、設定部５０５から処理を実行する指示を設定し、表示部５０６で指示した処理の結果を表示してもよい。
【産業上の利用可能性】
【００７４】
本発明は、遠隔コミュニケーションで利用できる。
【図１】
2011172205.tif 000003
【図２】
2011172205.tif 000004
【図３】
2011172205.tif 000005
【図４】
2011172205.tif 000006
【図５】
2011172205.tif 000007