(57)【要約】【課題】テレビ電話等で通話相手が画面に映っているものを指差しした場合にどの場所を示しているのかユーザーにより分かり易い技術を提供する。【解決手段】撮像対象を撮像するカメラと、この撮像対象の映像を情報処理装置へ送信する送信手段と、前記情報処理装置から前記撮像対象の映像の座標情報を受信する受信手段と、前記情報処理装置からの前記座標情報に基づいて前記撮像対象の映像の一部を示す情報を獲得する獲得手段と、前記獲得された情報を用いて前記撮像対象の映像の一部をユーザーが把握できるよう表示を行なう表示手段とを備えた情報処理装置。【選択図】  図８
2015052895.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象を撮像するカメラと、
この撮像対象の映像を情報処理装置へ送信する送信手段と、
前記情報処理装置から前記撮像対象の映像の座標情報を受信する受信手段と、
前記情報処理装置からの前記座標情報に基づいて前記撮像対象の映像の一部を示す情報
を獲得する獲得手段と、
前記獲得された情報を用いて前記撮像対象の映像の一部をユーザーが把握できるよう表
示を行なう表示手段とを
備えた情報処理装置。
【請求項２】
更に前記撮像対象の映像を表示するディスプレイを備え、前記表示はこの映像へ関連付
けされたものである請求項１に記載の情報処理装置。
【請求項３】
前記座標情報は、概円座標である請求項１に記載の情報処理装置。
【請求項４】
前記座標情報は、概楕円座標である請求項１に記載の情報処理装置。
【請求項５】
更に投影手段を備え、この投影手段は前記表示として撮像対象へ前記座標情に基づいて
投影する請求項１に記載の情報処理装置。
【請求項６】
更に顔認識手段を備え、この顔認識手段は前記投影手段に顔認識対象を避けて投影させ
る請求項５に記載の情報処理装置。
【請求項７】
撮像対象を撮像するカメラと、この撮像対象の映像を他の情報処理装置へ送信する送信
手段とを備えた情報処理装置における情報処理方法であって、
この撮像対象の映像を前記他の情報処理装置へ送信し、
前記他の情報処理装置から前記撮像対象の映像の座標情報を受信し、
前記他の情報処理装置からの前記座標情報に基づいて前記撮像対象の映像の一部を示す
情報を獲得し、
前記獲得された情報を用いて前記撮像対象の映像の一部をユーザーが把握できるよう表
示を行なう情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
テレビにおいてソフトを使ったテレビ電話機能が一般的になってきている。また、人体
の部位認識に基づく姿勢推定に用いる距離画像センサに代表されるような手の位置を検出
できる入力デバイスや、 タブレットやＰＣ（Personal Computer）におけるタッチディス
プレイなどの入力方法が一般化している。他に研究の分野では小型プロジェクターを使っ
たＡＲ（拡張現実）による手元やテーブルにボタンを投影するなどのＵＩ(User Interfac
e)が提案されている。
【０００３】
しかしながら今までのテレビ電話では、通話相手が画面に映っているものを指差し（ポ
インティング）した場合にどの場所を示しているのか分かりにくいという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３０１２１５号公報
【特許文献２】特開２００５−３０３３６０号公報
【特許文献３】特開２００４−５６４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、テレビ電話等で通話相手が画面に映っているものを指差しした
場合にどの場所を示しているのかユーザーにより分かり易い技術を提供することを目的と
する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態によれば情報処理装置は、撮像対象を撮像するカ
メラと、この撮像対象の映像を情報処理装置へ送信する送信手段と、前記情報処理装置か
ら前記撮像対象の映像の座標情報を受信する受信手段と、前記情報処理装置からの前記座
標情報に基づいて前記撮像対象の映像の一部を示す情報を獲得する獲得手段と、前記獲得
された情報を用いて前記撮像対象の映像の一部をユーザーが把握できるよう表示を行なう
表示手段とを備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態の情報処理装置のハードウェア構成の一例を示すブロック図。
【図２】情報処理装置の機能構成を示す図。
【図３】同実施形態のテレビ電話装置においてポインティング対象を重ねて表示する例。
【図４】同実施形態の線で囲んで領域を指定する例を示すブロック構成図。
【図５】同実施形態に用いられるポインティングの軌跡を使って重ね合わせ表示するエリアを広くする例を示す特性図。
【図６】同実施形態のテレビ電話装置においてポインティング位置をプロジェクター表示する例を示すブロック構成図。
【図７】同他の形態に用いられる顔検出を行って顔周辺には枠や照明を投影しない例。
【図８】同他の形態に用いられる情報処理方法の一例を示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図１乃至図８を参照して説明する。
【０００９】
本実施形態にかかる情報処理装置１００は、表示画面を備えた情報処理装置であり、例
えばタブレット端末、スレート端末や電子書籍リーダ等として実現されている。大画面で
支持台を備えたＴＶ（Television Set）のような外観をしていてもよい。
【００１０】
図１に示すように、情報処理装置１００は、表示部１０２、ＣＰＵ（Central  Process
ing  Unit）１１６、システムコントローラ１１７、グラフィックスコントローラ１１８
、タッチパネルコントローラ１１９、不揮発性メモリ１２０、ＲＡＭ（Random  Access  
Memory）１２１、音声処理部１２２、マイク１０４、スピーカ１０５、カメラ（１０３ａ
）／投影手段（小型プロジェクター１０３ｂ）１０３、（無線）通信モジュール１２３及
びセンサ群１０６を備える。
【００１１】
表示部１０２は、ディスプレイ１０２ａとタッチパネル１０２ｂとを組み合わせた、い
わゆるタッチスクリーンとして構成される。ディスプレイ１０２ａは、例えば、ＬＣＤ（
Liquid  Crystal  Display）や有機ＥＬ（Electro  Luminescence）ディスプレイなどで
ある。タッチパネル１０２ｂは、ユーザーの指やスタイラスペンなどによってタッチされ
たディスプレイ１０２ａの表示画面上の位置（タッチ位置）を検知する。
【００１２】
不揮発性メモリ１２０は、オペレーションシステムや各種のアプリケーションプログラ
ム、プログラムの実行に必要な各種データなどを記憶する。ＣＰＵ１１６は、情報処理装
置１００の動作を制御するプロセッサであり、システムコントローラ１１７を介して情報
処理装置１００の各コンポーネントを制御する。ＣＰＵ１１６は、不揮発性メモリ１２０
からＲＡＭ１２１にロードされる、オペレーティングシステム、各種アプリケーションプ
ログラムを実行することで、後述する各機能部（図２参照）を実現する。ＲＡＭ１２１は
、情報処理装置１００のメインメモリとして、ＣＰＵ１１６がプログラムを実行する際の
作業領域を提供する。
【００１３】
ＣＰＵ１１６は、例えば、不揮発性メモリ１２０からＲＡＭ１２１にロードされるオペ
レーションシステムや各種のアプリケーションプログラムを実行することにより、情報処
理装置１００の各部を制御するための機能を実現する。
【００１４】
システムコントローラ１１７は、不揮発性メモリ１２０およびＲＡＭ１２１に対するア
クセスを制御するメモリコントローラを内蔵する。また、システムコントローラ１１７は
、グラフィックスコントローラ１１８、タッチパネルコントローラ１１９、音声処理部１
２２との通信を実行する機能を有する。また、システムコントローラ１１７は、カメラ／
投影手段１０３からの撮像画像を入力する機能を有する。また、システムコントローラ１
１７は、通信モジュール１２３を利用して情報処理装置１００の外部から各種情報を取得
する機能を有する。
【００１５】
グラフィックスコントローラ１１８は、表示部１０２のディスプレイ１０２ａを制御す
る表示コントローラである。タッチパネルコントローラ１１９は、タッチパネル１０２ｂ
を制御し、ユーザーによるタッチ位置を示す座標データをタッチパネル１０２ｂから取得
する。
【００１６】
マイク１０４は音声を入力し、スピーカ１０５は音声を出力する。カメラ／投影手段１
０３は、ユーザーにより撮影対象にかざして、撮像対象を撮像して撮像画像を出力する。
【００１７】
音声処理部１２２は、ＣＰＵ１１６による制御のもとで、音声合成などの音声処理を施
して生成した音声ガイダンスなどをスピーカ１０５から出力させる処理を行うとともに、
マイク１０４で集音した音声に対する処理を行う。
【００１８】
通信モジュール１２３は、ＣＰＵ１１６による制御のもとで、外部装置との間の無線通
信や、インターネット等のネットワークによる通信を実行する。
センサ群１０６は、情報処理装置１００に対する外部からのポインティング動作を静電
または電磁結合などで検出するポインティングセンサ、情報処理装置１００の画面（表示
部１０２）からの奥行方向への対象物（指など）の移動量を検出する光学センサである奥
行センサ１０３ｃ等である。各センサの検出信号はＣＰＵ１１６に出力される。
【００１９】
情報処理装置１００は、ＣＰＵ１１６と不揮発性メモリ１２０に記憶されたプログラム
（オペレーティングシステム、各種アプリケーションプログラム）との協働により、図２
に示す機能部２１０の各部を実現する。
【００２０】
情報処理装置１００は、機能的構成として、図２に示すように、上述したカメラ／投影
手段１０３、表示部１０２、タッチパネルコントローラ１１９、グラフィックコントロー
ラ１１８、通信モジュール１２３に加え、ＣＰＵ１１６で実行されるプログラムによる機
能部２１０として、操作者が画面どの位置にいる（立っている）かを判断する立ち位置検
出部１３１、操作者の指先を検出する指先検出部１３３、過去の（操作者の）指先位置情
報を用いて最終的な指先位置などを出力する指先追跡部１３５、操作情報生成部１４１と
を備えている。以下、本実施形態では、操作者とそのポインティング対象をカメラ／投影
手段１０３による撮像と投影の対象とする。
【００２１】
図２において、機能部２１０は、立ち位置検出部１３１、指先検出部１３３、指先追跡
部１３５、操作情報生成部１４１とを含んで成る。機能部２１０は、画像解析処理、顔認
識処理、物体認識処理、関連各部の状態に基づいた関連情報を取得し、ＲＡＭ１２１に保
存する。
【００２２】
必須ではないが立ち位置検出部１３１においては、可能ならば（体幹が画像内に無い場
合もあるが）画像認識により人物検出して、次の指先検出部１３３の精度をサポートする
。立ち位置でなく人物は座っていたり寝そべっていたりしてもよい。人物検出はまず顔検
出をして、この検出の位置に連なる人体の部位を推定するなどすることもできる。
【００２３】
この顔検出は簡単には例えば、目、鼻、口等、顔の特徴を示す情報を予め記憶しておき
、撮影された映像からこれらの特徴と一致する映像内の部分を顔として検出する。
【００２４】
例えば図示せぬ顔検出部は、カメラ１０３ａで撮影された映像から顔を検出し、その位
置を特定する。そして、この顔検出部は、顔の位置、より具体的には顔の中心位置のｘ軸
およびｙ軸上の位置、ならびに、情報処理装置１００との距離ｚを視聴者の顔の位置（ｘ
，ｙ，ｚ）として特定する。映像表示装置１００との距離ｚは、例えば検出された顔の幅
や右目と左目との距離から推測できる。
【００２５】
表示画面までの距離は、ユーザーがカメラ／投影手段１０３をかざすテレビの表示画面
からの距離であり、遠いか近いかを示す。上記顔検出部は例えば、撮像画像の指示領域の
人物の顔を顔認識したり、物体を物体認識して、顔や物体の大きさにより、顔や物体が小
さければ距離が遠い、顔や物体が大きければ距離が近いと判断する。
【００２６】
また、この顔検出部は、撮像画像内の人物に対する顔認識処理や物体に対する物体認識
処理を行い、認識された顔や物体の面内回転方向により情報処理装置１００の表示部１０
２の向きを判断する。
【００２７】
指先検出部１３３では、この人物検出結果を用いて、腕や手さらにその延長部位を指先
として検出する。
指先が検出されると、指先追跡部１３５において、ノイズを除去するために過去の指先
位置情報を加味したフィルタ処理を、適宜行い、最終指先位置Ｐｆｉｎａｌを出力する。
例として、二次元座標位置を状態変数とするカルマンフィルタを用いて、ノイズ除去のた
めのフィルタ処理を行うことで、最終指先位置Ｐｆｉｎａｌが得られる。
【００２８】
操作情報生成部１４１は、Ｐｆｉｎａｌの位置にある物体を囲む円を生成しその座標情
報を通信モジュール１２３へ送る。あるいは指先位置が円を描く履歴があればこの円を用
いる。あるいは指先位置が一定方向に動く履歴があれば、Ｐｆｉｎａｌの位置にある物体
を囲む円をこの方向分大きくした楕円を用いる。
【００２９】
さて図３は、情報処理装置１００の図２を中心とする構成によって実現される機能であ
るテレビ電話装置１００ａにおいて、ポインティング対象を電話相手の画面に重ねて表示
する例を示している。
【００３０】
ユーザーＢがテレビ電話装置１００ａの画面（表示部１０２）に映っているユーザーＡ
の後ろにある椅子Ｏを指差すと、ユーザーＢが画面上のどの部分をポインティングしてい
るのかを機能部２１０は検出して、この座標をユーザーＡのテレビ電話装置１００ａに通
信モジュール１２３は送る。指し示す手段としては、タッチスクリーンや、画面を触らな
くても指定された距離よりも前に手を出すとその位置を検出するようなセンサ１０３ｃ（
例えばセンサ群１０６による）がある。
【００３１】
また、図４のようなタッチスクリーンで示したい領域をユーザーＢが線Ａｒで囲むよう
な方法（指先位置が円を描く履歴を用いる）も採られる。ユーザーＡが見ているテレビ電
話装置１００ａの画面にはユーザーＡ自身を映した映像からユーザーＢがポインティング
した領域Ａｒをくり抜き、ユーザーＢの指差している部分に重ね合わせて表示する。くり
抜いた映像はユーザーＢの指差している部分に重ね合わせるのではなく、画面の任意の場
所に表示してもよい。
【００３２】
図５はくり抜く領域はポインティング位置の軌跡情報を使い、ポインタ位置が移動して
いる際はユーザー設定などの手段で任意に指定可能な履歴分もくり抜いてより広い領域を
くり抜いて画面上に合わせて表示する様子を示している。
【００３３】
図６は相手から受信したポインタ位置を用いてユーザー設定などの手段で任意に指定可
能な大きさのポインティング位置周辺を示す枠または照明を実際の物に投影する例を示し
ている。プロジェクターで枠Ｆｒを投影することや、単なる照明であって照明の方向を変
えて投光するようなものであってもよい。
【００３４】
図７はポインティング対象に照射として、枠を投影したり照明を投光する際に自分側の
映像を画像認識により顔検出を行って顔の周辺Ｆｘに投影または投光されることを防ぐ様
子を示している。
【００３５】
図８は、図３乃至図７に対応する情報処理方法のフローチャートである。
ステップＳ８１：  ユーザーＢがテレビ電話装置１００ａの画面に対してポインティング
を行なうことにより、このテレビ電話装置１００ａにおいてこのポインティング動作に対
応する座標の入力が行なわれる。この座標の入力は、カメラ１０３ａからの画像を機能部
２１０が処理することにより成される。
【００３６】
ステップＳ８２：  ユーザーＢ側のテレビ電話装置１００ａからこの座標情報の送信が通
信モジュール１２３で行なわれることにより、相手側即ちユーザーＡ側のテレビ電話装置
１００ａでこの座標の受信が通信モジュール１２３で行なわれる。
【００３７】
ステップＳ８３：  ユーザーＡ側のテレビ電話装置１００ａではこの座標に基づいてディ
スプレイ１０２ａによる表示または投影手段１０３ｂによる照射が行なわれる。
【００３８】
従来のテレビ電話では相手が指をさした場合にどこを指し示しているのか分かりにくか
った。本実施形態の言わばポインタ表示付きテレビ電話の方法により、画面上に指示して
いるものを重ね合わせて画面表示したり、実際の指示しているものにプロジェクターなど
によってポインタ枠を表示することでどこを指し示しているのかが分かりやすくなり、よ
り自然な会話ができるようになった。またプロジェクターなどでポインタ枠を表示する際
にも、顔認識をして顔の周辺を避けることによりまぶしく感じないようになった。
【００３９】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しな
い範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００４０】
１００  情報処理装置
１０２  表示部
１０２ａ  ディスプレイ
１０２ｂ  タッチパネル
１０４  マイク
１０５  スピーカ
１１７  システムコントローラ
１１８  グラフィックスコントローラ
１１９  タッチパネルコントローラ
１２２  音声処理部
１２３  通信モジュール
１３１  立ち位置検出部
１３３  指先検出部
１３５  指先追跡部
１４１  操作情報生成部
２１０  機能部
【図１】
2015052895.tif 000003
【図２】
2015052895.tif 000004
【図３】
2015052895.tif 000005
【図４】
2015052895.tif 000006
【図５】
2015052895.tif 000007
【図６】
2015052895.tif 000008
【図７】
2015052895.tif 000009
【図８】
2015052895.tif 000010