(57)【特許請求の範囲】
【請求項１】
画像を利用して、連絡相手と連絡手段とを決定する連絡操作支援システムであって、
少なくとも、人物を認識する顔特徴データを記憶するとともに、画像をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部と、
ユーザによる画像上の指動作と、画像上の前記指動作によって指示された顔領域とを認識する認識部と、
前記認識部が認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定するとともに、決定する連絡相手との連絡手段として、前記認識部が認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する決定部と
を備えることを特徴とする連絡操作支援システム。
【請求項２】
前記認識部は、
画像とユーザとを撮影する撮影部と、
前記撮影部が撮影した撮影画像からユーザによる画像上の前記指動作を認識する指動作認識部と、
前記撮影部が撮影した撮影画像内の顔領域であって、前記指動作認識部が認識した前記指動作によって指示された顔領域を認識する顔領域認識部と
を有し、
前記決定部は、
前記顔領域認識部が認識した前記顔領域内の顔の特徴量を抽出して顔特徴データを生成する顔特徴データ生成部と、
前記顔特徴データ生成部が生成した前記顔特徴データと前記記憶部に記憶されている前記顔特徴データとを照合する顔特徴データ照合部と、
前記顔特徴データ照合部による照合の結果、特徴が一致した前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定部と、
前記指動作認識部が認識した画像上の指動作から指の位置の時系列データを測定して指動作パターンを生成する指動作パターン生成部と、
前記指動作パターン生成部にて生成された前記指動作パターンと前記記憶部に記憶されている前記指動作パターンと照合する指動作パターン照合部と、
前記指動作パターン照合部による照合の結果、パターンが一致した前記指動作パターンを前記記憶部から選択し、選択した指動作パターンに関連付けられている前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定部と
を有することを特徴とする請求項１に記載の連絡操作支援システム。
【請求項３】
前記連絡操作支援システムは、
外部の通信機器と通信する通信部を更に備え、
前記通信部は、
前記決定部が決定した連絡相手の名前及び前記決定部が選択した前記連絡手段識別情報を外部の通信機器に送信し、又は、前記決定部が決定した連絡相手との前記決定部が決定した連絡手段による連絡を実行させる命令を外部の通信機器に送信する
ことを特徴とする請求項１又は請求項２に記載の連絡操作支援システム。
【請求項４】
筐体の一方の面側から他方の面側が見えるように筐体の枠内に形成された透明のタッチパネルを有し、前記タッチパネルを透して見える画像を利用して、連絡相手と連絡手段とを決定する連絡操作支援装置であって、
少なくとも、人物を認識する顔特徴データを記憶するとともに、前記タッチパネル上をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部と、
筐体を画像上に載置している際に、ユーザによる前記タッチパネル上の指動作と、前記タッチパネル上の前記指動作による指示領域を透して見える画像上の顔領域とを認識する認識部と、
前記認識部が認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定するとともに、決定する連絡相手との連絡手段として、前記認識部が認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する決定部と
を備えることを特徴とする連絡操作支援装置。
【請求項５】
前記認識部は、
前記タッチパネル上の接触位置を検出し、前記タッチパネル上の前記指動作を認識する指動作認識部と、
前記タッチパネルを透して見える画像を撮影する撮影部と、
前記撮影部が撮影した撮影画像内の顔領域であって、前記指動作認識部が認識した前記指動作による前記タッチパネル上の指示領域に対応する顔領域を認識する顔領域認識部と
を有し、
前記決定部は、
前記顔領域認識部が認識した前記顔領域内の顔の特徴量を抽出して顔特徴データを生成する顔特徴データ生成部と、
前記顔特徴データ生成部が生成した前記顔特徴データと前記記憶部に記憶されている前記顔特徴データとを照合する顔特徴データ照合部と、
前記顔特徴データ照合部による照合の結果、特徴が一致した前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定部と、
前記指動作認識部が認識した前記タッチパネル上の前記指動作から指の位置の時系列データを測定して指動作パターンを生成する指動作パターン生成部と、
前記指動作パターン生成部にて生成された前記指動作パターンと前記記憶部に記憶されている前記指動作パターンと照合する指動作パターン照合部と、
前記指動作パターン照合部による照合の結果、パターンが一致した前記指動作パターンを前記記憶部から選択し、選択した指動作パターンに関連付けられている前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定部と
を有することを特徴とする請求項４に記載の連絡操作支援装置。
【請求項６】
前記連絡操作支援装置は、
外部の通信機器と通信する通信部を更に備え、
前記通信部は、
前記決定部が決定した連絡相手の名前及び前記決定部が選択した前記連絡手段識別情報を外部の通信機器に送信し、又は、前記決定部が決定した連絡相手との前記決定部が決定した連絡手段による連絡を実行させる命令を外部の通信機器に送信する
ことを特徴とする請求項４又は請求項５に記載の連絡操作支援装置。
【請求項７】
筐体の一方の面側から他方の面側が見えるように筐体の枠内に形成された透明のタッチディスプレイを有し、前記タッチディスプレイを透して見える画像を利用して、連絡相手と連絡手段とを決定する連絡操作支援装置であって、
少なくとも、人物を認識する顔特徴データを記憶するとともに、前記タッチディスプレイ上をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部と、
筐体を画像上に載置している際に、ユーザによる前記タッチディスプレイ上の指動作と、前記タッチディスプレイ上の前記指動作による指示領域を透して見える画像上の顔領域とを認識する認識部と、
前記認識部が認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定するとともに、決定する連絡相手との連絡手段として、前記認識部が認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する決定部と
を備えることを特徴とする連絡操作支援装置。
【請求項８】
前記認識部は、
前記タッチディスプレイ上の接触位置を検出し、前記タッチディスプレイ上の前記指動作を認識する指動作認識部と、
前記タッチディスプレイを透して見える画像を撮影する撮影部と、
前記撮影部が撮影した撮影画像内の顔領域であって、前記指動作認識部が認識した前記指動作による前記タッチディスプレイ上の指示領域に対応する顔領域を認識する顔領域認識部と
を有し、
前記決定部は、
前記顔領域認識部が認識した前記顔領域内の顔の特徴量を抽出して顔特徴データを生成する顔特徴データ生成部と、
前記顔特徴データ生成部が生成した前記顔特徴データと前記記憶部に記憶されている前記顔特徴データとを照合する顔特徴データ照合部と、
前記顔特徴データ照合部による照合の結果、特徴が一致した前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定部と、
前記指動作認識部が認識した前記タッチディスプレイ上の前記指動作から指の位置の時系列データを測定して指動作パターンを生成する指動作パターン生成部と、
前記指動作パターン生成部にて生成された前記指動作パターンと前記記憶部に記憶されている前記指動作パターンと照合する指動作パターン照合部と、
前記指動作パターン照合部による照合の結果、パターンが一致した前記指動作パターンを前記記憶部から選択し、選択した指動作パターンに関連付けられている前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定部と
を有することを特徴とする請求項７記載の連絡操作支援装置。
【請求項９】
前記連絡操作支援装置は、
外部の通信機器と通信する通信部を更に備え、
前記通信部は、
前記決定部が決定した連絡相手の名前及び前記決定部が選択した前記連絡手段識別情報を外部の通信機器に送信し、又は、前記決定部が決定した連絡相手との前記決定部が決定した連絡手段による連絡を実行させる命令を外部の通信機器に送信する
ことを特徴とする請求項７又は請求項８に記載の連絡操作支援装置。
【請求項１０】
前記タッチディスプレイを透して見える画像に重畳させて、前記認識部が認識した前記指動作の軌跡、前記決定部が連絡相手として決定した人物の顔への印、前記記憶部が前記顔特徴データと人物の名前とを関連付けて記憶している場合には前記決定部が連絡相手として決定した人物の名前、又は、外部の通信機器に命令を送信する場合には当該命令の内容、のうち少なくとも１つを報知情報として前記タッチディスプレイに表示させる表示制御部を
更に備えることを特徴とする請求項７乃至請求項９の何れか１項に記載の連絡操作支援装置。
【請求項１１】
前記表示制御部は、
前記タッチディスプレイを透して見える画像上の顔であって前記決定部が連絡相手として決定した人物の顔が隠れない位置に、前記報知情報を表示させる
ことを特徴とする請求項１０に記載の連絡操作支援装置。
【請求項１２】
前記指動作パターン照合部は、
前記指動作パターン生成部にて生成された前記指動作パターン、及び、前記記憶部に記憶されている前記指動作パターンの両指動作パターン間で、指動作中の各サンプル時刻における位置座標を２次元ベクトルとみなし、なす誤差角の総和に基づいて両指動作パターン間の一致を判定し、両指動作パターンを照合する
ことを特徴とする請求項２に記載の連絡操作支援システム。
【請求項１３】
前記指動作パターン照合部は、
前記指動作パターン生成部にて生成された前記指動作パターン、及び、前記記憶部に記憶されている前記指動作パターンの両指動作パターン間で、相違度算出にＤＰマッチングを適用し、両指動作パターンを照合する
ことを特徴とする請求項２に記載の連絡操作支援システム。
【請求項１４】
前記指動作パターン照合部は、
前記指動作パターン生成部にて生成された前記指動作パターン、及び、前記記憶部に記憶されている前記指動作パターンの両指動作パターン間で、指動作中の各サンプル時刻における位置座標を２次元ベクトルとみなし、なす誤差角の総和に基づいて両指動作パターン間の一致を判定し、両指動作パターンを照合する
ことを特徴とする請求項５又は請求項８に記載の連絡操作支援装置。
【請求項１５】
前記指動作パターン照合部は、
前記指動作パターン生成部にて生成された前記指動作パターン、及び、前記記憶部に記憶されている前記指動作パターンの両指動作パターン間で、相違度算出にＤＰマッチングを適用し、両指動作パターンを照合する
ことを特徴とする請求項５又は請求項８に記載の連絡操作支援装置。
【請求項１６】
少なくとも、人物を認識する顔特徴データを記憶するとともに、画像をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部を有するシステムを用いる連絡操作方法であって、
ユーザによる画像上の指動作と、画像上の前記指動作によって指示された顔領域とを認識する認識工程と、
前記認識工程で認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定工程と、
前記連絡相手決定工程で決定する連絡相手との連絡手段として、前記認識工程で認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定工程と
を備えることを特徴とする連絡操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連絡操作支援システム、連絡操作支援装置および連絡操作方法に関する。
【背景技術】
【０００２】
従来、携帯電話を用いて誰かに連絡（アクセス）する場合、一連の手順を踏んで連絡相手（アクセス相手）及び連絡手段（アクセス手段。例えば、電話、メール、ブログへのアクセス）を決定する操作を行う必要があるため、ユーザの利便性において課題があった。例えば、図１８に示すように、最初に連絡相手（例えば、携帯恵美子）を選択（第１ステップ）し、続いて連絡相手との連絡手段（例えば、メール）を選択（第２ステップ）するという、一連の階層的なステップを通して連絡相手と連絡手段とを決めていくため、手間がかかって面倒であった。
なお、上述のように利便性に問題がある場合、折角の連絡の機会を逃してしまう恐れがある。例えば、思い出のアルバムを見ていて昔の友達が気になって連絡を取ろうとしたものの、アドレス帳から昔の友達の連絡先を探し出す作業が面倒であるため、結局、思い立ったときに連絡を取らなかったという状況も珍しくはないと思われる。
【０００３】
一方で、携帯通信端末に記憶されたアドレス帳の情報をユーザが簡単に活用できるようにすることを目的とした技術が開示されている（例えば、特許文献1参照）。特許文献1に記載の携帯電話端末は、カメラから入力した顔画像データから顔特徴点データを生成し、予め記憶された顔特徴点データと照合し、一致した顔特徴点データに対応する登録者の氏名や電話帳データ等の情報を読み出し、ディスプレイに表示したり音声で通知したりする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０５６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術には以下の問題がある。
（第1の問題）
特許文献1に記載の携帯電話端末は、撮影操作によって、一連の階層的なステップのうち第１ステップ（連絡相手の選択）迄は行うものの、第２ステップ（連絡手段の選択）は行わないため、結局のところ、別途、ユーザは第２ステップを行わなければならないという問題がある。
【０００６】
（第２の問題）
また、特許文献1に記載の携帯電話端末は、被写体が1名である場合を想定していると考えられる。従って、特に写真を閲覧しているケースなどにおいて、被写体が複数名である場合（写真内に複数の人物が写っている場合）には、「所望の連絡相手」となるべき人物さえも特定できないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、所望の連絡相手と所望の連絡手段を簡便に決定することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記問題を解決するために、本発明の一態様である連絡操作支援システムは、画像を利用して、連絡相手と連絡手段とを決定する連絡操作支援システムであって、少なくとも、人物を認識する顔特徴データを記憶するとともに、画像をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部と、ユーザによる画像上の指動作と、画像上の前記指動作によって指示された顔領域とを認識する認識部と、前記認識部が認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定するとともに、決定する連絡相手との連絡手段として、前記認識部が認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する決定部とを備えることを特徴とする。
【０００９】
上記連絡操作支援システムによれば、所望の連絡相手と所望の連絡手段を簡便に決定することができる。即ち、上記連絡操作支援システムによれば、従来のような一連の手順（例えば、上述の第１ステップ、第２ステップ）ではなく、写真を指でなぞるという簡便な１つの手順に基づいて、アクセス相手に加えアクセス手段をも決定することができる。また、上記連絡操作支援システムによれば、被写体が複数名である場合であっても、指でなぞって被写体を特定することができるため、問題なく、アクセス相手及びアクセス手段を決定することができる。
【００１０】
上記連絡操作支援システムにおいて、前記認識部は、画像とユーザとを撮影する撮影部と、前記撮影部が撮影した撮影画像からユーザによる画像上の前記指動作を認識する指動作認識部と、前記撮影部が撮影した撮影画像内の顔領域であって、前記指動作認識部が認識した前記指動作によって指示された顔領域を認識する顔領域認識部とを有し、前記決定部は、前記顔領域認識部が認識した前記顔領域内の顔の特徴量を抽出して顔特徴データを生成する顔特徴データ生成部と、前記顔特徴データ生成部が生成した前記顔特徴データと前記記憶部に記憶されている前記顔特徴データとを照合する顔特徴データ照合部と、
前記顔特徴データ照合部による照合の結果、特徴が一致した前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定部と、前記指動作認識部が認識した画像上の指動作から指の位置の時系列データを測定して指動作パターンを生成する指動作パターン生成部と、前記指動作パターン生成部にて生成された前記指動作パターンと前記記憶部に記憶されている前記指動作パターンと照合する指動作パターン照合部と、前記指動作パターン照合部による照合の結果、パターンが一致した前記指動作パターンを前記記憶部から選択し、選択した指動作パターンに関連付けられている前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定部とを有するようにしてもよい。
【００１１】
上記連絡操作支援システムは、外部の通信機器と通信する通信部を更に備え、前記通信部は、前記決定部が決定した連絡相手の名前及び前記決定部が選択した前記連絡手段識別情報を外部の通信機器に送信し、又は、前記決定部が決定した連絡相手との前記決定部が決定した連絡手段による連絡を実行させる命令を外部の通信機器に送信するようにしてもよい。
【００１２】
上記連絡操作支援システムによれば、当該連絡操作支援システムを適用した通信機器（例えば、ノートＰＣ）上における所望の連絡相手と所望の連絡手段に加え、外部の通信機器（例えば、携帯電話、ノートＰＣ、タブレット端末）上の所望の連絡相手と所望の連絡手段を簡便に決定することができる。
【００１３】
上記問題を解決するために、本発明の他の態様である連絡操作支援装置は、筐体の一方の面側から他方の面側が見えるように筐体の枠内に形成された透明のタッチパネルを有し、前記タッチパネルを透して見える画像を利用して、連絡相手と連絡手段とを決定する連絡操作支援装置であって、少なくとも、人物を認識する顔特徴データを記憶するとともに、前記タッチパネル上をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部と、筐体を画像上に載置している際に、ユーザによる前記タッチパネル上の指動作と、前記タッチパネル上の前記指動作による指示領域を透して見える画像上の顔領域とを認識する認識部と、前記認識部が認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定するとともに、決定する連絡相手との連絡手段として、前記認識部が認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する決定部とを備えることを特徴とする。
【００１４】
上記連絡操作支援装置によれば、上記連絡操作支援システムと同様に、所望の連絡相手と所望の連絡手段を簡便に決定することができる。
【００１５】
上記連絡操作支援装置において、前記認識部は、前記タッチパネル上の接触位置を検出し、前記タッチパネル上の前記指動作を認識する指動作認識部と、前記タッチパネルを透して見える画像を撮影する撮影部と、前記撮影部が撮影した撮影画像内の顔領域であって、前記指動作認識部が認識した前記指動作による前記タッチパネル上の指示領域に対応する顔領域を認識する顔領域認識部とを有し、前記決定部は、前記顔領域認識部が認識した前記顔領域内の顔の特徴量を抽出して顔特徴データを生成する顔特徴データ生成部と、前記顔特徴データ生成部が生成した前記顔特徴データと前記記憶部に記憶されている前記顔特徴データとを照合する顔特徴データ照合部と、前記顔特徴データ照合部による照合の結果、特徴が一致した前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定部と、前記指動作認識部が認識した前記タッチパネル上の前記指動作から指の位置の時系列データを測定して指動作パターンを生成する指動作パターン生成部と、前記指動作パターン生成部にて生成された前記指動作パターンと前記記憶部に記憶されている前記指動作パターンと照合する指動作パターン照合部と、前記指動作パターン照合部による照合の結果、パターンが一致した前記指動作パターンを前記記憶部から選択し、選択した指動作パターンに関連付けられている前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定部とを有するようにしてもよい。
【００１６】
上記連絡操作支援装置は、外部の通信機器と通信する通信部を更に備え、前記通信部は、前記決定部が決定した連絡相手の名前及び前記決定部が選択した前記連絡手段識別情報を外部の通信機器に送信し、又は、前記決定部が決定した連絡相手との前記決定部が決定した連絡手段による連絡を実行させる命令を外部の通信機器に送信するようにしてもよい。
【００１７】
上記連絡操作支援装置によれば、当該連絡操作支援装置を適用した通信機器（例えば、筐体枠内の少なくとも一部に透明のタッチパネルを有するタブレット端末）上における所望の連絡相手と所望の連絡手段に加え、外部の通信機器（例えば、携帯電話、ノートＰＣ、タブレット端末）上の所望の連絡相手と所望の連絡手段を簡便に決定することができる。
【００１８】
上記問題を解決するために、本発明の他の態様である連絡操作支援装置は、筐体の一方の面側から他方の面側が見えるように筐体の枠内に形成された透明のタッチディスプレイを有し、前記タッチディスプレイを透して見える画像を利用して、連絡相手と連絡手段とを決定する連絡操作支援装置であって、少なくとも、人物を認識する顔特徴データを記憶するとともに、前記タッチディスプレイ上をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部と、筐体を画像上に載置している際に、ユーザによる前記タッチディスプレイ上の指動作と、前記タッチディスプレイ上の前記指動作による指示領域を透して見える画像上の顔領域とを認識する認識部と、前記認識部が認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定するとともに、決定する連絡相手との連絡手段として、前記認識部が認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する決定部とを備えることを特徴とする。
【００１９】
上記連絡操作支援装置によれば、上記連絡操作支援システムと同様に、所望の連絡相手と所望の連絡手段を簡便に決定することができる。
【００２０】
上記連絡操作支援装置において、前記認識部は、前記タッチディスプレイ上の接触位置を検出し、前記タッチディスプレイ上の前記指動作を認識する指動作認識部と、前記タッチディスプレイを透して見える画像を撮影する撮影部と、前記撮影部が撮影した撮影画像内の顔領域であって、前記指動作認識部が認識した前記指動作による前記タッチディスプレイ上の指示領域に対応する顔領域を認識する顔領域認識部とを有し、前記決定部は、前記顔領域認識部が認識した前記顔領域内の顔の特徴量を抽出して顔特徴データを生成する顔特徴データ生成部と、前記顔特徴データ生成部が生成した前記顔特徴データと前記記憶部に記憶されている前記顔特徴データとを照合する顔特徴データ照合部と、前記顔特徴データ照合部による照合の結果、特徴が一致した前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定部と、前記指動作認識部が認識した前記タッチディスプレイ上の前記指動作から指の位置の時系列データを測定して指動作パターンを生成する指動作パターン生成部と、前記指動作パターン生成部にて生成された前記指動作パターンと前記記憶部に記憶されている前記指動作パターンと照合する指動作パターン照合部と、前記指動作パターン照合部による照合の結果、パターンが一致した前記指動作パターンを前記記憶部から選択し、選択した指動作パターンに関連付けられている前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定部とを有するようにしてもよい。
【００２１】
上記連絡操作支援装置は、外部の通信機器と通信する通信部を更に備え、前記通信部は、前記決定部が決定した連絡相手の名前及び前記決定部が選択した前記連絡手段識別情報を外部の通信機器に送信し、又は、前記決定部が決定した連絡相手との前記決定部が決定した連絡手段による連絡を実行させる命令を外部の通信機器に送信するようにしてもよい。  
【００２２】
上記連絡操作支援装置によれば、当該連絡操作支援装置を適用した通信機器（例えば、筐体枠内の少なくとも一部に透明のタッチディスプレイを有するタブレット端末）上における所望の連絡相手と所望の連絡手段に加え、外部の通信機器（例えば、携帯電話、ノートＰＣ、タブレット端末）上の所望の連絡相手と所望の連絡手段を簡便に決定することができる。
【００２３】
上記連絡操作支援装置は、前記タッチディスプレイを透して見える画像に重畳させて、前記認識部が認識した前記指動作の軌跡、前記決定部が連絡相手として決定した人物の顔への印、前記記憶部が前記顔特徴データと人物の名前とを関連付けて記憶している場合には前記決定部が連絡相手として決定した人物の名前、又は、外部の通信機器に命令を送信する場合には当該命令の内容、のうち少なくとも１つを報知情報として前記タッチディスプレイに表示させる表示制御部を更に備えるようにしてもよい。
【００２４】
上記連絡操作支援装置によれば、意図した操作（指操作）が装置に入力されたか否か、意図した結果が装置から得られた否かなどをユーザに視覚的に確認させることができる。従って、ユーザは、操作内容や結果内容が正しくない場合には、再操作を行うことができる。
【００２５】
上記連絡操作支援装置において、前記表示制御部は、前記タッチディスプレイを透して見える画像上の顔であって前記決定部が連絡相手として決定した人物の顔が隠れない位置に、前記報知情報を表示させるようにしてもよい。
【００２６】
上記連絡操作支援装置によれば、報知情報によって、連絡相手の顔が隠れてしまうことを防止することができる。
【００２７】
上記連絡操作支援システム及び上記連絡操作支援装置において、前記指動作パターン照合部は、前記指動作パターン生成部にて生成された前記指動作パターン、及び、前記記憶部に記憶されている前記指動作パターンの両指動作パターン間で、指動作中の各サンプル時刻における位置座標を２次元ベクトルとみなし、なす誤差角の総和に基づいて両指動作パターン間の一致を判定し、両指動作パターンを照合するようにしてもよい。
【００２８】
上記連絡操作支援システムによれば、指動作の照合精度を向上させることができるようになる。即ち、誤差角は指動作の大きさに不変の測定量であるため、同じ印であれば、大きく書かれた○印と小さく書かれた○印のいずれもが、大きさの違いを無視し、同じ印として一致を判定できるようになるため、指動作の照合精度が向上する。
【００２９】
上記連絡操作支援システム及び上記連絡操作支援装置において、前記指動作パターン照合部は、前記指動作パターン生成部にて生成された前記指動作パターン、及び、前記記憶部に記憶されている前記指動作パターンの両指動作パターン間で、相違度算出にＤＰマッチングを適用し、両指動作パターンを照合するようにしてもよい。
【００３０】
上記連絡操作支援システムによれば、指動作の照合精度を向上させることができるようになる。即ち、同じ印であれば、試行の度に異なる指動作パターン間の部分的な伸縮、対応位置のずれは許容され、安定した照合ができるため、指動作の照合精度が向上する。
【００３１】
上記問題を解決するために、本発明の他の態様である連絡操作方法は、少なくとも、人物を認識する顔特徴データを記憶するとともに、画像をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する記憶部を有するシステムを用いる連絡操作方法であって、ユーザによる画像上の指動作と、画像上の前記指動作によって指示された顔領域とを認識する認識工程と、前記認識工程で認識した画像上の顔領域内の顔の前記顔特徴データを前記記憶部から選択し、選択した前記顔特徴データによって識別される人物を連絡相手として決定する連絡相手決定工程と、前記連絡相手決定工程で決定する連絡相手との連絡手段として、前記認識工程で認識した前記指動作から得られる前記指動作パターンに関連付けられている前記連絡手段識別情報を前記記憶部から選択し、選択した前記連絡手段識別情報によって識別される連絡手段を決定する連絡手段決定工程とを備えることを特徴とする。
【００３２】
上記連絡操作支援装置によれば、上記連絡操作支援システムと同様に、所望の連絡相手と所望の連絡手段を簡便に決定することができる。
【発明の効果】
【００３３】
本発明によれば、上述の如く、所望の連絡相手と所望の連絡手段を簡便に決定することができる。また、本発明によれば、被写体が複数名である場合であっても、問題なく、アクセス相手及びアクセス手段を決定することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施形態による連絡操作支援装置１の概略外観図である。
【図２】連絡操作支援装置１の使用方法の一例を説明する説明図である。
【図３】連絡操作支援装置１の概略断面図である。
【図４】連絡操作支援装置１等の概略構成図である。
【図５】連絡操作支援装置１の機能構成を説明する説明図である。
【図６】記憶部９０に記憶される情報の一例である。
【図７】連絡操作支援装置１の機能を説明する説明図である。
【図８】連絡操作支援装置１の機能を説明する説明図である。
【図９】連絡操作支援装置１の機能を説明する説明図である。
【図１０】連絡操作支援装置１の機能を説明する説明図である。
【図１１】ＤＰマッチングによる相違度の計算方法を説明する説明図である。
【図１２】連絡操作支援装置１の処理の流れの一例を示すフローチャートである。
【図１３】本発明の第２の実施形態による連絡操作支援装置２の概略外観図である。
【図１４】連絡操作支援装置２等の概略構成図である。
【図１５】連絡操作支援装置２の機能構成を説明する説明図である。
【図１６】連絡操作支援システム３の使用方法の一例を説明する説明図である。
【図１７】連絡操作支援システム３の機能構成を説明する説明図である。
【図１８】従来技術を説明するための説明図である。
【発明を実施するための形態】
【００３５】
［第１の実施形態］
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の第１の実施形態による連絡操作支援装置１の概略外観図である。図２は、連絡操作支援装置１の使用方法の一例を説明する説明図である。図３は、連絡操作支援装置１の概略断面図である。
【００３６】
連絡操作支援装置１は、図１（ａ）に示すように、筐体の一方の面側から他方の面側が見えるように筐体の枠内に形成された透明のタッチディスプレイ（以下、透過型タッチディスプレイと称する）と２つのカメラを備える。透過型タッチディスプレイは、表示機能と検出機能とを有する。
【００３７】
透過型タッチディスプレイの表示機能は、例えば、エレクトロルミネッセンス（Electroluminescence；ＥＬ）素子を適用して実現される。透過型タッチディスプレイは、表示機能として、表示制御部２７（後述）の制御に従って情報を表示する。透過型タッチディスプレイの検出機能は、例えば、抵抗膜方式、静電容量方式等を適用して実現される。透過型タッチディスプレイは、検出機能として、上方の面（図１に見えている面）における任意の位置の指定を受け付けて二次元座標を検出する。例えば、透過型タッチディスプレイは、連絡操作支援装置１の使用者の指先の接触位置の二次元座標を検出する。
【００３８】
つまり、透過型タッチディスプレイは、表示機能を有する透過型ディスプレイの表面に検出機能を有する透過型タッチパネル（透明のタッチパネル）を付加したものである（後述の図３参照）。上述の如く、透過型タッチディスプレイは透明であるため、図２に示すように、連絡操作支援装置１を写真の上に置くと、連絡操作支援装置１の使用者は、透過型タッチディスプレイ越しに写真を見ることができる。
【００３９】
２つのカメラは、透過型タッチディスプレイにおいて視認可能な情報（透過型タッチディスプレイ越しに見える透過可視情報、透過型タッチディスプレイに表示された表示可視情報）を撮影可能な位置に設けられる。図１（ａ）の例では、各カメラは、透過型タッチディスプレイ側（内側）を向くように筐体枠に設けられている。夫々のカメラは、一方のカメラにより撮影される透過型タッチディスプレイの撮影領域と、他方のカメラにより撮影される透過型タッチディスプレイ上の撮影領域とができるだけ重複せず、透過型タッチディスプレイの全域ができるだけ何れかのカメラの撮影領域になるように設けられる。
【００４０】
図３（ａ）は、図２（ａ）に示した一点鎖線Ｄにおいて連絡操作支援装置１を切った概略断面図である。図３（ａ）において、連絡操作支援装置１は、写真Ｐ上に載置されている。図１（ａ）におけるカメラは、図３（ａ）に示すように、第１ミラー（カーブミラー）と、第２ミラーと、レンズ光学系と、センサとを備える。図３（ａ）の右側のカメラも同様である。
【００４１】
第１ミラーは、広い範囲の透過可視情報の光束を受光できるよう曲率を有している。第２ミラーは、第１ミラーが反射した光束を受光する位置に設けられる。第２ミラーは、平面ミラーでもよいし、カーブミラーでもよい。レンズ光学系は、第２ミラーが反射した光束を受光する位置に設けられる。レンズ光学系は、単一または複数の集光レンズを含む。センサは、レンズ光学系が集光した光束を受光する位置に設けられる。センサの一例は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
【００４２】
図３（ｂ）は、他の構成の場合の概略断面図である。図３（ａ）において、連絡操作支援装置１は、写真Ｐ上に載置されている。図１（ａ）におけるカメラは、図３（ｂ）に示すように、広角レンズ光学系と、センサとを備える構成であってもよい。図３（ｂ）の右側のカメラも同様である。図３（ｂ）のセンサは、図３（ａ）のセンサと同様である。広角レンズ光学系は、画角（視野角度）がより広いレンズ光学系である。例えば、広角レンズ光学系は、画角が９０度を超えるレンズ光学系である。広角レンズ光学系は、単一または複数の集光レンズを含む。
【００４３】
２つのカメラによって撮影された夫々の画像（以下、部分画像と称する）は  画像処理部（非図示）によって繋ぎ合わされて１つの画像に合成してもよい。例えば、画像処理部は、各部分画像の一部の領域が重複する場合には、両方の部分画像における重複しない領域と、一方の部分画像における重複する領域とを連結する。なお、画像処理部は、各部分画像における収差を補正する画像処理を実行し、補正された部分画像同士を合成してもよい。
【００４４】
なお、筐体においてカメラのレンズ位置は、固定しているため、透過型タッチディスプレイの検出機能の検出エリアの座標と、カメラによる撮影エリアの座標とは、一意に対応している。例えば、両エリアの左上を（０，０）、右上を（１，０）、左下を（０，１）、右下を（１，１）とする（ｘ，ｙ）座標系と定義してもよい。
【００４５】
なお、連絡操作支援装置１が備えるカメラの個数は２つに限定されない。連絡操作支援装置１は１つカメラを備えてもよいし、３つ以上のカメラを備えてもよい。但し、透過型タッチディスプレイの全域をなるべく撮影可能とすることが望ましい。
【００４６】
図１（ｂ）は、連絡操作支援装置１の他の構成例である。連絡操作支援装置１は、図１（ｂ）に示すように、一端が筐体枠に固定された支持部の他端に、透過型タッチディスプレイ側（斜め下側）を向くように１つのカメラを備えるようにしてもよい。なお、支持部は、連絡操作支援装置１の筐体枠から着脱可能であってもよい。また、支持部は、屈伸可能であってもよい。また、支持部は、折り畳み可能であってもよい。また、図１（ｂ）の透過型タッチディスプレイは、図１（ａ）の透過型タッチディスプレイと同様である。なお、図１（ｃ）の透過型タッチディスプレイについては後述する。
【００４７】
図４は、連絡操作支援装置１等の概略構成図である。連絡操作支援装置１は、図４に示すように、透過型ディスプレイ（上述）、カメラ（上述）、機器全体を制御するＣＰＵ、メモリ、ストレージ、通信インタフェースを備え、夫々がシステムバスによって接続されている。連絡操作支援装置１は、通信インタフェースによって、外部の通信機器９等と通信する。外部の通信機器９の一例は、携帯電話、ＰＣ、セットトップボックス（Set-top box；ＳＴＢ）である。なお、連絡操作支援装置１のメモリは、後述の顔特徴データ生成部２１が生成する顔特徴データ、後述の指動作パターン生成部２４が生成する指動作パターン等を一時的に格納する作業領域である。
【００４８】
通信機器９は、図４に示すように、蓄積部（記憶部）、通信インタフェース、表示部、機器全体を制御するＣＰＵを備え、夫々がシステムバスによって接続されている。通信機器９は、通信インタフェースによって、他の通信機器、連絡操作支援装置１等と通信する。蓄積部は、アドレス帳等を蓄積（記憶）する。表示部は、蓄積部に蓄積されている情報、通信インタフェースを介して受信した情報等を表示する。
【００４９】
図５は、連絡操作支援装置１の機能構成を説明する説明図である。図６は、記憶部９０に記憶される情報の一例である。図７〜図１０は、連絡操作支援装置１の機能を説明する説明図である。
【００５０】
連絡操作支援装置１は、図５に示すように、機能面から見ると、認識部１０、決定部２０、通信部３０、表示部４０、記憶部９０を有する。認識部１０は、撮影部１１、指動作認識部１２、顔領域認識部１３を有する。決定部２０は、顔特徴データ生成部２１、顔特徴データ照合部２２、連絡相手決定部２３、指動作パターン生成部２４、指動作パターン照合部２５、連絡手段決定部２６、表示制御部２７を有する。
【００５１】
なお、破線にて示すように、撮影部１１は図４に示したカメラの機能に相当し、指動作認識部１２は図４に示した透過型タッチディスプレイの検出機能に相当し、顔領域認識部１３、決定部２０（顔特徴データ生成部２１、顔特徴データ照合部２２、連絡相手決定部２３、指動作パターン生成部２４、指動作パターン照合部２５、連絡手段決定部２６、表示制御部２７）は図４に示したＣＰＵの機能に相当し、通信部３０は図４に示した通信インタフェースの機能に相当し、表示部４０は図４に示した透過型タッチディスプレイの表示機能に相当し、記憶部９０は図４に示したストレージの機能に相当する。
【００５２】
記憶部９０は、少なくとも、人物を認識する顔特徴データを記憶するとともに、表示部４０上をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する。例えば、記憶部９０は、図６（ａ）に示すように、人物の名前に対応付けて顔特徴データを記憶するとともに、図６（ｂ）に示すように、指動作パターンに対応付けて連絡手段識別情報を記憶する。
【００５３】
図６（ａ）の“名前”は、人物の識別情報の一例であって、氏名の他、ニックネームなども含まれる。後述の図６（ｄ）の「名前」も同様である。図６（ｂ）の図形は、説明の便宜上、指動作パターンを視覚的に表したものである。即ち、図６（ｂ）によれば、記憶部９０は、四角形を描く指動作パターンに対応付けて連絡手段識別情報「Ｒ０１」を記憶し、星印を描く指動作パターンに対応付けて連絡手段識別情報「Ｒ０２」を記憶している。なお、記憶部９０に記憶する指動作パターン、即ち、定義する指動作パターンとしては、上記のほか、円を描く指動作パターン、三角形を描く指動作パターンなどが考えられる。また、描き方を考慮して指動作パターンを定義してもよい。例えば、時計回りに円を描く指動作パターンと反時計回りに円を描く指動作パターンとを区別して定義してもよい。
【００５４】
また、記憶部９０は、上記に加えて、図６（ｃ）に示すように、連絡手段識別情報に対応付けて連絡手段を記憶してもよい。また、記憶部９０は、上記に加えて、図６（ｄ）に示すように、名前に対応付けて１以上の連絡手段を記憶してもよい。なお、図６（ｃ）（ｄ）において、電話に関して、携帯電話と固定電話とを区別してもよい。また、メールに関して、携帯電話用のメールとＰＣ用のメールとを区別してもよい。
【００５５】
認識部１０（指動作認識部１２）は、筐体を画像上に載置している際に、ユーザによる表示部４０上の指動作を認識する。例えば、図７（ａ）に示すように、ユーザが表示部４０上にて四角形を指で描いた場合、認識部１０は、四角形を描く指動作（指動作Ｙ１）を認識する。また、図７（ｂ）に示すように、ユーザが表示部４０上にて星印を指で描いた場合、認識部１０は、星印を描く指動作（指動作Ｙ２）を認識する。
【００５６】
また、認識部１０（顔領域認識部１２）は、筐体を画像上に載置している際に撮影部１１が撮影した画像を利用し、表示部４０上の指動作による指示領域を透して見える画像上の顔領域を認識する。例えば、認識部１０は、図７（ａ）の指動作Ｙ１による指示領域Ｓ１（指動作Ｙ１の四角形内の領域）を透して見える写真上の顔領域（女性の顔の顔領域）を認識する。また例えば、認識部１０は、図７（ｂ）の指動作Ｙ２による指示領域Ｓ２（指動作Ｙ２の星印に略外接する矩形内の領域。点線内の領域）を透して見える写真上の顔領域（女性の顔の顔領域）を認識する。なお、認識部１０の詳細は後述する。
【００５７】
決定部２０（顔特徴データ生成部２１、顔特徴データ照合部２２、連絡相手決定部２３）は、認識部１０が認識した画像上の顔領域内の顔の顔特徴データを記憶部９０から選択し、選択した顔特徴データによって識別される人物を連絡相手として決定する。例えば、決定部２０は、認識部１０が図７（ａ）の指示領域Ｓ１から認識した顔領域内の女性の顔の顔特徴データ、又は、認識部１０が図７（ｂ）の指示領域Ｓ２から認識した顔領域内の女性の顔の顔特徴データを記憶部９０から選択する。例えば、記憶部９０から図６（ａ）の顔特徴データ「ＡＢＣＤ…」を選択した場合、決定部２０は、当該顔特徴データ「ＡＢＣＤ…」に対応付けられた「携帯恵美子」を連絡相手として決定する。
【００５８】
また、決定部２０（指動作パターン生成部２４、指動作パターン照合部２５、連絡手段決定部２６）は、決定する連絡相手との連絡手段として、認識部１０が認識した指動作から得られる指動作パターンに関連付けられている連絡手段識別情報を記憶部９０から選択し、選択した連絡手段識別情報によって識別される連絡手段を決定する。例えば、決定部２０は、記憶部９０において、図７（ａ）の指動作Ｙ１から得られる指動作パターン「四角形を描く指動作パターン」に関連付けられている連絡手段識別情報「Ｒ０１」を選択し、当該連絡手段識別情報「Ｒ０１」によって識別される連絡手段を決定する。また例えば、決定部２０は、記憶部９０において、図７（ｂ）の指動作Ｙ２から得られる指動作パターン「星印を描く指動作パターン」に関連付けられている連絡手段識別情報「Ｒ０２」を選択し、当該連絡手段識別情報「Ｒ０２」によって識別される連絡手段を決定する。なお、決定部２０の詳細は後述する。
【００５９】
表示制御部２７は、表示部４０を透して見える画像に重畳させて、認識部１０が認識した指動作の軌跡、又は、決定部２０が連絡相手として決定した人物の顔への印のうち少なくとも１つを報知情報として表示部４０に表示させる。表示制御部２７は、報知情報として、図６（ａ）の如く、記憶部９０が顔特徴データと人物の名前とを関連付けて記憶している場合には決定部２０が連絡相手として決定した人物の名前を表示部４０に表示させてもよい。表示制御部２７は、通信部３０が外部の通信機器９に命令を送信する場合には当該命令の内容を表示部４０に表示させてもよい。
【００６０】
表示制御部２７は、例えば、図８に示すように、表示部４０を透して見える画像上の顔であって決定部２０が連絡相手として決定した人物の顔が隠れない位置に報知情報を表示させてもよい。なお、図８（ａ）の報知情報（命令内容）は、携帯恵美子への発呼命令（又は、携帯恵美子への発呼直前の通話ボタンの表示命令）を表現したものである。図８（ｂ）の報知情報（命令内容）は、携帯恵美子を送信先に指定した新規メール作成画面の表示命令）を表現したものである。
【００６１】
通信部３０は、決定部２０が決定した連絡相手の名前及び決定部２０が選択した連絡手段識別情報を外部の通信機器９に送信する。なお、通信部３０は、上記に代えて又は加えて、決定部２０が決定した連絡相手との決定部２０が決定した連絡手段による連絡を実行させる命令を外部の通信機器９に送信してもよい。
【００６２】
例えば、図９に示すように、決定部１０が、連絡相手は携帯恵美子、連絡手段識別情報は「Ｒ０１」であると決定した場合、通信部３０は、連絡相手の名前「携帯恵美子」及び連絡手段識別情報「Ｒ０１」を通信機器９に送信する。なお、名前「携帯恵美子」及び連絡手段識別情報「Ｒ０１」を連絡操作支援装置１から受信した通信機器９は、例えば、図９に示すような画面を自動的に表示部に表示する。また、例えば、図１０に示すように、決定部１０が、連絡相手は携帯恵美子、連絡手段識別情報は「Ｒ０２」であると決定した場合、通信部３０は、連絡相手の名前「携帯恵美子」及び連絡手段識別情報「Ｒ０２」を通信機器９に送信する。なお、名前「携帯恵美子」及び連絡手段識別情報「Ｒ０２」を連絡操作支援装置１から受信した通信機器９は、例えば、図１０に示すような画面を自動的に表示部に表示する。
【００６３】
以上のように、連絡操作支援装置１は、表示部４０を透して見える画像（透過型タッチディスプレイ越しに見える透過可視情報）を利用し、連絡相手と連絡手段とを決定する。具体的には、連絡操作支援装置１は、ユーザが、表示部４０を透した画像上において、所望の連絡手段に対応する指動作で所望の連絡相手の顔を指定すれば、連絡相手と連絡手段とを決定する。以下、連絡相手及び連絡手段の決定について詳しく説明する。
【００６４】
（連絡相手の決定）
顔領域認識部１３は、撮影部１１（又は、撮影部１１の撮影画像を処理する非図示の画像処理部）から撮影画像を取得する。顔領域認識部１３は、撮影画像内の顔領域を認識する。具体的には、顔領域認識部１３は、指動作による指示領域内の顔領域を認識する。例えば、顔領域認識部１３は、図７（ａ）の指示領域Ｓ１を透して見える写真上の女性の顔の顔領域を認識する。つまり、顔領域認識部１３は、撮影部１１が撮影した撮影画像内の顔領域であって、指動作認識部１２が認識した指動作による表示部４０上の指示領域に対応する顔領域を認識する。
【００６５】
より詳細には、顔領域認識部１３は、撮影部１１による撮影後にメモリ（図４参照）に記憶される撮影画像の全域を対象として顔検出を行う。顔領域認識部１３は、顔検出の結果、顔の存在領域をメモリに記憶する。例えば、顔領域認識部１３は、顔を含む最小の矩形領域をメモリに記憶する。その後、ユーザによる表示部４０の指動作があった場合、顔領域認識部１３は、メモリ上に記憶されている顔の存在領域のうち当該指動作による指示位置に最も近い存在領域を特定し、当該指操作による指示領域内の顔領域として認識する。なお、顔領域認識部１３は、ユーザによる表示部４０の指動作があった後に、当該指動作による指示位置の近傍領域に限定して顔検出を行うことにより、顔検出に要する処理量を削減してもよい。
【００６６】
なお、顔検出には、下記参考文献１に記載の技術が適用できる。
【００６７】
［参考文献１］Paul Viola, Michael Jones, "Robust Real-time Object Detection", Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling, 2001.
【００６８】
参考文献１では、予め顔が含まれる画像を大量に準備し（所定数準備し）、顔の含まれる領域内の輝度信号をＨａａｒ−ｌｉｋｅ特徴量に変換して、黒目は周辺の白目部分と比較して輝度信号が小さい、眉に対して頬の輝度信号が高い、といった顔画像に共通する輝度信号の大小関係をＡｄａｂｏｏｓｔと呼ばれる機械学習手法で学習し、顔画像に共通する判定規則が記述されたＡｄａｂｏｏｓｔ識別器を生成する。新たに入力された画像内で顔を検出する際は、特定の矩形を左から右方向、上から下方向のラスタースキャン順に移動させ、各移動先の矩形内の輝度信号をＨａａｒ−ｌｉｋｅ特徴量に変換し、あらかじめ生成したＡｄａｂｏｏｓｔ識別器に記述された判定規則を満たしているかどうかで、人物の顔が含まれるか否かが判定される。
【００６９】
顔特徴データ生成部２１は、顔領域認識部１３が認識した顔領域内の顔の特徴量を抽出して顔特徴データを生成する。例えば、顔特徴データ生成部２１は、図７（ａ）の女性の顔の特徴量を抽出して顔特徴データを生成する。
【００７０】
なお、顔特徴データの生成には、参考文献２（特開２００９−２１１４９０号公報）に記載の技術が適用できる。なお、参考文献２は、照明変動や撮影機材の特性変動に対して耐性のある隣接相対ビット列（ＬＢＰ）に基づいて画像を比較し、その類似スコアに基づいて画像認識を行う技術を発明したものである。
【００７１】
参考文献２では、検出された顔画像内で目鼻点を特定し、両目の位置および目鼻の距離に応じた基準が一定となるように写真内から顔画像を正規化して切り出す。正規化された顔画像内で各画素に順次注目し、各注目画素を、当該注目画素と、この注目画素に隣接する複数の周辺画素との相対的な特徴量の相対値が各周辺画素の位置に応じて配列されたＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）に変換される。ＬＢＰはテクスチャ解析の手法であり、主に領域分割等で使用されている。このＬＢＰは、画像処理分野でのエッジ抽出用のフィルタ（ラプラシアンフィルタ、Ｃａｎｎｙフィルタ等）処理と同様であり、注目画素と周辺画素との特徴量の相対値に基づいて出力値が決定される。同一人物の顔を異なる照明下で撮影して得られた２つの顔画像には照明変動に応じた輝度差やコントラスト差が認められるものの、ＬＢＰ画像では照明変動の影響が抑制される。全画素のＬＢＰが求まると、参照顔画像のＬＢＰと各被参照顔画像のＬＢＰとが比較され、両者の類似度に基づいて類似スコアを算出される。
【００７２】
顔特徴データ照合部２２は、顔特徴データ生成部２１が生成した顔特徴データと記憶部９０に記憶されている顔特徴データとを照合する。つまり、顔特徴データ照合部２２は、ユーザによって指示された撮影画像上の顔と、予め顔特徴データを記憶している複数の人物の顔を照合する。
【００７３】
連絡相手決定部２３は、顔特徴データ照合部２２による照合の結果、特徴が一致した顔特徴データを記憶部９０から選択し、当該顔特徴データによって識別される人物を連絡相手として決定する。例えば、顔特徴データ生成部２１が生成した顔特徴データ「ＡＢＣＤ…」を生成した場合には、顔特徴データ生成部２１が生成した顔特徴データ「ＡＢＣＤ…」と図６（ａ）の顔特徴データ「ＡＢＣＤ…」の特徴が一致する旨の照合結果となるため、連絡相手決定部２３は、図６（ａ）の顔特徴データ「ＡＢＣＤ…」を選択し、選択した顔特徴データ「ＡＢＣＤ…」に対応付けられている「携帯恵美子」を連絡相手として決定する。つまり、連絡相手決定部２３は、ユーザによって指示された撮影画像上の顔と一致する顔の人物を連絡相手として決定する。
【００７４】
（連絡手段の決定）
指動作認識部１２は、表示部４０上の接触位置を検出し、表示部４０上の指動作を認識する。換言すれば、指動作認識部１２は、表示部４０上の指動作として、表示部４０上の接触位置を検出する。例えば、指動作認識部１２は、図７（ａ）の指動作Ｙ１を認識する。つまり、指動作認識部１２は、図７（ａ）の指動作Ｙ１をした際の接触位置を検出する。
【００７５】
指動作パターン生成部２４は、指動作認識部１２が認識した表示部４０上の指動作から指の位置の時系列データを測定して指動作パターンを生成する。例えば、指動作パターン生成部２４は、図７（ａ）の指動作Ｙ１の位置の時系列データを測定して指動作パターン（四角形を描く指動作）を生成する。
【００７６】
より詳細には、指動作パターン生成部２４は、指のなぞりの開始から終了までの間に測定された指位置の時系列データが一定の系列長Ｎとなるように再サンプリングを行い、指動作パターンａ＝（ａ［１］，ａ［２］，…，ａ［Ｎ］）を生成する。なお、ａ［ｔ］＝（ａ＿ｘ［ｔ］，ａ＿ｙ［ｔ］）は指動作パターンａのサンプル時刻ｔにおける指位置の座標である。
【００７７】
なお、指動作パターン生成部２４は、後述の指動作パターン照合部２５による照合精度を向上させるために、以下の如く、指動作パターンａの座標を変換してもよい。今、指動作パターンａの重心を＜ａ＞＝（＜ａ＿ｘ＞，＜ａ＿ｙ＞）とする。指動作パターン生成部２４は、重心＜ａ＞の分だけ、指動作パターンａ全体を平行移動し、新たな指動作パターンａ’を得る。即ち、ａ’［ｔ］＝ａ［ｔ］−＜ａ＞，ｔ＝１，２，…，Ｎとする。つまり、指動作パターン生成部２４は、指動作パターンａを重心が０となるように座標変換し新たな指動作パターンａ’を得る。
【００７８】
指動作パターン照合部２５は、指動作パターン生成部２４にて生成された指動作パターンと記憶部９０に記憶されている指動作パターンと照合する。つまり、指動作パターン照合部２５は、ユーザによる指動作のパターンと、予め記憶している複数の指動作パターンとを照合する。
【００７９】
例えば、指動作パターン照合部２５は、指動作パターン生成部２４にて生成された指動作パターン、及び、記憶部９０に記憶されている指動作パターンの両指動作パターン間で、指動作中の各サンプル時刻における位置座標を２次元ベクトルとみなし、なす誤差角の総和に基づいて両指動作パターン間の一致を判定し、両指動作パターンを照合する。
【００８０】
指動作パターン生成部２４にて生成された指動作パターンをａ、記憶部９０に記憶されている指動作パターンをｂ１，ｂ２，ｂ３，…，ｂＰとする。記憶部９０に記憶されている指動作パターンｂｊは、例えば、ｂ１は指で○印をなぞった時の指動作パターン、ｂ２は☆印というように、一筆書きができる指動作パターンであることが望ましい。
また、指動作パターンｂｊのサンプル時刻ｔにおける指位置の座標をｂｊ［ｔ］＝（ｂｊ＿ｘ［ｔ］，ｂｊ＿ｙ［ｔ］）とし、ｂｊ＝（ｂｊ［１］，ｂｊ［２］，ｂｊ［３］，…，ｂｊ［Ｎ］）とする。
【００８１】
上述の指動作パターンａ、指動作パターンｂの二系列データ間の一致の判定には、参考文献３（特開２００８−１２９７０４号公報）に記載の技術が適用できる。
【００８２】
参考文献３では、指動作パターンａと指動作パターンｂとの一致を判定するための指標として相違度Ｄ（ａ，ｂ）を算出する。サンプル時刻ｓにおける指動作パターンａの位置座標ａ［ｓ］、及び、サンプル時刻ｔにおける指動作パターンｂの位置座標ｂ［ｔ］を２次元ベクトルとみなし、下記式（１）によりａ［ｓ］とｂ［ｔ］から誤差角θ［ｓ，ｔ］を算出して、誤差角θ［ｓ，ｔ］の総和を指動作パターンａ、ｂ間の相違度Ｄ（ａ，ｂ）とする。
【００８３】
【数１】
0005791557.tif 000002
【００８４】
ａ［ｓ］とｂ［ｔ］の向きが同じ場合、誤差角は０に近い小さい値を示す。逆に、ａ［ｓ］とｂ［ｔ］の向きが異なる場合、誤差角は大きな値を示す。従って、相違度Ｄ（ａ，ｂ）は値が小さく０に近い程、指動作パターンａ、ｂ間の一致度合が高いことを示す。
【００８５】
また、誤差角θ［ｓ，ｔ］は、ａ［ｓ］とｂ［ｔ］の大きさに不変の測定量であるため、例えば、大きく描いた○印と小さく描いた○印における大きさの違いを無視し、同じ○印として一致を判定できる。同じ大きさで描いたつもりでも実際には大きさが異なる場合があるため、大きさに不変の測定量である誤差角を利用した一致判定は有効である。
【００８６】
一方、毎回完全に同じように描くのが困難で、描く毎に部分的に伸縮したり位置がずれたりし易い印（例えば☆印）を用いる場合、伸縮や位置ずれの程度によっては相違度の値が大きくなり、意図した印と判定されない可能性もある。このような場合には、指動作パターン間の相違度算出にＤＰマッチングを適用し、部分的な伸縮、対応位置のずれを吸収して安定化させる。
【００８７】
即ち、指動作パターン照合部２５は、指動作パターン生成部２４にて生成された指動作パターン、及び、記憶部９０に記憶されている指動作パターンの両指動作パターン間で、相違度算出にＤＰマッチングを適用し、両指動作パターンを照合してもよい。
【００８８】
指動作パターン間の相違度算出にＤＰマッチングを適用する場合、相違度Ｄ（ａ，ｂ）は下記式（２）〜下記式（６）を用いて再帰的に算出する。
【００８９】
【数２】
0005791557.tif 000003
【００９０】
図１１は、ＤＰマッチングによる相違度Ｄ（ａ，ｂ）の計算方法を説明する説明図である。なお、図１１では、ａｓ＝ａ［ｓ］，ｂｔ＝ｂ［ｔ］と表記している。表の行方向が記憶部９０に記憶されている指動作パターンｂ、列方向が新たに入力された指動作パターンａに対応し、第ｔ行ｓ列目では、サンプル時刻ｔにおける指位置の座標ｂ［ｔ］とサンプル時刻ｓにおける指位置の座標ａ［ｓ］とのなす誤差角θ［ｓ，ｔ］を上記式（１）から求め、また上記式（３）により相違度Ｄ［ｓ，ｔ］を再帰的に算出する。ｓ＝１，ｔ＝１からＮ×Ｎ個の枠内の全てについて相違度Ｄ［ｓ，ｔ］を算出し、最終的な相違度Ｄ（ａ，ｂ）が求まる。最終的に求められた相違度Ｄ（ａ，ｂ）は、値が小さいほど、指動作パターンａとｂとの一致度合が高いことを意味する。逆に、値が大きいほど、一致度合が低いことを示す。従って、照合判定用の閾値Ｔを設定し、記憶部９０に記憶されたＰ個の指動作パターンｂｊのうち、最小の相違度Ｄ（ａ，ｂｊ）を示す指動作パターンが閾値Ｔより小さい相違度Ｄ（ａ，ｂｊ）を示していれば、新たに入力された指動作パターンａは指動作パターンｂｊに一致していると判定する。
【００９１】
連絡手段決定部２６は、指動作パターン照合部２５による照合の結果、パターンが一致した指動作パターンを記憶部９０から選択し、選択した指動作パターンに関連付けられている連絡手段識別情報によって識別される連絡手段を決定する。例えば、指動作認識部１２が図７（ａ）の指動作Ｙ１を認識した場合には、指動作パターン生成部２４が生成した指動作パターン「四角形を描く指動作」と図６（ｂ）の指動作パターン「四角形を描く指動作」の特徴が一致する旨の照合結果となるため、連絡手段決定部２６は、図６（ｂ）の指動作パターン「四角形を描く指動作」を選択し、選択した指動作パターン「四角形を描く指動作」に対応付けられている連絡手段識別情報「Ｒ０１」によって識別される連絡手段を決定する。つまり、連絡手段決定部２６は、ユーザによる指動作のパターンと一致する指動作パターンに関連付けられている連絡手段識別情報によって識別される連絡手段を決定する。
【００９２】
以下、連絡操作支援装置１の処理の流れを説明する。図１２は、連絡操作支援装置１の処理の流れの一例を示すフローチャートである。なお、説明の便宜上、人間の動作をステップＳ１に示している。
【００９３】
図１１において、ユーザは、図２の如く写真アルバムの上に連絡操作支援装置１を置く（ステップＳ１）。撮影部１１は、連絡操作支援装置１の下の写真を含む領域を撮影する（ステップＳ２）。撮影画像はメモリ（図４参照）に一時記憶される。顔領域認識部１３は、撮影画像上の顔領域を認識する（ステップＳ３）。即ち、顔領域認識部１３は、メモリに記憶されている撮影画像の全域を対象として顔検出を行って顔の存在領域（例えば、矩形領域）をメモリに記憶する。
【００９４】
ユーザが、表示部４０を透した画像上において、所望の連絡手段に対応する指動作で所望の連絡相手の顔を指定した場合、指動作認識部１２は、表示部４０上の指動作を認識する（ステップＳ４）。顔領域認識部１３は、指動作認識部１２が認識した指動作による表示部４０上の指示領域内の顔領域を認識する（ステップＳ５）。例えば、顔領域認識部１３は、メモリ上に記憶されている顔の存在領域のうち指動作による指示位置に最も近い存在領域を特定し、当該指示領域内の顔領域として認識する。顔特徴データ生成部２１は、顔特徴量を抽出し、顔特徴データを生成する（ステップＳ６）。顔特徴データ照合部２２は、生成された顔特徴データと記憶部９０に記憶された複数の人物の顔特徴データとの一致を判定し、ユーザによって指示された撮影画像上の顔と予め顔特徴データを記憶している複数の人物の顔を照合する（ステップＳ７）。連絡相手決定部２３は、照合の結果、ユーザによって指示された撮影画像上の顔と一致する顔の人物を連絡相手として決定する（ステップＳ８）。
【００９５】
指動作パターン生成部２４は、指動作認識部１２が認識した表示部４０上の指動作から指の位置の時系列データを測定して指動作パターンを生成する（ステップＳ９）。生成された指動作パターンはメモリ（図４参照）に一時記憶される。指動作パターン照合部２５は、指動作パターン生成部２４にて生成された指動作パターンと記憶部９０に記憶されている指動作パターンと照合する（ステップＳ１０）。連絡手段決定部２６は、照合の結果、ユーザによる指動作のパターンと一致する指動作パターンに関連付けられている連絡手段識別情報によって識別される連絡手段を決定する（ステップＳ１１）。
【００９６】
表示制御部２７は、報知情報（例えば、指動作の軌跡、連絡相手として決定した人物の顔への印、連絡相手として決定した人物の名前、次ステップにて送信する命令の内容）を表示部４０に表示する（ステップＳ１２）。通信部３０は、ステップＳ８において決定された連絡相手との、ステップＳ１１において決定された連絡手段による連絡を実行させる命令を通信機器９に送信する。そして図１２のフローチャートは終了する。
【００９７】
なお、ステップＳ１３において、通信部３０は、上記命令に代えて、連絡相手の名前及び連絡手段識別情報を通信機器９に送信してもよい。また、表示制御部２７は、連絡相手の決定後に（ステップＳ８に続いて）、連絡相手として決定した人物の名前を表示部４０に表示してもよい。
【００９８】
なお、図１２のフローチャートでは、顔領域認識部１３は、指動作がある前にメモリに記憶されている撮影画像の全域を対象として顔検出を行い（ステップＳ３）、指動作があった後に当該指動作による指示位置に最も近い存在領域を特定し、当該指示領域内の顔領域として認識しているが（ステップＳ５）、指動作がある前は顔検出を行わずに、指動作があった後に初めて当該指動作による指示位置の近傍領域に限定して顔検出を行って、当該指示領域内の顔領域として認識してもよい。
【００９９】
また、図１２のフローチャートでは、連絡操作支援装置１は、連絡相手を決定した後に連絡手段を決定しているが、連絡手段を決定した後に連絡相手を決定してもよい。即ち、図１２において、連絡相手を決定する手順（ステップＳ６〜ステップＳ８）と、連絡手段を決定する手順（ステップＳ９〜ステップＳ１１）の順番を入れ替えてもよい。
【０１００】
以上、第１の実施形態による連絡操作支援装置１によれば、所望の連絡相手と所望の連絡手段を簡便に決定することができる。つまり、課題に記載した第１ステップと第２ステップを当時に行うことができる。例えば、知人に関する情報を得るもしくは知人と連絡を取る場面において、印画された写真を指でなぞり、指でなぞられた人物を認識してアクセスを取りたい相手を特定すると同時に、なぞり方によってアクセス手段の切り替えを実現することができる。
【０１０１】
［第２の実施形態］
以下、本発明の第２の実施形態について図面を参照して説明する。図１３は、本発明の第２の実施形態による連絡操作支援装置２の概略外観図である。
【０１０２】
連絡操作支援装置２は、図１３（ａ）に示すように、筐体の一方の面側から他方の面側が見えるように筐体の枠内に形成された透明のタッチパネル（以下、透過型タッチパネルと称する）と２つのカメラを備える。透過型タッチパネルは、例えば、抵抗膜方式、静電容量方式等を適用して実現される。透過型タッチパネルは、上方の面（図１３に見えている面）における任意の位置の指定を受け付けて二次元座標を検出する。例えば、透過型タッチパネルは、連絡操作支援装置２の使用者の指先の接触位置の二次元座標を検出する。
【０１０３】
図１３（ａ）に示す連絡操作支援装置２が備える２つのカメラは、図１（ａ）に示した連絡操作支援装置１が備える２つのカメラと同様である。つまり、外観において、図１（ａ）に示した連絡操作支援装置１は透過型タッチディスプレイを備えるのに対し、図１３（ａ）に示す連絡操作支援装置２は透過型タッチパネルを備える点が異なる。
【０１０４】
透過型タッチパネルは透明であるため、図２に示した連絡操作支援装置１と同様、連絡操作支援装置２を写真の上に置くと、連絡操作支援装置２の使用者は、透過型タッチパネル越しに写真を見ることができる。
【０１０５】
図１３（ｂ）は、連絡操作支援装置２の他の構成例である。図１３（ｂ）に示す連絡操作支援装置２は、図１（ｂ）に示した連絡操作支援装置１が透過型タッチディスプレイを備えるのに対し、透過型タッチパネルを備える点が異なる。
【０１０６】
図１３（ｃ）は、連絡操作支援装置２の他の構成例である。図１３（ｃ）に示す連絡操作支援装置２は、図１３（ｂ）に示した連絡操作支援装置２に、更に、一端が筐体枠に固定された支持部の他端に、透過型タッチパネルに映像を投影する１つのプロジェクターを備えたものである。なお、プロジェクター用の支持部は、カメラ用の支持部と同様、連絡操作支援装置２の筐体枠から着脱可能であってもよいし、屈伸可能であってもよいし、折り畳み可能であってもよい。また、カメラとプロジェクターとで支持部は共用してもよい。即ち、１つの支持部にカメラとプロジェクターを取り付けてもよい。
なお、特に断りがない場合には、連絡操作支援装置２は、図１３（ａ）（ｂ）に示すようにプロジェクターを備えないものとする。
【０１０７】
図１４は、連絡操作支援装置２等の概略構成図である。連絡操作支援装置２は、図１４に示すように、透過型タッチパネル（上述）、カメラ（上述）、機器全体を制御するＣＰＵ、メモリ、ストレージ、通信インタフェースを備え、夫々がシステムバスによって接続されている。連絡操作支援装置２は、通信インタフェースによって、図１４に示した通信機器９等と通信する。つまり、連絡操作支援装置２の構成は、図４に示した連絡操作支援装置１が透過型タッチディスプレイを備えるのに対し、透過型タッチパネルを備える点が異なる。
但し、図１３（ｃ）に示すようにプロジェクターを備える場合には、連絡操作支援装置２は、更に出力系としてプロジェクターを備える。
【０１０８】
図１５は、連絡操作支援装置２の機能構成を説明する説明図である。連絡操作支援装置２は、図１５に示すように、機能面から見ると、認識部１１０、決定部１２０、通信部１３０、記憶部１９０を有する。認識部１１０は、撮影部１１１、指動作認識部１１２、顔領域認識部１１３を有する。決定部１２０は、顔特徴データ生成部１２１、顔特徴データ照合部１２２、連絡相手決定部１２３、指動作パターン生成部１２４、指動作パターン照合部１２５、連絡手段決定部１２６を有する。
【０１０９】
なお、破線にて示すように、撮影部１１１は図１４に示したカメラの機能に相当し、指動作認識部１１２は図１４に示した透過型タッチパネルに相当し、顔領域認識部１１３、決定部１２０（顔特徴データ生成部１２１、顔特徴データ照合部１２２、連絡相手決定部１２３、指動作パターン生成部１２４、指動作パターン照合部１２５、連絡手段決定部１２６）は図１４に示したＣＰＵの機能に相当し、通信部１３０は図１４に示した通信インタフェースの機能に相当し、記憶部１９０は図１４に示したストレージの機能に相当する。
【０１１０】
但し、図１３（ｃ）に示すようにプロジェクターを備える場合には、連絡操作支援装置２は、プロジェクターによる投影面である透過型タッチパネルに相当する表示部（非図示）と、ＣＰＵの機能に相当しプロジェクターを制御する表示制御部（非図示）とを更に備える。
【０１１１】
なお、連絡操作支援装置２が備える認識部１１０（撮影部１１１、指動作認識部１１２、顔領域認識部１１３）の機能は、連絡操作支援装置１が備える認識部１０（撮影部１１、指動作認識部１２、顔領域認識部１３）と同様であるため、説明は省略する。連絡操作支援装置２が備える決定部１２０（顔特徴データ生成部１２１、顔特徴データ照合部１２２、連絡相手決定部１２３、指動作パターン生成部１２４、指動作パターン照合部１２５、連絡手段決定部１２６）の機能は、連絡操作支援装置１が備える決定部２０（顔特徴データ生成部２１、顔特徴データ照合部２２、連絡相手決定部２３、指動作パターン生成部２４、指動作パターン照合部２５、連絡手段決定部２６）と同様であるため、説明は省略する。通信部１３０及び記憶部１９０についても同様である。
【０１１２】
以上、第２の実施形態による連絡操作支援装置２によれば、第１の実施形態による連絡操作支援装置１と同様、所望の連絡相手と所望の連絡手段を簡便に決定することができる。また、図１３（ｃ）に示すようにプロジェクターを備える場合には、第１の実施形態による連絡操作支援装置１と同様、報知情報によって、意図した指動作が入力されたか否か、意図した結果が装置から得られた否かなどをユーザに視覚的に確認させることができる。
【０１１３】
［第３の実施形態］
以下、本発明の第３の実施形態について図面を参照して説明する。図１６は、連絡操作支援システム３の使用方法の一例を説明する説明図である。図１７は、連絡操作支援システム３の機能構成を説明する説明図である。
【０１１４】
連絡操作支援システム３は、図１６に示すようにカメラ３−１とコンピュータ３−２から構成される。カメラ３−１の設置場所は特に限定しない。例えば、屋内であってもよいし、屋外であってもよい。また、図１６においてカメラは１台であるが、連絡操作支援システム３は、２台以上のカメラから構成されていてもよい。
【０１１５】
連絡操作支援システム３は、機能面から見ると、図１７に示すように、認識部２１０、決定部２２０、通信部２３０、記憶部２９０を有する。認識部２１０は、撮影部２１１、指動作認識部２１２、顔領域認識部２１３を有する。決定部２２０は、顔特徴データ生成部２２１、顔特徴データ照合部２２２、連絡相手決定部２２３、指動作パターン生成部２２４、指動作パターン照合部２２５、連絡手段決定部２２６を有する。
【０１１６】
また、破線にて示すように、撮影部２１１は図１６に示したカメラ３−１の機能に相当し、指動作認識部２１２、顔領域認識部２１３、顔特徴データ生成部２２１、顔特徴データ照合部２２２、連絡相手決定部２２３、指動作パターン生成部２２４、指動作パターン照合部２２５、連絡手段決定部２２６、通信部２３０、記憶部２９０は図１６に示したコンピュータ３−２の機能に相当する。
【０１１７】
撮影部２１１は、周囲を撮影する。例えば、撮影部２１１は、図１６に示すように写真アルバムの上にユーザによる指操作を撮影する。撮影画像は、無線（又は有線）によってコンピュータに送信される。
【０１１８】
指動作認識部２１２は、撮影部２１１が撮影した撮影画像からユーザによる画像上の指動作を認識する。顔領域認識部２１３は、撮影部２１１が撮影した撮影画像内の顔領域であって、指動作認識部２１２が認識した指動作によって指示された顔領域を認識する。
即ち、認識部２１０（撮影部２１１、指動作認識部２１２、顔領域認識部２１３）は、ユーザによる画像上の指動作と、当該指動作によって指示された顔領域とを認識する。
【０１１９】
記憶部２９０は、連絡操作支援装置１の記憶部９０と同様、少なくとも、人物を認識する顔特徴データを記憶するとともに、画像をなぞる指の動作のパターンを示した指動作パターンと連絡手段を識別する連絡手段識別情報とを関連付けて記憶する。例えば、記憶部２９０は、図６に示すような情報を記憶する。
【０１２０】
決定部２２０（顔特徴データ生成部２２１、顔特徴データ照合部２２２、連絡相手決定部２２３）は、認識部２１０が認識した画像上の顔領域内の顔の顔特徴データを記憶部から選択し、選択した顔特徴データによって識別される人物を連絡相手として決定する。
具体的には、顔特徴データ生成部２２１は、連絡操作支援装置１が備える顔特徴データ生成部２１と同様、顔領域認識部２１３が認識した顔領域内の顔の特徴量を抽出して顔特徴データを生成する。顔特徴データ照合部２２２は、連絡操作支援装置１が備える顔特徴データ照合部２２と同様、顔特徴データ生成部２１１が生成した顔特徴データと記憶部２９０に記憶されている顔特徴データとを照合する。連絡相手決定部２２３は、連絡操作支援装置１が備える連絡相手決定部２３と同様、顔特徴データ照合部２２２による照合の結果、特徴が一致した顔特徴データを記憶部２９０から選択し、選択した顔特徴データによって識別される人物を連絡相手として決定する。
【０１２１】
また、決定部２２０（指動作パターン生成部２２４、指動作パターン照合部２２５、連絡手段決定部２２６）は、認識部２１０が認識した指動作から得られる指動作パターンに関連付けられている連絡手段識別情報を記憶部２９０から選択し、選択した連絡手段識別情報によって識別される連絡手段を決定する。
具体的には、指動作パターン生成部２２４は、連絡操作支援装置１が備える指動作パターン生成部２４と同様、指動作認識部２１２が認識した画像上の指動作から指の位置の時系列データを測定して指動作パターンを生成する。指動作パターン照合部２２５は、連絡操作支援装置１が備える指動作パターン照合部２５と同様、指動作パターン生成部２２４にて生成された指動作パターンと記憶部２９０に記憶されている指動作パターンと照合する。連絡手段決定部２２６は、連絡操作支援装置１が備える連絡手段決定部２６と同様、指動作パターン照合部２２５による照合の結果、パターンが一致した指動作パターンを記憶部２９０から選択し、選択した指動作パターンに関連付けられている連絡手段識別情報によって識別される連絡手段を決定する。
【０１２２】
通信部２３０は、連絡操作支援装置１が備える通信部３０と同様、決定部２２０が決定した連絡相手の名前及び前記決定部が選択した連絡手段識別情報を外部の通信機器９に送信し、又は、決定部２２０が決定した連絡相手との決定部２２０が決定した連絡手段による連絡を実行させる命令を外部の通信機器９に送信する
【０１２３】
以上、第３の実施形態による連絡操作支援システム３によれば、第１の実施形態による連絡操作支援装置１と同様、所望の連絡相手と所望の連絡手段を簡便に決定することができる。
【０１２４】
なお、上記説明において、第３の実施形態の連絡操作支援システム３は、カメラ３−１とコンピュータ２２０の２機器から構成されると説明したが、１又は３以上の機器から構成してもよい。
【０１２５】
なお、上記説明において、第１の実施形態の連絡操作支援装置１では、決定部２０が連絡相手と連絡手段を決定し、決定した連絡相手と連絡手段を通信部３０が、電話、メール等の機能を有する通信機器９に送信すると説明したが、連絡操作支援装置１自体が通信機器９と同様、電話、メール等の機能を有していてもよい。即ち、連絡操作支援装置１は、自身が決定した連絡相手に、自らが決定した連絡手段によって、通信を行ってもよい。換言すれば、連絡操作支援装置１は、他の装置のために連絡相手と連絡手段とを決定するのではなく、自身のために連絡相手と連絡手段とを決定してもよい。第２の実施形態の連絡操作支援装置２、及び、第３の実施形態の連絡操作支援システムにおけるコンピュータ３−２に関しても同様である。
【０１２６】
なお、上述の如く、連絡操作支援装置１（連絡操作支援装置２、コンピュータ３−２も同様）が電話、メール等の機能を有する場合には、自身が決定した連絡相手及び連絡手段を他の機器である通信機器９に送信しなくてもよい。例えば、電話、メール等の機能を有する連絡操作支援装置１（連絡操作支援装置２、コンピュータ３−２も同様）は、連絡相手及び連絡手段を所定の通信機器９に送信するか、連絡相手及び連絡手段を自身が利用するかをユーザの設定に応じて切り替わるようにしてもよい。
【０１２７】
なお、連絡操作支援装置１は、電話、メール等の機能を有する場合には、図１（ａ）の外観に代えて、図１（ｃ）のような外観であってもよい。即ち、図１（ｃ）の連絡操作支援装置１は、図１（ａ）の連絡操作支援装置１の変形であるが、枠内の一部（図１（ｃ）において右側）に透過型タッチディスプレイを有し、枠内の一部（図１（ｃ）において左側）が通常のタッチディスプレイを有している。なお、図１３の連絡操作支援装置２についても同様である。
【０１２８】
なお、本発明の実施形態による連絡操作支援装置１、２、及び、連絡操作支援システム３の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、連絡操作支援装置１、２、及び、連絡操作支援システム３の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１２９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１３０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１３１】
１、２、３…連絡操作支援装置
９…通信機器
１０、１１０、２１０…認識部
１１、１１１、２１１…撮影部
１２、１１２、２１２…指動作認識部
１３、１１３、２１３…顔領域認識部
２０、１２０、２２０…決定部
２１、１２１、２２１…顔特徴データ生成部
２２、１２２、２２２…顔特徴データ照合部
２３、１２３、２２３…連絡相手決定部
２４、１２４、２２４…動作パターン生成部
２５、１２５、２２５…指動作パターン照合部
２６、１２６、２２６…連絡手段決定部
２７…表示制御部
３０、１３０、２３０…通信部
４０…表示部  
【図１】
0005791557.tif 000004
【図２】
0005791557.tif 000005
【図３】
0005791557.tif 000006
【図４】
0005791557.tif 000007
【図５】
0005791557.tif 000008
【図６】
0005791557.tif 000009
【図７】
0005791557.tif 000010
【図８】
0005791557.tif 000011
【図９】
0005791557.tif 000012
【図１０】
0005791557.tif 000013
【図１１】
0005791557.tif 000014
【図１２】
0005791557.tif 000015
【図１３】
0005791557.tif 000016
【図１４】
0005791557.tif 000017
【図１５】
0005791557.tif 000018
【図１６】
0005791557.tif 000019
【図１７】
0005791557.tif 000020
【図１８】
0005791557.tif 000021