(57)【要約】【課題】利用者は、離れた場所にいる同伴者の様子を煩雑な操作を行わずに確認することができる。【解決手段】行動物識別部は入力された画像から行動物を識別し、状態判定部は前記行動物識別部が識別した行動物の状態を判定し、送信制御部は前記画像を送信する条件を前記状態判定部が判定した状態に応じて制御する。これにより、端末装置を利用する利用する利用者は、画像送出装置から受信した画像を視認して、離れた場所にいる行動物である同伴者の様子を煩雑な操作を行わずに確認することができる。【選択図】図４
2014230095.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像から行動物を識別する行動物識別部と、
前記行動物識別部が識別した行動物の状態を判定する状態判定部と、
前記画像を送信する条件を前記状態判定部が判定した状態に応じて制御する送信制御部と、
を備える画像送出装置。
【請求項２】
前記状態判定部は、前記行動物識別部が識別した行動物の表情を判定することを特徴とする請求項１に記載の画像送出装置。
【請求項３】
前記入力された画像を記憶する記憶部を備え、
前記送信制御部は、前記状態判定部が判定した行動物の表情を示す指標が、現在の指標の移動平均に最も近似する画像を、前記記憶部に記憶された画像から選択することを特徴とする請求項２に記載の画像送出装置。
【請求項４】
前記送信制御部は、前記状態判定部が判定した行動物の状態に応じて前記画像を送信する送信時間間隔を変更することを特徴とする請求項１から３のいずれかに記載の画像送出装置。
【請求項５】
前記入力された画像と送信時刻の履歴を行動物毎に記憶する記憶部を備え、
前記送信制御部は、所定の行動物の画像を送信することを要求することを示す送信要求を所定の端末装置から受信したことに応じて、前記所定の端末装置に最後に送信した時期よりも後に入力された画像を前記記憶部から読み出し、読み出した画像と現在入力された画像を前記所定の端末装置に送信することを特徴とする請求項１から４のいずれかに記載の画像送出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像送出装置に関する。
【背景技術】
【０００２】
小売店舗や遊戯施設等の大規模な施設には、年齢・性別を問わず不特定多数の来訪者が訪れるものがある。来訪者には、小児、高齢者、飼育動物等の同伴者を同伴している保護者もいる。かかる保護者は、施設内をスムーズに移動することができず、施設で提供されている小売、遊技、その他のサービスを受けられないことや、受けられたとしても不十分なことがある。また、保護者が同伴者の行動を常に監督することは困難であり、監督することに疲弊することがある。他方、保護者が、買い物、遊技等の行動に集中していると、同伴者を見失い、その行方を把握できなくなる事態が生じうる。
【０００３】
特許文献１に記載の位置確認システムでは、子連れ客がデパートの売り場の出入り口を通過した後、貸出窓口において無線送信機が貸与される。親は子供に無線送信機を携帯させて売り場内でのショッピングを行う。また、無線送信機のＩＤ番号や利用者情報が登録される。監視は、無線送信機と売り場内の各地に設置された複数の無線受信機との間の近距離の無線通信による位置特定により行われる。親が子供を見つけられなくなったときは、親は案内端末の設置場所に行き、案内端末を操作することにより無線送信機の位置（つまり、子供の位置）を、案内端末のモニタ画面上の表示により特定することができる。また、無線送信機には撮像部が取り付けられて、その撮像に係る映像がモニタに表示される。
【０００４】
また、特許文献２に記載の画像情報提供装置では、託児所に乳幼児を預け入れた保護者は、乳幼児の状況を知りたい場合に、通信機能と画像表示機能を有する画像表示端末を操作し、情報提供サーバを呼び出して、預け入れている乳幼児の現在情報提供要求を送信する。認証サーバによる認証手続を経て、情報提供サーバは撮像カメラを遠隔操作して乳幼児の画像データを取り込み、この画像データを保護者の画像表示端末へ送信する。このことにより、保護者は、乳幼児の様子を直接的な視覚情報で視認することができる。複数の乳幼児から特定の乳幼児の画像を取り込む方法として、身体的特徴に基づく画像認識方法が用いられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２３５９５７号公報
【特許文献２】特開２００２−１９７５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の位置確認システムでは、利用者に提供される情報は位置情報に限られ、他の情報、例えば、子供の様子を示す情報等については提供されない。また、利用者は位置情報を確認する都度、所定の案内端末でＩＤ番号と利用者情報を入力することが要求される。利用者は、その操作が煩雑と感じられる反面、いつでも子供の様子を確認できるという安心感が得られないことがある。
また、特許文献２に記載の画像情報提供装置は、外部ネットワークを用いたシステムに組み込まれているため、利用者はサービスの利用開始時に認証手続を行うといった煩雑な操作が要求される点で負担となっていた。
【０００７】
本発明は上記の点に鑑みてなされたものであり、同伴者を一時的に預ける等、離れた場所にいる同伴者の様子を、利用者が煩雑な操作を行わずに確認することができる画像送出装置を提供する。
【課題を解決するための手段】
【０００８】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は入力された画像から行動物を識別する行動物識別部と、前記行動物識別部が識別した行動物の状態を判定する状態判定部と、前記画像を送信する条件を前記状態判定部が判定した状態に応じて制御する送信制御部と、を備える画像送出装置である。
【発明の効果】
【０００９】
本発明によれば、利用者は、離れた場所にいる同伴者の様子を煩雑な操作を行わずに確認することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る通信システムを示す概念図である。
【図２】本実施形態に係るディスプレイ装置を示す正面図である。
【図３】本実施形態に係る画像送出装置及びディスプレイ装置の配置例を示す平面図である。
【図４】本実施形態に係る画像送出装置の構成を示す概略ブロック図である。
【図５】ペアリングＤＢに記憶される登録データの例を示す図である。
【図６】本実施形態に係るデータ登録処理を示すフローチャートである。
【図７】笑顔度の時間変化の例を示す図である。
【図８】本実施形態に係る画像送出処理を示すフローチャートである。
【図９】画像送出要求に応じた画像送出処理の例を示すフローチャートである。
【図１０】通話命令に応じた通信開始処理を示すフローチャートである。
【図１１】本発明の第２の実施形態に係る画像送出装置の構成を示す概略ブロック図である。
【図１２】ペアリングＤＢに記憶される登録データの他の例を示す図である。
【図１３】検出履歴データの登録処理の例を示すフローチャートである。
【図１４】画像送出要求に応じた画像送出処理の例を示すフローチャートである。
【図１５】画像合成部が合成した画像の例を示す概念図である。
【図１６】本発明の第３の実施形態に係る通信システムの構成を示す概略ブロック図である。
【図１７】本実施形態に係る端末装置が行う画像表示処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る通信システム１を示す概念図である。
通信システム１は、画像送出装置１１、撮像部１１１、ディスプレイ装置２１、端末装置３１及びネットワーク４１を含んで構成される。
【００１２】
画像送出装置１１は、撮像部１１１が撮像した画像を示す画像データを、ネットワーク４１を通じて端末装置３１に送信する。画像送出装置１１は、端末装置３１との間で接続を確立し音声データや画像データ等の通信データを送信又は受信する。また、画像送出装置１１は、端末装置３１から受信した通信データをディスプレイ装置２１に出力し、ディスプレイ装置２１から入力された通信データを端末装置３１に送信する。これにより、ディスプレイ装置２１と端末装置３１との間での通信を実現する。画像送出装置１１の構成については、図２を用いて後述する。
【００１３】
ディスプレイ装置２１は、離れた場所にある相手先装置（例えば、端末装置３１）との間で通信データを送信又は受信する。これにより、相手先装置を用いる利用者とディスプレイ装置２１を用いる同伴者との間で意思疎通を図る。ディスプレイ装置２１は、例えば、画像通信装置である。画像通信装置は、テレビ電話装置、テレビ電話システムとも呼ばれる。
ディスプレイ装置２１は、制御部２１１、表示部２１２、撮像部２１３、収音部２１４及び再生部２１５を含んで構成される。
【００１４】
制御部２１１は、ディスプレイ装置２１が備える各構成、例えば、表示部２１２等の動作を制御する。制御部２１１は、画像送出装置１１との間での通信データの入力又は出力を制御する。制御部２１１は、画像送出装置１１から受信した通信データのうち画像データを表示部２１２に出力し、その通信データのうち音声データを再生部２１５に出力する。制御部２１１は、撮像部２１３から入力された画像データや収音部２１４から入力された音声データを画像送出装置１１に送信する。
【００１５】
表示部２１２は、制御部２１１から入力された画像データが示す画像を表示する。表示部２１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。なお、表示部２１２は、接触物（例えば、同伴者の指）が接触した位置を検出するタッチセンサと一体化されたタッチパネルであってもよい。
撮像部２１３は、自装置の周辺を示す画像を撮像し、撮像した画像を示す画像データを制御部２１１に出力する。撮像部２１３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラである。
収音部２１４は、自部に到来した音声を収音し、収音した音声を示す音声データを制御部２１１に出力する。収音部２１４は、例えば、マイクロホンである。
再生部２１５は、制御部２１１から入力された音声データが示す音声を再生する。再生部２１５は、例えば、スピーカである。
【００１６】
端末装置３１は、画像送出装置１１から受信した画像データに係る画像を表示する、持ち運び可能な端末装置である。また、端末装置３１は、ディスプレイ装置２１との間で通信データを送信又は受信する。端末装置３１は、例えば、多機能携帯電話機（いわゆるスマートフォンを含む）、タブレット端末装置である。
【００１７】
端末装置３１は、通信部３１１、制御部３１２、表示部３１３、撮像部３１４、収音部３１５及び再生部３１６を含んで構成される。
通信部３１１は、ネットワーク４１を通じて相手先装置（例えば、画像送出装置１１）との接続を確立する。通信部３１１、制御部３１２から入力された通信データを相手先装置に送信し、相手先装置から受信した通信データを制御部３１２に出力する。
制御部３１２は、端末装置３１が備える各構成、例えば、表示部３１３等の動作を制御する。制御部３１２は、通信部３１１から入力された通信データのうち画像データを表示部３１３に出力し、その通信データのうち音声データを再生部３１６に出力する。制御部３１２は、撮像部３１４から入力された画像データや収音部３１５から入力された音声データを通信部３１１に出力する。
【００１８】
表示部３１３は、制御部３１２から入力された画像データが示す画像を表示する。表示部３１３は、例えば、液晶ディスプレイ、有機ＥＬディスプレイである。なお、表示部３１３は、接触物が接触した位置を検出するタッチセンサと一体化されたタッチパネルであってもよい。
撮像部３１４は、自装置の周辺を示す画像を撮像し、撮像した画像を示す画像データを制御部３１２に出力する。撮像部３１４は、例えば、ＣＣＤカメラである。
収音部３１５は、自部に到来した音声を収音し、収音した音声を示す音声データを制御部３１２に出力する。収音部３１５は、例えば、マイクロホンである。
再生部３１６は、制御部３１２から入力された音声データに基づく音声を再生する。再生部３１６は、例えば、スピーカである。
【００１９】
ネットワーク４１は、画像送出装置１１と端末装置３１との間で、無線で通信データを伝送するネットワークである。ネットワーク４１は、例えば、ＩＥＥＥ（Ｔｈｅ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ）８０２．１１、ＩＥＥＥ８０２．１５．１等で規定された短距離無線通信網である。また、ネットワーク４１は、公衆無線通信網であってもよいし、その一部又は全部が有線のネットワークであってもよい。
【００２０】
（ディスプレイ装置２１の外観）  
次に、ディスプレイ装置２１の外観について説明する。
図２は、本実施形態に係るディスプレイ装置２１を示す正面図である。
図２において左右方向は水平方向を示し、上下方向は垂直方向を示す。ディスプレイ装置２１は、その正面の大部分が横長の長方形の形状を有する表示部２１２を備える。表示部２１２の左右両側面には、それぞれ縦長の再生部２１５が設置されている。表示部２１２の上方の中央部には、撮像部２１３とその左側に収音部２１４がそれぞれ設置されている。表示部２１２、撮像部２１３、収音部２１４及び再生部２１５の配置は、これには限られず、それぞれの機能を発揮することができれば、いかなる配置であってもよい。例えば、撮像部２１３は、表示部２１２よりも下方に設置されてもよいし、ディスプレイ装置２１の筐体（べセル）に組み込まれ、表示部２１２と一体化されていてもよい。また、表示部２１２は、画像を表示する画像表示領域において接触物（例えば、同伴者の指）が接触した位置を検出するタッチセンサと一体化したタッチパネルであってもよい。
【００２１】
（画像送出装置１１、ディスプレイ装置２１の配置例）
次に、画像送出装置１１及びディスプレイ装置２１の配置例について説明する。
図３は、本実施形態に係る画像送出装置１１及びディスプレイ装置２１の配置例を示す平面図である。
図３に示す例では、画像送出装置１１、ディスプレイ装置２１は、それぞれ撮像室Ｐの出入口近傍の受付カウンタに配置されている。撮像室Ｐは、被写体となる同伴者が一時的に預けられる区画（例えば、託児室）である。本実施形態では、画像送出装置１１が同伴者を撮像した画像を送出し、ディスプレイ装置２１が再生する音声や画像を同伴者が視認することができれば、この例に限らずいかなる配置であってもよい。
【００２２】
撮像室Ｐの壁面には同伴者を撮像する１個又は複数個（この例では７個）の撮像部１１１−１〜１１１−７が、それぞれの撮像領域が撮像室Ｐの中心部を向けられるように分散して配置されている。撮像部１１１−１〜１１１−７は、例えば、ＣＣＤカメラである。撮像部１１１−１〜１１１−７は、広角レンズ（例えば、視野角が６０°又は６０°よりも大きい）を備えていてもよい。これにより、撮像室Ｐの大部分の領域が撮像領域に属し、撮像領域に含まれない死角が最小限に抑えられる。
【００２３】
図３に示す例では、撮像室Ｐは、同伴者として幼児が預けられる託児室であり、さらに複数の小区画に区分されている。図３に示す例では、それぞれの小区画が、配置されている主たる遊具（例えば、ジャングルジム、滑り台、クッション）の位置毎に区分されている。小区画は、その遊具の名称を冠した名称（例えば、ジャングルジムエリア、滑り台エリア、クッションエリア）を有する。小区画間では、同伴者の行き来は自由である。撮像室Ｐの出入口の正面には受付カウンタが配置されている。受付カウンタでは、利用開始時に利用者に端末装置３１が貸し出される。貸し出された端末装置３１には画像送出装置１１から受信した画像データが示す画像、つまり撮像室Ｐに滞在している同伴者の画像を表示する。
【００２４】
（画像送出装置１１の構成）
次に、本実施形態に係る画像送出装置１１の構成について説明する。
図４は、本実施形態に係る画像送出装置１１の構成を示す概略ブロック図である。
画像送出装置１１は、人物識別部１１２、状態判定部１１３、送信制御部１１４、ペアリングＤＢ（Ｄａｔａｂａｓｅ）１１５、タイマ１１６、メモリ１１７及び外部インタフェース１１８を含んで構成される。画像送出装置１１において、人物識別部１１２等の各構成部は、バス１１９で接続されている。
【００２５】
人物識別部１１２には、Ｎ個（Ｎは、１又は１よりも大きい整数）の撮像部１１１−１〜１１１−Ｎから、撮影した画像を示す画像データがそれぞれ入力される。人物識別部１１２は、入力された画像データが示す画像から、顔面を示す領域の画像である顔画像を予め定めた検出処理を用いてそれぞれ検出（顔検出処理）する。
人物識別部１１２は、ペアリングＤＢ１１５に記憶された同伴者の顔画像データを読み出し、読み出した顔画像データが示す顔画像と検出した顔画像とを比較（比較処理）し、それぞれの顔画像に係る人物が同一人物であるかを判定する。これにより、人物識別部１１２は、検出した顔画像に係る同伴者を識別する。
【００２６】
人物識別部１１２は、顔検出処理、比較処理を行う際、例えば、特開２０１２−１９８７８１号公報に記載の情報処理方法を用いてもよい。この方法を用いる場合には、人物識別部１１２は、顔検出処理において、いずれかの人物の顔を特定対象物として適用する。また、人物識別部１１２は、比較処理において、比較対象となる読み出した顔画像データが示す同伴者の顔を特定対象物として適用する。
人物識別部１１２は、検出した顔画像を示す検出顔画像データを状態判定部１１３と送信制御部１１４に出力する。
【００２７】
状態判定部１１３は、人物識別部１１２から入力された検出顔画像データに基づいて、その検出顔画像データが示す人物の状態を判定する。状態判定部１１３は、人物の状態を示す指標として、例えば、笑顔の度合いを示す笑顔度を算出する。状態判定部１１３が人物の状態を判定する処理については後述する。状態判定部１１３は、判定した状態を示す状態データを送信制御部１１４に出力する。また、状態判定部１１３は、判定した状態を示す状態データを、その検出顔画像データと対応付けてペアリングＤＢ１１５に記憶してもよい。状態判定部１１３が、状態データを記憶するタイミングは、状態を判定する都度でもよいし、その状態の判定に用いた検出顔画像データに係る伝送画像データを送信制御部１１４が送信するときでもよい。これにより、人物の状態の時系列が取得される。
【００２８】
送信制御部１１４は、画像送出装置１１の他の構成部から入力された送信信号を相手先装置に送信する処理を制御する。送信制御部１１４は、例えば、人物識別部１１２から入力された検出顔画像データを送信する条件を、状態判定部１１３から入力された状態データに基づいて制御する。送信条件の制御例については後述する。送信制御部１１４は、人物識別部１１２から入力された人物データに対応する端末識別データとして端末ＩＤをペアリングＤＢ１１５から読み出す。送信制御部１１４は、入力された検出顔画像データを、読み出した端末ＩＤが示す端末装置（例えば、端末装置３１）に制御した送信条件で送信する。  
端末ＩＤは、電話番号、ＩＰアドレス等、端末装置を通信における相手先装置として識別する情報である。送信制御部１１４は、タイマ１１６から入力された時刻データを、送信時刻を示す時刻データとして読み出した端末ＩＤと対応付けてペアリングＤＢ１１５に記憶してもよい。これにより、送信時刻の履歴が取得される。なお、送信制御部１１４は、検出顔画像データの代わりに、撮像部１１１−１〜１１１−Ｎから入力された画像データのうち、その検出顔画像データが示す顔画像を検出した画像データを、制御した送信条件で送信してもよい。以下の説明では、送信制御部１１４が送信する検出顔画像データ、画像データ等を伝送画像データと総称することがある。
【００２９】
ペアリングＤＢ１１５には、同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤ、時刻データ及び状態データを対応付けて記憶しておく。ペアリングＤＢ１１５に記憶されるデータの例については後述する。
タイマ１１６は、現在の時刻を計測し、計測した時刻を示す時刻データを送信制御部１１４に出力する。
【００３０】
メモリ１１７は、画像送出装置１１の各構成、例えば、人物識別部１１２、状態判定部１１３、送信制御部１１４で行われる処理で用いられるデータ、その処理で生成したデータを一時的に保存する。そのようなデータには、例えば、人物識別部１１２がペアリングＤＢ１１５から読み出した同伴者の顔画像データがある。メモリ１１７は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
外部インタフェース１１８は、外部機器、例えば、ディスプレイ装置２１との間で通信データや制御データの送信又は受信を行うインタフェースである。ディスプレイ装置２１との間でのデータの送信又は受信は、無線で行われてもよいし、有線で行われてもよい。
【００３１】
（登録データの例）
次に、ペアリングＤＢ１１５に記憶される登録データの例について説明する。
図５は、登録データの例を示す図である。
図５において、最左列から右側に向かって順に、登録番号、同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤ、時刻データ（時刻）、状態データ（笑顔度）を示す。以下の説明では、登録番号に対応する、同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤ、時刻データ、状態データ等の全部又は一部を登録データと総称することがある。本実施形態では、登録データにおいて同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤ、時刻データ、状態データが対応付けられていれば、登録番号が省略されてもよい。
同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤは、後述するようにサービス開始時に記憶されるようにしてもよい。サービス開始時に、これらのデータとさらに利用開始時における時刻データを対応付けて記憶してもよい。利用開始時に、登録データを対応付けてペアリングＤＢ１１５に記憶することを登録と呼ぶことがある。
【００３２】
登録番号は、それぞれ対応する登録データの記憶が開始された順に定められる番号である。ペアリングＤＢ１１５には、端末ＩＤと、さらに端末装置３１を一意に識別する情報を対応付けて記憶させておいてもよい。端末装置３１を一意に識別する情報として、例えば、ＩＭＥＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｍｏｂｉｌｅ  Ｅｑｕｉｐｍｅｎｔ  Ｉｄｅｎｔｉｔｙ、国際移動体装置識別番号）や製造番号が用いられてもよい。笑顔度は、顔面に示されている喜びの感情の度合いを定量化した値である。この例では、人物の状態を示す指標の一例として示されている。
例えば、図５の第２行目には、登録番号１について同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤとして０９０−ＸＸＸＸ−ＸＸＸＸが、対応付けられている。図５に示す例では、時刻データと状態データは、各登録番号について複数個記憶されている。そのうち、最初に取得された笑顔度は９０、その時刻は１４：３０：００である。
【００３３】
なお、サービス終了時には、利用者は端末装置３１を返却し、預けられた同伴者が利用者に引き渡される。このとき、サービス提供者は、返却した端末装置３１の端末ＩＤに対応する利用者、同伴者の顔画像データが示す利用者、同伴者の顔画像を視認することで、本人確認を行うことができる。人物識別部１１２は、ペアリングＤＢ１１５に記憶させた登録データを、このとき消去してもよいし、所定の期間（例えば、１週間）経過後に消去してもよいし、恒久的に記憶してもよい。人物識別部１１２は、サービス終了時に、登録データを直ちに消去しない場合には、ペアリングＤＢ１１５にサービスが行われていないことを示すサービスフラグを登録データに、さらに対応付けて記憶させてもよい。
【００３４】
（データ登録処理）
次に、本実施形態に係るデータ登録処理について説明する。
図６は、本実施形態に係るデータ登録処理を示すフローチャートである。
（ステップＳ１０１）端末装置３１の撮像部３１４（図１）は、利用者、同伴者それぞれの顔画像を撮像し、それぞれの画像を示す利用者、同伴者の顔画像データを生成する。なお、撮像部３１４は、利用者の顔画像と同伴者の顔画像を含む１フレームの顔画像を撮像してもよい。撮像部３１４は、生成した顔画像データを制御部３１２に出力する。端末装置３１は、登録時に利用者に貸し出され、同伴者が撮像室Ｐに預けられている間、利用者に携帯させるようにしてもよい。その後、ステップＳ１０２に進む。
（ステップＳ１０２）通信部３１１は、撮像部３１４が撮像した顔画像データを画像送出装置１１（図１）に送出する。通信部３１１は、自装置の端末ＩＤを、顔画像データを格納するパケットに含めて画像送出装置１１に送出してもよい。その後、ステップＳ１０３に進む。
【００３５】
（ステップＳ１０３）人物識別部１１２は、端末装置３１から受信した顔画像データが示す画像から顔検出処理を行う。その後、ステップＳ１０４に進む。
（ステップＳ１０４）人物識別部１１２は、利用者、同伴者それぞれの顔画像が検出できたか否かを判定する。検出できたと判定された場合には（ステップＳ１０４  ＹＥＳ）、ステップＳ１０５に進む。検出できなかったと判定された場合には（ステップＳ１０４  ＮＯ）、ステップＳ１０１に戻る。
【００３６】
（ステップＳ１０５）人物識別部１１２は、検出した顔画像を示す、利用者、同伴者それぞれの顔画像データと、顔画像データを受信した端末装置３１の端末ＩＤとを対応付けてペアリングＤＢ１１５に記憶（登録）する。その後、図６に示す処理を終了する。
なお、人物識別部１１２は、ペアリングＤＢ１１５に同伴者が撮像室Ｐに入室した時刻を示す時刻データと、検出した同伴者の顔画像について判定された状態を示す状態データとを、さらに対応付けて記憶させてもよい。また、人物識別部１１２は、端末装置３１から顔画像データを受信した時刻を示す時刻データと、検出した同伴者の顔画像について判定された状態を示す状態データとを、さらに対応付けて記憶させてもよい。
【００３７】
このように、利用者、同伴者の顔画像データと端末装置３１の端末ＩＤとが対応付けられるため、この端末ＩＤに基づいて端末装置３１を貸し出した利用者の顔画像と撮像室Ｐに入室した利用者の顔画像を確認することが可能になる。そのため、サービス提供者にとって利用開始時における本人確認が容易になる。
【００３８】
（状態判定部１１３で判定された状態の例）
次に、本実施形態に係る状態判定部１１３で判定された状態の例について説明する。
上述した例では、状態判定部１１３は、判定された状態を示す指標の一例として予め定めた表情判定処理を用いて笑顔度を算出する。一般に、人物の情動と顔に表れる表情を定量化した指標である笑顔度との間に相関がある。このことから、送信制御部１１４は笑顔度を用いることで同伴者の情動に応じて送信条件を制御することができる。
【００３９】
状態判定部１１３は、表情判定処理として、例えば、特開平３−２５２７７５に記載の表情認識装置が行う処理を用いてもよい。そこで、状態判定部１１３では、予め記憶しておいた種類の表情（例えば、笑顔）についての顔を構成する部位（例えば、頬筋、等）毎の動き量を要素とする表情ベクトルの表情ベクトルデータを予め記憶させておく。状態判定部１１３は、顔画像データが示す顔画像から顔を構成する部位毎の動き量を検出し、検出した動き量を要素とする検出ベクトルの検出ベクトルデータを取得する。状態判定部１１３は、取得した検出ベクトルデータと記憶させておいた表情ベクトルデータとの近似の度合いを示す指標（例えば、ユークリッド距離）を算出する。状態判定部１１３は、距離ｄとの間で大小関係が逆になる関係を有する指標（例えば、ａ／（ｄ＋ｄ０））、ここで、（ａ、ｄ０はそれぞれ予め定めた正の実数）を笑顔度として算出してもよい。
【００４０】
次に、笑顔度の時間変化の例を示す。
図７は、笑顔度の時間変化の例を示す図である。
図７（Ａ）、（Ｂ）において、横軸は時刻を示し、縦軸は笑顔度を示す。横軸に示す時刻は、利用開始時における時刻を０とした時刻である。縦軸に示す笑顔度は、利用開始時における笑顔度の値を基準（１００％）として正規化された笑顔度である。
図７（Ａ）に示す笑顔度は、時間の経過に応じて低下する。これにより、同伴者の機嫌が徐々に悪くことが示される。図７（Ａ）において、時刻ｔａにおいて笑顔度は７０％であるが、それよりも後の時刻ｔｂにおいて笑顔度は５０％となる。
他方、図７（Ｂ）に示す笑顔度は、時間の経過に応じて増加する。これにより、同伴者の感情が徐々に快活になることが示される。
【００４１】
なお、送信制御部１１４（図４）は、同伴者の顔画像と状態を示す指標（例えば、笑顔度）の時系列を示す画像を重畳してもよい。図７（Ｃ）は、笑顔度の時系列を示す画像が重畳された同伴者の顔画像を示す。この例では、同伴者の顔画像が表示部３１３の表示領域のほぼ全体を占め、その右下に笑顔度の時系列の画像が含まれる。重畳される笑顔度の時系列を示す画像の大きさは、同伴者の顔画像よりも小さい。
【００４２】
なお、送信制御部１１４は、同伴者の状態を示す指標に応じて同伴者の顔画像の表示態様を制御してもよい。例えば、送信制御部１１４は、その指標に応じて予め記憶しておいた画像信号を示す画像を重畳させるか否かを制御してもよい。ここで、笑顔度が予め定めた笑顔度の閾値（例えば、７０％）よりも低いとき、送信制御部１１４は、笑顔度が低くなったことを示す所定の画像を重畳し、それ以外の場合に重畳しなくてもよい。図７（Ｄ）は、所定の画像の例として「機嫌が悪くなっています」という文字列を示す文字画像が重畳された同伴者の顔画像を示す。また、笑顔度が予め定めた笑顔度の閾値（例えば、１００％）よりも高いとき、送信制御部１１４は、笑顔度が高くなったことを示す所定の画像（例えば、笑顔を示す画像）を重畳し、それ以外の場合には重畳しなくてもよい。その他、送信制御部１１４には、予め定めた複数の笑顔度の区間に応じて、区間毎にその区間を代表する笑顔度に応じた表情を示す文字列もしくは顔等を示す画像信号を記憶させておいてもよい。その場合、送信制御部１１４は、算出された笑顔度が属する区間に対応した画像信号が示す画像を同伴者の顔画像を重畳させてもよい。
【００４３】
また、送信制御部１１４は、同伴者の顔画像の表示態様として、同伴者の状態を示す指標に応じて背景を制御してもよい。例えば、送信制御部１１４は、笑顔度が予め定めた笑顔度の閾値（例えば、７０％）より低いとき同伴者の顔画像に赤色の背景画像を重畳し、それ以外の場合に重畳しなくてもよい。背景画像は、同伴者の顔画像が背景画像よりも優先して表示されるように重畳される。また、送信制御部１１４は、背景画像を重畳する場合において、笑顔度が低いほど背景が濃くなるように背景画像の濃淡を制御してもよい。また、送信制御部１１４は、背景画像を重畳する場合において、笑顔度の値に応じて背景画像の色調を制御してもよい。その場合、送信制御部１１４は、例えば、笑顔度が低いほど背景画像の色調を黄色、橙色、赤色と漸次変更してもよい。
【００４４】
送信制御部１１４は、状態を示す指標の時系列の画像を重畳した画像を示す画像データを検出顔画像データの代わりに端末装置３１に送信してもよい。これにより、利用者は画像中の同伴者の顔から得られる表情に加え、同伴者の状態を示す指標やこれに応じた表示態様から同伴者の状態をより明確に把握することができる。
【００４５】
状態判定部１１３（図４）は、利用開始時よりも予め定めた時間（例えば、５分）経過した時刻における状態を示す指標（例えば、笑顔度）を基準として用いてもよい。利用開始時においては、同伴者の情動が動揺していること（例えば、緊張）があるため、その動揺が緩和した後のほうが正しい指標を算出できることが期待されるためである。また、状態判定部１１３は、各時刻で算出した指標について、予め定めた時間の範囲で移動平均を行った指標を算出してもよい。顔に表れる表情は、心情とは別個の要因（例えば、動作、発話）で瞬間的に変化することがあるため、その変化によって指標の変動を平滑化するためである。
【００４６】
なお、状態判定部１１３は、表情の種類として笑顔の代わりに泣き顔に適用し、状態を示す指標として笑顔度に代えて悲しみ度を算出してもよい。
その他、状態判定部１１３は、撮像部１１１−１〜１１１−Ｎが撮像した画像データに基づいて、予め定めた位置検出方法を用いて検出した位置のうち、判定した同伴者に係る位置を逐次に判定してもよい。状態判定部１１３は、判定した位置に基づく移動速度を移動平均した活動度を同伴者の状態を示す指標として算出してもよい。
【００４７】
また、状態判定部１１３は、ディスプレイ装置２１の収音部２１４から予め定めた距離の範囲内に同伴者を検出した場合には、収音部２１４から入力された音声データに基づいて検出した同伴者の状態を示す指標を算出してもよい。ここで、状態判定部１１３は、その音声データが示す音声の音量を移動平均した活動度を同伴者の状態を示す指標として算出してもよい。
【００４８】
（送信条件の制御例）
次に、本実施形態に係る送信制御部１１４が行う送信条件の制御例について説明する。
ここでは、送信制御部１１４が画像データを送信する送信条件として送信時間間隔を、状態判定部１１３から入力された状態データが示す指標として笑顔度を用いる場合を例にとる。送信制御部１１４は、例えば、笑顔度が高いほど大きい送信時間間隔で画像データを送信する。より具体的には、笑顔度が７０％又は７０％よりも高い場合には、送信制御部１１４は、送信時間間隔Ａとして予め定めた送信時間間隔Ａ０（例えば、１分）を用いる。笑顔度が５０％又は５０％よりも高い場合には、送信制御部１１４は、送信時間間隔Ａを０．８Ａ０と定める。笑顔度が５０％未満である場合には、送信制御部１１４は、送信時間間隔Ａを０．６Ａ０と定める。ここで、図７（Ａ）に示す笑顔度が与えられたとき、送信制御部１１４は、時刻０からｔａまでの間、ｔａからｔｂまでの間、時刻ｔｂ以降のそれぞれについて、送信時間間隔ＡをＡ０、０．８Ａ０、０．６Ａ０と定める。なお、送信時間間隔Ａの段階数は、３段階に限られず、２段階、又は３段階よりも多い段階（例えば、４段階）であってもよい。送信制御部１１４は、例えば、笑顔度が１００％よりも高い場合には、送信時間間隔Ａとして送信時間間隔Ａ０よりも大きい値、例えば、１．２Ａ０としてもよい。
【００４９】
なお、送信制御部１１４は、自装置（画像送出装置１１）から端末装置３１までの距離に応じて送信時間間隔Ａを定めてもよい。送信制御部１１４は、例えば、端末装置３１までの距離が大きいほど小さくなるように送信時間間隔Ａを定める。そのために、端末装置３１は、自装置の位置を検出する位置検出部を備える。位置検出部は、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）装置から受信した電波を用いてもよい。また、位置検出部は、自装置とのデータの送受信を行う基地局装置の設置位置を取得してもよい。そのために、位置検出部は、基地局装置の基地局ＩＤと設置位置との対応関係を示すデータを予め記憶させておいた記憶部を備えてもよい。端末装置３１は検出した自装置の位置を示す位置データを送信制御部１１４に送信する。送信制御部１１４は、端末装置３１から受信した位置データが示す位置と、予め設定された自装置の位置に基づいて距離を算出する。これにより、利用者が同伴者よりも離れた場所にいる場合、頻繁に同伴者の画像を視認できるようにすることで、同伴者への関心を損なわず、異変に気づくことができる。そのとき、利用者は、例えば、同伴者を迎えに行く等の対処をなしうる。
【００５０】
同伴者の状態、とりわけ、顔の表情は短時間の間に大きく変動することがあり、瞬間的に著しく変動した表情（例えば、不機嫌な表情）をとる画像を示す画像データが送信されることがある。その場合、利用者は、その著しく変動した表情を示す画像を視認して、同伴者の状態がその画像が示す状態であると誤認してしまうことがある。そこで、画像送出装置１１は、送信制御部１１４が送信しようとする画像を示す画像データと、その画像に係る状態データとを送信時間間隔Ａよりも十分に短い時間間隔で逐次に記憶する記憶部（図示せず）を備えてもよい。送信制御部１１４は、状態データが示す状態の指標（例えば、笑顔度）の予め定めた期間（例えば、直近の１０回、現在までの３分間）で移動平均を行う。送信制御部１１４は、移動平均して算出された指標に最も近似した指標を示す状態データと対応付けられた画像データを記憶部から読み出し、読み出した画像データを端末装置３１に送信してもよい。これにより、利用者は、より実態に即した直近の平均的な状態を示す画像を視認することができる。
【００５１】
次に、本実施形態に係る画像送出処理について説明する。
図８は、本実施形態に係る画像送出処理を示すフローチャートである。
（ステップＳ２０１）人物識別部１１２は、ペアリングＤＢ２５に記憶された同伴者の顔画像データＲを読み出す。その後、ステップＳ２０２に進む。
（ステップＳ２０２）送信制御部１１４は、タイマ１１６から入力された時刻データに基づき前回の送信時刻ｔｎ−１からの経過時間ｔ−ｔｎ−１が送信時間間隔Ａに達したか否かを判定する。ｔは、時刻データが示す現在時刻である。達したと判定された場合（ステップＳ２０２  ＮＯ）、ステップＳ２０３に進み、達していないと判定された場合（ステップＳ２０２  ＹＥＳ）、ステップＳ２０２を繰り返す。
【００５２】
（ステップＳ２０３）人物識別部１１２には、撮像部１１１−１〜１１１−Ｎから、画像データがそれぞれ入力される。その後、ステップＳ２０４に進む。
（ステップＳ２０４）人物識別部１１２は、入力された画像データについて顔検出処理を行い、顔画像Ｆを検出できたか否かを判定する。検出できたと判定された場合（ステップＳ２０４  ＹＥＳ）、ステップＳ２０５に進み、検出できなかったと判定された場合（ステップＳ２０４  ＮＯ）、ステップＳ２０３に戻る。
【００５３】
（ステップＳ２０５）人物識別部１１２は、検出した顔画像Ｆが、顔画像データＲが示す顔画像と同一人物の顔画像であるか否かを判定する。同一人物の顔画像と判定された場合には（ステップＳ２０５  ＹＥＳ）、ステップＳ２０６に進み、同一人物の顔画像ではないと判定された場合には（ステップＳ２０５  ＮＯ）、ステップＳ２０４に戻る。
（ステップＳ２０６）状態判定部１１３は、検出した顔画像Ｆが示す人物の状態を示す指標（例えば、笑顔度Ｓ）を算出する。その後、ステップＳ２０７に進む。
【００５４】
（ステップＳ２０７）送信制御部１１４は、状態判定部１１３が算出した笑顔度Ｓが、例えば直近１０回の平均値である移動平均Ｓａｖｒｔから所定範囲内、例えば、下限Ｃよりも大きく、かつ、上限Ｄよりも小さい所定範囲内である否かを判定する。ここで、下限Ｃは、Ｓａｖｒｔ−ｋ１、上限Ｄは、Ｓａｖｒｔ＋ｋ２である。ｋ１、ｋ２は、それぞれ、移動平均Ｓａｖｒｔから笑顔度Ｓが許容される差分を示す予め定めた正の実数値である。所定範囲内であると判定された場合には（ステップＳ２０７  ＹＥＳ）、ステップＳ２０８に進み、所定範囲内にないと判定された場合には（ステップＳ２０７  ＮＯ）、ステップＳ２０３に戻る。これにより、笑顔度Ｓと移動平均Ｓａｖｒｔからの差分が著しい場合には、子供が不機嫌のときに一瞬見せる笑顔等であるから、かかる顔画像Ｆを示す検出顔画像データに係る伝送画像データの送信が回避される。
【００５５】
（ステップＳ２０８）送信制御部１１４は、顔画像データＲに対応する端末ＩＤをペアリングＤＢ１１５から読み出し、読み出した端末ＩＤで指定された端末装置（例えば、端末装置３１）に顔画像Ｆを示す検出顔画像データに係る伝送画像データを送出する。その後、ステップＳ２０９に進む。
（ステップＳ２０９）送信制御部１１４は、笑顔度Ｓに応じた送信時間間隔Ａを定める。その後、ステップＳ２１０に進む。
（ステップＳ２１０）画像送出装置１１は、図８に示す処理を繰り返すか否かを判定する。画像送出装置１１は、例えば、処理を停止することを示す所定の操作を検出した場合に、処理を停止すると判定し、それ以外の場合、処理を繰り返すと判定する。処理を繰り返すと判定した場合には（ステップＳ２１０  ＹＥＳ）、ステップＳ２０２に戻り、処理を停止すると判定した場合には（ステップＳ２１０  ＮＯ）、図８に示す処理を終了する。
なお、処理対象となる同伴者が複数人いる場合には、画像送出装置１１は、それぞれの同伴者について図８に示す処理を並行して行ってもよい。
【００５６】
（画像送出要求に応じた画像送出処理）
次に、端末装置３１からの画像送出要求に応じた画像送出処理について説明する。
図９は、画像送出要求に応じた画像送出処理の一例を示すフローチャートである。
（ステップＳ３０１）端末装置３１の制御部３１２は、利用者による所定の操作を検出し、同伴者の画像の送出を要求することを示す画像送出要求データを生成する。所定の操作とは、例えば、表示部３１３に表示された確認ボタン等の画面部品を押下する操作や、端末装置３１の表面に配置された専用の確認ボタンを押下する操作である。通信部３１１は、制御部３１２が生成した画像送出要求データを自装置の端末ＩＤとともにパケットに格納し、画像送出要求データを格納したパケットを画像送出装置１１に送信する。その後、ステップＳ３０２に進む。
【００５７】
（ステップＳ３０２）画像送出装置１１の人物識別部１１２は、端末装置３１から画像送出要求データを格納したパケットを受信し、受信したパケットから端末ＩＤを抽出する。人物識別部１１２は、抽出した端末ＩＤに対応した同伴者の顔画像データをペアリングＤＢ１１５から取得する。その後、ステップＳ３０３に進む。
（ステップＳ３０３）人物識別部１１２は、撮像部１１１−１〜１１１−Ｎから入力された画像データのそれぞれについて顔検出処理を行って検出した顔画像から、取得した同伴者の顔画像データが示す顔画像と比較し、その顔画像と同一人物の顔画像を検索する。その後、ステップＳ３０４に進む。
（ステップＳ３０４）送信制御部１１４は、検索した顔画像を示す画像データに係る伝送画像データを、端末ＩＤが示す端末装置３１に送出する。端末装置３１の表示部３１３は、画像送出装置１１から受信した画像データが示す画像を表示する。その後、図９に示す処理を終了する。
【００５８】
これにより、利用者は、画像送出要求に応じて表示された同伴者の画像を視認することによって同伴者の様子を確認することができる。また、利用者は任意のタイミングで画像送出要求を行うことができる。
なお、送信制御部１１４が送出する伝送画像データは、顔画像の部分のみを示す画像データでもよいし、顔画像の周辺も含む画像を示す画像データであってもよい。また、伝送画像データが示す画像は、静止画であってもよいし、動画であってもよい。
【００５９】
（通話命令に応じた通信開始）
次に、通話命令に応じた通信開始処理について説明する。
図１０は、通話命令に応じた通信開始処理を示すフローチャートである。
【００６０】
（ステップＳ４０１）ディスプレイ装置２１の制御部２１１は、同伴者による所定の操作を検出し、通話を要求することを示す通話命令データを生成する。これにより、通話命令が受け付けられる。その後、ステップＳ４０２に進む。
（ステップＳ４０２）制御部２１１は、撮像部２１３に画像を撮像させ、撮像部２１３から撮像した画像を示す画像データを入力する。これにより、所定の操作を行った同伴者の顔画像が撮像される。制御部２１１は、入力した画像データを画像送出装置の人物識別部１１２に出力する。その後、ステップＳ４０３に進む。
【００６１】
（ステップＳ４０３）人物識別部１１２は、制御部２１１から入力された画像データについて顔検出処理を行って顔画像を検出する。人物識別部１１２は、ペアリングＤＢ１１５に記憶された同伴者の顔画像データが示す顔画像のうち、検出した顔画像と同一人物の顔画像を示す顔画像データを検索する。これにより、顔画像を撮像した同伴者を識別する。その後、ステップＳ４０４に進む。
（ステップＳ４０４）人物識別部１１２は、ペアリングＤＢ１１５を参照して、識別した同伴者の顔画像データに対応する端末ＩＤを特定し、特定した端末ＩＤを読み出し、送信制御部１１４に出力する。その後、ステップＳ４０５に進む。
【００６２】
（ステップＳ４０５）送信制御部１１４は、人物識別部１１２から入力された端末ＩＤが示す端末装置３１との間で接続を確立し、端末装置３１とディスプレイ装置２１との間で通信を開始する。その後、図１０に示す処理を終了する。
端末装置３１とディスプレイ装置２１との間で行われる通信では、通信データとして音声データだけではなく画像データが併用されてもよい。
【００６３】
なお、ディスプレイ装置２１には、その正面に人物が接近したことを検出する人物検出部（図示せず）を備えてもよい。人物検出部は、例えば、赤外線センサである。制御部２１１は、人物が接近したことを検出した場合、通話命令データを生成してもよい。その後、ディスプレイ装置２１及び画像送出装置１１は、ステップＳ４０２−Ｓ４０５（図１０）を行う。これにより、同伴者がディスプレイ装置２１に対して操作を行わなくても、接近することで、利用者との通信を行うことができる。特に、文字を読むことや、操作することができない又は困難な同伴者にとって有用である。
【００６４】
以上説明したように、本実施形態に係る画像送出装置（例えば、画像送出装置１１）は、撮像部（例えば、撮像部１１１−１〜１１１−Ｎ）から入力された画像から行動物（例えば、同伴者）を識別する行動物識別部（例えば、人物識別部１１２）と、識別した行動物の状態を判定する状態判定部（例えば、状態判定部１１３）と、前記画像を送信する条件を前記状態判定部が判定した状態に応じて制御する送信制御部（例えば、送信制御部１１４）とを備える。
そのため、当該画像送出装置から送出された画像を表示する端末装置を所持する利用者は、利用者情報を入力しなくとも、その画像に表示された行動物である同伴者の様子を視認することができる。例えば、笑顔の度合いが高い場合には送信間隔を大きな値とし、低い場合には大きな値とすることにより、利用者は、離れた場所にいる同伴者の様子を煩雑な操作を行わずに安心して確認することができる。
【００６５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。上述の実施形態と同一の構成については、同一の符号を付して説明を援用する。
本実施形態に係る通信システム１ａ（図示せず）は、通信システム１（図１）において画像送出装置１１の代わりに画像送出装置１１ａを備える。
【００６６】
次に、画像送出装置１１ａの構成について説明する。
図１１は、本実施形態に係る画像送出装置１１ａの構成を示す概略ブロック図である。
画像送出装置１１ａは、画像送出装置１１（図４）において人物識別部１１２、送信制御部１１４、ペアリングＤＢ１１５の代わりに、人物識別部１１２ａ、送信制御部１１４ａ、ペアリングＤＢ１１５ａを備え、さらにストレージ１２１及び画像合成部１２２を備える。また、バス１１９は、さらに撮像部１１１−１〜１１１−Ｎのそれぞれと接続されている。
【００６７】
人物識別部１１２ａは、人物識別部１１２（図４）と同様な構成を備える。即ち、人物識別部１１２ａは、撮像部１１１−１〜１１１−Ｎから入力された画像データが示す画像に対して顔検出処理を行う。人物識別部１１２ａは、ペアリングＤＢ１１５ａに記憶された同伴者の顔画像データに基づいて検出した顔画像に係る人物として同伴者を判定する。但し、本実施形態では、人物識別部１１２ａは、さらに顔画像データを検出した撮像部１１１−１〜１１１−Ｎのいずれかを示す固有番号とタイマ１１６から入力された時刻データを示す検出履歴データを生成する。人物識別部１１２ａは、生成した検出履歴データを判定した同伴者の顔画像データと対応付けてペアリングＤＢ１１５ａに記憶する。顔画像の検出に要する時間が無視できるほど小さければ、検出履歴データが示す時刻は、撮像時刻にほぼ等しくなる。
なお、人物識別部１１２ａが検出履歴データを記憶するタイミングは、同伴者の顔画像を検出した画像データを取得した撮像部が変化した時点であってもよい。その場合、検出履歴データは、その時刻から次の検出履歴データが示す時刻までの時間帯において、画像データを取得した撮像部を示す。
【００６８】
送信制御部１１４ａは、送信制御部１１４（図４）と同様な構成を備える。即ち、送信制御部１１４ａは、伝送画像データを送信する条件を、状態判定部１１３から入力された状態データに基づいて制御する。伝送画像データには、検出顔画像データや、撮像部１１１−１〜１１１−Ｎがそれぞれ撮像した画像を示す画像データのうち、その検出顔画像データが示す顔画像を検出した画像データであってもよいし、後述する合成画像データであってもよい。送信制御部１１４ａは、伝送画像データを送出したとき、タイマ１１６から入力された時刻データを前回画像送出時刻データとして、対応する同伴者の顔画像データ及び端末ＩＤと対応付けてペアリングＤＢ１１５ａに記憶する。
送信制御部１１４ａは、端末装置３１から画像送出要求データを受信し、受信した端末装置３１の端末ＩＤと検出顔画像データを画像合成部１２２に出力する。送信制御部１１４ａは、画像合成部１２２から合成画像データが入力される場合には、入力された合成画像データを検出顔画像データの代わりに伝送画像データとして送出してもよい。
【００６９】
ペアリングＤＢ１１５ａには、ペアリングＤＢ１１５と同様に同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤ、時刻データ（時刻）、及び状態データ（笑顔度）が対応付けられて記憶されている。ペアリングＤＢ１１５ａには、これらに対して、さらに前回画像送出時刻データと検出履歴データとを対応付けて記憶されている。ペアリングＤＢ１１５ａは新たに記憶された前回画像送出時刻データを採用する代わりに、既に記憶された前回画像送出時刻データを消去する。これにより、ペアリングＤＢ１１５ａに記憶された前回画像送出時刻データとして、送信制御部１１４ａが伝送画像データを前回、つまり現在から最も直近に送出した時刻を示すものに更新される。ペアリングＤＢ１１５ａに記憶される登録データの例については後述する。
【００７０】
ストレージ１２１は、撮像部１１１−１〜１１１−Ｎからそれぞれ入力された画像データを、入力された時刻の順で撮像部毎に記憶する記憶媒体である。
画像合成部１２２は、送信制御部１１４ａから入力された端末ＩＤに対応する前回画像送出時刻データと検出履歴データをペアリングＤＢ１１５ａから読み出す。画像合成部１２２は、読み出した検出履歴データが示す時刻であって、前回画像送出時刻データが示す時刻における撮像部の固有番号を検出履歴データに基づいて特定する。画像合成部１２２は、検出履歴データが示す時刻と対応付けて特定された撮像部に係る画像データのうち、その時刻から次の検出履歴データが示す時刻までの部分についてストレージ１２１から読み出す。
【００７１】
画像合成部１２２は、送信制御部１１４ａから入力された検出顔画像データが示す顔画像と、読み出した画像データが示す画像とを合成し、合成した画像を示す合成画像データを生成する。画像合成部１２２は、合成した合成画像データを送信制御部１１４ａに出力する。画像合成部１２２は、この２種類の画像を合成する表示形式として、例えば、ピクチャインピクチャ形式、又はピクチャバイピクチャ形式を用いてもよい。ピクチャインピクチャ形式とは、１つの画像の表示領域に、それよりも表示領域の寸法が小さい他方の画像を重畳して表示する形式である。ピクチャバイピクチャ形式とは、それぞれの画像の表示領域を予め定めた方向（例えば、垂直方向、水平方向）に並列して表示する形式である。
【００７２】
（登録データの他の例）
次に、ペアリングＤＢ１１５ａに記憶される登録データの他の例について説明する。
図１２は、ペアリングＤＢ１１５ａに記憶される登録データの他の例を示す図である。
図１２において、最左列から右側に向かって順に、登録番号、同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤ、時刻データ（時刻）、状態データ（笑顔度）、前回画像送出時刻データ、検出履歴データを示す。本実施形態では、同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤ、時刻データ、状態データ、前回画像送出時刻データ、検出履歴データが対応付けられていれば、登録番号が省略されてもよい。
１つの同伴者、利用者の顔画像データ、端末ＩＤの組は、時刻データと状態データとからなる１個もしくは複数の組と、１個もしくは複数の検出履歴データと、に対応付けられていてもよい
【００７３】
例えば、図１２の第２行目には、登録番号１について時刻データと状態データからなる３つの組と、２つの検出履歴データが対応付けられている。第２行目において、３つの組のそれぞれは、時刻１４：３０：００と笑顔度９０、時刻１４：４０：００と笑顔度９８、時刻１４：５０：００と笑顔度１０２をそれぞれ示す。第２行目において、２つの検出履歴データは、時刻１４：３０と固有番号１１１−１、時刻１４：４０と固有番号１１１−２をそれぞれ示す。固有番号１１１−１、１１１−２は、それぞれ撮像部１１１−１、１１１−２を示す番号である。前回画像送出時刻データが示す時刻は１４：２５である。
【００７４】
第２行目に示す例では、画像合成部１２２は、撮像部１１１−１が１４：３０から１４：４０までの間、１４：４０から端末装置３１から画像送出要求データを受信するまでの間、それぞれ撮像した画像データと現在の検出顔画像データを順次合成する。送信制御部１１４ａは、合成画像データを端末装置３１に送出する。第３行目の左から第７列目の−印は、登録番号２に対応する前回画像送出時刻データが記憶されていないことを示す。
【００７５】
（検出履歴データを更新する処理）
次に、検出履歴データを更新する処理について説明する。
図１３は、検出履歴データの更新処理の例を示すフローチャートである。
人物識別部１１２ａには、その顔画像を対応する端末装置に送出する同伴者数、即ちサービスを受けている同伴者の総数を未処理の同伴者数の初期値として設定しておく。ペアリングＤＢ１１５ａには、各同伴者について、少なくとも同伴者の顔画像データ、利用者の顔画像データ、端末ＩＤを対応付けて記憶させておく。
【００７６】
（ステップＳ５０１）人物識別部１１２ａは、未処理の同伴者数が０よりも大きいか否か、つまり未処理の同伴者が存在するか否かを判定する。０よりも大きいと判定された場合には（ステップＳ５０１  ＹＥＳ）、ステップＳ５０２に進む。０であると判定された場合には（ステップＳ５０１  ＮＯ）、図１３に示す処理を終了する。
（ステップＳ５０２）人物識別部１１２ａは、未処理の同伴者から検出履歴データの取得対象となる同伴者を選択する。人物識別部１１２ａは、例えば、新たにサービスを受ける利用者の同伴者や、最後に検出した検出履歴データを取得してからの経過時間が最も長い同伴者を優先して選択する。その後、ステップＳ５０３に進む。
（ステップＳ５０３）人物識別部１１２ａは、選択した同伴者の顔画像データをペアリングＤＢ１１５ａから取得する。その後、ステップＳ５０４に進む。
【００７７】
（ステップＳ５０４）人物識別部１１２ａは、撮像部１１１−１〜１１１−Ｎから入力された画像データに対して顔検出処理を行い、ペアリングＤＢ１１５ａに記憶された同伴者の顔画像データを用いて検出した顔画像に係る同伴者を判定する。人物識別部１１２ａは、顔画像を検出した時刻と撮像部の固有番号とを示す検出履歴データを、その人物の顔画像データと対応付けてペアリングＤＢ１１５ａに記憶する。その固有番号は、その同伴者の顔画像を検出した画像データを取得した撮像部の固有番号である。その後、未処理の同伴者数を１減らして、ステップＳ５０１に進む。
【００７８】
人物識別部１１２ａは、図１３に示す処理を、予め定めた時間間隔（例えば、１０分）で間欠的に行ってもよいし、他の処理（例えば、図１４に示す画像送出処理）と並行して常時行ってもよい。また、人物識別部１１２ａは、状態判定部１１３が算出した状態を示す指標（例えば、笑顔度）の変化量が、予め定めた変化量の閾値よりも大きくなったときに図１３に示す処理を行ってもよい。これにより、処理が行われる契機が、算出された指標が有意に変化した場合に限られ、その指標の変化がない又は少ない場合には処理が行わない。そのため、利用者が関心をもつ同伴者の状態の変化に関する情報をなるべく維持しながら処理量が減少する。
【００７９】
なお、人物識別部１１２ａは、入力された画像データが示す画像のうち顔画像が表示されている表示領域の座標を示す表示領域情報を、検出履歴データに含めてペアリングＤＢ１１５ａに記憶してもよい。これにより、人物識別部１１２ａは、ストレージ１２１に記憶されている画像データのうち撮像部の固有番号、取得された時刻で指定される画像データが示す画像から、この表示領域情報が示す座標で示される部分を顔画像として容易に抽出することができる。
【００８０】
（画像送出要求に応じた画像送出処理）
次に、端末装置３１からの画像送出要求に応じた画像送出処理について説明する。
図１４は、画像送出要求に応じた画像送出処理の例を示すフローチャートである。
（ステップＳ６０１）端末装置３１の制御部３１２は、利用者による所定の操作を検出し、同伴者の画像の送出を要求することを示す画像送出要求データを生成する。通信部３１１は、制御部３１２が生成した画像送出要求データを自装置の端末ＩＤとともに格納したパケットを画像送出装置１１に送信する。そして、画像送出装置１１の送信制御部１１４ａは、端末装置３１から画像送出要求データを格納したパケットを受信する。その後、ステップＳ６０２に進む。
（ステップＳ６０２）画像送出装置１１の送信制御部１１４ａは、端末装置３１から受信したパケットから端末ＩＤを抽出し、抽出された端末ＩＤに対応する前回画像送出時刻データと検出履歴データをペアリングＤＢ１１５ａから取得する。その後、ステップＳ６０３に進む。
【００８１】
（ステップＳ６０３）画像合成部１２２は、取得した前回画像送出時刻データが示す時刻と、その前回画像送出時刻データと対応する撮像部の固有番号を検出履歴データに基づいて特定する。画像合成部１２２は、前回画像送出時刻データが示す時刻と、その時刻よりも後の画像データであって、特定した固有番号の撮像部に係る画像データをストレージ１２１から読み出す。その後、ステップＳ６０４に進む。
【００８２】
（ステップＳ６０４）画像合成部１２２は、現在撮像された画像として、例えば、送信制御部１１４ａから入力された検出顔画像データが示す顔画像と、読み出した画像データが示す画像とを合成する。その後、ステップＳ６０５に進む。
（ステップＳ６０５）送信制御部１１４ａは、合成した画像を示す合成画像データを伝送画像データとして、画像送出要求データを送信した端末装置３１に送信する。その後、図１４に係る処理を終了する。
【００８３】
（合成した画像の例）
次に、画像合成部１２２が合成した画像の例について説明する。
図１５は、画像合成部１２２が合成した画像の例を示す概念図である。
図１５は、表示部３１３の表示領域の大部分に、撮像部１１１−１等のいずれかが現在撮像した画像である現在画像１５１が表示されている、ピクチャインピクチャ形式での２画面表示を示す。現在画像の一部として、右下に過去に撮像された過去画像１５２が重畳されている。利用者は、現在画像１５１と過去画像１５２とを同時に視認することによって、現在の同伴者の状態と、前回視認してからの同伴者の状態とを把握することがある。
【００８４】
図１５では、過去画像１５２は、その周囲を枠で囲まれている点、その周縁部には撮影時刻（例えば、１６：４０）及びその時刻の現在から遡った期間（例えば、２０分前）を示す文字がテロップとして表示されている点で、現在画像１５１と異なる態様で表示されている。そのため、利用者は、過去画像１５２が過去に撮影された画像であることを容易に把握することができるうえ、同伴者がいつどのように状態が変化しているかを把握することができる。
【００８５】
なお、制御部３１２は、画像送出要求において、現在の画像のみを表示することを指示する操作と、前回画像送出時刻以降の過去の画像を合成した合成画像を表示するかを指示する操作とを区別して検出してもよい。このとき、送信制御部１１４ａは、現在の画像データとストレージ１２１から読み出した画像データとを伝送画像データとして端末装置３１に送信する。制御部３１２は、現在の画像のみを表示することを指示するための操作が検出された場合には、現在の画像データに基づく現在の画像を表示部３１３に表示させてもよい。制御部３１２は、合成画像を表示することを指示するための操作が検出された場合には、現在の画像データに基づく画像と読み出した画像とを合成した合成画像を表示部３１３に表示させてもよい。これにより、操作に応じて現在の画像のみを表示するか、過去の画像を合成した合成画像を表示するかを切り替えることができる。
【００８６】
以上、説明したように、本実施形態に係る画像送出装置（例えば、画像送出装置１１ａ）、さらに、撮像部（例えば、撮像部１１１−１〜１１１−Ｎのいずれか）が撮像した画像と送信時刻の履歴を行動物（例えば、同伴者）毎に記憶する記憶部（例えば、ストレージ１２１）を備える。また、送信制御部（例えば、送信制御部１１４ａ）は、所定の行動物の画像を送信することを要求することを示す送信要求を所定の端末装置（例えば、端末装置３１）から受信する。当該送信制御部は、当該送信要求を受信したことに応じて、所定の端末装置に送信した時期よりも後に撮像部が撮像した前記所定の行動物の画像を記憶部から読み出し、読み出した画像と現在撮像部が撮像した画像を所定の端末装置に送信する。
これにより、端末装置を所持している利用者は、前回受信した後の画像と、現在撮像された画像とを同時に視認することができる。そのため、前回視認してからの行動物（例えば、同伴者）の状態と現在の行動物の状態とを比較して把握することができる。
【００８７】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。上述の実施形態と同一の構成については、同一の符号を付して説明を援用する。
図１６は、本実施形態に係る通信システム１ｂの構成を示す概略ブロック図である。
本実施形態に係る通信システム１ｂは、通信システム１（図１）において端末装置３１の代わりに端末装置３１ｂを備える。また、通信システム１ｂは、画像送出装置１１の代わりに画像送出装置１１ａ（図１１）を備えてもよい。但し、端末装置３１ｂが画像送出要求データを送信した場合、画像送出装置１１、１１ａは、その画像送出要求データを無視してもよい。即ち、送信制御部１１４は、自発的に制御した送信時間間隔で伝送画像データを端末装置３１ｂに送信してもよい。
【００８８】
次に、端末装置３１ｂの構成について説明する。端末装置３１ｂは、端末装置３１（図１）において制御部３１２の代わりに制御部３１２ｂを備え、さらにストレージ３１７を備える。制御部３１２ｂは、制御部３１２（図１）と同様な処理を行う他、次に説明する処理を行う。
【００８９】
図１７は、本実施形態に係る端末装置３１ｂが行う画像表示処理を示すフローチャートである。
（ステップＳ７０１）制御部３１２ｂは、表示部３１３が表示している画像を利用者が視認しているか否かを予め定めた時間間隔（例えば、１０秒）毎に判定する。ここで、制御部３１２ｂは、撮像部３１４が撮像する利用者の画像に基づいて公知の視線検出方法を用いて利用者の視線方向を検出する。制御部３１２ｂは、検出した視線方向が表示部３１３の画像表示領域の代表点（例えば、中心点）から予め定めた範囲内にある場合、利用者は画像を視認していると判定し、それ以外の場合、視認していないと判定する。視認していると判定された場合には（ステップＳ７０１  ＹＥＳ）、ステップＳ７０３に進む。視認していないと判定された場合には（ステップＳ７０１  ＮＯ）、ステップＳ７０２に進む。
【００９０】
（ステップＳ７０２）制御部３１２ｂは、通信部３１１から入力された画像データを、受信時刻を示す時刻データ、及びその画像データに基づく画像が未視認であることを示す未視認フラグを対応付けてストレージ３１７に記憶（バッファリング）する。その後、ステップＳ７０１に戻る。
（ステップＳ７０３）制御部３１２ｂは、ストレージ３１７に記憶された未視認フラグ及び時刻データに基づいて、未視認の画像の有無を判定する。制御部３１２ｂは、例えば、ストレージ３１７に予め定めた継続時間（例えば、１分）よりも長い時間継続して記憶されている未視認フラグがある場合、未視認の画像があると判定する。その継続時間よりも長い時間継続して記憶されている未視認フラグがない場合、制御部３１２ｂは、未視認の画像がないと判定する。未視認の画像があると判定された場合には（ステップＳ７０３  ＹＥＳ）、ステップＳ７０４に進む。未視認の画像がないと判定された場合には（ステップＳ７０３  ＮＯ）、ステップＳ７０５に進む。
【００９１】
（ステップＳ７０４）制御部３１２ｂは、未視認フラグと対応する画像データをストレージ３１７から読み出し、読み出した画像データを表示部３１３に出力する。これにより、ストレージ３１７に記憶した画像データが示す未視認の画像を表示部３１３に表示させる。制御部３１２ｂが、画像データを読み出して出力する順序は、例えば、対応する時刻データが示す時刻が先行するほど早い順序であってよい。また、制御部３１２は、表示部３１３への表示が完了した時間内の未視認フラグを消去してもよい。予め定めた継続時間よりも長い時間継続して未表示フラグに対応する画像データがなくなった後、即ち未視認の画像の表示が完了した後、ステップＳ７０５に進む。
【００９２】
（ステップＳ７０５）制御部３１２ｂは、通信部３１１から入力された画像データを表示部３１３に出力し、受信した画像データに基づく画像を表示部３１３に表示させる。その後、ステップＳ７０６に進む。
（ステップＳ７０６）制御部３１２ｂは、図１７に示す処理を終了（サービス終了）する否かを判定する。制御部３１２ｂは、例えば、サービスを停止することを示す所定の操作を検出した場合に、処理を停止すると判定し、それ以外の場合、処理を繰り返すと判定する。処理を終了と判定した場合には（ステップＳ７０６  ＹＥＳ）、図１７に示す処理を終了する。処理を終了しないと判定した場合には（ステップＳ７０６  ＮＯ）、ステップＳ７０１に戻る。
【００９３】
なお、未視認の画像については、制御部３１２ｂは、ステップＳ７０４において、予め定められた標準の再生速度よりも高い再生速度で表示部３１３に表示させてもよい。そこで、画像データが複数の静止画を示す部分データからなる場合には、制御部３１２ｂは、それぞれ取得された時間間隔よりも短い時間間隔（例えば、３秒）で読み出した部分データを表示部３１３に出力する。画像データが動画を示す画像データである場合には、予め定められた標準の再生速度よりも高い再生速度（例えば、３倍速）で表示部３１３に出力。この動画が複数のフレームの静止画から形成される場合には、制御部３１２ｂは、それぞれの静止画を示す部分データを予め定められた標準の時間間隔（例えば、１／３０秒）よりも短い時間間隔（例えば、３倍速の場合、１／９０秒）で表示部３１３に出力する。
【００９４】
また、制御部３１２ｂは、ステップＳ７０４において、ストレージ３１７から読み出した画像データが示す未視認の画像と通信部３１１から入力された画像データが示す現在受信している画像とを合成してもよい。その場合、制御部３１２ｂは、合成した画像を示す合成画像データを表示部３１３に出力し、合成した画像を表示させる。これにより、利用者は、現在撮像されている画像と、過去に撮像された画像とが表示され、過去に撮像された画像の再生が完了するまでの間の同伴者の状態を、現在撮像されている画像と比較しながら視認することができる。
【００９５】
なお、制御部３１２ｂは、ステップＳ７０４において、画像データを表示部３１３に出力している間、ステップＳ７０１と同様に表示部３１３が表示している画像を利用者が視認しているか否かを判定する処理を並行して行ってもよい。視認していると判定されている間、制御部３１２ｂは、未視認フラグを消去する処理を省略してもよい。これにより、視認していないと判定されている間に表示された画像について、そのまま放置されることなく利用者が視認しているときに再度表示される可能性が生じる。そのため、利用者は視認していなかった画像に表示された同伴者の状態を漏れなく確認することができる。
【００９６】
以上、説明したように、本実施形態に係る端末装置（例えば、端末装置３１）は、画像送出装置（例えば、画像送出装置１１、１１ａ）から画像を受信する通信部（例えば、通信部３１１）と、通信部が受信した画像を表示する表示部（例えば、表示部３１３）とを備える。また、本実施形態に係る端末装置は、被写体の画像を撮像する撮像部（例えば、撮像部３１４）と、撮像部が撮像した画像に示された人物が、表示部が表示した画像を視認しているか否かを判定する制御部（例えば、制御部３１２ｂ）を備える。当該制御部は、視認していないと判定したとき通信部が受信した画像を記憶部（例えば、ストレージ３１７）に記憶し、視認していると判定したとき記憶部に記憶されている画像を表示部に表示させる。
そのため、当該端末装置の利用者は、受信した画像に表された同伴者の現在の状態を視認する他、注視していなかったときに受信した画像を、視認することができる。そのため、遠隔地にいる同伴者の状況を漏れなく確認することができる。
【００９７】
なお、上述した実施形態では、主に、撮像部１１１−１〜１１１−Ｎが撮像した画像に表された行動物として利用者の同伴者である幼児に適用する場合を例にとって説明したが、これには限られない。上述した実施形態は、その行動物として高齢者、傷病者、その他の人物や、犬、猫、その他の飼育動物に適用してもよい。
また、上述した実施形態では、主に、行動物の状態を示す指標として笑顔度を算出する場合を例にとって説明したが、これには限られない。上述した実施形態では、行動物の状態として、悲しみ度等の情動を示す指標や、活動度等の行動を示す指標を用いてもよい。
【００９８】
また、上述した実施形態では、主に、画像送出装置１１、１１ａとディスプレイ装置２１が別体である場合を例にとって説明したが、画像送出装置１１、１１ａとディスプレイ装置２１は一体化された画像送出装置として構成されていてもよい。
また、上述した実施形態では、主に、端末装置３１が特定のサービスに専用の端末装置である場合を例にとって説明したが、これには限られない。上述した実施形態では、端末装置３１として、例えば、利用者が所有する端末装置等、汎用の端末装置を用いてもよい。
また、上述した実施形態では、主に、通信システム１、１ａ、１ｂが１台の端末装置３１を有する場合を例にとって説明したが、任意の個数（例えば、１０台）の端末装置を有していてもよい。
【００９９】
上述した実施形態は、次の態様でも実施することができる。
（１）入力された画像から行動物を識別する行動物識別部と、前記行動物識別部が識別した行動物の状態を判定する状態判定部と、前記画像を送信する条件を前記状態判定部が判定した状態に応じて制御する送信制御部と、を備える画像送出装置。
【０１００】
（２）前記状態判定部は、前記行動物識別部が識別した行動物の表情を判定することを特徴とする（１）の画像送出装置。
【０１０１】
（３）前記入力された画像を記憶する記憶部を備え、前記送信制御部は、前記状態判定部が判定した行動物の表情を示す指標が、現在の指標の移動平均に最も近似する画像を、前記記憶部に記憶された画像から選択することを特徴とする（２）の画像送出装置。
【０１０２】
（４）前記送信制御部は、前記状態判定部が判定した行動物の状態に応じて前記画像を送信する送信時間間隔を変更することを特徴とする（１）から（３）のいずれかの画像送出装置。
【０１０３】
（５）前記入力された画像と送信時刻の履歴を行動物毎に記憶する記憶部を備え、前記送信制御部は、所定の行動物の画像を送信することを要求することを示す送信要求を所定の端末装置から受信したことに応じて、前記所定の端末装置に最後に送信した時期よりも後に入力された画像を前記記憶部から読み出し、読み出した画像と現在入力された画像を前記所定の端末装置に送信することを特徴とする（１）から（４）のいずれかの画像送出装置。
【０１０４】
（６）前記送信制御部は、自装置から前記行動物識別部が判定した行動物までの距離に応じて送信時間間隔を変更することを特徴とする（１）から（５）のいずれかの画像送出装置。
【０１０５】
（７）前記送信制御部は、前記画像の表示態様を前記状態判定部が判定した状態に応じて制御することを特徴とする（１）から（６）のいずれかの画像送出装置。
【０１０６】
（８）行動物の画像と前記画像を表示する端末装置を識別する装置情報とを対応付けて記憶する記憶部と、入力された画像から行動物を識別する行動物識別部と、を用いて前記行動物識別部が識別した行動物に対応する装置情報を前記記憶部から特定し、特定した装置情報が識別する端末装置との間で通信を行うことを特徴とする通信処理部と、を備える通信装置。
【０１０７】
（９）前記行動物からの操作を受け付ける操作入力部を備え、前記記憶部は、前記行動物の画像と前記装置情報が示す端末装置の利用者の画像とをさらに対応付けて記憶し、前記通信処理部は、前記操作入力部が操作を受け付けたことに応じて、前記端末装置との通信を開始することを特徴とする（８）の通信装置。
【０１０８】
（１０）画像送出装置から画像を受信する通信部と、前記通信部が受信した画像を表示する表示部と、画像を撮像する撮像部と、前記撮像部が撮像した画像に示された人物が、前記表示部が表示した画像を視認しているか否かを判定し、視認していないと判定したとき前記通信部が受信した画像を記憶部に記憶し、視認していると判定したとき前記記憶部に記憶されている画像を前記表示部に表示させる制御部と、を備える端末装置。
【０１０９】
（１１）画像送出装置と端末装置とを備える画像処理システムにおいて、前記画像送出装置は、入力された画像から行動物を識別する行動物識別部と、識別した行動物の状態を判定する状態判定部と、前記画像を前記端末装置に送信する条件を前記状態判定部が判定した状態に応じて制御する送信制御部と、を備えることを特徴とする画像処理システム。
【０１１０】
（１２）画像送出装置における画像送出方法であって、入力された画像から行動物を識別する行動物識別過程と、前記行動物識別過程で識別した行動物の状態を判定する状態判定過程と、前記画像を送信する条件を前記状態判定過程で判定した状態に応じて制御する送信制御過程と、を有する画像送出方法。
【０１１１】
（１３）画像送出装置のコンピュータに、入力された画像から行動物を識別する行動物識別手順、前記行動物識別手順で識別した行動物の状態を判定する状態判定手順、前記画像を送信する条件を前記状態判定手順で判定した状態に応じて制御する送信制御手順、
を実行させるための画像送出プログラム
【０１１２】
画像送出装置１１、１１ａ、ディスプレイ装置２１、端末装置３１、３１ｂの一部、例えば、人物識別部１１２、１１２ａ、状態判定部１１３、送信制御部１１４、１１４ａ、画像合成部１２２、制御部２１１、制御部３１２、３１２ｂは、コンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
また、上述した実施形態における画像送出装置１１、１１ａ、ディスプレイ装置２１、端末装置３１、３１ｂの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。画像送出装置１１、１１ａ、ディスプレイ装置２１、端末装置３１、３１ｂの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【０１１３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１１４】
１、１ａ、１ｂ…通信システム、１１１（１１１−１〜１１１Ｎ）…撮像部、
１１、１１ａ…画像送出装置、１１２、１１２ａ…人物識別部、１１３…状態判定部、
１１４、１１４ａ…送信制御部、１１５、１１５ａ…ペアリングＤＢ、１１６…タイマ、
１１７…メモリ、１１８…外部インタフェース、１２１…ストレージ、
１２２…画像合成部、
２１…ディスプレイ装置、２１１…制御部、２１２…表示部、２１３…撮像部、
２１４…収音部、２１５…再生部、
３１、３１ｂ…端末装置、３１１…通信部、３１２、３１２ｂ…制御部、３１３…表示部、
３１４…撮像部、３１５…収音部、３１６…再生部、３１７…ストレージ、
４１…ネットワーク
【図１】
2014230095.tif 000003
【図２】
2014230095.tif 000004
【図３】
2014230095.tif 000005
【図４】
2014230095.tif 000006
【図５】
2014230095.tif 000007
【図６】
2014230095.tif 000008
【図７】
2014230095.tif 000009
【図８】
2014230095.tif 000010
【図９】
2014230095.tif 000011
【図１０】
2014230095.tif 000012
【図１１】
2014230095.tif 000013
【図１２】
2014230095.tif 000014
【図１３】
2014230095.tif 000015
【図１４】
2014230095.tif 000016
【図１５】
2014230095.tif 000017
【図１６】
2014230095.tif 000018
【図１７】
2014230095.tif 000019