(57)【要約】【課題】簡単な構成および操作により機能を切替える通信装置を提供する。【解決手段】他装置と通話のための音声を送受信する通話部を備える通信装置であって、当該通信装置のユーザの画像を撮像する撮像部と、撮像部により撮像した画像を他装置に送信する画像送信部６３と、通話中に、他装置から受信する画像を第１の画像表示部に表示させるための受信画像処理部６２と、画像送信部を制御するための制御部５５と、をさらに備え。制御部は、通話中に、撮像部で撮像される画像が、該撮像部を塞ぐような画像であるかどうかを判断する中断判定部５５１を含み、中断判定部が撮像部を塞ぐような画像であったと判断した場合、通話中の該撮像部で撮像した画像の送信を中断するように前記画像送信部６３を制御する。【選択図】図３
2014007706.tif 000002
【特許請求の範囲】
【請求項１】
他装置と通話のための音声を送受信する通話部を備える通信装置であって、
当該通信装置のユーザの画像を撮像する撮像部と、
前記撮像部により撮像した画像を前記他装置に送信する画像送信部と、
通話中に、前記他装置から受信する画像を第１の画像表示部に表示させるための受信画像処理部と、
前記画像送信部を制御するための制御部と、をさらに備え、
前記制御部は、
通話中に、前記撮像部で撮像される画像が、該撮像部を塞ぐような画像であるかどうかを判断する中断判定部を、含み、
前記中断判定部が前記撮像部を塞ぐような画像であったと判断した場合、通話中の該撮像部で撮像した画像の送信を中断するように前記画像送信部を制御する、通信装置。
【請求項２】
前記中断判定部は、さらに、
通話中に、前記撮像部で撮像される画像の明るさと予め定められた明るさとを比較し比較結果から、該撮像部で撮像される画像が、前記撮像部を塞ぐような画像であるかどうかを判断する、請求項１に記載の通信装置。
【請求項３】
前記撮像部は、前記画像送信部による画像の送信が中断された後も撮像動作を継続し、
前記制御部は、
前記画像送信部による画像の送信が中断されているときに、前記撮像部により撮像される画像と予め定めた第１画像とから、画像の類似度を算出する照合部と、
算出される前記類似度に基づき、中断されている画像の送信を再開するか否かを判定する再開判定部と、を含み、
前記再開判定部が再開すると判定したとき、画像の送信を再開するように前記画像送信部を制御する、請求項１または２に記載の通信装置。
【請求項４】
前記撮像部が通話中に撮像する画像を格納するためのメモリを、さらに備え、
前記予め定めた第１画像は、前記メモリに格納される画像のうち、直近の画像の送信中断の前において前記撮像部により撮像された画像を示す、請求項３に記載の通信装置。
【請求項５】
前記撮像部が撮像する画像は、人の顔画像を含み、
前記照合部は、
前記画像送信部による画像の送信が中断されているときに、前記撮像部により撮像される画像のうちの顔画像と前記メモリに格納される前記第１画像から抽出された顔画像とから画像の類似度を算出する類似度算出部を含む、請求項４に記載の通信装置。
【請求項６】
前記撮像部が撮像する画像は、１人以上の顔画像を含み、
前記類似度算出部は、
前記画像送信部による画像の送信が中断されているときに、前記撮像部により撮像される画像のうちの１人以上の顔画像のそれぞれについて、当該顔画像と前記メモリに格納されている前記第１画像から抽出された１人以上の顔画像それぞれとから画像の類似度を算出する各類似度算出部を含み、
前記再開判定部は、
前記撮像部により撮像される画像のうちの１人以上の顔画像の少なくとも１つについて、算出された１以上の前記類似度のうちに予め定めた閾値以上を示すものが含まれるとき、中断されている画像の送信を再開すると判定する、請求項５に記載の通信装置。
【請求項７】
前記各類似度算出部は、
前記画像送信部による画像の送信が中断されているときに、前記撮像部により撮像される画像のうちの１人以上の顔画像のそれぞれについて、当該顔画像と、前記メモリに格納されている前記第１画像から抽出される予め定めた１人以上の顔画像それぞれとから画像の類似度を算出する所定類似度算出部を含む、請求項６に記載の通信装置。
【請求項８】
前記メモリに格納されている前記第１画像から抽出された１人以上の顔画像は、直近の画像の送信中断の前の予め定めた期間において、前記撮像部により連続して撮像された１人以上の顔画像を示す、請求項６または７に記載の通信装置。
【請求項９】
通話者が位置する方に音声の集音方向が向けられた集音部により集音された音声から、当該音声を発した人を識別するための音声識別部を、さらに備え、
前記メモリに格納されている前記第１画像から抽出された１人以上の顔画像は、直近の画像の送信中断の前の期間において、前記音声識別部により識別された１人以上の顔画像を示す、請求項６または７に記載の通信装置。
【請求項１０】
前記中断判定部が中断すると判定したときから前記再開判定部が画像の送信を再開すると判定するまで、前記撮像部により撮像される画像に代替して、予め定めた第２画像を前記他装置に送信する、請求項３から９のいずれかに記載の通信装置。
【請求項１１】
前記撮像部により撮像される画像を入力し、第２の画像表示部に出力する撮像画像処理部を、さらに備え、
前記撮像画像処理部は、前記中断判定部が中断すると判定したときから前記再開判定部が画像の送信を再開すると判定するまで、前記撮像部により撮像される画像に代替して、予め定めた第３画像を前記第２の画像表示部に出力し、
前記再開判定部が画像の送信を再開すると判定したとき、前記撮像部により撮像される画像を入力し、前記第３画像に代替して前記第２の画像表示部に出力する、請求項３から１０のいずれかに記載の通信装置。
【請求項１２】
前記通信装置に対する入力を受付ける受付部を、さらに備え、
前記制御部は、
前記再開判定部が再開すると判定したとき、画像の送信を再開するか否かの問合せを出力し、
前記受付部が前記問合せに対する再開可のユーザ指示を入力したとき、画像の送信を再開するように前記画像送信部を制御する、請求項３から１１のいずれかに記載の通信装置。
【請求項１３】
前記撮像部の撮像方向における人の存在を検出するためのセンサ部を、さらに備え、
前記照合部は、
前記画像送信部による画像の送信が中断されているときに前記センサ部により人の存在が検出されると、前記撮像部により撮像される画像と前記第１画像とから、画像の類似度を算出する、請求項３から１２のいずれかに記載の通信装置。
【請求項１４】
他装置と通話のための音声を送受信する通話部を備える通信装置を用いる通信方法であって、
当該通信装置のユーザの画像を撮像するステップと、
前記撮像するステップにおいて撮像部により撮像された画像を前記他装置に送信するステップと、
通話中に、前記他装置から受信する画像を第１の画像表示部に表示させるステップと、
通話中に、前記撮像するステップにおいて撮像される画像が、前記撮像部を塞ぐような画像であるかどうかを判断するステップと、
前記判断するステップにおいて前記撮像部を塞ぐような画像であったと判断した場合、通話中の該撮像部で撮像した画像の送信を中断するステップとを有する、通信方法。
【請求項１５】
プロセッサを備える通信装置に、通信方法を実行させるためのプログラムであって、
前記プログラムは、前記プロセッサに、
他装置と通話のための音声を送受信するステップと、
当該通信装置のユーザの画像を撮像するステップと、
前記撮像するステップにおいて撮像部により撮像された画像を前記他装置に送信するステップと、
通話中に、前記他装置から受信する画像を第１の画像表示部に表示させるステップと、
通話中に、前記撮像するステップにおいて撮像される画像が、前記撮像部を塞ぐような画像であるかどうかを判断するステップと、
前記判断するステップにおいて前記撮像部を塞ぐような画像であったと判断した場合、通話中の該撮像部で撮像した画像の送信を中断するステップとを実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信装置に関し、テレビ電話機能を備える通信装置に関する。
【背景技術】
【０００２】
音声と映像をリアルタイムに伝送することで，相手の顔を見ながら通話するテレビ電話機能と、音声のみを伝送する通話機能との両方を備え、いずれかの機能に切替えて使用する通信端末が普及している。
【０００３】
特許文献１（特開２００５−２１７５９４号公報）では、センサの出力を用いて、通信端末が音声電話のように耳に接近しているか、顔の前方に持ってきてテレビ電話をしているかを検出し、検出に基づきカメラの撮影画像の送信を停止する携帯通信端末が開示される。
【０００４】
特許文献２（特開２００６−１５７４１０号公報）では、通信端末の本体に関連するスライド体をスライド操作することにより、待ち受け状態や通話状態からテレビ電話状態に移行する通信端末が開示される。
【０００５】
特許文献３（特開２００１−１６９２５８号公報）では、レシーバに耳が接触／接近したとき撮影画像の送信を中止し、接触／接近しなくなったとき撮影画像を送信することで、カメラを用いた画像通信の可否を設定する通信装置が開示される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２１７５９４号公報
【特許文献２】特開２００６−１５７４１０号公報
【特許文献３】特開２００１−１６９２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
テレビ電話と音声通話の機能切替えについて、特許文献１（特開２００５−２１７５９４号公報）と特許文献３（特開２００１−１６９２５８号公報）ではセンサを必要とし、特許文献２（特開２００６−１５７４１０号公報）ではスライド体を必要とし、いずれも装置構成が複雑になる。
【０００８】
また、特許文献１（特開２００５−２１７５９４号公報）と特許文献３（特開２００１−１６９２５８号公報）では、端末に耳を接触／接近させるなどのユーザ動作を必要とし、特許文献２（特開２００６−１５７４１０号公報）ではスライド体についてユーザによるスライド操作を必要とするが、ユーザの使用状況、または使用時のユーザの姿勢によっては耳を接触／接近させる動作、またはスライド操作が困難な場合がある。
【０００９】
それゆえに、本発明の目的は、簡単な構成および操作により機能を切替える通信装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明のある局面に従う、他装置と通話のための音声を送受信する通話部を備える通信装置は、当該通信装置のユーザの画像を撮像する撮像部と、撮像部により撮像した画像を他装置に送信する画像送信部と、通話中に、他装置から受信する画像を第１の画像表示部に表示させるための受信画像処理部と、画像送信部を制御するための制御部と、をさらに備える。
【００１１】
制御部は、通話中に、撮像部で撮像される画像が、該撮像部を塞ぐような画像であるかどうかを判断する中断判定部を含み、中断判定部が撮像部を塞ぐような画像であったと判断した場合、通話中の該撮像部で撮像した画像の送信を中断するように画像送信部を制御する。
【００１２】
好ましくは、中断判定部は、さらに、通話中に、撮像部で撮像される画像の明るさと予め定められた明るさとを比較し比較結果から、該撮像部で撮像される画像が、撮像部を塞ぐような画像であるかどうかを判断する。
【００１３】
好ましくは、撮像部は、画像送信部による画像の送信が中断された後も撮像動作を継続し、制御部は、画像送信部による画像の送信が中断されているときに、撮像部により撮像される被写体の画像と予め定めた第１画像とから、画像の類似度を算出する照合部と、算出される類似度に基づき、中断されている画像の送信を再開するか否かを判定する再開判定部と、を含み、再開判定部が再開すると判定したとき、画像の送信を再開するように画像送信部を制御する。
【００１４】
好ましくは、撮像部が通話中に撮像する被写体の画像を格納するためのメモリを、さらに備え、予め定めた第１画像は、メモリに格納される画像のうち、直近の画像の送信中断の前において撮像部により撮像された被写体の画像を示す。
【００１５】
好ましくは、撮像部が撮像する被写体の画像は、人の顔画像を含み、照合部は、画像送信部による画像の送信が中断されているときに、撮像部により撮像される被写体の画像のうちの顔画像とメモリに格納される第１画像から抽出された顔画像とから画像の類似度を算出する類似度算出部を含む。
【００１６】
好ましくは、撮像部が撮像する被写体の画像は、１人以上の顔画像を含み、類似度算出部は、画像送信部による画像の送信が中断されているときに、撮像部により撮像される被写体の画像のうちの１人以上の顔画像のそれぞれについて、当該顔画像とメモリに格納されている第１画像から抽出された１人以上の顔画像それぞれとから画像の類似度を算出する各類似度算出部を含み、再開判定部は、撮像部により撮像される被写体の画像のうちの１人以上の顔画像の少なくとも１つについて、算出された１以上の類似度のうちに予め定めた閾値以上を示すものが含まれるとき、中断されている画像の送信を再開すると判定する。
【００１７】
好ましくは、各類似度算出部は、画像送信部による画像の送信が中断されているときに、撮像部により撮像される被写体の画像のうちの１人以上の顔画像のそれぞれについて、当該顔画像と、メモリに格納されている第１画像から抽出される予め定めた１人以上の顔画像それぞれとから画像の類似度を算出する所定類似度算出部を含む。
【００１８】
好ましくは、メモリに格納されている第１画像から抽出された１人以上の顔画像は、直近の画像の送信中断の前の予め定めた期間において、撮像部により連続して撮像された１人以上の顔画像を示す。
【００１９】
好ましくは、通話者が位置する方に音声の集音方向が向けられた集音部により集音された音声から、当該音声を発した人を識別するための音声識別部を、さらに備え、メモリに格納される第１画像から抽出された１人以上の顔画像は、直近の画像の送信中断の前の期間において、音声識別部により識別された１人以上の顔画像を示す。
【００２０】
好ましくは、中断判定部が中断すると判定したときから再開判定部が画像の送信を再開すると判定するまで、撮像部により撮像される被写体の画像に代替して、予め定めた第２画像を他装置に送信する。
【００２１】
好ましくは、撮像部により撮像される被写体の画像を取得し、第２の画像表示部に出力する撮像画像処理部を、さらに備え、撮像画像処理部は、中断判定部が中断すると判定したときから再開判定部が画像の送信を再開すると判定するまで、撮像部により撮像される被写体の画像に代替して、予め定めた第３画像を第２の画像表示部に出力し、再開判定部が画像の送信を再開すると判定したとき、撮像部により撮像される被写体の画像を入力し、第３画像に代替して第２の画像表示部に出力する。
【００２２】
好ましくは、通信装置に対する入力を受付ける受付部を、さらに備え、制御部は、再開判定部が再開すると判定したとき、画像の送信を再開するか否かの問合せを出力し、操作受付部が問合せに対する再開可のユーザ指示を入力したとき、画像の送信を再開するように画像送信部を制御する。
【００２３】
好ましくは、撮像部の撮像方向における人の存在を検出するためのセンサ部を、さらに備え、照合部は、画像送信部による画像の送信が中断されているときにセンサ部により人の存在が検出されると、撮像部により撮像される被写体の画像と第１画像とから、画像の類似度を算出する。
【００２４】
この発明の他の局面に従うと、他装置と通話のための音声を送受信する通話部を備える通信装置を用いる通信方法は、当該通信装置のユーザの画像を撮像するステップと、撮像するステップにおいて撮像部により撮像された画像を他装置に送信するステップと、通話中に、他装置から受信する画像を第１の画像表示部に表示させるステップと、通話中に、撮像するステップにおいて撮像される画像が、撮像部を塞ぐような画像であるかどうかを判断するステップと、判断するステップにおいて撮像部を塞ぐような画像であったと判断した場合、通話中の該撮像部で撮像した画像の送信を中断するステップとを有する。
【００２５】
この発明のさらに他の局面に従う、プロセッサを備える通信装置に、通信方法を実行させるためのプログラムは、プロセッサに、他装置と通話のための音声を送受信するステップと、当該通信装置のユーザの画像を撮像するステップと、撮像するステップにおいて撮像部により撮像された画像を他装置に送信するステップと、通話中に、他装置から受信する画像を第１の画像表示部に表示させるステップと、通話中に、撮像するステップにおいて撮像される画像が、撮像部を塞ぐような画像であるかどうかを判断するステップと、判断するステップにおいて撮像部を塞ぐような画像であったと判断した場合、通話中の該撮像部で撮像した画像の送信を中断するステップとを実行させる。
【発明の効果】
【００２６】
本発明によれば、撮像部で指が接近したことを認識した後に、撮像部からの画像データが表す画像の明るさと予め定めた明るさとを比較し、比較結果から、画像送信を中断すると判定したとき、画像の送信を中断するから、簡単な構成およびユーザの特別な操作を必要とせずに機能を切替えることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態に係る端末の外観を表わす図である。
【図２】本発明の実施の形態に係る端末のハードウェア構成を表わすブロック図である。
【図３】本発明の実施の形態に係る端末が有する機能構成を示す概略図である。
【図４】本発明の実施の形態に係る記憶部の内容を説明する図である。
【図５】本発明の実施の形態に係るテレビ電話モードにおける処理フローチャートである。
【図６】本発明の実施の形態に係る表示例を説明する図である。
【図７】本発明の実施の形態に係る表示例を説明する図である。
【図８】本発明の実施の形態に係る表示例を説明する図である。
【図９】本発明の実施の形態に係る表示例を説明する図である。
【図１０】本発明の実施の形態に係る端末の他の構成を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態について図面を参照し詳細に説明する。なお、同一の構成要素には各図において同一の符号を付し、詳細な説明は繰返さない。
【００２９】
本実施の形態では、通信装置は、タッチパネルを有する携帯型情報処理端末に搭載される場合を想定する。携帯型情報処理端末として、ノートブック型パーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）、ナビゲーション装置などを適用することができる。また、情報処理端末は携帯型に限定されず、据え置き型であってもよい。
【００３０】
本実施の形態では、通信装置は複数種類の動作モードを有し、これら動作モードにはテレビ電話モードと音声通話モードとが含まれる。テレビ電話モードは、画像と音声の入力、入力する画像と音声の通信回線を介し相手装置への送信、および通信回線を介し相手装置から受信する画像と音声の出力をリアルタイムに実行するような動作モードを示す。音声通話モードは、音声の入力、入力する音声の通信回線を介した相手装置への送信、および通信回線を介し相手装置から受信する音声の出力をリアルタイムに実行するような動作モードを示す。
【００３１】
なお、本実施の形態では、相手装置もテレビ電話機能を有していると想定する。
＜ハードウェア構成＞
図１および図２を参照して、本実施の形態に係る携帯型情報処理端末（以下、単に端末という）１００の構成について説明する。図１は、端末１００の外観を表わす図である。図２は端末１００のハードウェア構成を表わすブロック図である。端末１００は、筐体１０を備え、筐体１０の主面側にタブレット４１、撮像部に相当するカメラ２９、センサ部３３、音声出力のためのスピーカ３５、マイク３７、およびボタン４２を有し、側面においてアンテナ１とメモリドライバ１３を備える。
【００３２】
メモリドライバ１３は、記憶媒体１５が着脱自在に装着されて、装着された記憶媒体１５についてデータを読み書きする。記憶媒体１５は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）およびフラッシュメモリなどのメモリカードなどを含む。
【００３３】
タブレット４１は、タッチパネル１４０とディスプレイ３１とを一体的に含む表示一体型入力装置の一部を構成する。ディスプレイ３１はＬＣＤ（Liquid  Crystal  Display）パネルに相当し、その表示面上にはタッチパネル１４０が載置される。表示面において表示される画像はタッチパネル１４０を介して視認可能な可視画像である。つまり、ユーザはＬＣＤパネルによる表示画像を透明部材からなるタッチパネル１４０を介して外部から視認することができる。ここでは、タッチパネル１４０は抵抗膜方式、静電容量方式、または光センサ方式のいずれであってもよい。
【００３４】
ボタン４２は、電源をＯＮ／ＯＦＦするために操作されるボタン４２１、テレビ電話モードによる通信を開始／終了するために操作されるボタン４２２、および音声通話モードによる通信を開始／終了するために操作されるボタン４２３を含む。
【００３５】
カメラ２９は、ＣＣＤ（Charge Coupled Device）などの固体撮像素子からなり、レンズ部（図示せず）が向けられた方向の撮像方向に位置する被写体を撮像し、撮像により得られた画像信号を出力する。
【００３６】
センサ部３３は、赤外線などを用いた人感センサを含む。人感センサは、カメラ２９に関連して配置されて、カメラ２９の撮像方向に人物が存在する否かを検出する。
【００３７】
端末１００は、プロセッサに相当する制御部２１、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）および不揮発性メモリなどからなる記憶部１７、カメラ２９からの画像信号を入力しＡ／Ｄ（Analog／Digital）変換により画像データに変換し出力する画像信号変換部１９、表示用画像データが格納されるグラフィックメモリに相当する表示用メモリ３９、表示用メモリ３９のデータに従ってディスプレイ３１の表示動作を制御することにより画像を表示させる表示制御部２３、およびセンサ部３３の出力を処理する信号処理部２５、および音声信号変換部２７をさらに備える。制御部２１は、ＣＰＵ（Central Processing Unit）２１０および計時するためのタイマ２１１を含む。音声信号変換部２７は、入力する音声データを音声信号に変換してスピーカ３５に出力するとともに、マイク３７が集音した音声信号を入力し音声データに変換して出力する。
【００３８】
端末１００は、アンテナ１を接続しアンテナ１を介した通信を制御するための無線部３、アンテナ１を介して画像を通信するための画像通信部５、およびアンテナ１を介して音声を通信するための音声通信部１１をさらに備える。画像通信部５は、入力する画像データを符号化処理し無線部３に出力する画像送信部７、および無線部３が受信する画像信号を入力し復号処理し画像データを取得する画像受信部９を含む。
【００３９】
無線部３は、アンテナ１を介して相手装置から受信する画像信号および音声信号を復調し、復調後の画像信号を画像通信部５に出力し、復調後の音声信号を音声通信部１１に出力する。また、無線部３は、画像送信部７から入力する符号化された画像データを、通信回線に適合するように変調し、変調により得られた画像信号をアンテナ１を介して相手装置に送信する。また、無線部３は、音声通信部１１から符号化された音声データを入力し、通信回線に適合するように変調し、変調により取得した音声信号をアンテナ１を介して相手装置に送信する。
【００４０】
＜機能構成＞
図３は、本発明の実施の形態に係る端末１００が有する機能構成を示す概略図である。図３では、制御部２１が有する機能であって、主にテレビ電話モードに関連した機能を説明する。
【００４１】
制御部２１は、ボタン４２またはタブレット４１からの出力に基づきユーザ操作を受付けて、受付けたユーザ操作の種類を判定して出力する操作受付部５０、操作受付部５０の出力に基づきユーザが指定する動作モードを判定し判定結果を出力するモード判定部５１、モード判定部５１の出力に基づき端末１００の動作モードを切替えるためのモード切替部５８、音声通話を制御するための通話制御部５２、画像処理部５３、テレビ電話モードにおいてカメラ２９が撮像する被写体の画像データを記憶部１７に格納する被写体画像格納部５４、テレビ電話モードにおける画像送信の中断/再開を制御する制御部５５、テレビ電話モードにおいて表示するべき画像を処理する通話画像処理部５７、および集音部であるマイク３７が集音した音声を識別する音声識別部５９を備える。
【００４２】
画像処理部５３は、テレビ電話モードにおいて送信するべき画像を処理する画像送信部６３、カメラ２９から撮像による画像データを取得し処理する撮像画像処理部６０、テレビ電話モードにおいて受信する画像データを処理する受信画像処理部６２を含む。
【００４３】
制御部５５は、画像の送信を中断するか否かを判定する中断判定部５５１、中断している画像送信を再開するか否かを判定する再開判定部５５２、および画像データを照合し、照合結果に基づき画像の類似度（以下、単に類似度という）を算出する照合部５５３を含む。
【００４４】
撮像画像処理部６０は、画像送信が中断されるときに表示される画像（以下、中断時画像という）を処理する中断時画像処理部６１を含む。
【００４５】
本実施の形態に係る照合部５５３は、照合される対象画像に従って異なる照合動作をする、第１照合部６０１、第２照合部６０２、第３照合部６０３および第４照合部６０４を有する。照合部６０１〜６０４の詳細は後述する。
【００４６】
図３の各部は、プログラム（データを含む場合もある）自体、またはプログラムと回路の組合わせなどにより構成される。プログラムは、記憶部１７の所定の記憶領域に格納されており、ＣＰＵ２１０がプログラムを所定記憶領域から読出し、実行することにより各部の機能が実現される。
【００４７】
＜記憶データの説明＞
図４には、記憶部１７に格納されるデータが例示される。図４を参照して、記憶部１７に格納されるデータには、中断時画像データ１７１、画像バッファ１７２のデータ、参照テーブル１７３、現在の動作モードの種類を示すモードデータ１７４、テレビ電話モードにおける画像送信の中断、または中断後の送信再開を判定するために読み書きされる中断／再開フラグ１７５、画像送信を中断した後の送信再開を許可するために参照（読出）される条件を示す再開許可条件１７６、テレビ電話モードにおいてユーザの指示を入力するために表示されるメニュー画像データ１７７、画像の類似を判定するために参照（読出）される閾値１７８、および顔画像テーブル１７９が含まれる。
【００４８】
中断時画像データ１７１は、テレビ電話モードにおいて端末１００から相手装置へのカメラ２９の撮像画像の送信を中断するときに、送信が中断されている画像に代替して、相手装置に送信されるべき画像を示す。
【００４９】
画像バッファ１７２には、端末１００の通話者（人物）を特定するために、テレビ電話モードにおいてカメラ２９が撮像する画像データが格納される。被写体画像格納部５４は、テレビ電話モードの開始時からカメラ２９が撮像した画像データを画像バッファ１７２に逐次格納する。
【００５０】
参照テーブル１７３には、端末１００を用いてテレビ電話モードで通話することが想定されるユーザ毎に当該ユーザに固有の声紋データＤ１と、当該ユーザの名前等の識別子Ｄ２と、当該ユーザの顔画像データから算出された顔特徴（眼、鼻、口、眉など）の特徴量Ｄ３とが対応付けて予め登録される。参照テーブル１７３は、予め外部装置から端末１００の記憶部１７にダウンロードされる。または、端末１００が有する登録モードにおいて、カメラ２９の撮像画像から特徴量Ｄ３を取得し、マイク３７からの音声データから声紋データＤ１を取得し、タッチパネル１４０を介したユーザ操作から識別子Ｄ２を取得し、これらを対応付けて参照テーブル１７３に格納する。
【００５１】
モードデータ１７４は、ボタン４２１がＯＮされたとき初期動作モードを示すように書換（更新）される。その後、ユーザ操作等により、動作モードの切替えが指示される毎に、指示された動作モードを示すように書換られる。
【００５２】
中断／再開フラグ１７５は、端末１００がテレビ電話モードに切替えられると初期値にセットされ、その後は、テレビ電話モードにおける相手装置への画像の送信を制御するための値がセットされる。具体的には、制御部５５は、中断判定部５５１が撮像画像の送信を中断すると判定した場合には中断／再開フラグ１７５に“中断”をセットし、再開判定部５５２が中断している撮像画像の送信を再開すると判定した場合には“再開”をセットする。
【００５３】
顔画像テーブル１７９には、テレビ電話モードにおける１人以上の通話者の顔画像データＤ１０と、顔画像データＤ１０それぞれに対応して顔特徴量Ｄ１１と再開指定フラグＤ１２とが格納される。顔画像データＤ１０と顔特徴量Ｄ１１とは、被写体画像格納部５４による格納される。具体的には、被写体画像格納部５４は、画像バッファ１７２に格納された画像データから、顔の特徴（眼、鼻、口、眉など）を用いて顔の部分画像データ（以下、顔画像データという）を抽出し、抽出した顔画像データ毎に、当該顔画像データから顔の特徴量を算出する。そして、抽出した顔画像データと、各顔画像データについて算出した特徴量とを対応付けて、顔画像データＤ１０と顔特徴量Ｄ１１として顔画像テーブル１７９に格納する。
【００５４】
顔画像テーブル１７９の再開指定フラグＤ１２は、対応の顔画像データＤ１０を、画像送信の再開を許可するための画像データとして指定するか否かを示す。再開指定フラグＤ１２は、対応の顔画像データＤ１０が画像送信の再開を許可するためのデータであるときは“１”がセットされ、そうでないときは“０”がセットされる。なお、再開指定フラグＤ１２の初期値は“０”である。再開指定フラグＤ１２は、端末１００のユーザの指示により設定されるが、その詳細は後述する。
【００５５】
なお、被写体画像格納部５４は、顔画像テーブル１７９に、顔画像データＤ１０として異なる顔画像データが格納されるように動作する。具体的には、抽出した顔画像データについて算出した特徴量と同じ特徴量が既に顔画像テーブル１７９に格納されているときには、当該顔画像データは顔画像テーブル１７９に格納せずに破棄する。これにより、顔画像テーブル１７９には、異なる人物の顔画像データＤ１０が格納されることになる。
【００５６】
さらに、被写体画像格納部５４は、通りがかりの人物が被写体として写り込んでしまった場合には、その人物の顔画像データを破棄し、顔画像テーブル１７９に登録されないよう動作する。たとえば、画像バッファ１７２の画像データから、予め定めた時間期間継続して撮像されている顔画像データのみを抽出し、顔画像テーブル１７９に格納する。
【００５７】
また別の方法として、テレビ電話モードでは通話が行われていることに着目して音声データを用いた方法であってもよい。つまり、音声識別部５９は、カメラ２９の撮像と平行してマイク３７が被写体の方向から集音する音声データを入力し、入力する音声データを解析し、特徴となる声紋データを抽出する。被写体画像格納部５４は、音声識別部５９からの声紋データに基づき参照テーブル１７３を検索する。検索結果に基づき、当該声紋データと一致する声紋データＤ１に対応した顔特徴量Ｄ３を参照テーブル１７３から読出す。そして、画像バッファ１７２の画像データから抽出された顔画像データのうち、この顔特徴量Ｄ３を有する顔画像データのみを、顔画像データＤ１０として顔画像テーブル１７９に格納する。
【００５８】
＜モード切替え＞
本実施の形態では、端末１００のテレビ電話モードの動作を主に説明する。端末１００の音声通話モードは、公知の機能を適用することにより実現することができ、ここでは説明を繰り返さない。
【００５９】
本実施の形態では、モードデータ１７４の書換えがされる毎に、ＣＰＵ２１０はモードデータ１７４が書換られたことを示す通知を出力する。各部は、当該通知が与えられると、書換後のモードデータ１７４に基づき自己の動作を切替える。これにより、端末１００の各部は、モードデータ１７４が示す現在の動作モードに従って動作することができる。
【００６０】
モード切替部５８は、モードデータ１７４を書換える。本実施の形態では、テレビ電話モードではない動作モード（元の動作モードという）において、ボタン４２２が操作されると、モード切替部５８には、操作受付部５０およびモード判定部５１により、テレビ電話モードへのモード切替指示が出力される。モード切替部５８は、当該モード切替指示に応じて、モードデータ１７４を書換える。具体的には、モードデータ１７４が“テレビ電話モード”を示すときは“元の動作モード”を示すように書換えるが、テレビ電話モード以外の“他の動作モード”を示すときは“テレビ電話モード”を示すように書換える。
【００６１】
ボタン４２３が操作されたときも、上述と同様にして、モード切替部５８はモードデータ１７４を“音声通話モード”を示すように書換える。
【００６２】
＜テレビ電話モード＞
・画像の送信
テレビ電話モードでは、端末１００はカメラ２９が撮像した画像データを相手装置に送信するとともに、ディスプレイ３１に表示する。
【００６３】
具体的には、テレビ電話モードにおいて、カメラ２９は、撮像範囲内に位置する対象（被写体）を常時撮像し、被写体像の画像信号を画像信号変換部１９に出力する。画像信号変換部１９は、画像信号からノイズを除去しＡ／Ｄ変換などにより画像データに変換し撮像画像処理部６０に出力する。
【００６４】
具体的には、撮像画像処理部６０は、画像信号変換部１９から画像データを入力すると、中断／再開フラグ１７５を読出し、“初期値”または“再開“を示すと判定するときは、入力画像データを画像送信部６３と通話画像処理部５７に出力する。画像送信部６３は、撮像画像処理部６０から入力する画像データを画像送信部７に出力し、通話画像処理部５７は撮像画像処理部６０から入力する画像データを表示用データに変換し表示用メモリ３９に格納にする。
【００６５】
一方、中断／再開フラグ１７５が“中断”を示すと判定する期間は、画像信号変換部１９から入力する画像データを破棄する。したがって、画像送信部６３と通話画像処理部５７に対し当該画像データの出力は停止する。その後、“中断”→“再開”に変化したことを検出すると、入力する画像データを画像送信部６３と通話画像処理部５７へ出力する動作を再開し、その後は“初期値”→“中断”または“再開”→“中断”への変化を検出するまで、またはテレビ電話モードが終了するまで、画像信号変換部１９から入力する画像データを継続して画像送信部６３と通話画像処理部５７に出力する。
【００６６】
これにより、テレビ電話モードにおいては、カメラ２９が撮像する被写体像の相手装置への送信およびディスプレイ３１への表示が行われるが、中断／再開フラグ１７５が“中断”を示す期間は、これら動作は中断される。その後、中断／再開フラグ１７５が“中断”→“再開”に変化したときに、当該動作が再開される。
【００６７】
また、撮像画像処理部６０の中断時画像処理部６１は、中断／再開フラグ１７５が“中断”を示すときは、すなわちカメラ２９が撮像する被写体像の相手装置への送信およびディスプレイ３１への表示が中断されている期間において、カメラ２９が撮像する被写体像の画像データに代替して、記憶部１７に中断時画像データ１７１を読出し、画像送信部６３と通話画像処理部５７へ出力する。
【００６８】
これにより、カメラ２９が撮像する被写体像の相手装置への送信およびディスプレイ３１への表示が中断されている期間には、撮像画像に代替して中断時画像データ１７１に従う画像が相手装置に送信されるとともにディスプレイ３１に表示される。端末１００のユーザおよび相手装置の通話相手には、中断時画像データ１７１の画像が表示されることで、カメラ２９の撮像画像の送信が中断されている状態であることが報知される。
【００６９】
ここでは、中断時に相手装置に送信する画像とディスプレイ３１に表示する画像は、中断時画像データ１７１に従う同一画像としているが、異なる画像であってもよい。
【００７０】
・画像の受信
端末１００は、テレビ電話モードにおいて相手装置から受信する画像データをディスプレイ３１に表示する。
【００７１】
具体的には、受信画像処理部６２は、画像受信部９が受信する画像データを入力し、ディスプレイ３１の解像度などパラメータに従った表示画像データに変換し、通話画像処理部５７に出力する。通話画像処理部５７は、入力する表示画像データを表示用メモリ３９に格納する。これにより、ディスプレイ３１に相手装置から受信する画像データに従う画像が表示される。この受信画像データは、通話相手を撮像した画像データを含む。
【００７２】
・通話
テレビ電話モードでは、音声通信が画像通信とともに行われる。端末１００のマイク３７で集音した音声は、音声信号変換部２７から通話制御部５２に出力されて、通話制御部５２は音声を音声通信部１１に出力する。これにより、端末１００のユーザの音声は相手装置に送信される。また、相手装置から受信する音声は、音声通信部１１を介して、通話制御部５２に与えられる。通話制御部５２は、入力する音声を音声信号変換部２７を介してスピーカ３５に出力する。これにより、端末１００のユーザは、相手側の音声をスピーカ３５から聴くことができる。
【００７３】
なお、ここでは、音声出力を端末１００と一体に取り付けられたスピーカ３５により行うとするが、これに代替して端末１００とは別体の遠隔スピーカから出力される、またはユーザが装着したイヤホンまたはマイク付きヘッドホンから出力されるとしてもよい。
【００７４】
＜画像送信の中断＞
上述の画像送信の中断判定について説明する。本実施の形態では、端末１００のユーザは、テレビ電話モードにおいて、カメラ２９の光が入射するレンズ部（図示せず）に手・指など接近または接触させて光が入射しないように塞ぐという簡単な動作で、端末１００に対し画像送信の中断を指示することができる。
【００７５】
具体的には、中断判定部５５１は、カメラ２９で撮像される画像が、カメラ２９のレンズ部を塞ぐような画像であるかどうかを判断する。つまり、画像信号変換部１９からの画像データから特徴量を抽出し、抽出した特徴量と指画像に特有の特徴量（指紋、エッジなどに関する特徴量）とをマッチング処理する。マッチング処理により取得される画像類似度から、撮像される画像が上述の塞ぐような画像であるかどうかを判定する。中断判定部５５１は、撮像される画像が上述の塞ぐような画像であると判定したとき、画像送信を中断すると判定する。
【００７６】
さらに、中断判定部５５１は、画像信号変換部１９からの画像データの各画素の階調値から当該画像データが表す画像の明るさ（輝度）を算出し、算出した画像明るさと予め定めた明るさとを比較し、比較結果に基づき（算出した明るさ＜予め定めた明るさ）の条件が成立すると判定したときは、撮像される画像が上述の塞ぐような画像であると判定する。このように上記のマッチング処理の結果に加えて、画像の明るさも判定の基準とすることで、中断の判定精度を上げることができる。なお、画像送信中断中であっても、通話は継続する。
【００７７】
＜画像送信の再開＞
画像送信の中断後、中断している画像送信の再開をする場合には、端末１００のユーザはセンサ部３３に手などを接近させればよい。つまり、センサ部３３は人体から放射される赤外線を検出する。再開判定部５５２は、センサ部３３の検出を信号処理部２５を介し入力し、入力した検出結果を用いて、中断している画像送信の再開を判定する。
【００７８】
画像送信の再開判定は、基本的には、センサ部３３の検出に基づくが、より好ましくは、再開判定部５５２は、センサ部３３の検出と記憶部１７の再開許可条件１７６との組合わせに基づき、画像送信の再開を判定する。
【００７９】
ここで、再開許可条件１７６は、ユーザ操作による指示に基づき決定される。具体的には、制御部５５は、画像送信が中断されたとき、再開条件の選択肢一覧のメニュー画像データ１７７を記憶部１７から読出し、表示用メモリ３９に格納する。これにより、ディスプレイ３１に再開条件選択のためのメニュー画面が表示される。メニュー画面では、以下の選択肢が表示される。
【００８０】
（選択肢１）中断前の通話者の全員が撮像されたとき再開を許可する。
（選択肢２）中断前の通話者のうち少なくとも１人が撮像されたとき再開を許可する。
【００８１】
（選択肢２−１）上記少なくとも１人は予め指定された人である。
ユーザはメニュー画面から所望の選択肢をタブレット４１を操作して選択する。たとえば、“選択肢１”が選択されると、制御部５５は、再開許可条件１７６に“ＯＰ１”をセットし、“選択肢２”が選択されると“ＯＰ２”をセットし、“選択肢２−１”が選択されると“ＯＰ２−１”がセットされる。なお、再開許可条件１７６の初期値は０である。
（照合による送信再開判定）
制御部５５の照合部５５３は、再開判定部５５２がセンサ部３３の検出から人体接近を判定したとき、上記のメニュー画面からユーザが選択したオプションに従って、第１照合部６０１、第２照合部６０２、第３照合部６０３および第４照合部６０４のいずれかによる照合処理を実行し、その実行結果を再開判定部５５２に出力する。
【００８２】
つまり、照合部５５３は、画像送信が中断されているときに、撮像される１人以上の顔画像データのそれぞれについて、当該顔画像データと、顔画像テーブル１７９に格納されている１人以上の顔画像データＤ１０それぞれとから画像類似度を算出し、再開判定部５５２は、撮像された１人以上の顔画像データの少なくとも１つについて、算出された１以上の画像の類似度のうちに予め定めた閾値１７８以上を示すものが含まれるとき、中断された画像送信を再開すると判定する。以下、各照合部の動作を説明する。
【００８３】
・第１照合部による判定
再開許可条件１７６が“ＯＰ１”を示し、且つ顔画像テーブル１７９には１個の顔画像データＤ１０しか格納されていない、すなわち直近の画像送信中断の前に撮像された顔画像は１人分であると判定されたときは、第１照合部６０１による照合処理を実行する。
【００８４】
具体的には、第１照合部６０１は、顔画像テーブル１７９の顔画像データＤ１０と、カメラ２９の撮像画像から抽出された顔画像データとから、両者の顔画像の類似度を算出する。そして、再開判定部５５２は、第１照合部６０１が算出する画像類似度が、記憶部１７の閾値１７８以上を示すと判定したとき、中断された画像送信を再開すると判定する。
【００８５】
これにより、テレビ電話モードで１人で通話中に画像送信を中断し、その後、その１人が撮像されたときに初めて画像送信を再開することができる。
【００８６】
・第２照合部による判定
再開許可条件１７６が“ＯＰ２”を示し、且つ顔画像テーブル１７９には複数個の顔画像データＤ１０が格納されており、且つカメラ２９の撮像画像からは１個の顔画像を抽出できたときは、第２照合部６０２による照合処理を実行する。
【００８７】
具体的には、第２照合部６０２は、顔画像テーブル１７９から読出した各人の顔画像データＤ１０について、当該画像データＤ１０とカメラ２９が撮像する被写体の顔画像データとから画像類似度を算出する。再開判定部５５２は、顔画像テーブル１７９から読出した各人の顔画像データＤ１０の中に、算出される画像類似度が記憶部１７の閾値１７８以上を示す画像データが含まれると判定したとき、中断された画像送信を再開すると判定する。これにより、テレビ電話モードで複数人で通話中に画像送信を中断し、その後、そのうちの１人が被写体として写り込んだ画像が撮像されたときに初めて画像送信を再開することができる。
【００８８】
上記の第２照合部６０２は、テレビ電話モードで複数人で通話中に画像送信を中断し、その後、そのうちの１人が被写体として写り込んだ画像が撮像されたときに画像送信を再開するとしているが、再開許可条件１７６が“ＯＰ２−１”を示す時は、“そのうちの１人”の顔画像データＤ１０は、顔画像テーブル１７９において、対応する再開指定フラグＤ１２に“１”がセットされた顔画像データＤ１０を示す、とすることができる。これにより、テレビ電話モードで複数人で通話中に画像送信を中断し、その後、そのうちの予め指定した１人が被写体として写り込んだ画像が撮像されたときに初めて画像送信を再開させることができる。
【００８９】
・第３照合部による判定
再開許可条件１７６が“ＯＰ１”を示し、且つ顔画像テーブル１７９には１個の顔画像データＤ１０が格納されており、且つカメラ２９の撮像画像からは複数個の顔画像を抽出できたときは、第３照合部６０３による照合処理を実行する。
【００９０】
具体的には、第３照合部６０３は、カメラ２９が撮像する被写体の画像データから抽出した複数人の各顔画像データと、顔画像テーブル１７９の顔画像データＤ１０とから画像類似度を算出する。再開判定部５５２は、カメラ２９が撮像する被写体の画像データから抽出した各顔画像データの中に、算出される画像類似度が記憶部１７の閾値１７８以上を示す画像データが含まれると判定したとき、中断された画像送信を再開すると判定する。
【００９１】
これにより、テレビ電話モードで１人で通話中に画像送信を中断し、その後、その人を含む複数人が撮像されたときに画像送信を再開することができる。
【００９２】
・第４照合部による判定
再開許可条件１７６が“ＯＰ１”を示し、且つ顔画像テーブル１７９には複数個の顔画像データＤ１０が格納されており、且つカメラ２９の撮像画像からは複数個の顔画像を抽出できたときは、第４照合部６０４による照合処理を実行する。
【００９３】
具体的には、第４照合部６０４は、画像送信が中断されているときに、顔画像テーブル１７９の各顔画像データＤ１０について、当該顔画像データＤ１０とカメラ２９が撮像する画像データから抽出した複数人の各顔画像データとから画像類似度を算出する。そして、再開判定部５５２は、各顔画像データＤ１０について、当該画像データについて算出された画像類似度のうちに記憶部１７の閾値１７８以上を示す画像類似度が含まれていると判定したとき、中断された画像送信を再開すると判定する。これにより、テレビ電話モードで複数人で通話中に画像送信を中断し、その後、カメラ２９からその複数人が被写体として写り込んだ画像データが取得されたとき、画像送信を再開することができる。
【００９４】
上記の第４照合部６０４は、テレビ電話モードで複数人で通話中に画像送信を中断し、その後、そのうちの２人以上が被写体として写り込んだ画像が撮像されたときに画像送信を再開するとしている。この場合において、再開許可条件１７６が“ＯＰ２−１”を示す時は、“そのうちの２人以上”の顔画像データＤ１０は、顔画像テーブル１７９において、対応する再開指定フラグＤ１２に“１”がセットされた顔画像データＤ１０を示す、とすることができる。
【００９５】
これにより、テレビ電話モードで複数人で通話中に画像送信を中断し、その後、そのうちの予め指定した２人以上が被写体として写り込んだ画像が撮像されたときに画像送信を再開させることができる。
【００９６】
＜処理フローチャート＞
図５は、本発明の実施の形態に係るテレビ電話モードにおける処理フローチャートである。この処理フローチャートに従うプログラムは、予め記憶部１７の所定領域に格納されている。ＣＰＵ２１０は、記憶部１７からプログラムを読出し実行する。
【００９７】
動作モードがテレビ電話モードに切替えられると、相手装置と音声信号および画像信号が送受信される（ステップＳ３）。
【００９８】
テレビ電話モードにおいてカメラ２９が撮像する被写体の画像データは画像バッファ１７２に格納される（ステップＳ７）。
【００９９】
その後、中断判定部５５１は、画像送信を中断するか否かを判定する（ステップＳ９）。中断すると判定すると（ステップＳ９でＹＥＳ）、カメラ２９による撮像画像の送信は中断する（ステップＳ１０）。これにより、撮像画像に代替して、中断時画像データ１７１に従う画像が相手装置に送信される（ステップＳ１１）。具体的には、中断時画像処理部６１によって記憶部１７から読出した中断時画像データ１７１は通話画像処理部５７に出力される。これにより、カメラ２９の撮像画像に代替して、中断時画像データ１７１に従う画像が相手装置に送信され、またディスプレイ３１に表示される。その後、ステップＳ１３の処理に移行する。
【０１００】
一方、中断しないと判定すると（ステップＳ９でＮＯ）、ステップＳ３の処理に戻りテレビ電話モードによる音声信号および画像信号の送受信が行われる。
【０１０１】
ステップＳ１３では、ディスプレイ３１に上述のメニュー画面が表示されて、ユーザに対してオプション指定を促す。ユーザは、メニュー画面の表示時に、所望のオプションを選択的に入力する（ステップＳ１３）。
【０１０２】
また、被写体画像格納部５４は、画像バッファ１７２の画像データから顔画像データを抽出し、抽出した顔画像データについて顔特徴量を算出し、それぞれ顔画像テーブル１７９に顔画像データＤ１０と顔特徴量Ｄ１１として対応付けて格納する（ステップＳ１４）。
【０１０３】
また、制御部５５は、ステップＳ１３で“選択肢２−１”が選択された場合には、顔画像テーブル１７９から読出した顔画像データＤ１０の顔画像をディスプレイ３１に表示する。ユーザは、表示された顔画像を確認し、所望する顔画像について、再開許可の顔画像として指定する（ステップＳ１５）。これにより、指定された顔画像データＤ１０に対応の再開指定フラグＤ１２に“１”がセットされる。再開指定フラグＤ１２の設定時には、ディスプレイ３１には、顔画像データＤ１０の画像とともに名前も表示するようにしてもよい。つまり、当該顔画像データＤ１０に対応する顔特徴量Ｄ１１に一致する顔特徴量Ｄ３に対応した識別子Ｄ２をテーブル１７３から読出し、ディスプレイ３１に当該識別子Ｄ２に従う名前などを表示する。ユーザは、顔画像のみならず名前も確認することで、再開許可のための顔画像（人物）の指定を確実に行うことができる。
【０１０４】
ステップＳ１３で“選択肢２−１”が選択されない場合には、ステップＳ１５の処理はパスされる。
【０１０５】
撮像画像の送信が中断されているときは、再開判定部５５２は、センサ部３３の検出に基づき人体の接近が有ったか否かを判定する（ステップＳ１９）。人体の接近がないと判定すると（ステップＳ１９でＮＯ）、ステップＳ１９の処理が繰り返される。
【０１０６】
一方、人体の接近があると判定されると（ステップＳ１９でＹＥＳ）、再開判定部５５２は、照合部５５３の照合結果に基づき、中断している撮像画像の送信を再開するか否かの判定をする（ステップＳ２０）。再開判定のための照合処理としては、再開許可条件１７６などを用いて、上述したように第１〜第４照合部６０１〜６０４のいずれかの照合処理が実行される。
【０１０７】
制御部５５は、再開判定部５５２の判定結果から、画像送信を再開しないと判定すると（ステップＳ２１でＮＯ）、撮像画像送信の中断を継続（ステップＳ２３）しながら、処理はステップＳ１９に移行する。
【０１０８】
一方、制御部５５は、再開判定部５５２の判定結果から、画像送信を再開すると判定すると（ステップＳ２１でＹＥＳ）、通話画像処理部５７は、撮像画像の送信を再開する（ステップＳ３１）。具体的には、制御部５５からの出力に基づき、中断時画像処理部６１が出力する中断時画像データ１７１の送信から、撮像画像処理部６０が出力するカメラ２９の撮像画像の送信に切替える。その後、処理はステップＳ３に戻り、テレビ電話モードにおける音声と画像の通信が行われる。
【０１０９】
＜表示画像の例示＞
図６〜図９には、本発明の実施の形態に係るテレビ電話モードにおける表示画面の一例が示される。図６を参照して、通常のテレビ電話モードでは、ディスプレイ３１の画面には、異なる表示領域として第１の表示部３１１と第２の表示部３１２とが設けられる。第１の表示部３１１には、相手装置から受信する画像データに従う画像３１４が表示され、第２の表示部３１２には端末１００のカメラ２９が撮像する被写体の画像３１３が表示される。したがって、端末１００のユーザは、画像３１４で相手画像と、相手装置に送信中のカメラ２９が撮像した被写体像である画像３１３を同一画面で確認しながら、通話することができる。
【０１１０】
図７では、カメラ２９のレンズ部にユーザの指が当てられる状態が示される。これにより、撮像画像の送信は中断し、図８のように、第２の表示部３１２には中断時画像３１５が表示される。この中断時画像３１５のデータは、撮像画像のデータに代替して、相手装置に送信される。
【０１１１】
その後、中断している撮像画像の送信が再開されると、図９のように第２の表示部３１２には、中断時画像３１５に代替してカメラ２９による撮像画像３１３が表示されて、相手装置にも、撮像画像３１３の画像データが送信される。
【０１１２】
なお、図８に示す中断時画像３１５の絵柄は一例であり、“画像送信中断中”を報知するためのガイダンス、アバターなど単純な画像（より好ましくは黒画像）であればよい。また、絵柄ではなく“画像送信中断中”を報知するための文字メッセージであってもよい。
【０１１３】
また、相手装置から受信する画像３１４を第２の表示部３１２に表示し、カメラ２９が撮像する画像３１３を第１の表示部３１１に表示するというように表示領域を切替えてもよい。表示領域の切替えは、ユーザ操作によって自由に可能であるとしてもよい。
【０１１４】
＜変形例１＞
上記の実施の形態では、中断／再開フラグ１７５の設定方法は、中断判定部５５１および再開判定部５５２の判定結果によるとしたが、この方法に限定されない。たとえば、制御部５５は、操作受付部５０を介して取得するユーザからの指示に基づき、“中断”→“再開”への切替えを制御するとしてもよい。
【０１１５】
具体的には、制御部５５は、再開判定部５５２が再開すると判定したとき、画像の送信を再開するか否かの問合せを画面で表示または音声で出力する。ユーザは、問合せを確認し、選択操作をし、操作受付部５０は当該ユーザによる操作を受付けて、操作に従う指示を制御部５５に出力する。制御部５５は、再開判定部５５２が再開すると判定したとき、操作受付部５０から、問合せに対する再開可のユーザ指示を入力したときのみ、画像の送信を再開するように中断／再開フラグ１７５を“中断”→“再開”へ切替えて、撮像画像の送信を再開するようにしてもよい。
【０１１６】
＜変形例２＞
端末１００は、図１に示すように画像表示部であるディスプレイ３１を一体的に備えるが、端末１００とは別体であってもよい。また、マイク３７およびスピーカ３５も端末１００に一体的に備えるものに限定されず、別体でもよい。さらには、カメラ２９も端末１００に一体的に備えるものに限定されず、端末１００と別体であってもよい。
【０１１７】
＜変形例３＞
上述の実施の形態では、端末１００は携帯型端末であったが、汎用コンピュータのように携帯されず机などに据え置くタイプのコンピュータである、たとえば図１０の端末１１００であってもよい。
【０１１８】
図１０を参照して、端末１１００は、モニタ１１８０、キーボード１１３０およびマウス１１２０を有する。さらに、コンピュータ自体を集中的に制御するためのＣＰＵ１１１０、ＲＯＭ１１４０、ＲＡＭ１１５０、ハードディスク１１６０、ＣＤ−ＲＯＭ（Compact  Disc  Read  Only  Memory）１１７２等の記録媒体が着脱自在に装着されて、装着された記録媒体をアクセスするＣＤ−ＲＯＭドライバ１１７０、図示しない有線および無線を含む通信ネットワークと、該端末１１００とを通信接続するための通信インターフェィス１１９０、マイク１２００およびスピーカ１２１０を含む。これらの各部はバスなどを介して通信する。
【０１１９】
図１０では、図５の処理フローチャートに従うプログラムはＲＯＭ１１４０またはハードディスク１１６０に格納される。また、記憶部１７はＲＯＭ１１４０、ＲＡＭ１１５０およびハードディスク１１６０を用いて構成される。
【０１２０】
[他の実施の形態]
さらに、本発明における端末１００が行なうテレビ電話モードなどにおける通信方法は、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて非一時的に記録させて、プログラム製品として提供することもできる。あるいは、図１０などのコンピュータに内蔵するハードディスク１１６０などの記録媒体にて非一時的に記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。たとえば、図２構成では、記憶媒体１５を用いて当該プログラムをコンピュータである端末１００に供給することができる。ＣＰＵ２１０は、メモリドライバ１３を介して記憶媒体１５に格納されたプログラムを読出し実行する、または読出したプログラムを一旦、記憶部１７に格納し、その後、記憶部１７からプログラムを読出し、実行する。また、プログラムは外部装置から通信により供給されるプログラムをアンテナ１を介して受信し、ＣＰＵ２１０は受信するプログラムを記憶部１７に格納し、その後、記憶部１７からプログラムを読出し、実行する。
【０１２１】
なお、提供されるプログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【０１２２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２３】
２９  カメラ、３１  ディスプレイ、３３  センサ部、３５，１２１０  スピーカ、３７，１２００  マイク、５０  操作受付部、５１  モード判定部、５２  通話制御部、５３  画像処理部、５４  被写体画像格納部、５７  通話画像処理部、５８  モード切替部、５９  音声識別部、６０  撮像画像処理部、６１  中断時画像処理部、６２  受信画像処理部、６３  画像送信部、１７１  中断時画像データ、１７４  モードデータ、１７５  再開フラグ、１７６  再開許可条件、１７７  メニュー画像データ、１７８  閾値、１７９  顔画像テーブル、３１１  第１の表示部、３１２  第２の表示部、５５１  中断判定部、５５２  再開判定部、５５３  照合部、６０１  第１照合部、６０２  第２照合部、６０３  第３照合部、６０４  第４照合部、Ｄ１  声紋データ、Ｄ２  識別子、Ｄ３  特徴量、Ｄ１０  顔画像データ、Ｄ１１  顔特徴量、Ｄ１２  再開指定フラグ。
【図１】
2014007706.tif 000003
【図２】
2014007706.tif 000004
【図３】
2014007706.tif 000005
【図４】
2014007706.tif 000006
【図５】
2014007706.tif 000007
【図６】
2014007706.tif 000008
【図７】
2014007706.tif 000009
【図８】
2014007706.tif 000010
【図９】
2014007706.tif 000011
【図１０】
2014007706.tif 000012