(57)【要約】【課題】テレビ電話機能時にユーザがどの位置にいれば自分の画像が正しく通話相手に送信されるのかを簡易に把握する。【解決手段】通信先の装置から画像データを受信するアンテナ21及び無線通信部22と、受信した画像データに応じた画像を投影する投影系23〜26，11と、ユーザの画像を撮影する撮影部IMと、撮影したユーザの画像により被写体位置のずれを検出し、検出したずれに応じて投影する画像内で報知させるＣＰＵ28とを備える。【選択図】図４
2015119424.tif 000002
【特許請求の範囲】
【請求項１】
通信先の装置から画像データを受信する受信手段と、
上記受信手段で受信した画像データに応じた画像を表示する表示手段と、
送信すべき画像のデータを取得する画像取得手段と、
上記画像取得手段で取得した画像のデータにより、画像中の被写体位置のずれを検出するずれ検出手段と、
上記ずれ検出手段で検出したずれに応じ、上記表示手段で表示している画像内で報知する報知手段と
を備えることを特徴とする通信表示装置。
【請求項２】
上記ずれ検出手段は、画像中から顔認識処理に基づいて被写体位置のずれを検出することを特徴とする請求項１記載の通信表示装置。
【請求項３】
上記報知手段は、上記表示手段で表示する画像内で、ずれている位置、方向及び度合いの少なくとも１つに応じた報知を行なうことを特徴とする請求項１または２記載の通信表示装置。
【請求項４】
背景画像を取得する背景画像取得手段と、
上記背景画像と比較することで被写体位置を検出する被写体位置検出手段と
を備え、
上記ずれ検出手段は、上記被写体位置検出手段の検出結果に基づいて画像中のずれを検出することを特徴とする請求項１記載の通信表示装置。
【請求項５】
上記通信先の装置は、投影パネルを備えた投影装置であって、
上記送信すべき画像のデータは上記投影パネルの形状に加工され、
上記ずれ検出手段は、上記投影パネルに投影される上記送信すべき画像に対して、被写体位置のずれを検出することを特徴とする請求項１乃至４いずれか記載の通信表示装置。
【請求項６】
上記通信先装置に表示される送信すべき画像の表示枠に対して、注意線を設定する注意線設定手段をさらに備え、
上記ずれ検出手段は、上記注意線と上記被写体の位置に基づいてずれを検出することを特徴とする請求項１乃至５いずれか記載の通信表示装置。
【請求項７】
上記ずれ検出手段は、左右方向のずれと前後方向のずれとを検出することを特徴とする請求項１乃至６いずれか記載の通信表示装置。
【請求項８】
上記報知手段は、上記左右方向のずれと前後方向のずれとで異なる報知を行なうことを特徴とする請求項７記載の通信表示装置。
【請求項９】
通信先の装置から画像データを受信する受信工程と、
上記受信工程で受信した画像データに応じた画像を表示する表示工程と、
送信すべき画像のデータを取得する画像取得工程と、
上記画像取得工程で取得した画像のデータにより、画像中の被写体位置のずれを検出するずれ検出工程と、
上記ずれ検出工程で検出したずれに応じ、上記表示工程で表示している画像内で報知する報知工程と
を有したことを特徴とする通信表示方法。
【請求項１０】
通信先の装置と画像のデータを送受する装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、
通信先の装置から画像データを受信する受信手段、
上記受信手段で受信した画像データに応じた画像を表示する表示手段、
送信すべき画像のデータを取得する画像取得手段、
上記画像取得手段で取得した画像のデータにより、画像中の被写体位置のずれを検出するずれ検出手段、及び
上記ずれ検出手段で検出したずれに応じ、上記表示手段で表示している画像内で報知する報知手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話機能を有する通信表示装置、通信表示方法及びプログラムに関する。
【背景技術】
【０００２】
従来、人型の表示パネルに広告等の映像コンテンツを投影させるようにした技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術を含み、近時では、商店の店頭などに載置し、商品の広告画像等を任意形状、例えば人型の半透明板をスクリーンとしてそのリヤ側から投影するデジタルサイネージ装置が徐々に普及しつつある。
【０００５】
この種のデジタルサイネージ装置に撮像機能と通信機能とを備えさせ、例えば老人福祉施設などに常設するテレビ電話装置として利用することが考えられている。
【０００６】
上記のような不定形の表示部を有する装置を用いてテレビ電話機能を実現する場合、一般的な矩形の表示部を有する装置で広い範囲を表示する場合に比べて、表示容積に余裕がないため、通話相手側の画像を正確に位置合わせして表示する必要がある。しかしながら、自装置側の表示部で表示されるのは通話相手の画像であり、ユーザは自分の画像が相手側の装置の表示部でどのように表示されているかを直接確認するすべがない。そのため、自分の撮影位置をできるだけ簡易に把握し、調整するための手法が模索されている。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、テレビ電話機能時にユーザがどの位置にいれば自分の画像が正しく通話相手に送信されるのかを簡易に把握することが可能な通信表示装置、通信表示方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、通信先の装置から画像データを受信する受信手段と、上記受信手段で受信した画像データに応じた画像を表示する表示手段と、送信すべき画像のデータを取得する画像取得手段と、上記画像取得手段で取得した画像のデータにより、画像中の被写体位置のずれを検出するずれ検出手段と、上記ずれ検出手段で検出したずれに応じ、上記表示手段で表示している画像内で報知する報知手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、テレビ電話機能時にユーザがどの位置にいれば自分の画像が正しく通話相手に送信されるのかを簡易に把握することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るテレビ電話装置の外観構成を示す斜視図。
【図２】同実施形態に係るテレビ電話装置の装置筐体上部に設けられた、投影光学系の構成を右側面から見た図。
【図３】同実施形態に係る矩形の投影可能領域内のスクリーン投影領域を示す図。
【図４】同実施形態に係るテレビ電話装置の主として電子回路の機能構成を説明するブロック図。
【図５】同実施形態に係る待ち受け状態から発呼がある場合の受信処理の内容を示すフローチャート。
【図６】同実施形態に係るテレビ電話装置側から発呼を行なう場合の発信処理の内容を示すフローチャート。
【図７】同実施形態に係る図５のステップＳ１０８、図６のステップＳ２０９の通話処理のサブルーチンの詳細な内容を示すフローチャート。
【図８】同実施形態に係る図７のステップＳ３０６の左右ずれ報知処理のサブルーチンの詳細な内容を示すフローチャート。
【図９】同実施形態に係る図７のステップＳ３０６の前後ずれ報知処理のサブルーチンの詳細な内容を示すフローチャート。
【図１０】同実施形態に係る通話相手の装置から取得する、相手側の装置のサイネージボードの形状とずれの検出範囲を簡易的に模した図。
【図１１】同実施形態に係る通話相手の装置から取得する、相手側の装置のサイネージボードの形状とずれの検出範囲を簡易的に模した図。
【発明を実施するための形態】
【００１１】
以下、本発明をデジタルサイネージ方式のテレビ電話装置に適用した場合の一実施形態について、図面を参照して詳細に説明する。なお、デジタルサイネージとは、人型のスクリーンを用いたバーチャルマネキンとして、説明を行なう。  
図１は、本実施形態に係るテレビ電話装置１０の外観構成を示す斜視図である。装置筐体１０Ａの上面前端側に、交換可能なサイネージボードＳＢが立設される。このサイネージボードＳＢは、テレビ電話装置１０の本来は矩形の投影可能領域内に収まるように設置された、任意形状を有する半透過板状の構成を有する。
【００１２】
このサイネージボードＳＢの前面下部中央に撮影部ＩＭが設けられ、前方側の斜め上方の画像を取得する。さらに撮影部ＩＭの下方には、一対のスピーカ部ＳＰ，ＳＰと一対のマイクロホン部ＭＣ，ＭＣが設けられ、ステレオ音声による受話と送話が可能となる。
【００１３】
また上記装置筐体１０Ａの上面後端側に、ミラーＭＲが立設され、後述する投影レンズ部から出射した光像を前面側に全反射して、上記サイネージボードＳＢに結像させる。
【００１４】
図２は、上記テレビ電話装置１０の装置筐体１０Ａ上部に設けられた、投影光学系の構成を右側面から見た図である。  
投影レンズ部１１から斜め上後方に向けて出射した投影光束は、ミラーＭＲで前方側に反射された後にフレネルレンズシート１２で水平方向の平行な光束に偏向され、半透過幕状のリヤプロジェクトスクリーン１３に投影される。
【００１５】
このリヤプロジェクトスクリーン１３の前方側には透明ボード１４が一体に形成される。上記フレネルレンズシート１２、リヤプロジェクトスクリーン１３、及び透明ボード１４の３層が一体となって上記サイネージボードＳＢを構成している。
【００１６】
上記図１に示した如くサイネージボードＳＢが人型などの不定形である一方で、上記投影レンズ部１１から出射する光像を形成するための表示素子、例えばＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式の投影装置であればマイクロミラー素子、は矩形の表示領域を有する。そのため、サイネージボードＳＢ外の領域への不要な投影光の出射を抑えるために、サイネージボードＳＢの形状を正確に認識する必要がある。
【００１７】
本実施形態では、送信する画像データを一時的に記憶しておく記憶媒体に、予め登録しておいた複数の形状タイプのいずれに相当するサイネージボードＳＢであるかを示す情報が合わせて記憶されており、通話相手の装置に対して、画像データとサイネージボードＳＢの形状タイプの情報を合わせて送信する。
【００１８】
したがって、通話相手の装置で取得された画像は、相手側の装置において、送信した形状タイプの情報に基づいて加工された後に、このテレビ電話装置１０に送られてくることとなり、その時点でテレビ電話装置１０に装着されているサイネージボードＳＢの形状に合致した、受信した画像データをそのまま投影すれば良いことになる。
【００１９】
図３は、後述するＣＰＵ２８が、矩形の投影可能領域ＰＡ内でサイネージボードＳＢの形状を認識してスクリーン投影領域ＳＡとして設定した状態を示している。
【００２０】
次に図４によりテレビ電話装置１０の主として電子回路の機能構成を説明する。同図中、無線通信技術としては例えば第４世代携帯電話システムに対応するものとする。ここでは図示しない上記電話システムの基地局から、アンテナ２１を介して無線通信部２２が通話データを受信する。無線通信部２２は、受信データを復調して画像データ、音声データ及びその他の制御データに分離する。得られた画像データはバスＢを介して投影画像駆動部２３に送られる。
【００２１】
投影画像駆動部２３は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子２４を表示駆動する。
【００２２】
このマイクロミラー素子２４は、アレイ状に配列された複数個の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。
【００２３】
一方で、光源部２５から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部２５は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部２５が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。
【００２４】
また、ＬＥＤから出射された光を蛍光体に照射することで励起される、元の光とは波長が異なる原色光を用いるものとしても良い。この光源部２５からの原色光が、ミラー２６で全反射して上記マイクロミラー素子２４に照射される。
【００２５】
そして、マイクロミラー素子２４での反射光で光像が形成され、形成された光像が上記投影レンズ部１１を介して、ここでは図示しない上記ミラーＭＲで反射された後にサイネージボードＳＢに投射される。
【００２６】
また、上記無線通信部２２で復調、分離された音声データは、バスＢを介して音声処理部２７へ送信される。この音声処理部２７は、例えばＰＣＭ音源などの音源回路を有し、送られてきた音声データに基づいてアナログの音声信号を再生して、上記スピーカ部ＳＰ，ＳＰより放音させる。
【００２７】
一方で、このテレビ電話装置１０での通話時に受話器となる上記マイクロホン部ＭＣ，ＭＣから入力されたアナログの音声信号は、上記音声処理部２７によりサンプリングされ、デジタルの音声データに変換、圧縮される。当該音声データは、バスＢを介して無線通信部２２よりアンテナ２１から通話相手先の装置に向けて送信される。
【００２８】
上記各回路の動作すべてをＣＰＵ２８が制御する。このＣＰＵ２８は、メインメモリ２９及びプログラムメモリ３０と直接接続される。メインメモリ２９は、例えばＳＲＡＭで構成され、ＣＰＵ２８のワークメモリとして機能する。プログラムメモリ３０は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２８が実行する動作プログラムや各種定型データ等を記憶する。
【００２９】
ＣＰＵ２８は、上記プログラムメモリ３０に記憶されている動作プログラムや定型データ等を読出し、メインメモリ２９に展開して記憶させた上で当該プログラムを実行することにより、このテレビ電話装置１０を統括して制御する。
【００３０】
上記ＣＰＵ２８は、操作部３１からの操作信号に応じて各種投影動作を実行する。この操作部３１は、テレビ電話装置１０の本体に備える、オンフックキー、オフフックキー、ダイヤルキー（テンキー、「＊」キー、「♯」キー）を含むいくつかの操作キーのキー操作信号を上記ＣＰＵ２８へ送出する。
【００３１】
上記ＣＰＵ２８はさらに、上記バスＢを介して撮影画像処理部３２、画像メモリ３３と接続される。  
撮影画像処理部３２は、上記撮影部ＩＭの一部を構成する撮影レンズ部３４の合焦位置に配置された固体撮像素子、例えばＣＭＯＳイメージセンサ３５を走査駆動して、テレビ電話装置１０の前方を撮影した画像信号を得る。
【００３２】
このＣＭＯＳイメージセンサ３５の出力する画像信号は、Ａ／Ｄ変換回路３６でデジタル化された後に上記撮影画像処理部３２に送られる。撮影画像処理部３２は、得られた画像データを適宜画像メモリ３３に一時的に保存し、後述する顔認識技術により画像中から人物の顔を認識してその範囲を切出すとともに、左右、前後のずれ量を検出する処理を実行する。
【００３３】
さらに撮影画像処理部３２は、切出した顔部分を含む画像データを圧縮してファイル化した上で、バスＢを介して上記無線通信部２２に送る。無線通信部２２では、ＣＰＵ２８の制御の下に、撮影画像処理部３２からの画像データを音声処理部２７からの音声データや制御データ等と同様に、通話相手側の装置に対して送信する。
【００３４】
次に上記実施形態の動作について説明する。  
なお以下に示す動作は、上述した如くＣＰＵ２８がプログラムメモリ３０から読出した動作プログラム等をメインメモリ２９に展開した上で実行するものである。プログラムメモリ３０に記憶される動作プログラム等は、このテレビ電話装置１０の工場出荷時にプログラムメモリ３０に記憶されていたもののみならず、ユーザがこのテレビ電話装置１０を購入後にバージョンアップ用のプログラム等をインストールした内容を含む。
【００３５】
図５は、待ち受け状態で、通話相手の装置から発呼がある場合のテレビ電話機能による受信処理の処理手順を示す。待ち受け状態においてＣＰＵ２８は、通話相手の装置からの発呼を受信したか否かを繰返し判断することにより（ステップＳ１０１）、発呼がなされるのを待機している。
【００３６】
そして発呼があった時点で受信ありと判断すると、ＣＰＵ２８は次に操作部３１のオフフックキーが操作されたか否かにより、このテレビ電話装置１０のユーザが発呼に応答したか否かを判断し、当該操作がなければ再び上記ステップＳ１０１からの待ち受け状態に戻る。
【００３７】
発呼された状態からユーザがオフフックキーを操作すると、ＣＰＵ２８はその操作を上記ステップＳ１０２で判断し、次にその時点で装着しているサイネージボードＳＢの形状情報を画像メモリ３３から読出して、無線通信部２２により通話相手の装置に送信する（ステップＳ１０３）。また、上記ステップＳ１０２でユーザがオフフックキーを操作し、通信相手装置から形状情報を付加されていた場合、形状情報を受信する。
【００３８】
その後にＣＰＵ２８は、撮影画像処理部３２によりＣＭＯＳイメージセンサ３５を走査駆動させて撮影動作を開始させる（ステップＳ１０４）。撮影画像処理部３２は、例えばＣＭＯＳイメージセンサ３５によりＶＧＡ（縦４８０画素×横６４０画素）の画像サイズ、３０［フレーム／秒］のフレームレートで動画撮影を開始し、得られる画像データを順次画像メモリ３３に保持する。
【００３９】
ここでＣＰＵ２８は、上記ステップＳ１０３でこのテレビ電話装置１０のサイネージボードＳＢの形状情報を送信したのと同様に、上記ステップＳ１０２でオフフックを判断した際に通話相手の装置から、画像を投影する対象に関する形状情報を受信したか否かを判断する（ステップＳ１０５）。
【００４０】
ここで通話相手の装置から形状情報を受信したと判断した場合、通話相手はこのテレビ電話装置１０と同様に不定形の投影対象を有しているものとして、受信した形状情報を設定する（ステップＳ１０６）。
【００４１】
また上記ステップＳ１０６で通話相手の装置から形状情報を受信していないと判断した場合、通話相手はこのテレビ電話装置１０などとは異なり、不定形の投影対象を有していないものとし、投影対象として矩形の形状を設定する（ステップＳ１０７）。
【００４２】
上記ステップＳ１０６またはＳ１０７での設定後、ＣＰＵ２８はその設定内容に基づいて通話相手の装置との通話処理を実行しながら（ステップＳ１０８）、操作部３１のオンフックキーが操作されたか否かを判断し（ステップＳ１０９）、操作されていなければ上記ステップＳ１０８からの通話処理を続行する。
【００４３】
こうしてステップＳ１０８，Ｓ１０９の処理を繰返し実行することで、通話動作を続行しながら、通話を打ち切るためのオンフックキーの操作がなされるのを待機する。
【００４４】
そしてオンフックキーが操作された時点で上記ステップＳ１０９に通話を打ち切ると判断し、通話を終了するとともに、次の待ち受け状態に移行するべく、上記ステップＳ１０１からの処理に戻る。
【００４５】
次に、図６によりこのテレビ電話装置１０側から発呼を行なう場合のテレビ電話機能による発信処理の処理手順を示す。その処理当初にＣＰＵ２８は、オフフックキーとダイヤルキーの操作による、通話相手を特定するための宛先入力がなされたか否かを繰返し判断することで（ステップＳ２０１）、発信処理の開始を待機する。
【００４６】
そして宛先が入力されたと判断した場合、ＣＰＵ２８はその時点で装着しているサイネージボードＳＢの形状情報を画像メモリ３３から読出し、通話相手を特定する電話番号の情報とともに無線通信部２２により送信する（ステップＳ２０２）。
【００４７】
その後にＣＰＵ２８は、通話回線が接続されて、通話相手の装置からの応答があるか否か（ステップＳ２０３）、オンフックキーが操作された否か（ステップＳ２０４）を繰り返し判断しながら、通話相手からの応答があるか、またはこのテレビ電話装置１０のユーザが通話の開始を諦めるかを待機する。
【００４８】
上記ステップＳ２０４でオンフックキーが操作されたと判断した場合、ＣＰＵ２８は通話の開始を諦めたものとして、再び上記ステップＳ２０１からの処理に戻る。
【００４９】
また上記ステップＳ２０３で通話相手の装置からの応答があったと判断した場合、ＣＰＵ２８は、撮影画像処理部３２によりＣＭＯＳイメージセンサ３５を走査駆動させて撮影動作を開始させる（ステップＳ２０５）。撮影画像処理部３２は、例えばＣＭＯＳイメージセンサ３５によりＶＧＡ（縦４８０画素×横６４０画素）の画像サイズ、３０［フレーム／秒］のフレームレートで動画撮影を開始し、得られる画像データを順次画像メモリ３３に保持する。また、上記ステップＳ２０３で通話相手の装置から応答があり、通信相手装置から形状情報を付加されていた場合、形状情報を受信する。
【００５０】
ここでＣＰＵ２８は、通話相手の装置から、画像を投影する対象に関する形状情報を受信したか否かを判断する（ステップＳ２０６）。
【００５１】
ここで通話相手の装置から形状情報を受信したと判断した場合、通話相手はこのテレビ電話装置１０と同様に不定形の投影対象を有しているものとして、受信した形状情報を設定する（ステップＳ２０７）。
【００５２】
また上記ステップＳ２０６で通話相手の装置から形状情報を受信していないと判断した場合、通話相手はこのテレビ電話装置１０などとは異なり、不定形の投影対象を有していない（矩形である）ものと判断し、投影対象として矩形の形状を設定する（ステップ２０８）。
【００５３】
上記ステップＳ２０７またはＳ２０８での設定後、ＣＰＵ２８はその設定内容に基づいて通話相手の装置との通話処理を実行しながら（ステップＳ２０９）、操作部３１のオンフックキーが操作されたか否かを判断し（ステップＳ２１０）、操作されていなければ上記ステップＳ２０９からの通話処理を続行する。
【００５４】
こうしてステップＳ２０９，Ｓ２１０の処理を繰返し実行することで、通話動作を続行しながら、通話を打ち切るためのオンフックキーの操作がなされるのを待機する。
【００５５】
そしてオンフックキーが操作された時点で上記ステップＳ２１０に通話を打ち切ると判断し、通話を終了するとともに、次の待ち受け状態に移行するべく、上記ステップＳ２０１からの処理に戻る。
【００５６】
次に図７により、上記図５のステップＳ１０８及び図６のステップＳ２０９における通話処理のサブルーチンの詳細な内容を説明する。
【００５７】
その当初にＣＰＵ２８は、上記無線通信部２２を介して通話相手の装置から受信した音声データに基づく音声を音声処理部２７によりスピーカ部ＳＰ，ＳＰから、投影画像駆動部２３により画像データに基づく投影画像を投影レンズ部１１からそれぞれ出力させる（ステップＳ３０１）。
【００５８】
その後、ＣＰＵ２８はまず上記マイクロホン部ＭＣ，ＭＣから入力した音声に基づく、圧縮した音声データファイルを通話相手の装置に向けて無線通信部２２より送信させる（ステップＳ３０２）。
【００５９】
次にＣＰＵ２８は、通話相手の装置から得た形状情報及び画像サイズに合致するように画像データを作成し、画像データファイル化して通話相手の装置に向けて無線通信部２２より送信させる（ステップＳ３０３）。
【００６０】
ここでＣＰＵ２８は、上記送信した画像データの次に送信する、まだ上記切り出し処理を行なっていない画像データに対して顔認識処理を実行し、当該処理が完了するのを待機する（ステップＳ３０４）。
【００６１】
そして、上記ステップＳ３０４で顔認識処理を終えたと判断した時点で、次にＣＰＵ２８は認識した顔部分の領域から下側に続く、人物の胴体領域の検出を行なう（ステップＳ３０５）。
【００６２】
この顔領域以外の人物の領域の算出に関して、ＣＰＵ２８はテレビ電話装置１０の設置位置において撮影部ＩＭから得られる、人物等の一時的な被写体が存在しない状態での画像データを定期的に取得することで予め画像メモリ３３に背景画像のデータとして記憶しておき、テレビ電話機能時の撮影部ＩＭでの撮影画像と比較することで、顔認識した領域以外の人物の領域を判断するものとしても良い。
【００６３】
こうして得た人物の顔領域と顔以外の領域とにより、通話相手の装置において自己の画像を正しい位置で表示させるための、左右のずれ報知処理（ステップＳ３０６）と、前後のずれ報知処理（ステップＳ３０７）とを実行し、必要な報知処理を上記サイネージボードＳＢでの投影画像に重畳して実行した上で、この図７のサブルーチンを終了し、メインルーチンの上記図５の受信処理または図６の発信処理に復帰する。
【００６４】
図８は、上記図７のステップＳ３０６での左右のずれに対する報知処理の詳細を示すサブルーチンである。その処理当初にＣＰＵ２８は、上記画像中の人物の領域が、通話相手の装置の表示部で表示可能な範囲から予め設定された閾値により設定した、ずれた位置がぎりぎりであることを注意喚起する注意線を超えているか否かを判断する（ステップＳ４０１）。
【００６５】
図１０は、通話相手の装置から取得する、相手側の装置のサイネージボードＳＢの形状を簡易的に模したものであり、人物の顔に相当する領域と、その下部の領域とをそれぞれ矩形で表している。各領域において、左右各端の数％、例えば当該領域の横幅の各１５％の位置を注意線ＡＬとして、上記認識により注意線ＡＬを超えているか否かを判断する。
【００６６】
このステップＳ４０１において上記画像中の人物の領域が注意線ＡＬを超えていないと判断した場合、ＣＰＵ２８は上記画像中の人物の領域が上記注意線ＡＬで挟まれる中央の領域に収まっており、左右のずれは生じておらず報知を行なう必要はないものとして、この図８の処理を終了する。
【００６７】
また上記ステップＳ４０１で上記画像中の人物の領域が注意線ＡＬを超えていると判断した場合、次にＣＰＵ２８は上記画像中の人物の領域が表示部で表示可能な範囲からも外れているか否かにより、通話相手の装置の表示枠をはみ出しているか否かを判断する（ステップＳ４０２）。
【００６８】
ここで画像中の人物の領域が通話相手の装置の表示枠をはみ出していると判断した場合、ＣＰＵ２８ははみ出している位置を認識した上で、当該位置に応じた警告となる画像を上記投影画像駆動部２３で重畳させて、自装置におけるサイネージボードＳＢ上で投影させ（ステップＳ４０３）、以上でこの図８の処理を終了する。
【００６９】
このときＣＰＵ２８は、例えばテレビ電話装置１０のサイネージボードＳＢにおいて、通話相手の装置のユーザの画像を投影させるとともに、はみ出していると判断した顔の領域、及び顔以外の領域の位置と方向とに応じて、当該画像上の上記図１０で示した注意線ＡＬより外側に相当する領域を警告色、例えば赤色を重畳して投影させる。
【００７０】
したがって、このテレビ電話装置１０のユーザは、サイネージボードＳＢで投影される通話相手の画像の顔の領域あるいはそれ以外の領域の辺部が赤色に染まって投影されることにより、自身の撮影画像が通話相手側ではみ出てしまっていることを、きわめて視覚的に理解することができる。
【００７１】
また上記ステップＳ４０２で上記画像中の人物の領域が表示部で注意線ＡＬは超えているものの、表示可能な範囲からは外れておらず、通話相手の装置の表示枠ははみ出していないと判断した場合、ＣＰＵ２８は注意線ＡＬを超えている位置を認識した上で、当該位置に応じた注意となる画像を上記投影画像駆動部２３で重畳させて、自装置におけるサイネージボードＳＢ上で投影させ（ステップＳ４０４）、以上でこの図８の処理を終了する。
【００７２】
このときＣＰＵ２８は、例えばテレビ電話装置１０のサイネージボードＳＢにおいて、通話相手の装置のユーザの画像を投影させるとともに、注意線ＡＬを超えている判断した顔の領域、及び顔以外の領域の位置と方向とに応じて、当該画像上の上記図１０で示した注意線ＡＬより外側に相当する領域を注意色、例えば黄色を重畳して投影させる。
【００７３】
したがって、このテレビ電話装置１０のユーザは、サイネージボードＳＢで投影される通話相手の画像の顔の領域あるいはそれ以外の領域の辺部が黄色に染まって投影されることにより、自身の撮影画像が通話相手側ではみ出しそうになっていることを、きわめて視覚的に理解することができる。
【００７４】
次に、図９により上記図７のステップＳ３０７での前後のずれに対する報知処理の詳細を示すサブルーチンについて説明する。その処理当初にＣＰＵ２８は、上記画像中の人物の領域が、通話相手の装置の表示部で表示可能な範囲から予め設定された閾値により設定した、ずれた位置がぎりぎりであることを注意喚起する上側の注意線を超えているか否かを判断する（ステップＳ５０１）。
【００７５】
図１１は、通話相手の装置から取得する、相手側の装置のサイネージボードＳＢの形状を簡易的に模したものであり、人物の顔に相当する領域と、その下部の領域とをそれぞれ矩形で表している。各領域において、上端の数％、例えば当該領域の縦幅の上側各１５％の位置を上側の注意線ＡＬとして、上記認識により上側の注意線ＡＬを超えているか否かにより、このテレビ電話装置１０のユーザが上記撮影部ＩＭに対して近付き過ぎているか否かを判断する。
【００７６】
このステップＳ５０１において上記画像中の人物の領域が上側の注意線ＡＬを超えていないと判断した場合、ＣＰＵ２８は上記画像中の人物の領域が顔の領域と顔以外の領域の双方でともに近付き過ぎてはいないものとして、次に上記画像中の人物の領域が、通話相手の装置の表示部で表示可能な範囲から予め設定された閾値により設定した、ずれた位置がぎりぎりであることを注意喚起する下側の注意線を超えているか否かを判断する（ステップＳ５０１）。
【００７７】
上記図１１において、人物の顔に相当する領域においては、下端から数％、例えば当該領域の縦幅の下側１５％の位置を下側の注意線ＡＬとしている。また、人物の顔以外の下方の領域においては、例えば略中央の高さ位置を下側の注意線ＡＬとしている。
【００７８】
これら各下側の注意線ＡＬに対し、ＣＰＵ２８は人物の認識結果からそれら各下側の注意線ＡＬの少なくとも一方を跨がってしまっているか否かにより、このテレビ電話装置１０のユーザが上記撮影部ＩＭから離れ過ぎているか否かを判断する（ステップＳ５０５）。
【００７９】
ここでＣＰＵ２８が各領域において下側の注意線ＡＬに人物の認識結果が跨がっておらず、このテレビ電話装置１０のユーザが上記撮影部ＩＭから離れ過ぎてもいないと判断した場合、前後のずれは生じておらず報知を行なう必要はないものとして、この図９の処理を終了する。
【００８０】
また上記ステップＳ５０５で各領域の少なくとも一方において下側の注意線ＡＬに人物の認識結果が跨がっており、このテレビ電話装置１０のユーザが上記撮影部ＩＭから離れ過ぎていると判断した場合、ＣＰＵ２８は相手の装置で小さく表示されているため、ＣＰＵ２８は上記各領域で下側の注意線ＡＬより下部に注意を促す画像を上記投影画像駆動部２３で重畳させて、自装置におけるサイネージボードＳＢ上で投影させ（ステップＳ５０６）、以上でこの図９の処理を終了する。
【００８１】
このときＣＰＵ２８は、例えばテレビ電話装置１０のサイネージボードＳＢにおいて、通話相手の装置のユーザの画像を投影させるとともに、顔領域と顔以外の領域の双方において、下側の注意線ＡＬよりさらに下側の領域を注意色、例えば黄色を重畳して投影させる。
【００８２】
したがって、このテレビ電話装置１０のユーザは、サイネージボードＳＢで投影される通話相手の画像の顔の領域あるいはそれ以外の領域の下側が黄色に染まって投影されることにより、自身の撮影画像が小さく映っているいることを、きわめて視覚的に理解することができる。
【００８３】
また、上記ステップＳ５０１で上記画像中の人物の領域が上側の注意線ＡＬを超えていると判断した場合、次にＣＰＵ２８は上記画像中の人物の領域が表示部で表示可能な範囲の上側からも外れているか否かにより、通話相手の装置の上側の表示枠をはみ出しているか否かを判断する（ステップＳ５０２）。
【００８４】
ここで画像中の人物の領域が通話相手の装置の上側の表示枠をはみ出していると判断した場合、ＣＰＵ２８は近付き過ぎに対する警告となる画像を上記投影画像駆動部２３で重畳させて、自装置におけるサイネージボードＳＢ上で投影させ（ステップＳ５０３）、以上でこの図９の処理を終了する。
【００８５】
このときＣＰＵ２８は、例えばテレビ電話装置１０のサイネージボードＳＢにおいて、通話相手の装置のユーザの画像を投影させるとともに、はみ出していると判断した顔の領域、及び顔以外の領域の各上側の注意線ＡＬより上の領域を警告色、例えば赤色を重畳して投影させる。
【００８６】
したがって、このテレビ電話装置１０のユーザは、サイネージボードＳＢで投影される通話相手の画像の顔の領域及びそれ以外の領域の上辺部が赤色に染まって投影されることにより、自身の撮影画像が通話相手側で近付き過ぎにより上側ではみ出てしまっていることを、きわめて視覚的に理解することができる。
【００８７】
また上記ステップＳ５０２で上記画像中の人物の領域が表示部で上側の注意線ＡＬは超えているものの、表示可能な範囲の上側からは外れておらず、通話相手の装置の上側の表示枠ははみ出していないと判断した場合、ＣＰＵ２８は上側の注意線ＡＬを超えている位置を認識した上で、近付き過ぎに対する注意となる画像を上記投影画像駆動部２３で重畳させて、自装置におけるサイネージボードＳＢ上で投影させ（ステップＳ５０４）、以上でこの図９の処理を終了する。
【００８８】
このときＣＰＵ２８は、例えばテレビ電話装置１０のサイネージボードＳＢにおいて、通話相手の装置のユーザの画像を投影させるとともに、上記図１１の顔の領域、及び顔以外の領域の各上側の注意線ＡＬに相当する位置より上方の領域を注意色、例えば黄色を重畳して投影させる。
【００８９】
したがって、このテレビ電話装置１０のユーザは、サイネージボードＳＢで投影される通話相手の画像の顔の領域あるいはそれ以外の領域の上辺部が黄色に染まって投影されることにより、自身の撮影画像が通話相手側で近付き過ぎてはみ出しそうになっていることを、きわめて視覚的に理解することができる。
【００９０】
以上詳述した如く本実施形態によれば、テレビ電話機能時にユーザがどの位置にいれば自分の画像が正しく通話相手に送信されるのかを簡易に把握することが可能となる。
【００９１】
また上記実施形態では、撮影した遊佐自身の画像から顔認識処理を行なって顔の領域とそれ以外の領域を認識した上でずれを検出するようにしたので、より正確にずれの検出を行なうことができる。
【００９２】
さらに上記実施形態によれば、表示または投影する画像内で、ずれている位置、方向及び度合いの少なくともいずれかに応じた視覚的な報知を行なうことにより、ユーザによって理解し易く、即時ずれを補正するための動作に移行できるようになる。
【００９３】
なお、上記実施形態では、ずれの方向と度合いにより、対応する方向の領域を注意色としての黄色、警告色としての赤色を重畳して表示または投影する場合について例示したが、本発明はそのような報知内容に限らず、例えばずれを生じている位置をスポット状に着色した画像（ずれが長い範囲に渡るときは複数の連続したスポット）で表現するものとしてもよく、あるいは、ずれを補正するための移動方向を矢印の画像を重畳することで表現しても良い。
【００９４】
上記矢印の画像を重畳する場合、ずれの大きさにより矢印の色や画像上での大きさを変化することで、その度合いを表現することができる。
【００９５】
また、前後のずれに関しては文字で注意や警告を報知してもよい。
【００９６】
また、左右のずれと前後のずれの注意や警告の報知方法を変更、例えば左右のずれは注意色や警告色を用いて報知し、前後のずれは文字で報知する、するような構成としてもよく、こうすることでユーザはどのように移動すればよいか分かりやすくなる。
【００９７】
また上記実施形態は、ＤＬＰ（登録商標）方式の投影を行なうデジタルサイネージ装置を利和したテレビ電話装置に適用した場合について説明したが、投影の方式や装置等を限定するものではない。
【００９８】
さらに、例えばスマートフォンのような通信端末でテレビ電話機能による通話を行なう場合にも、把持しているスマートフォンの向きが傾いてしまうことを同様の処理により表現でき、ユーザに対してスマートフォンの傾きを変え、あるいはスマートフォンの遠近位置を変えることを指示できる。
【００９９】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【０１００】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
請求項１記載の発明は、通信先の装置から画像データを受信する受信手段と、上記受信手段で受信した画像データに応じた画像を表示する表示手段と、送信すべき画像のデータを取得する画像取得手段と、上記画像取得手段で取得した画像のデータにより、画像中の被写体位置のずれを検出するずれ検出手段と、上記ずれ検出手段で検出したずれに応じ、上記表示手段で表示している画像内で報知する報知手段とを備えることを特徴とする。
【０１０１】
請求項２記載の発明は、上記請求項１記載の発明において、上記ずれ検出手段は、画像中から顔認識処理に基づいて被写体位置のずれを検出することを特徴とする。
【０１０２】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記報知手段は、上記表示手段で表示する画像内で、ずれている位置、方向及び度合いの少なくとも１つに応じた報知を行なうことを特徴とする。
【０１０３】
請求項４記載の発明は、上記請求項１記載の発明において、背景画像を取得する背景画像取得手段と、上記背景画像と比較することで被写体位置を検出する被写体位置検出手段とを備え、上記ずれ検出手段は、上記被写体位置検出手段の検出結果に基づいて画像中のずれを検出することを特徴とする。
【０１０４】
請求項５記載の発明は、上記請求項１乃至４いずれか記載の発明において、上記通信先の装置は、投影パネルを備えた投影装置であって、上記送信すべき画像のデータは上記投影パネルの形状に加工され、上記ずれ検出手段は、上記投影パネルに投影される上記送信すべき画像に対して、被写体位置のずれを検出することを特徴とする。
【０１０５】
請求項６記載の発明は、上記請求項１乃至５いずれか記載の発明において、上記通信先装置に表示される送信すべき画像の表示枠に対して、注意線を設定する注意線設定手段をさらに備え、上記ずれ検出手段は、上記注意線と上記被写体の位置に基づいてずれを検出することを特徴とする。
【０１０６】
請求項７記載の発明は、上記請求項１乃至６いずれか記載の発明において、上記ずれ検出手段は、左右方向のずれと前後方向のずれとを検出することを特徴とする。
【０１０７】
請求項８記載の発明は、上記請求項７記載の発明において、上記報知手段は、上記左右方向のずれと前後方向のずれとで異なる報知を行なうことを特徴とする。
【０１０８】
請求項９記載の発明は、通信先の装置から画像データを受信する受信工程と、上記受信工程で受信した画像データに応じた画像を表示する表示工程と、送信すべき画像のデータを取得する画像取得工程と、上記画像取得工程で取得した画像のデータにより、画像中の被写体位置のずれを検出するずれ検出工程と、上記ずれ検出工程で検出したずれに応じ、上記表示工程で表示している画像内で報知する報知工程とを有したことを特徴とする。
【０１０９】
請求項１０記載の発明は、通信先の装置と画像のデータを送受する装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、通信先の装置から画像データを受信する受信手段、上記受信手段で受信した画像データに応じた画像を表示する表示手段、送信すべき画像のデータを取得する画像取得手段、上記画像取得手段で取得した画像のデータにより、画像中の被写体位置のずれを検出するずれ検出手段、及び上記ずれ検出手段で検出したずれに応じ、上記表示手段で表示している画像内で報知する報知手段として機能させることを特徴とする。
【符号の説明】
【０１１０】
１０…テレビ電話装置、１０Ａ…装置筐体、１１…投影レンズ部、１２…フレネルレンズシート、１３…リヤプロジェクトスクリーン、１４…透明ボード、２１…アンテナ、２２…無線通信部、２３…投影画像駆動部、２４…マイクロミラー素子、２５…光源部、２６…ミラー、２７…音声処理部、２８…ＣＰＵ、２９…メインメモリ、３０…プログラムメモリ、３１…操作部、３２…撮影画像処理部、３３…画像メモリ、３４…撮影レンズ部、３５…ＣＭＯＳイメージセンサ、３６…Ａ／Ｄ変換回路、ＡＬ…注意線、Ｂ…バス、ＩＭ…撮影部、ＭＣ…マイクロホン部、ＭＲ…ミラー、ＰＡ…投影可能領域、ＳＡ…スクリーン投影領域、ＳＢ…サイネージボード、ＳＰ…スピーカ部。
【図１】
2015119424.tif 000003
【図２】
2015119424.tif 000004
【図３】
2015119424.tif 000005
【図４】
2015119424.tif 000006
【図５】
2015119424.tif 000007
【図６】
2015119424.tif 000008
【図７】
2015119424.tif 000009
【図８】
2015119424.tif 000010
【図９】
2015119424.tif 000011
【図１０】
2015119424.tif 000012
【図１１】
2015119424.tif 000013