(57)【要約】      （修正有）【課題】相手側通信装置への表示対象として切り出す画像領域を容易に決定できるようにする通信装置、通信システム、画像切り出し方法及びプログラムを提供する。【解決手段】各デジタルサイネージ装置１の制御部２３は、音声取得部３１により取得された音声の方向を検出し、検出された音声の方向に基づいて、画像形成部に対向している通話参加者の撮影画像から切り出す画像領域を決定し、決定された画像領域を撮影画像から切り出して通信部２６により相手側のデジタルサイネージ装置１に送信する。【選択図】図２
2015159461.tif 000002
【特許請求の範囲】
【請求項１】
相手側の通信装置と画像及び音声を送受信する通信装置であって、
前記相手側の通信装置に送信するための画像を撮影する撮影手段と、
音声を取得する音声取得手段と、
前記音声取得手段により取得された音声の方向を検出する検出手段と、
前記検出された音声の方向に基づいて前記撮影手段により取得された撮影画像から切り出す画像領域を決定する決定手段と、
を備える通信装置。
【請求項２】
前記決定された画像領域を前記撮影画像から切り出す切り出し手段と、
前記切り出された画像領域を前記相手側の通信装置に送信する送信制御手段と、
を備える請求項１に記載の通信装置。
【請求項３】
前記決定手段は、前記撮影画像における前記検出された音声の方向に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項１又は２に記載の通信装置。
【請求項４】
前記検出手段は、前記音声取得手段の周囲の予め定められた範囲を複数の方向によって分割し、その分割した複数の範囲毎の音声の大きさのレベルを検出し、
前記決定手段は、前記撮影画像を前記分割した複数の範囲に対応する複数の領域に分割し、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項２に記載の通信装置。
【請求項５】
前記決定手段は、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域から顔領域が認識されなかった場合に、その領域に隣接する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項４に記載の通信装置。
【請求項６】
前記送信制御手段は、前記検出手段により検出された前記複数の範囲毎の音声の大きさのレベルを示す情報を前記取得された音声とともに前記相手側の通信装置に送信し、
前記相手側の通信装置で音声の検出を行った前記複数の範囲のそれぞれに対応して設けられた複数の音声出力手段と、
前記複数の音声出力手段のそれぞれに、前記相手側の通信装置から受信した音声をその音声出力手段に対応する範囲の音声の大きさのレベルに応じた音量で出力させる音声出力制御手段と、
を備える請求項４又は５に記載の通信装置。
【請求項７】
前記相手側の通信装置から受信した画像を表示する表示手段と、
前記表示手段に対向している人物の移動方向を検出する移動検出手段を備え、
前記送信制御手段は、前記移動検出手段により検出された移動方向の情報を前記相手側の通信装置に送信し、
前記決定手段は、前記相手側の通信装置から受信した前記移動方向の情報に基づいて特定される前記相手側の通信装置の表示手段に対向している人物の移動方向が、前記検出手段により検出された前記音声の大きさのレベルが最も大きい範囲に対応する方向である場合に、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項６に記載の通信装置。
【請求項８】
前記移動検出手段は、更に、前記表示手段に対向している人物の移動量を検出し、
前記送信制御手段は、前記移動検出手段により検出された移動方向及び移動量の情報を前記相手側の通信装置に送信し、
前記決定手段は、前記相手側の通信装置から受信した移動方向の情報に基づいて特定される前記相手側の通信装置の表示手段に対向している人物の移動方向が、前記検出手段により検出された前記音声の大きさのレベルが最も大きい範囲に対応する方向であり、かつ、その移動量が前記音声の大きさのレベルが最も大きい範囲に応じて予め定められた閾値を超えている場合に、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項７に記載の通信装置。
【請求項９】
画像及び音声を送受信する複数の通信装置が通話回線により接続可能な通信システムであって、
前記通信装置のそれぞれは、
相手側の通信装置から受信した画像を表示する表示手段と、
前記相手側の通信装置に送信するための画像を撮影する撮影手段と、
音声を取得する音声取得手段と、
前記音声取得手段により取得された音声の方向を検出する検出手段と、
前記検出された音声の方向に基づいて前記撮影手段により取得された撮影画像から切り出す画像領域を決定する決定手段と、
前記決定された画像領域を前記撮影画像から切り出す切り出し手段と、
前記切り出された画像領域を前記相手側の通信装置に送信する送信制御手段と、
を備える通信システム。
【請求項１０】
相手側の通信装置と画像及び音声を送受信する通信装置における画像切り出し方法であって、
前記相手側の通信装置に送信するための画像を撮影する工程と、
音声を取得する工程と、
前記取得された音声の方向を検出する工程と、
前記検出された音声の方向に基づいて前記撮影手段により取得された撮影画像から切り出す画像領域を決定する工程と、
を含む画像切り出し方法。
【請求項１１】
相手側の通信装置に送信するための画像を撮影する撮影手段及び音声を取得する音声取得手段を備え、相手側の通信装置と画像及び音声を送受信する通信装置に用いられるコンピュータを、
前記音声取得手段により取得された音声の方向を検出する検出手段、
前記検出された音声の方向に基づいて、前記撮影手段により取得された撮影画像から切り出す画像領域を決定する決定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信装置、通信システム、画像切り出し方法及びプログラムに関する。
【背景技術】
【０００２】
従来、映像供給装置に接続される映像出力装置と、反射部材と、スクリーンとを有し、映像出力装置からコンテンツを投影する出力光を反射部材によって反射し、この反射部材によって反射された出力光を当該コンテンツの輪郭の形状に形成されたスクリーンに投影することにより、閲覧者に対して印象を高めた表示を行うことができる映像出力装置搭載機器が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の映像出力装置搭載機器では、コンテンツ表示用に表示対象の人物等の画像（静止画像やできるだけ動かないで撮影した動画像）を撮影し、それに合わせて表示手段としてのスクリーンを作成していた。そのため、このような装置は、ビデオ通話用の通信装置として相手側の通信装置から送られてくる話者の画像を表示するには適さなかった。特に、スクリーンには一人の画像しか表示されないため、例えば、通話に参加している人物が複数人である場合、どの人を表示対象として切り出すのかが問題となる。
【０００５】
本発明の課題は、相手側通信装置への表示対象として切り出す画像領域を容易に決定できるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明は、
相手側の通信装置と画像及び音声を送受信する通信装置であって、
前記相手側の通信装置に送信するための画像を撮影する撮影手段と、
音声を取得する音声取得手段と、
前記音声取得手段により取得された音声の方向を検出する検出手段と、
前記検出された音声の方向に基づいて前記撮影手段により取得された撮影画像から切り出す画像領域を決定する決定手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、相手側通信装置への表示対象として切り出す画像領域を容易に決定することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態における通信システムの全体構成例を示す図である。
【図２】図１のデジタルサイネージ装置の機能的構成を示すブロック図である。
【図３】図２のスクリーン部の概略構成を示す図である。
【図４】図２の制御部により実行される通話処理を示すフローチャートである。
【図５】（ａ）は、音声を検出する際に複数の方向によって分割された範囲を示す図、（ｂ）は、撮影画像における音声を検出する際に分割された範囲のそれぞれに対応する領域を示す図である。
【図６】覗き込み動作を説明するための図である。
【図７】図２の制御部により実行される移動検出処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
［通信システム１００の構成］
図１は、本発明の実施形態における通信システム１００の全体構成を示す図である。図１に示すように、通信システム１００は、複数のデジタルサイネージ装置１が通信ネットワークＮを介して接続可能に構成されている。なお、本実施形態においては、通信ネットワークＮはインターネットであることとして説明するが、これに限定されず、例えば、電話回線としてもよい。
【００１１】
［デジタルサイネージ装置１の構成］
図２は、本実施形態における通信装置としてのデジタルサイネージ装置１の主制御構成を示すブロック図である。デジタルサイネージ装置１は、通信ネットワークＮを介して他のデジタルサイネージ装置１とのビデオ通話が可能である。
【００１２】
図２に示すように、デジタルサイネージ装置１は、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。
【００１３】
まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図１に示すように制御部２３に接続されている。
【００１４】
制御部２３は、記憶部２５に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、検出手段、決定手段、切り出し手段、送信制御手段、音声出力制御手段として機能する。また、撮像部３０との協働により移動検出手段として機能する。
【００１５】
プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２の背面に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。
【００１６】
記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図１に示すように、プログラム記憶部２５１、電話帳記憶部２５２等が設けられている。
【００１７】
プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
電話帳記憶部２５２には、予め登録された電話番号と名前とが対応付けて記憶されている。
【００１８】
通信部２６は、モデム、ルータ、ネットワークカード等により構成され、外部機器との通信を行う。
【００１９】
次に、スクリーン部２２について説明する。
図３は、スクリーン部２２の概略構成を示す正面図である。図３に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。
【００２０】
画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。この画像形成部２７は、表示手段を構成している。
【００２１】
画像形成部２７の上部には、例えばカメラなどの撮像部３０が設けられている。この撮像部３０が画像形成部２７に対向する空間の画像を撮影して撮影画像を生成し、制御部２３に出力する。撮像部３０は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサであり、光学系を通過した光学像を２次元の画像信号に変換する。撮像部３０は、撮影手段として機能する。
【００２２】
台座２８には、音声取得部３１と、操作部３２と、音声出力部３３と、が設けられている。
【００２３】
音声取得部３１は、指向性マイクロフォンを複数備え、各マイクロフォンにより音声を取得して電気信号に変換し、制御部２３に出力する。
【００２４】
操作部３２には、発信ボタン３２ａ、応答ボタン３２ｂ、通話終了ボタン３２ｃ、操作パネル３２ｄ等が設けられている。発信ボタン３２ａは、ビデオ通話の発信を指示するためのボタンである。応答ボタン３２ｂは、ビデオ通話への応答を指示するためのボタンである。通話終了ボタン３２ｃは、ビデオ通話の終了を指示するためのボタンである。操作パネル３２ｄは、ＬＣＤ（Liquid Crystal Display）等の表示部と、ＬＣＤの表面を覆うように透明電極を格子状に配置したタッチパネルとにより構成され、電話帳記憶部２５２に記憶されている電話帳等を表示して、手指等により選択された電話番号の位置情報を検出して制御部２３に出力する。
【００２５】
音声出力部３３は、音声出力手段としてのスピーカ３３ａ〜３３ｅを備え、制御部２３からの指示に従って音声を出力する。
【００２６】
撮像部３０、音声取得部３１、操作部３２、音声出力部３３は、図２に示すように制御部２３に接続されている。
【００２７】
［通信システム１００の動作］
次に、通信システム１００のデジタルサイネージ装置１におけるビデオ通話動作について説明する。
何れかのデジタルサイネージ装置１において、操作パネル３２ｄによりビデオ通話の相手先の電話番号が選択され、発信ボタン３２ａが押下されると、制御部２３は、通信部２６により通信ネットワークＮを介して相手先のデジタルサイネージ装置１に接続要求を送信する。
相手先のデジタルサイネージ装置１において、通信部２６により接続要求が着信（受信）されると、制御部２３は、着信を通知するための着信音を音声出力部３３に出力させる。応答ボタン３２ｂが押下されると、制御部２３は、通信部２６により通信ネットワークＮを介して発信元に接続応答を送信する。これにより、２つのデジタルサイネージ装置１間でセッションが確立し、通話回線が接続され、ビデオ通話状態となる。ビデオ通話状態では、後述する通話処理が実行され、発信側及び受信側の通話参加者は、それぞれのデジタルサイネージ装置１の画像形成部２７に対向して画像形成部２７に写っている相手側の通話参加者を見ながら通話を行う。
【００２８】
通話回線が接続された何れかのデジタルサイネージ装置１において、通話終了ボタン３２ｃが押下されると、制御部２３は、通信部２６により通信ネットワークＮを介して回線切断要求を相手先のデジタルサイネージ装置１に送信する。相手先のデジタルサイネージ装置１に回線切断応答が届いた時点でセッションが終了し、通話回線が切断される。
【００２９】
図４に、ビデオ通話状態において発信側及び受信側のデジタルサイネージ装置１において実行される通話処理のフローチャートを示す。通話処理は、デジタルサイネージ装置１のそれぞれにおいて、制御部２３と記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。
【００３０】
なお、本願において「切り出す」とは、実際に領域を切り出すことの他、相手側のデジタルサイネージ装置１において切り出し対象の領域を特定可能とすることを含み、例えば、切り出し対象の領域以外の領域を黒に置き換えたり、切り出し対象の領域の位置情報を撮影画像に対応付けたりすることを含むものとする。
【００３１】
まず、制御部２３は、撮像部３０により撮影画像を取得させ（ステップＳ１）、取得された撮影画像に基づいて通話参加者の初期位置を取得する処理を行う（ステップＳ２）。具体的には、取得された撮影画像から顔領域を認識し、認識された顔領域が１つの場合にはその顔領域の中心を通話参加者の初期位置としてメモリに記憶する。顔領域が複数認識された場合は、撮影画像の最も中心に近い位置から検出された顔領域の中心を通話参加者の初期位置としてメモリに記憶する。なお、顔領域の認識及び顔領域を含む人物領域の認識は、公知の画像処理技術を用いて行うことができるので説明を省略する。
【００３２】
次いで、制御部２３は、通信部２６により相手側画像及び／又は相手側音声が受信されたか否かを判断する（ステップＳ３）。ここで、相手側画像は、相手側のデジタルサイネージ装置１で撮影された画像（即ち、相手側のデジタルサイネージ装置１の画像形成部２７に対向している通話参加者の撮影画像）のうち、一の通話参加者を表示対象としてその通話参加者の領域を切り出した画像である。
【００３３】
通信部２６により相手側画像及び／又は相手側音声が受信されていないと判断した場合（ステップＳ３；ＮＯ）、制御部２３は、ステップＳ５の処理に移行する。通信部２６により相手側画像及び／又は相手側音声が受信されたと判断した場合（ステップＳ３；ＹＥＳ）、制御部２３は、受信した相手側画像を画像形成部２７の形状に合うようにフィッティングしてプロジェクタ２４により画像形成部２７に表示（投影）させるとともに、受信した相手側音声を音声出力部３３により出力させ（ステップＳ４）、ステップＳ５の処理に移行する。
【００３４】
ここで、通信システム１００において、各デジタルサイネージ装置１の制御部２３は、後述するステップＳ８において、図５（ａ）に示すように、音声取得部３１の周囲の予め定められた範囲（前側１８０°の範囲）を複数（ここでは５つ）の方向によって分割し、その分割した複数の範囲毎の音声の大きさのレベル（以下、音声レベルという）を検出する。そして、後述するステップＳ９で説明するように、相手側のデジタルサイネージ装置１に音声を送信する場合には、上記複数の範囲毎の音声レベルを示す情報を合わせて送信する。即ち、相手側のデジタルサイネージ装置１からは、音声とともに、音声の検出を行った複数の範囲毎、即ち、方向毎の音声レベルを示す情報が送信されてくる。そこで、制御部２３は、ステップＳ４において音声を出力する際には、音声の検出を行った複数の範囲のそれぞれの音声レベルに基づいて、スピーカ３３ａ〜３３ｅから出力する音量に偏りを持たせて調整して出力する。具体的には、スピーカ３３ａ〜３３ｅは、それぞれ相手側のデジタルサイネージ装置１において音声を検出した複数の範囲（範囲１〜５）に対応しており、制御部２３は、音声レベルが大きい範囲に対応するスピーカほど受信した音声を大きい音量で出力させる。
【００３５】
ステップＳ５において、制御部２３は、撮像部３０により撮影画像を取得させ（ステップＳ５）、移動検出処理を実行する（ステップＳ６）。
ここで、上述のように、例えば、相手側の通話参加者が複数人であり、中心でない位置にいる人物が話者となった場合、ステップＳ４においては、話者が存在する範囲の方向に対応するスピーカから大きな音声が出力されることとなる。そうすると、画像形成部２７には相手側の通話参加者のうち一人の画像しか表示されないため、画像形成部２７の前にいる自装置側の通話参加者は、少なくとも顔（頭）を移動させてより大きな音声が出力されている方向にいる人物を覗き込む動作を行ってその方向の人物を見ようとする。
そこで、ステップＳ６においては移動検出処理を行って、ステップＳ５で取得した撮影画像に基づいて、画像形成部２７に対向している通話参加者（複数人の場合は、撮影画像の中心に顔領域の中心が最も近い通話参加者）の顔の中心がステップＳ１において取得した初期位置から移動したか否かを検出する。移動が検出された場合は、覗き込み動作があったことを示す情報として初期位置からの移動量及び移動方向を示す角度変更情報（詳細後述）を相手側のデジタルサイネージ装置１に送信することで、相手側のデジタルサイネージ装置１で表示対象の領域を切り出す際に、音声の方向（音声レベルが最も大きい範囲）に存在する通話参加者（即ち、話者）が切り出されるようにする。
なお、本実施形態においては、図６に示すように、画像形成部２７の右側（画像形成部２７を見ている人物Ａから見て左側）から大きな声が聞こえた場合、人物Ａは少なくとも顔を右側に移動させて覗き込み動作を行うことを前提として説明するが、これに限定されるものではない。
【００３６】
図７に、ステップＳ６において実行される移動検出処理のフローチャートを示す。移動検出処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。
【００３７】
まず、制御部２３は、撮像部３０により取得された撮影画像から顔領域を認識し、認識した顔領域の中心位置を検出する（ステップＳ６０１）。複数の顔領域が認識された場合は、撮影画像の中心に最も近い顔領域の中心位置を検出する。ここでは、ステップＳ２で初期位置が取得された通話参加者の顔領域の中心位置を検出している。
【００３８】
次いで、制御部２３は、検出した顔の中心位置とメモリに記憶されている初期位置に基づいて、通話参加者（初期位置が取得された通話参加者）の移動が検出されたか否かを判断する（ステップＳ６０２）。具体的には、制御部２３は、検出した顔の中心位置とメモリに記憶されている初期位置がずれている場合に、通話参加者が移動したことを検出する。
【００３９】
通話参加者の移動が検出されたと判断した場合（ステップＳ６０２；ＹＥＳ）、制御部２３は、初期位置に対する検出した顔の中心位置の上下、左右方向のそれぞれの成分のずれ量（移動量）を、初期位置、撮像部３０のレンズの中心、及びステップＳ６０１で検出した顔の中心位置の３点で形成される角度θとして算出し、角度変更情報として取得する（ステップＳ６０３）。なお、上下方向の角度θは、上方向への移動の場合をプラス、下方向への移動の場合をマイナスとする。左右方向の角度θは、撮像部３０からみて右方向への移動の場合をプラス、左方向への移動の場合をマイナスとする。各方向の角度θは、撮影画像上の中心及び各位置の座標、撮影画像のサイズや画角等に基づいて求めることができる。
【００４０】
そして、制御部２３は、通信部２６により角度変更情報を相手側のデジタルサイネージ装置１に送信し（ステップＳ６０４）、移動検出処理を終了し、図４のステップＳ７に移行する。
【００４１】
一方、通話参加者の移動が検出されていないと判断した場合（ステップＳ６０２；ＮＯ）、制御部２３は、移動なしを通知する情報を通信部２６により相手側のデジタルサイネージ装置１に送信し（ステップＳ６０５）、移動検出処理を終了し、図４のステップＳ７に移行する。
【００４２】
図４のステップＳ７において、制御部２３は、音声取得部３１の各マイクロフォンにより音声信号を取得させ（ステップＳ７）、取得された音声信号に基づいて音声の方向を検出し（ステップＳ８）、取得された音声信号に基づく音声データと方向毎の音声レベルを示す情報を通信部２６により相手側のデジタルサイネージ装置１に送信する（ステップＳ９）。
ここで、ステップＳ８において、制御部２３は、音声取得部３１の各マイクロフォンにより取得された音声信号に基づいて、例えば、図５（ａ）に示すように音声取得部３１を中心として周囲１８０°（前面側）の範囲を方向によって複数（ここでは５つ）の範囲に分割した各範囲毎の音声レベルを検出する。そして、最も音声レベルの大きい範囲の方向を音声の方向として検出する。なお、音声の方向を検出する際に分割する範囲の数は、音声取得部３１の指向性マイクロフォンの数等に基づいて決定される。
【００４３】
次いで、制御部２３は、所定値（所定の音声レベル）以上の音声が取得されたか否かを判断する（ステップＳ１０）。所定値以上の音声が取得されたと判断した場合（ステップＳ１０；ＹＥＳ）、制御部２３は、ステップＳ５で取得された撮影画像を音声の検出を行った複数の範囲に対応するように分割する（ステップＳ１１）。
【００４４】
例えば、図５（ａ）に示すように音声の方向を検出した範囲が範囲１〜５である場合、撮影画像は、図５（ｂ）に示すように、範囲１〜５のそれぞれに対応する（範囲１〜５のそれぞれが写る）領域１〜領域５に分割される。なお、下部に示す数値は、各分割領域１〜５の範囲を撮像部３０のレンズの中心を０°とした角度で示したものであるが、一例であり、これに限定されるものではない。
【００４５】
次いで、制御部２３は、撮影画像における、音声の方向に対応する、即ち、音声レベルの最も大きい範囲に対応する分割領域に顔認識処理を行い、顔領域が含まれているか否かを判断する（ステップＳ１２）。音声の方向に対応する撮影画像の分割領域に顔領域が含まれていると判断した場合（ステップＳ１２；ＹＥＳ）、制御部２３は、ステップＳ１４に移行する。音声の方向に対応する撮影画像の分割領域に顔領域が含まれていないと判断した場合（ステップＳ１２；ＮＯ）、制御部２３は、この分割領域に隣接した分割領域に顔認識処理を行い、隣接した分割領域に顔領域があるか否かを判断する（ステップＳ１３）。隣接した分割領域に顔領域があると判断した場合（ステップＳ１３；ＹＥＳ）、制御部２３は、ステップＳ１４の処理に移行する。
【００４６】
ステップＳ１４において、制御部２３は、音声の方向に対応する分割領域又はその隣接領域（音声の方向に対応する分割領域に顔領域が存在しない場合）から認識された顔領域を含む人物領域を切り出し位置候補として決定し、メモリに記憶する（ステップＳ１４）。なお、顔領域が複数認識された場合は、何れか一つ、例えば、撮影画像の中心に近い顔領域を含む人物領域を切り出し位置候補として決定する。
【００４７】
次いで、制御部２３は、通信部２６により相手側のデジタルサイネージ装置１から角度変更情報が受信されたか否かに基づいて、相手側の通話参加者が覗き込み動作を行ったか否かを判断する（ステップＳ１５）。相手側のデジタルサイネージ装置１から角度変更情報が受信された場合、相手側の通話参加者が覗き込み動作を行ったと判断する。
【００４８】
相手側の通話参加者が覗き込み動作を行ったと判断した場合（ステップＳ１５；ＹＥＳ）、制御部２３は、受信した角度変更情報に基づいて、覗き込みの方向が切り出し位置候補を含む分割領域に対応する方向であるか否かを判断する（ステップＳ１６）。
例えば、左右方向の角度変更情報がプラスである場合、撮影画像における切り出し位置候補を含む分割領域が領域４又は領域５である場合に、覗き込みの方向が切り出し位置候補を含む分割領域に対応する方向であると判断される。左右方向の角度変更情報がマイナスである場合、撮影画像における切り出し位置候補を含む分割領域が領域１又は領域２である場合に、覗き込みの方向が切り出し位置候補を含む分割領域に対応する方向であると判断される。
【００４９】
覗き込みの方向が切り出し位置候補を含む分割領域に対応する方向であると判断した場合（ステップＳ１６；ＹＥＳ）、制御部２３は、覗き込みの角度（即ち、移動量）が切り出し位置候補を含む分割領域に到達しているか否かを判断する（ステップＳ１７）。
例えば、相手側のデジタルサイネージ装置１から受信した角度変更情報における左右方向の角度θが、撮影画像における切り出し位置候補を含む分割領域の範囲内に相当する角度か又は分割領域の範囲内の角度を超えている場合は、覗き込みの角度が切り出し位置候補を含む分割領域に到達していると判断する。例えば、切り出し位置候補を含む分割領域が音声の方向に対応する分割領域である場合、覗き込みの角度が音声の方向に対応する分割領域の最小角度（０に近いほうの角度）を超える場合に、覗き込みの角度が切り出し位置候補を含む分割領域に到達していると判断する。
【００５０】
覗き込みの角度が切り出し位置候補を含む分割領域に到達していると判断した場合（ステップＳ１７；ＹＥＳ）、制御部２３は、切り出し位置候補を切り出し位置として決定し（ステップＳ１８）、ステップＳ２０に移行する。
【００５１】
一方、ステップＳ１０において、音声レベルが所定値以上の音声がないと判断した場合（ステップＳ１０；ＮＯ）、ステップＳ１３において、隣接した分割領域に顔領域が存在しないと判断した場合（ステップＳ１３；ＮＯ）、ステップＳ１５において、相手側の通話参加者の覗き込み動作がないと判断した場合（ステップＳ１５；ＮＯ）、ステップＳ１６において、覗き込みの方向が切り出し位置候補を含む分割領域に対応する方向ではないと判断した場合（ステップＳ１６；ＮＯ）、又は、ステップＳ１７において、覗き込みの角度が切り出し位置候補を含む分割領域に到達していないと判断した場合（ステップＳ１７；ＮＯ）、制御部２３は、撮影画像の中心に最も近い人物の領域（撮影画像の中心に最も中心が近い顔領域を含む人物領域）を切り出し位置として決定し（ステップＳ１９）、ステップＳ２０に移行する。
【００５２】
ステップＳ２０において、制御部２３は、撮影画像から決定された切り出し位置の画像を切り出して通信部２６により相手側のデジタルサイネージ装置１に送信し（ステップＳ２０）、ステップＳ３の処理に戻る。
相手側のデジタルサイネージ装置１との通信が切断されるまで、制御部２３はステップＳ３〜ステップＳ２０の処理を繰り返し実行する。
【００５３】
以上説明したように、通信システム１００によれば、デジタルサイネージ装置１のそれぞれの制御部２３は、音声取得部３１により取得された音声の方向を検出し、検出された音声の方向に基づいて、画像形成部２７に対向している通話参加者の撮影画像から切り出す画像領域を決定し、決定された画像領域を撮影画像から切り出して通信部２６により相手側のデジタルサイネージ装置１に送信する。
【００５４】
従って、相手側のデジタルサイネージ装置１への表示対象として切り出す画像領域を音声の方向に基づいて容易に決定することが可能となる。
【００５５】
具体的に、制御部２３は、撮影画像における検出された音声の方向に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を撮影画像から切り出す領域として決定する。
更に具体的には、制御部２３は、音声取得部３１の周囲の予め定められた範囲を複数の方向によって分割し、その分割した複数の範囲毎の音声の大きさのレベルを検出し、撮影画像を分割した複数の範囲に対応する複数の領域に分割する。そして、撮影画像における音声レベルが最も大きい範囲に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を撮影画像から切り出す領域として決定する。
従って、音声の方向に対応する領域に存在する人物領域、即ち、話者の領域を相手側のデジタルサイネージ装置１への表示対象として切り出す画像領域に容易に決定することが可能となる。
【００５６】
また、制御部２３は、撮影画像における音声の大きさのレベルが最も大きい範囲に対応する領域から顔領域が認識されなかった場合に、その領域に隣接する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を撮影画像から切り出す領域として決定する。従って、音声の方向から人物が検出されなくても隣接する領域の人物を切り出す領域として決定することが可能となる。
【００５７】
また、各デジタルサイネージ装置１は、相手側のデジタルサイネージ装置１で音声の検出を行った複数の範囲のそれぞれに対応して設けられた複数のスピーカ３３ａ〜３３ｅを有し、制御部２３は、スピーカ３３ａ〜３３ｅのそれぞれに対し、相手側のデジタルサイネージ装置１から受信した音声を対応する範囲の音声の大きさのレベルに応じた音量で出力させる。従って、相手側のデジタルサイネージ装置１で取得された音声の方向に応じて偏りを持たせて音声を再生することが可能となる。
【００５８】
また、各デジタルサイネージ装置１は、画像形成部２７に対向している通話参加者の移動方向及び移動量を検出し、検出された移動方向及び移動量の情報を相手側のデジタルサイネージ装置１に送信する。従って、相手側のデジタルサイネージ装置１に対し、通話参加者が覗き込み動作を行ったことを知らせることができる。
また、各デジタルサイネージ装置１は、相手側のデジタルサイネージ装置１の通話参加者の移動方向が、自装置の音声取得部３１により取得された音声の大きさのレベルが最も大きい範囲に対応する方向であり、かつ、移動量が音声の方向に応じて予め定められた閾値を超えている場合に、撮影画像における音声の大きさのレベルが最も大きい範囲に対応する領域に含まれる人物の画像領域を撮影画像から切り出す領域として決定する。従って、相手側が覗き込み動作等を行って、音声の方向に対応する話者への表示対象の切り替えを望んだ場合に、表示対象を音声の方向に応じて切り替えることができる。
【００５９】
なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。
【００６０】
例えば、上記実施形態においては、検出された音声の方向への覗き込み動作があり、かつ、覗き込みの角度が音声の方向に応じた閾値を超えている場合（覗き込みの角度が音声の方向に対応する分割領域に到達している場合）に、撮影画像における音声の方向に対応する分割領域に存在する人物領域を切り出し位置として決定することとしたが、これに限定されない。例えば、覗き込み動作の有無にかかわらず、単に、検出された音声の方向に対応する分割領域に存在する人物領域を切り出し位置として決定することとしてもよい。また、覗き込み動作の方向が音声の方向に対応している場合に、検出された音声の方向に対応する分割領域に存在する人物領域を切り出し位置として決定することとしてもよい。このようにしても、相手側が覗き込み動作等を行って、音声の方向に対応する話者への表示対象の切り替えを望んだ場合に、表示対象を音声の方向に応じて切り替えることができる。
【００６１】
また、上記実施形態においては、撮影画像における音声の方向に対応する分割領域から顔領域が認識されない場合、隣接する分割領域に存在する顔領域を切り出し位置候補とすることとしたが、音声の方向に対応する分割領域から顔領域が認識されない場合、音声レベルの高い順に他の分割領域から顔領域を認識し、認識された顔領域を切り出し位置候補とすることとしてもよい。
また、上記実施形態においては、撮影画像における音声の方向に対応する分割領域で顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を撮影画像から切り出す領域として決定したが、顔領域を含むようにスクリーン部２２の形状に合わせて切り出す領域としてもよい。
【００６２】
また、上記実施形態においては、本発明をプロジェクタからスクリーンに画像を投影することで画像の表示を行うデジタルサイネージ装置に適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等、他の表示装置に適用しても同様の効果を奏することができ、この例に限定されない。
【００６３】
その他、通信システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【００６４】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
相手側の通信装置と画像及び音声を送受信する通信装置であって、
前記相手側の通信装置に送信するための画像を撮影する撮影手段と、
音声を取得する音声取得手段と、
前記音声取得手段により取得された音声の方向を検出する検出手段と、
前記検出された音声の方向に基づいて前記撮影手段により取得された撮影画像から切り出す画像領域を決定する決定手段と、
を備える通信装置。
＜請求項２＞
前記決定された画像領域を前記撮影画像から切り出す切り出し手段と、
前記切り出された画像領域を前記相手側の通信装置に送信する送信制御手段と、
を備える請求項１に記載の通信装置。
＜請求項３＞
前記決定手段は、前記撮影画像における前記検出された音声の方向に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項１又は２に記載の通信装置。
＜請求項４＞
前記検出手段は、前記音声取得手段の周囲の予め定められた範囲を複数の方向によって分割し、その分割した複数の範囲毎の音声の大きさのレベルを検出し、
前記決定手段は、前記撮影画像を前記分割した複数の範囲に対応する複数の領域に分割し、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項２に記載の通信装置。
＜請求項５＞
前記決定手段は、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域から顔領域が認識されなかった場合に、その領域に隣接する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項４に記載の通信装置。
＜請求項６＞
前記送信制御手段は、前記検出手段により検出された前記複数の範囲毎の音声の大きさのレベルを示す情報を前記取得された音声とともに前記相手側の通信装置に送信し、
前記相手側の通信装置で音声の検出を行った前記複数の範囲のそれぞれに対応して設けられた複数の音声出力手段と、
前記複数の音声出力手段のそれぞれに、前記相手側の通信装置から受信した音声をその音声出力手段に対応する範囲の音声の大きさのレベルに応じた音量で出力させる音声出力制御手段と、
を備える請求項４又は５に記載の通信装置。
＜請求項７＞
前記相手側の通信装置から受信した画像を表示する表示手段と、
前記表示手段に対向している人物の移動方向を検出する移動検出手段を備え、
前記送信制御手段は、前記移動検出手段により検出された移動方向の情報を前記相手側の通信装置に送信し、
前記決定手段は、前記相手側の通信装置から受信した前記移動方向の情報に基づいて特定される前記相手側の通信装置の表示手段に対向している人物の移動方向が、前記検出手段により検出された前記音声の大きさのレベルが最も大きい範囲に対応する方向である場合に、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項６に記載の通信装置。
＜請求項８＞
前記移動検出手段は、更に、前記表示手段に対向している人物の移動量を検出し、
前記送信制御手段は、前記移動検出手段により検出された移動方向及び移動量の情報を前記相手側の通信装置に送信し、
前記決定手段は、前記相手側の通信装置から受信した移動方向の情報に基づいて特定される前記相手側の通信装置の表示手段に対向している人物の移動方向が、前記検出手段により検出された前記音声の大きさのレベルが最も大きい範囲に対応する方向であり、かつ、その移動量が前記音声の大きさのレベルが最も大きい範囲に応じて予め定められた閾値を超えている場合に、前記撮影画像における前記音声の大きさのレベルが最も大きい範囲に対応する領域に顔認識処理を行い、顔領域が認識された場合に、当該認識された顔領域を含む人物の画像領域を前記撮影画像から切り出す領域として決定する請求項７に記載の通信装置。
＜請求項９＞
画像及び音声を送受信する複数の通信装置が通話回線により接続可能な通信システムであって、
前記通信装置のそれぞれは、
相手側の通信装置から受信した画像を表示する表示手段と、
前記相手側の通信装置に送信するための画像を撮影する撮影手段と、
音声を取得する音声取得手段と、
前記音声取得手段により取得された音声の方向を検出する検出手段と、
前記検出された音声の方向に基づいて前記撮影手段により取得された撮影画像から切り出す画像領域を決定する決定手段と、
前記決定された画像領域を前記撮影画像から切り出す切り出し手段と、
前記切り出された画像領域を前記相手側の通信装置に送信する送信制御手段と、
を備える通信システム。
＜請求項１０＞
相手側の通信装置と画像及び音声を送受信する通信装置における画像切り出し方法であって、
前記相手側の通信装置に送信するための画像を撮影する工程と、
音声を取得する工程と、
前記取得された音声の方向を検出する工程と、
前記検出された音声の方向に基づいて前記撮影手段により取得された撮影画像から切り出す画像領域を決定する工程と、
を含む画像切り出し方法。
＜請求項１１＞
相手側の通信装置に送信するための画像を撮影する撮影手段及び音声を取得する音声取得手段を備え、相手側の通信装置と画像及び音声を送受信する通信装置に用いられるコンピュータを、
前記音声取得手段により取得された音声の方向を検出する検出手段、
前記検出された音声の方向に基づいて、前記撮影手段により取得された撮影画像から切り出す画像領域を決定する決定手段、
として機能させるためのプログラム。
【符号の説明】
【００６５】
１  デジタルサイネージ装置
２１  投影部
２２  スクリーン部
２３  制御部
２４  プロジェクタ
２５  記憶部
２５１  プログラム記憶部
２５２  電話帳記憶部
２６  通信部
２７  画像形成部
２８  台座
２９  透光板
３０  撮像部
３１  音声取得部
３２  操作部
３３  音声出力部
【図１】
2015159461.tif 000003
【図２】
2015159461.tif 000004
【図３】
2015159461.tif 000005
【図４】
2015159461.tif 000006
【図５】
2015159461.tif 000007
【図６】
2015159461.tif 000008
【図７】
2015159461.tif 000009