(57)【要約】表示部の表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした構成を実現する。表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、表示ユーザとともに表示部に出力する表示画像生成部を有する。表示画像生成部は、会話ペア識別情報として、会話ペアを構成する表示ユーザから会話ペアを構成する視聴ユーザに向かう矢印やアイコン、顔周囲枠や顔サイドライン、あるいは仮想視点背景画像等を生成し、生成した会話ペア識別情報を表示ユーザに併せて表示部に表示する。
2017141584.tif 000002
【特許請求の範囲】
【請求項１】
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する表示画像生成部を有する情報処理装置。
【請求項２】
前記情報処理装置は、
データ送受信部を介して前記表示ユーザの画像データを入力し、
前記表示画像生成部は、前記表示ユーザの画像データ上に、前記会話ペア識別情報を重畳して表示する請求項１に記載の情報処理装置。
【請求項３】
前記表示画像生成部は、
会話ペア判定情報を入力し、入力した会話ペア判定情報に基づいて、会話ペアを構成する表示ユーザと、視聴ユーザを判別し、
会話ペアを構成する表示ユーザと、会話ペアを構成する視聴ユーザを識別可能とした会話ペア識別情報を前記表示部に出力する請求項１に記載の情報処理装置。
【請求項４】
前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザから会話ペアを構成する視聴ユーザに向かう矢印を生成し、生成した矢印を、表示部に表示される会話ペア構成表示ユーザの近傍に表示する請求項１に記載の情報処理装置。
【請求項５】
前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する視聴ユーザを識別可能なアイコンを生成し、生成したアイコンを、表示部に表示される会話ペアを構成する表示ユーザの近傍に表示する請求項１に記載の情報処理装置。
【請求項６】
前記情報処理装置は、
データ送受信部を介して前記会話ペア判定情報を入力し、
前記表示画像生成部は、
データ送受信部を介して入力した会話ペア判定情報に基づいて、会話ペアを構成する表示ユーザと、視聴ユーザを判別する請求項３に記載の情報処理装置。
【請求項７】
前記会話ペア判定情報は、
前記表示ユーザの画像と前記視聴ユーザの画像を利用して生成される情報である請求項３に記載の情報処理装置。
【請求項８】
前記表示画像生成部は、
会話ペアを構成する表示ユーザの顔画像に基づいて生成される正面顔画像を、前記会話ペア識別情報とともに表示部に表示する請求項１に記載の情報処理装置。
【請求項９】
前記表示画像生成部は、
会話ペアを構成する視聴ユーザの視点から観察される背景の仮想視点画像を表示部に表示する請求項１に記載の情報処理装置。
【請求項１０】
前記表示画像生成部は、
会話ペアを構成する視聴ユーザの位置の変化に応じて変更される視点に基づいて、前記仮想視点画像の視点を逐次更新し、更新した仮想視点画像を表示部に表示する請求項９に記載の情報処理装置。
【請求項１１】
前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の周囲に、会話ペアを構成する視聴ユーザ方向に傾斜する輪郭を有する顔周囲枠を生成し、生成した顔周囲枠を、表示部に表示される会話ペアを構成する表示ユーザの顔の周囲に表示する請求項１に記載の情報処理装置。
【請求項１２】
前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の周囲に、会話ペアを構成する視聴ユーザ方向に傾斜するラインからなる顔サイドラインを生成し、生成した顔サイドラインを、表示部に表示される会話ペアを構成する表示ユーザの顔の両サイドに表示する請求項１に記載の情報処理装置。
【請求項１３】
前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の周囲に、会話ペアを構成する視聴ユーザ方向に傾斜するライン上に配列されたマークを生成し、生成したマークを、表示部に表示される会話ペアを構成する表示ユーザの顔の両サイドに表示する請求項１に記載の情報処理装置。
【請求項１４】
前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の輝度を、会話ペアを構成する視聴ユーザ方向に応じて変化させた陰影補正顔画像として生成し、生成した陰影補正顔画像を表示部に表示する請求項１に記載の情報処理装置。
【請求項１５】
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを判定する会話ペア判定部を有し、
前記会話ペア判定部は、
前記表示ユーザを撮影した第１画像データと、前記視聴ユーザを撮影した第２画像データを入力し、各画像の解析により会話ペアを構成する表示ユーザと視聴ユーザのペアを示す会話ペア判定情報を生成する情報処理装置。
【請求項１６】
画像送信を実行する送信装置と、前記送信装置の送信画像を受信し、表示部に表示する受信装置を有する情報処理システムであり、
前記送信装置は、
前記受信装置の表示部に表示する表示ユーザ画像と、
どの表示ユーザが、前記表示部を見る複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを示す会話ペア判定情報を送信し、
前記受信装置は、
前記会話ペア判定情報に基づいて、どの表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する情報処理システム。
【請求項１７】
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
表示部に対する表示画像を生成する表示画像生成部を有し、
前記表示画像生成部が、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する情報処理方法。
【請求項１８】
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
表示部に対する表示画像を生成する表示画像生成部を有し、
前記プログラムは、前記表示画像生成部に、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えばネットワークを介した双方向通信により画像、音声を送信し、双方向コミュニケーションを実行する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ネットワークを介した双方向通信により画像、音声を送受信するテレビ会議システム等の双方向コミュニケーションシステムは、様々な分野で利用されている。
昨今では、高精細の大型ディスプレイが多く利用され、また、ネットワークを介して通信される画像、音声の品質も向上しており、ディスプレイに表示された遠隔のユーザとのコミュニケーションを、あたかもその場にいるような感覚で行うことが可能となっている。【０００３】
しかし、このような、双方向コミュニケーションシステムにおける問題点として、表示部（ディスプレイ）に表示される会議参加者等のユーザの視線方向が、実際にユーザが見ている方向と一致しないという問題がある。【０００４】
これは、ユーザ（会議参加者）を撮影するカメラが、ある１つの視点からの撮影画像であることに起因する。相手型の表示装置には、１つのカメラ視点から撮影された画像が表示される。
しかし、カメラ視点と異なる方向から表示画像を見ている視聴ユーザがいる場合、この視聴ユーザは、表示部に表示されたユーザの視点方向に違和感を持つことになる。【０００５】
特に、表示部の前に複数人のユーザ（例えば、会議参加者）がいる場合、この問題が顕著となる。
表示部の前に複数の視聴者がいる場合、表示部の表示画像を撮影したカメラの位置に相当する位置にいるユーザは違和感のない画像を観察することができる。しかし、表示部の表示画像を撮影したカメラの位置に相当する位置とは異なる位置にいるユーザは、表示部に表示された相手方のユーザ（会議参加者）の視線が、本来とは全く異なって見えてしまうことがある。【０００６】
このような表示画像を見る視聴ユーザは、表示ユーザが誰に話しかけているのか分からなくなってしまうという問題が発生する。【０００７】
なお、このような問題を解決する構成を開示した従来技術として、例えば、特許文献１（特許３１３９１００号公報）、特許文献２（特許３２３８９７３０号公報）、特許文献３（特開２０１２−０７００８１号公報）、特許文献４（特開２０１４−０９６７０１号公報）、特許文献５（特開２０１２−０８８５３８号公報）等がある。【０００８】
しかし、これらの従来技術において開示されている方法は、参加者の数に応じたカメラが必要な構成や、特殊なディスプレイを利用することが必要な構成、あるいは画像に含まれる顔の眼の画像を補正して視線方向を変化させる特殊な画像処理が必要となる等の構成を有し、コスト高や処理の複雑化が発生するという問題がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許３１３９１００号公報
【特許文献２】特許３２３８９７３０号公報
【特許文献３】特開２０１２−０７００８１号公報
【特許文献４】特開２０１４−０９６７０１号公報
【特許文献５】特開２０１２−０８８５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本開示は、例えば、上述の問題点に鑑みてなされたものであり、例えば、双方向コミュニケーションシステムにおいて利用される表示部（ディスプレイ）の表示画像に表示されるコミュニケーション参加ユーザ（表示ユーザ）が、表示部を見ている視聴ユーザ中の誰に向かって話をしているのかを容易に判別可能とした情報処理装置、撮像装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本開示の第１の側面は、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する表示画像生成部を有する情報処理装置にある。【００１２】
さらに、本開示の第２の側面は、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを判定する会話ペア判定部を有し、
前記会話ペア判定部は、
前記表示ユーザを撮影した第１画像データと、前記視聴ユーザを撮影した第２画像データを入力し、各画像の解析により会話ペアを構成する表示ユーザと視聴ユーザのペアを示す会話ペア判定情報を生成する情報処理装置にある。【００１３】
さらに、本開示の第３の側面は、
画像送信を実行する送信装置と、前記送信装置の送信画像を受信し、表示部に表示する受信装置を有する情報処理システムであり、
前記送信装置は、
前記受信装置の表示部に表示する表示ユーザ画像と、
どの表示ユーザが、前記表示部を見る複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを示す会話ペア判定情報を送信し、
前記受信装置は、
前記会話ペア判定情報に基づいて、どの表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する情報処理システムにある。【００１４】
さらに、本開示の第４の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
表示部に対する表示画像を生成する表示画像生成部を有し、
前記表示画像生成部が、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する情報処理方法にある。【００１５】
さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
表示部に対する表示画像を生成する表示画像生成部を有し、
前記プログラムは、前記表示画像生成部に、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する処理を実行させるプログラムにある。【００１６】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。【００１７】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１８】
本開示の一実施例の構成によれば、表示部の表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした構成が実現される。
具体的には、表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、表示ユーザとともに表示部に出力する表示画像生成部を有する。表示画像生成部は、会話ペア識別情報として、会話ペアを構成する表示ユーザから会話ペアを構成する視聴ユーザに向かう矢印やアイコン、顔周囲枠や顔サイドライン、あるいは仮想視点背景画像等を生成し、生成した会話ペア識別情報を表示ユーザに併せて表示部に表示する。
本構成により、表示部に表示される表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１９】
【図１】双方向コミュニケーションシステムについて説明する図である。
【図２】双方向コミュニケーションシステムについて説明する図である。
【図３】表示部に表示される画像の問題点について説明する図である。
【図４】表示部に表示される画像の問題点について説明する図である。
【図５】表示部に表示される画像の問題点の解決例について説明する図である。
【図６】表示部に表示される画像の問題点の解決例について説明する図である。
【図７】本開示の実施例１の情報処理装置の実行する処理例について説明する図である。
【図８】本開示の実施例１の情報処理装置の実行する処理例について説明する図である。
【図９】本開示の実施例１の情報処理装置の実行する処理例について説明する図である。
【図１０】本開示の実施例１の情報処理装置の実行する処理例について説明する図である。
【図１１】本開示の実施例１の情報処理装置の構成例について説明する図である。
【図１２】本開示の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１３】本開示の情報処理装置の実行する処理シーケンスを説明するフローチャートを示す図である。
【図１４】本開示の実施例２の情報処理装置の構成例について説明する図である。
【図１５】本開示の実施例３の情報処理装置の構成例について説明する図である。
【図１６】本開示の実施例４の情報処理装置の構成例について説明する図である。
【図１７】本開示の実施例４の情報処理装置の表示画像生成部の構成例について説明する図である。
【図１８】本開示の実施例４の情報処理装置の実行する処理例について説明する図である。
【図１９】本開示の実施例５の情報処理装置の構成例について説明する図である。
【図２０】本開示の実施例５の情報処理装置の表示画像生成部の構成例について説明する図である。
【図２１】会話ペア識別情報として顔周囲枠を使用した例について説明する図である。
【図２２】会話ペア識別情報として顔周囲枠を使用した場合の情報処理装置の処理シーケンスを説明するフローチャートを示す図である。
【図２３】会話ペア識別情報として顔周囲枠を使用した場合の情報処理装置の処理の具体例を説明する図である。
【図２４】会話ペア識別情報として顔サイドラインを使用した例について説明する図である。
【図２５】会話ペア識別情報として顔サイドラインを使用した場合の情報処理装置の処理シーケンスを説明するフローチャートを示す図である。
【図２６】会話ペア識別情報として顔サイドラインを使用した場合の情報処理装置の処理の具体例を説明する図である。
【図２７】会話ペア識別情報として顔サイドボックスを使用した例について説明する図である。
【図２８】会話ペア識別情報として顔サイド球体を使用した例について説明する図である。
【図２９】会話ペア識別情報として顔サイドボックス（または球体）を使用した場合の情報処理装置の処理シーケンスを説明するフローチャートを示す図である。
【図３０】会話ペア識別情報として顔サイドボックス（または球体）を使用した場合の情報処理装置の処理の具体例を説明する図である。
【図３１】会話ペア識別情報として背景のパース変換を利用した例について説明する図である。
【図３２】会話ペア識別情報として背景のパース変換を利用した場合の情報処理装置の処理シーケンスを説明するフローチャートを示す図である。
【図３３】会話ペア識別情報として背景のパース変換を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図３４】会話ペア識別情報として背景のパース変換を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図３５】会話ペア識別情報として背景のパース変換を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図３６】会話ペア識別情報として背景のパース変換を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図３７】会話ペア識別情報として背景のパース変換を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図３８】会話ペア識別情報として顔の陰影補正を利用した例について説明する図である。
【図３９】会話ペア識別情報として顔の陰影補正を利用した場合の情報処理装置の処理シーケンスを説明するフローチャートを示す図である。
【図４０】会話ペア識別情報として顔の陰影補正を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図４１】会話ペア識別情報として顔の陰影補正を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図４２】会話ペア識別情報として顔の陰影補正を利用した場合の情報処理装置の処理の具体例を説明する図である。
【図４３】情報処理装置のハードウェアの構成例について説明する図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．双方向コミュニケーションシステムの構成の概要と問題点について
２．（実施例１）本開示の実施例１の情報処理装置の構成と処理について
２−１．情報処理装置の実行する処理について
２−２．情報処理装置の構成例について
３．（実施例２）双方のロケーションの表示部に会話ペア識別情報を表示する双方向処理システムの実施例
４．（実施例３）正面顔画像を表示可能とした実施例
５．（実施例４）背景画像と人物画像を補正して表示する実施例
６．（実施例５）背景画像と人物画像を補正して表示する処理において、視聴ユーザの位置をトラッキングして補正画像を更新する実施例
７．会話ペア識別情報の具体例について
７−１．（１）会話ペア識別情報として顔周囲枠を利用した例について
７−２．（２）会話ペア識別情報として顔サイドラインを利用した例について
７−３．（３）会話ペア識別情報として顔サイドボックス（または球体）を利用した例について
７−４．（４）会話ペア識別情報として背景画像のパース変換を利用した例について
７−５．（５）会話ペア識別情報として顔の陰影を利用した例について
８．情報処理装置のハードウェア構成例について
９．本開示の構成のまとめ
【００２１】
［１．双方向コミュニケーションシステムの構成の概要と問題点について］
まず、双方向コミュニケーションシステムの構成の概要と問題点について説明する。
図１は、双方向コミュニケーションシステム構成の一例を示す図である。
【００２２】
図１には、
（１）第１ロケーション
（２）第２ロケーション
これらの２つのロケーションの構成例を示している。
これら２つのロケーションは、各々離れた遠隔地にあり、各ロケーションにいるユーザ同士が、双方向コミュニケーションを行う。各ロケーションのシステム同士がネットワーク３０を介して接続されている。
【００２３】
第１ロケーションには、ユーザＡ，Ｂ，Ｃがいる。
また、第１ロケーションには、データ処理部１０と、データ処理部１０に接続された表示部（ディスプレイ）１１、カメラ１２、音声入出力部（マイク＆スピーカ）１３がある。
一方、第２ロケーションには、ユーザＤ，Ｅ，Ｆがいる。
また、第２ロケーションには、データ処理部２０と、データ処理部２０に接続された表示部（ディスプレイ）２１、カメラ２２、音声入出力部（マイク＆スピーカ）２３がある。
【００２４】
第１ロケーションのカメラ１２は、第１ロケーションのユーザＡ，Ｂ，Ｃを撮影し、撮影画像データが、データ処理部１０、ネットワーク３０を介して第２ロケーションのデータ処理部２０に送信される。
第２ロケーションのデータ処理部２０は、第１ロケーションからの受信画像を表示部２１に表示する。
【００２５】
また、第１ロケーションの音声入出力部（マイク＆スピーカ）１３は、第１ロケーションのユーザＡ，Ｂ，Ｃの発話等を取得し、取得音声データが、データ処理部１０、ネットワーク３０を介して第２ロケーションのデータ処理部２０に送信される。
第２ロケーションのデータ処理部２０は、第１ロケーションからの受信音声を、音声入出力部（マイク＆スピーカ）２３を介して出力する。
【００２６】
一方、第２ロケーションのカメラ２２は、第２ロケーションのユーザＤ，Ｅ，Ｆを撮影し、撮影画像データが、データ処理部２０、ネットワーク３０を介して第１ロケーションのデータ処理部１０に送信される。
第１ロケーションのデータ処理部１０は、第２ロケーションからの受信画像を表示部１１に表示する。
【００２７】
また、第２ロケーションの音声入出力部（マイク＆スピーカ）２３は、第２ロケーションのユーザＤ，Ｅ，Ｆの発話等を取得し、取得音声データが、データ処理部２０、ネットワーク３０を介して第１ロケーションのデータ処理部１０に送信される。
第１ロケーションのデータ処理部１０は、第２ロケーションからの受信音声を、音声入出力部（マイク＆スピーカ）１３を介して出力する。
【００２８】
このような処理により、第１ロケーションのユーザＡ，Ｂ，Ｃと、第２ロケーションのユーザＤ，Ｅ，Ｆは、遠隔地のユーザの画像と発話を表示部、スピーカを介して取得し、双方向コミュニケーションを行うことが可能となる。
【００２９】
図２に、双方向コミュニケーションシステムにおいて実現される１ちつのコミュニケーション環境例について説明する図を示す。
図２（１）は、第１ロケーション側のユーザＡ，Ｂ，Ｃと、表示部１１に表示される第２ロケーションのユーザＤ，Ｅ，Ｆを示す図である。
図２（２）は、第２ロケーション側のユーザＤ，Ｅ，Ｆと、表示部２１に表示される第１ロケーションのユーザＡ，Ｂ，Ｃを示す図である。
【００３０】
これらの各ロケーションでは、それぞれ、遠方のロケーションにいるユーザが、目の前にいるようなイメージ、すなわち、図２（３）に示すように１つの会議室にいるような感覚でコミュニケーションを行うことが可能となる。
【００３１】
しかし、このような双方向コミュニケーションシステムにおいて、表示部（ディスプレイ）に表示されるユーザの視線方向が、実際に見ている方向と一致しないという問題が発生する。
これは、各ロケーションでユーザを撮影するカメラが置かれた一つの視点からの撮影画像が、相手型の表示装置に表示されてしまうことが主な要因である。
特に、表示部の前に複数人のユーザ（例えば、会議参加者）がいる場合、この問題が顕著となる。
この問題点について、図３以下を参照して説明する。
【００３２】
図３は、図１、図２を参照して説明した双方向コミュニケーションシステムにおいて、各ロケーションの表示部に表示される表示画像の例を示す図である。
【００３３】
第１ロケーションの表示部１１には、第２ロケーションのユーザＤ，Ｅ，Ｆの画像が表示される。
この画像は、第２ロケーションのカメラ２２の撮影画像である。
一方、第２ロケーションの表示部２１には、第１ロケーションのユーザＡ，Ｂ，Ｃの画像が表示される。
この画像は、第１ロケーションのカメラ１２の撮影画像である。
【００３４】
ここで、第１ロケーションのユーザＣが、表示部１１に表示された第２ロケーションのユーザＤ，Ｅ，Ｆの中央のユーザＥを見て話を始めたとする。
表示部１１には、第２ロケーションのユーザＤ，Ｅ，Ｆが表示されており、ユーザＥは、表示部の水平方向の中央領域に表示されるため、ユーザＣは、表示部１１の中心方向（Ｐ２）を見て話をする。
なお、図３には、表示部１１の水平方向を示す位置識別子として、図の左側から識別子：Ｐ１，Ｐ２，Ｐ３を示している。
【００３５】
第１ロケーションのユーザＡ，Ｂ，Ｃを撮影するカメラ１２は、表示部の水平方向の中央領域（Ｐ２）に固定されている。
カメラ１２は、位置Ｐ２からの視点画像を撮影し、撮影画像が第２ロケーションの表示部２１に表示される。
【００３６】
第２ロケーションの表示部２１に表示される第１ロケーションのユーザＡ，Ｂ，Ｃは、図３に示すような設定となる。
第１ロケーションの発話ユーザＣは、表示部１１に表示されたユーザＥを見て話をしている。この視線方向は、カメラ１２の位置（Ｐ）に向いている。
すなわち、ユーザＣは、カメラ１２に視線を向けて話をしている状態であり、ユーザＣの画像は、カメラ１２に対する正面向きの画像として撮影される。
【００３７】
この結果、第２ロケーションの表示部２１に表示される第１ロケーションＣの画像は、正面を向いている画像となる。
すなわち、第２ロケーションの表示部２１の表示画像は、ユーザＣが、第２ロケーションのユーザＦに向かって話をしているような表示画像となる。
なお、実際の画像は、表示画像のユーザ視線に違和感がある程度であるが、図では、各ユーザの視線方向についての違和感を分かり易く表現するため、視線方向に併せて顔の向きを変更して示している。以下に示す他の図においても同様である。
【００３８】
このように、第１ロケーションのユーザＣは、第２ロケーションのユーザＥに対して話をしているにも関わらず、第２ロケーションのユーザＦは、第１ロケーションのユーザＣが、自分に対して話をしているように勘違いしてしまう。
【００３９】
このように、カメラの撮影視点の位置によって、表示部に表示される被写体の視線方向が決定されてしまうため、表示部の前に並ぶユーザの位置によっては、実際の視線方向とは、異なる視線方向の画像が観察されることになる。
【００４０】
図４は、誤った視線方向の画像が表示されるもう１つの例を示す図である。
第１ロケーションの表示部１１には、第２ロケーションのユーザＤ，Ｅ，Ｆの画像が表示される。
この画像は、第２ロケーションのカメラ２２の撮影画像である。
一方、第２ロケーションの表示部２１には、第１ロケーションのユーザＡ，Ｂ，Ｃの画像が表示される。
この画像は、第１ロケーションのカメラ１２の撮影画像である。
【００４１】
図４に示す例は、第１ロケーションのユーザＣが、表示部１１に表示された第２ロケーションのユーザＦを見て話をしている例である。
表示部１１には、第２ロケーションのユーザＤ，Ｅ，Ｆが表示されており、ユーザＦは、表示部１１のユーザＣの正面領域（Ｐ３）に表示されるため、ユーザＣは、表示部１１の正面（Ｐ３）を見て話をする。
【００４２】
第１ロケーションのユーザＡ，Ｂ，Ｃを撮影するカメラ１２は、表示部の水平方向の中央領域（Ｐ２）に固定されている。
カメラ１２は、位置Ｐ２からの視点画像を撮影し、撮影画像が第２ロケーションの表示部２１に表示される。
【００４３】
第２ロケーションの表示部２１に表示される第１ロケーションのユーザＡ，Ｂ，Ｃは、図３に示すような設定となる。
第１ロケーションの発話ユーザＣは、表示部１１に表示されたユーザＦを見て話をしている。この視線方向は、カメラ１２の位置（Ｐ）に向いていない。
すなわち、ユーザＣは、カメラ１２と異なる方向に視線を向けて話をしている状態であり、ユーザＣの画像は、カメラ１２と異なる方向に視線を向けた画像として撮影される。
【００４４】
この結果、第２ロケーションの表示部２１に表示される第１ロケーションＣの画像は、図に示すように、右方向（Ｆより外側）を向いている画像となる。
すなわち、第２ロケーションの表示部２１の表示画像は、ユーザＣが、第２ロケーションのユーザＦより外側を向いて話をしているような表示画像となる。
なお、前述したように、実際の画像は、表示画像のユーザ視線に違和感がある程度であるが、図では分かり易くするため、視線方向に併せて顔の向きを変更して示している。
【００４５】
このように、第１ロケーションのユーザＣは、第２ロケーションのユーザＦに対して話をしているにも関わらず、第２ロケーションのユーザＦは、第１ロケーションのユーザＣが、自分に対して話をしていないように勘違いしてしまう。
【００４６】
図３、図４を参照して説明したように、カメラの撮影視点の位置によって、表示部に表示される被写体の視線方向が決定されてしまう。
この視線方向は、カメラ視点から見た視線方向となる。
そのため、撮影画像を表示する表示部の前にいる視聴ユーザが、画像を撮影したカメラ視点と異なる視点位置から表示画像を観察すると、表示画像内の人物の視線方向は、実際の視線方向と異なる方向になり、スムーズなコミュニケーションの障害となる。
【００４７】
このような問題点を解決する従来構成の例について説明する。
例えば特許文献２（特許３２８９７３０号公報）には、図５に示すように、複数のカメラ３１〜３３によって、様々な視点方向の画像を撮影し、これらの複数の画像を多視点画像表示ディスプレイ３５に表示する構成を開示している。
【００４８】
多視点画像表示ディスプレイ３５は、見る方向によって異なる画像が視聴できるようにした特殊なディスプレイである。
多視点画像表示ディスプレイ３５に表示されるＤ視点画像撮影カメラ３１の撮影画像は、第２ロケーションのユーザＤの位置からのみ視聴できる。
多視点画像表示ディスプレイ３５に表示されるＥ視点画像撮影カメラ３１の撮影画像は、第２ロケーションのユーザＥの位置からのみ視聴できる。
多視点画像表示ディスプレイ３５に表示されるＦ視点画像撮影カメラ３１の撮影画像は、第２ロケーションのユーザＦの位置からのみ視聴できる。
【００４９】
このような構成とすることで、第２ロケーションのユーザＤ，Ｅ，Ｆは、それぞれの位置（視点）に応じた違和感のない画像を視聴することができる。
しかし、この構成を実現するためには、特殊な多視点画像表示ディスプレイが必要となる。
また、第１ロケーションに設定するカメラの位置を第２ロケーションのユーザの位置に応じて変更しなければならないといった問題が発生する。
【００５０】
また、特許文献３（特開２０１２−０７００８１号公報）には、図６に示すように、表示画像に含まれる人物の顔の眼の位置や形状等を補正して表示することによって、表示部の表示画像を実際の視線方向に一致させる構成を開示している。
しかし、この処理のためには、表示部に表示される顔画像を抽出し、さらに抽出した顔画像に含まれる眼の画像領域を特定して、各人物の実際の視線方向に応じて眼の画像領域に対する補正処理を行うことが必要であり、特殊な画像処理が必要となる。
さらに、このような画像の補正処理を行なうと、かえって違和感を増幅させた画像が表示されてしまう可能性がある。
【００５１】
以下では、このような問題を発生させることなく、表示部（ディスプレイ）に表示されるコミュニケーション参加ユーザ（表示ユーザ）が、表示部を見ている視聴ユーザ中の誰に向かって話をしているのかを明確に判別することを可能とした本開示の構成について説明する。
【００５２】
［２．（実施例１）本開示の実施例１の情報処理装置の構成と処理について］
以下、本開示の情報処理装置の第１実施例の構成と処理について説明する。
以下に説明する本開示の情報処理装置は、例えば、先に説明した図１や図２に示す双方向コミュニケーションシステムにおいて利用される表示部（ディスプレイ）の表示画像の制御を行う。
以下、本開示の複数の実施例について、順次、説明する。
【００５３】
［２−１．情報処理装置の実行する処理について］
図７以下を参照して、本開示の実施例１の情報処理装置の実行する処理について説明する。
【００５４】
図７は、図１、図２を参照して説明した双方向コミュニケーションを実行中の一方のロケーションである第１ロケーションの様子を示す図である。
第１ロケーションのユーザである視聴ユーザＡ〜Ｃ，１３０と表示部１０１を示している。表示部１０１には、カメラ１０２、スピーカ１０３が備えられている。
【００５５】
表示部１０１には、第２ロケーションのユーザＤ〜Ｆが表示されている。
なお、以下では、表示部に表示されているユーザを「表示ユーザ」、表示部を見ているユーザを「視聴ユーザ」と呼ぶ。
図７に示す表示ユーザ１１０はユーザＤ，Ｅ，Ｆであり、視聴ユーザ１３０はユーザＡ，Ｂ，Ｃである。
【００５６】
視聴ユーザ１３０（Ａ，Ｂ，Ｃ）の１人と、表示ユーザ１１０（Ｄ，Ｅ，Ｆ）の１人が相互に会話をしているものとする。
本実施例では、表示部１０１に示された話をしている表示ユーザ（話者）がどの視聴ユーザに向かって話をしているかを示す「会話ペア識別情報１２１」を表示部１０１に表示する。
【００５７】
図の表示部１０１の表示ユーザＥの上に示す矢印が、「会話ペア識別情報１２１」である。
この図に示す例では、会話を行っているユーザのペア、すなわち「会話ペア」は、表示ユーザＥと、視聴ユーザＣである。すなわち会話ペアは「Ｅ−Ｃ」である。
会話ペアＥ−Ｃの場合、図の表示部１０１に表示される「会話ペア識別情報１２１」である「矢印」は、会話ペアを構成する表示ユーザＥの近傍（本例では上部）に示され、その矢印の向きが、会話ペアを構成する視聴ユーザＣに向かう設定の矢印として表示する。
【００５８】
視聴ユーザＡ〜Ｃは、表示部１０１に表示ユーザ１１０とともに表示される「会話ペア識別情報１２１」を見ることで、表示ユーザＥが視聴ユーザＣに向かって話をしていることを正しく判断可能となる。
視聴ユーザＣは、表示ユーザＥが自分に向って話をしていることを即座に確認可能であり、スムーズなコミュニケーションが実現される。
【００５９】
図８は、「会話ペア」が、表示ユーザＦと、視聴ユーザＡの場合の例である。すなわち会話ペアは「Ｆ−Ａ」である。
この会話ペアの設定において、図の表示部１０１に表示される「会話ペア識別情報１２２」としての「矢印」は、会話ペアを構成する表示ユーザＦの近傍（本例では上部）に示され、その矢印の向きが、会話ペアを構成する視聴ユーザＡに向かう設定となる。
【００６０】
視聴ユーザＡ〜Ｃは、表示部１０１に表示ユーザ１１０とともに表示される「会話ペア識別情報１２２」を見ることで、表示ユーザＦが視聴ユーザＡに向かって話をしていることを正しく判断することが可能となる。
視聴ユーザＡは、表示ユーザＦが自分に向って話をしていることを即座に確認可能であり、スムーズなコミュニケーションが実現される。
【００６１】
図７、図８に示す例では、「会話ペア識別情報」として、「矢印」状の識別マークを利用した例を説明した。
しかし、会話ペア識別情報は、このような矢印に限られず、様々な態様が可能である。
例えば、図９には、視聴ユーザの並びと同様の人型アイコンを並べた「会話ペア識別情報１２３」を利用した例を示している。
図９の表示部１０１に表示される「会話ペア識別情報１２３」である「視聴ユーザ列対応アイコン」は、会話ペアを構成する表示ユーザＥの近傍（本例では上部）に示される。
「視聴ユーザ列対応アイコン」に示される複数の視聴ユーザアイコン中、会話ペアを構成する視聴ユーザＣの位置に対応する１つのユーザアイコンが点滅している。
【００６２】
視聴ユーザＡ〜Ｃは、表示部１０１に表示ユーザ１１０とともに表示される「会話ペア識別情報１２３」を見ることで、表示ユーザＥが視聴ユーザＣに向かって話をしていることを正しく判断することが可能となる。
視聴ユーザＣは、表示ユーザＥが自分に向って話をしていることを即座に確認可能であり、スムーズなコミュニケーションが実現される。
【００６３】
図１０は、会話ペアがＦ−Ａの場合の例である。
図１０の表示部１０１に表示される「会話ペア識別情報１２４」である「視聴ユーザ列対応アイコン」は、会話ペアを構成する表示ユーザＦの近傍（本例では上部）に示される。
「視聴ユーザ列対応アイコン」に示される複数の視聴ユーザアイコン中、会話ペアを構成する視聴ユーザＡの位置に対応する１つのユーザアイコンが点滅している。
【００６４】
視聴ユーザＡ〜Ｃは、表示部１０１に表示ユーザ１１０とともに表示される「会話ペア識別情報１２４」を見ることで、表示ユーザＦが視聴ユーザＡに向かって話をしていることを正しく判断することが可能となる。
視聴ユーザＡは、表示ユーザＦが自分に向って話をしていることを即座に確認可能であり、スムーズなコミュニケーションが実現される。
【００６５】
図７〜図１０を参照して、２つの異なる態様の「会話ペア識別情報」の例について説明した。
これらの例の他にも、例えば視聴ユーザの位置を示す番号、あるいは視聴ユーザの名前の表示、その他、様々なマーク、アイコン等が利用可能である。
【００６６】
［２−２．情報処理装置の構成例について］
次に、図１１を参照して実施例１の情報処理装置の構成について説明する。
図１１には、ネットワークを介した双方向コミュニケーションを実行する第１ロケーションと第２ロケーションの情報処理装置の構成例を示している。
各ロケーションの装置は、インターネット等のネットワーク１７０を介した通信を行い、各ロケーションのユーザ同士が会議等の双方向コミュニケーションを実行する。
【００６７】
実施例１の構成では、図１１に示す第２ロケーションの表示部、すなわち、図１１の右下端に示す第２ロケーション表示部１６５に、図７〜図１０を参照して説明した「会話ペア識別情報」を表示ユーザに重畳して表示する。
図１１に示す第１ロケーションの表示部、すなわち、図１１の左上端に示す第１ロケーション表示部１５５には、「会話ペア識別情報」は表示されず、表示ユーザのみの通常画像を表示する。
なお、両ロケーションの表示装置に「会話ペア識別情報」を表示する双方向型の処理システムについては、後段で実施例２として説明する。
【００６８】
まず、第１ロケーション側の情報処理装置の構成と処理について説明する。
第１ロケーション撮像部（カメラ）１５１は、第１ロケーションのユーザ、例えばユーザＡ〜Ｃを撮影する。
この撮影画像である第１ロケーション撮影画像ｓ，１７２ｓは、第１ロケーション送受信部１５４から、ネットワーク１７０を介して第２ロケーションに送信される。
なお、図では省略しているが、音声データも、画像とともに送信される。
【００６９】
なお、図に点線枠で示すデータは、各構成部間を入出力するデータである。
ロケーション間で送受信されるデータについては、送信側に（ｓ）、受信側に（ｒ）を付記して区別して示している。
上述した撮影画像である第１ロケーション撮影画像ｓ，１７２ｓは、第１ロケーションから第２ロケーションに送信される画像データであり（ｓ）を付記している。
【００７０】
図１１中の第２ロケーション側に示す第１ロケーション撮影画像ｒ，１７２ｒは、第１ロケーション側に示す「第１ロケーション撮影画像ｓ，１７２ｓ」と同一データであり、第１ロケーションから第２ロケーションに送信され、第２ロケーションの情報処理装置が受信したデータであり（ｒ）を付記して示している。
【００７１】
第１ロケーション表示部１５５には、第２ロケーションから送信された第２ロケーション撮影画像ｒ，１８１ｒが表示される。
【００７２】
第１ロケーションユーザ情報取得部１５２は、第１ロケーション撮像部（カメラ）１５１が取得する画像データ以外のユーザ情報、例えば音声データや音声方向取得用のマイク、あるいはユーザ位置や、カメラからの距離を取得するためのセンサ等によって構成される。
これらのユーザ情報は、撮像部１５１の撮影したユーザ画像情報とともに、会話ペア判定部１５３に入力される。
図に示すように、第１ロケーション撮影画像ｓ，１７２ｓと、第１ロケーションユーザ情報１７１が、会話ペア判定部１５３に入力される。
【００７３】
会話ペア判定部１５３は、第２ロケーションからも、第２ロケーション側のユーザの画像である第２ロケーション撮影画像ｒ，１８１ｒと、第２ロケーションのユーザの音声や位置情報等を含む第２ロケーションユーザ情報１８２ｒを入力する。
【００７４】
会話ペア判定部１５３は、これらの入力データを利用して、第１ロケーション側のユーザと、第２ロケーション側のユーザのどのユーザ間で会話が実行されているか、すなわち会話ペアの検出処理を実行する。
具体的には、第１ロケーションと第２ロケーション間で会話を実行しているユーザを特定し、これらユーザの位置情報を取得する。
具体的な処理としては、まず、音声データに基づいて会話の有無を判定し、会話があると判定された場合、画像データ、音声方向データ等から会話を行っている各ロケーションのユーザを特定する。
この特定処理は、例えば、音声方向データに基づく解析や、画像データを利用した会話ユーザの視線方向解析等によって行うことが可能である。
【００７５】
ユーザ位置情報は、先に図７〜図１０を参照して説明した会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【００７６】
このように、会話ペア判定部１５３は、各ロケーションから得られるユーザ画像、音声、音声方向情報、ユーザ位置情報等を利用して会話ペアを特定し、会話ペアを構成するユーザの位置を判定し、これらの情報を含む会話ペア第１判定情報ｓ，１７３ｓを生成する。
会話ペア判定部１５３が、生成した会話ペア第１判定情報ｓ，１７３ｓは、第１ロケーション送受信部１５４、ネットワーク１７０を介して、第２ロケーションの情報処理装置に送信される。
【００７７】
なお、図１１に示す構成では、会話ペア判定部１５３は、撮影画像以外の音声情報やセンサ検出情報を用いて会話ペア判定情報を生成する構成として説明したが、各ロケーションから入力する撮影画像のみを用いて、会話ペア判定情報を生成する構成としてもよい。
カメラ位置と画像に含まれる各ユーザの位置関係からユーザ位置を判別し、また、画像から得られる口の動きを解析し、会話を行っている話者を特定する。このような処理により、画像のみを利用して会話ペア判定情報を生成することも可能である。
【００７８】
次に、第２ロケーションの情報処理装置の実行する処理について説明する。
第２ロケーション撮像部（カメラ）１６１は、第２ロケーションのユーザ、例えばユーザＤ〜Ｆを撮影する。
この撮影画像である第２ロケーション撮影画像ｓ，１８１ｓは、第２ロケーション送受信部１６３から、ネットワーク１７０を介して第１ロケーションに送信される。
なお、図では省略しているが、音声データも、画像とともに送信される。
【００７９】
第２ロケーションユーザ情報取得部１６２は、第２ロケーション撮像部（カメラ）１６１が取得する画像データ以外のユーザ情報、例えば音声データや音声方向取得用のマイク、あるいはユーザ位置や、カメラからの距離を取得するためのセンサ等によって構成される。
これらのユーザ情報は、撮像部１６１の撮影したユーザ画像情報とともに、第１ロケーションに送信され、第１ロケーションの会話ペア判定部１５３に入力されて、会話ペア判定処理に利用される。
【００８０】
第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報は、第２ロケーションの情報処理装置の第２ロケーション表示画像生成部１６４に入力される。
【００８１】
図に示すように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【００８２】
第２ロケーション表示画像生成部１６４は、これらの入力データを適用して、第１ロケーションのユーザを含む第１ロケーション撮影画像ｒ，１７２ｒ上に、先に図７〜図１０を参照して説明したような「会話ペア識別情報」を重畳した表示画像を生成し、生成した表示画像を第２ロケーション表示部１６５に出力する。
【００８３】
第２ロケーション表示画像生成部１６４は、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒに基づいて、会話ペアを構成する表示ユーザと視聴ユーザを特定し、さらに、これらの位置情報を取得し、これらの情報に基づいて、表示部に表示する「会話ペア識別情報」の表示態様を決定する。
【００８４】
この処理によって決定した表示態様に従って、「会話ペア識別情報」を、第１ロケーションのユーザを含む表示画像上に表示する。
この結果、先に図７〜図１０を参照して説明したような「会話ペア識別情報」を重畳した表示画像が、第２ロケーション表示部１６５に表示される。
【００８５】
なお、図１１に示す構成では、「会話ペア識別情報」を重畳した表示画像を、第２ロケーション表示部１６５のみに表示する構成であるが、第２ロケーション表示画像生成部１６４と同様の画像処理を実行する画像処理部を第１ロケーション側にも設定することで、「会話ペア識別情報」を重畳した表示画像を、第１ロケーション表示部１５５に表示する設定とすることも可能である。
【００８６】
すなわち、第１ロケーションの会話ペア判定部１５３の生成した会話ペア第１判定情報ｓ，１７３ｓを、第１ロケーション側に設定した表示画像生成部に入力して「会話ペア識別情報」を重畳した表示画像を第１ロケーション表示部１５５に表示する構成としてもよい。
【００８７】
次に、図１１に示す第１ロケーション側の会話ペア判定部１５３の実行する会話ペア判定処理のシーケンス例について、図１２に示すフローチャートを参照して説明する。
以下、図１２に示すフローチャートの各ステップの処理について、順次、説明する。
【００８８】
（ステップＳ１０１）
まず、会話ペア判定１５３は、ステップＳ１０１において、第１ロケーションの画像、ユーザ情報、および、第２ロケーションの画像、ユーザ情報を入力する。
【００８９】
先に図１１を参照して説明したように、会話ペア判定部１５３は。第１ロケーション側のユーザの画像である第１ロケーション撮影画像ｓ，１７２ｓと、第１ロケーションのユーザの音声や位置情報等を含む第１ロケーションユーザ情報１７１を入力する。
【００９０】
さらに、会話ペア判定部１５３は、ネットワークを介して第２ロケーションから受信した第２ロケーション側のユーザの画像である第２ロケーション撮影画像ｒ，１８１ｒと、第２ロケーションのユーザの音声や位置情報等を含む第２ロケーションユーザ情報１８２ｒを入力する。
【００９１】
（ステップＳ１０２〜Ｓ１０３）
次に、会話ペア判定部１５３は、ステップＳ１０２〜Ｓ１０３において、ステップＳ１０１で入力したデータを利用して、第１ロケーション側のユーザと、第２ロケーション側のユーザに話者がいるか、会話が行われているかを判定する。
具体的な処理としては、例えば、音声データに基づいて会話の有無を判定する。あるいは画像データから口の動きを検出して判定してもよい。
【００９２】
会話が行われていると判定した場合は、ステップＳ１０４に進む。
会話が行われていないと判定した場合は、処理を終了する。
【００９３】
（ステップＳ１０４）
次に、会話ペア判定部１５３は、ステップＳ１０４において、会話ユーザ（話者）の位置、視線方向を判定する。
例えば、画像データを利用した会話ユーザの視線方向解析を実行する。
【００９４】
（ステップＳ１０５）
次に、会話ペア判定部１５３は、ステップＳ１０５において、会話ユーザ（話者）と、話者の視線方向のユーザペアを会話ペアと判定する。
具体的には、まず、第１ロケーションと第２ロケーション間で会話を実行しているユーザを特定する。この特定処理は、例えば、音声方向データに基づく解析や、画像データを利用した会話ユーザの視線方向解析等によって行うことが可能である。
このユーザ特定処理によって特定されたユーザペアを会話ペアと判定する。
【００９５】
（ステップＳ１０６）
次に、会話ペア判定部１５３は、ステップＳ１０５において、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報を含む会話ペア判定情報を生成する。
ユーザ位置情報は、先に図７〜図１０を参照して説明した会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【００９６】
このように、会話ペア判定部１５３は、各ロケーションから得られるユーザ画像、音声、音声方向情報、ユーザ位置情報等を利用して会話ペアを特定し、会話ペアを構成するユーザの位置を判定し、これらの情報を含む会話ペア判定情報を生成する。
【００９７】
会話ペア判定部１５３が生成した会話ペア判定情報は、第１ロケーションから第２ロケーションの情報処理装置に送信され、第２ロケーションの情報処理装置の第２ロケーション表示画像生成部１６４において、先に図７〜図１０を参照して説明した会話ペア識別情報を含む表示画像の生成処理に利用される。
【００９８】
次に、図１３に示すフローチャートを参照して、第２ロケーションの情報処理装置の第２ロケーション表示画像生成部１６４において実行する会話ペア識別情報を含む表示画像の生成、出力処理のシーケンスについて説明する。
以下、図１３に示すフローチャートの各ステップの処理について、順次、説明する。
【００９９】
（ステップＳ２０１）
まず、第２ロケーション表示画像生成部１６４は、ステップＳ２０１において、表示ユーザの撮影画像と、会話ペア判定情報を入力する。
【０１００】
先に、図１１を参照して説明したように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【０１０１】
会話ペア判定情報には、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報が含まれる。ユーザ位置情報は、先に図７〜図１０を参照して説明した会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【０１０２】
（ステップＳ２０２）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ２０２において、ステップＳ２０１で入力した会話ペア判定情報から、会話実行中の表示ユーザと視聴ユーザの位置を取得する。
【０１０３】
（ステップＳ２０３）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ２０３において、表示ユーザの撮影画像上に、会話実行中の表示ユーザと、視聴ユーザの位置関係を示す会話ペア識別情報を重畳した表示画像を生成して、表示部に出力する。
【０１０４】
先に図１１を参照して説明したように、第２ロケーション表示画像生成部１６４は、第１ロケーションのユーザを含む第１ロケーション撮影画像ｒ，１７２ｒ上に、先に図７〜図１０を参照して説明したような「会話ペア識別情報」を重畳した表示画像を生成し、生成した表示画像を第２ロケーション表示部１６５に出力する。
【０１０５】
第２ロケーション表示画像生成部１６４は、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒに基づいて、会話ペアを構成する表示ユーザと視聴ユーザを特定し、さらに、これらの位置情報を取得し、これらの情報に基づいて、表示部に表示する「会話ペア識別情報」の表示態様を決定する。
【０１０６】
この処理によって決定した表示態様に従って、「会話ペア識別情報」を、第１ロケーションのユーザを含む表示画像上に表示する。
この結果、先に図７〜図１０を参照して説明したような「会話ペア識別情報」を重畳した表示画像が、第２ロケーション表示部１６５に表示される。
【０１０７】
第２ロケーションの視聴ユーザは、表示部に表示された「会話ペア識別情報」をみることで、表示ユーザ中のどのユーザが、どの視聴ユーザに向かって話をしているかを、即座に正しく把握することが可能となり、スムーズなコミュニケーションを行うことが可能となる。
【０１０８】
［３．（実施例２）双方のロケーションの表示部に会話ペア識別情報を表示する双方向処理システムの実施例］
次に、本開示の第２実施例として、双方向コミュニケーションを実行する複数のロケーションに置かれた表示部の各々に、会話ペア識別情報を表示する双方向処理システムの実施例について説明する。
【０１０９】
図１４は、本実施例２の情報処理システムの構成例を示す図である。
実施例１において説明した図１１に示すシステムとの構成上の差異は、以下の点である。
（ａ）第２ロケーションの情報処理装置に会話ペア判定部２１１を設定、
（ｂ）第１ロケーションの情報処理装置に第１ロケーション表示画像生成部２０１を設定。
【０１１０】
実施例１において説明した図１１の構成に、上記構成（ａ），（ｂ）を追加して、第２ロケーション表示部１６５のみならず、第１ロケーション表示部１５５にも、表示ユーザ画像に重畳して会話ペア識別情報を表示する構成としている。
【０１１１】
図１４に示すように、第２ロケーションの情報処理装置の会話ペア判定部２１１は、第２ロケーション撮影画像ｓ，１８１ｓと、第２ロケーションユーザ情報１８２ｓを入力し、さらに、第１ロケーションからの受信データである第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションのユーザの音声や位置情報等を含む第１ロケーションユーザ情報ｒ，１７１ｒを入力する。
【０１１２】
会話ペア判定部２１１は、これらの入力データを利用して、第１ロケーション側のユーザと、第２ロケーション側のユーザのどのユーザ間で会話が実行されているか、すなわち会話ペアの検出処理を実行する。
具体的には、第１ロケーションと第２ロケーション間で会話を実行しているユーザを特定し、これらユーザの位置情報を取得する。
この処理は、先に図１１を参照して説明した第１ロケーション側の会話ペア判定部１５３の実行する処理と同様である。
【０１１３】
会話ペア判定部２１１は、各ロケーションから得られるユーザ画像、音声、音声方向情報、ユーザ位置情報等を利用して会話ペアを特定し、会話ペアを構成するユーザの位置を判定し、これらの情報を含む会話ペア第２判定情報ｓ，２３１ｓを生成する。
会話ペア判定部２１１が生成した会話ペア第２判定情報ｓ，２３１ｓは、第２ロケーション送受信部１６３、ネットワーク１７０を介して、第１ロケーションの情報処理装置に送信される。
【０１１４】
なお、図１４に示す構成では、会話ペア判定部２１１は、撮影画像以外の音声情報やセンサ検出情報を用いて会話ペア判定情報を生成する構成として説明したが、各ロケーションから入力する撮影画像のみを用いて、会話ペア判定情報を生成する構成としてもよい。
カメラ位置と画像に含まれる各ユーザの位置関係からユーザ位置を判別し、また、画像から得られる口の動きを解析し、会話を行っている話者を特定する。このような処理により、画像のみを利用して会話ペア判定情報を生成することも可能である。
【０１１５】
第１ロケーションの第１ロケーション表示画像生成部２０１には、第２ロケーション撮影画像ｒ，１８１ｒと、第２ロケーションの会話ペア判定部２１１が生成した会話ペア第２判定情報ｒ，２３１ｒが入力される。
【０１１６】
第１ロケーション表示画像生成部２０１は、これらの入力データを適用して、第２ロケーションのユーザを含む第２ロケーション撮影画像ｒ，１８１ｒ上に、先に図７〜図１０を参照して説明したような「会話ペア識別情報」を重畳した表示画像を生成し、生成した表示画像を第１ロケーション表示部１５５に出力する。
【０１１７】
第１ロケーション表示画像生成部２０１は、第２ロケーションの会話ペア判定部２１１が生成した会話ペア第２判定情報ｒ，２３１ｒに基づいて、会話ペアを構成する表示ユーザと視聴ユーザを特定し、さらに、これらの位置情報を取得し、これらの情報に基づいて、表示部に表示する「会話ペア識別情報」の表示態様を決定する。
【０１１８】
この処理によって決定した表示態様に従って、「会話ペア識別情報」を、第２ロケーションのユーザを含む表示画像上に表示する。
この結果、先に図７〜図１０を参照して説明したような「会話ペア識別情報」を重畳した表示画像が、第１ロケーション表示部１５５に表示される。
【０１１９】
その他の処理は、実施例１と同様であるので、説明は省略する。
本実施例２では、第１ロケーション，第２ロケーションの双方の表示部に、相手方ロケーションのユーザ画像に併せて「会話ペア識別情報」が重畳されて表示される。
この結果、双方の視聴ユーザは、表示部に表示された表示ユーザが誰に向けて話をしているかを正確に把握することが可能となり、スムーズなコミュニケーションが実現される。
【０１２０】
［４．（実施例３）正面顔画像を表示可能とした実施例］
次に、本開示の第３実施例として、表示部に表示するユーザの顔を正面向きの画像として表示することを可能とした実施例について説明する。
【０１２１】
図１５は、本実施例３の情報処理システムの構成例を示す図である。
実施例１において説明した図１１に示すシステムとの構成上の差異は、以下の点である。
（ａ）第１ロケーションの第１ロケーション撮像部１５１を複数の異なる視点から撮影する複数のカメラを備えた構成に変更、
（ｂ）第１ロケーションの情報処理装置に正面顔生成部２５１を設定、
【０１２２】
実施例１において説明した図１１の構成に対して、上記構成（ａ），（ｂ）の変更を行い、第２ロケーション表示部１６５に表示される表示ユーザの顔を正面向きの顔として表示可能な構成としている。
【０１２３】
正面顔生成部２５１は、第１ロケーション撮像部１５１から、複数の異なる視点からの撮影画像を入力し、これらの複数画像を利用して、被写体であるユーザの３Ｄモデルを生成する。
３Ｄモデルは、被写体の３次元位置データと各位置の画素値データによって構成され、異なる視点からの画像によって生成可能である。
正面顔生成部２５１は、生成した３Ｄモデルを適用して、被写体ユーザの正面向きの顔画像である正面顔画像ｓ，２５２ｓを生成し、ネットワーク１７０を介して第２ロケーションの情報処理装置に送信する。
【０１２４】
第２ロケーション表示画像生成部１６４は、この正面顔画像ｒ，２５２ｒを入力し、第１ロケーション撮影画像ｒ，１７２ｒの顔領域をこの正面画像に置き換えて出力する。
なお、「会話ペア識別情報」についても、実施例１と同様、正面向き顔画像に置き換えだ画像に重畳して、第２ロケーション表示部１６５に表示する。
【０１２５】
この結果、第２ロケーション表示部１６５に表示される表示ユーザの顔は正面を向いた画像となり、さらに、先に図７〜図１０を参照して説明したような「会話ペア識別情報」を重畳した表示画像となる。
【０１２６】
その他の処理は、実施例１と同様であるので、説明は省略する。
本実施例３では、表示部に表示される相手方ロケーションのユーザ画像が、正面向きの顔画像となるので、視聴ユーザは、表示部に表示された表示ユーザが視聴ユーザ側を見て話をしていることを実感でき、スムーズなコミュニケーションが実現される。
なお、正面向きの顔画像とする表示ユーザは、表示ユーザ全員としてもよいし、会話ペアとして特定された表示ユーザのみとしてもよい。
【０１２７】
［５．（実施例４）背景画像と人物画像を補正して表示する実施例］
次に、本開示の第４実施例として、表示部に表示する背景画像と人物画像を補正して表示する実施例について説明する。
【０１２８】
図１６は、本実施例４の情報処理システムの構成例を示す図である。
実施例１において説明した図１１に示すシステムとの構成上の差異は、以下の点である。
（ａ）第２ロケーションの第２ロケーション表示画像生成部１６４に、人物画像補正部２６０、背景画像補正部２７０を設定、
実施例１において説明した図１１の構成に対して、上記構成（ａ）の変更を行い、第２ロケーション表示部１６５に表示される画像を補正する構成としている。
【０１２９】
第２ロケーションの第２ロケーション表示画像生成部１６４の具体的構成例を図１７に示す。
第２ロケーション表示画像生成部１６４の人物／背景画像分離部２５５は、第１ロケーション撮影画像ｒ，１７２ｒに含まれる人物画像領域と、背景画像領域を分離する処理を実行する。
【０１３０】
なお、この処理には、例えば、第１ロケーションから入力する第１ロケーション撮影画像被写体距離情報（デプスデータ）２５５ｒを適用する。
図１６には示していないが、第１ロケーションの情報処理装置は、デプスセンサを用いて被写体距離を計測し、この計測情報を第２ロケーションに送信する。
あるいは、先に実施例３として説明したように複数の異なる視点から撮影された複数の画像を第２ロケーションに送信する構成として、人物／背景画像分離部２５５が、これらの複数画像に基づいて人物画像領域と、背景画像領域を分離する処理を実行する構成としてもよい。
【０１３１】
人物／背景画像分離部２５５の分離処理によって生成された人物画像は、人物画像補正部２６０の正面顔画像生成部２６１に入力され、背景画像は、背景画像補正部２７０の視点変換画像生成部２７１に入力される。
なお、人物画像補正部２６０、背景画像補正部２７０には、会話ペア第１判定情報ｒ，１７３ｒ、第１ロケーション撮影画像被写体距離情報（デプスデータ）２５５ｒも入力される。
【０１３２】
人物画像補正部２６０の正面顔画像生成部２６１は、先に説明した実施例３における正面顔生成部２５１と同様、表示ユーザの正面顔を生成する。
なお、正面向きの顔画像とする表示ユーザは、表示ユーザ全員としてもよいし、会話ペアとして特定された表示ユーザのみとしてもよい。
【０１３３】
また、背景画像補正部２７０の視点変換画像生成部２７１は、背景画像の視点やパースの変更処理を実行する。
なお、パースとは透視図（Ｐｅｒｓｐｅｃｔｉｖｅ）を意味する。表示部に表示される画像は、その画像を撮影したカメラ視点からの透視図にほぼ相当する画像として表示される。このカメラ視点が視聴ユーザの視点と一致している場合は問題ないが、カメラ視点と、視聴ユーザの視点が異なる場合、視聴者は表示画像に違和感を持つことになる。
【０１３４】
具体例について、図１８を参照して説明する。
図１８（１）は双方向コミュニケーション実行環境を示している。
視聴ユーザ（Ｄ，Ｅ，Ｆ）２８２が、テーブル２８０上に表示部２８１を置いて、表示部２８１に表示された表示ユーザ（Ａ，Ｂ，Ｃ）２８３と会話を行っている。
表示部の上部中央にカメラ２８４が設置されている。
なお、表示ユーザＡ〜Ｃ，２８３側のロケーションでも同じ形状のテーブル上にカメラ付きの表示部を置いてコミュニケーションを実行している。
【０１３５】
この時、視聴ユーザＤ，Ｅ，Ｆの各視点から観察される風景としてのパース（透視図）の例を図１８（２Ａ），（２Ｂ）に示す。
（２Ａ）は、表示部２８１に表示された画像の撮影カメラ（表示ユーザＡ〜Ｃ側のロケーションに設置されたカメラ）に対応する視点位置にいる視聴ユーザＥが観察する風景としてのパース（透視図）の例である。
（２Ｂ）は、表示部２８１に表示された画像の撮影カメラと異なる視点位置にいる視聴ユーザＦが観察する風景としてのパース（透視図）の例である。
【０１３６】
（２Ａ）に示す例は、実際のテーブルの側面ラインと、表示部に表示されたテーブルの側面ラインの傾きがほぼ一致しており、視聴ユーザＥは、違和感のない画像を観察することができる。
しかし、（２Ｂ）に示す例は、実際のテーブルの側面ラインと、表示部に表示されたテーブルの側面ラインの傾きがずれており、視聴ユーザＦは、違和感のある画像を観察することになる。
【０１３７】
これは、画像を撮影するカメラの視点と、視聴ユーザの視点位置が異なることに起因して発生する。
例えば、視聴ユーザＦの観察する画像を補正することで、視聴ユーザＦにとって違和感のない画像が生成できる。
この処理のためには、表示部に表示されている画像を視聴ユーザＦの視点から撮影された仮想視点画像に変換する処理（パース変換処理）が有効となる。
【０１３８】
すなわち、実際のカメラ視点とは異なる仮想視点からの画像を生成して表示することで、その仮想視点に対応する位置から画像をみた場合に違和感のない画像とすることができる。
図１７に示す視点変換画像生成部２７１は、この仮想視点画像の生成処理を実行する。
具体的には会話ペアとして特定された視聴ユーザの視点から観察される仮想視点画像（背景画像）を生成する。
【０１３９】
この仮想視点画像の生成のためには、例えば、第１ロケーションから入力する第１ロケーション撮影画像被写体距離情報（デプスデータ）２５５ｒを適用する。
図１６には示していないが、第１ロケーションの情報処理装置は、デプスセンサを用いて被写体距離を計測し、この計測情報を第２ロケーションに送信する。
あるいは、先に実施例３として説明したように複数の異なる視点から撮影された複数の画像を第２ロケーションに送信する構成として、視点変換画像生成部２７１が、これらの複数画像に基づいて仮想視点画像を生成する構成としてもよい。
【０１４０】
視点変換画像生成部２７１は、会話ペア第１判定情報ｒ，１７３ｒから得られる会話ペアを構成する視聴ユーザの視点から観察される仮想視点画像（背景画像）を生成して、画像合成部２５６に出力する。
【０１４１】
画像合成部２５６は、正面顔画像生成部２６１において生成された正面向きの人物画像と、視点変換画像生成部２７１から入力する仮想視点画像（背景画像）を合成し、さらに、会話ペア識別情報を重畳した合成画像を生成して、第２ロケーション表示部１６５に表示する。
【０１４２】
この処理により、第２ロケーション表示部１６５に表示される画像は、会話ペアを構成する視聴ユーザの視点から観察される仮想視点画像となり、さらに、会話ペアを構成する表示ユーザが正面を向いた画像となる。視聴ユーザは、表示部に表示された表示ユーザが視聴ユーザ側を見て話をしていることを実感でき、スムーズなコミュニケーションが実現される。
なお、正面向きの顔画像とする表示ユーザは、表示ユーザ全員としてもよいし、会話ペアとして特定された表示ユーザのみとしてもよい。
【０１４３】
［６．（実施例５）背景画像と人物画像を補正して表示する処理において、視聴ユーザの位置をトラッキングして補正画像を更新する実施例］
次に、本開示の第５実施例として、背景画像と人物画像を補正して表示する処理において、視聴ユーザの位置をトラッキングして補正画像を更新する実施例について説明する。
この実施例は、上述した実施例４をベースとして、背景画像について生成する仮想視点画像を、会話ペアを構成する視聴ユーザの動きに応じて、遂次、更新する構成を付加した実施例である。
【０１４４】
図１９は、本実施例５の情報処理システムの構成例を示す図である。
前述した実施例４として説明した図１６に示すシステムとの構成上の差異は、以下の点である。
（ａ）第２ロケーションの第２ロケーション表示画像生成部１６４に、第２ロケーション撮影画像ｓ，１８１ｓを入力する、
実施例４において説明した図１６の構成に対して、上記構成（ａ）の変更を行い、背景画像について生成する仮想視点画像を、会話ペアを構成する視聴ユーザの動きに応じて、遂次、更新する構成としている。
【０１４５】
第２ロケーションの第２ロケーション表示画像生成部１６４の具体的構成例を図２０に示す。
先の実施例４において説明した図１７に示す構成との差異は、背景画像補正部２７０に対して、第２ロケーション撮影画像ｓ，１８１ｓを入力する構成としている点である。
【０１４６】
背景画像補正部２７０の視点変換画像生成部２７１は、先に説明した実施例４と同様、会話ペアとして特定された視聴ユーザの視点から観察される仮想視点画像（背景画像）を生成する。
しかし、会話ペアとして特定された視聴ユーザは、表示部やカメラの前を移動する場合がある。
【０１４７】
会話ペアとして特定された視聴ユーザが移動するとその視聴ユーザの視点位置が変更されてしまう。
本実施例では、この視聴ユーザの移動位置に併せて、視点変換画像生成部２７１が視聴ユーザの移動位置からの仮想視点画像を遂次生成する。
【０１４８】
すなわち、視点変換画像生成部２７１は、会話ペアとして特定された視聴ユーザの位置に応じた仮想視点画像を逐次、更新し、更新画像を表示部に表示する。
【０１４９】
視点変換画像生成部２７１は、会話ペア第１判定情報ｒ，１７３ｒから得られる会話ペアを構成する視聴ユーザの位置情報を、第２ロケーション撮影画像ｓ，１８１ｓから取得し、この位置（視点）から観察される仮想視点画像（背景画像）を、遂次、生成して、画像合成部２５６に出力する。
【０１５０】
画像合成部２５６は、正面顔画像生成部２６１において生成された正面向きの人物画像と、視点変換画像生成部２７１から入力する仮想視点画像（背景画像）を合成し、さらに、会話ペア識別情報を重畳した合成画像を生成して、第２ロケーション表示部１６５に表示する。
【０１５１】
この処理により、第２ロケーション表示部１６５に表示される画像は、会話ペアを構成する視聴ユーザの視点から観察される仮想視点画像となり、さらに、会話ペアを構成する表示ユーザが正面を向いた画像となる。
また、本実施例では、会話ペアとして特定された視聴ユーザの動きに応じて、背景画像の仮想視点位置も変更されるため、視聴ユーザが移動しても観察される画像に違和感が発生することがない。
【０１５２】
［７．会話ペア識別情報の具体例について］
上述した実施例では、会話ペア識別情報の具体例として、図７、図８を参照して説明した「矢印」や、図９、図１０を参照して説明した「視聴ユーザ列対応アイコン」、さらに、図１７を参照して説明した「背景画像のパース変換」の各例について説明した。
会話ペア識別情報としては、これらの例の他にも、様々な表示データが利用可能である。
以下、様々な会話ペア識別情報について説明する。
以下の各例について、順次。説明する。
（１）会話ペア識別情報として顔周囲枠を利用した例
（２）会話ペア識別情報として顔サイドラインを利用した例
（３）会話ペア識別情報として顔サイドボックス（または球体）を利用した例
（４）会話ペア識別情報として背景画像のパース変換を利用した例
（５）会話ペア識別情報として顔の陰影を利用した例
【０１５３】
［７−１．（１）会話ペア識別情報として顔周囲枠を利用した例について］
まず、会話ペア識別情報として顔周囲枠を利用した例について説明する。
会話ペア識別情報として顔周囲枠を利用した具体例を図２１に示す。
図２１には、以下の２つの例を示している。
（１）会話ペアを顔周囲枠の形状で表現した例１（会話ペアが画面の表示ユーザの正面方向にいる場合）
（２）会話ペアを顔周囲枠の形状で表現した例２（会話ペアが画面の表示ユーザの右方向にいる場合）
【０１５４】
図２１（１）に示す例は、表示ユーザＦと、視聴ユーザＣが会話ペアである場合の例である。
表示ユーザＦの正面に視聴ユーザＣがいる。
会話ペア識別情報３０１は、表示ユーザＦの顔の周囲に設定される顔周囲枠である。
顔周囲枠の形状が左右対称であり、表示ユーザＦは、正面方向、すなわち会話ペアである視聴ユーザＣを見ていると判定することができる。
【０１５５】
一方、図２１（２）に示す例は、表示ユーザＦと、視聴ユーザＡが会話ペアである場合の例である。
表示ユーザＦの右方向に視聴ユーザＡがいる。
会話ペア識別情報３０２は、表示ユーザＦの顔の周囲に設定される顔周囲枠である。
顔周囲枠の形状が右向きに傾斜した形状であり、表示ユーザＦは、右方向、すなわち会話ペアである視聴ユーザＡを見ていると判定することができる。
【０１５６】
このように、会話ペアの構成員である表示ユーザの顔の周囲に顔周囲枠を設定し、設定した顔周囲枠の形状によって、会話ペアを識別可能とする。
【０１５７】
本例における出力画像生成、出力処理のシーケンスについて、図２２に示すフローチャートを参照して説明する。
図２２に示すフローに従った処理は、例えば図１１他に示す第２ロケーション表示画像生成部１６４、あるいは図１４等に示す第１ロケーション表示画像生成部２０１において実行される。
以下、図２２に示すフローチャートの各ステップの処理について、順次、説明する。
なお、以下では、第２ロケーション表示画像生成部１６４において処理を実行する例として説明する。
【０１５８】
（ステップＳ３１１）
まず、第２ロケーション表示画像生成部１６４は、ステップＳ３１１において、表示ユーザの撮影画像と、会話ペア判定情報を入力する。
【０１５９】
先に、図１１を参照して説明したように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【０１６０】
会話ペア判定情報には、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報が含まれる。ユーザ位置情報は、会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【０１６１】
（ステップＳ３１２）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３１２において、ステップＳ３１１で入力した会話ペア判定情報から、会話実行中の表示ユーザと視聴ユーザの位置を取得する。
【０１６２】
（ステップＳ３１３）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３１３において、顔周囲枠の形状を規定するパラメータである傾斜角度αを決定する。
【０１６３】
この処理について、図２３（１）を参照して説明する。
図２３（１）に示す例において、会話ペアは、会話ペア表示ユーザ３０５と、会話ペア視聴ユーザ３０６によって構成される。
図に示すように、会話ペア表示ユーザ３０５から会話ペア視聴ユーザ３０６に向けた矢印と、会話ペア表示ユーザ３０５の正面方向とのなす角度をα０としたとき、傾斜角度は既定乗算パラメータｐ０を用いて、以下の計算式で算出される。
傾斜角度：α＝ｐ０×α０
ステップＳ３１３では、上記式に従って傾斜角度αを算出する。
【０１６４】
（ステップＳ３１４）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３１４において、既定の消失点位置と、傾斜角度αに基づいて顔周囲枠の設定（形状）を決定する。
【０１６５】
この処理について、図２３（２），（３）を参照して説明する。
図２３（２）には、顔周囲枠ＥＦＧＨの例を示している。
図２３（３）には、顔周囲枠ＥＦＧＨの生成手順例を示している。
【０１６６】
顔周囲枠の形状決定処理は、以下のような手順で実行される。
会話ペアの表示ユーザの顔の中心位置をＣとする。
Ｃから垂直方向に規定距離Ｌ０だけ離れた点をＰ・Ｑとする。
ＯＣの距離＝Ｌ１、角度βは既定値とする。
上記の設定の後、以下のステップ（Ｓ１）〜（ｓ４）を実行する。
（ｓ１）会話ペアの位置関係から傾斜角度αを算出する。
（ｓ２）Ｃから、角度αずれた線上で、規定距離Ｌ１だけ上の点Ｏを求める。
（ｓ３）Ｏから角度βずれた線ＯＦ・ＯＧを引く。
（ｓ４）Ｐ・Ｑを通る平行線とＯＦ，ＯＧの各線で囲まれたＥＦＧＨを顔周囲枠ＥＦＧＨとする。
これらの手順を実行することで、図２３（２）に示すような顔周囲枠ＥＦＧＨが規定される。
ステップＳ３１４では、上記処理に従って顔周囲枠の形状を決定する。
【０１６７】
（ステップＳ３１５）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３１５において、表示ユーザの撮影画像上に、会話実行中の表示ユーザと、視聴ユーザの位置関係を示す会話ペア識別情報としての顔周囲枠を重畳した表示画像を生成して、表示部に出力する。
【０１６８】
本例では、このように、会話ペアの構成員である表示ユーザの顔の周囲に顔周囲枠を設定し、設定した顔周囲枠の形状によって、会話ペアを識別可能とすることができる。
例えば、第２ロケーションの視聴ユーザは、表示部に表示された「会話ペア識別情報」としての「顔周囲枠」を見ることで、表示ユーザ中のどのユーザが、どの視聴ユーザに向かって話をしているかを、即座に正しく把握することが可能となり、スムーズなコミュニケーションを行うことが可能となる。
【０１６９】
［７−２．（２）会話ペア識別情報として顔サイドラインを利用した例について］
次に、会話ペア識別情報として顔サイドラインを利用した例について説明する。
会話ペア識別情報として顔サイドラインを利用した具体例を図２４に示す。
図２４には、以下の２つの例を示している。
（１）会話ペアを顔サイドラインの形状で表現した例１（会話ペアが画面の表示ユーザの正面方向にいる場合）
（２）会話ペアを顔サイドラインの形状で表現した例２（会話ペアが画面の表示ユーザの右方向にいる場合）
【０１７０】
図２４（１）に示す例は、表示ユーザＦと、視聴ユーザＣが会話ペアである場合の例である。
表示ユーザＦの正面に視聴ユーザＣがいる。
会話ペア識別情報３１１は、表示ユーザＦの顔の周囲に設定される顔サイドラインである。
顔サイドラインの形状が左右対称であり、表示ユーザＦは、正面方向、すなわち会話ペアである視聴ユーザＣを見ていると判定することができる。
【０１７１】
一方、図２４（２）に示す例は、表示ユーザＦと、視聴ユーザＡが会話ペアである場合の例である。
表示ユーザＦの右方向に視聴ユーザＡがいる。
会話ペア識別情報３１２は、表示ユーザＦの顔の周囲に設定される顔サイドラインである。
顔サイドラインの形状が右向きに傾斜した形状であり、表示ユーザＦは、右方向、すなわち会話ペアである視聴ユーザＡを見ていると判定することができる。
【０１７２】
このように、会話ペアの構成員である表示ユーザの顔の周囲に顔サイドラインを設定し、設定した顔サイドラインの形状によって、会話ペアを識別可能とする。
【０１７３】
本例における出力画像生成、出力処理のシーケンスについて、図２５に示すフローチャートを参照して説明する。
図２５に示すフローに従った処理は、例えば図１１他に示す第２ロケーション表示画像生成部１６４、あるいは図１４等に示す第１ロケーション表示画像生成部２０１において実行される。
以下、図２５に示すフローチャートの各ステップの処理について、順次、説明する。
なお、以下では、第２ロケーション表示画像生成部１６４において処理を実行する例として説明する。
【０１７４】
（ステップＳ３２１）
まず、第２ロケーション表示画像生成部１６４は、ステップＳ３２１において、表示ユーザの撮影画像と、会話ペア判定情報を入力する。
【０１７５】
先に、図１１を参照して説明したように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【０１７６】
会話ペア判定情報には、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報が含まれる。ユーザ位置情報は、会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【０１７７】
（ステップＳ３２２）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３２２において、ステップＳ３２１で入力した会話ペア判定情報から、会話実行中の表示ユーザと視聴ユーザの位置を取得する。
【０１７８】
（ステップＳ３２３）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３２３において、顔サイドラインの形状を規定するパラメータである傾斜角度αを決定する。
【０１７９】
この処理について、図２６（１）を参照して説明する。
図２６（１）に示す例において、会話ペアは、会話ペア表示ユーザ３０５と、会話ペア視聴ユーザ３０６によって構成される。
図に示すように、会話ペア表示ユーザ３０５から会話ペア視聴ユーザ３０６に向けた矢印と、会話ペア表示ユーザ３０５の正面方向とのなす角度をα０としたとき、傾斜角度は既定乗算パラメータｐ０を用いて、以下の計算式で算出される。
傾斜角度：α＝ｐ０×α０
ステップＳ３２３では、上記式に従って傾斜角度αを算出する。
【０１８０】
（ステップＳ３２４）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３２４において、既定の消失点位置と、傾斜角度αに基づいて顔サイドラインの設定（形状）を決定する。
【０１８１】
この処理について、図２６（２），（３）を参照して説明する。
図２６（２）には、顔サイドラインＥＦとＧＨの例を示している。
図２６（３）には、顔サイドラインＥＦとＧＨの生成手順例を示している。
【０１８２】
顔サイドラインの形状決定処理は、以下のような手順で実行される。
会話ペアの表示ユーザの顔の中心位置をＣとする。
Ｃから垂直方向に規定距離Ｌ０だけ離れた点をＰ・Ｑとする。
ＯＣの距離＝Ｌ１、角度βは既定値とする。
上記の設定の後、以下のステップ（Ｓ１）〜（ｓ４）を実行する。
（ｓ１）会話ペアの位置関係から傾斜角度αを算出する。
（ｓ２）Ｃから、角度αずれた線上で、規定距離Ｌ１だけ上の点Ｏを求める。
（ｓ３）Ｏから角度βずれた線ＯＦ・ＯＧを引く。
（ｓ４）Ｐ・Ｑを通る平行線とＯＦ，ＯＧの各線で囲まれたＥＦＧＨを求め、ラインＥＦと、ラインＧＨを顔サイドラインＥＦおよびＧＨとする。
これらの手順を実行することで、図２６（２）に示すような顔サイドラインＥＦ，ＧＨが規定される。
ステップＳ３２４では、上記処理に従って顔サイドラインの形状を決定する。
【０１８３】
（ステップＳ３２５）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３２５において、表示ユーザの撮影画像上に、会話実行中の表示ユーザと、視聴ユーザの位置関係を示す会話ペア識別情報としての顔サイドラインを重畳した表示画像を生成して、表示部に出力する。
【０１８４】
本例では、このように、会話ペアの構成員である表示ユーザの顔の周囲に顔サイドラインを設定し、設定した顔サイドラインの形状によって、会話ペアを識別可能とすることができる。
例えば、第２ロケーションの視聴ユーザは、表示部に表示された「会話ペア識別情報」としての「顔サイドライン」を見ることで、表示ユーザ中のどのユーザが、どの視聴ユーザに向かって話をしているかを、即座に正しく把握することが可能となり、スムーズなコミュニケーションを行うことが可能となる。
【０１８５】
［７−３．（３）会話ペア識別情報として顔サイドボックス（または球体）を利用した例について］
次に、会話ペア識別情報として顔サイドボックス（または球体）を利用した例について説明する。
会話ペア識別情報として顔サイドボックス（または球体）を利用した具体例を図２７、図２８に示す。
図２７には、以下の２つの例を示している。
（１）会話ペアを顔サイドボックスの形状で表現した例１（会話ペアが画面の表示ユーザの正面方向にいる場合）
（２）会話ペアを顔サイドボックスの形状で表現した例２（会話ペアが画面の表示ユーザの右方向にいる場合）
【０１８６】
図２７（１）に示す例は、表示ユーザＦと、視聴ユーザＣが会話ペアである場合の例である。
表示ユーザＦの正面に視聴ユーザＣがいる。
会話ペア識別情報３２１は、表示ユーザＦの顔の周囲に設定される顔サイドボックスである。
顔サイドボックスの配置が左右対称であり、表示ユーザＦは、正面方向、すなわち会話ペアである視聴ユーザＣを見ていると判定することができる。
【０１８７】
一方、図２７（２）に示す例は、表示ユーザＦと、視聴ユーザＡが会話ペアである場合の例である。
表示ユーザＦの右方向に視聴ユーザＡがいる。
会話ペア識別情報３２２は、表示ユーザＦの顔の周囲に設定される顔サイドボックスである。
顔サイドボックスの配置が右向きに傾斜した形状であり、表示ユーザＦは、右方向、すなわち会話ペアである視聴ユーザＡを見ていると判定することができる。
【０１８８】
図２８には、以下の２つの例を示している。
（１）会話ペアを顔サイドボックスの形状で表現した例１（会話ペアが画面の表示ユーザの正面方向にいる場合）
（２）会話ペアを顔サイドボックスの形状で表現した例２（会話ペアが画面の表示ユーザの右方向にいる場合）
【０１８９】
図２８（１）に示す例は、表示ユーザＦと、視聴ユーザＣが会話ペアである場合の例である。
表示ユーザＦの正面に視聴ユーザＣがいる。
会話ペア識別情報３３１は、表示ユーザＦの顔の周囲に設定される顔サイド球体である。
顔サイド球体の配置が左右対称であり、表示ユーザＦは、正面方向、すなわち会話ペアである視聴ユーザＣを見ていると判定することができる。
【０１９０】
一方、図２８（２）に示す例は、表示ユーザＦと、視聴ユーザＡが会話ペアである場合の例である。
表示ユーザＦの右方向に視聴ユーザＡがいる。
会話ペア識別情報３３２は、表示ユーザＦの顔の周囲に設定される顔サイド球体である。
顔サイド球体の配置が右向きに傾斜した形状であり、表示ユーザＦは、右方向、すなわち会話ペアである視聴ユーザＡを見ていると判定することができる。
【０１９１】
このように、会話ペアの構成員である表示ユーザの顔の周囲に顔サイドボックス（または球体）を設定し、設定した顔サイドボックス（または球体）の配置によって、会話ペアを識別可能とする。
【０１９２】
本例における出力画像生成、出力処理のシーケンスについて、図２９に示すフローチャートを参照して説明する。
図２９に示すフローに従った処理は、例えば図１１他に示す第２ロケーション表示画像生成部１６４、あるいは図１４等に示す第１ロケーション表示画像生成部２０１において実行される。
以下、図２９に示すフローチャートの各ステップの処理について、順次、説明する。
なお、以下では、第２ロケーション表示画像生成部１６４において処理を実行する例として説明する。
【０１９３】
（ステップＳ３３１）
まず、第２ロケーション表示画像生成部１６４は、ステップＳ３３１において、表示ユーザの撮影画像と、会話ペア判定情報を入力する。
【０１９４】
先に、図１１を参照して説明したように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【０１９５】
会話ペア判定情報には、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報が含まれる。ユーザ位置情報は、会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【０１９６】
（ステップＳ３３２）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３３２において、ステップＳ３３１で入力した会話ペア判定情報から、会話実行中の表示ユーザと視聴ユーザの位置を取得する。
【０１９７】
（ステップＳ３３３）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３３３において、顔サイドボックス（または球体）の配置を規定するパラメータである傾斜角度αを決定する。
【０１９８】
この処理について、図３０（１）を参照して説明する。
図３０（１）に示す例において、会話ペアは、会話ペア表示ユーザ３０５と、会話ペア視聴ユーザ３０６によって構成される。
図に示すように、会話ペア表示ユーザ３０５から会話ペア視聴ユーザ３０６に向けた矢印と、会話ペア表示ユーザ３０５の正面方向とのなす角度をα０としたとき、傾斜角度は既定乗算パラメータｐ０を用いて、以下の計算式で算出される。
傾斜角度：α＝ｐ０×α０
ステップＳ３３３では、上記式に従って傾斜角度αを算出する。
【０１９９】
（ステップＳ３３４）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３３４において、既定の消失点位置と、傾斜角度αに基づいて顔サイドボックス（または球体）の設定（配置）を決定する。
【０２００】
この処理について、図３０（２），（３）を参照して説明する。
図３０（２）には、顔サイドボックス（または球体）ＥＦとＧＨの例を示している。
図３０（３）には、顔サイドボックス（または球体）ＥＦとＧＨの生成手順例を示している。
【０２０１】
顔サイドボックス（または球体）の配置決定処理は、以下のような手順で実行される。
会話ペアの表示ユーザの顔の中心位置をＣとする。
Ｃから垂直方向に規定距離Ｌ０だけ離れた点をＰ・Ｑとする。
ＯＣの距離＝Ｌ１、角度βは既定値とする。
上記の設定の後、以下のステップ（Ｓ１）〜（ｓ４）を実行する。
（ｓ１）会話ペアの位置関係から傾斜角度αを算出する。
（ｓ２）Ｃから、角度αずれた線上で、規定距離Ｌ１だけ上の点Ｏを求める。
（ｓ３）Ｏから角度βずれた線ＯＦ・ＯＧを引く。
（ｓ４）Ｃ・Ｐ・Ｑを通る平行線とＯＦ，ＯＧの交点ＥＦＧＨＩＪを求め、交点ＥＦＧＨＩＪの各々を、顔サイドボックス（または球体）の配置位置とする。
これらの手順を実行することで、図３０（２）に示すような顔サイドボックス（または球体）の配置が決定される。
ステップＳ３３４では、上記処理に従って顔サイドボックス（または球体）の配置を決定する。
【０２０２】
（ステップＳ３３５）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３３５において、表示ユーザの撮影画像上に、会話実行中の表示ユーザと、視聴ユーザの位置関係を示す会話ペア識別情報としての顔サイドボックス（または球体）を重畳した表示画像を生成して、表示部に出力する。
【０２０３】
本例では、このように、会話ペアの構成員である表示ユーザの顔の周囲に顔サイドボックス（または球体）を設定し、設定した顔サイドボックス（または球体）の配置によって、会話ペアを識別可能とすることができる。
例えば、第２ロケーションの視聴ユーザは、表示部に表示された「会話ペア識別情報」としての「顔サイドボックス（または球体）」を見ることで、表示ユーザ中のどのユーザが、どの視聴ユーザに向かって話をしているかを、即座に正しく把握することが可能となり、スムーズなコミュニケーションを行うことが可能となる。
【０２０４】
［７−４．（４）会話ペア識別情報として背景画像のパース変換を利用した例について］
次に、会話ペア識別情報として背景画像のパース変換を利用した例について説明する。
この処理例は、先に、図１６〜図２０を参照して説明した背景画像の視点変換画像（パース変換画像）を適用して、会話ペアを識別する処理の具体的処理例に相当する。
【０２０５】
会話ペア識別情報として背景画像の視点変換画像（パース変換画像）を利用した具体例を図３１に示す。
図３１には、以下の２つの例を示している。
（１）会話ペアを背景画像の視点変換画像（パース変換画像）で表現した例１（会話ペアが画面の表示ユーザの正面方向にいる場合）
（２）会話ペアを背景画像の視点変換画像（パース変換画像）で表現した例２（会話ペアが画面の表示ユーザの右方向にいる場合）
【０２０６】
図３１（１）に示す例は、表示ユーザＥと、視聴ユーザＢが会話ペアである場合の例である。
表示ユーザＥの正面に視聴ユーザＢがいる。
背景画像は、視聴ユーザＢの視点から見た仮想視点画像（パース変換画像）である。
会話ペアである視聴ユーザＢは、会話ペアである表示ユーザＥが、正面方向、すなわち会話ペアである視聴ユーザＢを見ていると判定することができる。
【０２０７】
一方、図３１（２）に示す例は、表示ユーザＥと、視聴ユーザＡが会話ペアである場合の例である。
表示ユーザＥの右方向に視聴ユーザＡがいる。
背景画像は、視聴ユーザＡの視点から見た仮想視点画像（パース変換画像）である。
会話ペアである視聴ユーザＡは、会話ペアである表示ユーザＥが、右方向、すなわち会話ペアである視聴ユーザＡを見ていると判定することができる。
【０２０８】
このように、会話ペアの構成員である表示ユーザの背景画像を、会話ペアの構成印である視聴ユーザの視点から観察される視点変換画像（パース変換画像）に設定することで、会話ペアを識別可能とする。
【０２０９】
本例における出力画像生成、出力処理のシーケンスについて、図３２に示すフローチャートを参照して説明する。
図３２に示すフローに従った処理は、例えば図１１他に示す第２ロケーション表示画像生成部１６４、あるいは図１４等に示す第１ロケーション表示画像生成部２０１において実行される。
以下、図３２に示すフローチャートの各ステップの処理について、順次、説明する。
なお、以下では、第２ロケーション表示画像生成部１６４において処理を実行する例として説明する。
【０２１０】
（ステップＳ３４１）
まず、第２ロケーション表示画像生成部１６４は、ステップＳ３４１において、表示ユーザの撮影画像と、会話ペア判定情報を入力する。
【０２１１】
先に、図１１を参照して説明したように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【０２１２】
会話ペア判定情報には、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報が含まれる。ユーザ位置情報は、会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【０２１３】
（ステップＳ３４２）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３４２において、ステップＳ３４１で入力した会話ペア判定情報から、会話実行中の表示ユーザと視聴ユーザの位置を取得する。
【０２１４】
（ステップＳ３４３）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３４３において、背景画像の視点変換画像（パース変換画像）の生成処理を実行する。
【０２１５】
このステップＳ３４３の詳細シーケンスが、図３２の右側のフローである。以下、このフローのステップＳ３５１〜Ｓ３５５の各ステップの処理について、説明する。
【０２１６】
（ステップＳ３５１）
ステップＳ３５１は、人物画像と背景画像の分離処理である。
この処理は、先に図１７を参照して説明した第２ロケーション表示画像生成部１６４の人物／背景画像分離部２５５の実行する処理と同様の処理である。
第２ロケーション表示画像生成部１６４は、第１ロケーション撮影画像ｒ，１７２ｒに含まれる人物画像領域と、背景画像領域を分離する処理を実行する。
【０２１７】
なお、この処理には、例えば、第１ロケーションから入力する第１ロケーション撮影画像被写体距離情報（デプスデータ）２５５ｒを適用する。
あるいは、先に実施例３として説明したように複数の異なる視点から撮影された複数の画像を第２ロケーションに送信する構成として、人物／背景画像分離部２５５が、これらの複数画像に基づいて人物画像領域と、背景画像領域を分離する処理を実行する構成としてもよい。
【０２１８】
（ステップＳ３５２，Ｓ３５３）
ステップＳ３５２は、背景画像から直線エッジ部分を検出する処理である。
ステップＳ３５３は、ステップＳ３５２で検出したエッジからパース変換に適した画像であるか否かを判定する処理である。
【０２１９】
ステップＳ３５２では、背景領域に含まれる壁や机等の輪郭等の直線部分である直線エッジを検出する処理を実行し、ステップＳ３５３では、検出したエッジからパース変換に適した画像であるか否かを判定する。
この具体的処理例について、図３３〜図３５を参照して説明する。
【０２２０】
図３３には、以下の各図を示している。
（１）エッジ検出例ａ（パース変換に適したエッジが検出された例）
（２）エッジ検出例ｂ（パース変換に適したエッジが検出されなかった例）
（３）エッジ検出、パース変換適合性判定処理手順
【０２２１】
エッジ検出、パース変換適合性判定処理は以下の処理（ｓ１）〜（ｓ３）に従って行う。
（ｓ１）顔位置を中心として、背景を左右に二分する。
（ｓ２）左領域と右領域に対して、それぞれ背景に含まれる直線エッジを求める。
（ｓ３）エッジ方向の頻度分布を求め、
「（条件１）左領域では、右斜め上方向にエッジが揃っている」
「（条件２）右領域では、左斜め上方向にエッジが揃っている」
これらの条件１，２を満たす場合(例えば図３３（１）の例ａ)は、パース変換に適した画像として、パース変換を行う。
上記条件１，２を満たさない場合(例えば図３３（２）の例ｂ)は、パース変換に適さない画像として、パース変換を行わない。
【０２２２】
図３４は、背景画像からのエッジ検出処理の具体例について説明する図である。
背景領域の検証対象画素とその周囲８画素を含めた９画素Ｐｉに対して、
エッジ検出フィルタＤｘｉ，Ｄｙｉを掛けて、以下のスコアＳｘ，Ｓｙを算出する。
Ｓｘ＝ΣｉＰｉ×Ｄｘｉ，
Ｓｙ＝ΣｉＰｉ×Ｄｙｉ
ただし、ｉ＝０，・・・，８
【０２２３】
なお、エッジ検出フィルタとしては、例えば図３４に示すＳｏｂｅｌフィルタや、Ｐｒｅｖｉｔｔフィルタなどが適用可能である。
【０２２４】
さらに、既定しきい値Ｓｔｈと算出スコアＳｘ，Ｓｙとの比較を実行する。
｜Ｓｘ｜＜Ｓｔｈ、かつ、
｜Ｓｙ｜＜Ｓｔｈ
上記判定式を満足する場合、検証対象画素は、エッジ領域で無いと判定して、次の検証対象画素について判定する。
背景画像のすべての画素について検証処理を実行し、エッジ領域であると判定された画素について、エッジ角度α２を以下の式で計算する。
α２＝ｔａｎ−１（Ｓｘ／Ｓｙ）
ただし、０°≦α２＜１８０°
上記のエッジ角度算出処理を全画素に対して行い、エッジ角度の頻度分布を求める。
【０２２５】
図３５に、エッジ角度の分布例を示す。
図３５に示すように、会話ペアを構成する表示ユーザの顔の左領域と右領域に分けて、エッジ角度の頻度分布を算出後、背景の全画素に対して、以下の手順に従って、許容範囲内エッジ角度占有率ｐを算出する。
θ０≦α２≦θ１（左領域の場合）、
１８０°−θ１≦α２≦１８０°−θ０（右領域の場合）
上記の範囲に収まる画素が占める割合を許容範囲内エッジ角度占有率ｐとする。
ただし、θ０，θ１は規定値とし、０°≦θ０＜θ１≦１８０°が成立するものとする。
【０２２６】
次に、既定のしきい値ｐｔｈに対して、
ｐｔｈ≦ｐ
上記判定式が左右領域ともに成立する場合を「パース変換に適した画像」と判定する。
上記判定式が、左右領域のいずれかで成立しない場合を「パース変換に適しない画像」と判定する。
【０２２７】
ステップＳ３５２〜Ｓ３５３では、このような処理手順に従って、背景画像から直線エッジ部分を検出し、検出したエッジからパース変換に適した画像であるか否かを判定する。
パース変換に適さないと判定した場合は、処理を中止する。
パース変換に適した画像であると判定された場合に限り、ステップＳ３５４に進む。
【０２２８】
（ステップＳ３５４）
パース変換に適した画像であると判定された場合、ステップＳ３５４に進み、パース変換（せん断（スキュー）変換）を実行する。これはいわゆる仮想視点画像（パース変換画像）の生成処理に相当する。
【０２２９】
本処理例では、仮想視点変換画像の生成より、簡易なせん断（スキュー）変換を実行して、擬似的な仮想視点画像を生成する。
図３６を参照してこの処理について説明する。
【０２３０】
図３６（１）に示す例において、会話ペアは、会話ペア表示ユーザ３０５と、会話ペア視聴ユーザ３０６によって構成される。
図に示すように、会話ペア表示ユーザ３０５から会話ペア視聴ユーザ３０６に向けた矢印と、会話ペア表示ユーザ３０５の正面方向とのなす角度をα０としたとき、傾斜角度は既定乗算パラメータｐ０を用いて、以下の計算式で算出される。
傾斜角度：α＝ｐ０×α０
まず、上記式に従って傾斜角度αを算出する。
【０２３１】
せん断（スキュー）変換（＝パース変換）は、図３６（２）に示すように、傾斜角度αを利用して実行する。
図３６（２）には、
（ａ）パース変換前の座標
（ｂ）パース変換後の座標
これらの２つの画像座標を示している。
【０２３２】
（ａ）パース変換前の座標（ｘ，ｙ）を、（ｂ）パース変換前の座標（ｘ'，ｙ'）に変換する。
変換式は以下の通りである。
ｘ'＝ｘ＋ｔａｎα×ｙ
ｙ'＝ｙ
【０２３３】
上記変換式に従って、（ａ）パース変換前の座標（ｘ，ｙ）を、（ｂ）パース変換前の座標（ｘ'，ｙ'）に変換する。
ステップＳ３５４ではこのようなパース変換処理を実行する。
【０２３４】
（ステップＳ３５５）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３５５において、表示ユーザの撮影画像上に、会話実行中の表示ユーザと、視聴ユーザの位置関係を示す会話ペア識別情報としての背景画像の視点変換画像（パース変換画像）を重畳した表示画像を生成して、表示部に出力する。
【０２３５】
なお、この画像合成処理では、欠損領域の補間処理が必要となる場合がある。
この補間処理について図３７を参照して説明する。
人物領域を切り抜いた背景画像をパース変換した後、人物領域を合成する際に、図３７に示すような人物領域に相当する欠損領域が発生することがある。
このようなの欠損領域は、補間処理によって、所定の画素値を設定する。
この補間処理は、例えば、既存技術である「ｉｍａｇｅ  ｉｎｐａｉｎｔｉｎｇ  技術」を使って補間することができる。この補間処理については、例えば、文献［Ａ．Ｃｒｉｍｉｎｉｓｉ  ｅｔ  ａｌ．，Ｒｅｇｉｏｎ  ｆｉｌｌｉｎｇ  ａｎｄ  ｏｂｊｅｃｔ  ｒｅｍｏｖａｌ  ｂｙ  ｅｘｅｍｐｌａｒ−ｂａｓｅｄ  ｉｍａｇｅ  ｉｎｐａｉｎｔｉｎｇ，ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ２００４．］に記載がある。
【０２３６】
本例では、このように、背景画像の視点変換画像（パース変換画像）を設定し、背景画像の視点変換画像（パース変換画像）によって、会話ペアを識別可能とすることができる。
例えば、第２ロケーションの視聴ユーザは、表示部に表示された「会話ペア識別情報」としての「背景画像の視点変換画像（パース変換画像）」を見ることで、表示ユーザ中のどのユーザが、どの視聴ユーザに向かって話をしているかを、即座に正しく把握することが可能となり、スムーズなコミュニケーションを行うことが可能となる。
【０２３７】
［７−５．（５）会話ペア識別情報として顔の陰影を利用した例について］
次に、会話ペア識別情報として顔の陰影を利用した例について説明する。
【０２３８】
会話ペア識別情報として顔の陰影を利用した具体例を図３８に示す。
図３８には、以下の２つの例を示している。
（１）会話ペアを顔の陰影で表現した例１（会話ペアが画面の表示ユーザの正面方向にいる場合）
（２）会話ペアを顔の陰影で表現した例２（会話ペアが画面の表示ユーザの右方向にいる場合）
【０２３９】
図３８（１）に示す例は、表示ユーザＥと、視聴ユーザＢが会話ペアである場合の例である。
表示ユーザＥの正面に視聴ユーザＢがいる。
顔の陰影は、表示ユーザＥの中心から左右に明るい部分と暗い部分が２等分されている。
会話ペアである視聴ユーザＢは、会話ペアである表示ユーザＥが、正面方向、すなわち会話ペアである視聴ユーザＢを見ていると判定することができる。
【０２４０】
一方、図３８（２）に示す例は、表示ユーザＥと、視聴ユーザＣが会話ペアである場合の例である。
表示ユーザＥの左方向に視聴ユーザＣがいる。
顔の陰影は、表示ユーザＥの中心から右の明るい部分が左の暗い部分より大きく設定されている。
会話ペアである視聴ユーザＣは、会話ペアである表示ユーザＥが、左方向、すなわち会話ペアである視聴ユーザＣを見ていると判定することができる。
このように、会話ペアの構成員である表示ユーザの顔画像に陰影を設定して会話ペアを識別可能とする。
【０２４１】
本例における出力画像生成、出力処理のシーケンスについて、図３９に示すフローチャートを参照して説明する。
図３９に示すフローに従った処理は、例えば図１１他に示す第２ロケーション表示画像生成部１６４、あるいは図１４等に示す第１ロケーション表示画像生成部２０１において実行される。
以下、図３９に示すフローチャートの各ステップの処理について、順次、説明する。
なお、以下では、第２ロケーション表示画像生成部１６４において処理を実行する例として説明する。
【０２４２】
（ステップＳ３６１）
まず、第２ロケーション表示画像生成部１６４は、ステップＳ３６１において、表示ユーザの撮影画像と、会話ペア判定情報を入力する。
【０２４３】
先に、図１１を参照して説明したように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【０２４４】
会話ペア判定情報には、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報が含まれる。ユーザ位置情報は、会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
【０２４５】
（ステップＳ３６２）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３６２において、ステップＳ３６１で入力した会話ペア判定情報から、会話実行中の表示ユーザと視聴ユーザの位置を取得する。
【０２４６】
（ステップＳ３６３）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３６３において、顔の陰影の形状を規定するパラメータである傾斜角度αを決定する。
【０２４７】
この処理について、図４０（１）を参照して説明する。
図４０（１）に示す例において、会話ペアは、会話ペア表示ユーザ３０５と、会話ペア視聴ユーザ３０６によって構成される。
図に示すように、会話ペア表示ユーザ３０５から会話ペア視聴ユーザ３０６に向けた矢印と、会話ペア表示ユーザ３０５の正面方向とのなす角度をα０としたとき、傾斜角度は既定乗算パラメータｐ０を用いて、以下の計算式で算出される。
傾斜角度：α＝ｐ０×α０
ステップＳ３６３では、上記式に従って傾斜角度αを算出する。
【０２４８】
（ステップＳ３６４）
次に、第２ロケーション表示画像生成部１６４は、ステップＳ３６４において、顔の陰影の生成処理を実行する。
【０２４９】
このステップＳ３６４の詳細シーケンスが、図３９の右側のフローである。以下、このフローのステップＳ３７１〜Ｓ３７４の各ステップの処理について、説明する。
【０２５０】
（ステップＳ３７１）
ステップＳ３７１は、会話ペアを構成する人物の顔領域の検出処理である。
先に、図１１を参照して説明したように、第２ロケーション表示画像生成部１６４には、第１ロケーション撮影画像ｒ，１７２ｒと、第１ロケーションの会話ペア判定部１５３が生成した会話ペア第１判定情報ｒ，１７３ｒが入力される。
【０２５１】
会話ペア判定情報には、会話ペアを構成するユーザのユーザ特定情報と、ユーザ位置情報が含まれる。ユーザ位置情報は、会話ペア識別情報を表示するために必要となる位置情報であり、会話ペアを構成する表示ユーザの表示位置と、表示部前の視聴ユーザの表示部に対する相対位置を含む。
また、顔検出は既存の技術が適用可能である。
【０２５２】
（ステップＳ３７２，Ｓ３７３）
ステップＳ３７２は、顔領域の輝度分布測定処理である。
ステップＳ３７３は、ステップＳ３７２で検出した顔領域輝度分布に基づいて顔画像に陰影を設定する陰影補正に適した画像であるか否かを判定する処理である。
この具体的処理例について、図４０（２）を参照して説明する。
【０２５３】
図４０（２）には、以下を説明する図を示している。
（２ａ）輝度分布測定処理例
（２ｂ）輝度分布測定結果例
（２ｃ）陰影補正適合判定処理例
【０２５４】
顔画像の輝度分布の測定処理は、以下のように実行する。
表示ユーザの顔領域に対して、左右の領域に分けて別々に輝度分布を測定する。
左領域の輝度分布：ＨＬ（Ｉ）
右領域の輝度分布：ＨＲ（Ｉ）
とする（Ｉは輝度）
この結果、例えば図４０（２ａ）のように、左右の領域各々の輝度分布データ（ヒストグラム）が得られる。
【０２５５】
陰影補正適合判定処理は、以下のように実行する。
左右領域の輝度分布の差Ｓｄを、以下の算出式に従って算出する。
Ｓｄ＝ΣＩ（（ＨＬ（Ｉ）−ＨＲ（Ｉ））２／（ＨＬ（Ｉ）＋ＨＲ（Ｉ）））
【０２５６】
さらに、算出値Ｓｄと、既定しきい値Ｓｄ０とを比較する。
Ｓｄ０≦Ｓｄ
上記判定式が成立する場合は、左右領域の輝度分布が大きく異なるので、陰影補正に適すると判定する。
上記判定式が成立しない場合は、陰影補正に適さないと判定する。
【０２５７】
ステップＳ３７２，Ｓ３７３では、このような手順で顔領域の輝度分布測定処理と、陰影補正に適した画像であるか否かを判定する。
陰影補正に適さないと判定した場合は、処理を中止する。
陰影補正に適した画像であると判定された場合に限り、ステップＳ３７４に進む。
【０２５８】
（ステップＳ３７４）
ステップＳ３７４では、顔画像の輝度変換（陰影補正）を実行する。
この具体的処理例について、図４１を参照して説明する。
【０２５９】
図４１には、顔画像の輝度変換（陰影補正）の具体的シーケンスをフローとして示している。
顔画像の輝度変換（陰影補正）は以下の処理手順に従って実行される。
（ステップＳ３８１）  鏡面・拡散反射成分の分離
（ステップＳ３８２）  鏡面反射成分の拡縮
（ステップＳ３８３）  鏡面・拡散反射成分の合成
【０２６０】
顔画像の画素値出力には、物体表面で反射する入射光と同色の鏡面反射成分と、
物体内部で複雑に反射して物体色を決める拡散反射成分が含まれ、まず、ステップＳ３８１ではこれらの成分分離処理を実行する。なお、この分離処理には、例えば、以下の文献に記載の既存技術を用いることが可能である［肥後ら、"二色性反射モデルに基づくリアルタイム鏡面反射成分除去"情報処理学会研究報告(2006)］
【０２６１】
次にステップＳ３８２において、分離した鏡面反射成分の拡縮処理を実行する。明るくする領域を多くする場合は、鏡面反射成分の拡大を実行し、暗くする領域を多くする場合は、鏡面反射成分の縮小を実行する。
図４１に示す例は、鏡面反射成分の拡大を実行した例である。
ステップＳ３８３は、鏡面・拡散反射成分の合成処理を実行する。
このように陰影補正は、鏡面成分の調整によって実行する。
【０２６２】
図４２は、具体的な鏡面反射成分の拡縮処理例を示す図である。
顔画像を構成する各画素の鏡面反射成分を、以下の座標変換で領域を拡縮する。
ｘ'＝ｘ−α×Ｇ（ｘ，ｙ）
ｙ'＝ｙ
ただし、
ｘ，ｙは変換前の点の座標
ｘ'，ｙ'は変換後の点の座標
Ｇはゲイン関数である。
【０２６３】
ゲイン関数としては、以下のゲイン関数が適用可能である。
Ｇ（ｘ，ｙ）＝Ｒ−ｓｑｒｔ（ｘ２＋ｙ２）
ただし、ｓｑｒｔ：平方根
なお、Ｒは、顔の大きさを表す値であり、顔の形状を円形に近似した際の半径の大きさに相当する。
【０２６４】
図３９に示すステップＳ３７４の陰影補正処理は、このような手順で実行される。
【０２６５】
本例では、このように、顔の陰影を設定し、顔の陰影によって、会話ペアを識別可能とすることができる。
例えば、第２ロケーションの視聴ユーザは、表示部に表示された「会話ペア識別情報」としての「顔の陰影」を見ることで、表示ユーザ中のどのユーザが、どの視聴ユーザに向かって話をしているかを、即座に正しく把握することが可能となり、スムーズなコミュニケーションを行うことが可能となる。
【０２６６】
なお、様々な会話ペア識別情報について説明してきたが、これらは単独で利用する構成としてもよいし、複数組み合わせて利用する構成としてもよい。
【０２６７】
［８．情報処理装置のハードウェア構成例について］
次に、図４３を参照して情報処理装置のハードウェア構成例について説明する。
図４３は、本開示の処理を実行する情報処理装置のハードウェア構成例を示す図である。
【０２６８】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
【０２６９】
ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、撮像部５２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部５０６、表示部５２２やスピーカなどに対するデータ出力を実行する出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
【０２７０】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【０２７１】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。
【０２７２】
［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２７３】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する表示画像生成部を有する情報処理装置。
【０２７４】
（２）  前記情報処理装置は、
データ送受信部を介して前記表示ユーザの画像データを入力し、
前記表示画像生成部は、前記表示ユーザの画像データ上に、前記会話ペア識別情報を重畳して表示する（１）に記載の情報処理装置。
【０２７５】
（３）  前記表示画像生成部は、
会話ペア判定情報を入力し、入力した会話ペア判定情報に基づいて、会話ペアを構成する表示ユーザと、視聴ユーザを判別し、
会話ペアを構成する表示ユーザと、会話ペアを構成する視聴ユーザを識別可能とした会話ペア識別情報を前記表示部に出力する（１）または（２）に記載の情報処理装置。
【０２７６】
（４）  前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザから会話ペアを構成する視聴ユーザに向かう矢印を生成し、生成した矢印を、表示部に表示される会話ペア構成表示ユーザの近傍に表示する（１）〜（３）いずれかに記載の情報処理装置。
【０２７７】
（５）  前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する視聴ユーザを識別可能なアイコンを生成し、生成したアイコンを、表示部に表示される会話ペアを構成する表示ユーザの近傍に表示する（１）〜（３）いずれかに記載の情報処理装置。
【０２７８】
（６）  前記情報処理装置は、
データ送受信部を介して前記会話ペア判定情報を入力し、
前記表示画像生成部は、
データ送受信部を介して入力した会話ペア判定情報に基づいて、会話ペアを構成する表示ユーザと、視聴ユーザを判別する（３）に記載の情報処理装置。
【０２７９】
（７）  前記会話ペア判定情報は、
前記表示ユーザの画像と前記視聴ユーザの画像を利用して生成される情報である（３）または（６）に記載の情報処理装置。
【０２８０】
（８）  前記表示画像生成部は、
会話ペアを構成する表示ユーザの顔画像に基づいて生成される正面顔画像を、前記会話ペア識別情報とともに表示部に表示する（１）〜（７）いずれかに記載の情報処理装置。
【０２８１】
（９）  前記表示画像生成部は、
会話ペアを構成する視聴ユーザの視点から観察される背景の仮想視点画像を表示部に表示する（１）〜（８）いずれかに記載の情報処理装置。
【０２８２】
（１０）  前記表示画像生成部は、
会話ペアを構成する視聴ユーザの位置の変化に応じて変更される視点に基づいて、前記仮想視点画像の視点を逐次更新し、更新した仮想視点画像を表示部に表示する（９）に記載の情報処理装置。
【０２８３】
（１１）  前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の周囲に、会話ペアを構成する視聴ユーザ方向に傾斜する輪郭を有する顔周囲枠を生成し、生成した顔周囲枠を、表示部に表示される会話ペアを構成する表示ユーザの顔の周囲に表示する（１）〜（１０）いずれかに記載の情報処理装置。
【０２８４】
（１２）  前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の周囲に、会話ペアを構成する視聴ユーザ方向に傾斜するラインからなる顔サイドラインを生成し、生成した顔サイドラインを、表示部に表示される会話ペアを構成する表示ユーザの顔の両サイドに表示する（１）〜（１０）いずれかに記載の情報処理装置。
【０２８５】
（１３）  前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の周囲に、会話ペアを構成する視聴ユーザ方向に傾斜するライン上に配列されたマークを生成し、生成したマークを、表示部に表示される会話ペアを構成する表示ユーザの顔の両サイドに表示する（１）〜（１０）いずれかに記載の情報処理装置。
【０２８６】
（１４）  前記表示画像生成部は、
前記会話ペア識別情報として、会話ペアを構成する表示ユーザの顔画像の輝度を、会話ペアを構成する視聴ユーザ方向に応じて変化させた陰影補正顔画像として生成し、生成した陰影補正顔画像を表示部に表示する（１）〜（１０）いずれかに記載の情報処理装置。
【０２８７】
（１５）  表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを判定する会話ペア判定部を有し、
前記会話ペア判定部は、
前記表示ユーザを撮影した第１画像データと、前記視聴ユーザを撮影した第２画像データを入力し、各画像の解析により会話ペアを構成する表示ユーザと視聴ユーザのペアを示す会話ペア判定情報を生成する情報処理装置。
【０２８８】
（１６）  画像送信を実行する送信装置と、前記送信装置の送信画像を受信し、表示部に表示する受信装置を有する情報処理システムであり、
前記送信装置は、
前記受信装置の表示部に表示する表示ユーザ画像と、
どの表示ユーザが、前記表示部を見る複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを示す会話ペア判定情報を送信し、
前記受信装置は、
前記会話ペア判定情報に基づいて、どの表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する情報処理システム。
【０２８９】
（１７）  情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
表示部に対する表示画像を生成する表示画像生成部を有し、
前記表示画像生成部が、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する情報処理方法。
【０２９０】
（１８）  情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
表示部に対する表示画像を生成する表示画像生成部を有し、
前記プログラムは、前記表示画像生成部に、
表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、前記表示ユーザとともに前記表示部に出力する処理を実行させるプログラム。
【０２９１】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２９２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２９３】
以上、説明したように、本開示の一実施例の構成によれば、表示部の表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした構成が実現される。
具体的には、表示部の表示ユーザが、複数の視聴ユーザのどの視聴ユーザに向けて話をしているかを識別可能とした会話ペア識別情報を生成して、表示ユーザとともに表示部に出力する表示画像生成部を有する。表示画像生成部は、会話ペア識別情報として、会話ペアを構成する表示ユーザから会話ペアを構成する視聴ユーザに向かう矢印やアイコン、顔周囲枠や顔サイドライン、あるいは仮想視点背景画像等を生成し、生成した会話ペア識別情報を表示ユーザに併せて表示部に表示する。
本構成により、表示部に表示される表示ユーザがどの視聴ユーザに向けて話をしているかを識別可能とした構成が実現される。
【符号の説明】
【０２９４】
１０，２０  データ処理部
１１，２１  表示部（ディスプレイ）
１２，２２  カメラ
１３，２３  スピーカ
３０  ネットワーク
１０１  表示部
１０２  カメラ
１０３  スピーカ
１１０  表示ユーザ
１２１〜１２４  会話ペア識別情報
１３０  視聴ユーザ
１５１  第１ロケーション撮像部
１５２  第１ロケーションユーザ情報取得部
１５３  会話ペア判定部
１５４  第１ロケーション送受信部
１５５  第１ロケーション表示部
１６１  第２ロケーション撮像部
１６２  第２ロケーションユーザ情報取得部
１６３  第２ロケーション送受信部
１６４  第２ロケーション表示画像生成部
１６５  第２ロケーション表示部
２０１  第１ロケーション表示画像生成部
２１１  会話ペア判定部
２５１  正面顔生成部
２５５  人物／背景画像分離部
２５６  画像合成部
２６０  人物画像補正部
２６１  正面顔画像生成部
２７０  背景画像補正部
２７１  視点変換画像生成部
２８０  テーブル
２８１  表示部
２８２  視聴ユーザ
２８３  表示ユーザ
２８４  カメラ
３０１，３０２  会話ペア識別情報
３０５  会話ペア表示ユーザ
３０６  会話ペア視聴ユーザ
３１１，３１２  会話ペア識別情報
３２１，３２２  会話ペア識別情報
３３１，３３２  会話ペア識別情報
３４１，３４２  会話ペア識別情報
３５１，３５２  会話ペア識別情報
５０１  ＣＰＵ
５０２  ＲＯＭ
５０３  ＲＡＭ
５０４  バス
５０５  入出力インタフェース
５０６  入力部
５０７  出力部
５０８  記憶部
５０９  通信部
５１０  ドライブ
５１１  リムーバブルメディア
５２１  撮像部
５２２  表示部
【図１】
2017141584.tif 000003
【図２】
2017141584.tif 000004
【図３】
2017141584.tif 000005
【図４】
2017141584.tif 000006
【図５】
2017141584.tif 000007
【図６】
2017141584.tif 000008
【図７】
2017141584.tif 000009
【図８】
2017141584.tif 000010
【図９】
2017141584.tif 000011
【図１０】
2017141584.tif 000012
【図１１】
2017141584.tif 000013
【図１２】
2017141584.tif 000014
【図１３】
2017141584.tif 000015
【図１４】
2017141584.tif 000016
【図１５】
2017141584.tif 000017
【図１６】
2017141584.tif 000018
【図１７】
2017141584.tif 000019
【図１８】
2017141584.tif 000020
【図１９】
2017141584.tif 000021
【図２０】
2017141584.tif 000022
【図２１】
2017141584.tif 000023
【図２２】
2017141584.tif 000024
【図２３】
2017141584.tif 000025
【図２４】
2017141584.tif 000026
【図２５】
2017141584.tif 000027
【図２６】
2017141584.tif 000028
【図２７】
2017141584.tif 000029
【図２８】
2017141584.tif 000030
【図２９】
2017141584.tif 000031
【図３０】
2017141584.tif 000032
【図３１】
2017141584.tif 000033
【図３２】
2017141584.tif 000034
【図３３】
2017141584.tif 000035
【図３４】
2017141584.tif 000036
【図３５】
2017141584.tif 000037
【図３６】
2017141584.tif 000038
【図３７】
2017141584.tif 000039
【図３８】
2017141584.tif 000040
【図３９】
2017141584.tif 000041
【図４０】
2017141584.tif 000042
【図４１】
2017141584.tif 000043
【図４２】
2017141584.tif 000044
【図４３】
2017141584.tif 000045
【国際調査報告】
2017141584.tif 000046
2017141584.tif 000047
2017141584.tif 000048