(57)【要約】【課題】応答性能の確保と、転送負荷の軽減との両立を図る。【解決手段】実施形態による画像転送装置は、表示画面を備えた表示装置に画像データを転送するように構成されている。画像転送装置は、ユーザの視線を検出可能な視線検出装置から取得される視線情報を用いて、ユーザが注視している表示画面内の注視位置を特定する特定部と、前回転送した第１画像データと、今回転送する予定の第２画像データとの差分データを周期的に検出する差分検出部と、差分データを表示装置に送信する送信部とを備える。差分検出部は、注視位置が存在する場合、第１画像データおよび第２画像データのうち、表示画面の一部の、注視位置を含む所定範囲の第１領域に対応する部分については、第１周期で差分データを検出し、第１領域以外の第２領域に対応する部分については、第１周期よりも長い第２周期で差分データを検出するように構成されている。【選択図】図３
2017059957.tif 000002
【特許請求の範囲】
【請求項１】
表示画面を備えた表示装置に画像データを転送する画像転送装置であって、
ユーザの視線を検出可能な視線検出装置から取得される視線情報を用いて、前記ユーザが注視している前記表示画面内の注視位置を特定する特定部と、
前回転送した第１画像データと、今回転送する予定の第２画像データとの差分データを周期的に検出する差分検出部と、
前記差分データを前記表示装置に送信する送信部とを備え、
前記差分検出部は、前記注視位置が存在する場合、前記第１画像データおよび前記第２画像データのうち、前記表示画面の一部の、前記注視位置を含む所定範囲の第１領域に対応する部分については、第１周期で前記差分データを検出し、前記第１領域以外の第２領域に対応する部分については、前記第１周期よりも長い第２周期で前記差分データを検出する、画像転送装置。
【請求項２】
前記差分検出部は、前記注視位置が存在しない場合、前記第１画像データおよび前記第２画像データの全体について、前記第２周期で前記差分データを検出する、請求項１に記載の画像転送装置。
【請求項３】
前記視線情報を用いて、前記ユーザと前記表示画面との間の距離を判定する判定部と、
前記距離がしきい値未満の場合、前記差分データを第１圧縮率で圧縮し、前記距離が閾値以上の場合、前記差分データを前記第１圧縮率より高い第２圧縮率で圧縮する圧縮部とをさらに備える、請求項１または２に記載の画像転送装置。
【請求項４】
前記視線情報は、前記表示装置に取り付けられる前記視線検出装置としてのカメラにより撮像される前記ユーザの瞳の画像、または、前記ユーザにより装着される前記視線検出装置としての視線追跡眼鏡を介して前記ユーザが視認する画像である、請求項１〜３のいずれか１項に記載の画像転送装置。
【請求項５】
表示画面を備えた表示装置と、前記表示装置に画像データを転送する画像転送装置とを備えた画像転送システムであって、
前記表示装置は、ユーザの視線を検出可能な視線検出装置から取得される視線情報を用いて、前記ユーザが注視している前記表示画面内の注視位置を特定する特定部を備え、
前記画像転送装置は、前回転送した第１画像データと、今回転送する予定の第２画像データとの差分データを周期的に検出する差分検出部と、前記差分データを前記表示装置に送信する送信部とを備え、
前記差分検出部は、前記注視位置が存在する場合、前記第１画像データおよび前記第２画像データのうち、前記表示画面の一部の、前記注視位置を含む所定範囲の第１領域に対応する部分については、第１周期で前記差分データを検出し、前記第１領域以外の第２領域に対応する部分については、前記第１周期よりも長い第２周期で前記差分データを検出する、画像転送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像転送装置および画像転送システムに関する。
【背景技術】
【０００２】
従来、画像生成装置で生成された画像データを、ネットワークなどを介して遠隔に設置された表示装置に転送する画像転送技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１８９７６号公報
【特許文献２】特開２０１１−１９８１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような画像転送技術では、応答性能の確保と、転送負荷の軽減との両立を図ることが望まれている。
【課題を解決するための手段】
【０００５】
実施形態による画像転送装置は、表示画面を備えた表示装置に画像データを転送するように構成されている。画像転送装置は、ユーザの視線を検出可能な視線検出装置から取得される視線情報を用いて、ユーザが注視している表示画面内の注視位置を特定する特定部と、前回転送した第１画像データと、今回転送する予定の第２画像データとの差分データを周期的に検出する差分検出部と、差分データを表示装置に送信する送信部とを備える。差分検出部は、注視位置が存在する場合、第１画像データおよび第２画像データのうち、表示画面の一部の、注視位置を含む所定範囲の第１領域に対応する部分については、第１周期で差分データを検出し、第１領域以外の第２領域に対応する部分については、第１周期よりも長い第２周期で差分データを検出するように構成されている。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１実施形態による画像転送システムのネットワーク構成を示した例示図である。
【図２】図２は、第１実施形態による画像転送装置および表示装置のハードウェア構成を示した例示ブロック図である。
【図３】図３は、第１実施形態による画像転送装置および表示装置の機能的構成を示した例示ブロック図である。
【図４Ａ】図４Ａは、第１実施形態において注視位置が存在する場合の検出周期を示した例示図である。
【図４Ｂ】図４Ｂは、第１実施形態において注視位置が存在しない場合の検出周期例示図である。
【図５】図５は、第１実施形態による画像転送処理の流れの一例を示した例示シーケンス図である。
【図６】図６は、第１実施形態による画像転送処理において実行される注視位置の特定処理の詳細を示した例示フローチャートである。
【図７】図７は、第１実施形態による画像転送処理において実行される検出周期の設定処理の詳細を示した例示フローチャートである。
【図８】図８は、第２実施形態による画像転送システムのネットワーク構成を示した例示図である。
【図９】図９は、第２実施形態による画像転送装置および表示装置の機能的構成を示した例示ブロック図である。
【図１０】図１０は、第３実施形態による画像転送装置および表示装置の機能的構成を示した例示ブロック図である。
【図１１】図１１は、第３実施形態による画像転送処理の流れの一例を示した例示シーケンス図である。
【図１２】図１２は、第３実施形態による画像転送処理において実行される圧縮率の設定処理の詳細を示した例示フローチャートである。
【発明を実施するための形態】
【０００７】
以下、実施形態を図面に基づいて説明する。
【０００８】
（第１実施形態）
まず、図１〜図３を参照して、第１実施形態による画像転送システム１０００の構成について説明する。
【０００９】
図１に示すように、画像転送システム１０００は、画像転送装置１００と、表示装置２００とを備える。画像転送装置１００には、画像生成を伴う処理を実行するアプリケーションプログラム（画像生成プログラム１０１、図３参照）がインストールされている。また、表示装置２００は、自身に接続される（または自身が備える）ディスプレイ３００の表示画面に画像を出力したり、自身に接続される（または自身が備える）入力デバイス４００を介してユーザの操作入力を受け付けたりすることが可能なように構成されている。
【００１０】
なお、図１には、画像転送装置１００および表示装置２００がそれぞれ複数設けられた例が図示されているが、第１実施形態では、画像転送装置１００および表示装置２００の個数がそれぞれ１個であってもよい。また、図１では、表示装置２００にカメラ５００が取り付けられているが、カメラ５００の詳細については後で説明するため、ここでは説明を省略する。
【００１１】
ここで、第１実施形態では、画像転送装置１００と表示装置２００とが、インターネットやＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やイントラネットなどのネットワーク６００を介して互いに通信可能に接続されている。これにより、第１実施形態では、画像転送装置１００側で生成される画像データに対する操作（画面操作）を、画像転送装置１００ではなく、表示装置２００を用いて遠隔で行うことが可能である。つまり、第１実施形態では、画像転送装置１００側で生成される画像データをネットワーク６００経由で表示装置２００に転送したり、表示装置２００側で実行される画面操作の情報をネットワーク６００経由で画像転送装置１００に通知したりすることが可能である。
【００１２】
画像転送装置１００および表示装置２００は、共に、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やスマートフォンやタブレットなど、表示ユニットを備えた（または表示ユニットを接続可能な）端末として実現される。すなわち、画像転送装置１００および表示装置２００は、共に、図２に示すような、通常のコンピュータ７００を利用したハードウェア構成を有する。
【００１３】
より具体的には、図２に示すように、画像転送装置１００および表示装置２００は、共に、ハードウェア構成として、プロセッサ７０１と、メモリ７０２と、ストレージ７０３と、通信Ｉ／Ｆ（インターフェース）７０４と、入出力Ｉ／Ｆ７０５とを備える。これらのハードウェアは、バス７０６を介して互いに接続されている。
【００１４】
プロセッサ７０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを備えた演算装置である。メモリ７０２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを備えた主記憶装置である。ストレージ７０３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などを備えた補助記憶装置である。通信Ｉ／Ｆ５４は、コンピュータ７００をネットワーク６００に接続するためのインターフェースである。入出力Ｉ／Ｆ７０５は、コンピュータ７００を外部装置（カメラ５００やディスプレイ３００や入力デバイス４００など）に接続するためのインターフェースである。
【００１５】
ここで、第１実施形態による画像転送装置１００および表示装置２００のプロセッサ７０１のＣＰＵは、メモリ７０２のＲＯＭから各種アプリケーションプログラムを読み出して実行することにより、図３に示すような機能的構成をメモリ７０２のＲＡＭ上に生成することが可能なように構成されている。
【００１６】
図３に示すように、第１実施形態による画像転送装置１００は、メモリ７０２のＲＡＭ上に生成される機能的構成として、差分検出部１０２と、差分データ送信部１０３と、注視位置受信部１０４と、検出周期設定部１０５とを備える。また、第１実施形態による画像転送装置１００は、メモリ７０２のＲＯＭやストレージ７０３などに記憶されるデータベースとして、転送予定画像記憶部１０６と、転送済画像記憶部１０７と、検出周期記憶部１０８とを備える。
【００１７】
また、第１実施形態による表示装置２００は、メモリ７０２のＲＡＭ上に生成される機能的構成として、差分データ受信部２０１と、表示制御部２０２と、注視位置特定部２０３と、注視位置送信部２０４とを備える。また、第１実施形態による表示装置２００は、メモリ７０２のＲＯＭやストレージ７０３などに記憶されるデータベースとして、表示画像記憶部２０５を備える。
【００１８】
差分検出部１０２は、転送済画像記憶部１０７に記憶された第１画像データと、転送予定画像記憶部１０６に記憶された第２画像データとの差分データを周期的に検出する。ここで、第１画像データとは、画像生成プログラム１０１により過去に生成された画像データであって、前回画像転送装置１００から表示装置２００に転送された画像データである。また、第２画像データとは、画像生成プログラム１０１によりリアルタイムで生成される画像データであって、今回画像転送装置１００から表示装置２００に転送される予定の画像データである。
【００１９】
差分データ送信部１０３は、ＴＣＰ／ＩＰなどの通信プロトコルに従い、差分検出部１０２により検出された差分データを、ネットワーク６００（図３には図示せず）を介して表示装置２００に送信する。そして、差分データ受信部２０１は、差分データ送信部１０３が送信した差分データを受信し、受信した差分データを表示制御部２０２に出力する。表示制御部２０２は、差分データ受信部２０１から入力される差分データに基づいて表示画像記憶部２０５に記憶された画像データを更新することにより、ディスプレイ３００に最新の画像データを表示させる。
【００２０】
ここで、上記のような画像転送処理では、差分データ送信部１０３による差分データの検出周期をより短くすれば、応答性能を高めることが可能になる。しかしながら、差分データの検出周期をより短くすると、差分データの転送頻度がより高くなるため、転送負荷が増大しやすい。
【００２１】
そこで、第１実施形態では、応答性能の確保と、転送時の負荷の低減とを両立するために、以下で説明するような構成が設けられている。
【００２２】
注視位置特定部２０３は、表示画像記憶部２０５に記憶された画像データと、カメラ５００から入出力Ｉ／Ｆ７０５を介して入力されるユーザの視線情報とに基づいて、ユーザが注視している表示画面内の位置（以下、注視位置という）の有無を特定する。ここで、カメラ５００とは、ディスプレイ３００に対向する位置に位置するユーザの瞳の画像を撮像し、撮像した画像データをリアルタイムで出力する撮像デバイスである。
【００２３】
注視位置が存在する場合、注視位置特定部２０３は、注視位置の座標を注視位置送信部２０４に出力する。一方、注視位置が存在しない場合、注視位置特定部２０３は、注視位置が存在しない旨を注視位置送信部２０４に出力する。
【００２４】
より具体的には、注視位置特定部２０３は、カメラ５００から取得された画像データに基づいて、ユーザの瞳に映っている画像（以下、瞳画像という）を検出し、瞳画像との類似性が所定値以上の画像が、表示画像記憶部２０５に記憶された画像データ内に存在するか否かをチェックする。
【００２５】
瞳画像との類似性が所定値以上の画像が存在しない場合、注視位置特定部２０３は、注視位置が存在しない旨を注視位置送信部２０４に出力する。一方、瞳画像との類似性が所定値以上の画像が存在する場合、注視位置特定部２０３は、ユーザの瞳の中心に位置する画像（以下、瞳中心画像という）を検出し、瞳中心画像と一致する画像が、表示画像記憶部２０５に記憶された画像データ内に存在するか否かをさらにチェックする。
【００２６】
瞳中心画像と一致する画像が存在する場合、注視位置特定部２０３は、瞳中心画像と一致する画像の中央の座標を算出し、算出した座標を注視位置の座標として注視位置送信部２０４に出力する。一方、注視位置特定部２０３は、瞳中心画像と一致する画像が存在しない場合、注視位置が存在しない旨を注視位置送信部２０４に出力する。
【００２７】
注視位置送信部２０４は、ＴＣＰ／ＩＰなどの通信プロトコルに従い、注視位置特定部２０３から入力される注視位置の有無に関する情報を、ネットワーク６００（図３には図示せず）を介して画像転送装置１００に送信する。そして、注視位置受信部１０４は、注視位置送信部２０４が送信した情報を受信し、受信した情報を検出周期設定部１０５に出力する。
【００２８】
検出周期設定部１０５は、注視位置受信部１０４から入力される情報に基づいて、注視位置の有無に応じて、差分検出部１０２による差分データの検出処理の周期（以下、検出周期という）を設定する。
【００２９】
より具体的には、注視位置が存在する場合、検出周期設定部１０５は、図４Ａに示すように、表示画面の一部の、注視位置を含む所定範囲の第１領域Ｒ１に対応する部分の検出周期を比較的短い第１周期（たとえば０．０１秒）に設定し、第１領域Ｒ１以外の第２領域Ｒ２に対応する部分の検出周期を第１周期よりも長い第２周期（たとえば１秒）に設定する。これにより、応答性能の確保と、転送負荷の低減との両立を図ることができる。つまり、ユーザの視線が集中している第１領域Ｒ１については、検出周期を比較的短くすることで応答性能を確保することができ、ユーザの視線が集中していない第２領域Ｒ２については、検出周期を比較的長くすることで転送負荷を低減することができる。
【００３０】
一方、注視位置が存在しない場合、検出周期設定部１０５は、図４Ｂに示すように、表示画面の全域Ｒ０について、検出周期を第２周期（たとえば１秒）に設定する。これにより、転送負荷を低減することができる。ここで、注視位置が存在しない場合とは、ユーザが表示画面のどの部分も注視していない場合である。したがって、注視位置が存在しない場合においては、応答性能の確保よりも転送負荷の低減を優先しても、不都合は生じにくい。
【００３１】
上記の設定内容は、検出周期記憶部１０８に保存される。そして、差分検出部１０２は、検出周期記憶部１０８に保存された設定内容に従い、転送済画像記憶部１０７に記憶された第１画像データと、転送予定画像記憶部１０６に記憶された第２画像データとの差分データを周期的に検出する。
【００３２】
すなわち、差分検出部１０２は、注視位置が存在する場合、図４Ａに示すように、第１画像データおよび第２画像データのうち、注視位置を含む所定範囲の第１領域Ｒ１に対応する部分については、第１周期（０．０１秒）で差分データを検出し、第１領域Ｒ１以外の第２領域Ｒ２に対応する部分については、第１周期よりも長い第２周期（１秒）で差分データを検出する。
【００３３】
また、差分検出部１０２は、注視位置が存在しない場合、図４Ｂに示すように、第１画像データおよび第２画像データの全体について、第２周期（１秒）で差分データを検出する。
【００３４】
なお、差分検出部１０２は、差分データの検出が完了した領域であって、差分データ送信部１０３による転送が完了した領域については、転送予定画像記憶部１０６の内容を、転送済画像記憶部１０７にコピーする。これにより、転送済画像記憶部１０７の内容を適切にアップデートすることができる。
【００３５】
次に、図５を参照して、第１実施形態による画像転送装置１００および表示装置２００が実行する画像転送処理について説明する。
【００３６】
図５の処理シーケンスでは、Ｓ１において、表示装置２００（注視位置特定部２０３）は、自身に取り付けられたカメラ５００から、ディスプレイ３００に対向する位置に位置するユーザの瞳の画像データを取得する。そして、Ｓ２において、注視位置特定部２０３は、Ｓ１で取得した画像データに基づいて、ユーザが注視している表示画面内の位置（注視位置）を特定する。そして、Ｓ３において、表示装置２００（注視位置送信部２０４）は、注視位置に関する情報を画像転送装置１００に送信する。なお、Ｓ２については、図６を用いて後で詳細に説明する。
【００３７】
Ｓ４において、画像転送装置１００（検出周期設定部１０５）は、表示装置２００から受信した、注視位置に関する情報に基づいて、差分検出部１０２による差分データの検出処理の周期（検出周期）の設定を行う。Ｓ４で設定された内容は、検出周期記憶部１０８に記憶される。なお、Ｓ４については、図７を用いて後で詳細に説明する。
【００３８】
Ｓ５において、画像転送装置１００（差分検出部１０２）は、検出周期記憶部１０８に記憶された設定内容に従い、転送済画像記憶部１０７に記憶された第１画像データと、転送予定画像記憶部１０６に記憶された第２画像データとの差分データを検出する。そして、Ｓ６において、画像転送装置１００（差分データ送信部１０３）は、検出された差分データを表示装置２００に送信する。
【００３９】
Ｓ７において、表示装置２００（表示制御部２０２）は、画像転送装置１００から受信した差分データに基づいて、表示画像記憶部２０５に記憶された画像データを更新し、ディスプレイ３００の表示内容を制御する。
【００４０】
以上のＳ１〜Ｓ７により、画像転送装置１００側で生成された画像データを表示装置２００に転送する画像転送処理が実行される。なお、Ｓ２〜Ｓ４は、カメラ５００からユーザの瞳の画像データが取得される度に実行される。また、Ｓ５〜Ｓ７は、Ｓ４の設定内容に従って周期的に実行される。
【００４１】
次に、図６を参照して、第１実施形態による画像転送処理において実行される注視位置の特定処理（図５のＳ２参照）の詳細について説明する。この図６の各処理は、表示装置２００の注視位置特定部２０３によって実行される。
【００４２】
図６の処理フローでは、まず、Ｓ１１において、注視位置特定部２０３は、カメラ５００から取得される画像データに基づいて、ユーザの瞳に映っている画像（瞳画像）を検出する。そして、Ｓ１２において、注視位置特定部２０３は、Ｓ１１で検出した瞳画像との類似性が所定値以上の画像が、表示画像記憶部２０５に記憶された画像データ内に存在するか否かを判断する。
【００４３】
Ｓ１２において、瞳画像との類似性が所定値以上の画像が存在しないと判断された場合、Ｓ１３に処理が進む。そして、Ｓ１３において、注視位置特定部２０３は、注視位置が存在しない旨を注視位置送信部２０４に出力する。
【００４４】
一方、Ｓ１２において、瞳画像との類似性が所定値以上の画像が存在すると判断された場合、Ｓ１４に処理が進む。そして、Ｓ１４において、注視位置特定部２０３は、ユーザの瞳の中心に位置する画像（瞳中心画像）を検出する。
【００４５】
Ｓ１５において、注視位置特定部２０３は、Ｓ１４で検出した瞳中心画像と一致する画像が、表示画像記憶部２０５に記憶された画像データ内に存在するか否かを判断する。
【００４６】
Ｓ１５において、瞳中心画像と一致する画像が存在すると判断された場合、Ｓ１６に処理が進む。そして、Ｓ１６において、注視位置特定部２０３は、瞳中心画像と一致する画像の中央の座標を算出し、算出した座標を注視位置として注視位置送信部２０４に出力する。
【００４７】
一方、Ｓ１５において、瞳中心画像と一致する画像が存在しないと判断された場合、上述したＳ１３に処理が進む。そして、Ｓ１３において、注視位置特定部２０３は、注視位置が存在しない旨を注視位置送信部２０４に出力する。
【００４８】
以上のＳ１１〜Ｓ１６により、図６の処理フロー、すなわち図５のＳ２が終了し、図５のＳ３に処理が進む。
【００４９】
次に、図７を参照して、第１実施形態による画像転送処理において実行される検出周期の設定処理（図５のＳ４参照）の詳細について説明する。この図７の各処理は、画像転送装置１００の検出周期設定部１０５により実行される。
【００５０】
図７の処理フローでは、まず、Ｓ２１において、検出周期設定部１０５は、注視位置が存在するか否かを判断する。
【００５１】
Ｓ２１において、注視位置が存在すると判断された場合、Ｓ２２に処理が進む。そして、Ｓ２２において、検出周期設定部１０５は、図４Ａに示すように、注視位置を含む所定範囲の第１領域Ｒ１の検出周期を比較的短い第１周期（０．０１秒）に設定し、第１領域Ｒ１以外の第２領域Ｒ２の検出周期を第１周期よりも長い第２周期（１秒）に設定する。
【００５２】
一方、Ｓ２１において、注視位置が存在しないと判断された場合、Ｓ２３に処理が進む。そして、Ｓ２３において、検出周期設定部１０５は、図４Ｂに示すように、表示画面の全域Ｒ０の検出周期を第２周期（１秒）に設定する。
【００５３】
なお、検出周期設定部１０５は、Ｓ２２およびＳ２３で設定された内容を、検出周期記憶部１０８に保存する。
【００５４】
以上のＳ２１〜Ｓ２３により、図７の処理フロー、すなわち図５のＳ４が終了し、図５のＳ５に処理が進む。
【００５５】
以上説明したように、第１実施形態による差分検出部１０２は、注視位置が存在する場合、第１画像データおよび第２画像データのうち、表示画面の一部の、注視位置を含む所定範囲の第１領域Ｒ１に対応する部分については、第１周期で差分データを検出し、第１領域Ｒ１以外の第２領域Ｒ２に対応する部分については、第１周期よりも長い第２周期で差分データを検出するように構成されている（図４Ａ参照）。これにより、応答性能の確保と、転送負荷の軽減との両立を図ることができる。
【００５６】
（第２実施形態）
次に、図８および図９を参照して、第２実施形態による画像転送システム１０００ａについて説明する。第２実施形態では、ユーザの視線情報の検出手段としてカメラ５００を用いた第１実施形態と異なり、ユーザの視線情報の検出手段として視線追跡眼鏡５００ａを用いる。
【００５７】
図８に示すように、視線追跡眼鏡５００ａは、ユーザが装着可能な眼鏡状のデバイスであり、ユーザが視線追跡眼鏡５００ａを介して視認する画像（映像）をリアルタイムで出力するデバイスである。図９に示すように、表示装置２００ａの注視位置特定部２０３ａは、表示画像記憶部２０５に記憶された画像データと、視線追跡眼鏡５００ａから入出力Ｉ／Ｆ７０５を介して入力される画像データとに基づいて注視位置の有無を特定し、特定結果を注視位置送信部２０４に出力する。第２実施形態では、視線追跡眼鏡５００ａから得られる情報を用いて、注視位置の特定を容易に行うことができる。
【００５８】
第２実施形態のその他の構成および効果は、第１実施形態と同様である。
【００５９】
（第３実施形態）
次に、図１０〜図１２を参照して、第３実施形態による画像転送システム１０００ｂについて説明する。第３実施形態では、注視位置を用いて差分データの検出周期を変更する第１および第２実施形態に加えて、転送対象の差分データを、表示装置２００ｂとユーザとの間の距離に応じて異なる圧縮率で圧縮する。
【００６０】
図１０に示すように、第３実施形態による画像転送装置１００ｂは、図９に示した第２実施形態による画像転送装置１００が備える各構成に加えて、データ圧縮部１０９と、注視者距離受信部１１０と、圧縮率設定部１１１と、圧縮率記憶部１１２とを備える。また、第３実施形態による表示装置２００ｂは、第２実施形態による表示装置２００ａが備える各構成に加えて、注視者距離判定部２０６と、注視者距離送信部２０７とを備える。以下、第３実施形態特有の構成についてより具体的に説明する。
【００６１】
データ圧縮部１０９は、差分検出部１０２により検出された差分データを圧縮し、差分データ送信部１０３に出力する。これにより、画像転送装置１００ｂから表示装置２００ｂに転送される差分データのデータ量を小さくすることができるので、転送負荷を低減することができる。
【００６２】
注視位置特定部２０３ａは、注視位置の有無に関する情報を注視位置送信部２０４に出力するとともに、視線追跡眼鏡５００ａから取得した画像データ、すなわちユーザが視線追跡眼鏡５００ａを介して視認した画像（映像）のデータを注視者距離判定部２０６に出力する。
【００６３】
注視者距離判定部２０６は、注視位置特定部２０３ａから入力された画像データと、ディスプレイ３００に表示されている画像データとのサイズの比率を計算し、ユーザ（注視者）とディスプレイ３００との間の距離（以下、注視者距離という）を算出する。
【００６４】
注視者距離送信部２０７は、ＴＣＰ／ＩＰなどの通信プロトコルに従い、注視者距離判定部２０６により算出された注視者距離を画像転送装置１００ｂに送信する。画像転送装置１００ｂの注視者距離受信部１１０は、注視者距離送信部２０７が送信した注視者距離を受信し、圧縮率設定部１１１に出力する。
【００６５】
圧縮率設定部１１１は、注視者距離受信部１１０から入力された注視者距離に応じて、データ圧縮部１０９が差分データを圧縮する際に用いる圧縮率を設定する。
【００６６】
たとえば、ユーザとディスプレイ３００との間の距離が比較的短い場合、ユーザがディスプレイ３００の表示内容を視認しやすい位置にいるため、圧縮率をより小さくし、ディスプレイ３００の表示内容の詳細度をより高めた方が、ユーザの視認性の観点で望ましい。したがって、圧縮率設定部１１１は、注視者距離がしきい値未満の場合、圧縮率を、比較的小さい第１圧縮率に設定する。
【００６７】
一方、ユーザとディスプレイ３００との間の距離が比較的大きい場合、ユーザがそもそもディスプレイ３００の表示内容を視認しにくい位置にいるため、圧縮率をより大きくし、ディスプレイ３００に表示する映像の詳細度をより低くしても、ユーザの視認性の観点で不都合が少ない。したがって、圧縮率設定部１１１は、注視者距離がしきい値以上の場合、圧縮率を上記の第１圧縮率よりも大きい第２圧縮率に設定する。
【００６８】
圧縮率設定部１１１による設定内容は、圧縮率記憶部１１２に記憶される。そして、データ圧縮部１０９は、圧縮率記憶部１１２に記憶された設定内容に従い、差分データを圧縮する。すなわち、データ圧縮部１０９は、注視者距離がしきい値未満の場合、比較的小さい第１圧縮率で差分データを圧縮し、注視者距離がしきい値以上の場合、第１圧縮率よりも大きい第２圧縮率で差分データを圧縮する。
【００６９】
なお、第３実施形態のその他の構成は、第２実施形態と同様である。
【００７０】
次に、図１１を参照して、第３実施形態による画像転送装置１００ｂおよび表示装置２００ｂが実行する画像転送処理について説明する。
【００７１】
図１１の処理シーケンスでは、Ｓ３１において、表示装置２００ｂ（注視位置特定部２０３ａ）は、視線追跡眼鏡５００ａから、ユーザが視線追跡眼鏡５００ａを介して視認している画像データを取得する。そして、Ｓ３２において、注視位置特定部２０３ａは、Ｓ３１で取得した画像データに基づいて、ユーザが注視している表示画面内の位置（注視位置）を特定する。
【００７２】
また、Ｓ３３において、表示装置２００ｂ（注視者距離判定部２０６）は、ユーザと表示画面との間の距離（注視者距離）を判定する。そして、Ｓ３４において、表示装置２００ｂ（注視位置送信部２０４および注視者距離送信部２０７）は、注視位置に関する情報と、注視者距離に関する情報とを、画像転送装置１００ｂに送信する。
【００７３】
Ｓ３５において、画像転送装置１００ｂ（検出周期設定部１０５）は、表示装置２００ｂから受信した、注視位置に関する情報に基づいて、差分検出部１０２による検出処理の周期（検出周期）の設定を行う。Ｓ３５で設定された内容は、検出周期記憶部１０８に記憶される。なお、Ｓ３５は、前述した図５のＳ４（図７の処理フロー）と同様であるので、ここではＳ３５の詳細な説明を省略する。
【００７４】
Ｓ３６において、画像転送装置１００ｂ（圧縮率設定部１１１）は、表示装置２００ｂから受信した、注視者距離に関する情報に基づいて、データ圧縮部１０９による圧縮処理の圧縮率の設定を行う。Ｓ３６で設定された内容は、圧縮率記憶部１１２に記憶される。なお、Ｓ３６については、図１２を用いて後で詳細に説明する。
【００７５】
Ｓ３７において、画像転送装置１００ｂ（差分検出部１０２）は、検出周期記憶部１０８に記憶された設定内容に従い、転送済画像記憶部１０７に記憶された第１画像データと、転送予定画像記憶部１０６に記憶された第２画像データとの差分データを検出する。
【００７６】
また、Ｓ３８において、画像転送装置１００ｂ（データ圧縮部１０９）は、圧縮率記憶部１１２に記憶された設定内容に従い、差分検出部１０２により検出された差分データを圧縮する。
【００７７】
Ｓ３９において、画像転送装置１００ｂ（差分データ送信部１０３）は、差分検出部１０２により検出され、データ圧縮部１０９により圧縮された差分データを表示装置２００ｂに送信する。
【００７８】
Ｓ４０において、表示装置２００ｂ（表示制御部２０２）は、画像転送装置１００ｂから受信した差分データに基づいて、表示画像記憶部２０５に記憶された画像データを更新し、ディスプレイ３００の表示内容を制御する。
【００７９】
以上のＳ３１〜Ｓ４０により、画像転送装置１００ｂ側で生成された画像データを表示装置２００ｂに転送する画像転送処理が実行される。なお、Ｓ３２〜Ｓ３６は、視線追跡眼鏡５００ａからユーザの瞳の画像データが取得される度に実行される。また、Ｓ３７〜Ｓ４０は、Ｓ３５の設定内容に従って周期的に実行される。
【００８０】
次に、図１２を参照して、第３実施形態による画像転送処理において実行される圧縮率の設定処理（図１１のＳ３６参照）の詳細について説明する。この図１２の各処理は、画像転送装置１００ｂの圧縮率設定部１１１により実行される。
【００８１】
図１２の処理フローでは、まず、Ｓ４１において、圧縮率設定部１１１は、注視者距離がしきい値未満か否かを判断する。
【００８２】
Ｓ４１において、注視者距離がしきい値未満であると判断された場合、Ｓ４２に処理が進む。そして、Ｓ４２において、圧縮率設定部１１１は、圧縮率を、比較的小さい第１圧縮率に設定する。
【００８３】
一方、Ｓ４１において、注視者距離がしきい値以上であると判断された場合、Ｓ４３に処理が進む。そして、Ｓ４３において、圧縮率設定部１１１は、圧縮率を、第１圧縮率よりも大きい第２圧縮率に設定する。
【００８４】
なお、圧縮率設定部１１１は、Ｓ４２およびＳ４３で設定された内容を、圧縮率記憶部１１２に保存する。
【００８５】
以上のＳ４１〜Ｓ４３により、図１２の処理フロー、すなわち図１１のＳ３６が終了し、図１１のＳ３７に処理が進む。
【００８６】
以上説明したように、第３実施形態によれば、差分データの圧縮率を注視者距離に応じて変更することで、転送負荷の低減と、ユーザの視認性の確保とを両立することができる。
【００８７】
第３実施形態のその他の効果は、第２実施形態と同様である。
【００８８】
以上、本発明の実施形態を説明したが、上記実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８９】
たとえば、上記の第１および第２実施形態は、注視位置特定部が表示装置に設けられた例であるが、注視位置特定部は、表示装置ではなく、画像転送装置に設けられていてもよい。同様に、上記の第３実施形態は、注視位置特定部および注視者距離判定部が表示装置に設けられた例であるが、注視位置特定部および注視者距離判定部は、表示装置ではなく、画像転送装置に設けられていてもよい。
【符号の説明】
【００９０】
１００、１００ｂ  画像転送装置
１０２  差分検出部
１０３  差分データ送信部
１０９  データ圧縮部
２００、２００ａ、２００ｂ  表示装置
２０３、２０３ａ  注視位置特定部
２０６  注視者距離判定部
５００  カメラ
５００ａ  視線追跡眼鏡
１０００、１０００ａ、１０００ｂ  画像転送システム
【図１】
2017059957.tif 000003
【図２】
2017059957.tif 000004
【図３】
2017059957.tif 000005
【図４Ａ】
2017059957.tif 000006
【図４Ｂ】
2017059957.tif 000007
【図５】
2017059957.tif 000008
【図６】
2017059957.tif 000009
【図７】
2017059957.tif 000010
【図８】
2017059957.tif 000011
【図９】
2017059957.tif 000012
【図１０】
2017059957.tif 000013
【図１１】
2017059957.tif 000014
【図１２】
2017059957.tif 000015