(57)【要約】【課題】ディスプレイミラーリングの実行中にユーザが眠ってしまった場合、ソース機器にて消費される電力をシンク機器側の制御により低減する。【解決手段】制御装置３は、ソース機器１とシンク機器２間の無線通信によりソース機器１からシンク機器２へのディスプレイミラーリングを実行するミラーリングシステム１００におけるシンク機器２用の制御装置３であって、カメラ９による撮影画像を取得する撮影画像取得部１１と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザＵが入眠したか否かを判定する入眠判定部２１と、ユーザＵが入眠したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する入眠時制御部２２とを備える。【選択図】図１
2019004221.tif 000002
【特許請求の範囲】
【請求項１】
ソース機器とシンク機器間の無線通信により前記ソース機器から前記シンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおける前記シンク機器用の制御装置であって、
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する入眠時制御部と、
を備えることを特徴とする制御装置。
【請求項２】
前記入眠時制御部は、前記シンク機器における表示画面をキャプチャしてから前記ディスプレイミラーリングを終了させることを特徴とする請求項１記載の制御装置。
【請求項３】
操作入力装置に入力された操作により、前記入眠時制御部による制御の実行要否が設定自在であることを特徴とする請求項１又は請求項２記載の制御装置。
【請求項４】
ソース機器とシンク機器間の無線通信により前記ソース機器から前記シンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおける前記シンク機器用の制御装置であって、
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定された後、前記ユーザの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部と、
前記ユーザの睡眠状態が基準時間以上継続したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部と、
を備えることを特徴とする制御装置。
【請求項５】
前記睡眠継続時制御部は、前記シンク機器における表示画面をキャプチャしてから前記ディスプレイミラーリングを終了させることを特徴とする請求項４記載の制御装置。
【請求項６】
操作入力装置に入力された操作により、前記睡眠継続時制御部による制御の実行要否が設定自在であることを特徴とする請求項４又は請求項５記載の制御装置。
【請求項７】
前記シンク機器における表示画面のキャプチャデータを用いて、前記ソース機器の表示画面に動画コンテンツが含まれているか否かを判定する動画有無判定部と、
前記シンク機器における表示画面のキャプチャデータを用いて、前記ソース機器における動画コンテンツの再生を一時停止させる操作に対応する第１ＧＵＩを検出する第１ＧＵＩ検出部と、
前記ソース機器の表示画面に動画コンテンツが含まれていると判定された場合、前記ユーザが入眠したと判定されたとき、前記第１ＧＵＩにより前記ソース機器における動画コンテンツの再生を一時停止させる制御を実行する入眠時制御部と、
を備えることを特徴とする請求項４から請求項６のうちのいずれか１項記載の制御装置。
【請求項８】
前記シンク機器における表示画面のキャプチャデータを用いて、前記ソース機器における動画コンテンツの再生を再開させる操作に対応する第２ＧＵＩを検出する第２ＧＵＩ検出部と、
前記ユーザが入眠したと判定された後、前記撮影画像に対する画像認識処理を実行することにより前記ユーザが覚醒したか否かを判定する覚醒判定部と、
前記ソース機器の表示画面に動画コンテンツが含まれていると判定された場合、前記ユーザが覚醒したと判定されたとき、前記第２ＧＵＩにより前記ソース機器における動画コンテンツの再生を再開させる制御を実行する覚醒時制御部と、
を備えることを特徴とする請求項７記載の制御装置。
【請求項９】
ソース機器とシンク機器間の無線通信により前記ソース機器から前記シンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおける前記シンク機器用のプログラムであって、
前記シンク機器用のコンピュータを、
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する入眠時制御部と、
として機能させるためのプログラム。
【請求項１０】
ソース機器とシンク機器間の無線通信により前記ソース機器から前記シンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおける前記シンク機器用のプログラムであって、
前記シンク機器用のコンピュータを、
カメラによる撮影画像を取得する撮影画像取得部と、
前記撮影画像に対する画像認識処理を実行することにより、前記撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、
前記ユーザが入眠したと判定された後、前記ユーザの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部と、
前記ユーザの睡眠状態が基準時間以上継続したと判定されたとき、前記ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソース機器からシンク機器へのディスプレイミラーリングを実行するシステム（以下「ミラーリングシステム」という。）に関するものであり、特にシンク機器用の制御装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ソース機器にて表示されている画面などをシンク機器にミラーリングする技術、いわゆるディスプレイミラーリングが開発されている。具体的には、例えば、ソース機器とシンク機器間のＷｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標。以下「Ｗｉ−Ｆｉダイレクト」と記載する。）規格に基づく無線通信によるディスプレイミラーリング、いわゆるＭｉｒａｃａｓｔ（登録商標。以下「ミラキャスト」と記載する。）が開発されている。
【０００３】
ミラキャストのソース機器には、例えば、スマートフォンなどの携帯情報端末が用いられている。ミラキャストのシンク機器には、例えば、テレビジョン受信機、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）又は車載情報機器などが用いられている。これにより、ユーザは、携帯情報端末にて再生中の動画コンテンツを携帯情報端末のディスプレイよりも大型のディスプレイにて視聴することができる。特許文献１には、ソース機器に携帯情報端末を用いるとともに、シンク機器に車載情報機器を用いたミラーリングシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−９７３１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ミラキャストの実行中、ソース機器は、ソース機器にて表示されている画面などをエンコードする処理と、当該エンコードされたデータをシンク機器に送信する処理とを継続して実行する。これらの処理により、ソース機器にて大量の電力が消費される。このため、ミラキャストの実行中にユーザが眠ってしまった場合、ソース機器にて大量の電力が無駄に消費される問題があった。また、ソース機器にスマートフォンなどの携帯情報端末を用いた場合、バッテリの残量が大幅に減少して、バッテリを充電不能な環境においては携帯情報端末の使用が不可能となる問題があった。
【０００６】
本発明は、上記のような課題を解決するためになされたものであり、ディスプレイミラーリングの実行中にユーザが眠ってしまった場合、ソース機器にて消費される電力をシンク機器側の制御により低減することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の制御装置は、ソース機器とシンク機器間の無線通信によりソース機器からシンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおけるシンク機器用の制御装置であって、カメラによる撮影画像を取得する撮影画像取得部と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、ユーザが入眠したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する入眠時制御部とを備えるものである。
【０００８】
または、本発明の制御装置は、ソース機器とシンク機器間の無線通信によりソース機器からシンク機器へのディスプレイミラーリングを実行するミラーリングシステムにおけるシンク機器用の制御装置であって、カメラによる撮影画像を取得する撮影画像取得部と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザが入眠したか否かを判定する入眠判定部と、ユーザが入眠したと判定された後、ユーザの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部と、ユーザの睡眠状態が基準時間以上継続したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部とを備えるものである。
【発明の効果】
【０００９】
本発明によれば、上記のように構成したので、ディスプレイミラーリングの実行中にユーザが眠ってしまった場合、ソース機器にて消費される電力をシンク機器側の制御により低減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係るミラーリングシステムのシステム構成を示すブロック図である。
【図２】図２Ａは、本発明の実施の形態１に係るシンク機器における表示画面の一例を示す説明図である。図２Ｂは、本発明の実施の形態１に係るソース機器における表示画面の一例を示す説明図である。
【図３】本発明の実施の形態１に係る制御装置の要部を示すブロック図である。
【図４】図４Ａは、本発明の実施の形態１に係る制御装置のハードウェア構成を示すブロック図である。図４Ｂは、本発明の実施の形態１に係る制御装置の他のハードウェア構成を示すブロック図である。
【図５】本発明の実施の形態１に係る制御装置の動作を示すフローチャートである。
【図６】本発明の実施の形態２に係るミラーリングシステムのシステム構成を示すブロック図である。
【図７】本発明の実施の形態２に係る制御装置の要部を示すブロック図である。
【図８】本発明の実施の形態２に係る制御装置の動作を示すフローチャートである。
【図９】本発明の実施の形態３に係るミラーリングシステムのシステム構成を示すブロック図である。
【図１０】本発明の実施の形態３に係る制御装置の要部を示すブロック図である。
【図１１Ａ】本発明の実施の形態３に係る制御装置の動作を示すフローチャートである。
【図１１Ｂ】本発明の実施の形態３に係る制御装置の動作を示すフローチャートである。
【図１１Ｃ】本発明の実施の形態３に係る制御装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、本発明の実施の形態１に係るミラーリングシステムのシステム構成を示すブロック図である。図２Ａは、本発明の実施の形態１に係るシンク機器における表示画面の一例を示す説明図である。図２Ｂは、本発明の実施の形態１に係るソース機器における表示画面の一例を示す説明図である。図３は、本発明の実施の形態１に係る制御装置の要部を示すブロック図である。図４Ａは、本発明の実施の形態１に係る制御装置のハードウェア構成を示すブロック図である。図４Ｂは、本発明の実施の形態１に係る制御装置の他のハードウェア構成を示すブロック図である。図１〜図４を参照して、実施の形態１のミラーリングシステム１００について説明する。
【００１２】
ミラーリングシステム１００は、ソース機器１とシンク機器２間の一対一型の無線通信により、ソース機器１からシンク機器２へのディスプレイミラーリングを実行するものである。ソース機器１は、例えば、スマートフォンなどの携帯情報端末により構成されている。シンク機器２は、制御装置３、無線通信装置４、表示装置５、音声出力装置６、記憶装置７及び操作入力装置８を含むものである。
【００１３】
ソース機器１とシンク機器２間の無線通信はＷｉ−Ｆｉダイレクト規格に基づくものであり、ソース機器１からシンク機器２へのディスプレイミラーリングはミラキャストによるものである。このミラキャストは、ソース機器１の制御部（不図示）とシンク機器２の制御装置３とが連携することにより制御される。
【００１４】
すなわち、制御装置３は、無線通信装置４を制御することにより、ミラキャストのセッション開始要求をソース機器１に送信して、ミラキャストのセッションを開始させる機能を有している。また、制御装置３は、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させる機能を有している。
【００１５】
ソース機器１は、ソース機器１の表示部（不図示）に表示されている画面をエンコードして、当該エンコードされたデータをシンク機器２に送信するものである。また、ソース機器１は、ソース機器１にて動画コンテンツを再生中である場合、この動画コンテンツの音声をエンコードして、当該エンコードされたデータをシンク機器２に送信するものである。
【００１６】
無線通信装置４は、ソース機器１により送信されたデータを受信するものである。無線通信装置４は、当該データを制御装置３に出力するものである。無線通信装置４は、例えば、Ｗｉ−Ｆｉダイレクト用の受信機、送信機及びアンテナなどにより構成されている。
【００１７】
制御装置３は、無線通信装置４から入力されたデータをデコードして、ソース機器１の表示部（不図示）に表示されている画面と同一の画面を表示装置５に表示させる機能を有している。表示装置５は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどのディスプレイにより構成されている。
【００１８】
以下、ソース機器１の表示部（不図示）又はシンク機器２の表示装置５に表示されている画面を「表示画面」という。ここで、図２Ａはシンク機器２における表示画面の一例を示しており、図２Ｂはソース機器１における表示画面の一例を示している。図２に示す如く、ソース機器１はスマートフォンにより構成されており、ソース機器１の表示部にはスマートフォン用のメニュー画面が表示されている。表示装置５には、当該メニュー画面と同一の画面が表示されている。
【００１９】
また、制御装置３は、無線通信装置４から入力されたデータをデコードして、ソース機器１にて再生中の動画コンテンツの音声を音声出力装置６に出力させる機能を有している。音声出力装置６は、例えば、スピーカ又はヘッドホンなどにより構成されている。
【００２０】
また、制御装置３は、表示装置５における表示画面をキャプチャして、キャプチャデータを記憶装置７に記憶させる機能を有している。記憶装置７は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの補助記憶装置により構成されている。
【００２１】
また、制御装置３は、操作入力装置８に入力された操作に応じて、記憶装置７に記憶されたキャプチャデータを取得して、当該キャプチャデータが示す画像を表示装置５に表示させる機能を有している。操作入力装置８は、例えば、表示装置５のディスプレイと一体型のタッチパネル、又はリモートコントローラーなどにより構成されている。
【００２２】
以下、制御装置３の要部について説明する。
【００２３】
撮影画像取得部１１は、カメラ９により撮影された画像（以下「撮影画像」という。）を取得するものである。カメラ９は、シンク機器２のユーザＵを撮影するものである。具体的には、例えば、カメラ９は表示装置５のディスプレイに隣接して設けられており、ユーザＵの顔を含む範囲をユーザＵに対する前方から撮影するものである。
【００２４】
入眠判定部２１は、撮影画像取得部１１により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、撮影画像にユーザＵが写されている場合、ユーザＵが覚醒状態から睡眠状態に移行（以下「入眠」という。）したか否かを判定するものである。
【００２５】
具体的には、例えば、入眠判定部２１は、画像認識処理によりユーザＵが顔を伏せているか顔を上げているかを判定する。ユーザＵが顔を上げている場合、入眠判定部２１は、画像認識処理によりユーザＵの目が閉じているか開いているかを判定する。入眠判定部２１は、ユーザＵが顔を伏せている場合又はユーザＵの目が閉じている場合、ユーザＵが入眠したと判定する。他方、ユーザＵが顔を上げており、かつ、ユーザＵの目が開いている場合、入眠判定部２１はユーザＵが入眠していないと判定する。
【００２６】
入眠時制御部２２は、入眠判定部２１によりユーザＵが入眠したと判定されたとき、表示装置５における表示画面をキャプチャして、キャプチャデータを記憶装置７に記憶させるものである。また、入眠時制御部２２は、当該キャプチャデータ（以下「入眠時キャプチャデータ」という。）を記憶装置７に記憶させた後、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させるものである。
【００２７】
入眠判定部２１及び入眠時制御部２２により、省電力制御部２３が構成されている。撮影画像取得部１１及び省電力制御部２３により、制御装置３の要部が構成されている。
【００２８】
図４に、制御装置３の要部のハードウェア構成を示す。図４Ａに示す如く、制御装置３はコンピュータにより構成されており、プロセッサ５１及びメモリ５２を有している。メモリ５２には、当該コンピュータを図３に示す撮影画像取得部１１、入眠判定部２１及び入眠時制御部２２として機能させるためのプログラムが記憶されている。メモリ５２に記憶されたプログラムをプロセッサ５１が読み出して実行することにより、撮影画像取得部１１、入眠判定部２１及び入眠時制御部２２の機能が実現される。
【００２９】
プロセッサ５１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などにより構成されている。メモリ５２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの半導体メモリにより構成されている。
【００３０】
または、図４Ｂに示す如く、撮影画像取得部１１、入眠判定部２１及び入眠時制御部２２の機能が専用の処理回路５３により実現されるものであっても良い。処理回路５３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）若しくはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）又はこれらを組み合わせたものである。
【００３１】
なお、撮影画像取得部１１、入眠判定部２１及び入眠時制御部２２の各部の機能それぞれを処理回路５３で実現しても良いし、各部の機能をまとめて処理回路５３で実現しても良い。また、撮影画像取得部１１、入眠判定部２１及び入眠時制御部２２のうちの一部の機能を図４Ａに示すプロセッサ５１及びメモリ５２により実現し、残余の機能を図４Ｂに示す処理回路５３により実現しても良い。
【００３２】
次に、図５のフローチャートを参照して、制御装置３の動作について説明する。
【００３３】
初期状態において、ミラーリングシステム１００はミラキャストによるディスプレイミラーリングを実行中である。制御装置３は、ディスプレイミラーリングのバックグラウンドにて、以下のステップＳＴ１〜ＳＴ４の処理を実行する。
【００３４】
まず、ステップＳＴ１にて、撮影画像取得部１１がカメラ９による撮影画像を取得する。
【００３５】
次いで、ステップＳＴ２にて、入眠判定部２１は、ステップＳＴ１で取得された撮影画像に対する画像認識処理を実行して、ユーザＵが入眠したか否かを判定する。ユーザＵが入眠していない場合（ステップＳＴ２“ＮＯ”）、制御装置３の処理はステップＳＴ１に戻る。他方、ユーザＵが入眠したとき（ステップＳＴ２“ＹＥＳ”）、制御装置３の処理はステップＳＴ３に進む。
【００３６】
次いで、ステップＳＴ３にて、入眠時制御部２２は、表示装置５における表示画面をキャプチャして、入眠時キャプチャデータを記憶装置７に記憶させる。
【００３７】
次いで、ステップＳＴ４にて、入眠時制御部２２は、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させる。
【００３８】
ミラキャストのセッションが終了することにより、ソース機器１におけるエンコード処理及び送信処理も終了する。このため、ソース機器１にて消費される電力を低減することができる。
【００３９】
また、制御装置３は、ステップＳＴ４に次いで、表示装置５の表示をオフする処理又はシンク機器２の電源をオフする処理を実行するものであっても良い。これにより、シンク機器２にて消費される電力を低減することができる。
【００４０】
また、ステップＳＴ４の後、ユーザＵが睡眠状態から覚醒状態に移行（以下「覚醒」という。）したとき、制御装置３は、操作入力装置８に入力された操作に応じて、記憶装置７に記憶された入眠時キャプチャデータを取得して、入眠時キャプチャデータが示す画像を表示装置５に表示させる。これにより、ユーザＵは、ミラキャストが終了する直前の表示画面、すなわち自身が入眠した直後の表示画面を確認することができる。
【００４１】
当該表示画面を確認することにより、ユーザＵの入眠時にソース機器１が動画コンテンツを再生していた場合、ユーザＵの覚醒後において入眠時の再生箇所を検索するのが容易となる。この結果、動画コンテンツの再生を当該箇所から再開するのが容易となる。
【００４２】
なお、制御装置３は、操作入力装置８に入力された操作により、省電力制御部２３による上記制御の実行要否（すなわち図５に示すステップＳＴ１〜ＳＴ４の処理の実行要否）を設定自在なものであっても良い。当該制御の実行要否は、例えば、シンク機器２の設定画面が表示装置５に表示された状態にて、当該設定画面に対する操作入力装置８の操作により設定される。当該制御の実行をオフに設定することにより、ユーザＵにとって不要な制御が実行されるのを防ぐことができる。
【００４３】
また、ソース機器１とシンク機器２間の無線通信はＷｉ−Ｆｉダイレクトに限定されるものではなく、ソース機器１からシンク機器２へのディスプレイミラーリングはミラキャストに限定されるものではない。ミラーリングシステム１００は、Ｗｉ−Ｆｉダイレクトと異なる他の規格、例えばＢＬＵＥＴＯＯＴＨ（登録商標）規格又はＺＩＧＢＥＥ（登録商標）規格に基づく一対一型の無線通信によるディスプレイミラーリングを実行するものであっても良い。
【００４４】
以上のように、実施の形態１の制御装置３は、ソース機器１とシンク機器２間の無線通信によりソース機器１からシンク機器２へのディスプレイミラーリングを実行するミラーリングシステム１００におけるシンク機器２用の制御装置３であって、カメラ９による撮影画像を取得する撮影画像取得部１１と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザＵが入眠したか否かを判定する入眠判定部２１と、ユーザＵが入眠したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する入眠時制御部２２とを備える。これにより、ディスプレイミラーリングの実行中にユーザＵが眠ってしまった場合、ソース機器１にて消費される電力をシンク機器２側の制御により低減することができる。
【００４５】
また、入眠時制御部２２は、シンク機器２における表示画面をキャプチャしてからディスプレイミラーリングを終了させる。これにより、ユーザＵは、ディスプレイミラーリングが終了する直前の表示画面、すなわち自身が入眠した直後の表示画面を確認することができる。
【００４６】
実施の形態２．
図６は、本発明の実施の形態２に係るミラーリングシステムのシステム構成を示すブロック図である。図７は、本発明の実施の形態２に係る制御装置の要部を示すブロック図である。図６及び図７を参照して、実施の形態２のミラーリングシステム１００について、制御装置３ａの要部を中心に説明する。
【００４７】
なお、図６において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。図７において、図３に示すブロックと同様のブロックには同一符号を付して説明を省略する。制御装置３ａのハードウェア構成は、実施の形態１にて図４を参照して説明したものと同様であるため、図示及び説明を省略する。
【００４８】
入眠判定部３１は、撮影画像取得部１１により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザＵが入眠したか否かを判定するものである。入眠判定部３１による画像認識処理の具体例は、図１に示す入眠判定部２１による画像認識処理の具体例と同様であるため、説明を省略する。
【００４９】
覚醒判定部３２は、入眠判定部３１によりユーザＵが入眠したと判定された後、撮影画像取得部１１により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザＵが覚醒したか否かを判定するものである。
【００５０】
具体的には、例えば、覚醒判定部３２は、画像認識処理によりユーザＵが顔を伏せているか顔を上げているかを判定する。ユーザＵが顔を上げている場合、覚醒判定部３２は、画像認識処理によりユーザＵの目が閉じているか開いているかを判定する。覚醒判定部３２は、ユーザＵが顔を上げており、かつ、ユーザＵの目が開いている場合、ユーザＵが覚醒したと判定する。他方、ユーザＵが顔を伏せている場合又はユーザＵの目が閉じている場合、覚醒判定部３２はユーザＵが覚醒していないと判定する。
【００５１】
睡眠継続判定部３３は、入眠判定部３１によりユーザＵが入眠したと判定された後、睡眠状態の継続時間をカウントするものである。睡眠継続判定部３３は、覚醒判定部３２によりユーザＵが覚醒していないと判定されたとき、当該継続時間を所定の時間（以下「基準時間」という。）と比較することにより、ユーザＵの睡眠状態が基準時間以上継続したか否かを判定するものである。
【００５２】
基準時間は、人間が入眠してから入眠直後よりも深い睡眠状態（以下「熟睡状態」という。）に移行するまでの時間に対応する値に設定されている。具体的には、例えば、基準時間は数分程度の値に設定されている。
【００５３】
睡眠継続時制御部３４は、睡眠継続判定部３３によりユーザＵの睡眠状態が基準時間以上継続したと判定されたとき、表示装置５における表示画面をキャプチャして、キャプチャデータを記憶装置７に記憶させるものである。また、睡眠継続時制御部３４は、当該キャプチャデータ（以下「睡眠継続時キャプチャデータ」という。）を記憶装置７に記憶させた後、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させるものである。
【００５４】
入眠判定部３１、覚醒判定部３２、睡眠継続判定部３３及び睡眠継続時制御部３４により、省電力制御部３５が構成されている。撮影画像取得部１１及び省電力制御部３５により、制御装置３ａの要部が構成されている。
【００５５】
次に、図８のフローチャートを参照して、制御装置３ａの動作について説明する。
【００５６】
初期状態において、ミラーリングシステム１００はミラキャストによるディスプレイミラーリングを実行中である。制御装置３ａは、ディスプレイミラーリングのバックグラウンドにて、以下のステップＳＴ１１〜ＳＴ１９の処理を実行する。
【００５７】
まず、ステップＳＴ１１にて、撮影画像取得部１１がカメラ９による撮影画像を取得する。
【００５８】
次いで、ステップＳＴ１２にて、入眠判定部３１は、ステップＳＴ１１で取得された撮影画像に対する画像認識処理を実行して、ユーザＵが入眠したか否かを判定する。ユーザＵが入眠していない場合（ステップＳＴ１２“ＮＯ”）、制御装置３ａの処理はステップＳＴ１１に戻る。他方、ユーザＵが入眠がしたとき（ステップＳＴ１２“ＹＥＳ”）、制御装置３ａの処理はステップＳＴ１３に進む。
【００５９】
次いで、ステップＳＴ１３にて、睡眠継続判定部３３は、睡眠状態の継続時間のカウントを開始する。
【００６０】
次いで、ステップＳＴ１４にて、撮影画像取得部１１がカメラ９による撮影画像を取得する。
【００６１】
次いで、ステップＳＴ１５にて、覚醒判定部３２は、ステップＳＴ１４で取得された撮影画像に対する画像認識処理を実行して、ユーザＵが覚醒したか否かを判定する。ユーザＵが覚醒していない場合（ステップＳＴ１５“ＮＯ”）、ステップＳＴ１６にて、睡眠継続判定部３３は、ユーザＵの睡眠状態が基準時間以上継続したか否かを判定する。睡眠状態の継続時間が基準時間未満である場合（ステップＳＴ１６“ＮＯ”）、制御装置３ａの処理はステップＳＴ１４に戻る。
【００６２】
ユーザＵが入眠した後、基準時間が経過する前にユーザＵが覚醒した場合（ステップＳＴ１５“ＹＥＳ”）、制御装置３ａの処理はステップＳＴ１７に進む。ステップＳＴ１７にて、睡眠継続判定部３３は、睡眠状態の継続時間のカウントをリセットする。次いで、制御装置３ａの処理はステップＳＴ１１に戻る。
【００６３】
他方、ユーザＵが入眠した後、ユーザＵが覚醒することなく基準時間が経過した場合（ステップＳＴ１６“ＹＥＳ”）、制御装置３ａの処理はステップＳＴ１８に進む。ステップＳＴ１８にて、睡眠継続時制御部３４は、表示装置５における表示画面をキャプチャして、睡眠継続時キャプチャデータを記憶装置７に記憶させる。
【００６４】
次いで、ステップＳＴ１９にて、睡眠継続時制御部３４は、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させる。
【００６５】
ミラキャストのセッションが終了することにより、ソース機器１におけるエンコード処理及び送信処理も終了する。このため、ソース機器１にて消費される電力を低減することができる。
【００６６】
また、制御装置３ａは、ステップＳＴ１９に次いで、表示装置５の表示をオフする処理又はシンク機器２の電源をオフする処理を実行するものであっても良い。これにより、シンク機器２にて消費される電力を低減することができる。
【００６７】
また、ステップＳＴ１９の後、ユーザＵが覚醒したとき、制御装置３ａは、操作入力装置８に入力された操作に応じて、記憶装置７に記憶された睡眠継続時キャプチャデータを取得して、睡眠継続時キャプチャデータが示す画像を表示装置５に表示させる。これにより、ユーザＵは、ミラキャストが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
【００６８】
なお、制御装置３ａは、操作入力装置８に入力された操作により、省電力制御部３５による上記制御の実行要否（すなわち図８に示すステップＳＴ１１〜ＳＴ１９の処理の実行要否）を設定自在なものであっても良い。当該制御の実行をオフに設定することにより、ユーザＵにとって不要な制御が実行されるのを防ぐことができる。
【００６９】
また、ソース機器１とシンク機器２間の無線通信はＷｉ−Ｆｉダイレクトに限定されるものではなく、ソース機器１からシンク機器２へのディスプレイミラーリングはミラキャストに限定されるものではない。ミラーリングシステム１００は、Ｗｉ−Ｆｉダイレクトと異なる他の規格に基づく一対一型の無線通信によるディスプレイミラーリングを実行するものであっても良い。
【００７０】
以上のように、実施の形態２の制御装置３ａは、ソース機器１とシンク機器２間の無線通信によりソース機器１からシンク機器２へのディスプレイミラーリングを実行するミラーリングシステム１００におけるシンク機器２用の制御装置３ａであって、カメラ９による撮影画像を取得する撮影画像取得部１１と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザＵが入眠したか否かを判定する入眠判定部３１と、ユーザＵが入眠したと判定された後、ユーザＵの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部３３と、ユーザＵの睡眠状態が基準時間以上継続したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部３４とを備える。これにより、ディスプレイミラーリングの実行中にユーザＵが眠ってしまった場合、ソース機器１にて消費される電力をシンク機器２側の制御により低減することができる。
【００７１】
また、睡眠継続時制御部３４は、シンク機器２における表示画面をキャプチャしてからディスプレイミラーリングを終了させる。これにより、ユーザＵは、ディスプレイミラーリングが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
【００７２】
実施の形態３．
図９は、本発明の実施の形態３に係るミラーリングシステムのシステム構成を示すブロック図である。図１０は、本発明の実施の形態３に係る制御装置の要部を示すブロック図である。図９及び図１０を参照して、実施の形態３のミラーリングシステム１００について説明する。
【００７３】
なお、図９において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。図１０において、図３に示すブロックと同様のブロックには同一符号を付して説明を省略する。制御装置３ｂのハードウェア構成は、実施の形態１にて図４を参照して説明したものと同様であるため、図示及び説明を省略する。
【００７４】
実施の形態３において、ソース機器１及びシンク機器２は、ミラキャストのオプション機能であるＵＩＢＣ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  Ｂａｃｋ  Ｃｈａｎｎｅｌ）に対応している。
【００７５】
すなわち、制御装置３ｂは、表示装置５の表示画面に対する操作が操作入力装置８に入力されたとき、当該操作がソース機器１の表示画面に対するものであるとみなして、無線通信装置４を制御することにより当該操作に対応するイベントをソース機器１に送信する機能を有している。ソース機器１の制御部（不図示）は、当該イベントに対応する操作がソース機器１のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）に入力されたものとみなして、ソース機器１における各種制御を実行する機能を有している。これにより、ユーザＵは、操作入力装置８を用いてソース機器１を操作することができる。
【００７６】
また、制御装置３ｂは、ミラキャストの実行中、表示装置５における表示画面を所定の時間間隔にてキャプチャして、キャプチャデータを記憶装置７に蓄積して記憶させる機能を有している。以下、当該機能により記憶装置７に記憶されたキャプチャデータを「蓄積キャプチャデータ」という。蓄積キャプチャデータは、後述する動画有無判定部１２、第１ＧＵＩ検出部１３及び第２ＧＵＩ検出部１４の処理に用いられる。
【００７７】
以下、制御装置３ｂの要部について説明する。
【００７８】
動画有無判定部１２は、記憶装置７に記憶された蓄積キャプチャデータを取得するものである。動画有無判定部１２は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器１の表示画面に動画コンテンツが含まれているか否かを判定するとともに、ソース機器１の表示画面に動画コンテンツが含まれている場合はソース機器１が動画コンテンツを再生中であるか否かを判定するものである。
【００７９】
例えば、ソース機器１にてメディアプレーヤーが起動しており、当該メディアプレーヤーが表示画面の全体を用いて動画コンテンツを再生している場合、画像認識処理により当該動画コンテンツが検出される。また、例えば、ソース機器１にてウェブブラウザが起動しており、当該ウェブブラウザが動画共有サービスにアクセスして表示画面のうちの一部の領域を用いて動画コンテンツを再生している場合、画像認識処理により当該動画コンテンツが検出される。このような場合、動画有無判定部１２は、ソース機器１の表示画面に動画コンテンツが含まれており、かつ、ソース機器１が動画コンテンツを再生中であると判定する。
【００８０】
また、画像認識処理により上記のような動画コンテンツが検出されたものの、検出時点において動画コンテンツが静止している場合、動画有無判定部１２は、ソース機器１の表示画面に動画コンテンツが含まれており、かつ、ソース機器１が動画コンテンツを再生中でないと判定する。
【００８１】
他方、例えば、ソース機器１が表示画面の全体を用いてメニュー画面を表示している場合、画像認識処理により動画コンテンツが検出されない。また、例えば、ソース機器１にてフォトビューアーが起動しており、当該フォトビューアーが表示画面の全体を用いて写真などの静止画を表示している場合、画像認識処理により動画コンテンツが検出されない。このような場合、動画有無判定部１２は、ソース機器１の表示画面に動画コンテンツが含まれていないと判定する。
【００８２】
第１ＧＵＩ検出部１３は、記憶装置７に記憶された蓄積キャプチャデータを取得するものである。第１ＧＵＩ検出部１３は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器１における動画コンテンツの再生を一時停止させる操作に対応するＧＵＩ（以下「第１ＧＵＩ」という。）を検出するものである。
【００８３】
例えば、ソース機器１においてメディアプレーヤー又はウェブブラウザなどが動画コンテンツを再生している場合、蓄積キャプチャデータが示す過去の各タイミングの画像のうちの少なくとも一部のタイミングにおける画像には、動画コンテンツの再生を一時停止するためのソフトウェアボタンが含まれている蓋然性が高い。第１ＧＵＩ検出部１３は、画像認識処理により、ソース機器１の表示画面における当該ソフトウェアボタンの位置などを検出する。
【００８４】
第２ＧＵＩ検出部１４は、記憶装置７に記憶された蓄積キャプチャデータを取得するものである。第２ＧＵＩ検出部１４は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器１における動画コンテンツの再生を再開させる操作に対応するＧＵＩ（以下「第２ＧＵＩ」という。）を検出するものである。
【００８５】
例えば、ソース機器１においてメディアプレーヤー又はウェブブラウザなどが動画コンテンツを再生している場合、蓄積キャプチャデータが示す過去の各タイミングの画像のうちの少なくとも一部のタイミングにおける画像には、一時停止された動画コンテンツの再生を再開するためのソフトウェアボタンが含まれている蓋然性が高い。第２ＧＵＩ検出部１４は、画像認識処理により、ソース機器１の表示画面における当該ソフトウェアボタンの位置などを検出する。
【００８６】
入眠判定部４１は、撮影画像取得部１１により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザＵが入眠したか否かを判定するものである。入眠判定部４１による画像認識処理の具体例は、図１に示す入眠判定部２１又は図７に示す入眠判定部３１による画像認識処理の具体例と同様であるため、説明を省略する。
【００８７】
覚醒判定部４２は、入眠判定部４１によりユーザＵが入眠したと判定された後、撮影画像取得部１１により取得された撮影画像に対する画像認識処理を実行するものである。この画像認識処理は、ユーザＵが覚醒したか否かを判定するものである。覚醒判定部４２による画像認識処理の具体例は、図７に示す覚醒判定部３２による画像認識処理の具体例と同様であるため、説明を省略する。
【００８８】
睡眠継続判定部４３は、入眠判定部４１によりユーザＵが入眠したと判定された後、睡眠状態の継続時間をカウントするものである。睡眠継続判定部４３は、覚醒判定部４２によりユーザＵが覚醒していないと判定されたとき、当該継続時間を基準時間と比較することにより、ユーザＵの睡眠状態が基準時間以上継続したか否かを判定するものである。睡眠継続判定部４３における基準時間の具体例は、図７に示す睡眠継続判定部３３における基準時間の具体例と同様であるため、説明を省略する。
【００８９】
入眠時制御部４４は、動画有無判定部１２によりソース機器１の表示画面に動画コンテンツが含まれていると判定された場合、入眠判定部４１によりユーザＵが入眠したと判定されたとき、ＵＩＢＣを用いてソース機器１における動画コンテンツの再生を一時停止させるものである。すなわち、入眠時制御部４４は、無線通信装置４を制御することにより、第１ＧＵＩの操作に対応するイベントをソース機器１に送信する。これにより、ソース機器１における動画コンテンツの再生が一時停止される。
【００９０】
覚醒時制御部４５は、動画有無判定部１２によりソース機器１の表示画面に動画コンテンツが含まれていると判定された場合、覚醒判定部４２によりユーザＵが覚醒したと判定されたとき、ＵＩＢＣを用いてソース機器１における動画コンテンツの再生を再開させるものである。すなわち、覚醒時制御部４５は、無線通信装置４を制御することにより、第２ＧＵＩの操作に対応するイベントをソース機器１に送信する。これにより、ソース機器１における動画コンテンツの再生が再開される。
【００９１】
睡眠継続時制御部４６は、睡眠継続判定部４３によりユーザＵの睡眠状態が基準時間以上継続したと判定されたとき、表示装置５における表示画面をキャプチャして、キャプチャデータを記憶装置７に記憶させるものである。また、睡眠継続時制御部４６は、当該キャプチャデータ（以下「睡眠継続時キャプチャデータ」という。）を記憶装置７に記憶させた後、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させるものである。
【００９２】
入眠判定部４１、覚醒判定部４２、睡眠継続判定部４３、入眠時制御部４４、覚醒時制御部４５及び睡眠継続時制御部４６により、省電力制御部４７が構成されている。撮影画像取得部１１、動画有無判定部１２、第１ＧＵＩ検出部１３、第２ＧＵＩ検出部１４及び省電力制御部４７により、制御装置３ｂの要部が構成されている。
【００９３】
次に、図１１のフローチャートを参照して、制御装置３ｂの動作について説明する。
【００９４】
初期状態において、ミラーリングシステム１００はミラキャストによるディスプレイミラーリングを実行中である。また、記憶装置７には蓄積キャプチャデータが記憶されている。制御装置３ｂは、ディスプレイミラーリングのバックグラウンドにて、以下のステップＳＴ２１〜ＳＴ２２，ＳＴ３１〜ＳＴ４３，ＳＴ５１〜ＳＴ５９の処理を実行する。
【００９５】
まず、動画有無判定部１２は、記憶装置７に記憶された蓄積キャプチャデータを取得する。動画有無判定部１２は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器１の表示画面に動画コンテンツが含まれているか否かを判定するとともに（ステップＳＴ２１）、ソース機器１の表示画面に動画コンテンツが含まれている場合はソース機器１が動画コンテンツを再生中であるか否かを判定する（ステップＳＴ２２）。
【００９６】
ソース機器１の表示画面に動画コンテンツが含まれており、かつ、ソース機器１が動画コンテンツを再生中である場合（ステップＳＴ２１“ＹＥＳ”かつステップＳＴ２２“ＹＥＳ”）、制御装置３ｂの処理はステップＳＴ３１に進む。
【００９７】
次いで、ステップＳＴ３１にて、撮影画像取得部１１がカメラ９による撮影画像を取得する。
【００９８】
次いで、ステップＳＴ３２にて、入眠判定部４１は、ステップＳＴ３１で取得された撮影画像に対する画像認識処理を実行して、ユーザＵが入眠したか否かを判定する。ユーザＵが入眠していない場合（ステップＳＴ３２“ＮＯ”）、制御装置３ｂの処理はステップＳＴ２１に戻る。他方、ユーザＵが入眠がしたとき（ステップＳＴ３２“ＹＥＳ”）、制御装置３ｂの処理はステップＳＴ３３に進む。
【００９９】
次いで、ステップＳＴ３３にて、睡眠継続判定部４３は、睡眠状態の継続時間のカウントを開始する。
【０１００】
次いで、ステップＳＴ３４にて、第１ＧＵＩ検出部１３は、記憶装置７に記憶された蓄積キャプチャデータを取得する。第１ＧＵＩ検出部１３は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器１における第１ＧＵＩを検出する。
【０１０１】
次いで、ステップＳＴ３５にて、入眠時制御部４４は、ＵＩＢＣを用いてソース機器１における動画コンテンツの再生を一時停止させる。すなわち、入眠時制御部４４は、無線通信装置４を制御することにより、ステップＳＴ３４で検出された第１ＧＵＩの操作に対応するイベントをソース機器１に送信する。
【０１０２】
ステップＳＴ３５の処理により、ソース機器１における動画コンテンツの再生が一時停止される。この結果、動画コンテンツの再生処理に用いられる電力が不要となるため、ソース機器１にて消費される電力を低減することができる。ただし、ミラキャストのセッションが継続しているため、エンコード処理及び送信処理についてはソース機器１にて継続して実行される。
【０１０３】
次いで、ステップＳＴ３６にて、撮影画像取得部１１がカメラ９による撮影画像を取得する。
【０１０４】
次いで、ステップＳＴ３７にて、覚醒判定部４２は、ステップＳＴ３６で取得された撮影画像に対する画像認識処理を実行して、ユーザＵが覚醒したか否かを判定する。ユーザＵが覚醒していない場合（ステップＳＴ３７“ＮＯ”）、ステップＳＴ３８にて、睡眠継続判定部４３は、ユーザＵの睡眠状態が基準時間以上継続したか否かを判定する。睡眠状態の継続時間が基準時間未満である場合（ステップＳＴ３８“ＮＯ”）、制御装置３ｂの処理はステップＳＴ３６に戻る。
【０１０５】
ユーザＵが入眠した後、基準時間が経過する前にユーザＵが覚醒した場合（ステップＳＴ３７“ＹＥＳ”）、制御装置３ｂの処理はステップＳＴ３９に進む。ステップＳＴ３９にて、睡眠継続判定部４３は、睡眠状態の継続時間のカウントをリセットする。
【０１０６】
次いで、ステップＳＴ４０にて、第２ＧＵＩ検出部１４は、記憶装置７に記憶された蓄積キャプチャデータを取得する。第２ＧＵＩ検出部１４は、蓄積キャプチャデータが示す画像に対する画像認識処理を実行することにより、ソース機器１における第２ＧＵＩを検出する。
【０１０７】
次いで、ステップＳＴ４１にて、覚醒時制御部４５は、ＵＩＢＣを用いてソース機器１における動画コンテンツの再生を再開させる。すなわち、覚醒時制御部４５は、無線通信装置４を制御することにより、ステップＳＴ４０で検出された第２ＧＵＩの操作に対応するイベントをソース機器１に送信する。
【０１０８】
ステップＳＴ４１の処理により、ソース機器１における動画コンテンツの再生が再開される。この結果、動画コンテンツの再生をステップＳＴ３５にて一時停止された箇所から自動的に再開することができる。ステップＳＴ４１に次いで、制御装置３ｂの処理はステップＳＴ２１に戻る。
【０１０９】
他方、ユーザＵが入眠した後、ユーザＵが覚醒することなく基準時間が経過した場合（ステップＳＴ３８“ＹＥＳ”）、制御装置３ｂの処理はステップＳＴ４２に進む。ステップＳＴ４２にて、睡眠継続時制御部４６は、表示装置５における表示画面をキャプチャして、睡眠継続時キャプチャデータを記憶装置７に記憶させる。
【０１１０】
次いで、ステップＳＴ４３にて、睡眠継続時制御部４６は、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させる。
【０１１１】
ミラキャストのセッションが終了することにより、ソース機器１におけるエンコード処理及び送信処理も終了する。このため、ソース機器１にて消費される電力を更に低減することができる。
【０１１２】
また、制御装置３ｂは、ステップＳＴ４３に次いで、表示装置５の表示をオフする処理又はシンク機器２の電源をオフする処理を実行するものであっても良い。これにより、シンク機器２にて消費される電力を低減することができる。
【０１１３】
また、ステップＳＴ４３の後、ユーザＵが覚醒したとき、制御装置３ｂは、操作入力装置８に入力された操作に応じて、記憶装置７に記憶された睡眠継続時キャプチャデータを取得して、睡眠継続時キャプチャデータが示す画像を表示装置５に表示させる。これにより、ユーザＵは、ミラキャストが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
【０１１４】
ここで、ユーザＵの入眠時に動画コンテンツの再生を一時停止したため（ステップＳＴ３５）、ユーザＵが熟睡状態に移行したときの表示画面には入眠時と同じ状態の動画コンテンツが含まれている。当該表示画面を確認することにより、ユーザＵの覚醒後において入眠時の再生箇所を検索するのが容易となる。この結果、動画コンテンツの再生を当該箇所から再開するのが容易となる。
【０１１５】
他方、ソース機器１の表示画面に動画コンテンツが含まれていない場合（ステップＳＴ２１“ＮＯ”）、又は、ソース機器１の表示画面に動画コンテンツが含まれており、かつ、ソース機器１が動画コンテンツを再生中でない場合（ステップＳＴ２１“ＹＥＳ”かつステップＳＴ２２“ＮＯ”）、制御装置３ｂの処理はステップＳＴ５１に進む。
【０１１６】
次いで、ステップＳＴ５１にて、撮影画像取得部１１がカメラ９による撮影画像を取得する。
【０１１７】
次いで、ステップＳＴ５２にて、入眠判定部４１は、ステップＳＴ５１で取得された撮影画像に対する画像認識処理を実行して、ユーザＵが入眠したか否かを判定する。ユーザＵが入眠していない場合（ステップＳＴ５２“ＮＯ”）、制御装置３ｂの処理はステップＳＴ２１に戻る。他方、ユーザＵが入眠がしたとき（ステップＳＴ５２“ＹＥＳ”）、制御装置３ｂの処理はステップＳＴ５３に進む。
【０１１８】
次いで、ステップＳＴ５３にて、睡眠継続判定部４３は、睡眠状態の継続時間のカウントを開始する。
【０１１９】
次いで、ステップＳＴ５４にて、撮影画像取得部１１がカメラ９による撮影画像を取得する。
【０１２０】
次いで、ステップＳＴ５５にて、覚醒判定部４２は、ステップＳＴ５４で取得された撮影画像に対する画像認識処理を実行して、ユーザＵが覚醒したか否かを判定する。ユーザＵが覚醒していない場合（ステップＳＴ５５“ＮＯ”）、ステップＳＴ５６にて、睡眠継続判定部４３は、ユーザＵの睡眠状態が基準時間以上継続したか否かを判定する。睡眠状態の継続時間が基準時間未満である場合（ステップＳＴ５６“ＮＯ”）、制御装置３ｂの処理はステップＳＴ５４に戻る。
【０１２１】
ユーザＵが入眠した後、基準時間が経過する前にユーザＵが覚醒した場合（ステップＳＴ５５“ＹＥＳ”）、制御装置３ｂの処理はステップＳＴ５７に進む。ステップＳＴ５７にて、睡眠継続判定部４３は、睡眠状態の継続時間のカウントをリセットする。次いで、制御装置３ｂの処理はステップＳＴ２１に戻る。
【０１２２】
他方、ユーザＵが入眠した後、ユーザＵが覚醒することなく基準時間が経過した場合（ステップＳＴ５６“ＹＥＳ”）、制御装置３ｂの処理はステップＳＴ５８に進む。ステップＳＴ５８にて、睡眠継続時制御部４６は、表示装置５における表示画面をキャプチャして、睡眠継続時キャプチャデータを記憶装置７に記憶させる。
【０１２３】
次いで、ステップＳＴ５９にて、睡眠継続時制御部４６は、無線通信装置４を制御することにより、ミラキャストのセッション終了要求をソース機器１に送信して、ミラキャストのセッションを終了させる。
【０１２４】
ミラキャストのセッションが終了することにより、ソース機器１におけるエンコード処理及び送信処理も終了する。このため、ソース機器１にて消費される電力を低減することができる。
【０１２５】
また、制御装置３ｂは、ステップＳＴ５９に次いで、表示装置５の表示をオフする処理又はシンク機器２の電源をオフする処理を実行するものであっても良い。これにより、シンク機器２にて消費される電力を低減することができる。
【０１２６】
また、ステップＳＴ５９の後、ユーザＵが覚醒したとき、制御装置３ｂは、操作入力装置８に入力された操作に応じて、記憶装置７に記憶された睡眠継続時キャプチャデータを取得して、睡眠継続時キャプチャデータが示す画像を表示装置５に表示させる。これにより、ユーザＵは、ミラキャストが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
【０１２７】
なお、制御装置３ｂは、操作入力装置８に入力された操作により、省電力制御部４７による上記制御の実行要否（すなわち図１１に示すステップＳＴ２１〜ＳＴ２２，ＳＴ３１〜ＳＴ４３，ＳＴ５１〜ＳＴ５９の処理の実行要否）を設定自在なものであっても良い。当該制御の実行をオフに設定することにより、ユーザＵにとって不要な制御が実行されるのを防ぐことができる。
【０１２８】
また、ソース機器１とシンク機器２間の無線通信はＷｉ−Ｆｉダイレクトに限定されるものではなく、ソース機器１からシンク機器２へのディスプレイミラーリングはミラキャストに限定されるものではない。ミラーリングシステム１００は、Ｗｉ−Ｆｉダイレクトと異なる他の規格に基づく一対一型の無線通信によるディスプレイミラーリングを実行するものであっても良い。
【０１２９】
以上のように、実施の形態３の制御装置３ｂは、ソース機器１とシンク機器２間の無線通信によりソース機器１からシンク機器２へのディスプレイミラーリングを実行するミラーリングシステム１００におけるシンク機器２用の制御装置３ｂであって、カメラ９による撮影画像を取得する撮影画像取得部１１と、撮影画像に対する画像認識処理を実行することにより、撮影画像に写されたユーザＵが入眠したか否かを判定する入眠判定部４１と、ユーザＵが入眠したと判定された後、ユーザＵの睡眠状態が基準時間以上継続したか否かを判定する睡眠継続判定部４３と、ユーザＵの睡眠状態が基準時間以上継続したと判定されたとき、ディスプレイミラーリングを終了させる制御を実行する睡眠継続時制御部４６とを備える。これにより、ディスプレイミラーリングの実行中にユーザＵが眠ってしまった場合、ソース機器１にて消費される電力をシンク機器２側の制御により低減することができる。
【０１３０】
また、睡眠継続時制御部４６は、シンク機器２における表示画面をキャプチャしてからディスプレイミラーリングを終了させる。これにより、ユーザＵは、ディスプレイミラーリングが終了する直前の表示画面、すなわち自身が熟睡状態に移行した直後の表示画面を確認することができる。
【０１３１】
また、制御装置３ｂは、シンク機器２における表示画面のキャプチャデータを用いて、ソース機器１の表示画面に動画コンテンツが含まれているか否かを判定する動画有無判定部１２と、シンク機器２における表示画面のキャプチャデータを用いて、ソース機器１における動画コンテンツの再生を一時停止させる操作に対応する第１ＧＵＩを検出する第１ＧＵＩ検出部１３と、ソース機器１の表示画面に動画コンテンツが含まれていると判定された場合、ユーザＵが入眠したと判定されたとき、第１ＧＵＩによりソース機器１における動画コンテンツの再生を一時停止させる制御を実行する入眠時制御部４４とを備える。これにより、ソース機器１にて消費される電力を更に低減することができる。
【０１３２】
また、制御装置３ｂは、シンク機器２における表示画面のキャプチャデータを用いて、ソース機器１における動画コンテンツの再生を再開させる操作に対応する第２ＧＵＩを検出する第２ＧＵＩ検出部１４と、ユーザＵが入眠したと判定された後、撮影画像に対する画像認識処理を実行することによりユーザＵが覚醒したか否かを判定する覚醒判定部４２と、ソース機器１の表示画面に動画コンテンツが含まれていると判定された場合、ユーザＵが覚醒したと判定されたとき、第２ＧＵＩによりソース機器１における動画コンテンツの再生を再開させる制御を実行する覚醒時制御部４５とを備える。これにより、ユーザＵが入眠した後、熟睡状態に移行することなく覚醒した場合、動画コンテンツの再生を一時停止された箇所から自動的に再開することができる。
【０１３３】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１３４】
１  ソース機器、２  シンク機器、３，３ａ，３ｂ  制御装置、４  無線通信装置、５  表示装置、６  音声出力装置、７  記憶装置、８  操作入力装置、９  カメラ、１１  撮影画像取得部、１２  動画有無判定部、１３  第１ＧＵＩ検出部、１４  第２ＧＵＩ検出部、２１  入眠判定部、２２  入眠時制御部、２３  省電力制御部、３１  入眠判定部、３２  覚醒判定部、３３  睡眠継続判定部、３４  睡眠継続時制御部、３５  省電力制御部、４１  入眠判定部、４２  覚醒判定部、４３  睡眠継続判定部、４４  入眠時制御部、４５  覚醒時制御部、４６  睡眠継続時制御部、４７  省電力制御部、５１  プロセッサ、５２  メモリ、５３  処理回路、１００  ミラーリングシステム。
【図１】
2019004221.tif 000003
【図２】
2019004221.tif 000004
【図３】
2019004221.tif 000005
【図４】
2019004221.tif 000006
【図５】
2019004221.tif 000007
【図６】
2019004221.tif 000008
【図７】
2019004221.tif 000009
【図８】
2019004221.tif 000010
【図９】
2019004221.tif 000011
【図１０】
2019004221.tif 000012
【図１１Ａ】
2019004221.tif 000013
【図１１Ｂ】
2019004221.tif 000014
【図１１Ｃ】
2019004221.tif 000015