(57)【要約】【課題】機能を実行するための操作方法を多様な表示装置に拡張させることが可能な情報処理システム、情報処理装置、機能実行方法及びプログラムを提供する。【解決手段】情報処理装置１００は、１以上の表示部品を有する部品選択画像を表示させるための部品選択画像情報を、表示装置２００に送信する画像情報送信部１５１と、表示部に表示された部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、表示装置２００に送信する機能実行命令送信部１６１と、を備え、表示装置２００は、情報処理装置１００から受信された部品選択画像情報に基づいて、部品選択画像を表示部に表示する表示制御部２５３と、情報処理装置１００から受信された機能実行命令で命令された機能を実行する機能実行部２５７と、を備える。【選択図】図４
2017076362.tif 000002
【特許請求の範囲】
【請求項１】
表示装置と情報処理装置とを備える情報処理システムであって、
前記情報処理装置は、
１以上の表示部品を有する部品選択画像を表示させるための部品選択画像情報を、前記表示装置に送信する画像情報送信部と、
前記表示装置により表示部に表示された前記部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、前記表示装置に送信する機能実行命令送信部と、を備え、
前記表示装置は、
前記情報処理装置から前記部品選択画像情報を受信する画像情報受信部と、
前記受信された部品選択画像情報に基づいて、前記部品選択画像を前記表示部に表示する表示制御部と、
前記情報処理装置から前記機能実行命令を受信する機能実行命令受信部と、
前記受信された機能実行命令で命令された前記機能を実行する機能実行部と、を備える情報処理システム。
【請求項２】
前記表示装置は、
前記表示装置の種別を示す種別情報を前記情報処理装置に送信する種別情報送信部を更に備え、
前記情報処理装置は、
前記種別情報と、前記種別情報が示す種別に応じた１以上の表示部品を有する部品選択画像の部品選択画像情報と、を対応付けて記憶する画像情報記憶部と、
前記表示装置から前記種別情報を受信する種別情報受信部と、を更に備え、
前記画像情報送信部は、前記受信された種別情報に対応付けられた部品選択画像情報を、前記表示装置に送信する請求項１に記載の情報処理システム。
【請求項３】
前記表示装置は、
前記表示装置の状態を示す状態情報を前記情報処理装置に送信する状態情報送信部を更に備え、
前記情報処理装置は、
前記状態情報と、前記状態情報が示す状態に応じた１以上の表示部品を有する部品選択画像の部品選択画像情報と、を対応付けて記憶する画像情報記憶部と、
前記表示装置から前記状態情報を受信する状態情報受信部と、を更に備え、
前記画像情報送信部は、前記受信された状態情報に対応付けられた部品選択画像情報を、前記表示装置に送信する請求項１又は２に記載の情報処理システム。
【請求項４】
前記表示装置は、
前記機能実行命令で命令された前記機能の実行が完了したことを示す完了情報を前記情報処理装置に送信する完了情報送信部を更に備え、
前記情報処理装置は、
前記表示装置から前記完了情報を受信する完了情報受信部と、
前記受信された完了情報に基づいて、前記表示部に表示されている前記部品選択画像の表示内容を更新させるように、前記部品選択画像の前記部品選択画像情報を更新する更新部と、を更に備え、
前記画像情報送信部は、前記更新された部品選択画像情報を前記表示装置に送信し、
前記画像情報受信部は、前記情報処理装置から前記更新された部品選択画像情報を更に受信し、
前記表示制御部は、前記更新された部品選択画像情報に基づいて、更新された部品選択画像を前記表示部に表示する請求項１〜３のいずれか１つに記載の情報処理システム。
【請求項５】
前記表示制御部は、前記受信された部品選択画像情報に基づいて、前記部品選択画像を含む表示画像を前記表示部に表示させ、
前記情報処理装置は、
前記表示部に表示された前記表示画像を撮像する撮像部と、
前記撮像により得られた撮像画像に含まれる前記部品選択画像の大きさが所定条件を満たすか否かを判定する判定部と、
前記部品選択画像の大きさが前記所定条件を満たさない場合、前記表示部に表示されている前記部品選択画像の大きさを変倍するように、前記部品選択画像の前記部品選択画像情報を更新する更新部と、を更に備え、
前記画像情報送信部は、前記更新された部品選択画像情報を前記表示装置に送信し、
前記画像情報受信部は、前記情報処理装置から前記更新された部品選択画像情報を更に受信し、
前記表示制御部は、前記更新された部品選択画像情報に基づいて、変倍された部品選択画像を含む表示画像を前記表示部に表示する請求項１〜４のいずれか１つに記載の情報処理システム。
【請求項６】
前記判定部は、前記撮像により得られた撮像画像に含まれる前記部品選択画像の大きさが閾値未満であるか否かを判定し、
前記更新部は、前記部品選択画像の大きさが前記閾値未満の場合、前記表示部に表示されている前記部品選択画像の大きさを拡大するように、前記部品選択画像の前記部品選択画像情報を更新し、
前記表示制御部は、前記更新された部品選択画像情報に基づいて、拡大された部品選択画像を含む表示画像を前記表示部に表示する請求項５に記載の情報処理システム。
【請求項７】
前記表示装置は、
前記部品選択画像を表示する表示方向を前記情報処理装置に送信する表示方向送信部を有し、
前記情報処理装置は、
１以上の表示部品を有する部品選択画像の部品選択画像情報を記憶し、前記表示方向と前記表示部品の表示位置を対応付けて記憶する画像情報記憶部と、
前記表示装置から前記表示方向を受信する表示方向受信部と、を有し、
前記画像情報送信部は、前記表示方向受信部が受信した前記表示方向に対応付けられている前記表示位置を前記画像情報記憶部から読み出して、前記表示位置に前記表示部品が表示される前記部品選択画像情報を前記表示装置に送信する請求項１に記載の情報処理システム。
【請求項８】
前記情報処理装置は、
前記表示部に対する設置位置を検出する設置位置検出部と、
１以上の表示部品を有する部品選択画像の部品選択画像情報を記憶し、前記設置位置ごとに異なる前記表示部品が対応付けて記憶されている画像情報記憶部と、を有し、
前記画像情報送信部は、前記設置位置検出部が検出した前記設置位置に対応付けられている前記表示部品を前記画像情報記憶部から読み出して、前記表示部品が表示される前記部品選択画像情報を前記表示装置に送信する請求項１に記載の情報処理システム。
【請求項９】
前記情報処理装置は、
前記表示部の明るさを検出する明るさ検出部と、
１以上の表示部品を有する部品選択画像の部品選択画像情報を記憶し、前記明るさごとに異なる前記表示部品が対応付けて記憶されている画像情報記憶部と、を有し、
前記画像情報送信部は、前記明るさ検出部が検出した前記明るさに対応付けられている前記表示部品を前記画像情報記憶部から読み出して、前記表示部品が表示される前記部品選択画像情報を前記表示装置に送信する請求項１に記載の情報処理システム。
【請求項１０】
前記画像情報送信部は、所定の前記表示部品を含む前記部品選択画像情報を前記表示装置に送信する際、表示制限指示を前記表示装置に送信し、
前記画像情報受信部は、前記情報処理装置から前記部品選択画像情報と前記表示制限指示を受信し、
前記表示制御部は、所定の表示制限対象を前記表示部に表示している場合、前記表示制限対象の表示を制限する請求項１に記載の情報処理システム。
【請求項１１】
前記情報処理装置は、
前記情報処理装置の設置ずれを検出する設置ずれ検出部を有し、
前記画像情報送信部は、前記設置ずれ検出部が設置ずれを検出した場合、前記情報処理装置が設置された際に行われるキャリブレーションを実行するための前記表示部品が表示される前記部品選択画像情報を前記表示装置に送信する請求項１〜１０のいずれか１項に記載の情報処理システム。
【請求項１２】
前記情報処理装置は、
前記表示部品を識別する表示部品識別情報と、前記表示部品に対応付けられた機能を識別する機能識別情報と、を対応付けて記憶する機能識別情報記憶部を更に備え、
前記機能実行命令は、前記特定された表示部品の表示部品識別情報に対応付けられた機能識別情報が示す機能の実行の命令である請求項１〜１１のいずれか１つに記載の情報処理システム。
【請求項１３】
前記情報処理装置は、
前記表示装置により表示部に表示された前記部品選択画像に対して指示操作が行われた位置である指示操作位置に基づいて、前記１以上の表示部品の中から前記指示操作が行われた表示部品を特定する特定部を更に備える請求項１〜１２のいずれか１つに記載の情報処理システム。
【請求項１４】
前記情報処理装置は、
前記表示部に表示され、指示操作装置により前記指示操作位置が示された前記部品選択画像を撮像する撮像部を更に備え、
前記特定部は、前記撮像により得られた撮像画像と、前記部品選択画像における前記１以上の表示部品の配置を示す部品選択画像配置情報とに基づいて、前記指示操作が行われた表示部品を特定する請求項１３に記載の情報処理システム。
【請求項１５】
前記特定部は、前記撮像により得られた撮像画像から前記指示操作位置の座標を検出し、前記検出した座標、前記撮像画像の解像度、前記部品選択画像の解像度、及び部品選択画像配置情報に基づいて、前記指示操作が行われた表示部品を特定する請求項１４に記載の情報処理システム。
【請求項１６】
表示装置と情報処理装置とを備える情報処理システムであって、
１以上の表示部品を有する部品選択画像を表示させるための部品選択画像情報を、前記表示装置に送信する画像情報送信部と、
前記表示装置により表示部に表示された前記部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、前記表示装置に送信する機能実行命令送信部と、を備え、
前記情報処理装置から前記部品選択画像情報を受信する画像情報受信部と、
前記受信された部品選択画像情報に基づいて、前記部品選択画像を前記表示部に表示する表示制御部と、
前記情報処理装置から前記機能実行命令を受信する機能実行命令受信部と、
前記受信された機能実行命令で命令された前記機能を実行する機能実行部と、を備える情報処理システム。
【請求項１７】
１以上の表示部品を有する部品選択画像を表示させるための部品選択画像情報を、表示装置に送信する画像情報送信部と、
前記表示装置により表示部に表示された前記部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、前記表示装置に送信する機能実行命令送信部と、
を備える情報処理装置。
【請求項１８】
表示装置と情報処理装置とを備える情報処理システムで実行される機能実行方法であって、
前記情報処理装置は、
１以上の表示部品を有する部品選択画像を表示するための部品選択画像情報を、前記表示装置に送信するステップと、
前記表示装置により表示部に表示された前記部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、前記表示装置に送信するステップと、を含み、
前記表示装置は、
前記情報処理装置から前記部品選択画像情報を受信するステップと、
前記受信された部品選択画像情報に基づいて、前記部品選択画像を前記表示部に表示するステップと、
前記情報処理装置から前記機能実行命令を受信するステップと、
前記受信された機能実行命令で命令された前記機能を実行するステップと、を含む機能実行方法。
【請求項１９】
１以上の表示部品を有する部品選択画像を表示させるための部品選択画像情報を、表示装置に送信する画像情報送信部と、
前記表示装置により表示部に表示された前記部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、前記表示装置に送信する機能実行命令送信部と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、機能実行方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、プロジェクタや電子黒板などの表示装置において、機能を実行するための操
作方法をインタラクティブ操作で拡張する技術が知られている。
【０００３】
例えば特許文献１では、複数のボタンを有する操作シート器をスクリーンなどの表示部に予め張り付けておき、プロジェクタが、ＰＣ（Personal  Computer）などの画像入力装置から入力される表示画像を表示部に表示し、座標読取装置が、表示部に張り付けられている操作シート器に対して電子ペンなどの指示操作装置により指示操作が行われた位置の座標を検出し、画像入力装置にフィードバックする。画像入力装置は、操作シート器の各ボタンの座標とコマンドとを対応付けたテーブルを用いて、フィードバックされた座標に対応付けられたコマンドを特定して実行し、プロジェクタが、画像入力装置から入力されたコマンド実行後の表示画像を表示部に表示する。但し、特許文献１に開示された技術では、機能を実行するための操作方法を拡張するために物理的な操作シートが必要であるため、操作方法の拡張方法が煩雑になってしまう。
【０００４】
また、例えば特許文献２では、電子黒板が、表示画面上に手書き文字認識ソフトを起動するためのアイコンを統合したツールバーを表示し、アイコンに対するタッチ操作を検出すると、文字認識ソフトを起動する。特許文献２に開示された技術では、物理的な操作シートではなく電子的なツールバーを用いるため、操作方法の拡張方法を簡易化できる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した特許文献２に開示されたような技術では、手書き文字認識ソフトのような、機能を実行するための操作方法を拡張するためのソフトウェアをインストールする必要があるが、このようなソフトウェアを表示装置にインストールすることが好ましくないような場合も考えられる。つまり、特許文献２に開示されたような技術では、表示装置によっては、機能を実行するための操作方法を拡張することが難しい場合もある。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、機能を実行するための操作方法を多様な表示装置に拡張させることが可能な情報処理システム、情報処理装置、機能実行方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決し、目的を達成するために、本発明の一態様にかかる情報処理システムは、表示装置と情報処理装置とを備える情報処理システムであって、前記情報処理装置は、１以上の表示部品を有する部品選択画像を表示させるための部品選択画像情報を、前記表示装置に送信する画像情報送信部と、前記表示装置により表示部に表示された前記部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、前記表示装置に送信する機能実行命令送信部と、を備え、前記表示装置は、前記情報処理装置から前記部品選択画像情報を受信する画像情報受信部と、前記受信された部品選択画像情報に基づいて、前記部品選択画像を前記表示部に表示する表示制御部と、前記情報処理装置から前記機能実行命令を受信する機能実行命令受信部と、前記受信された機能実行命令で命令された前記機能を実行する機能実行部と、を備える。
【発明の効果】
【０００８】
本発明によれば、機能を実行するための操作方法を多様な表示装置に拡張させることが可能という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１実施形態の情報処理システムの構成の一例を示すブロック図である。
【図２】図２は、第１実施形態の情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３】図３は、第１実施形態の表示装置のハードウェア構成の一例を示すブロック図である。
【図４】図４は、第１実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図５】図５は、第１実施形態の部品選択画像の一例を示す図である。
【図６】図６は、第１実施形態の画像情報記憶部に記憶されている情報の一例を示す図である。
【図７】図７は、第１実施形態の機能識別情報記憶部に記憶されている情報の一例を示す図である。
【図８】図８は、第１実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【図９】図９は、第１実施形態の情報処理システムで行われる指示操作確認処理の一例を示すシーケンス図である。
【図１０】図１０は、第１実施形態の情報処理システムで行われる機能実行処理の一例を示すシーケンス図である。
【図１１】図１１は、第２実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図１２】図１２は、第２実施形態の部品選択画像の一例を示す図である。
【図１３】図１３は、第２実施形態の部品選択画像の一例を示す図である。
【図１４】図１４は、第２実施形態の画像情報記憶部に記憶されている情報の一例を示す図である。
【図１５】図１５は、第２実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【図１６】図１６は、第３実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図１７】図１７は、第３実施形態の部品選択画像の一例を示す図である。
【図１８】図１８は、第３実施形態の部品選択画像の一例を示す図である。
【図１９】図１９は、第３実施形態の画像情報記憶部に記憶されている情報の一例を示す図である。
【図２０】図２０は、第３実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【図２１】図２１は、第３実施形態の表示装置で行われる状態変更検知処理の一例を示すシーケンス図である。
【図２２】図２２は、第３実施形態の情報処理システムで表示装置の状態が変更された場合に行われる画像投影処理の一例を示すシーケンス図である。
【図２３】図２３は、第４実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図２４】図２４は、第４実施形態の部品選択画像の一例を示す図である。
【図２５】図２５は、第４実施形態の部品選択画像の一例を示す図である。
【図２６】図２６は、第４実施形態の情報処理システムで行われる機能実行処理の一例を示すシーケンス図である。
【図２７】図２７は、第５実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図２８】図２８は、第５実施形態の判定手法の一例を示す説明図である。
【図２９】図２９は、第５実施形態の表示画像の一例を示す図である。
【図３０】図３０は、第５実施形態の情報処理システムで行われる指示操作確認処理の一例を示すシーケンス図である。
【図３１】図３１は、第５実施形態の情報処理システムで部品選択画像の大きさが閾値未満である場合に行われる画像投影処理の一例を示すシーケンス図である。
【図３２】図３２は、第６実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図３３】図３３は、第６実施形態の部品選択画像の一例を示す図であり。
【図３４】図３４は、第６実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【図３５】図３５は、第７実施形態の情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３６】図３６は、第７実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図３７】図３７は、第７実施形態の部品選択画像の一例を示す図である。
【図３８】図３８は、第７実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【図３９】図３９は、第８実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図４０】図４０は、第８実施形態の部品選択画像の一例を示す図である。
【図４１】図４１は、第８実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【図４２】図４２は、第９実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図４３】図４３は、第９実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【図４４】図４４は、第１０実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図４５】図４５は、第１０実施形態の情報処理システムで行われる画像投影処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明にかかる情報処理システム、情報処理装置、機能実行方法及びプログラムの実施形態を詳細に説明する。
【００１１】
（第１実施形態）
図１は、第１実施形態の情報処理システム１０の構成の一例を示すブロック図である。図１に示すように、情報処理システム１０は、情報処理装置１００と、表示装置２００とを、備える。
【００１２】
情報処理装置１００と表示装置２００とは、ネットワーク２を介して接続されている。本実施形態では、ネットワーク２として、無線ＬＡＮ（Local  Area  Network）を例に取り説明するが、これに限定されず、例えば、有線ＬＡＮなどであってもよい。なお、情報処理装置１００と表示装置２００との接続は、ネットワーク２を介した接続に限定されず、例えば、ＵＳＢ（Universal  Serial  Bus）など所定の通信規格での接続であってもよい。
【００１３】
また本実施形態では、表示装置２００がプロジェクタである場合を例に取り説明する。プロジェクタは、どのような種別のプロジェクタであってもよく、例えば、ＤＬＰ（Digital  Light  Processing）プロジェクタなどが挙げられる。但し、表示装置２００は、プロジェクタに限定されず、例えば、電子黒板などであってもよい。
【００１４】
表示装置２００は、表示部３に表示画像を表示（投影）する。表示部３は、例えば、スクリーン、壁面（但し、白色又は白色に近い色の壁面であることが好ましい）、及びホワイトボードなどが挙げられるが、これらに限定されるものではない。図１に示す例では、１以上の表示部品３３０を有する部品選択画像３２０を含む表示画像３１０が表示部３に表示されている。なお、表示部品３３０は、電子的なボタンやアイコンなどのシンボルが想定されるが、これに限定されるものではない。表示部品３３０、部品選択画像３２０、及び表示画像３１０の詳細については、後述する。
【００１５】
指示操作装置５は、例えば、ペン型や棒形状などユーザが手に持つ操作デバイスが挙げられる。指示操作装置５は、ユーザが、表示部３に表示された表示画像に対する指示操作を行うために用いられる。指示操作は、表示部３に表示された表示画像上の位置を指示操作装置５で指し示す操作であり、指示操作が行われた位置（指示操作で指し示された位置）を指示操作位置と称する。
【００１６】
本実施形態では、指示操作として、指示操作装置５の先端で指示操作位置を直接指し示す（タッチする）操作を例に取り説明するが、これに限定されず、例えば、指示操作装置５がレーザポインタである場合には、指示操作は、指示操作位置をレーザで指し示す操作とすることができる。
【００１７】
情報処理装置１００は、表示部３に表示された表示画像上で指示操作装置５により指示操作が行われた指示操作位置を検出し、検出した指示操作位置上に表示部品が存在する場合、当該表示部品に対応付けられた機能の実行を表示装置２００に命令する。これにより、表示装置２００は、表示装置２００が有する機能のうち、情報処理装置１００から実行を命令された機能を実行する。
【００１８】
図２は、第１実施形態の情報処理装置１００のハードウェア構成の一例を示すブロック図である。図２に示すように、情報処理装置１００は、Ｅｔｈｅｒｎｅｔ（登録商標。以下、省略する。）１０１と、Ｗｉ−Ｆｉ（登録商標。以下、省略する。）１０３と、カメラ１０５と、メモリ１０７と、ＣＰＵ（Central  Processing  Unit）１０９と、を備える。
【００１９】
Ｅｔｈｅｒｎｅｔ１０１は、有線ＬＡＮ用の通信インタフェースである。Ｗｉ−Ｆｉ１０３は、無線ＬＡＮ用の通信インタフェースである。カメラ１０５は、表示部３に表示された表示画像を撮像する画像センサである。メモリ１０７は、ＣＰＵ１０９に使用される各種情報を記憶する。ＣＰＵ１０９は、情報処理装置１００の各部を制御するものである。
【００２０】
なお、情報処理装置１００は、ＨＤＤ（Hard  Disk  Drive）などの外部記憶装置を更に備えていてもよいし、外部メモリや外部記憶装置をＵＳＢなどで外付け可能な構成であってもよい。
【００２１】
図３は、第１実施形態の表示装置２００のハードウェア構成の一例を示すブロック図である。図３に示すように、表示装置２００は、Ｅｔｈｅｒｎｅｔ２０１と、Ｗｉ−Ｆｉ２０３と、ＨＤＭＩ（登録商標、High-Definition  Multimedia  Interface）２０５と、ＶＩＤＥＯ−ＩＮ２０７と、メモリ２０９と、操作パネル２１１と、ＣＰＵ２１３と、ＤＳＰ（Digital  Signal  Processor）２１５と、光源２１７と、ＤＭＤ（Digital  Mirror  Device）２１９と、レンズ２２１と、を備える。
【００２２】
Ｅｔｈｅｒｎｅｔ２０１は、有線ＬＡＮ用の通信インタフェースである。Ｗｉ−Ｆｉ２０３は、無線ＬＡＮ用の通信インタフェースである。ＨＤＭＩ２０５は、映像（画像）をデジタル信号で伝送する通信インタフェースである。ＶＩＤＥＯ−ＩＮ２０７は、映像（画像）をアナログ信号で伝送する通信インタフェースである。
【００２３】
第１実施形態では、情報処理装置１００からの画像（画像信号）の受信が、Ｗｉ−Ｆｉ２０３により行われる場合を例に取り説明するが、これに限定されるものではない。なお、ＨＤＭＩ２０５やＶＩＤＥＯ−ＩＮ２０７は、例えば、ＰＣ（Personal  Computer）などの画像入力装置の表示画面を表示装置２００で表示する場合に、画像入力装置から表示装置２００に表示画面の画像（画像信号）を入力するために用いられる。また、表示装置２００は、ＵＳＢなどで画像（画像信号）を入力可能な構成であってもよい。
【００２４】
メモリ２０９は、ＣＰＵ２１３に使用される各種情報を記憶する。操作パネル２１１は、表示装置２００に対するユーザからの操作入力をＣＰＵ２１３に通知するものである。ＣＰＵ２１３は、表示装置２００の各部を制御するものであり、また、操作パネル２１１からの通知を受け、当該通知に応じた処理を行う。ＤＳＰ２１５は、Ｅｔｈｅｒｎｅｔ２０１、Ｗｉ−Ｆｉ２０３、ＨＤＭＩ２０５、及びＶＩＤＥＯ−ＩＮ２０７など各種通信インタフェースにより受信された画像（画像信号）に対し、各種画像処理を施す。
【００２５】
光源２１７は、光を照射するものであればよく、例えば、ランプなどが挙げられる。ＤＭＤ２１９は、ＤＳＰ２１５により各種画像処理が施された画像を表示し、光源２１７により照射された光を反射するものである。なお、ＤＭＤ２１９に代えて液晶パネルを用いてもよい。レンズ２２１は、ＤＭＤ２１９を反射した光を表示部３に投影することで、表示部３に表示画像を表示（投影）するものである。
【００２６】
図４は、第１実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図４に示すように、情報処理装置１００は、画像情報送信部１５１と、画像情報記憶部１５３と、撮像部１５５と、特定部１５７と、機能識別情報記憶部１５９と、機能実行命令送信部１６１と、を備える。また図４に示すように、表示装置２００は、画像情報受信部２５１と、表示制御部２５３と、機能実行命令受信部２５５と、機能実行部２５７と、を備える。
【００２７】
画像情報送信部１５１及び機能実行命令送信部１６１は、例えば、Ｗｉ−Ｆｉ１０３、メモリ１０７、及びＣＰＵ１０９などにより実現できる。画像情報記憶部１５３及び機能識別情報記憶部１５９は、例えば、メモリ１０７などにより実現できる。撮像部１５５は、例えば、カメラ１０５により実現できる。特定部１５７は、例えば、メモリ１０７、及びＣＰＵ１０９などにより実現できる。
【００２８】
画像情報受信部２５１、及び機能実行命令受信部２５５は、例えば、Ｗｉ−Ｆｉ２０３、メモリ２０９、及びＣＰＵ２１３などにより実現できる。表示制御部２５３は、例えば、ＤＳＰ２１５、光源２１７、ＤＭＤ２１９、及びレンズ２２１などにより実現できる。機能実行部２５７は、例えば、メモリ２０９、及びＣＰＵ２１３などにより実現できる。
【００２９】
画像情報記憶部１５３は、１以上の表示部品を有する部品選択画像に関する情報を記憶する。第１実施形態では、画像情報記憶部１５３は、部品選択画像を表示させるための部品選択画像情報、及び部品選択画像における１以上の表示部品の配置を示す部品選択画像配置情報などを記憶する。
【００３０】
部品選択画像情報は、部品選択画像の画像データが挙げられる。部品選択画像配置情報は、部品選択画像データにおける表示部品の位置座標や部品選択画像の画像データの解像度などが挙げられるがこれらに限定されるものではない。第１実施形態では、部品選択画像情報と部品選択画像配置情報とが別々の情報である場合を例に取り説明するが、部品選択画像情報と部品選択画像配置情報とを１つの情報としてもよい。
【００３１】
図５は、第１実施形態の部品選択画像の一例を示す図である。図５に示す例では、部品選択画像３２０は、Ａ機能の実行を指示させるための表示部品３３０−１、Ｂ機能の実行を指示させるための表示部品３３０−２、Ｃ機能の実行を指示させるための表示部品３３０−３、Ｄ機能の実行を指示させるための表示部品３３０−４、Ｅ機能の実行を指示させるための表示部品３３０−５、及びＦ機能の実行を指示させるための表示部品３３０−６を有する。
【００３２】
なお、Ａ機能〜Ｆ機能は、表示装置２００が有する機能であればどのような機能であってもよく、例えば、画像（画像信号）の入力チャンネルを切り替える機能や表示装置２００が表示する表示画像をユーザに調整させる機能などが挙げられるが、これらに限定されるものではない。
【００３３】
図６は、第１実施形態の画像情報記憶部１５３に記憶されている情報の一例を示す図である。図６に示す例では、画像情報記憶部１５３は、部品選択画像を識別する部品選択画像ＩＤと、当該部品選択画像ＩＤが示す部品選択画像の部品選択画像情報と、当該部品選択画像ＩＤが示す部品選択画像の部品選択画像配置情報とを、対応付けて記憶する。
【００３４】
なお、部品選択画像ＩＤが示す部品選択画像が図５に示す部品選択画像３２０の場合、部品選択画像情報は、部品選択画像３２０の画像データが挙げられ、部品選択画像配置情報は、部品選択画像３２０の画像データにおける表示部品３３０−１〜３３０−６それぞれの位置座標や部品選択画像３２０の画像データの解像度が挙げられる。なお第１実施形態では、表示部品３３０の位置座標は、表示部品３３０を識別する部品ＩＤと対応付けられているものとするが、これに限定されるものではない。
【００３５】
表示部品３３０−１〜３３０−６それぞれの位置座標は、例えば、部品選択画像３２０の画像データの左上部分を原点とした２次元座標で表すことができる。第１実施形態では、表示部品３３０が矩形であることを想定しているため、表示部品３３０の位置座標は、表示部品３３０の左上の座標と右下の座標で表す場合を例に取り説明するが、これに限定されるものではない。
【００３６】
画像情報送信部１５１は、部品選択画像情報を表示装置２００に送信する。例えば、画像情報送信部１５１は、表示装置２００から部品選択画像ＩＤを受信し、受信した部品選択画像ＩＤに対応付けられた部品選択画像情報を画像情報記憶部１５３から取得し、表示装置２００に送信する。
【００３７】
画像情報受信部２５１は、情報処理装置１００から部品選択画像情報を受信する。
【００３８】
表示制御部２５３は、画像情報受信部２５１により受信された部品選択画像情報に基づいて、部品選択画像を表示部３に表示する（投影する）。具体的には、表示制御部２５３は、画像情報受信部２５１により受信された部品選択画像情報に基づいて、部品選択画像を含む表示画像を表示部３に表示する。
【００３９】
つまり、表示制御部２５３は、部品選択画像情報が表す部品選択画像を表示画像内に配置（合成）し、部品選択画像が配置された表示画像を表示部３に表示する。この結果、部品選択画像情報が表す部品選択画像が図５に示す部品選択画像３２０の場合、図１に示すような、部品選択画像３２０を含む表示画像３１０が表示部３に表示される。
【００４０】
そして、表示部３に表示画像が表示されると、ユーザは、指示操作装置５を用いて、表示画像に含まれる部品選択画像内の表示部品に対する指示操作を行うことで、表示装置２００が有する機能を実行するためのインタラクティブ操作を実行できる。
【００４１】
撮像部１５５は、表示部３に表示された表示画像を撮像する。ここで、撮像部１５５は、ユーザが表示部３に表示された表示画像に含まれる部品選択画像内の表示部品に対する指示操作を行なっている状態で撮像を行うことで、表示部３に表示され、指示操作装置５により指示操作位置が示された部品選択画像を撮像する。なお第１実施形態では、撮像部１５５の撮像範囲が表示部３の表示面を含むように、情報処理装置１００が設置され、撮像部１５５は定期的に撮像を行うものとするが、これに限定されるものではない。
【００４２】
特定部１５７は、表示装置２００により表示部３に表示された部品選択画像に対して指示操作が行われた指示操作位置に基づいて、部品選択画像に含まれる１以上の表示部品の中から指示操作が行われた表示部品を特定する。
【００４３】
具体的には、特定部１５７は、撮像部１５５による撮像により得られた撮像画像と、表示部３に表示された部品選択画像の部品選択画像配置情報とに基づいて、指示操作が行われた表示部品を特定する。
【００４４】
詳細には、特定部１５７は、撮像部１５５による撮像により得られた撮像画像から、指示操作位置の座標を検出し、検出した座標、撮像画像の解像度、部品選択画像の解像度、及び部品選択画像配置情報に基づいて、指示操作が行われた表示部品を特定する。
【００４５】
例えば、特定部１５７は、表示部３に表示された部品選択画像の部品選択画像情報及び部品選択画像配置情報を画像情報記憶部１５３から取得する。また特定部１５７は、撮像部１５５による撮像により得られた撮像画像内における部品選択画像の原点の座標（部品選択画像の左上の座標）と指示操作位置の座標とを検出する。
【００４６】
例えば、撮像画像と部品選択画像情報とのパターンマッチングにより撮像画像内の部品選択画像の位置が特定できるので、これにより、部品選択画像の原点を検出できる。同様に、撮像画像に映る指示操作装置５の先端部を検出することで、指示操作位置の座標を検出できる。なお、指示操作装置５の検出は、部品選択画像の原点の検出同様、パターンマッチングで行えばよい。この場合、指示操作装置５の画像データも画像情報記憶部１５３に記憶しておけばよい。
【００４７】
そして特定部１５７は、撮像画像内における部品選択画像の原点の座標と指示操作位置の座標とから、部品選択画像の原点に対する指示操作位置の相対座標を算出し、算出した相対座標を撮像画像の解像度に対する部品選択画像の解像度の比率で変倍することで、相対座標を部品選択画像情報上での座標に変換する。なお、撮像画像の解像度は、撮像部１５５より得られる。
【００４８】
これにより、指示操作位置の座標を部品選択画像情報上での座標に変換できるので、特定部１５７は、変換した座標が、部品選択画像配置情報が示すいずれの表示部品の位置座標に含まれるかを特定することで、指示操作が行われた表示部品（詳細には、表示部品のＩＤ）を特定できる。
【００４９】
但し、指示操作が行われた表示部品の特定手法は、これに限定されず、例えば、特開２０００−１０５６７１号公報に開示されたような座標検出手法を用いて、指示操作が行われた表示部品を特定するようにしてもよい。
【００５０】
機能識別情報記憶部１５９は、表示部品を識別する表示部品識別情報と、当該表示部品に対応付けられた機能を識別する機能識別情報と、を対応付けて記憶する。図７は、第１実施形態の機能識別情報記憶部１５９に記憶されている情報の一例を示す図である。図７に示す例では、機能識別情報記憶部１５９は、表示部品を識別する部品ＩＤと、当該表示部品に対応付けられた機能を識別する機能ＩＤと、を対応付けて記憶する。
【００５１】
なお、部品ＩＤＰ００１〜Ｐ００６は、それぞれ、図５に示す部品選択画像３２０の表示部品３３０−１〜３３０−６のＩＤであり、機能ＩＤＦ００１〜Ｆ００６は、それぞれ、図５に示す部品選択画像３２０のＡ機能〜Ｆ機能のＩＤであるものとするが、これに限定されるものではない。
【００５２】
機能実行命令送信部１６１は、表示装置２００により表示部３に表示された部品選択画像に対して行われた指示操作により特定された表示部品に対応付けられた機能の実行を命令する機能実行命令を、表示装置２００に送信する。
【００５３】
具体的には、機能実行命令送信部１６１は、特定部１５７により特定された表示部品の部品ＩＤに対応付けられた機能ＩＤを機能識別情報記憶部１５９から取得し、取得した機能ＩＤが示す機能の実行の命令である機能実行命令を、表示装置２００に送信する。なお、機能実行命令は、少なくとも取得した機能ＩＤを含んでいればよい。
【００５４】
機能実行命令受信部２５５は、情報処理装置１００から機能実行命令を受信する。
【００５５】
機能実行部２５７は、機能実行命令受信部２５５により受信された機能実行命令で命令された機能を実行する。例えば、機能実行部２５７は、機能実行命令で命令された機能が入力チャンネル切替機能であれば入力チャンネルを切り替え、機能実行命令で命令された機能が画像調整機能であれば表示画像をユーザに調整させるための調整画面を表示する。
【００５６】
図８は、第１実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。
【００５７】
まず、ユーザにより操作パネル２１１から部品選択画像表示操作が行われると（ステップＳ１０１）、画像情報受信部２５１は、デフォルトの部品選択画像（例えば、部品選択画像の初期画面）の部品選択画像ＩＤを情報処理装置１００に送信し、デフォルトの部品選択画像の部品選択画像情報を要求する（ステップＳ１０３）。
【００５８】
続いて、画像情報送信部１５１は、表示装置２００から部品選択画像ＩＤを受信し、受信した部品選択画像ＩＤに対応付けられた部品選択画像情報を画像情報記憶部１５３から取得し、表示装置２００に送信する（ステップＳ１０５）。
【００５９】
続いて、表示制御部２５３は、画像情報受信部２５１により受信された部品選択画像情報に基づいて、部品選択画像を含む表示画像を表示部３に投影する（ステップＳ１０７）。
【００６０】
なお、ステップＳ１０１の部品選択画像表示操作を操作パネル２１１からではなく、表示画像を用いたインタラクティブ操作で行うようにしてもよい。
【００６１】
図９は、第１実施形態の情報処理システム１０で行われる指示操作確認処理の一例を示すシーケンス図であり、定期的に行われる。
【００６２】
まず、撮像部１５５は、表示部３に表示された表示画像を撮像する（ステップＳ１１１）。
【００６３】
続いて、特定部１５７は、表示装置２００により表示部３に表示された部品選択画像に対して指示操作が行われた指示操作位置に基づいて、部品選択画像に含まれる１以上の表示部品のいずれかに対する指示操作が行われているか否かを確認する（ステップＳ１１３）。これは、指示操作位置の座標に対応する部品選択画像情報上での座標が、部品選択画像配置情報が示すいずれの表示部品の位置座標に含まれるか否かを判別することで確認できる。
【００６４】
表示部品に対する指示操作が行われていない場合（ステップＳ１１３でＮｏの場合）、ステップＳ１１１に戻る。一方、表示部品に対する指示操作が行われている場合（ステップＳ１１３でＹｅｓの場合）、後述の図１０に示す処理が開始される。
【００６５】
図１０は、第１実施形態の情報処理システム１０で行われる機能実行処理の一例を示すシーケンス図であり、前述のように、図９に示す処理のステップＳ１１３でＹｅｓの場合に行われる。
【００６６】
まず、特定部１５７は、指示操作が行われた表示部品を特定する（ステップＳ１２１）。これは、指示操作位置の座標に対応する部品選択画像情報上での座標が、部品選択画像配置情報が示すいずれの表示部品の位置座標に含まれるかを判別することで特定できる。
【００６７】
続いて、機能実行命令送信部１６１は、特定部１５７により特定された表示部品の部品ＩＤに対応付けられた機能ＩＤを機能識別情報記憶部１５９から取得し、取得した機能ＩＤが示す機能の機能実行命令を表示装置２００に送信し、機能実行命令受信部２５５は、情報処理装置１００から当該機能実行命令を受信する（ステップＳ１２３）。
【００６８】
続いて、機能実行部２５７は、機能実行命令受信部２５５により受信された機能実行命令で命令された機能を実行する（ステップＳ１２５）。
【００６９】
以上のように第１実施形態によれば、インタラクティブ操作を実現することにより、表示装置２００が有する機能をインタラクティブ操作で実行することができるため、表示装置２００が有する機能を実行するための操作方法を拡張することができる。
【００７０】
また第１実施形態によれば、情報処理装置１００は、インタラクティブ操作の検出だけでなく、部品選択画像の管理及び実行する機能（インタラクティブ操作で指示された表示部品に対応付けられた機能）の特定まで行うため、表示装置２００に部品選択画像の管理や実行する機能の特定を行わせる必要がない。
【００７１】
このため第１実施形態によれば、表示装置２００の性能などの観点から、部品選択画像の管理や実行する機能の特定を行わせることが好ましくない表示装置２００（例えば、ＣＰＵの処理負荷やメモリ容量の減少を抑えたい表示装置２００）に対しても、表示装置２００が有する機能を実行するための操作方法を拡張することができる。従って第１実施形態によれば、多様な表示装置２００に対して、表示装置２００が有する機能を実行するための操作方法を拡張することができる。
【００７２】
また第１実施形態によれば、表示装置２００に部品選択画像の管理や実行する機能の特定を行わせる必要がないため、部品選択画像の更新が容易になることが期待できる。
【００７３】
例えば、インタラクティブ操作で実行させる機能を変更、縮小、又は拡大するために、部品選択画像を更新するケースを考える。表示装置２００に部品選択画像の管理や実行する機能の特定を行わせる場合、管理者などが表示装置２００にインストールされたソフトウェアのアップデートなどを行って、管理対象の部品選択画像を更新する必要があるが、表示装置２００の数が多いほど部品選択画像の更新作業も増加するため、作業負荷が増大する。このような観点から、表示装置２００に部品選択画像の管理や実行する機能の特定を行わせることが好ましくない場合もある。
【００７４】
これに対し、第１実施形態のような情報処理システム１０では、表示装置２００が有する機能を実行するための操作方法を拡張する必要がある場合に、情報処理装置１００を使用するという使用形態となるため、必ずしも表示装置２００と同数の情報処理装置１００を用意する必要はなく、金銭コスト等の観点から、表示装置２００の台数よりも情報処理装置１００の台数が少なくなることが予想される。このため、ソフトウェアのアップデートなどにより管理対象の部品選択画像を更新するための作業負荷は、表示装置２００に部品選択画像の管理や実行する機能の特定を行わせる場合に比べ、小さくなることが期待でき、結果として、多様な表示装置２００に対して、表示装置２００が有する機能を実行するための操作方法を拡張することができる。
【００７５】
（第２実施形態）
第２実施形態では、部品選択画像を表示装置の種別に応じた部品選択画像とする例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００７６】
図１１は、第２実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図１１に示すように、第２実施形態では、情報処理装置１００の画像情報送信部１５１、画像情報記憶部１５３、及び種別情報受信部１１６３が第１実施形態と相違し、表示装置２００の種別情報送信部１２５９が第１実施形態と相違する。
【００７７】
種別情報送信部１２５９は、表示装置２００の種別を示す種別情報を情報処理装置１００に送信する。表示装置２００の種別は、例えば、モデル名などが挙げられるが、これに限定されるものではない。なお、種別情報は、例えば、メモリ２０９などに予め記憶されている。
【００７８】
種別情報受信部１１６３は、表示装置２００から種別情報を受信する。
【００７９】
第２実施形態では、画像情報記憶部１５３は、表示装置２００の種別を示す種別情報を更に記憶する。なお第２実施形態では、部品選択画像は、種別情報が示す種別に応じた１以上の表示部品を有する。つまり第２実施形態では、部品選択画像を構成する１以上の表示部品は、表示装置２００の種別毎に異なっている。
【００８０】
図１２及び図１３は、第２実施形態の部品選択画像の一例を示す図であり、図１２は、表示装置２００が多機能モデルである場合の部品選択画像の一例を示し、図１３は、表示装置２００が省機能モデルである場合の部品選択画像の一例を示す。なお、図１２及び図１３に示す部品選択画像は、画像（画像信号）の入力チャンネルを切り替える機能の実行を指示させるための表示部品を有する。
【００８１】
図１２に示す例では、部品選択画像１３２０は、入力チャンネルをＶＩＤＥＯ入力に切り替える機能の実行を指示させるための表示部品１３３０−１、入力チャンネルをＨＤＭＩ入力に切り替える機能の実行を指示させるための表示部品１３３０−２、入力チャンネルをコンピュータ入力に切り替える機能の実行を指示させるための表示部品１３３０−３、を有する。また、入力チャンネルをＵＳＢ入力に切り替える機能の実行を指示させるための表示部品１３３０−４、入力チャンネルをネットワークサーバ入力に切り替える機能の実行を指示させるための表示部品１３３０−５、入力チャンネルをスクリーンミラーリング入力に切り替える機能の実行を指示させるための表示部品１３３０−６を有する。
【００８２】
一方、図１３に示す例では、部品選択画像１３２１は、入力チャンネルをＶＩＤＥＯ入力に切り替える機能の実行を指示させるための表示部品１３３０−１、入力チャンネルをＨＤＭＩ入力に切り替える機能の実行を指示させるための表示部品１３３０−２、入力チャンネルをコンピュータ入力に切り替える機能の実行を指示させるための表示部品１３３０−３を有する。
【００８３】
このように、多機能モデルでは、入力チャンネルが豊富であるが、省機能モデルでは、入力チャンネルが限定されているため、部品選択画像を構成する１以上の表示部品は異なっている。つまり第２実施形態では、表示装置２００のモデルに応じて実行可能な機能が異なるため、部品選択画像を構成する１以上の表示部品も異なっている。
【００８４】
図１４は、第２実施形態の画像情報記憶部１５３に記憶されている情報の一例を示す図である。図１４に示す例では、画像情報記憶部１５３は、部品選択画像ＩＤ毎に、表示装置２００の種別を示すモデル名を対応付けて記憶し、モデル名毎に、当該モデル名及び当該モデル名に対応付けられた部品選択画像ＩＤが示す部品選択画像の部品選択画像情報と、当該モデル名及び当該モデル名に対応付けられた部品選択画像ＩＤが示す部品選択画像の部品選択画像配置情報とを、対応付けて記憶する。
【００８５】
画像情報送信部１５１は、種別情報受信部１１６３により受信された種別情報に対応付けられた部品選択画像情報を、表示装置２００に送信する。例えば、画像情報送信部１５１は、表示装置２００から受信した部品選択画像ＩＤ及び種別情報受信部１１６３により受信されたモデル名に対応付けられた部品選択画像情報を画像情報記憶部１５３から取得し、表示装置２００に送信する。
【００８６】
図１５は、第２実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。
【００８７】
まず、ステップＳ１１０１〜Ｓ１１０３の処理は、それぞれ、図８に示すフローチャートのステップＳ１０１〜Ｓ１０３の処理と同様である。
【００８８】
続いて、情報処理装置１００にデフォルトの部品選択画像の部品選択画像情報が要求されると、種別情報受信部１１６３は、表示装置２００に種別情報を要求する（ステップＳ１１０５）。
【００８９】
続いて、種別情報送信部１２５９は、情報処理装置１００から種別情報が要求されると、表示装置２００の種別情報を情報処理装置１００に送信し、種別情報受信部１１６３は、表示装置２００から種別情報を受信する（ステップＳ１１０７）。
【００９０】
続いて、画像情報送信部１５１は、表示装置２００から受信した部品選択画像ＩＤ及び種別情報受信部１１６３により受信された種別情報（モデル名）に対応付けられた部品選択画像情報を画像情報記憶部１５３から取得し、表示装置２００に送信する（ステップＳ１１０９）。
【００９１】
以降の、ステップＳ１１１１の処理は、図８に示すフローチャートのステップＳ１０７の処理と同様である。
【００９２】
以上のように、第２実施形態によれば、様々なモデルの表示装置２００に対して、表示装置２００が有する機能を実行するための操作方法を拡張することができる。特に第２実施形態によれば、表示装置２００のモデル毎に情報処理装置１００を用意する必要はないので、表示装置２００の台数よりも情報処理装置１００の台数がより少なくなることが期待される。このため、ソフトウェアのアップデートなどにより管理対象の部品選択画像を更新するための作業負荷は、表示装置２００に部品選択画像の管理や実行する機能の特定を行わせる場合に比べ、より小さくなることが期待でき、結果として、多様な表示装置２００に対して、表示装置が有する機能を実行するための操作方法を拡張することができる。
【００９３】
なお、機能識別情報記憶部１５９は、種別情報が示す種別毎に、表示部品識別情報と機能識別情報とを対応付けて記憶するようにしてもよい。この場合、機能識別情報記憶部１５９は、種別情報が示す種別毎に、当該種別の表示装置２００で実行可能な機能の機能識別情報と、当該機能の実行を指示させるための表示部品の表示部品識別情報と、を対応付けたテーブル情報を記憶することになる。そして機能実行命令送信部１６１は、表示装置２００の種別に応じたテーブル情報を用いて、特定部１５７により特定された表示部品の表示部品識別情報に対応付けられた機能識別情報を機能識別情報記憶部１５９から取得する。
【００９４】
（第３実施形態）
第３実施形態では、部品選択画像を表示装置の状態に応じた部品選択画像とする例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００９５】
図１６は、第３実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図１６に示すように、第３実施形態では、情報処理装置１００の画像情報送信部１５１、画像情報記憶部１５３、及び状態情報受信部２１６５が第１実施形態と相違し、表示装置２００の状態情報送信部２２６１及び状態変更検知部２２６３が第１実施形態と相違する。
【００９６】
状態変更検知部２２６３は、表示装置２００の状態の変更を検知する。表示装置２００の状態は、例えば、通常状態や省エネルギー状態などが挙げられるが、これらに限定されるものではない。省エネルギー状態は、通常状態よりもエネルギー消費量が低い状態である。なお、表示装置２００の状態の変更は、例えば、ユーザが操作パネル２１１から状態変更操作を変更することで行ってもよいし、自動で行ってもよい。
【００９７】
自動で変更する例としては、例えば、一定時間、画像（画像信号）の入力がない場合やユーザからの操作がない場合、通常状態から省エネルギー状態に変更したり、省エネルギー状態で、画像（画像信号）の入力やユーザからの操作が発生した場合に、省エネルギー状態から通常状態に変更したりするなどが挙げられるが、これらに限定されるものではない。なお、表示装置２００の状態は、状態情報として、例えば、メモリ２０９などで管理されている。状態変更検知部２２６３は、メモリ２０９の状態情報が示す状態が変更されたことを検知することで、表示装置２００の状態の変更を検知する。
【００９８】
状態情報送信部２２６１は、表示装置２００の状態情報を情報処理装置１００に送信する。状態情報受信部２１６５は、表示装置２００から状態情報を受信する。
【００９９】
第３実施形態では、画像情報記憶部１５３は、表示装置２００の状態を示す状態情報を更に記憶する。なお第３実施形態では、部品選択画像は、状態情報が示す状態に応じた１以上の表示部品を有する。つまり第３実施形態では、部品選択画像を構成する１以上の表示部品は、表示装置２００の状態毎に異なっている。
【０１００】
図１７及び図１８は、第３実施形態の部品選択画像の一例を示す図であり、図１７は、表示装置２００が通常状態である場合の部品選択画像の一例を示し、図１８は、表示装置２００が省エネルギー状態である場合の部品選択画像の一例を示す。なお、図１７及び図１８に示す部品選択画像は、表示画像をユーザに調整させる機能の実行を指示させるための表示部品を有する。
【０１０１】
図１７に示す例では、部品選択画像２３２０は、表示画像の明るさをユーザに調整させる機能の実行を指示させるための表示部品２３３０−１、表示画像のシャープネスをユーザに調整させる機能の実行を指示させるための表示部品２３３０−２、表示画像の色の濃さをユーザに調整させる機能の実行を指示させるための表示部品２３３０−３、表示画像の水平位置をユーザに調整させる機能の実行を指示させるための表示部品２３３０−４、表示画像の垂直位置をユーザに調整させる機能の実行を指示させるための表示部品２３３０−５、表示画像の台形補正をユーザに行わせる機能の実行を指示させるための表示部品２３３０−６を有する。
【０１０２】
一方、図１８に示す例では、部品選択画像２３２１は、表示画像のシャープネスをユーザに調整させる機能の実行を指示させるための表示部品２３３０−２、表示画像の水平位置をユーザに調整させる機能の実行を指示させるための表示部品２３３０−４、表示画像の垂直位置をユーザに調整させる機能の実行を指示させるための表示部品２３３０−５、表示画像の台形補正をユーザに行わせる機能の実行を指示させるための表示部品２３３０−６を有する。
【０１０３】
このように、通常状態では、表示画像の多様な調整が可能であるが、省エネルギー状態では、電力を落とす必要があるため、明るさや色の濃さなど電力に制限のある調整以外の表示画像の調整に限定されるため、部品選択画像を構成する１以上の表示部品は異なっている。つまり第３実施形態では、表示装置２００の状態に応じて実行可能な機能が異なるため、部品選択画像を構成する１以上の表示部品も異なっている。
【０１０４】
図１９は、第３実施形態の画像情報記憶部１５３に記憶されている情報の一例を示す図である。図１９に示す例では、画像情報記憶部１５３は、部品選択画像ＩＤ毎に、表示装置２００の状態を示す状態ＩＤを対応付けて記憶し、状態ＩＤ毎に、当該状態ＩＤ及び当該状態ＩＤに対応付けられた部品選択画像ＩＤが示す部品選択画像の部品選択画像情報と、当該状態ＩＤ及び当該状態ＩＤに対応付けられた部品選択画像ＩＤが示す部品選択画像の部品選択画像配置情報とを、対応付けて記憶する。
【０１０５】
画像情報送信部１５１は、状態情報受信部２１６５により受信された状態情報に対応付けられた部品選択画像情報を、表示装置２００に送信する。例えば、画像情報送信部１５１は、表示装置２００から受信した部品選択画像ＩＤ及び状態情報受信部２１６５により受信された状態ＩＤに対応付けられた部品選択画像情報を画像情報記憶部１５３から取得し、表示装置２００に送信する。
【０１０６】
図２０は、第３実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。
【０１０７】
まず、ステップＳ２１０１〜Ｓ２１０３の処理は、それぞれ、図８に示すフローチャートのステップＳ１０１〜Ｓ１０３の処理と同様である。
【０１０８】
続いて、情報処理装置１００にデフォルトの部品選択画像の部品選択画像情報が要求されると、状態情報受信部２１６５は、表示装置２００に状態情報を要求する（ステップＳ２１０５）。
【０１０９】
続いて、状態情報送信部２２６１は、情報処理装置１００から状態情報が要求されると、表示装置２００の状態情報を情報処理装置１００に送信し、状態情報受信部２１６５は、表示装置２００から状態情報を受信する（ステップＳ２１０７）。
【０１１０】
続いて、画像情報送信部１５１は、表示装置２００から受信した部品選択画像ＩＤ及び状態情報受信部２１６５により受信された状態情報（状態ＩＤ）に対応付けられた部品選択画像情報を画像情報記憶部１５３から取得し、表示装置２００に送信する（ステップＳ２１０９）。
【０１１１】
以降の、ステップＳ２１１１の処理は、図８に示すフローチャートのステップＳ１０７の処理と同様である。
【０１１２】
図２１は、第３実施形態の表示装置２００で行われる状態変更検知処理の一例を示すシーケンス図であり、定期的に行われる。
【０１１３】
状態変更検知部２２６３が、表示装置２００の状態変更を検知しない場合（ステップＳ２１３１でＮｏの場合）、ステップＳ２１３１に戻る。一方、状態変更検知部２２６３が、表示装置２００の状態変更を検知した場合（ステップＳ２１３１でＹｅｓの場合）、後述の図２２に示す処理が開始される。
【０１１４】
図２２は、第３実施形態の情報処理システム１０で表示装置２００の状態が変更された場合に行われる画像投影処理の一例を示すシーケンス図である。
【０１１５】
まず、状態情報送信部２２６１は、表示装置２００の状態情報を情報処理装置１００に送信し、状態情報受信部２１６５は、表示装置２００から状態情報を受信する（ステップＳ２１４１）。
【０１１６】
以降の、ステップＳ２１４３〜Ｓ２１４５の処理は、それぞれ、図２０に示すフローチャートのステップＳ２１０９〜Ｓ２１１１の処理と同様である。
【０１１７】
以上のように、第３実施形態によれば、表示装置２００の様々な状態を考慮して、表示装置が有する機能を実行するための操作方法を拡張することができる。
【０１１８】
なお、機能識別情報記憶部１５９は、状態情報が示す状態毎に、表示部品識別情報と機能識別情報とを対応付けて記憶するようにしてもよい。この場合、機能識別情報記憶部１５９は、状態情報が示す状態毎に、当該状態の表示装置２００で実行可能な機能の機能識別情報と、当該機能の実行を指示させるための表示部品の表示部品識別情報と、を対応付けたテーブル情報を記憶することになる。そして機能実行命令送信部１６１は、表示装置２００の種別に応じたテーブル情報を用いて、特定部１５７により特定された表示部品の表示部品識別情報に対応付けられた機能識別情報を機能識別情報記憶部１５９から取得する。
【０１１９】
（第４実施形態）
第４実施形態では、機能の実行に伴い、部品選択画像の表示内容を更新する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１２０】
図２３は、第４実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図２３に示すように、第３実施形態では、情報処理装置１００の画像情報送信部１５１、完了情報受信部３１６７、及び更新部３１６９が第１実施形態と相違し、表示装置２００の画像情報受信部２５１、表示制御部２５３、及び完了情報送信部３２６５が第１実施形態と相違する。
【０１２１】
完了情報送信部３２６５は、機能実行命令で命令された機能の実行が完了したことを示す完了情報を情報処理装置１００に送信する。なお、完了情報は、少なくとも実行が完了した機能の機能識別情報（機能ＩＤ）を含んでいればよい。
【０１２２】
完了情報受信部３１６７は、表示装置２００から完了情報を受信する。
【０１２３】
更新部３１６９は、完了情報受信部３１６７により受信された完了情報に基づいて、表示部３に表示されている部品選択画像の表示内容を更新させるように、部品選択画像の部品選択画像情報を更新する。
【０１２４】
例えば、機能実行部２５７による機能実行前の表示画像に含まれる部品選択画像が、図２４に示す部品選択画像３３２０であるとする。なお、部品選択画像３３２０では、表示部品３３３０−１がハイライトされており、入力チャンネルがＶＩＤＥＯ入力であることを表している。この状態で機能実行部２５７により入力チャンネルをＶＩＤＥＯ入力からＵＳＢ入力に切り替える機能が実行され、完了情報受信部３１６７は、表示装置２００から、入力チャンネルをＵＳＢ入力に切り替える機能の機能ＩＤを含む完了情報を受信しているとする。
【０１２５】
この場合、更新部３１６９は、画像情報送信部１５１から前回送信した部品選択画像情報の部品選択画像ＩＤを取得し、当該部品選択画像ＩＤに対応付けられた部品選択画像情報及び部品選択画像配置情報を画像情報記憶部１５３から取得する。また更新部３１６９は、完了情報に含まれる機能ＩＤに対応付けられた部品ＩＤを機能識別情報記憶部１５９から取得する。そして更新部３１６９は、取得した部品選択画像配置情報を用いて、取得した部品ＩＤが示す表示部品の部品選択画像情報上の位置をハイライトするように画像処理することで、部品選択画像情報を更新する。
【０１２６】
画像情報送信部１５１は、更新部３１６９により更新された部品選択画像情報を表示装置２００に送信する。画像情報受信部２５１は、情報処理装置１００から更新された部品選択画像情報を受信する。
【０１２７】
表示制御部２５３は、更新部３１６９により更新された部品選択画像情報に基づいて、更新された部品選択画像を表示部３に表示する。この場合、表示部３に表示された表示画像に含まれる部品選択画像３３２０は、前述のような画像処理が施されるため、図２５に示すように、表示部品３３３０−４がハイライトされ、入力チャンネルがＵＳＢ入力であることを表す。
【０１２８】
図２６は、第４実施形態の情報処理システム１０で行われる機能実行処理の一例を示すシーケンス図である。
【０１２９】
まず、ステップＳ３１２１〜Ｓ３１２５の処理は、それぞれ、図１０に示すフローチャートのステップＳ１２１〜Ｓ１２５の処理と同様である。
【０１３０】
続いて、完了情報送信部３２６５は、機能実行命令で命令された機能の実行が完了したことを示す完了情報を情報処理装置１００に送信し、完了情報受信部３１６７は、表示装置２００から完了情報を受信する（ステップＳ３１２７）。
【０１３１】
続いて、更新部３１６９は、完了情報受信部３１６７により受信された完了情報に基づいて、表示部３に表示されている部品選択画像の表示内容を更新させるように、部品選択画像の部品選択画像情報を更新する（ステップＳ３１２９）。
【０１３２】
続いて、画像情報送信部１５１は、更新部３１６９により更新された部品選択画像情報を表示装置２００に送信し、画像情報受信部２５１は、情報処理装置１００から更新された部品選択画像情報を受信する（ステップＳ３１３１）。
【０１３３】
続いて、表示制御部２５３は、画像情報受信部２５１により受信された部品選択画像情報に基づいて、更新された部品選択画像を表示部３に投影する（ステップＳ３１３３）。
【０１３４】
以上のように、第４実施形態によれば、機能が実行された結果をユーザに報知することができる。
【０１３５】
（第５実施形態）
第５実施形態では、表示画像に含まれる部品選択画像を拡大する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１３６】
図２７は、第５実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図２７に示すように、第５実施形態では、情報処理装置１００の画像情報送信部１５１、判定部４１７１、及び更新部４１６９が第１実施形態と相違し、表示装置２００の画像情報受信部２５１及び表示制御部２５３が第１実施形態と相違する。
【０１３７】
判定部４１７１は、撮像部１５５の撮像により得られた撮像画像に含まれる部品選択画像の大きさが所定条件を満たすか否かを判定する。第５実施形態では、判定部４１７１は、撮像部１５５の撮像により得られた撮像画像に含まれる部品選択画像の大きさが閾値未満であるか否かを判定する。
【０１３８】
第５実施形態では、判定部４１７１は、図２８に示すように、撮像画像に含まれる表示画像４３１０に含まれる部品選択画像４３２０の縦の長さＶｌが閾値ＴＶｌ未満（Ｖｌ＜ＴＶｌ）であるか否かを判定するものとするが、これに限定されず、部品選択画像の横の長さＨｌが閾値未満であるか否かを判定するようにしてもよいし、部品選択画像の面積が閾値未満であるか否かを判定するようにしてもよい。
【０１３９】
更新部４１６９は、判定部４１７１により部品選択画像の大きさが所定条件を満たさないと判定された場合、表示部３に表示されている部品選択画像の大きさを変倍するように、部品選択画像の部品選択画像情報を更新する。具体的には、更新部４１６９は、部品選択画像の大きさが閾値未満の場合、表示部３に表示されている部品選択画像の大きさを拡大するように、部品選択画像の部品選択画像情報を更新する。
【０１４０】
第５実施形態では、更新部４１６９は、画像情報送信部１５１から前回送信した部品選択画像情報の部品選択画像ＩＤを取得し、当該部品選択画像ＩＤに対応付けられた部品選択画像情報及び部品選択画像配置情報を画像情報記憶部１５３から取得する。そして更新部４１６９は、部品選択画像情報の縦の解像度がＶｄ、横の解像度がＨｄである場合、部品選択画像情報の縦の解像度Ｖｄ及び横の解像度ＨｄをそれぞれＴＶｌ／Ｖｌ倍することで、部品選択画像情報を更新する。
【０１４１】
画像情報送信部１５１は、更新部４１６９により更新された部品選択画像情報を表示装置２００に送信する。画像情報受信部２５１は、情報処理装置１００から更新された部品選択画像情報を受信する。
【０１４２】
表示制御部２５３は、更新部４１６９により更新された部品選択画像情報に基づいて、変倍された部品選択画像を表示部３に表示する。具体的には、表示制御部２５３は、更新部４１６９により更新された部品選択画像情報に基づいて、拡大された部品選択画像を表示部３に表示する。この場合、表示部３に表示された表示画像に含まれる部品選択画像は、前述のような拡大処理が施されるため、図２９に示すように、表示画像４３１１に占める部品選択画像４３２１の比率が大きくなる。
【０１４３】
図３０は、第５実施形態の情報処理システム１０で行われる指示操作確認処理の一例を示すシーケンス図であり、定期的に行われる。
【０１４４】
まず、ステップＳ４１１１の処理は、図９に示すフローチャートのステップＳ１１１の処理と同様である。
【０１４５】
続いて、判定部４１７１は、撮像部１５５の撮像により得られた撮像画像に含まれる部品選択画像の大きさが閾値未満であるか否かを判定する（ステップＳ４１１３）。
【０１４６】
部品選択画像の大きさが閾値未満である場合（ステップＳ４１１３でＹｅｓ）、後述の図３１に示す処理が開始される。一方、部品選択画像の大きさが閾値以上である場合（ステップＳ４１１３でＮｏ）、ステップＳ４１１５に進む。
【０１４７】
以降の、ステップＳ４１１５の処理は、図９に示すフローチャートのステップＳ１１３の処理と同様である。
【０１４８】
図３１は、第５実施形態の情報処理システム１０で部品選択画像の大きさが閾値未満である場合に行われる画像投影処理の一例を示すシーケンス図である。
【０１４９】
まず、更新部４１６９は、表示部３に表示されている部品選択画像の大きさを拡大するように、部品選択画像の部品選択画像情報を更新する（ステップＳ４１５１）。
【０１５０】
続いて、画像情報送信部１５１は、更新部４１６９により更新された部品選択画像情報を表示装置２００に送信し、画像情報受信部２５１は、情報処理装置１００から更新された部品選択画像情報を受信する（ステップＳ４１５５）。
【０１５１】
続いて、表示制御部２５３は、画像情報受信部２５１により受信された部品選択画像情報に基づいて、更新された部品選択画像を表示部３に投影する（ステップＳ４１５３）。
【０１５２】
以上のように、第５実施形態によれば、表示画像の表示サイズが小さいため、部品選択画像の表示サイズも小さくなってしまい、部品選択画像を構成する１以上の表示部品の視認性が低下するような状況であっても、表示画像に対し部品選択画像が拡大されて表示されるため、表示部品の視認性の低下を抑えることができる。
【０１５３】
なお第５実施形態では、部品選択画像を拡大する例について説明したが、部品選択画像を同様の原理で縮小するようにしてもよい。このようにすれば、表示画像の表示サイズが大きいため、部品選択画像の表示サイズも大きくなってしまうような状況であっても、表示画像に対し部品選択画像が縮小されて表示されるため、表示部品の視認性を適切に保つことができる。
【０１５４】
（第６実施形態）
第６実施形態では、表示装置２００の表示方向により部品選択画像の表示位置を変更する例について説明する。表示装置の表示方向（正常設置、天吊り、リアプロジェクションなど）の違いにより、光源の方向が変わるため、情報処理装置１００のカメラ１０５が撮像しやすい位置が変わる。本実施形態では、表示方向に応じて部品選択画像の表示位置を変更するので、情報処理装置１００のカメラ１０５が撮像しやすい位置に部品選択画像を表示できる。
【０１５５】
なお、以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１５６】
図３２は、第６実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図３２に示すように、第６実施形態では、情報処理装置１００が表示方向受信部１８１を有し、表示装置２００が表示方向送信部２８１を有する。
【０１５７】
情報処理装置１００の表示方向受信部１８１は、表示装置２００の表示方向に関する情報を表示装置２００から受信する。表示装置２００の表示方向送信部２８１は表示装置２００の表示方向に関する情報を情報処理装置１００に送信する。
【０１５８】
また、第６実施形態では画像情報記憶部１５３が以下のような情報を記憶している。
【０１５９】
【表１】
2017076362.tif 000003
表１は、表示方向と部品選択画像の表示位置との対応をテーブル状に示す。部品ＩＤに対し、機能ＩＤ、表示方向、及び、表示位置が対応づけて管理されている。表１に示すように同じ部品ＩＤに対し複数の表示方向と表示位置が対応付けられているため、表示装置２００は表示部品の表示位置を表示方向に応じて変更できる。正常設置とは表示部３の底辺と同程度かそれよりも下に表示装置２００が設置された状態の表示方向をいい、天吊りは表示装置２００が天井からつり下げられて設置された状態の表示方向をいい、リアとは表示装置２００が表示部３の後ろに設置された場合の表示方向をいう。
【０１６０】
なお、表１の画像情報記憶部１５３において機能ＩＤは説明のための情報であり、機能識別情報記憶部１５９に部品ＩＤと機能ＩＤが対応付けられている。
【０１６１】
図３３は、第６実施形態の部品選択画像の一例を示す図であり、図３３（ａ）は、表示装置２００の表示方向が正常設置である場合の部品選択画像３２０の一例を示し、図３３（ｂ）は、表示装置２００の表示方向が天吊りである場合の部品選択画像３２０の一例を示す。
【０１６２】
図３３（ａ）と図３３（ｂ）では、部品選択画像３２０はいずれもＡ機能の表示部品３３０のみが表示されている。これは一例であって複数の機能の表示部品が表示される場合もある。図３３（ａ）では表示装置２００の表示位置が正常設置なので、正常設置に適した表示位置に表示部品が表示されている。すなわち、図３３（ａ）では、表示部３の下部に光源があるため情報処理装置１００のカメラ１０５が撮像しやすい表示位置（例えば、表示部３の上方）に表示部品が表示される。図３３（ｂ）では表示装置２００の表示位置が天吊りなので、天吊りに適した表示位置（例えば、表示部３の下方）に表示部品が表示されている。
【０１６３】
画像情報送信部１５１は、表示方向受信部１８１により受信された表示方向に対応付けられた部品選択画像情報を、表示装置２００に送信する。
【０１６４】
図３４は、第６実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。まず、ステップＳ５１０１〜Ｓ５１０３の処理は、それぞれ、図８に示すフローチャートのステップＳ１０１〜Ｓ１０３の処理と同様である。
【０１６５】
続いて、情報処理装置１００にデフォルトの部品選択画像の部品選択画像情報が要求されると、表示方向受信部１８１は、表示装置２００に表示方向を要求する（ステップＳ５１０５）。
【０１６６】
続いて、表示装置２００の表示方向受信部１８１は、情報処理装置１００から表示方向が要求されると、表示装置２００の表示方向を情報処理装置１００に送信し、表示方向受信部１８１は、表示装置２００から表示方向を受信する（ステップＳ５１０７）。なお、表示装置２００の表示方向は、ユーザが表示装置２００に設定しているものとする。あるいは、表示装置２００が有するカメラで表示部３を撮像しカメラとレンズ２２１の配置から表示装置２００が自動的に表示位置を推定してもよい。あるいは、ユーザが情報処理装置１００に設定してもよい。この場合、情報処理装置１００が表示装置２００から表示方向を取得しなくてよい。
【０１６７】
続いて、画像情報送信部１５１は、表示装置２００から受信した表示方向に対応付けられた表示位置を画像情報記憶部１５３から取得し、この表示位置に表示部品が配置された部品選択画像情報を表示装置２００に送信する（ステップＳ５１０９）。
【０１６８】
以降の、ステップＳ５１１１の処理は、図８に示すフローチャートのステップＳ１０７の処理と同様である。
【０１６９】
以上のように、第６実施形態によれば、表示装置２００の表示方向が様々であるため情報処理装置１００が表示部３を撮像しやすい部品選択画像の位置が限られていても、情報処理装置１００が撮像しやすい位置に部品選択画像を表示することができる。
【０１７０】
（第７実施形態）
第７実施形態では、情報処理装置１００の設置位置により表示部品を変更する例について説明する。情報処理装置１００の設置位置（表示部３に対し左又は右、上又は下）に対しより直感的な操作が可能な表示部品を表示することが好ましい場合がある。本実施形態では、情報処理装置１００の設置位置に応じて表示部品を切り替えることで、ユーザが直感的に操作することが可能になる。
【０１７１】
なお、以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１７２】
図３５は、第７実施形態の情報処理装置１００のハードウェア構成の一例を示すブロック図である。図３５に示すように、第７実施形態の情報処理装置１００は、加速度センサ１０８を備える。加速度センサ１０８は、物体の加速度(速度の変化率)を測定するための検出手段である。好ましくは三軸（Ｘ，Ｙ，Ｚ方向）以上の方向で加速度を検出する。情報処理装置１００は加速度センサ１０８が検出した三軸方向の重力の比から自身の現在の傾きが検出できる。
【０１７３】
一方、カメラ１０５が情報処理装置１００のどの向きに搭載されているかは固定である（情報処理装置１００のメモリ１０７に記憶されている）。従って、情報処理装置１００の現在の傾きとカメラ１０５が情報処理装置１００のどの向きに搭載されているかを総合して、情報処理装置１００は表示部３に対する位置を検出できる。
【０１７４】
図３６は、第７実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図３６に示すように、第７実施形態では、情報処理装置１００が設置位置検出部１８２を有している。
【０１７５】
情報処理装置１００の設置位置検出部１８２は、情報処理装置１００の表示部３に対する設置位置を検出する。設置位置は、上部、下部、左、右の４種類である。なお、加速度センサ１０８を用いて設置位置を検出する他、ユーザが情報処理装置１００に設置位置を設定してもよい。
【０１７６】
また、第７実施形態では画像情報記憶部１５３が以下のような情報を記憶している。
【０１７７】
【表２】
2017076362.tif 000004
表２は、情報処理装置１００の設置位置と表示部品との対応をテーブル状に示す。機能ＩＤごとに、情報処理装置１００の設置位置、及び、表示部品が対応づけて管理されている。すなわち、同じ機能の表示部品に異なる部品ＩＤが対応付けられている。表２に示すように情報処理装置１００の設置位置に対しそれぞれ表示部品が対応付けられているため、表示装置２００は情報処理装置１００の設置位置に応じて異なる表示部品を表示できる。
【０１７８】
図３７は、第７実施形態の部品選択画像の一例を示す図であり、図３７（ａ）は、情報処理装置１００が表示部３に対し左に設置されている場合の部品選択画像の一例を示し、図３７（ｂ）は情報処理装置１００が表示部３に対し上部に設置されている場合の部品選択画像の一例を示す。図３７（ａ）では情報処理装置１００の中心からカメラ１０５の方向に対し右方向に重力が検出されるので、情報処理装置１００の設置位置が表示部３に対し左であることが設置位置検出部１８２により検出される。図３７（ｂ）では情報処理装置１００の中心からカメラ１０５の方向に対し同じ方向に重力が検出されるので、情報処理装置１００の設置位置が表示部３に対し上側であることが設置位置検出部１８２により検出される。
【０１７９】
表示部品のデザインに"方向性"がある場合、表示部品が示す方向を適切に示すことで、部品選択画像の操作又は表示部品の挙動を把握しやすくなりユーザが直感的に操作できる。図３７の例は、表示部３の情報が情報処理装置１００に入力される機能（キャプチャーや取込などの機能）の表示部品を示している。この場合、「情報処理装置に情報が入力される」ことを直感的に示すには、表示部品に情報処理装置１００の方向を示すことが有効である。
【０１８０】
図３７（ａ）と図３７（ｂ）では、表示部品として「Screen Catch」という文字を有する表示部品が表示されている。「Screen Catch」は情報処理装置１００が表示部３の情報を取得することを示し、マーク３３０ａにより情報処理装置１００の方向が示される。図３７（ａ）では情報処理装置１００が表示部３の左なので、表示部品は左側を指し示すマーク３３０ａを有する。図３７（ｂ）では情報処理装置１００が表示部３の上部なので、表示部品は上部を指し示すマーク３３０ａを有する。なお、図３７は、表示部品３３０の一例であって、情報処理装置１００の設置位置に応じて種々の表示部品が表示される。
【０１８１】
画像情報送信部１５１は、設置位置検出部１８２により検出された情報処理装置１００の設置位置に対応付けられた表示部品を、画像情報記憶部１５３から読み出して部品選択画像を表示装置２００に送信する。
【０１８２】
図３８は、第７実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。まず、ステップＳ６１０１〜Ｓ６１０３の処理は、それぞれ、図８に示すフローチャートのステップＳ１０１〜Ｓ１０３の処理と同様である。
【０１８３】
続いて、情報処理装置１００にデフォルトの部品選択画像の部品選択画像情報が要求されると、画像情報送信部１５１は設置位置検出部１８２から情報処理装置１００の設置位置を取得する（ステップＳ６１０５）。
【０１８４】
続いて、画像情報送信部１５１は、設置位置検出部１８２から取得した情報処理装置１００の設置位置に対応付けられた表示部品を画像情報記憶部１５３から取得し、この表示部品を含む部品選択画像情報を表示装置２００に送信する（ステップＳ６１０７）。
【０１８５】
以降の、ステップＳ６１０９の処理は、図８に示すフローチャートのステップＳ１０７の処理と同様である。
【０１８６】
以上のように、第７実施形態によれば、表示部品のデザインに"方向性"を持たせ、情報処理装置１００などの設置位置に応じて、表示部品を切り替えることで、ユーザが直感的に操作できるようになる。
【０１８７】
（第８実施形態）
第８実施形態では、表示装置２００の明るさにより表示部品を変更する例について説明する。表示装置２００の明るさによってユーザが見やすい表示部品は異なる。本実施形態では、表示装置２００の明るさに応じて表示部品を切り替えることで、ユーザが見やすい表示部品を表示できる。
【０１８８】
なお、以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０１８９】
図３９は、第８実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図３９に示すように、第８実施形態では、情報処理装置１００が明るさ検出部１８３を有している。
【０１９０】
情報処理装置１００の明るさ検出部１８３は、情報処理装置１００が持つカメラ１０５を利用して、表示部３の明るさを検出する。例えば、カメラ１０５のシャッター速度やゲインを明るさに変換することで表示部３の明るさを検出できる。あるいは、表示装置２００に表示部３の全面に白画素を表示させ、決まったシャッター速度やゲインでカメラ１０５が表示部３を撮像した場合の画素値（濃度）で明るさを検出してもよい。
【０１９１】
また、第８実施形態では画像情報記憶部１５３が以下のような情報を記憶している。
【０１９２】
【表３】
2017076362.tif 000005
表３は、表示部３の明るさと表示部品の対応をテーブル状に示す。機能ＩＤごとに、表示部３の明るさに対し表示部品の部品ＩＤが対応づけて管理されている。表３に示すように表示部３の明るさに対しそれぞれ異なる表示部品が対応付けられているため、表示装置２００は表示部３の明るさに応じて異なる表示部品を表示できる。表示部３が十分な明るさを持っている場合と暗い場合では、ユーザが見やすい表示部品の配色等が異なる。例えば、明るい場合は、暗めの階調の表示部品の方が見やすく、暗い場合はこの逆になる。従って、明るさの閾値によって表示部品を変更することでユーザが見やすい表示部品を表示できる。
【０１９３】
図４０は、第８実施形態の部品選択画像の一例を示す図であり、図４０（ａ）は、表示部３の明るさがある閾値以上（例えば１０００lx）の場合の部品選択画像の一例を示し、図４０（ｂ）は表示部３の明るさがある閾値未満の場合の部品選択画像の一例を示す。表示部３の明るさが閾値以上では、全体的に暗い白抜き文字の表示部品が表示され、同じ機能の表示部品に対し、表示部３の明るさが閾値未満では、全体的に明るい白地に黒文字の表示部品が表示される。こうすることで、表示部３が明るくても暗くてもユーザが表示部３を視認しやすくなる。
【０１９４】
画像情報送信部１５１は、明るさ検出部１８３が検出した表示部３の明るさに対応付けられた表示部品を、画像情報記憶部１５３から読み出して部品選択画像を表示装置２００に送信する。
【０１９５】
図４１は、第８実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。まず、ステップＳ７１０１〜Ｓ７１０３の処理は、それぞれ、図８に示すフローチャートのステップＳ１０１〜Ｓ１０３の処理と同様である。
【０１９６】
続いて、情報処理装置１００にデフォルトの部品選択画像の部品選択画像情報が要求されると、画像情報送信部１５１は明るさ検出部１８３から表示部３の明るさを取得する（ステップＳ７１０５）。
【０１９７】
続いて、画像情報送信部１５１は、明るさ検出部１８３から取得した表示部３の明るさに対応付けられた表示部品を画像情報記憶部１５３から取得し、この表示部品を含む部品選択画像情報を表示装置２００に送信する（ステップＳ７１０７）。
【０１９８】
以降の、ステップＳ７１０９の処理は、図８に示すフローチャートのステップＳ１０７の処理と同様である。
【０１９９】
以上のように、第８実施形態によれば、表示部３の明るさによって情報処理装置１００が表示部品を切り替えることで、視認性の高い部品選択画像を表示できる。
【０２００】
（第９実施形態）
第９実施形態では、表示装置２００が所定の表示制限対象を表示している場合、表示装置２００が表示制限対象の表示を停止する例について説明する。情報処理装置１００と表示装置２００がそれぞれ同じ種類の表示部品又は表示対象を表示する場合がある。本実施形態では、情報処理装置１００と表示装置２００とが同じ種類の表示部品又は表示対象を表示する場合、表示装置２００が所定の表示制限対象の表示を停止することで、ユーザが操作の際に混乱するおそれを低減できる。
【０２０１】
なお、以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０２０２】
図４２は、第９実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図４２に示すように、第９実施形態では、表示装置２００が表示制限対象情報記憶部２８２を有している。表示制限対象情報記憶部２８２には表示が制限される表示装置２００の表示対象が表示部品（部品ＩＤ）と関連付けて記憶されている。すなわち、情報処理装置１００が所定の表示部品を表示する際に表示すべきでない表示装置２００の表示対象が記憶されている。
【０２０３】
また、第９実施形態では画像情報記憶部１５３が以下のような情報を記憶している。
【０２０４】
【表４】
2017076362.tif 000006
表４は、情報処理装置１００が表示装置２００に表示させる表示部品が、表示装置２００が表示する表示制限対象よりも優先されるかどうかが管理される情報をテーブル状に示す。なお、このテーブルは画像情報記憶部１５３に記憶されている。表４に示すように表示部品が優先して表示される場合、情報処理装置１００はその旨を部品ＩＤと共に表示装置２００に送信するので、表示装置２００は表示制限対象情報記憶部２８２を参照して必要であれば、表示制限対象の表示を停止する。
【０２０５】
例えば、ユーザ入力用のキーボードを表示部品として情報処理装置１００が表示装置２００に表示させる場合に、表示装置２００がソフトウェアキーボードを表示していると、ユーザがどちらのキーボードを操作すればいいか判断できなくなる。そこで、情報処理装置１００がキーボードを表示させる際には、表示制限対象の表示を制限する旨を表示装置２００に送信する。これにより表示装置２００はソフトウェアキーボードの表示を停止する。
【０２０６】
画像情報送信部１５１は、部品選択画面に表示優先が「優先」の表示部品が含まれている場合、部品選択画面と表示制限指示（部品ＩＤを含む）を表示装置２００に表示装置２００に送信する。
【０２０７】
図４３は、第９実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。まず、ステップＳ７１０１〜Ｓ７１０３の処理は、それぞれ、図８に示すフローチャートのステップＳ１０１〜Ｓ１０３の処理と同様である。
【０２０８】
続いて、画像情報送信部１５１は、部品選択画面を送信するが、画像情報記憶部１５３を参照して部品選択画面に表示優先が「優先」の表示部品が含まれている場合、表示制限指示を表示装置２００に送信する（ステップＳ７１０５）。表示装置２００の画像情報受信部２５１は部品選択画面と表示制限指示を受信する。
【０２０９】
続いて、表示装置２００の表示制御部２５３は表示制限指示が送信されたことを検知して、表示中の表示対象に表示制限対象情報記憶部２８２に記憶されている表示制限対象が含まれているか否かを判定する（ステップＳ７１０９）。
【０２１０】
ステップＳ７１０９の判定がＹｅｓの場合、表示装置２００の表示制御部２５３は表示制限対象の表示を停止する（ステップＳ７１０９）。
【０２１１】
ステップＳ７１０９の判定がＮｏの場合、表示装置２００の表示制御部２５３は表示対象の表示を停止しない。
【０２１２】
以降の、ステップＳ７１１１の処理は、図８に示すフローチャートのステップＳ１０７の処理と同様である。
【０２１３】
以上のように、第９実施形態によれば、ユーザが部品選択画面を操作する際に支障がある表示制限対象を表示装置２００が表示している場合、情報処理装置１００が表示装置２００に対し表示制限対象の表示を停止させることができる。
【０２１４】
（第１０実施形態）
第１０実施形態では、情報処理装置１００が設置ずれを検出した場合、表示装置２００が再キャリブレーションを行う例について説明する。設置された情報処理装置１００が指示操作装置５の位置を正しく認識できるように表示装置２００はキャリブレーションを行う。しかし、ユーザなどが誤って情報処理装置１００を動かしてしまう場合がある。本実施形態では、情報処理装置１００が設置ずれを生じても、表示装置２００が自動的にキャリブレーションを行うので、情報処理装置１００が指示操作装置５の位置を正しく認識できる。
【０２１５】
なお、以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【０２１６】
図４４は、第１０実施形態の情報処理システム１０の機能構成の一例を示すブロック図である。図４４に示すように、第１０実施形態では、情報処理装置１００が設置ずれ検出部１８４を有している。設置ずれ検出部１８４は、図３５に示した加速度センサ１０８が検出する加速度を監視し、閾値以上の加速度の変化を検出した場合、情報処理装置１００の設置ずれを検出する。
【０２１７】
画像情報送信部１５１は、設置ずれ検出部１８４が設置ずれを検出すると、キャリブレーションの表示部品を含む部品選択画面を表示装置２００に送信する。すなわち、キャリブレーションを行うかどうかをユーザに問い合わせる表示部品を含む部品選択画面を表示装置２００に送信する。このキャリブレーションとは、表示部３への指示操作が行われた指示操作装置５の特定や認識に関するキャリブレーションである。
【０２１８】
例えば、表示装置２００は表示部３に位置が決まっている×印を表示し、ユーザがこの×印を指示操作装置５で指示する。情報処理装置１００の撮像部１５５が表示部３を撮像した場合に指示操作装置５が×印にあることが分かるので、情報処理装置１００が設置ずれしてもキャリブレーションにより指示操作装置５の位置を正しく認識できる。
【０２１９】
図４５は、第１０実施形態の情報処理システム１０で行われる画像投影処理の一例を示すシーケンス図である。
【０２２０】
設置ずれ検出部１８４は、情報処理装置１００の設置ずれを検出する（ステップＳ９１０１）。
【０２２１】
設置ずれを検出することで、情報処理装置１００の画像情報送信部１５１はキャリブレーションの表示部品を含む部品選択画面を表示装置２００に送信する（Ｓ９１０３）。表示装置２００の画像情報受信部２５１はキャリブレーションの表示部品を含む部品選択画面を受信する。
【０２２２】
続いて、表示装置２００の表示制御部２５３は、画像情報受信部２５１により受信された部品選択画像情報に基づいて、部品選択画像を含む表示画像を表示部３に投影する（ステップＳ９１０５）。
【０２２３】
次に、撮像部１５５は、表示部３に表示された表示画像を撮像する（ステップＳ９１０７）。
【０２２４】
続いて、特定部１５７は、表示装置２００により表示部３に表示された部品選択画像に対して指示操作が行われた指示操作位置に基づいて、部品選択画像に含まれる１以上の表示部品のいずれかに対する指示操作が行われているか否かを確認する（ステップＳ９１０９）。これは、指示操作位置の座標に対応する部品選択画像情報上での座標が、部品選択画像配置情報が示すいずれの表示部品の位置座標に含まれるか否かを判別することで確認できる。
【０２２５】
表示部品に対する指示操作が行われていない場合（ステップＳ９１０９でＮｏの場合）、処理はステップＳ９１０９に戻る。
【０２２６】
表示部品に対する指示操作が行われた場合（ステップＳ９１０９でＹｅｓの場合）、特定部１５７は、指示操作が行われた表示部品がキャリブレーションの実行であるか否かを判定する（ステップＳ９１１１）。これは、指示操作位置の座標に対応する部品選択画像情報上での座標が、部品選択画像配置情報が示すキャリブレーションの表示部品の位置座標に含まれるかを判別することで特定できる。
【０２２７】
ステップＳ９１１１の判定がＮｏの場合、この場合は例えばキャンセルボタンがユーザにより選択され、機能実行命令送信部１６１は取得した機能ＩＤが示す機能の機能実行命令を表示装置２００に送信する。表示装置２００は例えばキャリブレーションの部品選択画面の表示を終了する。
【０２２８】
ステップＳ９１１１の判定がＹｅｓの場合、機能実行命令送信部１６１は取得した機能ＩＤが示すキャリブレーション実行の機能実行命令を表示装置２００に送信する（ステップＳ９１１３）。
【０２２９】
表示装置２００の機能実行命令受信部２５５は、情報処理装置１００からキャリブレーションの機能実行命令を受信し、機能実行部２５７は、機能実行命令受信部２５５により受信されたキャリブレーションを実行する（ステップＳ９１１５）。
【０２３０】
以上のように、第１０実施形態によれば、情報処理装置１００が設置ずれした場合、キャリブレーションのための部品選択画面を表示するので、操作指示された位置と情報処理装置１００が検出する位置（特定する機能）とがずれることを抑制できる。
【０２３１】
（変形例）
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０２３２】
上記各実施形態では、表示装置２００がプロジェクタである場合を例に取り説明したが、表示装置２００を電子黒板などとしてもよい。表示装置２００が電子黒板の場合、電子黒板は、ディスプレイに対するタッチ位置の座標を検出可能なタッチパネル機能を備えていることが一般的であるため、特定部１５７を表示装置２００が備えるようにすればよい。
【０２３３】
また、以上の実施例で示した図４、１１、１６、２３、２７、３２、３６、３９、４２、４４等の構成例は、情報処理装置１００及び表示装置２００の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置１００及び表示装置２００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【０２３４】
また、情報処理装置１００の機能の一部を表示装置２００が有していたり、表示装置２００の機能の一部を情報処理装置１００が有していてもよい。あるいは、情報処理装置１００と表示装置２００が一つの装置であってもよい。
【０２３５】
また、情報処理システム１０が複数の情報処理装置１００又は表示装置２００を有していてもよい。
【０２３６】
また、情報処理システム１０が有する画像情報記憶部１５３と機能識別情報記憶部１５９はネットワーク２上にあればよい。
【０２３７】
（プログラム）
上記実施形態及び変形例の情報処理装置及び表示装置（以下、「上記各実施形態及び変形例の各装置」と称する）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【０２３８】
また、上記各実施形態及び変形例の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び変形例の各装置で実行されるプログラムを、インターネット等のネットワーク経由で提供又は配布するようにしてもよい。また、上記各実施形態及び変形例の各装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【０２３９】
上記各実施形態及び変形例の各装置で実行されるプログラムは、上記した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、ＣＰＵがＲＯＭからプログラムをＲＡＭ上に読み出して実行することにより、上記各機能部がコンピュータ上で実現されるようになっている。
【符号の説明】
【０２４０】
１０    情報処理システム
１００  情報処理装置
１５１  画像情報送信部
１５３  画像情報記憶部
１５５  撮像部
１５７  特定部
１５９  機能識別情報記憶部
１６１  機能実行命令送信部
１８１  表示方向受信部
１８２  設置位置検出部
１８３  明るさ検出部
１８４  設置ずれ検出部
２００  表示装置
２５１  画像情報受信部
２５３  表示制御部
２５５  機能実行命令受信部
２５７  機能実行部
２８１  表示方向送信部
１１６３  種別情報受信部
１２５９  種別情報送信部
２１６５  状態情報受信部
２２６１  状態情報送信部
２２６３  状態変更検知部
３１６７  完了情報受信部
３１６９、４１６９  更新部
３２６５  完了情報送信部
４１７１  判定部
【先行技術文献】
【特許文献】
【０２４１】
【特許文献１】特開２００７−２３３９９９号公報
【特許文献２】特開２０００−４３４８５号公報
【図１】
2017076362.tif 000007
【図２】
2017076362.tif 000008
【図３】
2017076362.tif 000009
【図４】
2017076362.tif 000010
【図５】
2017076362.tif 000011
【図６】
2017076362.tif 000012
【図７】
2017076362.tif 000013
【図８】
2017076362.tif 000014
【図９】
2017076362.tif 000015
【図１０】
2017076362.tif 000016
【図１１】
2017076362.tif 000017
【図１２】
2017076362.tif 000018
【図１３】
2017076362.tif 000019
【図１４】
2017076362.tif 000020
【図１５】
2017076362.tif 000021
【図１６】
2017076362.tif 000022
【図１７】
2017076362.tif 000023
【図１８】
2017076362.tif 000024
【図１９】
2017076362.tif 000025
【図２０】
2017076362.tif 000026
【図２１】
2017076362.tif 000027
【図２２】
2017076362.tif 000028
【図２３】
2017076362.tif 000029
【図２４】
2017076362.tif 000030
【図２５】
2017076362.tif 000031
【図２６】
2017076362.tif 000032
【図２７】
2017076362.tif 000033
【図２８】
2017076362.tif 000034
【図２９】
2017076362.tif 000035
【図３０】
2017076362.tif 000036
【図３１】
2017076362.tif 000037
【図３２】
2017076362.tif 000038
【図３３】
2017076362.tif 000039
【図３４】
2017076362.tif 000040
【図３５】
2017076362.tif 000041
【図３６】
2017076362.tif 000042
【図３７】
2017076362.tif 000043
【図３８】
2017076362.tif 000044
【図３９】
2017076362.tif 000045
【図４０】
2017076362.tif 000046
【図４１】
2017076362.tif 000047
【図４２】
2017076362.tif 000048
【図４３】
2017076362.tif 000049
【図４４】
2017076362.tif 000050
【図４５】
2017076362.tif 000051