(57)【要約】【課題】通信により伝送されるＵＩ操作用のオブジェクトの描画処理が本来のタイミングよりも遅れることにより、当該オブジェクトに割り当てられた操作の受付が遅れるという事態の発生を防止する。【解決手段】プリンタ２０の表示画面２０４でＵＩ操作されることにより所定の処理を実行可能にする表示オブジェクトをＷｉ−Ｆｉ通信ｔ１を通じて接続されたカメラ１０からプリンタ２０へ伝送する際に、仮オブジェクト２０７をＮＦＣ通信ｔ２で伝送する。仮オブジェクト２０７は、表示オブジェクトと等価であるが、表示オブジェクトよりも伝送負荷と描画負荷が小さい。プリンタ２０は、表示オブジェクトと仮オブジェクト２０７のいずれかを表示画面２０４に描画可能にする。【選択図】 図２
2015018483.tif 000002
【特許請求の範囲】
【請求項１】
表示画面を有する第１装置の前記表示画面でＵＩ操作されることにより所定の処理を実行可能にする表示オブジェクトを、第１通信路を通じて接続された第２装置から前記第１装置へ伝送する際に、
前記第２装置が、前記表示オブジェクトと等価で当該表示オブジェクトよりも伝送負荷と描画負荷の少なくとも一方が小さい仮オブジェクトを生成し、生成した仮オブジェクトを前記第１通信路と別の第２通信路を通じて前記第１装置へ伝送することにより、
前記第１装置が、前記表示オブジェクトと前記仮オブジェクトのいずれかを前記表示画面に描画可能にすることを特徴とする、
オブジェクト伝送方法。
【請求項２】
前記第２通信路は、前記第１装置と前記第２装置とをＮＦＣ通信により接続させる通信路であり、前記第１通信路は、前記第１装置と前記第２装置とを前記ＮＦＣ通信よりも大容量伝送が可能な通信により接続させる通信路であることを特徴とする、
請求項１記載のオブジェクト伝送方法。
【請求項３】
前記第２装置は、前記表示オブジェクトを受信した前記第１装置が当該表示オブジェクトを前記表示画面に描画する際に行う処理の一部を当該処理の前に行うことができるようにするための補助情報を生成し、この補助情報を前記ＮＦＣにより前記第１装置へ伝送することを特徴とする、
請求項２記載のオブジェクト伝送方法。
【請求項４】
前記第１装置は、前記補助情報に基づき、前記表示オブジェクトが描画可能になるまでの間、前記表示画面における前記表示オブジェクトの表示予定部位に前記仮オブジェクトを描画することを特徴とする、
請求項３記載のオブジェクト伝送方法。
【請求項５】
前記第２装置は、前記表示オブジェクトが複数存在する場合に各表示オブジェクトに優先順位を設定し、優先順位の高い表示オブジェクトから順に前記仮オブジェクトを生成し、生成した仮オブジェクトを前記第１装置へ伝送することを特徴とする、
請求項１ないし４のいずれかの項記載のオブジェクト伝送方法。
【請求項６】
前記第２装置は、前記表示オブジェクトの利用頻度、操作指示の重要度、前記第１通信路の通信状況、前記第１装置における前記表示オブジェクトの描画処理の速度のいずれか又はこれらの組み合わせに応じて前記優先順位を決定することを特徴とする、
請求項５記載のオブジェクト伝送方法。
【請求項７】
表示画面を有する通信装置に対し、前記表示画面でＵＩ操作されることにより所定の処理を実行可能にする表示オブジェクトを第１通信路を通じて伝送する第１通信手段と、
前記通信装置との間に前記第１通信路とは別の第２通信路を確立するとともに、前記表示オブジェクトと等価で当該表示オブジェクトよりも伝送負荷と描画負荷の少なくとも一方が小さい仮オブジェクトを取得し、取得した仮オブジェクトを前記第２通信路を通じて前記通信装置へ伝送する第２通信手段とを備え、
前記通信装置において前記表示オブジェクトが描画可能になるまでの間、前記表示画面に前記仮オブジェクトを描画させることを特徴とする、
情報処理装置。
【請求項８】
前記第２通信手段は、前記通信装置との間にＮＦＣ通信により前記第２通信路を確立し、  前記第１通信手段は、前記ＮＦＣ通信よりも大容量伝送が可能な通信方式により前記第１通信路を確立するように構成されていることを特徴とする、
請求項７記載の情報処理装置。
【請求項９】
前記表示オブジェクトを受信した前記通信装置が当該表示オブジェクトを前記表示画面に描画する際に行う処理の一部を、当該処理の前に行うことができるようにするための補助情報を生成する補助情報生成手段をさらに備えており、
前記第２通信手段は、生成した補助情報を前記ＮＦＣ通信により前記通信装置へ伝送することを特徴とする、
請求項８記載の情報処理装置。
【請求項１０】
前記表示オブジェクトに、それが前記表示画面でＵＩ操作されることにより所定の処理を実行可能にするコントロールオブジェクトかどうかを表すフラグを設定する設定手段と、
前記フラグをもとに、当該表示オブジェクトが前記コントロールオブジェクトかどうかを判定する判定手段とをさらに備えており、
前記第２通信手段は、前記判定手段でコントロールオブジェクトと判定された表示オブジェクトについての前記仮オブジェクトと前記補助情報とを前記通信装置へ伝送することを特徴とする、
請求項９記載の情報処理装置。
【請求項１１】
表示画面と、
この表示画面へのオブジェクト描画を行う描画手段と、
第１通信路を通じて接続された通信装置から前記表示画面に描画される表示オブジェクトを受信する第１通信手段と、
前記通信装置との間に前記第１通信路とは別の第２通信路を確立するとともに、前記表示オブジェクトと等価で当該表示オブジェクトよりも伝送負荷と描画負荷の少なくとも一方が小さい仮オブジェクトを受信する第２通信手段とを備え、
前記描画手段は、前記表示オブジェクトが描画可能になるまでの間、前記表示画面に前記仮オブジェクトを描画させることを特徴とする、
情報処理装置。
【請求項１２】
コンピュータを、
表示画面を有する通信装置に対し、前記表示画面に描画される表示オブジェクトを第１通信路を通じて伝送する第１通信手段、
前記通信装置との間に前記第１通信路とは別の第２通信路を確立するとともに、前記表示オブジェクトと等価で当該表示オブジェクトよりも伝送負荷と描画負荷の少なくとも一方が小さい仮オブジェクトを取得し、取得した仮オブジェクトを前記第２通信路を通じて前記通信装置へ伝送する第２通信手段として機能させ、
前記通信装置において前記表示オブジェクトが描画可能になるまでの間、前記表示画面に前記仮オブジェクトを描画させる、
コンピュータプログラム。
【請求項１３】
表示画面を有するコンピュータを、
この表示画面へのオブジェクト描画を行う描画手段、
第１通信路を通じて接続された通信装置から前記表示画面に描画される表示オブジェクトを受信する第１通信手段、
前記通信装置との間に前記第１通信路とは別の第２通信路を確立するとともに、前記表示オブジェクトと等価で当該表示オブジェクトよりも伝送負荷と描画負荷の少なくとも一方が小さい仮オブジェクトを受信する第２通信手段として機能させ、
前記描画手段は、前記表示オブジェクトが描画可能になるまでの間、前記表示画面に前記仮オブジェクトを描画する、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある装置から他の装置に向けて、ユーザ・インタフェース（以下、「ＵＩ」という。）操作に必要なオブジェクトを伝送する方法及びこの方法の実施に用いられる情報処理装置に関する。
【背景技術】
【０００２】
グラフィカル・ユーザ・インタフェース（以下、「ＧＵＩ」という。）機能を搭載した装置は、一般的に、利用者に提示するためのボタン、テキスト、リスト、イメージのようなオブジェクトを、タッチスクリーンのような表示画面に描画する。このような装置を「ＧＵＩ装置」といい、オブジェクトが描画される表示画面を「ＧＵＩ画面」という。また、ＧＵＩ画面に描画され、表示されるオブジェクトのうち、ＵＩ操作用のものを「表示オブジェクト」という。
【０００３】
近年のＧＵＩ装置の中には、他のＧＵＩ装置との間で、これらの表示オブジェクトを伝送しあうものがある。通信機能を有するカメラ及びプリンタもそのようなＧＵＩ装置の一つである。例えば、カメラで撮影した写真データを、そのカメラとは別の場所に設置されたプリンタで印刷する場合、カメラのモニタ画面に表示される表示オブジェクトをプリンタに伝送する。プリンタは、受信した表示オブジェクトをＧＵＩ画面に描画する。プリンタの利用者は、プリンタのＧＵＩ画面の表示オブジェクトを操作して、詳細な印刷設定などを行う。
【０００４】
通信型のゲーム機もまた、ＧＵＩ装置の一つである。特許文献１には、複数のゲーム機間で表示オブジェクトであるキャラクタ（画像）を伝送しあいながらゲームを進める通信ゲームシステムが開示されている。この通信ゲームシステムの各ゲーム機は、他のゲーム機で制御される他キャラクタを受信し、これを自キャラクタと共にＧＵＩ画面に描画する。その際、他の通信ゲーム機との通信速度が低下すると、当該他のゲーム機によって制御される他キャラクタの表示状態を変化させる。これにより、どの他キャラクタを制御するゲーム機との通信速度が低下しているかを瞬時に判断することができる。
【０００５】
また、特許文献２には、通信相手となる他装置との距離に応じて、通信方式やオブジェクトの表示態様を変えるゲーム装置が開示されている。このゲーム装置では、第１の無線通信を行う第１送受信部と第２の無線通信を行う第２送受信部とを備え、他装置との現実空間における距離に応じて送受信部をいずれか一方に切り換える。第１の無線通信は、伝送速度４［Ｍｂｐｓ］、周波数帯２．４［ＧＨｚ］である。第２の無線通信は、伝送速度９．６［ｋｂｐｓ］、周波数帯４２６［ＭＨｚ］である。このゲーム装置では、また、他装置との距離が近くなるほど大きくなる当該他装置に関するオブジェクトをＧＵＩ画面に描画する機能を有する。これにより、使用者は、ＧＵＩ画面において、現実空間に連動した表現を楽しむことができるとされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２７５４１２号公報
【特許文献２】特開２００８−０７９０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示されたゲーム機の場合、通信状態が回復しても、他装置からのオブジェクトの受信が完了するまでは、通信状態が回復したことを利用者に提示することができない。つまり、回復の提示が遅延する。この場合、受信が遅延しているオブジェクトがゲーム機の操作と無関係のものであればよいが、そうでない場合は問題となる。例えば他装置から提示されたオブジェクトの中には、当該オブジェクトに対して利用者にタッチ等のＵＩ操作を求め、これにより具体的に行う処理の内容などが決定されるものがある。つまり、ゲーム機のＵＩ操作に不可欠のオブジェクトである。このようなオブジェクトの受信が遅れると、利用者は、ゲーム機のＵＩ操作を行えない状況に陥り、ユーザビリティが低減する。
【０００８】
また、特許文献２に開示されたゲーム装置では、送受信部の切換に際して、送受信されるオブジェクトの利用目的、あるいは、送受信部による通信状況は考慮されない。そのため、ゲーム装置のＵＩ操作に不可欠のオブジェクト及びそれに関するデータが、必ずしも確実に通信を行える速度の無線通信によって送受信される保証がない。オブジェクト及びそれに関するデータのサイズが多い場合、切り換えられた送受信部によっては、通信容量を圧迫し、利用者によりＵＩ操作されるべきオブジェクトの提示が追従しきれなくなる。
【０００９】
本発明は、通信により伝送されるＵＩ操作用のオブジェクトの描画処理が本来のタイミングよりも遅れることにより、当該オブジェクトに割り当てられた操作の受付が遅れるという事態の発生を防止する伝送技術を提供することを主たる課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明は、表示画面を有する第１装置の前記表示画面でＵＩ操作されることにより所定の処理を実行可能にする表示オブジェクトを、第１通信路を通じて接続された第２装置から前記第１装置へ伝送する際に、前記第２装置が、前記表示オブジェクトと等価で当該表示オブジェクトよりも伝送負荷と描画負荷の少なくとも一方が小さい仮オブジェクトを生成し、生成した仮オブジェクトを前記第１通信路と別の第２通信路を通じて前記第１装置へ伝送することにより、前記第１装置が、前記表示オブジェクトと前記仮オブジェクトのいずれかを前記表示画面に描画可能にすることを特徴とする、オブジェクト伝送方法を提供する。
【発明の効果】
【００１１】
本発明によれば、通信により伝送されるＵＩ操作用のオブジェクトの描画処理が本来のタイミングよりも遅れることにより、当該オブジェクトに割り当てられた操作の受付が遅れるという事態の発生が防止される。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の全体構成図。
【図２】カメラからプリンタへ送信される情報例を示す説明図。
【図３】本実施形態における属性情報の説明図。
【図４】本実施形態における情報処理装置のハードウェア構成図。
【図５】本実施形態における機能ブロック構成図。
【図６】カメラ側の情報処理装置の処理手順説明図。
【図７】プリンタ側の情報処理装置の処理手順説明図。
【発明を実施するための形態】
【００１３】
図面を参照して本発明の実施の形態例を説明する。本実施形態では、それぞれＧＵＩ画面（表示画面）を有するカメラとプリンタとを２種類の通信路で接続する場合の例を説明する。すなわち、カメラ（第２装置の一例）で撮影することにより得た写真データを、カメラとは別の位置に設置されたプリンタ（第１装置又は通信装置の一例）に伝送し、その写真データをプリンタで印刷するものとする。
その際、カメラ及びプリンタはＧＵＩ画面を利用者に提示し、対象とする写真データがどれで、選んだ写真データに対してどのような処理を行えば良いかを選択させる。そのため、ＧＵＩ画面に表示される写真データは、単なるグラフィックデータではなく、ＵＩ操作用の表示オブジェクトとなる。
２種類の通信路については、一方は、カメラとプリンタとの間で良好な通信状況が持続しない可能性はあるが拘束する通信路であり、他方は、その確立は容易であるが比較的低速の通信路とする。
なお、以下の説明では、ＵＩ操作用の表示オブジェクトのうち、プリンタ側のＧＵＩ画面上でＵＩ操作されることにより所定の処理を実行可能にする表示オブジェクトを、特に「コントロールオブジェクト」と呼ぶ場合がある。
【００１４】
図１は、本実施形態の全体構成図である。カメラ１０とプリンタ２０は、それぞれ異なる通信方式による２種類の通信路で接続される。第１通信路は、Ｗｉ−Ｆｉ（Wireless Fidelity）による通信路であり、基地局３０を介したＷｉ−Ｆｉ通信ｔ１を可能にする。第２通信路は、ＮＦＣ（Near field communication）による通信路であり、ダイレクトのＮＦＣ通信ｔ２を可能にする。
ＮＦＣ通信ｔ２は、通信速度は比較的低速であるが、カメラ１０とプリンタ２０とを１０［ｃｍ］以下に近づけるだけでペアリングが完了し、即座に通信できるという利点がある。これに対し、Ｗｉ−Ｆｉ通信ｔ１は、ＮＦＣ通信ｔ２よりも広範囲かつ大容量伝送が可能となるのが利点である。但し、Ｗｉ−Ｆｉ通信ｔ１は、通信可能になるまでに要する時間が、ＮＦＣ通信ｔ２よりも長い。本実施形態は、Ｗｉ−Ｆｉ通信ｔ１とＮＦＣ通信ｔ２のそれぞれの利点を活用するものである。
【００１５】
カメラ１０は、ＧＵＩ画面の一例となるタッチスクリーン１０４を有する。タッチスクリーン１０４には、複数の表示オブジェクト１０５が表示される。利用者は、このうちの１つの表示オブジェクト１０５を選択し、画面外、例えば表示オブジェクト１０５の一部又は全部を画面左方向に移動させる。これにより、プリンタ２０に向けて当該表示オブジェクト１０５を伝送することの操作指示をカメラ１０に伝える。カメラ１０のタッチスクリーン１０４には、背景オブジェクト１０７も表示されている。
【００１６】
プリンタ２０もまた、ＧＵＩ画面であるタッチスクリーン２０４を有している。タッチスクリーン２０４には、カメラ１０から伝送された情報をもとに描画された表示オブジェクト２０５が表示される。カメラ１０から表示オブジェクト１０５の一部だけが伝送される場合、プリンタ２０のタッチスクリーン２０４には、一部だけの表示オブジェクト２０５が表示される。
タッチスクリーン２０４には、また、表示オブジェクト２０５に対して、プリンタ２０側でどのような処理を行うかを指示するための処理メニュー２０６も表示される。利用者は、カメラ１０から伝送され、描画された表示オブジェクト２０５を処理メニュー２０６のいずれか１つの領域に重なるまで移動させることで、該当する処理の実行を行うことの操作指示をプリンタ２０に伝える。プリンタ２０は、この操作指示によりその処理を実行可能にする。
図１の例では、「Print」（印刷）と書かれた項目に表示オブジェクト２０５が重なっており、この状態で表示オブジェクト２０５の移動を終えると、表示オブジェクト２０５に対応する写真データがプリンタ２０において印刷されることになる。
【００１７】
図２は、図１に示した全体構成例において、カメラ１０からプリンタ２０へ送信される情報例を示す説明図である。カメラ１０は、利用者のＵＩ操作により選択された表示オブジェクト１０５に対応する表示オブジェクト（情報）ｄ１をＷｉ−Ｆｉ通信ｔ１によりプリンタ２０に向けて伝送する。カメラ１０は、また、仮オブジェクト２０７に対応する仮オブジェクト（情報）ｄ４と補助情報ｄ５とをＮＦＣ通信ｔ２によりプリンタ２０へ伝送させる。
【００１８】
プリンタ２０は、表示オブジェクト（情報）ｄ１と補助情報ｄ５に基づいて、図１に示した表示オブジェクト２０５の描画を行う。また、仮オブジェクト（情報）ｄ４に基づいて、図２に示した仮オブジェクト２０７の描画を開始する。
表示オブジェクト２０５の描画完了時期が早い場合は、タッチスクリーン２０４の表示予定部位に表示オブジェクト２０５を表示させる。他方、表示オブジェクト２０５よりも前に仮オブジェクト２０７の描画が完了する場合は、表示オブジェクト２０５の代わりに仮オブジェクト２０７を利用者に提示する。仮オブジェクト（情報）ｄ４を受信した後、一定時間が経過しても表示オブジェクト（情報）ｄ１の受信が完了しなかった場合も、仮オブジェクト２０７を利用者に提示する。
【００１９】
＜表示オブジェクト＞
ここで、表示オブジェクト１０５，２０５及び表示オブジェクト（情報）ｄ１について詳しく説明する。表示オブジェクト１０５，２０５は、タッチスクリーン１０４，２０４に描画されるオブジェクトであり、表示オブジェクト（情報）ｄ１は、Ｗｉ−Ｆｉ通信ｔ１により伝送される情報である。この表示オブジェクト（情報）ｄ１は、カメラ１０側の表示オブジェクト１０５のうち、タッチスクリーン１０４から外にはみ出た部分に対応する情報（つまり、伝送対象となる表示オブジェクト１０５の一部の情報）となる。この情報に基づいてプリンタ２０側で描画されるのが表示オブジェクト２０５である。
【００２０】
表示オブジェクト（情報）ｄ１は、属性情報ｄ２と画像情報ｄ３とを含んでいる。属性情報ｄ２は、プリンタ２０側において、表示オブジェクト２０５をＵＩ操作用ないしコントロールオブジェクトとして機能させるために必要となる情報である。画像情報ｄ３は、オブジェクトの実体を表す情報である。本例では、カメラ１０により撮影された写真の内容を表す画像ファイル、または、それを基に作成されたサムネイルの画像ファイルである。画像ファイルのフォーマットは、例えばＪＰＥＧやＰＮＧなど、一般的な画像形式を利用することが可能である。
【００２１】
属性情報ｄ２の一例を図３に示す。図３において、「Object ID」３０１は、オブジェクト毎にユニークに与えられる整数値である。「Name」３０２は、オブジェクトを識別するための固有の名称である。本例のような写真データを表す写真オブジェクトであれば「Photo」、図１に示した背景画像を表す背景オブジェクト１０７であれば「Background」といった文字列が銘々される。
【００２２】
「Event Logic」３０３は、当該オブジェクトの動作に関連した情報、例えば、ＵＩ操作（タッチやキーなど）により特定されるイベントに対して、どのようなロジックで処理を行うかを決定する情報である。例えば、図示の写真オブジェクト「Photo」において、利用者がそれを移動操作を行った際に発行されるイベント「MOVE_EVENT」に対し、「Translate」処理を実行し、その表示位置を変更する、という内容のものである。このように、イベントとそれに対する処理の組み合わせの情報が、「Event Logic」３０３に格納される。
【００２３】
「Artwork」３０４は、オブジェクトの見た目に関する情報が格納される。図示の写真オブジェクト「Photo」であれば、「ImageName」（撮影した写真の画像名）が格納される。また、「Animation」（実行可能なアニメーション）、「Position」（配置部位）、「Scale」（拡縮率）、「Angle」（回転角度）なども関連付けられて格納される。背景オブジェクト「Background」であれば、「Color」（３次元の色情報）も含まれる。
【００２４】
「Control」フラグ３０５は、そのオブジェクトがＵＩ操作に不可欠のものかどうか、つまり、コントロールオブジェクトか否かを示すフラグである。本実施形態では、コントロールオブジェクトの場合は「TRUE」（真）、そうでない場合は「FALSE」（偽）をフラグとして設定する。「FALSE」（偽）の場合、利用者に提示されるオブジェクトであるが、ＵＩ操作には利用されないことを示す。
このフラグを含む属性情報ｄ２の内容は、後述する設定部１８により設定される。
【００２５】
＜仮オブジェクト＞
次に、仮オブジェクト２０７及び仮オブジェクト（情報）ｄ４について説明する。仮オブジェクト２０７は、表示オブジェクト２０５と等価で、当該表示オブジェクト２０５よりも伝送負荷と描画負荷の少なくとも一方が小さいオブジェクトである。仮オブジェクト（情報）ｄ４は、ＮＦＣ通信ｔ２により伝送される情報である。この仮オブジェクト（情報）ｄ４に基づいてプリンタ２０側で描画されるのが仮オブジェクト２０７となる。
【００２６】
仮オブジェクト（情報）ｄ４は、表示オブジェクト（情報）ｄ１の属性情報ｄ２及び画像情報ｄ３を基に生成される。例えば、画像情報ｄ３より特定される幅及び高さと、属性情報ｄ２より特定される配置部位とにより、仮オブジェクト（情報）ｄ４が生成される。これにより、図２に示されるように、本来、表示オブジェクト２０５が表示されるはずの配置部位（表示予定部位）に、オブジェクト枠だけが、仮オブジェクト２０７として、プリンタ２０のタッチスクリーン２０４に描画される。
【００２７】
仮オブジェクト２０７は、表示されるのはオブジェクト枠だけであるが、その内容は表示オブジェクト２０５と等価なので、そのオブジェクト枠を通じて利用者によるＵＩ操作を受け付けることができる。
なお、仮オブジェクト２０７は、プリンタ２０において表示オブジェクト２０５が描画可能になるまでの間だけ、描画される。すなわち、表示オブジェクト２０５が描画可能になったときは、仮オブジェクト２０７が表示オブジェクト２０５に置き換わる。
これにより、利用者の操作に対して、Ｗｉ−Ｆｉによる通信ｔ１により、表示オブジェクト（情報）ｄ１の受信及び表示オブジェクト２０５の描画の完了が遅延した場合でも、仮オブジェクト２０７を利用してプリンタ２０へのＵＩ操作が可能となる。
【００２８】
＜補助情報＞
次に、補助情報ｄ５について説明する。補助情報ｄ５は、プリンタ２０が表示オブジェクト２０５をタッチスクリーン２０４に描画する際に行う処理の一部を当該処理の前に行うことができるようにするための情報である。
補助情報ｄ５は、表示オブジェクト（情報）ｄ１に含まれる画像情報ｄ３を基に生成される。本例では、画像ファイルの幅と高さ、カラーフォーマット、及び、ピクセル深度の情報により補助情報ｄ５を構成している。カラーフォーマットとピクセル深度は、１つの画素をどのような色情報とビット数で表現するかを一般的に定めるものである。例えば、「RGBA8888」といった形式を定める。この形式は、１つの画素を赤・緑・青・透明度の４タイプの情報で表現するものである。末尾の数字は、各情報を表現するビット数が８ビット（計３２ビット）であることを示す。ＪＰＥＧのように、透明度を含まない形式の場合は、「RGB888」など、透明度情報のない形式を用いることができる。また、データ量を削減して伝送負荷を、より小さくしたい場合は、ビット数を削減して「RGB565」（計１６ビット）などの形式を定めることもできる。
【００２９】
プリンタ２０側では、表示オブジェクト（情報）ｄ１の受信完了前にこの補助情報ｄ５の受信を完了すると、この補助情報ｄ５を利用して、表示オブジェクト２０５を描画するための準備を行う。例えば、画像ファイルの画素情報を保持するためのバッファを予め確保するなど、表示オブジェクト（情報）ｄ１の受信後に行う処理を前倒しで行う。
これにより、仮オブジェクト２０７から表示オブジェクト２０５の置き換えを高速に行うことができる。また、表示オブジェクト（情報）ｄ１の受信後、プリンタ２０におけるＧＵＩ関連タスクのリソース占有率を低減することができる。
【００３０】
＜ハードウェア構成図＞
カメラ１０及びプリンタ２０における上記機能は、撮影機能や印刷機能とは独立の情報処理装置として組み込まれる。
図４はこのような情報処理装置のハードウェア構成図である。この情報処理装置は、カメラ１０及びプリンタ２０において共通の構成となる。
図４を参照すると、ＣＰＵ（Central Processing Unit）４００は、ＵＩ操作用のコンピュータプログラムに基づく処理を行う。ＲＯＭ（Read Only Memory）４０１には、上記コンピュータプログラムと協働で動作する基本Ｉ／Ｏ（Input／Output）プログラム、ＧＵＩ描画のための各種オブジェクトの属性情報（上記の属性情報ｄ２の基本情報）が格納されている。ＲＡＭ（Random Access Memory ）４０２は、ＣＰＵ４００のワークエリア（メインメモリ）として機能する。
【００３１】
記憶装置４０３には、ＲＯＭ４０１の基本Ｉ／Ｏプログラムとの協働により動作するＵＩ操作用のコンピュータプログラムが格納されている。このＵＩ操作用のコンピュータプログラムは、カメラ１０に組み込まれるときは、情報生成及び伝送用の機能を情報処理装置において実現する。また、プリンタ２０に組み込まれるときは、情報受信及びＧＵＩの描画用の機能を情報処理装置において実現する。いずれの場合も、ＵＩ操作用のコンピュータプログラムは、ＤＶＤのような記録媒体、あるいは通信ネットワークによるプログラムパッケージを通じて流通するものである。
記憶装置４０３には、また、カメラ１０の場合は、撮影された写真データ、プリンタ２０の場合は、外部記憶装置などから取得した画像データやドキュメントデータなどが格納される。
【００３２】
タッチパネルディスプレイ４０４は、ＧＵＩ表示や利用者からのポインティング情報の入出力を行う。タッチパネルディスプレイ４０４は、ポインティングデバイスと、ＧＵＩ表示を行うためのディスプレイとが一体で構成されたものであるが、両者は別々の構成となっていても良い。
【００３３】
Ｗｉ−Ｆｉチップ４０５は、Ｗｉ−Ｆｉ通信ｔ１を行うための通信用ＩＣ（Integrated Circuit）であり、ＮＦＣチップ４０６は、ＮＦＣ通信ｔ２を行うための通信用ＩＣである。以上のハードウエア部品は、システムバス４０７を通じて接続される。
【００３４】
記憶装置４０３に格納されたＵＩ操作用のコンピュータプログラムにより、ＣＰＵ４００を含む上記のハードウエア部品を情報処理装置として機能させるときの機能ブロック構成例を図５に示す。
カメラ１０側では、情報処理装置を判定部１１、表示オブジェクト情報生成部１２、仮オブジェクト情報生成部１３、補助情報生成部１４、Ｗｉ−Ｆｉ通信部１５、ＮＦＣ通信部１６として機能させる。一方、プリンタ２０側では、情報処理装置を描画部２１、Ｗｉ−Ｆｉ通信部２２、ＮＦＣ通信部２３として機能させる。
【００３５】
判定部１１は、仮オブジェクト２０７（仮オブジェクト（情報）ｄ４）及び補助情報ｄ５を生成するか否かの判定を行う。この判定は、図３に示した属性情報ｄ２の「Contorol」３０５のフラグを参照することにより行う。フラグが「TRUE」すなわち「真」であった場合は、仮オブジェクト２０７等を生成すると判定し、仮オブジェクト情報生成部１３、及び補助情報生成部１４にその旨を通知する。フラグが「FALSE」すなわち「偽」であった場合は、上記通知を行わない。
【００３６】
表示オブジェクト情報生成部１２は、判定部１１による判定結果に関わらず、プリンタ２０側において表示オブジェクト２０５を描画する際に必要となる情報を生成し、生成した情報をＷｉ−Ｆｉ通信ｔ１によりプリンタ２０に伝送できるようにする。
具体的には、ＲＯＭ４０１に格納された属性情報（基本）、タッチスクリーン１０４に描画されている写真オブジェクトをＲＡＭ４０２に読み出す。読み出した属性情報（基本）を基に属性情報ｄ２を生成する。写真オブジェクトに含まれる画像名をキーに記憶装置４０３に格納されている写真の実画像ファイルを探索し、これを画像情報ｄ３としてＲＡＭ４０２に読み出す。そして、ＲＡＭ４０２の属性情報ｄ２と画像情報ｄ３とをパッケージ化して、上記の表示オブジェクト（情報）ｄ１を生成する。
また、生成した表示オブジェクト（情報）ｄ１をＲＡＭ４０２に一時的に格納するとともに、格納した旨を第１通信手段となるＷｉ−Ｆｉ通信部１５に通知する。これにより、Ｗｉ−Ｆｉ通信部１５は、ＲＡＭ４０２に格納された表示オブジェクト（情報）ｄ１をプリンタ２０に向けて伝送させる。
【００３７】
仮オブジェクト情報生成部１３は、判定部１１による判定結果が「真」の場合に、プリンタ２０側において仮オブジェクト２０７を描画する際に必要となる情報を生成し、生成した情報をＮＦＣ通信ｔ２によりプリンタ２０に伝送できるようにする。具体的には、ＲＯＭ４０１に格納された属性情報（基本）、タッチスクリーン１０４に描画されている写真オブジェクトをＲＡＭ４０２に読み出す。読み出した属性情報（基本）を基に属性情報ｄ２を生成する。写真オブジェクトに含まれる画像名をキーに記憶装置４０３に格納されている写真の実画像ファイルを探索し、これを画像情報ｄ３としてＲＡＭ４０２に読み出す。そして、ＲＡＭ４０２の属性情報ｄ２と画像情報ｄ３のうち、画像情報ｄ３より特定される幅及び高さと、属性情報ｄ２より特定される配置部位とにより、オブジェクト枠を描画するための仮オブジェクト（情報）ｄ４を生成する。
既存の仮オブジェクト（情報）ｄ４が存在する場合は、探索により該当するものを取得する。仮オブジェクト（情報）ｄ４を生成すると、仮オブジェクト情報生成部１３は、それをＲＡＭ４０２に一時的に格納するとともに、格納した旨を第２通信手段となるＮＦＣ通信部１６に通知する。これにより、ＮＦＣ通信部１６は、ＲＡＭ４０２に格納された仮オブジェクト（情報）ｄ４をプリンタ２０に向けて伝送させる。
なお、ＮＦＣ通信部１６は、Ｗｉ−Ｆｉ通信部１５と独立に起動する。
【００３８】
補助情報生成部１４は、判定部１１による判定結果が「真」の場合に、プリンタ２０側において表示オブジェクト２０５を描画する際に必要となる情報を生成し、生成した情報をＮＦＣ通信ｔ２によりプリンタ２０に伝送できるようにする。具体的には、ＲＡＭ４０２に格納された表示オブジェクト（情報）ｄ１、特に画像情報ｄ３を基に、上述した補助情報ｄ５を生成する。画像情報ｄ３が一般的なＰＮＧ形式である場合、補助情報ｄ５に含まれる画像の幅・高さ、カラーフォーマット、ピクセル深度に関する情報はヘッダ部分に格納されている。このデータは復号化なしで取得可能なため、高速に補助情報ｄ５を作成することができる。
【００３９】
補助情報ｄ５の生成は、仮オブジェクト（情報）ｄ４と並行して行っても良く、あるいは、仮オブジェクト（情報）ｄ４の生成後に行っても良い。補助情報ｄ５を生成すると、補助情報生成部１４は、仮オブジェクト（情報）ｄ４と関連付けて、ＲＡＭ４０２に一時的に格納するとともに、格納した旨をＮＦＣ通信部１６に通知する。これにより、ＮＦＣ通信部１６は、仮オブジェクト（情報）ｄ４をプリンタ２０に向けて伝送させる際に、補助情報ｄ５も併せて伝送させる。
なお、ＮＦＣ通信部１６は、仮オブジェクト（情報）ｄ４と補助情報ｄ５とをそれぞれ独立のタイミングで伝送させるようにしても良い。
【００４０】
設定部１８は、図３に示した属性情報ｄ２の内容を設定する。例えば、カメラ１０で撮影することにより得た写真データをＵＩ操作用の表示オブジェクトとする場合は、図３の「Contorol」３０５のフラグを「TRUE」と設定し、図１の背景オブジェクト１０７についてはフラグを「FALSE」と設定する。「ObjectID」３０１については、自動的に採番する。「Name」３０２は、画像ファイルの形式に応じて自動的に設定される。「EventLogic」３０３は、フラグが「TRUE」の場合に図示しない設定画面を通じて入力される情報に基づいて設定する。「Artwork」３０４は、カメラ１０のタッチスクリーン１０４におけるＵＩ操作の内容に基づいて自動的に設定される。
【００４１】
Ｗｉ−Ｆｉ通信部２２は、プリンタ２０側の第１通信手段となるもので、Ｗｉ−Ｆｉ通信ｔ１により伝送された表示オブジェクト（情報）ｄ１を受信し、これを描画部２１に伝達する。また、ＮＦＣ通信部２３は、プリンタ２０側の第２通信手段となるもので、ＮＦＣ通信ｔ２により伝送された仮オブジェクト（情報）ｄ４及び補助情報ｄ５を受信し、これらを描画部２１に伝達する。
【００４２】
プリンタ２０側では、描画部２１が、タッチスクリーン２０４へのオブジェクト描画を行う。具体的には、表示オブジェクト２０５と仮オブジェクト２０７の一方をタッチスクリーン２０４へ描画（表示）させる。描画部２１は、また、補助情報ｄ５を利用した表示オブジェクト２０５の描画準備を行う。
そして、表示オブジェクト２０５よりも早く仮オブジェクト２０７を描画できる場合、
描画部２１は、表示オブジェクト２０５を表示予定部位に描画できるようになるまでの間、仮オブジェクト２０７を当該部位に描画する。表示オブジェクト２０５を描画できるようになったときは、仮オブジェクト２０７を表示オブジェクト２０５に置き換える。
【００４３】
次に、上述した機能を実現する際の情報処理装置の処理手順例を説明する。
図６は、カメラ１０側の情報処理装置の処理手順例、図７は、プリンタ２０側の情報処理装置の処理手順例である。
図６を参照し、カメラ１０側では、タッチスクリーン１０４における利用者のＵＩ操作の内容を検知することにより、ＵＩ操作に基づく処理を開始する。判定部１１は、利用者により選択されたオブジェクトがプリンタ２０の操作指示に利用されるかどうか、つまりコントロールオブジェクトかどうかを判定する（Ｓ１０１）。具体的には、判定部１１は、そのオブジェクトの「Control」フラグ３０５を参照する。「Control」フラグ３０５が「TRUE」であれば、「真」と判定し、判定結果を仮オブジェクト情報生成部１３、及び、補助情報生成部１４に渡す（Ｓ１０１：YES）。一方、「Control」フラグ３０５が「FALSE」であった場合は、「偽」と判定し、処理をＳ１０５に移す（Ｓ１０１：NO）。
【００４４】
仮オブジェクト情報生成部１３は、判定部１１による判定結果を受け取ると、仮オブジェクト（情報）ｄ４を生成する（Ｓ１０２）。また、生成した仮オブジェクト（情報）ｄ４をＲＡＭ４０２に格納する。補助情報生成部１４は、補助情報ｄ５を生成する（Ｓ１０３）。また、生成した補助情報ｄ５をＲＡＭ４０２に格納する。
そして、仮オブジェクト情報生成部１３は仮オブジェクト情報ｄ４を、補助情報生成部１４は補助情報ｄ５を、それぞれ、ＮＦＣ通信部１６を介してプリンタ２０に伝送させる（Ｓ１０４）。その後、処理をＳ１０５に移す。
【００４５】
Ｓ１０５では、表示オブジェクト情報生成部１２が、上記のようにして表示オブジェクト（情報）ｄ１を生成する。表示オブジェクト情報生成部１２は、また、生成した表示オブジェクト（情報）ｄ１をＲＡＭ４０２に格納する。
その後、Ｗｉ−Ｆｉ通信部１５は、ＲＡＭ４０２に格納された表示オブジェクト（情報）ｄ１をプリンタ２０に伝送させる（Ｓ１０６）。
【００４６】
なお、図６の例では、判定部１１による処理（Ｓ１０１）の後、仮オブジェクト（情報）ｄ４、補助情報ｄ５、表示オブジェクト（情報）ｄ１の順に生成する例を示したが、この例に限定されない。これらの情報の生成は、同時期に一斉に開始し、生成を完了した時点で独自にプリンタ２０へ伝送するようにしても良い。
【００４７】
図７を参照し、プリンタ２０側では、描画部２１が、Ｗｉ−Ｆｉ通信部２２において表示オブジェクト（情報）ｄ１の受信が完了しているか否かを判定する（Ｓ２０１）。受信が完了している場合（Ｓ１０１：YES）は、直ちにＳ１０７の処理、すなわち表示オブジェクト２０５の描画を行うための準備処理に移行する。
Ｓ２０１において、受信が完了していない場合（Ｓ２０１：NO）、描画部２１は、ＮＦＣ通信部２３において仮オブジェクト（情報）ｄ４及び補助情報ｄ５の受信が完了しているか否かを判定する（Ｓ２０２）。完了していない場合は、以降の処理に必要な情報が不足しているため、Ｓ２０１に戻る（Ｓ２０２：NO）。
【００４８】
Ｓ２０２において、仮オブジェクト（情報）ｄ４及び補助情報ｄ５の受信が完了している場合（Ｓ２０２：YES）、描画部２１は、仮オブジェクト（情報）ｄ４をもとに仮オブジェクト２０７をタッチスクリーン２０４に描画する（Ｓ２０３）。さらに、補助情報ｄ５をもとに画像バッファを生成する（Ｓ２０４）。これは、後に受信が完了する表示オブジェクト（情報）ｄ１に含まれる画像情報ｄ３（暗号化されている場合は復号化した結果）を格納するためのバッファであり、撮影した写真データそのものを表すビットマップデータを保持する。具体的には、補助情報ｄ５に含まれる画像の幅と高さを掛け合わせ、さらにカラーフォーマットとピクセル深度から得られる１画素あたりのバイト数を掛け合わせたサイズのバッファを確保する。例えば、画像の幅が４８０画素、高さが２７２画素、各画素が「RGBA8888」で表現されている場合、１画素あたり４バイトで表現するため、522,240（＝480×272×4）バイトのバッファを確保する。これにより、仮オブジェクト２０７の描画と表示オブジェクト２０５を描画するための準備が完了する。この時点でも表示オブジェクト（情報）ｄ１の受信が完了していない場合は、受信完了まで待機する（Ｓ２０５）。この間、プリンタ２０は、ＧＵＩ表示以外のタスク、例えば印刷処理などに係るタスクがある場合は、それを優先的に行う（Ｓ２０６）。
【００４９】
表示オブジェクト（情報）ｄ１の受信が完了すると、描画部２１は、画像バッファが既に作成されているか否かを判定する（Ｓ２０７）。Ｓ２０４により、既に画像バッファが作成されている場合（Ｓ２０７：ＹＥＳ）、直ちに表示オブジェクト２０５の描画を行う（Ｓ２０９）。一方、作成されていない場合（Ｓ２０７：NO）、つまり、Ｓ２０２〜Ｓ２０５までの処理をパスした場合、描画部２１は、上記のようにして画像バッファを作成した後（Ｓ２０８）、表示オブジェクト２０５の描画処理（Ｓ２０９）を行う。このとき、仮オブジェクト２０７は、表示オブジェクト２０５に置き換わる。
【００５０】
このように、本実施形態では、カメラ１０とプリンタ２０間でＷｉ−Ｆｉ通信ｔ１による表示オブジェクト（情報）ｄ１の送受信が遅延した場合でも、プリンタ２０は、ＮＦＣ通信ｔ２により仮オブジェクト情報ｄ４を得る。そのため、プリンタ２０は、表示オブジェクト２０５と等価の仮オブジェクト２０７を利用者に提示することができ、利用者はそれを用いてプリンタ２０に操作指示を与えることが可能となる。
【００５１】
同様にＮＦＣ通信ｔ２により得られる補助情報ｄ５により、表示オブジェクト２０５の描画の前準備を、表示オブジェクト（情報）ｄ１の受信完了前に行うことができる。これにより、仮オブジェクト２０７から表示オブジェクト２０５に置き換える処理を、補助情報ｄ５が伝送されない場合よりも高速、かつ、低負荷で行うことが可能となる。
【００５２】
＜変形例＞
なお、本実施形態では、便宜上、カメラ１０やプリンタ２０といったデバイス及びそのＧＵＩ画面を例に説明したが、本発明の情報処理装置、オブジェクト伝送方法は、これらの例に限定されるものではない。例えば、本実施形態を、従来例として説明した通信型のゲーム機やゲーム装置に適用しても良い。
【００５３】
また、本実施形態では、第１通信路の例としてＷｉ−Ｆｉ通信ｔ１、第２通信路の例としてＮＦＣ通信ｔ２を例に挙げて説明したが、他の通信形態の通信路、及び、そのような通信路を装置間に確立する通信手段を用いることもできる。
例えば、Ｗｉ−Ｆｉ通信ｔ１に代えて、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）を用いても良い。また、ＮＦＣ通信ｔ２に代えて赤外線通信を用いても良い。
【００５４】
また、本実施形態では、補助情報ｄ５として、写真の幅や高さ、カラーフォーマット、ピクセル深度が含まれる例を示したが、補助情報ｄ５の内容はこのような例に限定されない。受信側のデバイスにおいて描画される表示オブジェクト２０５の前準備を行うことができる情報であれば、他の情報であっても良い。
【００５５】
また、本実施形態では、判定部１１は、伝送対象となるオブジェクトが、プリンタ２０のＵＩ操作用、例えば操作指示に利用されるか否かを基準に、真偽の判定を行う例を説明したが、この基準例に限定されるものではない。プリンタ２０側でＵＩ操作されることにより所定の処理を実行可能にする表示オブジェクトであれば、「真」と判定されるようにしても良い。
【００５６】
その際、表示オブジェクトが複数存在する場合は、各表示オブジェクトに優先順位を設定する。優先順位は、利用頻度、操作指示の重要度のいずれか又はこれらの組み合わせに応じて決定する。そして優先順位の高い表示オブジェクトから順に、仮オブジェクト（情報）ｄ４及び補助情報ｄ５を生成するようにする。これには、図３で示した情報に、優先度を示す数値のフィールドを追加すれば良い。そして、判定部１１が、優先度の高い順に判定処理を行うようにする。
Ｗｉ−Ｆｉ通信ｔ１又はＮＦＣ通信ｔ２が可能な状態になっているか否か、通信速度の低下具合、プリンタ（受信側の装置）のパフォーマンス（描画処理の速度）、あるいはこれらの組み合わせも、上記の優先順位の決定要素にすることもできる。
【００５７】
すなわち、通信状況については、Ｗｉ−Ｆｉ通信ｔ１及びＮＦＣ通信ｔ２の通信状況を蓄積しておき、各通信状況の履歴に基づいて現在の通信状況を推定し、推定結果を優先順位決定の基準とする。推定結果と画像ファイルのサイズによれば、ＮＦＣ通信ｔ２による仮オブジェクト（情報）ｄ４の伝送の方が表示オブジェクト（情報）ｄ１の伝送よりも早く完了することが見込まれるときは、優先順位を自動的に高く設定されるようにする。
受信側の装置のパフォーマンスが低下している場合も同様である。パフォーマンスの低下は、優先度の高い別プロセスが立ち上がっており、ＧＵＩのタスクに割当可能なリソースが少ない場合に起こり得る。この状況を監視し、監視結果に応じて優先順位を自動的に設定ないし修正できるようにしておく。
これにより、通信状況や受信側の装置のパフォーマンスが低下し、オブジェクトの描画速度が本来のタイミングよりも遅くなっている場合であっても、「カメラにある写真をプリンタに印刷する」という最低限の目的を達成できるようになる。    
【００５８】
なお、伝送可能な容量にも限界があるため、上記の優先順位とは別に上限値を設定し、上限値に達していた場合の判定結果を常に「偽」とするようにしても良い。
これにより、利用者の操作速度が速い場合にも重要度の高い表示オブジェクトだけは遅延なく提示され、軽快な操作を行うことが可能となる。
【００５９】
また、本実施形態では、仮オブジェクト情報ｄ４及び補助情報ｄ５をＮＦＣ通信ｔ２により伝送する例を示したが、一般に、ＮＦＣ通信ｔ２は、大量のデータを送受信するには不向きとなる。そのため、伝送できる仮オブジェクト情報ｄ４等のサイズに上限値を設けても良い。この場合は、判定部１１が、上限値に達していた場合の判定結果を常に「偽」と判定するように設計すれば良い。そのためには、図３で示した情報に、上限値のフィールドを追加し、上限値に達していた場合の判定結果が「偽」となるようにすれば良い。
【符号の説明】
【００６０】
１１・・・判定部、１２・・・表示オブジェクト情報生成部、１３・・・仮オブジェクト情報生成部、１４・・・補助情報生成部、１５，２２・・・Ｗｉ−Ｆｉ通信部、１６，２３・・・ＮＦＣ通信部。１０５，２０５・・・表示オブジェクト、ｄ１・・・表示オブジェクト（情報）、２０７・・・仮オブジェクト、ｄ４・・・仮オブジェクト（情報）、ｄ５・・・補助情報。
【図３】
2015018483.tif 000003
【図４】
2015018483.tif 000004
【図５】
2015018483.tif 000005
【図６】
2015018483.tif 000006
【図７】
2015018483.tif 000007
【図１】
2015018483.tif 000008
【図２】
2015018483.tif 000009