(57)【特許請求の範囲】
【請求項１】
画像処理装置と、前記画像処理装置を遠隔操作可能な携帯情報装置とを含む遠隔制御システムであって、
前記画像処理装置は、ユーザーによる操作を受け付ける操作受付手段と、
画像を表示可能な第１表示手段と、
前記第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が、前記第１表示手段に少なくとも一部が表示される操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、前記操作画面の少なくとも一部であって前記第１アスペクト比の部分を表示部分に決定し、前記第１アスペクト比が前記第２アスペクト比以上の場合、前記操作画面の全体を表示部分に決定する表示部分決定手段と、
前記表示部分決定手段により決定された表示部分の画像を前記第１表示手段に表示する表示制御手段と、
前記携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を前記携帯情報装置から取得するアスペクト比検出手段と、
前記第１アスペクト比が前記第２アスペクト比より小さい場合、前記第３アスペクト比が前記第１アスペクト比以下の場合は、前記決定された表示部分の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記表示部分の画像を送信し、前記第３アスペクト比が前記第１アスペクト比より大きい場合は、前記操作画面の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記操作画面の画像を送信する送信手段と、を備え、
前記携帯情報装置は、重力方向を検出する重力方向検出手段と、
前記第２表示手段の表示面の長手方向の辺および短手方向の辺のうち前記検出された重力方向となす角が大きい一方の辺を横方向として前記第３アスペクト比を決定するアスペクト比決定手段と、
前記画像処理装置から前記操作画面の画像を受信する場合に、前記操作画面の少なくとも一部を、横方向のサイズが前記第２表示手段の横方向のサイズと同じサイズで前記第２表示手段に表示する携帯側表示制御手段と、を備えた遠隔制御システム。
【請求項２】
前記画像処理装置は、前記表示部分決定手段により表示部分が決定されることに応じて、前記表示部分の画像を記憶手段に記憶する記憶制御手段と、
前記携帯情報装置により遠隔操作されていない状態で前記記憶手段に記憶された画像を前記第１表示手段に表示する表示制御手段と、
前記携帯情報装置により遠隔操作されていない状態で、第１アスペクト比が第２アスペクト比より小さい場合に、前記操作受付手段により受け付けられるユーザーによる操作に従って、前記表示部分を操作画面中で移動させるスクロール制御手段と、をさらに備え、
前記送信手段は、前記記憶手段に前記表示部分の画像が記憶されることに応じて、前記記憶手段に記憶された画像を前記携帯情報装置に送信し、
前記スクロール制御手段は、前記携帯情報装置により遠隔操作されている状態で、前記第１アスペクト比が前記第２アスペクト比より小さく、かつ、前記第３アスペクト比が前記第１アスペクト比以下の場合と、前記第３アスペクト比が前記第１アスペクト比より大きい場合と、において、前記送信手段により前記操作画面のすべてが前記携帯情報装置に送信されるまで、前記送信手段により前記記憶手段に記憶された画像が送信されることに応じて、前記表示部分を操作画面中で前記送信手段により前記携帯情報装置に送信されていない部分に移動させ、
前記携帯情報装置は、前記画像処理装置から受信される複数の画像を合成することにより前記操作画面の画像を生成する合成手段を、さらに備えた、請求項１に記載の遠隔制御システム。
【請求項３】
携帯情報装置により遠隔操作される画像処理装置であって、
ユーザーによる操作を受け付ける操作受付手段と、
画像を表示可能な第１表示手段と、
前記第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、前記操作画面の少なくとも一部であって前記第１アスペクト比の部分を表示部分に決定し、前記第１アスペクト比が前記第２アスペクト比以上の場合、前記操作画面の全体を表示部分に決定する表示部分決定手段と、
前記表示部分決定手段により決定された表示部分の画像を前記第１表示手段に表示する表示制御手段と、
前記携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を前記携帯情報装置から取得するアスペクト比検出手段と、
前記第１アスペクト比が前記第２アスペクト比より小さい場合、前記第３アスペクト比が前記第１アスペクト比以下の場合は、前記決定された表示部分の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記表示部分の画像を送信し、前記第３アスペクト比が前記第１アスペクト比より大きい場合は、前記操作画面の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記操作画面の画像を送信する送信手段と、を備えた画像処理装置。
【請求項４】
前記表示部分決定手段により表示部分が決定されることに応じて、前記表示部分の画像を記憶手段に記憶する記憶制御手段と、
前記携帯情報装置により遠隔操作されていない状態で前記記憶手段に記憶された画像を前記第１表示手段に表示する表示制御手段と、
前記携帯情報装置により遠隔操作されていない状態で、第１アスペクト比が第２アスペクト比より小さい場合に、前記操作受付手段により受け付けられるユーザーによる操作に従って、前記表示部分を操作画面中で移動させるスクロール制御手段と、をさらに備え、
前記送信手段は、前記記憶手段に前記表示部分の画像が記憶されることに応じて、前記記憶手段に記憶された画像を前記携帯情報装置に送信し、
スクロール制御手段は、前記携帯情報装置により遠隔操作されている状態で、前記第１アスペクト比が前記第２アスペクト比より小さく、かつ、前記第３アスペクト比が前記第１アスペクト比以下の場合と、前記第３アスペクト比が前記第１アスペクト比より大きい場合と、において、前記送信手段により前記操作画面のすべてが前記携帯情報装置に送信されるまで、前記送信手段により前記記憶手段に記憶された画像が送信されることに応じて、前記表示部分を操作画面中で前記送信手段により前記携帯情報装置に送信されていない部分に移動させる、請求項３に記載の画像処理装置。
【請求項５】
前記送信手段は、送信の対象となる画像に対応する表示部分の前記操作画面中の位置を示す部分位置情報を、前記画像とともに送信する、請求項４に記載の画像処理装置。
【請求項６】
前記第１表示手段の表示面中でユーザーにより指示される位置を検出する位置検出手段と、
前記携帯情報装置により遠隔操作されていない状態で前記位置検出手段によりユーザーにより指示される位置が検出されることに応じて、前記検出された位置に対応する前記表示部分決定手段により決定された表示部分中の位置に基づいて、前記操作画面中の位置を決定する位置決定手段と、
前記送信手段が前記操作画面の画像と前記部分位置情報を送信した後は、前記携帯情報装置から前記操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信する遠隔操作受信手段と、を備え、
前記位置決定手段は、前記受信された遠隔操作に含まれる前記画面中位置情報に基づいて、前記操作画面中の位置を決定する、請求項５に記載の画像処理装置。
【請求項７】
前記第１表示手段の表示面中でユーザーにより指示される位置を検出する位置検出手段と、
前記携帯情報装置により遠隔操作されていない状態で前記位置検出手段によりユーザーにより指示される位置が検出されることに応じて、前記検出された位置に対応する前記表示部分決定手段により決定された表示部分中の位置に基づいて、前記操作画面中の位置を決定する位置決定手段と、
前記送信手段が前記操作画面の画像と前記部分位置情報を送信した後は、前記携帯情報装置から前記操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信する遠隔操作受信手段と、を備え、
前記位置決定手段は、前記受信された遠隔操作に含まれる画面中位置情報に基づいて、前記操作画面中の位置を決定する、請求項５に記載の画像処理装置。
【請求項８】
前記操作画面の画像を記憶手段に記憶する記憶制御手段と、
前記携帯情報装置により遠隔操作されていない状態で前記記憶手段に記憶された前記操作画面の画像のうち前記決定された表示部分の画像を前記第１表示手段に表示する表示制御手段と、をさらに備え、
前記送信手段は、前記第１アスペクト比が前記第２アスペクト比より小さい場合、かつ、前記第３アスペクト比が前記第１アスペクト比より大きい場合に加えて、前記第１アスペクト比が前記第２アスペクト比以上の場合は、前記記憶手段に記憶された前記操作画面の画像を前記携帯情報装置に送信する、請求項３に記載の画像処理装置。
【請求項９】
前記第１表示手段の表示面中でユーザーにより指示される位置を検出する位置検出手段と、
前記携帯情報装置により遠隔操作されていない状態で前記位置検出手段によりユーザーにより指示される位置が検出されることに応じて、前記検出された位置に対応する前記表示部分決定手段により決定された表示部分中の位置に基づいて、前記操作画面中の位置を決定する位置決定手段と、
前記送信手段が前記操作画面を送信した後は、前記携帯情報装置から前記操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信する遠隔操作受信手段と、を備え、
前記位置決定手段は、前記遠隔操作受信手段により遠隔操作が受信されることに応じて、前記受信された遠隔操作に含まれる画面中位置情報に基づいて、前記操作画面中の位置を決定する、請求項８に記載の画像処理装置。
【請求項１０】
携帯情報装置により遠隔操作される画像処理装置で実行される遠隔制御方法であって、
前記画像処理装置は、ユーザーによる操作を受け付ける操作受付手段と、
画像を表示可能な第１表示手段と、を備え、
前記第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、前記操作画面の少なくとも一部であって前記第１アスペクト比の部分を表示部分に決定し、前記第１アスペクト比が前記第２アスペクト比以上の場合、前記操作画面の全体を表示部分に決定する表示部分決定ステップと、
前記表示部分決定ステップにおいて決定された表示部分の画像を前記第１表示手段に表示する表示制御ステップと、
前記携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を前記携帯情報装置から取得するアスペクト比検出ステップと、
前記第１アスペクト比が前記第２アスペクト比より小さい場合、前記第３アスペクト比が前記第１アスペクト比以下の場合は、前記決定された表示部分の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記表示部分の画像を送信し、前記第３アスペクト比が前記第１アスペクト比より大きい場合は、前記操作画面の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記操作画面の画像を送信する送信ステップと、を含む遠隔制御方法。
【請求項１１】
携帯情報装置により遠隔操作される画像処理装置を制御するコンピューターで実行される遠隔制御プログラムであって、
前記画像処理装置は、ユーザーによる操作を受け付ける操作受付手段と、
画像を表示可能な第１表示手段と、を備え、
前記第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、前記操作画面の少なくとも一部であって前記第１アスペクト比の部分を表示部分に決定し、前記第１アスペクト比が前記第２アスペクト比以上の場合、前記操作画面の全体を表示部分に決定する表示部分決定ステップと、
前記表示部分決定ステップにおいて決定された表示部分の画像を前記第１表示手段に表示する表示制御ステップと、
前記携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を前記携帯情報装置から取得するアスペクト比検出ステップと、
前記第１アスペクト比が前記第２アスペクト比より小さい場合、前記第３アスペクト比が前記第１アスペクト比以下の場合は、前記決定された表示部分の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記表示部分の画像を送信し、前記第３アスペクト比が前記第１アスペクト比より大きい場合は、前記操作画面の画像を前記第２表示手段に表示させるために前記携帯情報装置に前記操作画面の画像を送信する送信ステップと、を前記コンピューターに実行させる遠隔制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、遠隔制御システム、画像処理装置、遠隔制御方法および遠隔制御プログラムに関し、特に、画像処理装置を制御するための操作画面を携帯情報装置に表示して携帯情報装置で画像処理装置を遠隔制御する遠隔制御システム、その画像処理装置、およびその画像処理装置で実行される遠隔制御方法および遠隔制御プログラムに関する。
【背景技術】
【０００２】
近年、スマートフォン、タブレット端末等の携帯情報装置で複合機（以下「ＭＦＰ」という）を遠隔操作する技術が知られている。ＭＦＰを操作するための操作画面を携帯情報装置で表示し、携帯情報装置でＭＦＰを遠隔操作することが可能である。例えば、特開２０１２−９３９４０号公報には、被操作端末は、携帯端末の表示属性情報に基づいて、被操作端末画面を修正した携帯端末画面を作成する表示画面制御部と、携帯端末から受信した符号化方式により携帯端末画面を符号化する符号化部と、携帯端末から受信した位置情報により、特定された操作を実行する操作処理部と、を備え、携帯端末は、符号化された携帯端末画面を復号し、タッチスクリーンに出力する復号化部と、携帯端末画面を表示したタッチスクリーンへのタッチ操作を検出すると、携帯端末画面上のタッチ位置を示す位置情報を、自己の表示属性情報および被操作端末から受信した被操作端末の表示属性情報に基づいて、被操作端末画面における位置情報に補正する位置情報補正部と、を備える遠隔操作システムが記載されている。
【０００３】
一方、ＭＦＰの表示面の方向は一定であり、操作画面は、その長手方向が横になる方向で表示される場合が多い。携帯情報装置のユーザーは、携帯情報装置の表示面の長手方向が垂直となる状態で携帯情報装置を使用する場合と、表示面の長手方向が水平になる状態で携帯情報装置を使用する場合と、がある。携帯情報装置で、その表示面の長手方向が水平になる状態で、ＭＦＰの操作画面を表示する場合は、操作画面の縦方向または横方向のうち携帯情報装置の表示面で操作画面以外の領域が小さくなる一方、例えば、縦方向のサイズを、携帯情報装置の表示面の縦方向のサイズと同じになるまで拡大または縮小して表示する。携帯情報装置で、その表示面の長手方向が垂直になる状態で、ＭＦＰの操作画面を表示する場合は、操作画面の全体を表示面に表示するために、操作画面の横方向のサイズを、携帯情報装置の表示面の横方向のサイズと同じになるまで拡大または縮小して表示される。このため、横長の長方形の操作画面が、縦長の長方形の表示面に表示されるので、表示面中で操作画面以外の領域が大きくなってしまうといった問題がある。
【特許文献１】特開２０１２−９３９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、表示面のアスペクト比が変化する携帯情報装置に操作画面を効率的に表示させることが可能な遠隔制御システムを提供することである。
【０００５】
この発明の他の目的は、表示面のアスペクト比が変化する携帯情報装置に操作画面を効率的に表示させることが可能な画像処理装置を提供することである。
【０００６】
この発明のさらに他の目的は、表示面のアスペクト比が変化する携帯情報装置に操作画面を効率的に表示させることが可能な遠隔制御方法を提供することである。
【０００７】
この発明のさらに他の目的は、表示面のアスペクト比が変化する携帯情報装置に操作画面を効率的に表示させることが可能な遠隔制御プログラムを提供することである。
【課題を解決するための手段】
【０００８】
上述した目的を達成するためにこの発明のある局面によれば、遠隔制御システムは、画像処理装置と、画像処理装置を遠隔操作可能な携帯情報装置とを含む遠隔制御システムであって、画像処理装置は、ユーザーによる操作を受け付ける操作受付手段と、画像を表示可能な第１表示手段と、第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が、第１表示手段に少なくとも一部が表示される操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、操作画面の少なくとも一部であって第１アスペクト比の部分を表示部分に決定し、第１アスペクト比が第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する表示部分決定手段と、表示部分決定手段により決定された表示部分の画像を第１表示手段に表示する表示制御手段と、携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を携帯情報装置から取得するアスペクト比検出手段と、第１アスペクト比が第２アスペクト比より小さい場合、第３アスペクト比が第１アスペクト比以下の場合は、決定された表示部分の画像を第２表示手段に表示させるために携帯情報装置に表示部分の画像を送信し、第３アスペクト比が第１アスペクト比より大きい場合は、操作画面の画像を第２表示手段に表示させるために携帯情報装置に操作画面の画像を送信する送信手段と、を備え、携帯情報装置は、重力方向を検出する重力方向検出手段と、第２表示手段の表示面の長手方向の辺および短手方向の辺のうち検出された重力方向となす角が大きい一方の辺を横方向として第３アスペクト比を決定するアスペクト比決定手段と、画像処理装置から操作画面の画像を受信する場合に、操作画面の少なくとも一部を、横方向のサイズが第２表示手段の横方向のサイズと同じサイズで第２表示手段に表示する携帯側表示制御手段と、を備える。
【０００９】
この局面に従えば、画像処理装置は、第３アスペクト比が第１アスペクト比以下の場合に、第３アスペクト比の表示面に第１アスペクト比の表示部分を携帯情報装置に表示させるために表示部分を送信し、第３アスペクト比が第１アスペクト比より大きい場合に、第３アスペクト比の表示面に第１アスペクト比より大きい第２アスペクト比の操作画面を携帯情報装置に表示させるために操作画面を送信する。このため、携帯情報装置によって、第３アスペクト比の表示面に第１アスペクト比より大きい第２アスペクト比の操作画面が表示されるので、第３アスペクト比の表示面に第１アスペクト比の表示部分を表示する場合よりも携帯情報装置の表示面を有効に利用することができる。その結果、表示面のアスペクト比が変化する携帯情報装置に操作画面を効率的に表示させることが可能な遠隔制御システムを提供することができる。
【００１０】
好ましくは、画像処理装置は、表示部分決定手段により表示部分が決定されることに応じて、表示部分の画像を記憶手段に記憶する記憶制御手段と、携帯情報装置により遠隔操作されていない状態で記憶手段に記憶された画像を第１表示手段に表示する表示制御手段と、携帯情報装置により遠隔操作されていない状態で、第１アスペクト比が第２アスペクト比より小さい場合に、操作受付手段により受け付けられるユーザーによる操作に従って、表示部分を操作画面中で移動させるスクロール制御手段と、をさらに備え、送信手段は、記憶手段に表示部分の画像が記憶されることに応じて、記憶手段に記憶された画像を携帯情報装置に送信し、スクロール制御手段は、携帯情報装置により遠隔操作されている状態で、第１アスペクト比が第２アスペクト比より小さく、かつ、第３アスペクト比が第１アスペクト比以下の場合と、第３アスペクト比が第１アスペクト比より大きい場合と、において、送信手段により操作画面のすべてが携帯情報装置に送信されるまで、送信手段により記憶手段に記憶された画像が送信されることに応じて、表示部分を操作画面中で送信手段により携帯情報装置に送信されていない部分に移動させ、携帯情報装置は、画像処理装置から受信される複数の画像を合成することにより操作画面の画像を生成する合成手段を、さらに備える。
【００１１】
この局面に従えば、携帯情報装置に操作画面の画像を表示させることができる。
【００１２】
この発明の他の局面によれば、画像処理装置は、携帯情報装置により遠隔操作される画像処理装置であって、ユーザーによる操作を受け付ける操作受付手段と、画像を表示可能な第１表示手段と、第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、操作画面の少なくとも一部であって第１アスペクト比の部分を表示部分に決定し、第１アスペクト比が第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する表示部分決定手段と、表示部分決定手段により決定された表示部分の画像を第１表示手段に表示する表示制御手段と、携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を携帯情報装置から取得するアスペクト比検出手段と、第１アスペクト比が第２アスペクト比以下の場合、第３アスペクト比が第１アスペクト比以下の場合は、決定された表示部分の画像を第２表示手段に表示させるために携帯情報装置に表示部分の画像を送信し、第３アスペクト比が第１アスペクト比より大きい場合は、操作画面の画像を第２表示手段に表示させるために携帯情報装置に操作画面の画像を送信する送信手段と、を備える。
【００１３】
この局面に従えば、第３アスペクト比が第１アスペクト比以下の場合に、第３アスペクト比の表示面に第１アスペクト比の表示部分を表示させるために表示部分を送信し、第３アスペクト比が第１アスペクト比より大きい場合に、第３アスペクト比の表示面に第１アスペクト比より大きい第２アスペクト比の操作画面を表示させるために操作画面を送信する。このため、第３アスペクト比の表示面に第１アスペクト比より大きい第２アスペクト比の操作画面を表示させるので、第３アスペクト比の表示面に第１アスペクト比の表示部分を表示する場合よりも第３アスペクト比の表示面を有効に利用することができる。その結果、アスペクト比が変化する表示面に操作画面を効率的に表示させることが可能な画像処理装置を提供することができる。
【００１４】
好ましくは、表示部分決定手段により表示部分が決定されることに応じて、表示部分の画像を記憶手段に記憶する記憶制御手段と、携帯情報装置により遠隔操作されていない状態で記憶手段に記憶された画像を第１表示手段に表示する表示制御手段と、携帯情報装置により遠隔操作されていない状態で、第１アスペクト比が第２アスペクト比より小さい場合に、操作受付手段により受け付けられるユーザーによる操作に従って、表示部分を操作画面中で移動させるスクロール制御手段と、をさらに備え、送信手段は、記憶手段に表示部分の画像が記憶されることに応じて、記憶手段に記憶された画像を携帯情報装置に送信し、スクロール制御手段は、携帯情報装置により遠隔操作されている状態で、第１アスペクト比が第２アスペクト比より小さく、かつ、第３アスペクト比が第１アスペクト比以下の場合と、第３アスペクト比が第１アスペクト比より大きい場合と、において、送信手段により操作画面のすべてが携帯情報装置に送信されるまで、送信手段により記憶手段に記憶された画像が送信されることに応じて、表示部分を操作画面中で送信手段により携帯情報装置に送信されていない部分に移動させる。
【００１５】
この局面に従えば、携帯情報装置に操作画面の画像を表示させることができる。
【００１６】
好ましくは、送信手段は、送信の対象となる画像に対応する表示部分の操作画面中の位置を示す部分位置情報を、画像とともに送信する。
【００１７】
この局面に従えば、複数の画像から操作画面の画像を携帯情報装置に生成させることができる。
【００１８】
好ましくは、第１表示手段の表示面中でユーザーにより指示される位置を検出する位置検出手段と、携帯情報装置により遠隔操作されていない状態で位置検出手段によりユーザーにより指示される位置が検出されることに応じて、検出された位置に対応する表示部分決定手段により決定された表示部分中の位置に基づいて、操作画面中の位置を決定する位置決定手段と、送信手段が操作画面の画像と部分位置情報を送信した後は、携帯情報装置から操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信する遠隔操作受信手段と、を備え、位置決定手段は、受信された遠隔操作に含まれる画面中位置情報に基づいて、操作画面中の位置を決定する。
【００１９】
この局面に従えば、携帯情報装置から受信する遠隔操作を、第１表示手段の表示面中でユーザーにより指示される位置の検出と同様に処理することができる。
【００２０】
好ましくは、第１表示手段の表示面中でユーザーにより指示される位置を検出する位置検出手段と、携帯情報装置により遠隔操作されていない状態で位置検出手段によりユーザーにより指示される位置が検出されることに応じて、検出された位置に対応する表示部分決定手段により決定された表示部分中の位置に基づいて、操作画面中の位置を決定する位置決定手段と、送信手段が操作画面の画像と部分位置情報を送信した後は、携帯情報装置から操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信する遠隔操作受信手段と、を備え、位置決定手段は、受信された遠隔操作に含まれる画面中位置情報に基づいて、操作画面中の位置を決定する。
【００２１】
この局面に従えば、携帯情報装置から受信する遠隔操作を、第１表示手段の表示面中でユーザーにより指示される位置の検出と同様に処理することができる。
【００２２】
好ましくは、操作画面の画像を記憶手段に記憶する記憶制御手段と、携帯情報装置により遠隔操作されていない状態で記憶手段に記憶された操作画面の画像のうち決定された表示部分の画像を第１表示手段に表示する表示制御手段と、をさらに備え、送信手段は、第１アスペクト比が第２アスペクト比より小さい場合、かつ、第３アスペクト比が第１アスペクト比より大きい場合に加えて、第１アスペクト比が第２アスペクト比以上の場合は、記憶手段に記憶された操作画面の画像を携帯情報装置に送信する。
【００２３】
好ましくは、第１表示手段の表示面中でユーザーにより指示される位置を検出する位置検出手段と、携帯情報装置により遠隔操作されていない状態で位置検出手段によりユーザーにより指示される位置が検出されることに応じて、検出された位置に対応する表示部分決定手段により決定された表示部分中の位置に基づいて、操作画面中の位置を決定する位置決定手段と、送信手段が操作画面を送信した後は、携帯情報装置から操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信する遠隔操作受信手段と、を備え、位置決定手段は、遠隔操作受信手段により遠隔操作が受信されることに応じて、受信された遠隔操作に含まれる画面中位置情報に基づいて、操作画面中の位置を決定する。
【００２４】
この局面に従えば、携帯情報装置から受信する遠隔操作を、第１表示手段の表示面中でユーザーにより指示される位置の検出と同様に処理することができる。
【００２５】
この発明のさらに他の局面によれば、遠隔制御方法は、携帯情報装置により遠隔操作される画像処理装置で実行される遠隔制御方法であって、画像処理装置は、ユーザーによる操作を受け付ける操作受付手段と、画像を表示可能な第１表示手段と、を備え、第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、操作画面の少なくとも一部であって第１アスペクト比の部分を表示部分に決定し、第１アスペクト比が第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する表示部分決定ステップと、表示部分決定ステップにおいて決定された表示部分の画像を第１表示手段に表示する表示制御ステップと、携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を携帯情報装置から取得するアスペクト比検出ステップと、第１アスペクト比が第２アスペクト比より小さい場合、第３アスペクト比が第１アスペクト比以下の場合は、決定された表示部分の画像を第２表示手段に表示させるために携帯情報装置に表示部分の画像を送信し、第３アスペクト比が第１アスペクト比より大きい場合は、操作画面の画像を第２表示手段に表示させるために携帯情報装置に操作画面の画像を送信する送信ステップと、を含む。
【００２６】
この局面に従えば、アスペクト比が変化する表示面に操作画面を効率的に表示させることが可能な遠隔制御方法を提供することができる。
【００２７】
この発明のさらに他の局面によれば、遠隔制御プログラムは、携帯情報装置により遠隔操作される画像処理装置を制御するコンピューターで実行される遠隔制御プログラムであって、画像処理装置は、ユーザーによる操作を受け付ける操作受付手段と、画像を表示可能な第１表示手段と、を備え、第１表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、操作画面の少なくとも一部であって第１アスペクト比の部分を表示部分に決定し、第１アスペクト比が第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する表示部分決定ステップと、表示部分決定ステップにおいて決定された表示部分の画像を第１表示手段に表示する表示制御ステップと、携帯情報装置が備える第２表示手段の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を携帯情報装置から取得するアスペクト比検出ステップと、第１アスペクト比が第２アスペクト比以下の場合、第３アスペクト比が第１アスペクト比以下の場合は、決定された表示部分の画像を第２表示手段に表示させるために携帯情報装置に表示部分の画像を送信し、第３アスペクト比が第１アスペクト比より大きい場合は、操作画面の画像を第２表示手段に表示させるために携帯情報装置に操作画面の画像を送信する送信ステップと、をコンピューターに実行させる。
【００２８】
この局面に従えば、アスペクト比が変化する表示面に操作画面を効率的に表示させることが可能な遠隔制御プログラムを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態の１つにおける遠隔制御システムの全体概要を示す図である。
【図２】ＭＦＰの外観を示す斜視図である。
【図３】ＭＦＰのハードウェア構成の概要を示すブロック図である。
【図４】操作パネルの一例を示す平面図である。
【図５】携帯情報装置のハードウェア構成の概要を示すブロック図である。
【図６】第１の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図７】第１の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図８】第１の実施の形態における遠隔制御処理の流れの一例を示す第１のフローチャートである。
【図９】第１の実施の形態における遠隔制御処理の流れの一例を示す第２のフローチャートである。
【図１０】第１の実施の形態における直接操作実行処理の流れの一例を示すフローチャートである。
【図１１】画面遷移処理の流れの一例を示すフローチャートである。
【図１２】第１の実施の形態における遠隔操作処理の流れの一例を示すフローチャートである。
【図１３】第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図１４】第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図１５】第２の実施の形態における遠隔制御処理の流れの一例を示す第１のフローチャートである。
【図１６】第２の実施の形態における遠隔制御処理の流れの一例を示す第２のフローチャートである。
【図１７】第２の実施の形態における直接操作実行処理の流れの一例を示すフローチャートである。
【図１８】第２の実施の形態における遠隔操作処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００３１】
＜第１の実施の形態＞
図１は、本発明の実施の形態の１つにおける遠隔制御システムの全体概要を示す図である。図１を参照して、遠隔制御システム１は、画像処理装置として機能するＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００と、無線局５と、携帯情報装置２００，２００Ａ，２００Ｂと、を含む。ＭＦＰ１００は、ネットワーク３に接続される。携帯情報装置２００，２００Ａ，２００Ｂは、無線局５を通して、ネットワーク３に接続される。
【００３２】
ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。また、ネットワーク３は、ＬＡＮに限らず、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）、インターネット等であってもよい。
【００３３】
携帯情報装置２００，２００Ａ，２００Ｂは、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）など、ユーザーが携帯して使用するしコンピューターである。携帯情報装置２００，２００Ａ，２００Ｂのハードウェア構成および機能は同じなので、ここでは特に言及しない限り携帯情報装置２００を例に説明する。ここでは、携帯情報装置２００を、スマートフォンとしており、無線ＬＡＮ機能と、通話機能とを備えている。このため、携帯情報装置２００は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。
【００３４】
本実施の形態における遠隔制御システム１において、携帯情報装置２００，２００Ａ，２００Ｂそれぞれは、ＭＦＰ１００を遠隔制御する。この場合、携帯情報装置２００，２００Ａ，２００Ｂそれぞれは、ＭＦＰ１００を遠隔操作する遠隔操作装置として機能し、ＭＦＰ１００は、携帯情報装置２００，２００Ａ，２００Ｂそれぞれによって遠隔操作される遠隔制御装置として機能する。ここでは、携帯情報装置２００がＭＦＰ１００を遠隔制御する場合を例に説明する。この場合、携帯情報装置２００には、ＭＦＰ１００を遠隔制御するための遠隔操作プログラムがインストールされる。
【００３５】
図２は、ＭＦＰの外観を示す斜視図である。図３は、ＭＦＰのハードウェア構成の概要を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００３６】
後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。
【００３７】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００３８】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００３９】
通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、携帯情報装置２００，２００Ａ，２００Ｂとの間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。
【００４０】
ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。
【００４１】
外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  ＤｉＳｋ  ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記憶されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）などの半導体メモリであってもよい。
【００４２】
また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記憶されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク３に接続された他のコンピューター３００が、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク３に接続された他のコンピューター３００からプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４３】
操作パネル１６０は、表示部１６１と、ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）１６２と、操作部１６３と、を含む。表示部１６１は、例えば、液晶表示装置（ＬＣＤ）であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。表示部１６１は、有機ＥＬＤ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）を用いるようにしてもよい。ＶＲＡＭ１６２は、ＣＰＵ１１１により制御され、表示部１６１に表示するための画像データを記憶する。表示部１６１は、ＣＰＵ１１１により制御され、ＶＲＡＭ１６２に記憶された画像データを表示する。第１の実施の形態において、ＶＲＡＭ１６２の記憶容量は、表示部１６１が表示する画像に対応する。換言すれば、表示部１６１は、ＶＲＡＭ１６２に記憶された画像の全てを表示する。
【００４４】
操作部１６３は、タッチパネル１６５と、ハードキー部１６７とを含む。タッチパネル１６５は、表示部１６１の上面または下面に表示部１６１に重畳して設けられる。ハードキー部１６７は、複数のハードキーを含む。ハードキーは、例えば接点スイッチである。タッチパネル１６５は、表示部１６１の表示面中でユーザーにより指示された位置を検出する。
【００４５】
図４は、操作パネルの一例を示す平面図である。なお、図中の点線は、後述するハードキー部１６７を示すために付したもので、実際には存在しない。操作パネル１６０は、ＭＦＰ１００の上面に設けられる。ユーザーがＭＦＰ１００を操作する場合は直立した姿勢となる場合が多いので、表示部１６１の表示面、タッチパネル１６５の操作面およびハードキー部１６７は、上方を向いて配置される。ユーザーが表示部１６１の表示面を容易に視認することができ、ユーザーが指で操作部１６３を容易に指示することができるようにするためである。
【００４６】
図５は、携帯情報装置のハードウェア構成の概要を示すブロック図である。図５を参照して、本実施の形態における携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、通話部２０５と接続された無線通信部２０４と、情報を表示する表示部２０６と、ユーザーの操作を受け付ける操作部２０７と、無線ＬＡＮＩ／Ｆ２０８と、加速度センサー２１０と、外部記憶装置２１１と、を含む。
【００４７】
表示部２０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０７は、メインキー２０７Ａと、タッチパネル２０７Ｂとを備える。また、ユーザーが、表示部２０６の表示面を指示する場合、操作部２０７は、タッチパネル２０７Ｂにより検出される表示面の位置をＣＰＵ２０１に出力する。ＣＰＵ２０１は、タッチパネル２０７Ｂによる検出された位置に基づいて、表示部２０６に表示されている画面中でユーザーにより指示された位置を検出する。ＣＰＵ２０１は、表示部２０６に表示されている画面と、タッチパネル２０７Ｂによる検出された位置とに基づいて、ユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。例えば、表示部２０６にテンキーの画像を含む画面を表示する場合には、タッチパネル２０７Ｂによる検出された位置に表示されたキーに対応する数字を受け付ける。
【００４８】
カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー等である。
【００４９】
無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、携帯情報装置２００を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０５に出力する。また、無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイクおよびスピーカーを備え、無線通信部２０４から入力される音声をスピーカーから出力し、マイクから入力される音声を無線通信部２０４に出力する。さらに、無線通信部２０４は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。
【００５０】
無線ＬＡＮＩ／Ｆ２０８は、無線局５と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００に、ＭＦＰ１００それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＭＦＰ１００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置２００が無線ＬＡＮＩ／Ｆ２０８を用いて、ＭＦＰ１００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置２００、ＭＦＰ１００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、携帯情報装置２００が、ＭＦＰ１００と、１対１で通信するようにしてもよい。
【００５１】
フラッシュメモリ２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリ２０３に記憶されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。
【００５２】
加速度センサー２１０は、Ｘ軸、Ｙ軸およびＺ軸の３方向の加速度を測定する３軸加速度センサーである。加速度センサー２１０は、検出した加速度をＣＰＵ２０１に出力する。
【００５３】
外部記憶装置２１１は、携帯情報装置２００に着脱自在であり、遠隔操作プログラムを記憶したＣＤ−ＲＯＭ２１０Ａが装着可能である。ＣＰＵ２０１は、外部記憶装置２１１を介してＣＤ−ＲＯＭ２１０Ａにアクセス可能である。ＣＰＵ２０１は、外部記憶装置２１１に装着されたＣＤ−ＲＯＭ２１０Ａに記憶された遠隔操作プログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行することが可能である。
【００５４】
なお、ＣＰＵ２０１が実行するプログラムとして、フラッシュメモリ２０３またはＣＤ−ＲＯＭ２１０Ａに記憶されたプログラムについて説明したが、ネットワーク３に接続された他のコンピューター３００が、フラッシュメモリ２０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置２００が、ネットワーク３に接続された他のコンピューター３００からダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００５５】
なお、ＣＰＵ２０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ２１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）などの半導体メモリであってもよい。
【００５６】
図６は、第１の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図６に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された遠隔制御プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図６を参照して、ＣＰＵ１１１は、ユーザーによる操作を受け付ける操作受付部５１と、操作画面を決定する操作画面決定部５３と、表示部１６１を制御する表示制御部５５と、操作画面の少なくとも一部の表示部分を決定する表示部分決定部５７と、ＶＲＡＭ１６２を制御する記憶制御部５９と、通信Ｉ／Ｆ部１１２を制御する通信制御部６０と、を含む。
【００５７】
操作受付部５１は、ユーザーが入力する操作を受け付ける。操作受付部５１が受け付ける操作は、ユーザーが操作部１６３に入力する直接操作と、ＭＦＰ１００が携帯情報装置２００により遠隔制御される場合にユーザーが携帯情報装置２００に入力する遠隔操作と、を含む。ここでは、操作受付部５１が直接操作を受け付ける場合を例に説明し、遠隔操作を受け付ける場合については後述する。操作受付部５１は、操作部１６３を制御して、ユーザーが操作部１６３に入力する直接操作を受け付ける。
【００５８】
操作受付部５１は、操作決定部６１と、位置決定部６３と、位置検出部６５と、を含む。操作決定部６１は、ユーザーにより入力される直接操作を決定する。操作決定部６１は、ユーザーがハードキー部１６７が備える複数のハードキーのいずれかを押下すると、押下されたハードキーに割り当てられた直接操作を決定する。操作決定部６１は、直接操作を決定することに応じて、直接操作を操作画面決定部５３および表示部分決定部５７に出力する。ハードキーに割り当てられる直接操作は、例えば、ＭＦＰ１００が有する複数の設定モードのいずれかに設定する操作を含む。複数の設定モードは、例えば、原稿を複写する処理を実行させるためのコピーモード、原稿を読み取る処理を実行させるためのスキャンモード、ファクシミリを送信する処理を実行させるためのファクシミリモード、ＨＤＤ１１５に記憶されたデータに所定の処理を実行させるためのデータ管理モードを含む。
【００５９】
位置検出部６５は、タッチパネル１６５を制御して、表示部１６１の表示面中で、ユーザーが指またはスタイラスペンで指示した位置を検出する。位置検出部６５は、タッチパネル１６５が検出した表示部１６１の表示面中の位置を位置決定部６３に出力する。
【００６０】
位置決定部６３は、位置検出部６５から表示部１６１の表示面中の位置が入力される場合、表示部１６１の表示面中の位置に基づいて表示部１６１に表示されている操作画面中の位置を決定する。位置決定部６３は、後述する表示部分決定部５７から表示部分の操作画面中の位置が入力される。表示部１６１には、操作画面の全体が表示される場合と、操作画面の一部が表示される場合がある。ここで、表示部分は、操作画面のうち表示部１６１に表示されている部分である。位置決定部６３は、位置検出部６５から入力される表示部１６１の表示面中の位置に対応する表示部分中の位置を特定することにより操作画面中の位置を決定する。位置決定部６３は、決定された操作画面中の位置を操作決定部６１に出力する。
【００６１】
操作決定部６１は、位置決定部６３から操作画面中の位置が入力される場合、操作画面中で、位置決定部６３から入力される位置に割り当てられた直接操作を決定する。操作決定部６１は、直接操作を決定することに応じて、直接操作を操作画面決定部５３および表示部分決定部５７に出力する。操作画面は、操作が割り当てられたボタンを含む。操作画面に含まれるボタンには、例えば、操作画面を別の操作画面に遷移させる遷移操作、操作画面中の表示部分を移動させるスクロール操作、設定値を設定する設定操作を含む。
【００６２】
操作画面決定部５３は、操作決定部６１から入力される直接操作が、設定モードに設定する操作または遷移操作の場合、直接操作に基づいて操作画面を決定する。直接操作が設定モードに設定する操作ならば、設定モードに対して予め定められたデフォルトの操作画面を決定する。直接操作が遷移操作ならば、遷移操作により定められる操作画面を決定する。操作画面決定部５３は、決定された操作画面を識別するための画面識別情報を表示部分決定部５７および記憶制御部５９に出力する。
【００６３】
表示部分決定部５７は、操作画面決定部５３から画面識別情報が入力されることに応じて画面識別情報で特定される操作画面の少なくとも一部を表示部分に決定する。具体的には、表示部分決定部５７は、表示部１６１の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する。表示部分決定部５７は、表示部１６１の表示面の第１アスペクト比が第２アスペクト比より小さい場合、操作画面の一部を表示部１６１に表示するための表示部分に決定する。表示部分のアスペクト比は、表示部１６１の表示面の第１アスペクト比と同じである。表示部分決定部５７は、操作画面決定部５３から画面識別情報が入力される段階では、操作画面の最上部を含む表示部分に決定する。表示部分決定部５７は、表示部分を決定することに応じて、表示部分の操作画面中の位置を示す部分位置情報を記憶制御部５９および位置決定部６３に出力する。
【００６４】
表示部分決定部５７は、スクロール制御部６９を含む。スクロール制御部６９は、第１アスペクト比が第２アスペクト比より小さい場合、操作決定部６１から入力される直接操作がスクロール操作の場合、スクロール操作により特定されるスクロール量だけ表示部分を、操作画面中でスクロール操作により定まる方向に移動させる。表示部分決定部５７は、スクロール制御部６９により表示部分が移動される場合、移動後の表示部分の操作画面中の位置を示す部分位置情報を記憶制御部５９および位置決定部６３に出力する。
【００６５】
操作画面が固定部分と変動部分とを含む場合がある。固定部分は、操作画面のヘッダーに相当する部分である。表示部分決定部５７は、操作画面の固定部分を固定表示部分に決定し、操作画面の変動部分の少なくとも一部を変動表示部分に決定し、固定表示部分と変動表示部分とを結合した表示部分を決定する。従って変動表示部分の縦方向の長さは、表示部分の縦方向の長さから固定表示部分の縦方向の長さを減算した値である。スクロール制御部６９は、操作決定部６１から入力される直接操作がスクロール操作の場合、スクロール操作により特定されるスクロール量だけ変動表示部分を、操作画面中でスクロール操作により定まる方向に移動させる。
【００６６】
記憶制御部５９は、操作画面決定部５３から画面識別情報が入力され、表示部分決定部５７から部分位置情報が入力される。記憶制御部５９は、表示部分決定部５７から部分位置情報が入力されることに応じて、画面識別情報で特定される操作画面中の表示部分を特定し、特定した表示部分の画像をＶＲＡＭ１６２に記憶する。記憶制御部５９は、ＶＲＡＭ１６２に表示部分の画像を記憶することに応じて、表示制御部５５に表示指示を出力する。
【００６７】
表示制御部５５は、記憶制御部５９から表示指示が入力されることに応じて、表示部１６１を制御して、表示部１６１にＶＲＡＭ１６２に記憶された画像を表示させる。
【００６８】
操作画面決定部５３により操作画面が決定される場合は、表示部分が操作画面の最上部に決定されるので、操作画面の最上端に配置された表示部分の画像が表示部１６１に表示される。その後、スクロール操作が決定されると、スクロール量だけスクロール方向に表示部分が移動するので、移動後の表示部分の画像が表示部１６１に表示される。操作画面が固定部分と変動部分とを含む場合は、操作画面の最上端に配置された表示部分の画像が表示部１６１に表示され、その後、スクロール操作が決定されると、スクロール量だけスクロール方向に変動表示部分が移動するので、操作画面の固定表示部分の画像が表示部１６１の上方に固定された状態で、移動後の変動表示部分の画像が表示部１６１に表示される。
【００６９】
通信制御部６０は、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００，２００Ａ，２００Ｂのいずれかとの間で通信経路を確立する。後述するように、ユーザーが携帯情報装置２００を操作して、遠隔操作の対象としてＭＦＰ１００を指示すれば、携帯情報装置２００は、ＭＦＰ１００に接続要求を送信する。通信制御部６０は、通信Ｉ／Ｆ部１１２が携帯情報装置２００から接続要求を受信すると、携帯情報装置２００との間で所定のネゴシエーションをして携帯情報装置２００との間で通信経路を確立する。通信制御部６０は、携帯情報装置２００との間で通信経路を確立している間、表示制御部５５および表示部分決定部５７に携帯情報装置によって遠隔操作されている状態であることを示す遠隔操作信号を出力する。
【００７０】
表示制御部５５は、通信制御部６０から遠隔操作信号が入力されている間は、表示部１６１を制御して、表示部１６１にＶＲＡＭ１６２に記憶された画像を表示させない。例えば、表示制御部５５は、表示部１６１に遠隔操作中であることを通知するためのメッセージを表示するようにしてもよい。
【００７１】
通信制御部６０は、アスペクト比検出部７１と、送信部７３と、遠隔操作受信部７５と、を含む。アスペクト比検出部７１は、携帯情報装置２００が備える表示部２０６の第３アスペクト比を検出する。携帯情報装置２００は、ユーザーにより携帯されるので、表示部２０６の向く方向が変化する。携帯情報装置２００の表示部２０６の表示面の長手方向が縦になる第１の状態と、表示部２０６の表示面の長手方向が縦になる第２の状態と、がある。ここで、表示部２０６の表示面の第３アスペクト比は、表示部２０６の表示面の横方向の長さに対する縦方向の長さの比である。表示部２０６の表示面を長方形としているので、第１の状態と第２の状態とで第３アスペクト比が異なる。第１の状態では表示部２０６の表示面の長手方向が縦になるので第３アスペクト比は１より大きくなり、第２の状態では表示部２０６の表示面の長手方向が横になるので第３アスペクト比は１より小さくなる。携帯情報装置２００は、第３アスペクト比が変化することに応じて、アスペクト比をＭＦＰ１００に送信する。
【００７２】
アスペクト比検出部７１は、通信Ｉ／Ｆ部１１２が携帯情報装置２００から第３アスペクト比を受信すると、受信された第３アスペクト比を取得する。アスペクト比検出部７１は、取得された第３アスペクト比を表示部分決定部５７のスクロール制御部６９に出力する。
【００７３】
送信部７３は、通信Ｉ／Ｆ部１１２が携帯情報装置２００との間の通信経路を確立することに応じて、記憶制御部５９によりＶＲＡＭ１６２に記憶された画像と、その画像に対応する表示部分の操作画面中の位置を示す部分位置情報との組を携帯情報装置２００に送信し、送信が完了することに応じて記憶制御部５９に送信完了信号を出力する。なお、操作画面が固定部分と変動部分とを含む場合は、画像を、固定部分と変動部分とに分割して送信する。記憶制御部５９は、送信部７３から送信完了信号が入力されることに応じて、スクロール制御部６９に送信完了信号を出力する。
【００７４】
スクロール制御部６９は、通信制御部６０から遠隔操作信号が入力されている間は、第１アスペクト比が第２アスペクト比より小さい場合、かつ、アスペクト比検出部７１から入力される第３アスペクト比が第１アスペクト比以下の場合、記憶制御部５９から送信完了信号が入力されることに応じて、その時点で決定されている表示部分とは別の新たな表示部分を決定する。スクロール制御部６９は、第３アスペクト比が入力された時点で決定している表示部分を含まない新たな表示部分を決定する。
【００７５】
記憶制御部５９は、スクロール制御部６９により新たな表示部分が決定されることに応じて、操作画面中の新たな表示部分の画像をＶＲＡＭ１６２に記憶し、新たな表示部分の画像でＶＲＡＭ１６２を書き換えたことを示す書換信号を送信部７３に通知する。送信部７３は、記憶制御部５９から書換信号が入力されることに応じて、通信Ｉ／Ｆ部１１２を制御して、記憶制御部５９によりＶＲＡＭ１６２に記憶された表示部分の画像と、その画像に対応する表示部分の操作画面中の位置を示す部分位置情報との組を携帯情報装置２００に送信し、送信が完了することに応じて記憶制御部５９に送信完了信号を出力する。
【００７６】
スクロール制御部６９は、操作画面中で、アスペクト比検出部７１から第３アスペクト比が入力された時点で決定している表示部分以外の部分のすべてを、新たな表示部分に決定した後は、記憶制御部５９から送信完了信号が入力されても新たな表示部分を決定しない。
【００７７】
ここで、携帯情報装置２００の動作について説明する。図７は、第１の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図７に示す機能は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３、またはＣＤ−ＲＯＭ２１１Ａに記憶された遠隔操作プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図７を参照して、ＣＰＵ２０１は、携帯側通信制御部２５１と、姿勢検出部２５３と、合成部２５５と、画面表示部２５７と、操作受付部２５９と、を含む。
【００７８】
携帯側通信制御部２５１は、ユーザーが操作部２０７を操作して、ＭＦＰ１００を遠隔操作する指示を入力すれば、無線ＬＡＮＩ／Ｆ２０８を制御して、ＭＦＰ１００に接続要求を送信し、ＭＦＰ１００との間の通信経路を確立する。携帯側通信制御部２５１は、アスペクト比送信部２６１と、画面受信部２６３と、遠隔操作送信部２６５と、を含む。
【００７９】
姿勢検出部２５３は、加速度センサー２１０が出力する３軸の加速度に基づいて、携帯情報装置２００の姿勢を検出し、検出された携帯情報装置２００の姿勢を、アスペクト比送信部２６１および画面表示部２５７に出力する。姿勢検出部２５３は、ＭＦＰ１００との間で通信経路が確立されている状態で、検出された姿勢が変化する場合、姿勢の変化を検出することに応じて、検出された姿勢をアスペクト比送信部２６１に出力する。ここでは、携帯情報装置２００の姿勢を、表示部２０６の重力方向に対する方向で示す。携帯情報装置２００の姿勢は、表示部２０６の表示面の形状が長方形なので、表示部２０６の長手方向が短手方向よりも重力方向に近くなる縦方向と、表示部２０６の短手方向が長手方向よりも重力方向に近くなる横方向と、のいずれかとする。姿勢検出部２５３は、表示部２０６の表示面の短手方向が重力方向となす角が小さいならば表示部２０６の表示面が横長となる姿勢を検出し、長手方向が重力方向となす角が小さいならば表示部２０６の表示面が縦長となる姿勢を検出する。
【００８０】
アスペクト比送信部２６１は、姿勢検出部２５３から姿勢が入力されることに応じて、アスペクト比を算出し、無線ＬＡＮＩ／Ｆ２０８を制御して、算出されたアスペクト比を第３アスペクト比としてＭＦＰ１００に送信する。表示部２０６の表示面のサイズは予め定まっているので、姿勢が縦方向の場合には、長手方向の長さを短手方向の長さで除算することによりアスペクト比を算出し、姿勢が横方向の場合には、短手方向の長さを長手方向の長さで除算することによりアスペクト比を算出する。
【００８１】
画面受信部２６３は、無線ＬＡＮＩ／Ｆ２０８を制御して、ＭＦＰ１００から画像と部分位置情報との組を受信する。画面受信部２６３は、ＭＦＰ１００から画像と部分位置情報との組を受信することに応じて、それらを合成部２５５に出力する。
【００８２】
合成部２５５は、画面受信部２６３から画像と部分位置情報との組が複数入力される場合、複数の画像を、それぞれが組になる部分位置情報に基づいて合成する。部分位置情報は、画像の操作画面中の位置を示すので、複数の画像の相対的な位置関係が分かる。このため合成部２５５は、相対的な位置に基づいて複数の画像を合成し、合成後の画像を生成する。合成部２５５により合成された後の画像は、操作画面の画像である。なお、操作画面が固定部分と変動部分とを含む場合、画像が固定部分と変動部分とに分割されて送信されるので、１つの固定部分の画像に複数の変動部分を合成することにより、操作画面の画像を生成する。合成部２５５は、合成後の画像を画面表示部２５７に出力するとともに、複数の部分位置情報を遠隔操作送信部２６５に出力する。合成部２５５は、画面受信部２６３から画像と部分位置情報との組が１つ入力される場合、画像を画面表示部２５７に出力するとともに、部分位置情報を遠隔操作送信部２６５に出力する。
【００８３】
画面表示部２５７は、姿勢検出部２５３から姿勢が入力されることに応じて、表示部２０６の方向を決定する。姿勢が横方向ならば、表示部２０６の表示面の長手方向が横方向となる方向に決定し、姿勢が縦方向ならば、表示部２０６の表示面の短手方向が横方向となる方向に決定する。画面表示部２５７は、合成部２５５から画像が入力されることに応じて、入力された画像を表示部２０６に、決定された方向に従って表示する。操作画面の画像を拡大または縮小することによって、操作画面の画像の横方向の長さを、表示部２０６の表示面の横方向の長さと同じにし、拡大または縮小した後の操作画面の画像を表示部２０６に表示する。拡大または縮小した後の操作画面の画像の縦方向の長さが、表示部２０６の表示面の縦方向の長さより長い場合、操作画面の画像をスクロール可能な状態で表示する。画面表示部２５７は、合成部２５５から入力される画像のうち表示部２０６に表示している部分の位置を示す領域情報を遠隔操作送信部２６５に出力する。
【００８４】
操作受付部２５９は、操作画面の画像中でユーザーにより指示された位置を検出する。具体的には、操作受付部２５９は、タッチパネル２０７Ｂを制御して、ユーザーが表示部２０６の表示面中で指示した位置を検出し、検出された表示面中の位置を特定する。操作受付部２５９は、特定された表示面中の位置を遠隔操作送信部２６５に出力する。
【００８５】
遠隔操作送信部２６５は、合成部２５５から１以上の部分位置情報が入力され、画面表示部２５７から領域情報が入力され、操作受付部２５９から表示面中の位置が入力される。遠隔操作送信部２６５は、合成部２５５から複数の部分位置情報が入力される場合、合成部２５５により生成された画像を操作画面の画像とみなし、領域情報と操作受付部２５９から入力される表示面中の位置とに基づいて、操作受付部２５９から入力される表示面中の位置に対応する操作画面中の位置を決定する。遠隔操作送信部２６５は、決定された操作画面中の位置と、複数の部分位置情報とに基づいて、決定された操作画面中の位置を含む表示部分を特定する。さらに、遠隔操作送信部２６５は、決定された操作画面中の位置に対応する表示部分中の位置を特定する。遠隔操作送信部２６５は、無線ＬＡＮＩ／Ｆ２０８を制御して、操作画面中の位置を含む表示部分の部分位置情報と、表示部分中の位置とを含む遠隔操作を、ＭＦＰ１００に送信する。遠隔操作送信部２６５は、合成部２５５から１つの部分位置情報が入力される場合、その部分位置情報とユーザーが表示部２０６の表示面中で指示した位置とを含む遠隔操作を、ＭＦＰ１００に送信する。
【００８６】
図６に戻って、遠隔操作受信部７５は、通信Ｉ／Ｆ部１１２が携帯情報装置２００から遠隔操作を受信すると、遠隔操作を位置決定部６３に出力する。
【００８７】
位置決定部６３は、遠隔操作受信部７５から入力される遠隔操作に従って操作画面中の位置を決定する。位置決定部６３は、決定された操作画面中の位置を操作決定部６１に出力する。遠隔操作は、部分位置情報と、表示面中の位置とを含む。位置決定部６３は、部分位置情報から操作画面中の表示部分を特定し、特定された表示部分中で表示面中の位置に対する位置を、操作画面中の位置に決定する。
【００８８】
操作決定部６１は、携帯情報装置２００により遠隔操作されている状態で、換言すれば、通信Ｉ／Ｆ部１１２が携帯情報装置２００との間で通信経路を確立している間に、位置決定部６３から操作画面中の位置が入力される場合、操作画面中で、位置決定部６３から入力される位置に割り当てられた遠隔操作を決定する。操作決定部６１は、遠隔操作を決定することに応じて、遠隔操作を操作画面決定部５３および表示部分決定部５７に出力する。
【００８９】
操作画面決定部５３は、操作決定部６１から入力される遠隔操作が遷移操作ならば、遷移操作により定められる操作画面を決定する。操作画面決定部５３は、決定された操作画面を識別するための画面識別情報を表示部分決定部５７および記憶制御部５９に出力する。
【００９０】
表示部分決定部５７は、携帯情報装置２００により遠隔操作されている状態で、操作画面決定部５３から画面識別情報が入力されることに応じて画面識別情報で特定される操作画面の少なくとも一部を表示部分に決定する。具体的には、表示部分決定部５７は、表示部１６１の表示面の第１アスペクト比が操作画面の第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する。表示部分決定部５７は、表示部１６１の表示面の第１アスペクト比が操作画面の第２アスペクト比より小さい場合、操作画面の一部を表示部１６１に表示するための表示部分に決定する。表示部分のアスペクト比は、表示部１６１の表示面の第１アスペクト比と同じである。表示部分決定部５７は、操作画面決定部５３から画面識別情報が入力される段階では、操作画面の最上部を含む表示部分に決定する。表示部分決定部５７は、表示部分を決定することに応じて、表示部分の操作画面中の位置を示す部分位置情報を記憶制御部５９および位置決定部６３に出力する。
【００９１】
スクロール制御部６９は、携帯情報装置２００により遠隔操作されている状態で、表示部１６１の表示面の第１アスペクト比が操作画面の第２アスペクト比より小さい場合は、操作決定部６１から入力される遠隔操作がスクロール操作の場合、スクロール操作により特定されるスクロール量だけ表示部分を、操作画面中でスクロール操作により定まる方向に移動させる。表示部分決定部５７は、スクロール制御部６９により表示部分が移動される場合、移動後の表示部分の操作画面中の位置を示す部分位置情報を記憶制御部５９および位置決定部６３に出力する。
【００９２】
図８は、第１の実施の形態における遠隔制御処理の流れの一例を示す第１のフローチャートである。図９は、第１の実施の形態における遠隔制御処理の流れの一例を示す第２のフローチャートである。遠隔制御処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された遠隔制御プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図８および図９を参照して、ＣＰＵ１１１は、第１の実施の形態における直接操作実行処理を実行し（ステップＳ０１）、処理をステップＳ０２に進める。第１の実施の形態における直性操作実行処理の詳細は後述するが、ユーザーが操作部１６３に入力する操作に従って実行する処理である。
【００９３】
ステップＳ０２においては、通信Ｉ／Ｆ部１１２が接続要求を受信したか否かを判断する。通信Ｉ／Ｆ部１１２が携帯情報装置２００，２００Ａ，２００Ｂのいずれかから接続要求を受信したならば処理をステップＳ０３に進めるが、そうでなければ処理をステップＳ０１に戻す。以下、携帯情報装置２００から接続要求を受信する場合を例に説明する。
【００９４】
ステップＳ０３においては、接続要求を送信してきた装置との間で通信経路を確立する。具体的には、通信Ｉ／Ｆ部１１２を制御して、接続要求を送信してきた携帯情報装置２００との間でネゴシエーションし、携帯情報装置２００との間で通信経路を確立する。次のステップＳ０４においては、表示部１６１の表示をＯＦＦにする。表示部１６１がＶＲＡＭ１６２に記憶された画像の表示を中止する。この場合、例えば、遠隔操作中であることを表示するメッセージを表示部１６１に表示するようにしてもよい。
【００９５】
ステップＳ０５においては、第３アスペクト比を取得したか否かを判断する。第３アスペクト比は、携帯情報装置２００が備える表示部２０６のアスペクト比である。ステップＳ０３において、携帯情報装置２００は、ＭＦＰ１００との間で通信経路を確立される段階で、第３アスペクト比を送信する。通信Ｉ／Ｆ部１１２が携帯情報装置２００から第３アスペクト比を受信するまで待機状態となり（ステップＳ０５でＮＯ）、通信Ｉ／Ｆ部１１２が携帯情報装置２００から第３アスペクト比を受信したならば（ステップＳ０５でＹＥＳ）、処理をステップＳ０６に進める。
【００９６】
ステップＳ０６においては、部分位置情報と表示部分の画像とを送信し、処理をステップＳ０７に進める。部分位置情報は、ＶＲＡＭ１６２に記憶されている画像に対応する表示部分の操作画面中の位置を示す。表示部分の画像は、ＶＲＡＭ１６２に記憶されている画像である。ステップＳ０３において確立された通信経路を用いて、部分位置情報とＶＲＡＭ１６２に記憶されている表示部分の画像とを、携帯情報装置２００に送信する。
【００９７】
ステップＳ０７においては、第３アスペクト比が第１アスペクト比よりも大きいか否かをする。第３アスペクト比が第１アスペクト比よりも大きいならば処理をステップＳ０８に進めるが、そうでなければ処理をステップＳ１２に進める。ステップＳ０８においては、未送信部分が存在するか否かを判断する。処理がステップＳ０７から進む場合、ステップＳ０６において表示部分の画像が携帯情報装置２００に送信されている。また、処理が後述するステップＳ１１から進む場合、ステップＳ１１において表示部分の画像が携帯情報装置２００に送信されている。ステップＳ０８においては、操作画面中で未だ送信していない表示部分が存在するか否かを判断する。未送信部分が存在するならば処理をステップＳ０９に進めるが、そうでなければ処理をステップＳ１２に進める。
【００９８】
ステップＳ０９においては、操作画面中で未送信の部分を表示部分に決定し、処理をステップＳ１０に進める。ステップＳ１０においては、操作画面中でステップＳ０９において決定された表示部分の画像をＶＲＡＭ１６２に記憶し、処理をステップＳ１１に進める。ステップＳ１１においては、部分位置情報と表示部分の画像とを送信し、処理をステップＳ０８に戻す。部分位置情報は、ステップＳ０９において決定された表示部分の操作画面中の位置を示す。表示部分の画像は、ステップＳ１０においてＶＲＡＭ１６２に記憶された表示部分の画像である。ステップＳ０９〜ステップＳ１１が実行されることにより、処理がステップＳ１２に進む段階で、操作画面全体の画像が複数の表示部分に分割されて携帯情報装置２００に送信される。
【００９９】
ステップＳ１２においては、遠隔操作を受信したか否かを判断する。通信Ｉ／Ｆ部１１２がステップＳ０３において確立された通信経路を介して、遠隔操作を受信したか否かを判断する。遠隔操作を受信したならば処理をステップＳ１３に進めるが、そうでなければ処理をステップＳ２２に進める。ステップＳ２２においては、第３アスペクト比を取得したか否かを判断する。通信Ｉ／Ｆ部１１２が携帯情報装置２００から第３アスペクト比を受信したならば処理をステップＳ０７に戻すが、そうでなければ処理をステップＳ１２に戻す。
【０１００】
ステップＳ１３においては、処理対象となる表示部分を決定する。操作画面のうち、ステップＳ１２において受信された遠隔操作に含まれる部分位置情報で特定される部分を処理対象となる表示部分に決定する。次のステップＳ１４においては、操作画面中の位置を特定する。ステップＳ１３において決定された表示部分中で、遠隔操作に含まれる表示部分中の位置に対応する操作画面中の位置を特定する。次のステップＳ１５においては、操作画面中の位置から遠隔操作を特定し、特定された遠隔操作によって処理を分岐する。遠隔操作が設定操作ならば処理をステップＳ１６に進め、実行指示操作ならば処理をステップＳ１７に進め、画面遷移操作ならば処理をステップＳ１８に進め、遠隔操作がスクロール操作ならば処理をステップＳ２０に進め、遠隔操作が終了操作ならば処理をステップＳ２１に進める。
【０１０１】
ステップＳ１６においては、設定操作に従って、それまで設定されている設定値を設定操作で定まる設定値で変更し、処理をステップＳ１２に戻す。ステップＳ１７においては、実行指示操作に従って、実行指示操作で定まる処理を実行し、処理をステップＳ１２に戻す。ステップＳ１８においては、図１１に示す画面遷移処理を実行し、処理をステップＳ１９に進める。ステップＳ１９においては、処理がステップＳ１８から進む場合、ステップＳ１８において決定された表示部分の画像をＶＲＡＭ１６２に記憶し、処理をステップＳ０６に戻す。
【０１０２】
処理がステップＳ２０に進む前の段階で表示部分が決定されている。ステップＳ２０においては、新たな表示部分を決定し、処理をステップＳ１９に進める。例えば、操作画面中で既に決定されている表示部分をスクロール操作で定まる方向に、スクロール操作で定まる量だけ移動させることにより、新たな表示部分を決定する。スクロール操作の遠隔操作を受信する場合は、第１アスペクト比が第２アスペクト比より小さく、かつ、第３アスペクト比が第１アスペクト比以下の場合である。第３アスペクト比が第１アスペクト比よりも大きい場合には、操作画面の全体が携帯情報装置２００に送信されているため、携帯情報装置２００内で操作画面をスクロール等させることができるため、スクロール操作の遠隔操作が受信されることはない。ステップＳ１９においては、処理がステップＳ２０から進む場合、ステップＳ２０において決定された表示部分の画像をＶＲＡＭ１６２に記憶し、処理をステップＳ０６に戻す。ステップＳ２１においては、ステップＳ０３において携帯情報装置２００との間で確立された通信経路を切断し、処理をステップＳ０１に戻す。
【０１０３】
図１０は、第１の実施の形態における直接操作実行処理の流れの一例を示すフローチャートである。図１０を参照して、ＣＰＵ１１１は、直接操作を受け付けたか否かを判断する（ステップＳ３１）。操作部１６３がユーザーによる操作を受け付けたならば直接操作を受け付けたと判断する。直接操作を受け付けたならば処理をステップＳ３２に進めるが、そうでなければ処理を遠隔制御処理に戻す。
【０１０４】
ステップＳ３２においては、直接操作によって処理を分岐させる。直接操作が画面遷移操作ならば処理をステップＳ３３に進め、直接操作がスクロール操作ならば処理をステップＳ３６に進め、直接操作が設定値を設定する設定操作ならば処理をステップＳ３７に進め、を直接操作が処理の実行を指示する実行指示操作ならば処理をステップＳ３８に進める。
【０１０５】
ステップＳ３３においては、画面遷移処理を実行し、処理をステップＳ３４に進める。画面遷移処理の詳細は後述するが、遷移した後の操作画面の少なくとも一部を表示部分として決定する処理である。ステップＳ３４においては、表示部分の画像をＶＲＡＭ１６２に記憶し、処理をステップＳ３５に進める。ステップＳ３５においては、表示部１６１を制御して、ＶＲＡＭ１６２に記憶された画像を表示させ、処理を遠隔制御処理に戻す。処理がステップＳ３６に進む前の段階で表示部分が決定されている。ステップＳ３６においては、新たな表示部分を決定し、処理をステップＳ３４に進める。例えば、操作画面中で、既に決定されている表示部分をスクロール操作で定まる方向に、スクロール操作で定まる量だけ移動させることにより、新たな表示部分を決定する。ステップＳ３７においては、設定操作に従って、設定操作で定まる設定値で変更し、処理を遠隔制御処理に戻す。ステップＳ３８においては、実行指示操作に従って、実行指示操作で定まる処理を実行し、処理を遠隔制御処理に戻す。
【０１０６】
図１１は、画面遷移処理の流れの一例を示すフローチャートである。画面遷移処理は、図１０のステップＳ３３または図９のステップＳ１７において実行される処理である。図１０を参照して、ＣＰＵ１１１は、処理対象となる操作画面を特定する（ステップＳ４１）。次のステップＳ４２においては、表示部１６１の表示面の第１アスペクト比を操作画面の第２アスペクト比と比較する。第１アスペクト比が操作画面の第２アスペクト比より小さいならば処理をステップＳ４３に進めるが、そうでなければ処理をステップＳ４４に進める。ステップＳ４３においては、操作画面の一部を表示部分に決定し、処理を直接操作実行処理または遠隔制御処理に戻す。例えば、操作画面の最上端を含む部分を表示部分に決定する。ステップＳ４４においては、操作画面の全体を表示部分に決定し、処理を直接操作実行処理または遠隔制御処理に戻す。
【０１０７】
図１２は、第１の実施の形態における遠隔操作処理の流れの一例を示すフローチャートである。遠隔操作処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３、またはＣＤ−ＲＯＭ２１１Ａに記憶された遠隔操作プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図１２を参照して、ＣＰＵ２０１は、遠隔操作指示を受け付けたか否かを判断する（ステップＳ５１）。操作部２０７がユーザーにより入力される遠隔操作指示を受け付けたならば遠隔操作指示を受け付ける。遠隔操作指示を受け付けるまで待機状態となり（ステップＳ５１でＮＯ）、遠隔操作指示を受け付けたならば（ステップＳ５１でＹＥＳ）、処理をステップＳ５２に進める。
【０１０８】
ステップＳ５２においては、ＭＦＰ１００に接続要求を送信する。無線ＬＡＮＩ／Ｆ２０８を制御して、ＭＦＰ１００との間の通信経路を確立するために接続要求を送信する。そして、通信経路が確立したか否かを判断する（ステップＳ５３）。ＭＦＰ１００とネゴシエーションすることによって、通信経路を確立する。通信経路が確立するまでステップＳ５２を繰り返し（ステップＳ５３でＮＯ）、通信経路が確立したならば（ステップＳ５３でＹＥＳ）、処理をステップＳ５４に進める。
【０１０９】
ステップＳ５４においては、姿勢を検出する。加速度センサー２１０が出力する３軸の加速度に基づいて、携帯情報装置２００の姿勢を検出する。携帯情報装置２００の姿勢は、表示部２０６の長手方向が短手方向よりも重力方向に近くなる縦方向と、表示部２０６の短手方向が長手方向よりも重力方向に近くなる横方向と、のいずれかである。そして、第３アスペクト比を送信し、処理をステップＳ５６に進める。姿勢が縦方向の場合には、長手方向の長さを短手方向の長さで除算することにより第３アスペクト比を算出し、姿勢が横方向の場合には、短手方向の長さを長手方向の長さで除算することにより第３アスペクト比を算出する。ステップＳ５３において確立された通信経路を介して、第３アスペクト比をＭＦＰ１００に送信する。
【０１１０】
次のステップＳ５６においては、ＭＦＰ１００から部分位置情報と画像とを受信するまで待機状態となり（ステップＳ５６でＮＯ）、部分位置情報と画像とを受信したならば（ステップＳ５６でＹＥＳ）、処理をステップＳ５７に進める。ステップＳ５７においては、受信された画像を表示部２０６に表示し、処理をステップＳ５８に進める。
【０１１１】
ステップＳ５８においては、ＭＦＰ１００から部分位置情報と画像とを受信したか否かを判断する。部分位置情報と画像とを受信したならば処理をステップＳ５９に進めるが、そうでなければ処理をステップＳ６１に進める。ステップＳ５９においては、表示部２０６に表示されている画像とステップＳ５８において受信された画像とを合成し、処理をステップＳ６０に進める。画像とともに受信される部分位置情報から２つの画像の相対的な位置を決定し、２つの画像を相対的な位置に従って合成する。ステップＳ６０においては、合成された画像を表示部２０６に表示し、処理をステップＳ５８に戻す。
【０１１２】
ステップＳ６１においては、指示を受け付けたか否かを判断する。ユーザーが表示部２０６の表示面を指示す位置が、タッチパネル２０７Ｂにより検出されると、指示を受け付けたと判断する。ユーザーによる指示を受け付けたならば処理をステップＳ６２に進めるが、そうでなければ処理をステップＳ６５に進める。 
ステップＳ６２においては、表示部分を決定する。ステップＳ６１においてタッチパネル２０７Ｂにより検出された表示面中の位置に基づいて、表示部２０６に表示されている画像中の位置を決定する。ステップＳ５９において合成画像が生成される場合には、表示部２０６に表示されている画像は合成画像の一部なので、ステップＳ５８において画像とともに受信される１以上の部分位置情報とから表示部分を決定する。ステップＳ５９において生成される合成画像は操作画面の画像である。操作画面の画像中で、表示部２０６に表示されている部分を特定し、ステップＳ６１において検出された位置とから操作画面中の位置を決定する。そして、複数の部分位置情報でそれぞれ特定される複数の表示部分のうちから、決定された操作画面中の位置を含む表示部分を決定する（ステップＳ６２）。次のステップＳ６３においては、操作画面中の位置をステップＳ６２において決定された表示部分中の位置に変換することにより、表示部分中の位置を決定する。
【０１１３】
ステップＳ６２においては、ステップＳ５９において合成画像が生成されていない場合は、ステップＳ５６において受信された画像が表示部２０６に表示されているので、ステップＳ５６において画像とともに受信される部分位置情報に対応する表示部分を決定する。そして、ステップＳ６３においては、ステップＳ６１において検出された位置を表示部分中の位置に決定する。
【０１１４】
次のステップＳ６４においては、遠隔操作を送信し、処理をステップＳ５８に戻す。ステップＳ５２において確立された通信経路を介して、ＭＦＰ１００に遠隔操作を送信する。遠隔操作は、ステップＳ６２において決定された表示部分の部分位置情報と、ステップＳ６３において決定された表示部分中の位置とを含む。
【０１１５】
ステップＳ６５においては、ステップＳ５３においてＭＦＰ１００との間で確立された通信経路が切断されたか否かを判断する。通信経路が切断されたならば処理を終了し、そうでなければ処理をステップＳ６６に進める。ステップＳ６６においては、ステップＳ５４と同様に、姿勢を検出する。そして、姿勢が変化したか否かを判断する。姿勢が変化したならば処理をステップＳ５５に戻すが、そうでなければ処理をステップＳ５８に戻す。
【０１１６】
＜変形例＞
上述した第１の実施の形態における遠隔制御システムにおいて、携帯情報装置２００から送信される遠隔操作が部分位置情報と表示部分中の位置とを含み、ＭＦＰ１００において、遠隔操作に従って操作画面中の位置を決定する場合を例に説明した。変形例における遠隔制御システムにおいては、携帯情報装置２００が操作画面中の位置を決定し、操作画面中の位置を含む遠隔操作をＭＦＰ１００に送信するようにしたものである。この場合、携帯情報装置２００が備える遠隔操作送信部２６５は、合成部２５５から複数の部分位置情報が入力される場合、操作画面が表示部２０６に表示されているので、操作受付部２５９から入力されるタッチパネル２０７Ｂにより検出されるユーザーにより指示された位置から操作画面中の位置を決定する。また、遠隔操作送信部２６５は、合成部２５５から１つの部分位置情報が入力される場合、操作画面中で部分位置情報により特定される表示部分が表示部２０６に表示されているので、部分位置情報とタッチパネル２０７Ｂにおいて検出されるユーザーにより指示された位置とから操作画面中の位置を決定する。
【０１１７】
変形例においても図８〜図１１に示した遠隔制御処理が、ＭＦＰ１００において実行されるが、図９のステップＳ１３およびステップＳ１４を削除することができ、ステップＳ１５においては、ステップＳ１２において携帯情報装置２００から受信される遠隔操作に含まれる操作画面中の位置から遠隔操作を決定する。また、図１２に示した遠隔操作処理が携帯情報装置において実行されるが、図１２のステップＳ６４において、ステップＳ６３において決定された表示部分中の位置から操作画面中の位置を決定する処理を実行するようにすればよい。
【０１１８】
以上説明したように第１の実施の形態における遠隔制御システムにおいて、ＭＦＰ１００は、画像処理装置として機能し、表示部１６１の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比より小さい場合、操作画面の少なくとも一部であって第１アスペクト比の部分を表示部分に決定し、第１アスペクト比が第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する。そして、ＭＦＰ１００は、携帯情報装置２００が備える表示部２０６の表示面の横方向の長さに対する縦方向の長さの比を示す第３アスペクト比を検出し、第１アスペクト比が第２アスペクト比以下の場合、第３アスペクト比が第１アスペクト比以下ならば表示部分の画像を携帯情報装置２００に送信し、第３アスペクト比が第１アスペクト比より大きいならば操作画面の画像を携帯情報装置２００に送信する。携帯情報装置２００は、ＭＦＰ１００から操作画面の画像を受信する場合に、操作画面の少なくとも一部を、横方向のサイズが表示部２０６の横方向のサイズと同じサイズで表示部２０６に表示する。このため、ＭＦＰ１００は、第３アスペクト比が第１アスペクト比以下の場合に、第３アスペクト比の表示面に第１アスペクト比の表示部分を携帯情報装置２００に表示させるために表示部分を送信し、第３アスペクト比が第１アスペクト比より大きい場合に、第３アスペクト比の表示面に第１アスペクト比より大きい第２アスペクト比の操作画面を携帯情報装置２００に表示させるために操作画面を送信する。このため、携帯情報装置２００によって、第３アスペクト比の表示面に第１アスペクト比より大きい第２アスペクト比の操作画面が表示されるので、第３アスペクト比の表示面に第１アスペクト比の表示部分を表示する場合よりも携帯情報装置２００の表示部２０６の表示面を有効に利用することができる。
【０１１９】
また、ＭＦＰ１００は、表示部分が決定されることに応じて、表示部分の画像をＶＲＡＭ１６２に記憶し、携帯情報装置２００により遠隔操作されていない状態でＶＲＡＭ１６２に記憶された画像を表示部１６１に表示し、携帯情報装置２００により遠隔操作されていない状態で、操作部１６３により受け付けられるユーザーによるスクロール操作に従って、表示部分を操作画面中で移動させ、移動後の表示部分の画像をＶＲＡＭ１６２に記憶することにより表示部分の画像を表示部１６１に表示する。ＭＦＰ１００は、携帯情報装置２００により遠隔操作されている状態で、ＶＲＡＭ１６２に表示部分の画像が記憶されることに応じて、ＶＲＡＭ１６２に記憶された画像を携帯情報装置２００に送信し、操作画面のすべてが携帯情報装置２００に送信されるまで、ＶＲＡＭ１６２に記憶された画像が送信されることに応じて、表示部分を操作画面中で携帯情報装置２００に送信されていない部分に移動させ、移動後の表示部分の画像をＶＲＡＭ１６２に記憶することにより表示部分の画像を携帯情報装置２００に送信する。携帯情報装置２００は、ＭＦＰ１００から受信される複数の画像を合成することにより操作画面の画像を生成し、操作画面の画像を表示部２０６に表示する。このため、携帯情報装置２００に操作画面の画像を表示させることができる。
【０１２０】
また、ＭＦＰ１００は、送信の対象となる画像に対応する表示部分の操作画面中の位置を示す部分位置情報を、画像とともに携帯情報装置２００に送信するので、携帯情報装置２００においては、複数の画像の相対的な位置に基づいて合成することができ、複数の画像から操作画面の画像を生成することができる。
【０１２１】
また、ＭＦＰ１００は、タッチパネル１６５によりユーザーにより指示される位置が検出されることに応じて、検出された位置に対応する表示部分中の位置に基づいて、操作画面中の位置を決定し、携帯情報装置２００により遠隔操作されている状態では、携帯情報装置２００から部分位置情報と画像中でユーザーにより指示された位置を示す指示位置情報とを含む遠隔操作を受信することに応じて、遠隔操作に含まれる部分位置情報で特定される操作画面中の表示部分と、指示位置情報で特定される表示部分中の位置に基づいて、操作画面中の位置を決定する。このため、携帯情報装置２００から受信する遠隔操作を、タッチパネル１６５によって表示部１６１の表示面中でユーザーにより指示される位置が検出される場合と同様に処理することができる。
【０１２２】
また、変形例におけるＭＦＰ１００は、携帯情報装置２００により遠隔操作されていない状態でタッチパネル１６５によりユーザーにより指示される位置が検出されることに応じて、検出された位置に対応する表示部分中の位置に基づいて、操作画面中の位置を決定し、携帯情報装置２００により遠隔操作されている状態では、携帯情報装置２００から操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信することに応じて、遠隔操作に含まれる画面中位置情報に基づいて、操作画面中の位置を決定する。このため、携帯情報装置２００から受信する遠隔操作を、タッチパネル１６５によって表示部１６１の表示面中でユーザーにより指示される位置が検出される場合と同様に処理することができる。
【０１２３】
＜第２の実施の形態＞
第１の実施の形態における遠隔制御システムにおいて、ＭＦＰ１００が備えるＶＲＡＭ１６２の記憶容量は、表示部１６１が表示する画像に対応する。第２の実施の形態における遠隔制御システムにおいて、ＭＦＰ１００が備えるＶＲＡＭ１６２の記憶容量は、表示部１６１が表示する画像に対応することなく、第１の実施の形態におけるＶＲＡＭ１６２の記憶容量よりも大きい。このため、第２の実施の形態におけるＭＦＰ１００は、ＶＲＡＭ１６２に操作画面の画像の全てを記憶可能である。以下、第２の実施の形態における遠隔制御システムについて、第１の実施の形態における遠隔制御システムと異なる点を主に説明する。
【０１２４】
第２の実施の形態における遠隔制御システムの全体概要は図１に示した全体概要と同じである。ＭＦＰ１００の外観およびハードウェア構成は、図２および図３に示した外観およびハードウェア構成と同じである。携帯情報装置２００のハードウェア構成は、図５に示したハードウェア構成と同じである。従って、これらの説明は繰り返さない。
【０１２５】
図１３は、第２の実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図１３を参照して、図６に示した機能と異なる点は、表示制御部５５、記憶制御部５９、表示部分決定部５７、位置決定部６３、スクロール制御部６９、送信部７３および遠隔操作受信部７５が、表示制御部５５Ａ、記憶制御部５９Ａ、表示部分決定部５７Ａ、位置決定部６３Ａ、スクロール制御部６９Ａ、送信部７３Ａおよび遠隔操作受信部７５Ａにそれぞれ変更された点である。その他の機能は図６に示した機能と同じなので、ここでは説明を繰り返さない。
【０１２６】
表示部分決定部５７Ａは、操作画面決定部５３から画面識別情報が入力されることに応じて画面識別情報で特定される操作画面の少なくとも一部を表示部分に決定する。具体的には、表示部分決定部５７Ａは、表示部１６１の表示面の横方向の長さに対する縦方向の長さの比を示す第１アスペクト比が操作画面の横方向の長さに対する縦方向の長さの比を示す第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する。表示部分決定部５７Ａは、表示部１６１の表示面の第１アスペクト比が操作画面の第２アスペクト比より小さい場合、操作画面の一部を表示部１６１に表示するための表示部分に決定する。表示部分のアスペクト比は、表示部１６１の表示面の第１アスペクト比と同じである。表示部分決定部５７Ａは、操作画面決定部５３から画面識別情報が入力される段階では、操作画面の最上部を含む表示部分に決定する。表示部分決定部５７Ａは、表示部分を決定することに応じて、表示部分の操作画面中の位置を示す部分位置情報を、表示制御部５５Ａ、位置決定部６３Ａおよび送信部７３Ａに出力する。
【０１２７】
表示部分決定部５７Ａは、スクロール制御部６９Ａを含む。スクロール制御部６９Ａは、表示部１６１の表示面の第１アスペクト比が操作画面の第２アスペクト比より小さい場合、操作決定部６１から入力される直接操作がスクロール操作の場合、表示部分を、スクロール操作により特定されるスクロール量だけ操作画面中でスクロール操作により定まる方向に移動させる。表示部分決定部５７Ａは、スクロール制御部６９Ａにより表示部分が移動される場合、移動後の表示部分の操作画面中の位置を示す部分位置情報を、表示制御部５５Ａ、位置決定部６３Ａおよび送信部７３Ａに出力する。
【０１２８】
操作画面が固定部分と変動部分とを含む場合がある。固定部分は、操作画面のヘッダーに相当する部分である。表示部分決定部５７Ａは、操作画面の固定部分を固定表示部分に決定し、操作画面の変動部分の少なくとも一部を変動表示部分に決定し、固定表示部分と変動表示部分とを結合することにより表示部分を決定する。従って変動表示部分の縦方向の長さは、表示部分の縦方向の長さから固定表示部分の縦方向の長さを減算した値である。スクロール制御部６９Ａは、操作決定部６１から入力される直接操作がスクロール操作の場合、スクロール操作により特定されるスクロール量だけ変動表示部分を、操作画面中でスクロール操作により定まる方向に移動させる。
【０１２９】
記憶制御部５９Ａは、操作画面決定部５３から画面識別情報が入力される。記憶制御部５９は、操作画面決定部５３から画面識別情報が入力されることに応じて、画面識別情報で特定される操作画面の画像をＶＲＡＭ１６２に記憶する。
【０１３０】
表示制御部５５Ａは、表示部分決定部５７Ａまたはスクロール制御部６９Ａから部分位置情報が入力されることに応じて、表示部１６１を制御して、表示部１６１にＶＲＡＭ１６２に記憶された画像中で部分位置情報により特定される表示部分の画像を表示させる。
【０１３１】
位置決定部６３Ａは、位置検出部６５から表示部１６１の表示面中の位置が入力される場合、表示部１６１の表示面中の位置に基づいて表示部１６１に表示されている操作画面中の位置を決定する。位置決定部６３Ａは、表示部分決定部５７から表示部分の操作画面中の位置を示す部分位置情報が入力される。表示部１６１には、操作画面の全体が表示部分として表示される場合と、操作画面の一部の表示部分が表示される場合がある。位置決定部６３Ａは、位置検出部６５から入力される表示部１６１の表示面中の位置に対応する表示部分中の位置を特定することにより操作画面中の位置を決定する。位置決定部６３Ａは、決定された操作画面中の位置を操作決定部６１に出力する。
【０１３２】
送信部７３Ａは、表示部分決定部５７Ａまたはスクロール制御部６９Ａから部分位置情報が入力され、アスペクト比検出部７１から第３アスペクト比が入力される。送信部７３Ａは、第１アスペクト比が第２アスペクト比以上の場合、通信Ｉ／Ｆ部１１２が携帯情報装置２００との間の通信経路を確立することに応じて、記憶制御部５９によりＶＲＡＭ１６２に記憶された操作画面の画像を携帯情報装置２００に送信する。
【０１３３】
送信部７３Ａは、第１アスペクト比が第２アスペクト比より小さく、かつ、第３アスペクト比が第１アスペクト比よりも大きい場合、通信Ｉ／Ｆ部１１２が携帯情報装置２００との間の通信経路を確立することに応じて、記憶制御部５９によりＶＲＡＭ１６２に記憶された操作画面の画像を携帯情報装置２００に送信する。
【０１３４】
送信部７３Ａは、第１アスペクト比が第２アスペクト比より小さく、かつ、第３アスペクト比が第１アスペクト比以下の場合、通信Ｉ／Ｆ部１１２が携帯情報装置２００との間の通信経路を確立した後、表示部分決定部５７Ａまたはスクロール制御部６９Ａから部分位置情報が入力されることに応じて、部分位置情報と、記憶制御部５９によりＶＲＡＭ１６２に記憶された操作画面の画像のうち部分位置情報で特定される表示部分の画像との組を携帯情報装置２００に送信する。
【０１３５】
送信部７３Ａは、部分位置情報と表示部分の画像との組を携帯情報装置２００に送信した後にアスペクト比検出部７１から入力される第３アスペクト比が、第１アスペクト比よりも大きい場合、記憶制御部５９によりＶＲＡＭ１６２に記憶された操作画面の画像のうち、携帯情報装置２００に送信していない部分の画像と、その部分の操作画面中の位置を示す部分位置情報との組を携帯情報装置２００に送信する。携帯情報装置２００に送信していない部分の画像が複数の場合には、複数の部分ごとに、その部分の画像とその部分の操作画面中の位置を示す部分位置情報との組を携帯情報装置２００に送信する。
【０１３６】
ここで、第２の実施の形態における携帯情報装置２００の動作について説明する。図１４は、第２の実施の形態における携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図１４を参照して、図７に示した機能と異なる点は、画面受信部２６３、合成部２５５および遠隔操作送信部２６５が、画面受信部２６３Ａ、合成部２５５Ａおよび遠隔操作送信部２６５Ａにそれぞれ変更された点である。その他の機能は図７に示した機能と同じなのでここでは説明を繰り返さない。
【０１３７】
画面受信部２６３Ａは、無線ＬＡＮＩ／Ｆ２０８を制御して、ＭＦＰ１００から画像を受信することに応じて、受信された画像を合成部２５５Ａに出力する。画面受信部２６３Ａは、画像と部分位置情報との組を受信する場合がある。画面受信部２６３Ａは、画像と部分位置情報との組を受信する場合、画像と部分位置情報との組を合成部２５５Ａに出力する。
【０１３８】
合成部２５５Ａは、画面受信部２６３から画像が入力されるが、部分位置情報が入力されない第１の場合と、画面受信部２６３から画像と部分位置情報との組が１つ入力される第２の場合と、画面受信部２６３から画像と部分位置情報との組が複数入力される第３の場合と、がある。合成部２５５Ａは、第１の場合、画面受信部２６３から入力される画像を、画面表示部２５７に出力する。画面表示部２５７は、合成部２５５Ａから画像が入力されることに応じて、表示部２０６を制御して、画像を表示させる。第１の場合に画面受信部２６３により受信される画像は、操作画面の画像である。
【０１３９】
合成部２５５Ａは、第２の場合、画面受信部２６３から入力される画像を、画面表示部２５７に出力するとともに、遠隔操作送信部２６５Ａに１つの部分位置情報を出力する。画面表示部２５７は、合成部２５５Ａから画像が入力されることに応じて、表示部２０６を制御して、画像を表示させる。第２の場合に画面受信部２６３により受信される画像は、操作画面中で部分位置情報により特定される表示部分の画像である。
【０１４０】
合成部２５５Ａは、第３の場合、画面受信部２６３から入力される複数の画像を、それぞれが組になる部分位置情報に基づいて合成する。部分位置情報は、画像の操作画面中の位置を示すので、複数の画像の相対的な位置関係が分かる。このため合成部２５５Ａは、相対的な位置に基づいて複数の画像を合成し、合成後の画像を生成する。合成部２５５Ａにより合成された後の画像は、操作画面の画像である。なお、操作画面が固定部分と変動部分とを含む場合、画像が固定部分と変動部分とに分割されて送信されるので、１つの固定部分の画像に複数の変動部分を合成することにより、操作画面の画像を生成する。合成部２５５Ａは、合成後の画像を画面表示部２５７に出力するとともに、複数の部分位置情報を遠隔操作送信部２６５Ａに出力する。画面表示部２５７は、画面受信部２６３Ａから合成後の画像が入力されることに応じて、表示部２０６を制御して、合成後の画像を表示させる。
【０１４１】
遠隔操作送信部２６５Ａは、画面表示部２５７から領域情報が入力され、操作受付部２５９から表示面中の位置が入力される。遠隔操作送信部２６５Ａは、合成部２５５Ａから部分位置情報が入力されない第１の場合と、合成部２５５Ａから１つの部分位置情報が入力される第２の場合と、合成部２５５Ａから複数の部分位置情報が入力される第３の場合と、がある。遠隔操作送信部２６５Ａは、第１の場合または第３の場合、画面表示部２５７により表示される画像を操作画面の画像とみなし、領域情報と操作受付部２５９から入力される表示面中の位置とに基づいて、操作受付部２５９から入力される表示面中の位置に対応する操作画面中の位置を決定する。遠隔操作送信部２６５は、第２の場合、その部分位置情報とユーザーが表示部２０６の表示面中で指示した位置とから操作画面中の位置を決定する。遠隔操作送信部２６５Ａは、無線ＬＡＮＩ／Ｆ２０８を制御して、操作画面中の位置を含む遠隔操作を、ＭＦＰ１００に送信する。
【０１４２】
図１３に戻って、遠隔操作受信部７５Ａは、通信Ｉ／Ｆ部１１２が携帯情報装置２００から遠隔操作を受信すると、遠隔操作を位置決定部６３Ａに出力する。位置決定部６３Ａは、遠隔操作受信部７５Ａから入力される遠隔操作に含まれる操作画面中の位置を取得し、取得された操作画面中の位置を操作決定部６１に出力する。
【０１４３】
表示部分決定部５７Ａは、携帯情報装置２００により遠隔操作されている状態で、操作画面決定部５３から画面識別情報が入力されることに応じて画面識別情報で特定される操作画面の少なくとも一部を表示部分に決定する。具体的には、表示部分決定部５７Ａは、表示部１６１の表示面の第１アスペクト比が操作画面の第２アスペクト比以上の場合、操作画面の全体を表示部分に決定する。表示部分決定部５７Ａは、表示部１６１の表示面の第１アスペクト比が操作画面の第２アスペクト比より小さい場合、操作画面の一部を表示部１６１に表示するための表示部分に決定する。表示部分のアスペクト比は、表示部１６１の表示面の第１アスペクト比と同じである。表示部分決定部５７Ａは、操作画面決定部５３から画面識別情報が入力される段階では、操作画面の最上部を含む表示部分に決定する。表示部分決定部５７は、表示部分を決定することに応じて、表示部分の操作画面中の位置を示す部分位置情報を、位置決定部６３Ａおよび送信部７３Ａに出力する。
【０１４４】
スクロール制御部６９Ａは、携帯情報装置２００により遠隔操作されている状態で、操作決定部６１から入力される遠隔操作がスクロール操作の場合、スクロール操作により特定されるスクロール量だけ表示部分を、操作画面中でスクロール操作により定まる方向に移動させる。表示部分決定部５７Ａは、スクロール制御部６９により表示部分が移動される場合、移動後の表示部分の操作画面中の位置を示す部分位置情報を、位置決定部６３Ａおよび送信部７３Ａに出力する。
【０１４５】
図１５は、第２の実施の形態における遠隔制御処理の流れの一例を示す第１のフローチャートである。図１６は、第２の実施の形態における遠隔制御処理の流れの一例を示す第２のフローチャートである。図１５および図１６を参照して、ステップＳ１０１において第２の実施の形態における直接操作実行処理を実行し、処理をステップＳ１０２に進める。第２の実施の形態における直性操作実行処理の詳細は後述するが、ユーザーが操作部１６３に入力する操作に従って実行する処理である。
【０１４６】
ステップＳ１０２〜ステップＳ１０５の処理は、図８のステップＳ０２〜ステップＳ０５の処理と同じである。従ってここでは説明を繰り返さない。ステップＳ１０６においては、第３アスペクト比が第１アスペクト比よりも大きいか否かをする。第３アスペクト比が第１アスペクト比よりも大きいならば処理をステップＳ１０７に進めるが、そうでなければ処理をステップＳ１０８に進める。ステップＳ１０７においては、操作画面の画像を携帯情報装置２００に送信し、処理をステップＳ１０９に進める。通信Ｉ／Ｆ部１１２を制御して、ステップＳ１０３において確立した通信経路を用いて、ＶＲＡＭ１６２に記憶された操作画面の画像を携帯情報装置２００に送信する。
【０１４７】
ステップＳ１０８においては、部分位置情報と表示部分の画像とを携帯情報装置２００に送信し、処理をステップＳ１０９に進める。通信Ｉ／Ｆ部１１２を制御して、ステップＳ１０３において確立した通信経路を用いて、ＶＲＡＭ１６２に記憶された操作画面の画像のうち表示部分の画像と、その表示部分の操作画面中の位置を示す部分位置情報とを携帯情報装置２００に送信する。
【０１４８】
ステップＳ１０９においては、遠隔操作を受信したか否かを判断する。通信Ｉ／Ｆ部１１２がステップＳ１０３において確立された通信経路を介して、遠隔操作を受信したか否かを判断する。遠隔操作を受信したならば処理をステップＳ１１０に進めるが、そうでなければ処理をステップＳ１１９に進める。ステップＳ１１９においては、第３アスペクト比を取得したか否かを判断する。通信Ｉ／Ｆ部１１２が携帯情報装置２００から第３アスペクト比を受信したならば処理をステップＳ１２０に進めるが、そうでなければ処理をステップＳ１０９に戻す。ステップＳ１２０においては、第３アスペクト比が第１アスペクト比よりも大きいか否かをする。第３アスペクト比が第１アスペクト比よりも大きいならば処理をステップＳ１２１に進めるが、そうでなければ処理をステップＳ１０９に戻す。
【０１４９】
ステップＳ１２１においては、未送信部分が存在するか否かを判断する。ＶＲＡＭ１６２に記憶された操作画面の画像のうちで、携帯情報装置２００に送信していない未送信部分が存在するか否かを判断する。未送信部分が存在するならば処理をステップＳ１２２に進めるが、そうでなければ処理をステップＳ１０９に戻す。ステップＳ１２２においては、未送信部分の画像と、その未送信部分の操作画面中の位置を示す部分位置情報との組を携帯情報装置に送信し、処理をステップＳ１２１に進める。例えば、表示部分が、操作画面中の中段の場合、表示部分の上方の部分と、下方の部分とが未送信部分となる。この場合、表示部分の上方の第１の未送信部分と、表示部分の下方の第２の未送信部分とが、携帯情報装置２００に送信される。
【０１５０】
ステップＳ１１０においては、遠隔操作に含まれる操作画面中の位置を取得し、処理をステップＳ１１１に進める。操作画面中の位置から遠隔操作を特定する。ステップＳ１１１においては、遠隔操作によって処理を分岐する。遠隔操作が設定操作ならば処理をステップＳ１１２に進め、実行指示操作ならば処理をステップＳ１１３に進め、遠隔操作がスクロール操作ならば処理をステップＳ１１４に進め、画面遷移操作ならば処理をステップＳ１１６に進め、遠隔操作が終了操作ならば処理をステップＳ１１８に進める。
【０１５１】
ステップＳ１１２においては、設定操作に従って、設定操作で定まる設定値で変更し、処理をステップＳ１０９に戻す。ステップＳ１１３においては、実行指示操作に従って、実行指示操作で定まる処理を実行し、処理をステップＳ１０９に戻す。
【０１５２】
処理がステップＳ１１４に進む前の段階で表示部分が決定されている。ステップＳ１１４においては、新たな表示部分を決定し、処理をステップＳ１１５に進める。例えば、操作画面中で表示部分をスクロール操作で定まる方向に、スクロール操作で定まる量だけ移動させることにより、表示部分を決定する。ステップＳ１１５においては、ステップＳ１１４において決定された表示部分の部分位置情報と表示部分の画像とを、携帯情報装置２００に送信し、処理をステップＳ１０９に戻す。
【０１５３】
ステップＳ１１６においては、図１０に示した画面遷移処理を実行し、処理をステップＳ１１７に進める。ステップＳ１１７においては、ステップＳ１１６において決定された操作画面の画像をＶＲＡＭ１６２に記憶し、処理をステップＳ１０６に戻す。ステップＳ１１８においては、ステップＳ１０３において携帯情報装置２００との間で確立された通信経路を切断し、処理をステップＳ１０１に戻す。
【０１５４】
図１７は、第２の実施の形態における直接操作実行処理の流れの一例を示すフローチャートである。図１７を参照して、図１０に示した処理と異なる点は、ステップＳ３４〜ステップＳ３６が、ステップＳ３４Ａ〜ステップＳ３６Ａに変更された点である。その他の処理は、図１０に示した処理と同じなのでここでは説明を繰り返さない。
【０１５５】
ステップＳ３４Ａにおいては、操作画面の画像をＶＲＡＭ１６２に記憶し、処理をステップＳ３５Ａに進める。ステップＳ３５Ａにおいては、表示部１６１を制御して、ＶＲＡＭ１６２に記憶された操作画面の画像のうちステップＳ３３において決定された表示部分の画像を表示させ、処理を遠隔制御処理に戻す。処理がステップＳ３６Ａに進む前の段階で表示部分が決定されている。ステップＳ３６Ａにおいては、新たな表示部分を決定し、処理をステップＳ３５Ａに進める。例えば、操作画面中で表示部分をスクロール操作で定まる方向に、スクロール操作で定まる量だけ移動させることにより、表示部分を決定する。ステップＳ３５Ａにおいては、処理がステップＳ３６Ａから進む場合、表示部１６１を制御して、ＶＲＡＭ１６２に記憶された操作画面の画像のうちステップＳ３６Ａにおいて決定された表示部分の画像を表示させ、処理を遠隔制御処理に戻す。
【０１５６】
図１８は、第２の実施の形態における遠隔操作処理の流れの一例を示すフローチャートである。図１８を参照して、図１２に示した遠隔操作処理と異なる点は、ステップＳ５５〜ステップＳ６０に代えて、ステップＳ７１〜ステップＳ７７が実行される点、ステップＳ６２が削除された点、ステップＳ６３およびステップＳ６４がステップＳ６３ＡおよびステップＳ６４Ａに変更された点である。その他の処理は、図１２に示した処理と同じなのでここでは説明を繰り返さない。
【０１５７】
ステップＳ５５において、ＭＦＰ１００に第３アスペクト比を送信した後、ステップＳ７１において、ＭＦＰ１００から部分位置情報と画像とを受信したか否かを判断する。無線ＬＡＮＩ／Ｆ２０８がＭＦＰ１００から部分位置情報と画像とを受信したならば処理をステップＳ７２に進めるが、そうでなければ処理をステップＳ７３に進める。ステップＳ７２においては、受信された画像を表示部２０６に表示し、処理をステップＳ６１に進める。
【０１５８】
ステップＳ７３においては、ＭＦＰ１００から部分位置情報と未送信部分の画像とを受信したか否かを判断する。無線ＬＡＮＩ／Ｆ２０８がＭＦＰ１００から部分位置情報と未送信部分の画像とを受信したならば処理をステップＳ７４に進めるが、そうでなければ処理をステップＳ７６に進める。ステップＳ７４においては、既に表示部２０６に表示している画像に、未送信部分の画像を合成し、合成した後の合成画像を生成する。表示部２０６に表示している画像の操作画面中の位置を部分位置情報によって特定し、未送信部分の操作画面中の位置を部分位置情報によって特定することにより、表示部２０６に表示している画像と未送信部分の画像とを合成する。次のステップＳ７５においては、合成画像を表示部２０６に表示し、処理をステップＳ６１に進める。
【０１５９】
ステップＳ７６においては、ＭＦＰ１００から操作画面の画像を受信したか否かを判断する。無線ＬＡＮＩ／Ｆ２０８がＭＦＰ１００から操作画面の画像を受信したならば処理をステップＳ７７に進めるが、そうでなければ処理をステップＳ６１に進める。ステップＳ７７においては、操作画面の画像を表示部２０６に表示し、処理をステップＳ６１に進める。
【０１６０】
ステップＳ６１において指示が受け付けられると、ステップＳ６３Ａにおいて、操作画面中の位置を決定し、処理をステップＳ６４Ａに進める。ステップＳ７５において合成画像が生成される場合は、合成画像は操作画面の画像である。表示部２０６に合成画像が表示される場合、または、表示部２０６に操作画面の画像が表示される場合は、ステップＳ６１においてタッチパネル２０７Ｂにより検出された表示面中の位置に対応する操作画面中の位置を決定する。ステップＳ７２において、表示部分の画像が表示される場合は、ステップＳ６１においてタッチパネル２０７Ｂにより検出された表示面中の位置に対応する表示部分中の位置を特定し、部分位置情報で定まる表示部分の操作画面中の位置に基づいて、操作画面中の位置を決定する。
【０１６１】
次のステップＳ６４Ａにおいては、遠隔操作を送信し、処理をステップＳ７１に戻す。ステップＳ５２において確立された通信経路を介して、ＭＦＰ１００に遠隔操作を送信する。遠隔操作は、ステップＳ６３Ａにおいて決定された操作画面中の位置を含む。
【０１６２】
ステップＳ６７において、姿勢が変化したと判断される場合は処理をステップＳ５５に戻し、そうでなければ処理をステップＳ７１に戻す。
【０１６３】
第２の実施の形態におけるＭＦＰ１００は、操作画面が決定されることに応じて、操作画面の画像をＶＲＡＭ１６２に記憶し、携帯情報装置２００により遠隔操作されていない状態でＶＲＡＭ１６２に記憶された操作画面の画像のうち表示部分の画像を表示部１６１に表示し、操作部１６３により受け付けられるユーザーによるスクロール操作に従って、表示部分を操作画面中で移動させ、ＶＲＡＭ１６２に記憶された操作画面の画像のうち移動後の表示部分の画像を表示部１６１に表示する。携帯情報装置２００により遠隔操作される状態では、第１アスペクト比が第２アスペクト比より小さく、かつ、第３アスペクト比が第１アスペクト比以下の場合は、ＶＲＡＭ１６２に記憶された操作画面の画像のうち表示部分の画像を携帯情報装置２００に送信し、第１アスペクト比が第２アスペクト比より小さく、かつ、第３アスペクト比が第１アスペクト比より大きい場合は、ＶＲＡＭ１６２に記憶された操作画面の画像を携帯情報装置２００に送信する。このため、第３アスペクト比が第１アスペクト比より大きい場合は、携帯情報装置２００によって、第３アスペクト比の表示面に第１アスペクト比より大きい第２アスペクト比の操作画面が表示されるので、第３アスペクト比の表示面に第１アスペクト比の表示部分を表示する場合よりも携帯情報装置２００の表示部２０６の表示面を有効に利用することができる。
【０１６４】
また、第２の実施の形態におけるＭＦＰ１００は、送信の対象となる画像に対応する表示部分の操作画面中の位置を示す部分位置情報を、画像とともに携帯情報装置２００に送信するので、携帯情報装置２００においては、複数の画像の相対的な位置に基づいて合成することができ、複数の画像から操作画面の画像を生成することができる。
【０１６５】
また、第２の実施の形態におけるＭＦＰ１００は、携帯情報装置２００により遠隔操作されていない状態で、タッチパネル１６５によりユーザーにより指示される位置が検出されることに応じて、検出された位置に対応する表示部分中の位置に基づいて、操作画面中の位置を決定し、携帯情報装置２００により遠隔操作されている状態では、携帯情報装置２００から操作画面中の位置を示す画面中位置情報を含む遠隔操作を受信することに応じて、遠隔操作に含まれる画面中位置情報に基づいて、操作画面中の位置を決定する。このため、携帯情報装置２００から受信する遠隔操作を、タッチパネル１６５によって表示部１６１の表示面中でユーザーにより指示される位置が検出される場合と同様に処理することができる。
【０１６６】
なお、上述した実施の形態においては、画面処理装置の一例としてＭＦＰ１００を例に説明したが、図８〜図１１に示した遠隔制御処理をＭＦＰ１００に実行させる遠隔制御方法、その遠隔制御方法をＭＦＰ１００を制御するＣＰＵ１１１に実行させる遠隔制御プログラムとして発明を捉えることができるのは言うまでもない。
【０１６７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１６８】
１  遠隔制御システム、３  ネットワーク、５  無線局、１１０  メイン回路、１１１  ＣＰＵ、１１２  通信Ｉ／Ｆ部、１１３  ＲＯＭ、１１４  ＲＡＭ、１１５  ＨＤＤ、１１６  ファクシミリ部、１１７  外部記憶装置、１２０  自動原稿搬送装置、１３０  原稿読取部、１４０  画像形成部、１５０  給紙部、１５５  後処理部、１６０  操作パネル、１６１  表示部、１６２  ＶＲＡＭ、１６３  操作部、１６５  タッチパネル、１６５  ハードキー部、１６７  ハードキー部、２００，２００Ａ，２００Ｂ  携帯情報装置、２０１  ＣＰＵ、２０２  カメラ、２０３  フラッシュメモリ、２０４  無線通信部、２０５  通話部、２０６  表示部、２０７  操作部、２０７Ａ  メインキー、２０７Ｂ  タッチパネル、２０８  無線ＬＡＮＩ／Ｆ、２１０  加速度センサー、２１１  外部記憶装置、５１  操作受付部、５３  操作画面決定部、５５，５５Ａ  表示制御部、５７，５７Ａ  表示部分決定部、５９，５９Ａ  記憶制御部、６０  通信制御部、６１  操作決定部、６３，６３Ａ  位置決定部、６５  位置検出部、６９，６９Ａ  スクロール制御部、７１  アスペクト比検出部、７３，７３Ａ  送信部、７５，７５Ａ  遠隔操作受信部、２５１  携帯側通信制御部、２５３  姿勢検出部、２５５，２５５Ａ  合成部、２５７  画面表示部、２５９  操作受付部、２６１  アスペクト比送信部、２６３，２６３Ａ  画面受信部、２６５，２６５Ａ  遠隔操作送信部。
【図１】
0006701940.tif 000002
【図２】
0006701940.tif 000003
【図３】
0006701940.tif 000004
【図４】
0006701940.tif 000005
【図５】
0006701940.tif 000006
【図６】
0006701940.tif 000007
【図７】
0006701940.tif 000008
【図８】
0006701940.tif 000009
【図９】
0006701940.tif 000010
【図１０】
0006701940.tif 000011
【図１１】
0006701940.tif 000012
【図１２】
0006701940.tif 000013
【図１３】
0006701940.tif 000014
【図１４】
0006701940.tif 000015
【図１５】
0006701940.tif 000016
【図１６】
0006701940.tif 000017
【図１７】
0006701940.tif 000018
【図１８】
0006701940.tif 000019