(57)【特許請求の範囲】
【請求項１】
プロセッサと、
所定の処理の実行の際に前記プロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第１の層と、前記プロセッサが実行可能なように予め翻訳されている命令セットで構成された第２の層と、を有する単一のアプリケーションプログラムを記憶する記憶手段と、
前記アプリケーションプログラムの印刷機能に用いられる印刷装置と通信する場合、前記第１の層において、前記第２の層に対して前記印刷装置との通信を要求する要求手段と、
前記第２の層において、前記要求手段による要求に従って、前記印刷装置と通信して前記印刷装置から所定の情報を取得する通信手段と、
前記第２の層において、前記通信手段により取得された前記所定の情報のデータ形式を前記第１の層に対応するデータ形式に変換する変換手段と、
前記第１の層において、前記変換手段によりデータ形式が変換された前記所定の情報に基づく表示を行う表示手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
所定の処理の実行の際にプロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第１の層と、前記プロセッサが実行可能なように予め翻訳されている命令セットで構成された第２の層と、を有する単一のアプリケーションプログラムであって、
前記アプリケーションプログラムの印刷機能に用いられる印刷装置と通信する場合、前記第１の層において、前記第２の層に対して前記印刷装置との通信を要求し、
前記第２の層において、当該要求に従って、前記印刷装置と通信して前記印刷装置から所定の情報を取得し、
前記第２の層において、前記取得された前記所定の情報のデータ形式を前記第１の層に対応するデータ形式に変換し、
前記第１の層において、前記対応するデータ形式に変換された前記所定の情報に基づく表示を行う、
ようにコンピュータを機能させるためのプログラム。
【請求項３】
前記通信においては、前記印刷装置から前記印刷装置の情報を取得することを特徴とする請求項２に記載のプログラム。
【請求項４】
前記表示では、取得された前記印刷装置の情報に基づいて印刷設定画面を表示することを特徴とする請求項２に記載のプログラム。
【請求項５】
前記通信においては、前記印刷装置が対応する通信プロトコルに従って、前記印刷装置と通信することを特徴とする請求項２乃至４のいずれか１項に記載のプログラム。
【請求項６】
前記印刷装置が対応する通信プロトコルが複数である場合、各通信プロトコルに応じて通信が行われることを特徴とする請求項５に記載のプログラム。
【請求項７】
前記通信においては、第１の通信プロトコルに従って前記印刷装置と接続し、第２の通信プロトコルに従って前記所定の情報を取得することを特徴とする請求項５又は６に記載のプログラム。
【請求項８】
前記第１の通信プロトコルは、ＢｏｎｊｏｕｒまたはＳＳＤＰ（Ｓｉｍｐｌｅ  Ｓｅｒｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ  Ｐｒｏｔｏｃｏｌ）であることを特徴とする請求項７に記載のプログラム。
【請求項９】
前記所定の情報は、前記印刷装置の機能情報であることを特徴とする請求項２乃至８のいずれか１項に記載のプログラム。
【請求項１０】
前記第２の通信プロトコルは、ＨＴＴＰであることを特徴とする請求項７に従属する請求項９に記載のプログラム。
【請求項１１】
前記所定の情報は、前記印刷装置のステータス情報であることを特徴とする請求項２乃至８のいずれか１項に記載のプログラム。
【請求項１２】
前記第２の通信プロトコルは、ＨＴＴＰまたはＧＥＮＡ（Ｇｅｎｅｒａｌ  Ｅｖｅｎｔ  Ｎｏｔｉｆｉｃａｔｉｏｎ  Ａｒｃｈｉｔｅｃｔｕｒｅ）であることを特徴とする請求項７に従属する請求項１１に記載のプログラム。
【請求項１３】
前記第２の層においてさらに、印刷対象のデータを前記印刷装置に送信することを特徴とする請求項２乃至１２のいずれか１項に記載のプログラム。
【請求項１４】
第３のプロトコルに従って、前記印刷対象のデータを送信することを特徴とする請求項７に従属する請求項１３に記載のプログラム。
【請求項１５】
前記第３のプロトコルは、ＭＴＯＭ（Ｍｅｓｓａｇｅ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｍｅｃｈａｎｉｓｍ）であることを特徴とする請求項１４に記載のプログラム。
【請求項１６】
前記通信においては、印刷ジョブが印刷設定と前記印刷対象のデータとを含む場合に、それぞれを異なる複数の通信プロトコルに従って前記印刷装置に送信することを特徴とする請求項１３乃至１５のいずれか１項に記載のプログラム。
【請求項１７】
前記第１の層に対応するデータ形式は文字列であることを特徴とする請求項２乃至１６のいずれか１項に記載のプログラム。
【請求項１８】
前記第１の層に対応するデータ形式は、ＢＡＳＥ６４形式であることを特徴とする請求項１７に記載のプログラム。
【請求項１９】
前記第１の層により表示される操作画面に対するユーザの指示に従って、前記第２の層に対して前記印刷装置との通信が要求されることを特徴とする請求項２乃至１８のいずれか１項に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う情報処理装置、およびプログラムに関する。
【背景技術】
【０００２】
近年、カメラ機能が搭載された可搬型多機能携帯電話（以下、モバイルコンピュータ）が普及し、デジタルカメラや従来のパーソナルコンピュータ（以下、ＰＣ）の販売台数を遥かに凌ぐ勢いで拡販されている。このようなモバイルコンピュータのシステムは、基本的には３つの要素で成り立っている。即ち、コンピュータ自身であるハードウェア、ハードウェア上で動作するオペレーティングシステム（以下、ＯＳ）、ＯＳ上で動作するアプリケーションである。ユーザは、アプリケーションを用いて、地図やメール、ブラウザを起動してインターネット上のウェブサイトを閲覧するなどの操作を行うことができる。このようなモバイルコンピュータ上で動作するアプリケーションの形態として、主に２つのものが存在する。ネイティブアプリケーションとウェブアプリケーションである。以下、それぞれの特徴を説明する。
【０００３】
ネイティブアプリケーションは、通常、ＯＳ毎に用意される開発環境や開発言語により開発される。例えば、Ａ社が提供するＯＳ上ではＣ／Ｃ＋＋言語、Ｂ社が提供するＯＳ上ではＪａｖａ（登録商標）言語、Ｃ社が提供するＯＳ上では更に異なる開発言語を用いる、といったようにＯＳ毎に異なる開発言語で開発される。ネイティブアプリケーションは、各開発環境において予めコンパイル（翻訳）され、人間が理解可能ないわゆる高水準言語から、コンピュータのＣＰＵが解釈可能なアセンブラ等の命令セット群に変換される。このように、ネイティブアプリケーションには、命令を直接ＣＰＵが解釈することから高速動作が可能であるというメリットがある。
【０００４】
ウェブアプリケーションは、コンピュータ上のＯＳに標準的に組み込まれているウェブブラウザ上で動作するアプリケーションである。ウェブアプリケーションは、ウェブブラウザが解釈できるように、一般的には、ＨＴＭＬ５、ＣＳＳ、Ｊａｖａｓｃｒｉｐｔ（登録商標）といった言語を用いて開発される。これらはウェブ標準言語であるため、一度アプリケーションを記述すれば、ウェブブラウザが動作する環境であればどこでも動作可能というメリットがある。特許文献１には、ウェブアプリケーションの形態の一例が記載されている。ＨＴＭＬ５、ＣＳＳ、ＪａｖａＳｃｒｉｐｔで記述されたウェブアプリケーションの本体は、モバイルコンピュータ外部のサーバ上に存在する。ウェブアプリケーションは、利用時にサーバからモバイルコンピュータにインターネット回線を介してダウンロードされるため、ユーザは、ユーザインタフェース（ＵＩ）デザインなどを予めコンパイルすることなく動的に変更することができる。
【０００５】
近年、モバイルコンピュータは高解像度のカメラを保持することが多くなってきている。モバイルコンピュータは日常的に携帯され、かつ写真を数千枚程度記憶可能なメモリを備えているため、ユーザは高い頻度で気軽に写真撮影を楽しむことができる。このような写真画像に対して、例えばモノクロ・セピア調にするフィルタ処理を施したり、写真が暗い、色バランスが崩れている等の不具合を修正するための画像処理は、ユーザにとって極めて重要であり、必要不可欠なアプリケーションとなってきている。このような画像処理をユーザに対して、ストレスなく簡単に提供できることがアプリケーションにおいては重要である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２３３０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ウェブアプリケーションは、一般的には、ブラウザのセキュリティ上の制約から、ブラウザ上でＪａｖａＳｃｒｉｐｔにより実行されるか、サーバ上で実行される。ＪａｖａＳｃｒｉｐｔは、従来より、人間が視認可能な文字列のスクリプトとして記述され、スクリプトを動作時に随時コンパイルすることで実行することができる。しかしながら、高度で複雑な画像処理をＪａｖａＳｃｒｉｐｔで記述すると動作が遅くなるという問題がある。
【０００８】
特許文献１のように画像処理をサーバで実行するように構築した場合には、モバイルコンピュータ内部に存在する写真などのデータをインターネット回線を介してサーバ上にアップロードし、画像処理後の結果をダウンロードする時間が必要となる。これは、モバイルアプリケーションに対してストレスの少ない、即時的な処理を欲しているユーザにとっては大きな問題となる。それに加え、サーバでの処理はオフラインでは実行できないという問題がある。
【０００９】
上述したように、ネイティブアプリケーションには、処理を高速実行できるというメリットがある。しかしながら、ネイティブアプリケーションはＯＳ毎に異なる開発言語で別々に開発する必要があるため、開発コストと開発時間が増大するという問題がある。また、ネイティブアプリケーションは、予めコンパイルする必要がある。そのため、例えばアプリケーションのＵＩデザインを動作時に変更したり、機能を動的に追加するといったことは難しく、柔軟性に欠けるという問題がある。
【００１０】
ここで、ＵＩの全て若しくは大部分をＨＴＭＬ５、ＣＳＳ３、Ｊａｖａｓｃｒｉｐｔといったいわゆるウェブ標準言語で記述し、ウェブ標準言語で記述された内容から、ネイティブ言語で記述された機能を利用することができるアプリケーションを考える。このようなアプリケーションをモバイルコンピュータ上に実装することで、ウェブアプリケーションとネイティブアプリケーションの双方のメリットを実現するシステムをモバイルコンピュータ上で構築することができる。
【００１１】
そのようなシステム上で、例えば、写真印刷アプリケーションを動作させる場合を考える。そのようなアプリケーションでは、例えば、印刷対象となる写真上に撮影日時などの日付情報を重畳し、絵文字などのスタンプ画像を重畳し、重畳した結果を外部のプリンタでプリントする。
【００１２】
ここで、ＪａｖａＳｃｒｉｐｔ等のスクリプトで記述されたアプリケーションは、一般的にセキュリティ上の制約から外部のデバイスと通信ができないという制約を有している。一方、上記のプリンタ等、接続される外部デバイスは、プリント機能の設定だけでも複数種類有する場合も多く、プリント機能以外にも様々な機能を実行可能になっている。例えば、プリント品質を維持する為のメンテナンス実行、ステータス管理、エラー通知などである。また、プリンタの機種によっても機能が異なる。ウェブアプリケーション等のスクリプトで記述されたアプリケーションは、外部のデバイスとの通信が制約されるので、プリンタが持つ機能をアプリケーションから十分に利用することができない。
【００１３】
本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、スクリプト層を含むソフトウェア構成において、外部のデバイスとの通信に基づく画像処理の実行不可を防ぐ情報処理装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明に係る情報処理装置は、プロセッサと、所定の処理の実行の際に前記プロセッサが実行可能に翻訳されて実行されるスクリプト命令セットで構成された第１の層と、前記プロセッサが実行可能なように予め翻訳されている命令セットで構成された第２の層と、を有する単一のアプリケーションプログラムを記憶する記憶手段と、前記アプリケーションプログラムの印刷機能に用いられる印刷装置と通信する場合、前記第１の層において、前記第２の層に対して前記印刷装置との通信を要求する要求手段と、前記第２の層において、前記要求手段による要求に従って、前記印刷装置と通信して前記印刷装置から所定の情報を取得する通信手段と、前記第２の層において、前記取得手段により取得された前記所定の情報のデータ形式を前記第１の層に対応するデータ形式に変換する変換手段と、前記第１の層において、前記変換手段によりデータ形式が変換された前記所定の情報に基づく表示を行う表示手段と、を備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、スクリプト層を含むソフトウェア構成において、外部のデバイスとの通信に基づく画像処理の実行不可を防ぐことができる。
【図面の簡単な説明】
【００１６】
【図１】携帯型情報端末のハードウェア構成を示すブロック図である。
【図２】携帯型情報端末のソフトウェア構成を示すブロック図である。
【図３】写真印刷処理の全体の手順を示すフローチャートである。
【図４】Ｓ３０１の写真画像選択の処理を示すフローチャートである。
【図５】Ｓ３０２の画像処理を示すフローチャートである。
【図６】Ｓ３０３のスタンプ画像追加の処理を示すフローチャートである。
【図７】Ｓ３０４のスタンプ画像の特定の処理を示すフローチャートである。
【図８】Ｓ３０５のスタンプ画像の操作処理を示すフローチャートである。
【図９】Ｓ３０６のプリンタ設定の処理を示すフローチャートである。
【図１０】Ｓ３０７のレンダリング処理を示すフローチャートである。
【図１１】Ｓ３０８のプリント処理を示すフローチャートである。
【図１２】写真印刷アプリケーション画面の一例を示す図である。
【図１３】プリンタの設定ＵＩの一例を示す図である。
【図１４】複数の通信プロトコルによる外部デバイスとの通信を説明する図である。
【図１５】プリント実行における通信プロトコルによる通信を説明する図である。
【図１６】ステータス確認における通信プロトコルによる通信を説明する図である。
【図１７】プログレスバーを示す図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【００１８】
［第１の実施形態］
以下、携帯型情報端末上で、ウェブアプリケーションの１つである写真印刷アプリケーションを動作させたときの動作について説明する。写真印刷アプリケーションでは、ユーザが選択した画像に対して様々な画像処理（例えば、輝度補正し、スタンプ画像を追加）を適用した後に、印刷対象のコンテンツを印刷する。なお、本実施形態においては、写真印刷アプリケーションは、後述するハイブリッド型アプリケーションとして提供されている。
【００１９】
［ハードウェア構成］
図１は、情報処理装置、特に、携帯型情報端末１００のハードウェア構成の一例を示すブロック図である。同図において、ＣＰＵ（中央演算装置）１０１は、各実施形態において説明する動作を、プログラムをＲＯＭ１０２からＲＡＭ１０３に読み出して実行することにより実現する。ＲＯＭ１０２は、ＣＰＵ１００により実行されるプログラム等を記憶するコンピュータ読取可能な記憶媒体である。ＲＡＭ１０３は、例えば、ＣＰＵ１００によるプログラムの実行時に、各種データを一時的に記憶するためのワーキングメモリとして用いられる。２次記憶装置１０４は、例えばハードディスクやフラッシュメモリであり、例えば、画像ファイルや画像データ、画像解析などの処理結果を保持するデータベースなどを記憶する。タッチセンサ１０５は、タッチパネル上でのユーザの接触動作を検知するためのセンサである。ディスプレイ１０６は、写真印刷アプリケーション上の印刷設定画面等のユーザインタフェース画面や、画像処理結果などを表示する。ディスプレイ１０６は、タッチセンサ１０５を含んでも良い。
【００２０】
加速度センサ１０７は、加速度を検出するためのセンサであり、携帯型情報端末１００の傾き等を検出する。外部インタフェース（ＩＦ）１０８は、携帯型情報端末１００をプリンタ１１４と接続する。携帯型情報端末１００は、外部ＩＦ１０８により、プリンタ１１５での印刷を行うことができる。また、携帯型情報端末１００は、外部ＩＦ１１０により、インターネット１１６を介してプリンタ１１５での印刷を行うこともできる。外部ＩＦ１０９は、携帯型情報端末１００を外部撮像デバイス（カメラ）１１４と接続する。外部撮像デバイス１１３や内部撮像デバイス１１１により撮像された画像データは、所定の画像処理後、２次記憶装置１０４に格納される。外部ＩＦ１１０は、無線ＬＡＮを備えており、携帯型情報端末１００をインターネット１１６と接続する。携帯型情報端末１００は、外部ＩＦ１１０により、インターネット１１６を介して外部の各種サーバ１１７から画像データ等を取得することができる。携帯型情報端末１００の動作に必要な電源は、バッテリ１１２から供給される。上記のＣＰＵ１０１〜バッテリ１１２は、システムバス（制御バス／データバス）１１３を介して相互に接続されており、ＣＰＵ１０１は各部を統括的に制御する。
【００２１】
携帯型情報端末は、ＵＳＢや、有線ＬＡＮのような有線接続を行うための外部ＩＦを含んでも良い。また、無線ＬＡＮの他に、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信のような無線接続を行うための外部ＩＦを含んでも良い。無線ＬＡＮによる接続形態においては、例えば、デバイス同士が直接接続される場合や、不図示の無線ＬＡＮルータを介して通信先のデバイスと接続される場合がある。
【００２２】
［ソフトウェア構成］
図２は、写真印刷アプリケーション（以下、アプリケーション）を実行するための、携帯型情報端末１００上でのソフトウェア構成の一例を示す図である。図２に示すソフトウェアの各ブロックは、ＣＰＵ１０１により実現される。本実施形態においては、携帯型情報端末１００のソフトウェアは、スクリプト層２０１、ネイティブ層２０２、ＯＳ層２０３の３つの階層構造を有する。アプリケーションの機能は、図２に示す各層の連携により実現される。スクリプト層２０１は、ＨＴＭＬ５、ＣＳＳ（Ｃａｓｃａｄｉｎｇ  Ｓｔｙｌｅ  Ｓｈｅｅｔｓ）３、Ｊａｖａｓｃｒｉｐｔといったウェブ標準言語により、テキストデータで各種命令（スクリプト命令セット）が記述されている。各種命令とは、例えば、コンテンツの描画や画像の表示、動画の再生等の命令である。また、スクリプト層２０１は、それらのテキストデータを保持している。記述されたスクリプトは、アプリケーション実行環境上に存在するプロセッサ（ＣＰＵ１０１）によりテキスト命令群が翻訳されて実行される。翻訳は、実行の度に命令文を一行ずつ動的に翻訳する形態や、アプリケーションを起動したときに翻訳する形態、アプリケーションを携帯型情報端末１００にインストールしたときに翻訳する形態などで行われる。以下、スクリプト層２０１で処理することやスクリプト層２０１での内容を単にスクリプトとも呼ぶ。スクリプトの命令をデバイス（携帯型情報端末１００）内で翻訳する際には、例えば、後述するネイティブ層２０２やＯＳ層２０３のインタプリタの機能が使用される。なお、本実施形態においては、アプリケーションのＵＩの大部分がスクリプトで記述される。
【００２３】
ネイティブ層２０２は、アプリケーション実行環境以外で予め翻訳（コンパイル）された処理命令セットを実行する部分である。ネイティブ層２０２は、例えばＣ／Ｃ＋＋といった高水準言語で記述されたコードが予めアプリケーション開発者のＰＣやサーバ上でコンパイルされ、ＣＰＵ１０１が直接解釈できる命令の集合体となっている。以下、ネイティブ層２０２で処理することやネイティブ層２０２での内容、ＯＳ層２０３の機能をネイティブ層２０２から呼び出すことを含めて単にネイティブとも呼ぶ。なお、ネイティブ層２０２の他の実装系としてはＪａｖａがある。Ｊａｖａは、Ｃ／Ｃ＋＋と類似の高水準言語であり、予めアプリケーション開発時の開発環境上で中間コードに翻訳されている。翻訳された中間コードは、各ＯＳが備えるＪａｖａ仮想環境上で動作する。本実施形態においては、そのような形態も、ネイティブ層２０３の形態の１つである。
【００２４】
ＯＳ層２０３は、デバイスのオペレーティングシステム（ＯＳ）に対応する。ＯＳ層２０３は、ハードウェア機能の使用をアプリケーションに提供する役割や、ＯＳ固有の機能を有する。ＯＳ層２０３はＡＰＩを備えており、スクリプト層２０１やネイティブ層２０２からＯＳ層２０３の機能を使用することができる。
【００２５】
本実施形態では、上記のスクリプト層２０１からネイティブの機能の呼び出しを可能にすることをバインディング（又はバインド）と呼ぶ。各種ネイティブ機能はＡＰＩを備えており、スクリプト層２０１は、ＡＰＩを呼び出すことによりネイティブ機能を使用することができる。そのようなバインディング機能は、通常、各種ＯＳが標準的に備えている。本実施形態では、スクリプト層２０１とネイティブ層２０２を両方含むアプリケーションを特にハイブリッド型アプリケーションと呼ぶ。ハイブリッド型アプリケーションでは、ＵＩの全て若しくは大部分をＨＴＭＬ５、ＣＳＳ３、Ｊａｖａｓｃｒｉｐｔといったいわゆるウェブ標準言語で記述し、ウェブ標準言語で記述された内容から、ネイティブ言語で記述された機能を利用することができる。このようなハイブリッド型アプリケーションを携帯型情報端末１００上に実装することで、ウェブアプリケーションとネイティブアプリケーションの双方のメリットを実現するシステムを携帯型情報端末１００上で構築することができる。
【００２６】
以下、図２の各ブロックについて説明する。
【００２７】
●画像データの取得
スクリプト層２０１の画像取得部２０４は、ネイティブ層２０２に対して画像データの取得を依頼する。取得依頼方法は複数可能であり、例えば、ファイルの存在場所そのものを指定する絶対パス指定方法や、ダイアログ表示を促す方法などがある。ネイティブ層２０２の画像読込部２０５は、画像取得部２０４からの取得依頼に基づき、画像データを保持している領域であるネイティブ層２０２の画像群２０６から画像データを取得する。画像群２０６からの画像データの取得方法は、画像取得部２０４の依頼方法によって異なる。画像読込部２０５は、例えば、ファイルの絶対パスに基づき直接に画像データを取得したり、ダイアログ表示での選択に基づき画像データを取得する。
【００２８】
ネイティブ層２０２のデータ変換部２０７は、ネイティブ層２０２のデータをスクリプト層２０１で利用可能なデータ形式に変換する。逆に、データ変換部２０７は、スクリプト層２０１から送られてきたデータをネイティブ層２０２で利用可能なデータ形式に変換する。スクリプト層２０１のデータ変換部２０８は、スクリプト層２０１のデータをネイティブ層２０２で利用可能なデータ形式に変換する。逆に、ネイティブ層２０２から送られてきたデータをスクリプト層２０１で利用可能なデータ形式に変換する。本実施形態では、例えば、ネイティブ層２０２の画像読込部２０５により取得された画像データは、スクリプト層２０１で利用可能なＢＡＳＥ６４データ形式に変換されてスクリプト層２０１に渡される。
【００２９】
●画像データの読込／保存
ネイティブ層２０２のデータ保持部２０９は、画像読込部２０５により読み込まれた画像データや、画像処理部２１０により画像処理が実行された画像データを保持する。ここで、保持される画像データはＲＧＢ展開されている。従って、画像読込部２０５により読み込まれて保持された画像データに対して、直ちに画像処理が実行可能である。また、記憶されている画像データは、スクリプト層２０１の画像取得部２０４で生成されたＩＤと対になっており、データ保持部２０９から画像データを取得する場合には、ＩＤを指定する。
【００３０】
ネイティブ層２０２のデータ保存部２１６は、必要に応じて、データ保持部２０９に保持されている画像データを画像群２０６に格納する。また、データ保存部２１６は、アプリケーションが用意しているスタンプ画像や、テンポラリファイルの保存に用いられる場合もある。
【００３１】
●出力
スクリプト層２０１のレンダリング部２１９は、出力（表示／印刷）対象の画像のレンダリングについてのスクリプトを作成するためのブロックであり、コンテンツ描画部２１１、コンテンツ操作部２１２、画像処理制御部２１３を含む。本実施形態では、レンダリング部２１９でスクリプト作成途中の画像はディスプレイ１０６には表示されない。コンテンツ描画部２１１は、印刷対象のコンテンツを、ウェブ標準言語で記述する。スクリプト層２０１のコンテンツ操作部２１２は、画像の操作をスクリプトに反映する。画像の操作とは、例えば、画像の拡大、移動、回転である。コンテンツ描画部２１１による記述には、コンテンツ操作部２１２で操作された内容も反映される。ここで記述されたコンテンツのスクリプトは、後述するＯＳ層２０３のインタプリタ２１８で解釈され、ディスプレイ１０６に表示される。画像処理制御部２１３は、画像処理に用いる補正パラメータ（例えば、輝度の補正値）と、補正対象となる画像を決定する。それらのデータは、必要に応じてスクリプト層２０１のデータ変換部２０８で、ネイティブ層２０２で利用可能なデータ形式に変換されてネイティブ層２０２に渡される。
【００３２】
ネイティブ層２０２の画像処理部２１０は、スクリプト層２０１の画像処理制御部２１３から指定された画像データに対して画像処理（輝度補正等）を実行する。その際、どのような画像処理を実行するかは、画像処理制御部２１３で設定された補正パラメータに従って決定される。画像データの指定については、例えば、スクリプト層２０１から画像データのパスを受け取る方法がある。
【００３３】
ＯＳ層２０３のタッチイベント部２２０は、ディスプレイ１０６へのユーザによるタッチに関する情報を取得する。タッチに関する情報とは、ディスプレイ上のタッチの検知、タッチされた位置情報などである。取得したデータは、ネイティブ層２０２を介してスクリプト層２０１のコンテンツ操作部２１２に送信される。例えば、ユーザがディスプレイ１０６上で所望のスタンプ画像を選択した情報は、タッチイベント部２１６により、ネイティブ層２０２を介してスクリプト層２０１のコンテンツ操作部２１２に送信される。
【００３４】
ＯＳ層２０３のインタプリタ２１８は、スクリプト層２０１で生成されたウェブ標準言語によるスクリプト命令を解釈・実行するブロックであり、画像の描画命令等はインタプリタ２１８により解釈され、ディスプレイ１０６への表示が実行される。また、インタプリタ２１８は、スクリプト層２０１で描画された印刷コンテンツを翻訳し、印刷解像度にレンダリングし、画像データをＲＧＢ画素値で出力する。図２では、インタプリタ２１８は、ＯＳ層２０３に構成されているが、ネイティブ層２０２に構成されても良い。
【００３５】
●プリンタとの通信
スクリプト層２０１のプリンタ制御部２１４は、レンダリング開始依頼、プリンタ検知の依頼、プリンタ設定画面の表示、プリント情報の生成及び送信を制御する。ここでのレンダリングとは、印刷に必要なビットマップデータを作成することをいう。プリンタ設定画面では、用紙のサイズ、用紙の種類、カラー／モノクロ印刷などの設定が可能である。ここで設定された項目に基づいて、ネイティブ層２０２のプリンタデータ生成部２１５は、プリント情報を生成する。
【００３６】
ネイティブ層２０２のプリンタデータ生成部２１５は、スクリプト層２０１のプリンタ制御部２１４からの依頼に基づき、プリンタ通信に必要なデータやコマンドを生成する。プリンタ通信に必要なデータとは、通信プロトコルに則ったデータであり、コマンドとは、印刷やスキャンなど、プリンタの動作を決定するためのデータである。ＯＳ層２０３の通信制御部２１７は、プリンタデータ生成部２１５から受け取ったデータを、接続されているプリンタ１１５に送信するためのインタフェースである。
【００３７】
ネイティブ層２０２の外部デバイス通信部２２１は、プリンタなど、接続している外部デバイスとの通信を行うためのインタフェースである。プリンタデータ生成部２１５から受け取ったデータを送信したり、プリンタ１１５からの情報の受け取りを行う。本実施形態では、ＯＳ層２０３の通信制御部２１７を介してプリンタ１１５と通信するが、直接外部ＩＦ１０８へデータを送信しても良い。通信制御部２１７が、外部デバイスが用いる通信プロトコルに対応している場合には、外部デバイス通信部２２１と通信制御部２１７は、その通信プロトコルに沿った通信データの処理を行う。一方、通信制御部２１７が、外部デバイスが用いる通信プロトコルに対応していない場合には、通信プロトコルに沿った通信データの処理は、外部デバイス通信部２２１が行う。
【００３８】
［全体フロー］
図３は、本実施形態における写真印刷処理の全体の手順を示すフローチャートである。図３の処理は、例えば、ＣＰＵ１０１がＲＯＭ１０２からプログラムをＲＡＭ１０３に読み出して実行することにより実現される。図１２は、本実施形態におけるスクリプトで記述された写真印刷アプリケーション画面の一例を示す図である。
【００３９】
Ｓ３０１において、ＣＰＵ１０１は、ユーザによる写真画像選択ボタン１２０１の押下（タッチ操作も含む。以下同様）を検出し、画像の選択を受け付ける。画像の選択を受け付けると、ＣＰＵ１０１は、描画領域１２０６の全体に、選択された画像を表示する。
【００４０】
Ｓ３０２において、ＣＰＵ１０１は、ユーザによる、スライドバー１２０２を用いた、画像処理時に利用する補正パラメータ（例えば、輝度補正値）を検出する。ＣＰＵ１０１は、検出した補正パラメータに従って、画像に対して画像処理を実行し、描画領域１２０６の全体に画像を表示する。
【００４１】
Ｓ３０３において、ＣＰＵ１０１は、ユーザによる、スタンプ追加ボタン１２０３の押下を検出すると、スタンプ画像一覧を表示する。そして、ＣＰＵ１０１は、ユーザによる所望のスタンプ画像の選択を受け付け、描画領域１２０６上にスタンプ画像を追加・表示する。
【００４２】
Ｓ３０４において、ＣＰＵ１０１は、ユーザによるスタンプ画像の特定操作を検出する。スタンプ画像の特定とは、ディスプレイ１０６上でタッチされた座標とスタンプ画像の座標とにより、スタンプ画像がタッチされたことを判断する処理である。スタンプ画像が特定されると、そのスタンプ画像は、操作受付状態となる。操作受付状態とは、スタンプ画像の操作（スワイプ等）に関する指示がされた場合、スタンプ画像がその指示で動作可能な（スワイプ可能な）状態のことをいう。操作受付状態のスタンプ画像が存在しない場合には、スタンプ画像操作に関する指示がされても何も起こらない。
【００４３】
Ｓ３０５において、ＣＰＵ１０１は、ユーザによるスタンプ画像の操作を受け付ける。例えば、ユーザが図１２のスライドバー１２０４を操作すると、ＣＰＵ１０１は、その操作に応じて、操作受付状態となっているスタンプ画像を回転する。
【００４４】
Ｓ３０６において、ＣＰＵ１０１は、ユーザによる、プリントボタン１２０５の押下を検出すると、プリントに必要な情報の設定ＵＩをディスプレイ１０６に表示する。ここで、プリントに必要な情報とは、例えば、用紙サイズ、両面、モノクロ・カラー印刷などの情報である。図１３に、プリンタの設定ＵＩの一例を示す。
【００４５】
Ｓ３０７において、ＣＰＵ１０１は、ユーザによる、設定完了ボタン１３０２の押下を検出すると、印刷に必要なビットマップデータを作成するレンダリングを開始する。ＣＰＵ１０１は、描画領域１２０６に表示されている画像について、プリント解像度での画像データを作成する。
【００４６】
Ｓ３０８において、ＣＰＵ１０１は、Ｓ３０７でプリント解像度で作成された画像データを、プリンタ制御のコマンドと共にプリンタ１１５に送信し、プリンタ１１５から印刷物を出力させる。
【００４７】
上記では、説明上、必要最小限のフローを記載しているが、特に上記の処理の流れに限定されるものではない。以下、各工程での詳細な動作を説明する。
【００４８】
［写真画像選択］
上述のように、ユーザによる写真画像選択ボタン１２０１の押下を検出することにより、Ｓ３０１の処理が開始する。図４は、Ｓ３０１の写真画像選択の処理を示すフローチャートである。図４のＳ４０１、Ｓ４０２、Ｓ４０９〜Ｓ４１１は、スクリプト層２０１により実行される処理であり、Ｓ４０３〜Ｓ４０８は、ネイティブ層２０２により実行される処理である。他のフローチャートにおいても同様に示す。
【００４９】
Ｓ４０１において、スクリプト層２０１の画像取得部２０４は、取得対象の画像データを識別するための一意なＩＤを生成する。ＩＤは、数値や文字列など、スクリプト層２０１からネイティブ層２０２へ送信できる形式であればどのような形式でも良い。
【００５０】
Ｓ４０２において、スクリプト層２０１の画像取得部２０４は、ネイティブ層２０２にＩＤを渡すとともに画像選択を依頼する。その依頼の方法として、スクリプト層２０１からネイティブ層２０２固有の画像選択ＡＰＩを直接呼び出すようにしても良い。ここで、ネイティブ層２０２固有の画像選択ＡＰＩを直接呼び出せない場合には、ネイティブ層２０２にラッパーを用意しておいても良い。ラッパーとは、スクリプト層２０１から呼び出せる関数をネイティブ層２０２に予め用意しておき、ネイティブ関数内でネイティブ層２０２固有の関数を呼び出す方法である。また、画像選択ＡＰＩは、ＩＤを例えば引数として渡す仕組みを備えている。そのような構成により、スクリプト層２０１は、ネイティブ層２０２へＩＤを渡すことができる。
【００５１】
Ｓ４０３において、ネイティブ層２０２では、デバイス固有の画像選択ＵＩがディスプレイ１０６に表示されるよう表示制御が行われる。画像読込部２０５は、ユーザによる、表示された画像選択ＵＩ上での画像の選択を受け付ける。画像の選択は、脱着可能な記憶媒体内の画像の選択でも良いし、携帯型情報端末１００のカメラ機能が用いられて撮影された画像データであっても良い。
【００５２】
Ｓ４０４において、ネイティブ層２０２の画像読込部２０５は、選択された画像に対応する画像データを画像群２０６から取得する。画像データの取得は、例えば、画像ファイルのダウンロードやコピーによって行われる。また、ファイルオープンは、ネイティブ層２０２の使用言語に応じたものにより行われる。
【００５３】
Ｓ４０５において、ネイティブ層２０２のデータ保持部２０９は、取得した画像データをＲＧＢ展開して保持する。本実施形態において、ＲＧＢデータで保持されているが、これに限定されるものではない。例えば、ビットマップデータであれば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｙ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）、ＲＧＢＡ形式などで保持するようにしても良い。ここで、ＲＧＢＡ形式とは、画像データのＲＧＢ（赤、緑、青）に、透明度としてAを組み合わせたデータ形式である。
【００５４】
Ｓ４０６において、ネイティブ層２０２のデータ保持部２０９は、展開されたＲＧＢデータをＳ４０３で受信したＩＤと関連付けて記憶する。関連付けの方法として、例えば、ＩＤとＲＧＢデータを持つオブジェクトを作成することにより、ＩＤによるＲＧＢデータの特定を可能にしても良い。また、ＩＤとＲＧＢデータとの対応付けは、ＩＤとＲＧＢデータと対にすることに限定されるわけではなく、例えば、ＩＤとＲＧＢデータのパスとを関連付ける方法を用いてもよい。その他にも、ＲＧＢデータの先頭アドレスや、ＲＧＢデータを呼び出す関数と関連付ける方法などが用いられても良い。
【００５５】
Ｓ４０７において、Ｓ４０５で取得したＲＧＢデータに基づいて、スクリプト層２０１で対応している形式に変換可能な画像データが生成される。本実施形態においては、例えばＪＰＥＧ形式の画像データが生成される。ＲＧＢデータからＪＰＥＧデータへの変換には、ＯＳが有するエンコーダが用いられる。
【００５６】
Ｓ４０８において、ネイティブ層２０２のデータ変換部２０７は、ＪＰＥＧデータをＢＡＳＥ６４データに変換する。これは、スクリプト層２０１では、ＲＧＢデータ配列やＪＰＥＧのバイナリデータをそのまま利用できず、スクリプト層２０１が利用可能な形式にデータを変換する必要があるためである。本実施形態では、ＪａｖａＳｃｒｉｐｔ（登録商標）が用いられている場合には、スクリプト層２０１で扱う画像データはＢＡＳＥ６４形式であるとする。ＢＡＳＥ６４とは、バイナリデータを文字列データとして扱うためのエンコード方式である。
【００５７】
Ｓ４０９において、スクリプト層２０１のデータ変換部２０８は、ネイティブ層２０２のデータ変換部２０７から、Ｓ４０８で変換されたＢＡＳＥ６４データを受け取る。そして、ＢＡＳＥ６４データを表示するための領域がＲＡＭ１０３に確保される。本実施形態では、メモリの確保のために、例えば、ＨＴＭＬのＣａｎｖａｓ機能が用いられ、画像の描画は、Ｃａｎｖａｓの持つＣｏｎｔｅｘｔオブジェクトのＡＰＩにより行われる。
【００５８】
Ｓ４１０において、スクリプト層２０１の画像処理制御部２１３は、補正パラメータを生成し、その補正パラメータを初期化する。補正パラメータとは、Ｓ３０２の画像処理の内容を決定するパラメータ群を保持するオブジェクトである。ネイティブ層２０２でどのような画像処理が実行されるかは、補正パラメータに応じて決定される。ＪａｖａＳｃｒｉｐｔでは、例えば、下記のような補正パラメータが生成される。
var CorrectionParam = function(){
this.brightness = 0;
}
上記の補正パラメータは、CorrectionParamオブジェクトの中に、明るさ補正用にbrightnessという変数名と、brightnessには０という値が格納されているということを表している。説明上、補正パラメータは、明るさ補正用のみとして示しているが、その他の補正処理用のパラメータを追加することにより、画像処理の種類を増やすことができる。
【００５９】
Ｓ４１１において、スクリプト層２０１の画像処理制御部２１３は、描画領域１２０６での描画するデータにネイティブ層２０２から受け取ったＢＡＳＥ６４データを指定する。これにより、ＯＳ層２０３のインタプリタ２１８がスクリプトを解釈し、描画領域１２０６に画像を表示することができる。下記に、描画領域１００６にＢＡＳＥ６４データを反映させるためのコードの一例を示す。
var base64Data = ネイティブからのBASE64データ
var canvas = document.createElement("canvas");//画像の描画領域確保
canvas.setAttribute("width", 100);//描画領域の大きさ設定
canvas.setAttribute("height", 100);
var context = canvas.getContext("2d");//描画領域に描画するAPIを持つオブジェクトの生成
var img = new Image();//Imageオブジェクトの生成
img.src = base64Data;//画像のURIを受け取ったBASE64データとする
img.onload = function(){//画像のロードが終わってから処理を開始する
context.drawImage(img, 0, 0);//contextオブジェクトのメソッドを用いて画像を描画領域に描画
document.getElementById("div").appendChild(canvas);｝
本実施形態では、Ｃａｎｖａｓが何層にもなるレイヤ構造を用いている。それらのＣａｎｖａｓは、描画／移動／拡大などの操作が特定されると、divで指定される描画領域１２０６に対して順次追加されていく。通常、Ｃａｎｖａｓは１枚の画像として扱われるので、Ｃａｎｖａｓに写真画像を描画した後にスタンプ画像などを追加すると、スタンプ画像と合わせて１枚の画像とされる。それに対して、本実施形態では、レイヤ構造を用いてＣａｎｖａｓを重ねて表示するので、ユーザに対して１枚の画像のように表示するが、実際の描画物はそれぞれ独立したものとなっている。
【００６０】
［画像処理］
ユーザによるスライドバー１２０２の設定を検出することにより、図３のＳ３０２の処理が開始する。図５は、Ｓ３０２の画像処理を示すフローチャートである。
【００６１】
Ｓ５０１において、スクリプト層２０１の画像処理制御部２１３は、Ｓ４１０で生成された補正パラメータの値（例えば、brightness。以下同様とする。）を、スライドバー１２０２で設定された値に更新する。
【００６２】
Ｓ５０２において、スクリプト層２０１の画像処理制御部２１３は、インジケータを起動してディスプレイ１０６に表示するよう処理する。ここで、インジケータとは、データ処理中にディスプレイ１０６に表示される、作業状態を表すアイコンであり、プログレスバーや時計マーク、図形の点滅や回転などのグラフィックで表示される。
【００６３】
Ｓ５０３において、スクリプト層２０１のデータ変換部２０８は、補正パラメータをネイティブで利用可能なＪＳＯＮ文字列に変換する。これは、補正パラメータは上記のようにオブジェクト形式であり、ネイティブ層２０２では解釈することができないからである。変換されたＪＳＯＮ文字列は、Ｓ４０１で生成された画像データを識別するためのＩＤと共にネイティブ層２０２へ渡される。
【００６４】
Ｓ５０４において、ネイティブ層２０２の画像処理部２１０は、文字列として受け取ったＪＳＯＮデータをパース（解析、デコード）する。パースには、ＯＳに備えられているパーサーが用いられる。
【００６５】
Ｓ５０５において、ネイティブ層２０２の画像処理部２１０は、スクリプト層２０１から送信されたＩＤに基づいて、Ｓ４０５でＲＧＢ展開された画像データ（ＲＧＢデータ）を特定する。前述のように、ＩＤと画像データとの対応付けは、ＩＤと画像データとを対にすることに限定されるわけではなく、例えば、ＩＤと画像データのパスとを関連付ける方法により行われても良い。また、ＩＤと、画像データの先頭アドレスや画像データを呼び出す関数などを関連付ける方法により行われても良い。
【００６６】
Ｓ５０６において、ネイティブ層２０２の画像処理部２１０は、取得した補正パラメータから実行すべき画像処理を決定し、Ｓ５０５で特定された画像データに対して補正パラメータに対応した画像処理を行う。
【００６７】
Ｓ５０７において、Ｓ５０６で画像処理が実行された画像データに基づいて、スクリプト層２０１で対応しているフォーマットに変換可能な画像データが生成される。本実施形態においては、例えばＪＰＥＧの画像データが生成される。
【００６８】
Ｓ５０８において、ネイティブ層２０２の画像処理部２１０は、スクリプト層２０１にインジケータの停止を依頼する。これは、例えば、ネイティブ層２０２から、スクリプト層２０１で定義されているインジケータ停止の関数を呼び出すことで行われる。
【００６９】
Ｓ５０９において、スクリプト層２０１の画像処理制御部２１３は、インジケータを停止させてディスプレイへの表示を停止する。一方、Ｓ５１０において、ネイティブ層２０２のデータ変換部２０７は、ＪＰＥＧデータをＢＡＳＥ６４データに変換し、スクリプト層２０１に送信する。
【００７０】
Ｓ５１１において、スクリプト層２０１のデータ変換部２０８は、ネイティブ層２０２からＳ５１０で変換されたＢＡＳＥ６４データを受け取る。その後、スクリプト層２０１の画像処理制御部２１３は、描画領域１２０６での描画するデータにネイティブ層２０２から受け取ったＢＡＳＥ６４データを指定する。これにより、ＯＳ層２０３のインタプリタ２１８がスクリプトを解釈し、描画領域１２０６に画像処理が実行された画像が表示される。
【００７１】
本実施形態では、スライドバー１２０２の変化によって画像処理が開始されると説明したが、その形態に限定されるものではない。例えば、画面上にプラスボタン、マイナスボタンが配置され、ユーザがそのボタンを押すごとに明るさが調整されるという形態でも良い。他にも、画像の右半分がタッチされたら明るさを増す、左半分がタッチされたら暗くするなど、ユーザのタッチイベントと連動させた形態でも良い。また、ユーザ操作で補正パラメータだけ変化させておき、画像処理の実行指示を受け付けたときに、全ての画像処理が一括して行われるという形態でも良い。
【００７２】
［スタンプ画像追加］
ユーザによるスタンプ追加ボタン１２０３の押下を検出し、ハートスタンプ画像１２０８の選択を検出することにより、Ｓ３０３の処理が開始する。図６は、Ｓ３０３のスタンプ画像追加の処理を示すフローチャートである。
【００７３】
Ｓ６０１において、スクリプト層２０１の画像取得部２０４は、スタンプを識別するための一意なＩＤを生成する。ＩＤは、数値や文字列など、スクリプト層２０１からネイティブ層２０２へ送信できる形式であればどのような形式でも良い。
【００７４】
Ｓ６０２において、スクリプト層２０１の画像取得部２０４は、Ｓ６０１で生成されたＩＤと、スタンプ画像として用いられる画像の絶対パスとをネイティブ層２０２に送信し、画像取得を依頼する。
【００７５】
Ｓ６０３において、ネイティブ層２０２の画像読込部２０５は、スクリプト層２０１から受け取った画像の絶対パスに基づいて、デバイス固有のＡＰＩにより画像データを取得する。
【００７６】
Ｓ６０４において、ネイティブ層２０２のデータ保持部２０９は、取得した画像データをＲＧＢ展開して保持する。
【００７７】
Ｓ６０５において、ネイティブ層２０２のデータ保持部２０９は、Ｓ４０６と同様に、ＲＧＢ展開された画像データと、Ｓ６０２で受信したＩＤとを関連付けて記憶する。
【００７８】
Ｓ６０６において、Ｓ６０４で取得したＲＧＢデータに基づいて、スクリプト層２０１で対応しているフォーマットに変換可能な画像データが生成される。本実施形態においては、例えばＪＰＥＧの画像データが生成される。ＲＧＢデータからＪＰＥＧデータへの変換には、ＯＳが有するエンコーダが用いられる。
【００７９】
Ｓ６０７において、ネイティブ層２０２のデータ変換部２０７は、ＪＰＥＧデータをＢＡＳＥ６４データに変換し、スクリプト層２０１に送信する。
【００８０】
Ｓ６０８において、スクリプト層２０１のデータ変換部２０８は、ネイティブ層２０２からＳ６０７で変換されたＢＡＳＥ６４データを受け取る。そして、ＢＡＳＥ６４データを表示するための領域がＲＡＭ１０３に確保される。メモリの確保のためには、例えば、ＨＴＭＬのＣａｎｖａｓ機能が用いられる。
【００８１】
Ｓ６０９において、スクリプト層２０１の画像処理制御部２１３は、オブジェクトパラメータを生成し、そのオブジェクトパラメータを初期化する。オブジェクトパラメータとは、描画の際に用いられるパラメータを保持するオブジェクトである。ＪａｖａＳｃｒｉｐｔでは、例えば、下記のようなオブジェクトパラメータが生成される。
var ObjectParam = function(){
this.theta = 0;
this.posX = 10;
this.posY = 10;
this.width = 100;
this.height = 100;
}
このオブジェクトパラメータは、ObjectParamオブジェクトの中に、回転角度を示すthetaという変数名と、そのthetaに０という値が格納されていることを示している。同様に、基準点からのｘ座標を示すposX変数名が含まれ、posXには１０という値が格納されているということを表している。ここで、基準点とは、描画領域１２０６の左上の座標である。同様に、posYは、描画領域１２０６の左上を基準点としたときのｙ座標、widthはスタンプ画像の描画領域の横幅、heightはスタンプ画像の描画領域の縦幅を表している。
【００８２】
つまり、本実施形態では、オブジェクトパラメータが描画物オブジェクトに対応する。本実施形態では説明上、オブジェクトパラメータとして、描画物のサイズ、位置、画像データを示している。しかしながら、その他のパラメータ（平行移動量、拡大倍率など）を追加して、描画、レンダリング、オブジェクト操作時に利用できるようにしても良い。また、描画オブジェクトに対する情報保持の方法も、本実施形態に限定されるものではない。
【００８３】
Ｓ６１０において、スクリプト層２０１の画像処理制御部２１３は、描画領域１２０６で描画するデータとして、ネイティブ層２０２から受け取ったＢＡＳＥ６４データを指定する。これにより、ＯＳ層２０３のインタプリタ２１８がスクリプトを解釈し、Ｓ６０９で初期化されたオブジェクトパラメータに基づいて、描画領域１２０６に画像を表示することができる。
【００８４】
本実施形態では説明上、スタンプ画像が１つのみであるが、スタンプ画像を複数個扱うようにしても良い。また、本実施形態では、スタンプ画像として予め用意した画像データを用いているが、ＣａｎｖａｓのＣｏｎｔｅｘｔオブジェクトを用いて描画物をスクリプトで生成する方法を用いても良い。その場合には、Ｓ６０２において、Ｃｏｎｔｅｘｔオブジェクトを用いて生成された描画物がネイティブ層２０２に送信され、データ保持部２０９は、その描画物をＲＧＢデータとして保持する。
【００８５】
［スタンプ画像の特定］
Ｓ３０３でスタンプ画像が追加された後、ユーザによるディスプレイ１０６上のタップ操作を検出することにより、Ｓ３０４のスタンプ画像の特定処理が開始する。ここで、タップ操作とは、ユーザがディスプレイ１０６上を指で押すタッチ操作のことをいう。これは、ＰＣで言うところの「クリック」に相当する。
【００８６】
図７は、スタンプ画像の特定の処理を示すフローチャートである。
【００８７】
Ｓ７０１において、ネイティブ層２０２の画像処理部２１０は、ＯＳ層２０３のタッチイベント部２２０を介してタップされた座標を取得し、スクリプト層２０１に送信する。
【００８８】
Ｓ７０２において、スクリプト層２０１のコンテンツ操作部２１２は、ネイティブ層２０２から送られてきた座標と、Ｓ６０９で生成されたオブジェクトパラメータの情報とから、スタンプ画像がタッチされたかを判定する。ここで、スタンプ画像のオブジェクトパラメータは初期値のままであるので、スタンプ画像は、左上の頂点座標を（１０，１０)、右下の頂点座標を（１１０，１１０）とする正方形の領域に描画されていることとなる。つまり、Ｓ７０１で送られてきたｘ座標及びｙ座標が、その正方形の領域の範囲内であれば、スタンプ画像はタッチされたと判定する。例えば、Ｓ７０１で送信されたｘ座標から、描画領域１２０６のｘ座標分を差し引いた値が０〜１００の範囲、かつ、送信されたｙ座標から、描画領域１２０６のｙ座標分を差し引いた値が０〜１００の範囲であれば、タッチされたと判定する。スタンプ画像が複数個ある場合には、より上層に表示されているスタンプ画像から順番に判定を行っていき、スタンプ画像の特定がなされた時点で判定処理を終了する。スタンプ画像がタッチされたと判定された場合、スタンプ画像は、スタンプ画像の操作を受け付ける状態となる。
【００８９】
Ｓ７０３において、スクリプト層２０１のコンテンツ操作部２１２は、スタンプ画像を操作受付状態にする。ここで、操作受付状態とは、スタンプ画像の操作（スワイプ等）に関する指示がされた場合、スタンプ画像がその指示で動作可能な（スワイプ可能な）状態のことをいう。操作受付状態のスタンプ画像が存在しない場合には、スタンプ画像操作に関する指示がされても何も起こらない。また、操作受付状態とされたスタンプ画像のＩＤは、注目スタンプ画像ＩＤとして、一時的にスクリプト層２０１で記憶しておく。そのことにより、スクリプト層２０１は、ネイティブ層２０２で記憶されているスタンプ画像を一意に特定することができる。
【００９０】
［スタンプ画像の操作］
ユーザによるスライドバー１２０４の操作を検出することにより、Ｓ３０５の処理が開始する。図８は、Ｓ３０５のスタンプ画像の操作処理を示すフローチャートである。
【００９１】
Ｓ８０１において、スクリプト層２０１のコンテンツ操作部２１２は、スタンプ画像のオブジェクトパラメータの値（例えばｒｏｔａｔｅ）を、スライドバー１２０４で設定された値に更新する。
【００９２】
Ｓ８０２において、スクリプト層２０１のコンテンツ操作部２１２は、オブジェクトパラメータを用いて、Ｓ７０３で操作受付状態となったスタンプ画像を描画領域１２０６に再描画する。例えば、スタンプ画像の描画を、ＨＴＭＬのＣａｎｖａｓで行う場合には、Ｃａｎｖａｓの持つＣｏｎｔｅｘｔオブジェクトのｒｏｔａｔｅメソッドを用いることで、Ｃａｎｖａｓ内の画像を回転することができる。
【００９３】
上記では、スタンプ画像の操作は回転を説明したが、拡大・縮小、平行移動などの操作でも良い。また、写真画像に対してオブジェクトパラメータを付加する構成とすれば、スタンプ画像の操作と同様の操作が可能となる。
【００９４】
［プリンタ設定］
ユーザによるプリントボタン１２０５の押下を検出することにより、Ｓ３０６の処理が開始する。図９は、Ｓ３０６のプリンタ設定の処理を示すフローチャートである。
【００９５】
Ｓ９０１において、スクリプト層２０１のプリンタ制御部２１４は、ネイティブ層２０２にプリンタ情報の取得を依頼する。依頼の方法として、例えば、バインディング機能によりスクリプト層２０１からネイティブ層２０２固有のＡＰＩを呼び出す。その場合、ネイティブ層２０２には、スクリプト層２０１から直接呼び出せる関数、もしくはその関数を間接的に呼び出すいわゆるラッパーを予め用意しておく。例えば、GetPrinterInfoというネイティブ関数を用意しておき、スクリプト層２０１からその関数を呼び出す。
【００９６】
一般的に、機密情報の保証が難しい等のセキュリティ上の制限のために、スクリプト層２０１から外部の機器と直接通信することはできない。そのため、本実施形態では、スクリプト層２０１は、一旦、ネイティブ層２０２へ依頼することにより、ネイティブ層２０２を介して外部の機器と通信を行う。また、ネイティブ層２０２は、ＯＳ層２０３の機能を介して外部デバイスと通信する。
【００９７】
Ｓ９０２において、ネイティブ層２０２のプリンタデータ生成部２１５は、対応する関数が呼び出されると、プリンタ１１５の検出、いわゆるディスカバリを行う。ここでは、通信可能なプリンタ１１５の検出を行うために、Ｂｏｎｊｏｕｒなどのプロトコルが用いられる。プリンタ１１５の検出は、例えば、同じ無線ＬＡＮルータで接続されているプリンタにおいて行われる。上記のプロトコルに従って、ブロードキャストやマルチキャスト等の方法で、応答の要求をプリンタ１１５に対して行う。
【００９８】
Ｓ９０３において、応答要求を受けたプリンタ１１５は、携帯型通信端末１００に対して応答を行う。
【００９９】
Ｓ９０４において、ネイティブ層２０２は、ブロードキャストやマルチキャスト等の方法で応答のあったプリンタ１１５のＩＰアドレスを記憶する。
【０１００】
Ｓ９０５において、ネイティブ層２０２のプリンタデータ生成部２１５は、Ｓ９０３で応答のあったプリンタ１１５のＩＰアドレスへプリンタ情報の提供を要求するためのコマンドを生成する。応答のあったプリンタが複数の場合には、プリンタデータ生成部２１５は、全てのプリンタに対して情報の提供を要求する。コマンドとは、プリンタの動作を指定する命令であり、例えば、ＸＭＬ（Ｅｘｔｅｎｄａｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）により下記のように記述される。
----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03:  ＜contents＞
04:   ＜operation＞GetPrinterInfo＜/operation＞
05:  ＜/contents＞
06: ＜/cmd＞
----------------------------------------------
上記各行の左側に書かれている「01：」などの数値は説明を行うために付加した行番号であり、本来のＸＭＬ形式のテキストには記述されない。
【０１０１】
１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。
【０１０２】
２行目のcmdは、コマンドの開始を意味する。xmlnsで名前空間を指定し、コマンドの解釈の定義を指定している。なお、６行目の＜／cmd＞は、コマンドの終了を示している。
【０１０３】
３行目は以降に内容を記述する宣言であり、５行目はその終了を示している。
【０１０４】
４行目には要求する命令が記述されており、＜operation＞と＜／operation＞の間に実際の命令文言が存在する。命令文言であるGetPrinterInfoは、外部デバイスであるプリンタ１１５の情報を取得する命令である。例えば、プリンタ１１５が対応している用紙種類、サイズ、縁なし印刷機能の有無、印刷品位、などのプリンタ情報を提供するよう要求する内容が記述されている。
【０１０５】
なお、上記のコマンド生成は、予めＲＯＭ１０２などに記憶した固定のテキストを読み込むようにしても良い。また、コマンドは、ＸＭＬなどのテキスト形式に限らず、バイナリ形式で記述され、それに従ったプロトコルで通信されるようにしても良い。生成されたコマンドは、送信先のプリンタが対応しているプロトコルに従った形式で、ＯＳ層２０３のプリンタ通信部２１７を介してプリンタ１１５へ送信される。プリンタ１１５との通信の方法は、上記に限られず、例えば、Ｗｉ−ＦｉダイレクトやＢｌｕｅｔｏｏｔｈ、赤外線通信、電話回線、有線ＬＡＮ、ＵＳＢを用いた接続でも良い。
【０１０６】
上記では、ネイティブ層２０２でコマンドの生成が行われると説明したが、スクリプト層２０１でコマンドの生成が行われるようにしても良い。その場合、スクリプト層２０１で上記のＸＭＬ形式の命令文が作成されてネイティブ層２０２へ渡される。その後、上記と同様に、通信プロトコルに従った形式でプリンタ１１５のＩＰアドレスへ送信される。
【０１０７】
Ｓ９０６において、上記のコマンドを受信したプリンタ１１５は、プリンタ情報を通信プロトコルに従ってＸＭＬ形式で携帯型情報端末１００へ送信する。そのプリンタ情報は、ネイティブ層２０２へ送られる。以下、プリンタ情報の一例を示す。
----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03:  ＜contents＞
04:   ＜device id=”Printer001” /＞
05:   ＜mode = 1＞
06:    ＜media＞GlossyPaper＜/media＞
07:    ＜size＞A4＜/size＞
08:    ＜quality＞1＜/quality＞
09:    ＜border＞no＜/border＞
10:   ＜/mode＞
11:   ＜mode = 2＞
〜中略〜
＜/mode＞
＜mode = 3＞
〜中略〜
＜/mode＞
〜中略〜
＜/contents＞
＜/cmd＞
----------------------------------------------
１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。
【０１０８】
２行目のcmdは、コマンドの開始を意味する。xmlnsで名前空間を指定し、コマンドの解釈の定義を指定している。なお、最下行の＜／cmd＞はコマンドの終了を示している。
【０１０９】
３行目は以降に内容を記述する宣言であり、下の＜／contents＞までその内容が続く。
【０１１０】
４行目はデバイスIDを示し、そのプリンタの機種名が「Printer001」であることを表している。
【０１１１】
５行目以降は、各モードについて記述されている。＜mode＞から＜／mode＞まで、対応するモードの情報が記述されている。５行目では、モードの番号は１である。以降の＜media＞は印刷用紙の種類、＜size＞は用紙サイズ、＜quality＞は印刷品位、＜border＞は縁あり／なしの情報がそれぞれ記述されている。
【０１１２】
１１行目以降は、他のモードであるモード２についての情報が記述されている。このように、プリンタの機種名と、そのプリンタが対応している全ての印刷モードがＸＭＬ形式で記述されている。なお、プリンタ情報の記述方法は、これに限定されず、例えば、タグ形式でないテキストや、バイナリ形式などであっても良い。また、上記ではプリンタの印刷機能の情報を受け渡ししているが、それに限定される事ではない。例えば、プリンタが処理可能な画像処理や解析処理、静かに印刷するモードの有無、メモリカードの利用有無、インク残量などのステータス情報でも良い。画像処理の例としては、モノクロやセピア、彩度強調などの色変換、複数画像のレイアウト、ホワイトバランス補正、ノイズ除去、その他自動で写真を好ましい色や輝度に補正する処理などが挙げられる。
【０１１３】
Ｓ９０７において、ネイティブ層２０２のプリンタデータ生成部２１５は、ＯＳ層２０３のプリンタ通信部２１７を介してプリンタ１１５からプリンタ情報を受け取る。そして、プリンタデータ生成部２１５は、受け取ったプリンタ情報から、全てのモードにおける印刷用紙の種類、サイズ、印刷品位、縁あり／なしの項目と項目数を取得する。
【０１１４】
Ｓ９０８において、ネイティブ層２０２のプリンタデータ生成部２１５は、プリンタ情報をスクリプト層２０１が解釈可能な形式でスクリプト層２０１へ送る。例えば、ネイティブ層２０２のプリンタデータ生成部２１５は、受け取ったＸＭＬ形式で送ったり、若しくは、タグなしのテキスト形式に変えて送る。また、スクリプト層２０１から特定のネイティブ関数を呼び出す毎に戻り値として情報を送信するようにしても良いし、ネイティブ関数に取得するモードなどの引数を渡しておき、戻り値として情報を送信するようにしても良い。また、ＪＳＯＮ文字列を用いた受け渡しや、データ変換部２０７及び２０８により、ＢＡＳＥ６４などの文字列で受け渡しを行っても良い。
【０１１５】
Ｓ９０９において、スクリプト層２０１は、受け取ったプリンタ情報に基づいて、表示画面を形成してディスプレイ１０６に表示するよう処理する。ここで、接続可能なプリンタが複数ある場合には、スクリプト層２０１は、複数のプリンタ名をユーザに選択可能に表示するよう処理する。なお、プリンタの選択は、上記に限られず、例えば、一番早く応答してきたプリンタや、より機能が多いプリンタ、印刷ジョブが混んでいないプリンタ、などに基づいて選択されるようにしても良い。
【０１１６】
Ｓ９０９において、スクリプト層２０１は、印刷用紙の種類・サイズ、印刷品位、縁あり／なし、などを選択させる印刷設定画面をディスプレイ１０６に表示するよう処理する。印刷設定画面の形成方法の一例として、以下に、ＨＴＭＬ／ＪａｖａＳｃｒｉｐｔの記述を示す。
------------------------------------------------
＜!DOCTYPE html＞
＜head＞
＜title＞印刷設定 ＜/title＞
＜script＞
＜!-- 用紙サイズ --＞
var PaperSizeNum = GetPaperSizeNum();
var p = document.getElementById("PaperList");
var i;
for(i=0; i＜PaperSizeNum; i++){
p.options[i] = new Option(GetPaperSize(i), GetPaperSize(i));
}
＜!-- 用紙種類--＞
var MediaTypeNum = GetMediaTypeNum();
var m = document.getElementById("MediaList");
var j;
for(j=0; j＜MediaTypeNum; j++){
m.options[i] = new Option(GetMediaType(j),GetMediaType(j));
}
＜!-- 印刷品位 --＞
var QualityNum = GetQualityNum();
var q = document.getElementById("QualityList");
var k
for(k=0; k＜ QualityNum; k++){
q.options[i] = new Option(GetQuality(k), GetQuality(k));
}
＜!-- 縁あり/なし--＞
var BorderNum = GetBorderNum();
var b = document.getElementById("BorderList");
var l;
for(l=0; l＜BorderNum; l++){
b.options[i] = new Option(GetBorder(l),GetBorder(l));
}
＜!-- 印刷関数--＞
function printer() {
SetPrint(document.getElementById("PaperList").value,
document.getElementById("MediaList").value,
document.getElementById("QualityList").value,
document.getElementById("BorderList ").value);
}
＜/script＞
＜/head＞
＜!-- 表示部 --＞
＜body＞
用紙サイズ：＜select id="PaperList"＞＜/select＞＜br /＞
用紙種類：  ＜select id="MediaList"＞＜/select＞＜br /＞
印刷品位：  ＜select id="QualityList"＞＜/select＞＜br /＞
縁なし：    ＜select id="BorderList"＞＜/select＞＜br /＞
＜br /＞
＜button id="btn1" onclick="printer()"＞印刷設定完了＜/button＞
＜/body＞
＜/html＞
------------------------------------------------
上記のGetPaperSizeNum（）、GetMediaTypeNum（）、GetQualityNum（）、GetBorderNum（）はネイティブ関数であり、それぞれの項目がいくつあるかを取得する機能を備える。例えば、プリンタが対応している用紙サイズがＡ４、Ａ５、Ｂ５、Ｌ判の４種類の場合、GetPaperSizeNum（）は４を返す。
【０１１７】
GetPaperSize（n）、GetMediaType（n）、GetQuality（n）、GetBorder（n）もネイティブ関数であり、引数ｎの値番目の文字列を返す。例えば、用紙サイズを返す関数のGetPaperSize（0）の返り値は「Ａ４」であり、GetPaperSize（1）の返り値は「Ａ５」である。これらの値は、ネイティブ層２０２が、プリンタ１１５からＯＳ層２０３を介して送られてきた情報から取得する。
【０１１８】
GetPaperSizeV(n)、GetMediaTypeV(n)、GetQualityV(n)、GetBorderV(n)もネイティブ関数であり、引数ｎの値番目の値を返す。例えば、用紙種類のテキストを返す関数のGetMediaTypeT(0)の返り値は「光沢紙」のように、表示してユーザに示す文言である。対してGetMediaTypeV(0)の返り値は「GlossyPaper」と、プリンタ１１５が解釈できる文言となっている。また、これらの文言は、プリンタ１１５から送られてきた情報と結び付けてネイティブ層２０２が決定する。例えば、プリンタ１１５から送られてきた情報より取り出した値が「GlossyPaper」であった場合、表示するテキストは「光沢紙」と決定する。決定の方法として、ネイティブ層２０２は、これらの対応表を予め保持しておき、その対応表に従ってテキストを決定すれば良い。
【０１１９】
なお、上記では例として用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定を行う仕様であるが、これに限定されず、他の設定、例えば、両面／片面、カラー／モノクロ、画像補正のオン／オフ等があっても良い。また、前述のように印刷機能のみではなく、プリンタ１１５が処理可能な画像処理や解析処理、静かに印刷するモードの有無、メモリカードの利用有無、インク残量などのステータスなどの情報を表示しても良い。
【０１２０】
上記の例のように取得した情報に基づきＷｅｂレンダリングエンジンを用いて、例えば、図１３に示す印刷設定画面１３０１のようなユーザインタフェースが実現される。つまり、本実施形態では、スクリプト層２０１は、ネイティブ層２０２を介して外部のプリンタ１１５にプリンタ情報を要求し、ネイティブ関数を用いて取得した情報に基づいて印刷設定画面をディスプレイ１０６に表示する。なお、上記ＨＴＭＬは、スクリプト層２０１とネイティブ層２０２のいずれで作成するようにしても良い。図１３に示すように、用紙サイズなどはプルダウンメニューになっており、ユーザの項目を選択するタッチ操作を受け付けることができる（Ｓ９１０）。
【０１２１】
ユーザにより印刷設定画面１３０１上での設定操作が行われ、設定完了ボタン１１０２の押下を検出すると、Ｓ９１１において、スクリプト層２０１のプリンタ制御部２１４は、Ｓ９１０でユーザが選択した各プリント情報を、ネイティブ層２０２へ送信する。上記ＨＴＭＬの例にあるSetPrint（）は、取得したプリンタ設定情報を引数としてネイティブ関数を呼び出している。上記の例では用紙サイズ、用紙種類、印刷品位、縁あり／なしの各設定を文字列としてネイティブ層２０２へ渡している。
【０１２２】
Ｓ９１２において、ネイティブ層２０２のプリンタデータ生成部２１５は、スクリプト層２０１から送信されたプリント情報を取得する。プリンタデータ生成部２１５は、取得したプリント情報に基づいて、プリンタの通信プロトコルに従って印刷コマンドを生成し、ＯＳ層２０３の通信制御部２１７を介してプリンタ１１５へ送信する。
【０１２３】
［レンダリング］
ユーザによる印刷設定画面１３０１の設定完了ボタン１３０２の押下を検出することにより、Ｓ３０７の処理が開始する。図１０は、Ｓ３０７のレンダリング処理を示すフローチャートである。
【０１２４】
Ｓ１００１において、スクリプト層２０１は、インジケータを起動してディスプレイ１０６に表示する。
【０１２５】
Ｓ１００２において、スクリプト層２０１の画像処理制御部２１３は、Ｓ９１１で設定されたプリント情報に基づいて、印刷する用紙サイズに対応する出力サイズを決定し、その出力サイズに対応する出力画像領域をＲＡＭ１０３に確保する。
【０１２６】
Ｓ１００３において、スクリプト層２０１の画像処理制御部２１３は、ネイティブ層２０２に対して写真画像データのリサイズを依頼する。その際、画像処理制御部２１３は、写真画像データのＩＤと、Ｓ１００２で決定された出力サイズ（横サイズ、縦サイズ）とをネイティブ層２０２に渡す。
【０１２７】
Ｓ１００４において、ネイティブ層２０２の画像処理部２１０は、Ｓ１００３で渡されたＩＤに対応する画像データ（ＲＧＢデータ）を特定する。
【０１２８】
Ｓ１００５において、ネイティブ層２０２の画像処理部２１０は、Ｓ１００４で特定された画像データを、Ｓ１００２で決定された出力サイズにリサイズする。
【０１２９】
Ｓ１００６において、ネイティブ層２０２の画像処理部２１０は、Ｓ１００５でリサイズされた画像データを、スクリプト層２０１で対応している形式に変換可能な画像データを生成する。本実施形態においては、例えばＪＰＥＧ形式の画像データが生成される。ＲＧＢデータからＪＰＥＧデータへの変換には、ＯＳが有するエンコーダが用いられる。
【０１３０】
Ｓ１００７において、ネイティブ層２０２のデータ変換部２０７は、ＪＰＥＧデータをＢＡＳＥ６４データに変換し、スクリプト層２０１に送信する。
【０１３１】
Ｓ１００８において、スクリプト層２０１のデータ変換部２０８は、ネイティブ層２０２から送信されたＢＡＳＥ６４データを受信する。スクリプト層２０１の画像処理制御部２１３は、ＢＡＳＥ６４データをＳ１００２で確保された出力画像領域に描画する。
【０１３２】
Ｓ１００９において、スクリプト層２０１の画像処理制御部２１３は、描画領域１２０６と、Ｓ１００２で決定された出力サイズとに基づいて、縦と横の拡大倍率を算出する。そして、画像処理制御部２１３は、スタンプ画像データのＩＤと、算出された縦及び横の拡大倍率とをネイティブ層２０２に送るとともに、スタンプ画像データのリサイズを依頼する。
【０１３３】
Ｓ１０１０において、ネイティブ層２０２の画像処理部２１０は、Ｓ１００９で渡されたＩＤに対応するスタンプ画像データ（ＲＧＢデータ）を特定する。
【０１３４】
Ｓ１０１１において、ネイティブ層２０２の画像処理部２１０は、Ｓ１０１０で特定されたスタンプ画像データを、Ｓ１００２で決定された出力サイズにリサイズする。
【０１３５】
Ｓ１０１２において、ネイティブ層２０２の画像処理部２１０は、Ｓ１０１１でリサイズされた画像データを、スクリプト層２０１で対応している形式に変換可能な画像データを生成する。
【０１３６】
Ｓ１０１３において、ネイティブ層２０２のデータ変換部２０７は、ＪＰＥＧデータをＢＡＳＥ６４データに変換し、スクリプト層２０１に送信する。
【０１３７】
Ｓ１０１４において、スクリプト層２０１のデータ変換部２０８は、ネイティブ層２０２から送信されたＢＡＳＥ６４データを受信する。コンテンツ描画部２１１は、受信したＢＡＳＥ６４データに対して、コンテンツ操作部２１２での操作内容（回転等）を反映する。
【０１３８】
Ｓ１０１５において、スクリプト層２０１の画像処理制御部２１３は、ＢＡＳＥ６４データをＳ１００２で確保された出力画像領域に描画する。この処理により、出力画像領域には、写真画像と、回転等の操作内容が反映されたスタンプ画像とが合成されている。
【０１３９】
Ｓ１０１６において、スクリプト層２０１のデータ変換部２０８は、出力画像領域のデータをＢＡＳＥ６４データに変換してネイティブ層２０２に送信する。ここで、ＢＡＳＥ６４データに変換して取得する方法としては、ＨＴＭＬのＣａｎｖａｓのメソッドであるＴｏＤａｔａＵＲＬが用いられても良い。
【０１４０】
Ｓ１０１７において、ネイティブ層２０２のプリンタデータ生成部２１５は、スクリプト層２０１から送信されたＢＡＳＥ６４データをデコードする。
【０１４１】
Ｓ１０１８において、ネイティブ層２０２のプリンタデータ生成部２１５は、デコードされたデータをＲＧＢデータに変換し、Ｓ１０１９において、スクリプト層２０１に対してインジケータの停止を依頼する。Ｓ１０２０において、スクリプト層２０１は、インジケータを停止させてディスプレイへの表示を停止する。
【０１４２】
［プリント］
Ｓ１０２０の処理が終了すると、Ｓ３０８の処理が開始する。図１１は、Ｓ３０８のプリント処理を示すフローチャートである。
【０１４３】
Ｓ１１０１において、ネイティブ層２０２のプリンタデータ生成部２１５は、Ｓ９１２で取得されたプリント情報に基づいて、Ｓ１０１８で変換されたＲＧＢデータをプリンタ１１５が処理可能なデータ形式に変換する。プリンタ１１５が処理可能なデータ形式には標準的なフォーマット（ＪＰＥＧ等）もあれば、各社独自のフォーマットの場合もある。ここではそれらのうち、どのようなデータ形式であっても良い。
【０１４４】
Ｓ１１０２において、ネイティブ層２０２のプリンタデータ生成部２１５は、プリント情報と、Ｓ１１０１で生成されたデータとに基づいて、プリンタ１１５へ送信するコマンドを生成する。
【０１４５】
Ｓ１１０３において、ネイティブ層２０２のプリンタデータ生成部２１５は、プリンタ１１５が対応可能な通信プロトコルに従って、Ｓ１１０２で生成されたコマンドをＯＳ層２０３の通信制御部２１７を介して送信する。その際、Ｓ９０４で記憶されたＩＰアドレスを送信宛先とする。
【０１４６】
Ｓ１１０４において、プリンタ１１５において、印刷が開始されて印刷物が出力される。
【０１４７】
［通信プロトコル］
前述した例のように、本実施形態では、ネイティブ層２０２は、ＢｏｎｊｏｕｒやＨＴＴＰのような通信プロトコルを使って、外部デバイス（例えば、プリンタ）との通信を実現する。通信する際の情報は、「０」または「１」の並びの組み合わせ方（フォーマット）によって表現される。その為、通信をする為に、伝える情報がどのようなフォーマットになっているかを規定しておく必要がある。このフォーマットの規定が通信プロトコルである。アプリケーションと外部デバイスとの間で異なる様々な情報を通信する例を説明したが、情報を示すフォーマットが異なるので、アプリケーションは、通信する際に異なる複数の通信プロトコルを扱う必要がある。アプリケーションが複数の通信プロトコルを扱うことにより、外部デバイスの複数の機能を利用することが可能となる。
【０１４８】
ここで、プリンタ接続と、プリンタ設定と、プリント実行までを複数の通信プロトコルにより実現する例を図１４を参照しながら説明する。
【０１４９】
プリンタ接続においては、スクリプト層２０１がネイティブ層２０２に対して関数Ａを呼び出す。関数Ａは、外部デバイスであるプリンタと接続する関数である。関数Ａが呼び出されると、ネイティブ層２０２は、ネットワーク上のプリンタを通信プロトコルＡを用いて発見して接続する。通信プロトコルＡは、例えば前述のＢｏｎｊｏｕｒやＳＳＤＰ（Ｓｉｍｐｌｅ  Ｓｅｒｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ  Ｐｒｏｔｏｃｏｌ）である。これらの通信プロトコルは、ネットワーク上の外部デバイスを発見する目的で規定されるものである。プリンタと接続されると、ネイティブ層２０２は、スクリプト層２０１に対して、接続したプリンタを伝えるスクリプトＡを生成して送る。スクリプト層２０１は、スクリプトＡを翻訳して、接続したプリンタを知ることが可能となる。
【０１５０】
プリンタ設定においては、スクリプト層２０１がネイティブ層２０２に対して関数Ｂを呼び出す。関数Ｂは、接続したプリンタの機能情報を取得する関数である。機能情報とは、図９のＳ９０６で説明したプリンタ情報のことである。関数Ｂが呼び出されると、ネイティブ層２０２は、接続したプリンタと通信プロトコルＢを用いて、機能情報を取得する。通信プロトコルＢは、例えば前述のＨＴＴＰである。プリンタの機能情報を取得すると、ネイティブ層２０２は、スクリプト層２０１に対して、取得した機能情報を伝えるスクリプトＢを生成して送る。スクリプト層２０１は、スクリプトＢを翻訳して、機能情報を知ることが可能となる。
【０１５１】
次に、スクリプト層２０１は、取得した機能情報に基づいてスクリプトＵＩＢを生成し、ネイティブ層２０２に送る。スクリプトＵＩＢは、例えば図９のＳ９０９で説明したＨＴＭＬである。スクリプトＵＩＢをＷｅｂレンダリングエンジンを用いることにより、例えば図１３に示す印刷設定画面として、ディスプレイ１０６に表示することが可能となる。
【０１５２】
プリント実行においては、スクリプト層２０１は、ネイティブ層２０２に対して関数Ｃを呼び出す。関数Ｃは、接続したプリンタでプリントするための関数である。関数Ｃが呼び出されると、ネイティブ層２０２は、プリンタでプリントする為のプリントデータを生成する。プリントデータとは、図１１のＳ１１０１で生成したデータを基に、Ｓ１００２で生成したコマンドである。生成したプリントデータは、通信プロトコルＣを用いてプリンタに送られ、プリントが実行される。通信プロトコルＣは、例えば、ＭＴＯＭ（Ｍｅｓｓａｇｅ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  Ｍｅｃｈａｎｉｓｍ）である。ＭＴＯＭは、バイナリデータを効率的に送受信する為に規定された通信プロトコルである。従って、画像のようにデータサイズが比較的大きくなるプリントデータに適した通信プロトコルである。また、プリンタの独自データフォーマットに沿った独自の通信プロトコルを使う方法もある。この場合、ネイティブ層２０２がプリンタの独自の通信プロトコルに対応することによりプリントが可能となる。
【０１５３】
以上により、外部デバイスとの通信が制限されるスクリプト層２０１は、ネイティブ層２０２を介すことにより、外部デバイスとの通信を行うことが可能となる。また、異なる複数の通信プロトコルを用いることによって、スクリプト層２０１から情報提供の要求を行ってプリンタ情報を得ること、および、スクリプト層２０１からプリント命令を行ってプリンタでプリントを行うことが可能となる。
【０１５４】
［第２の実施形態］
第１の実施形態では、プリント実行を１つの通信プロトコルで行う形態を説明した。本実施形態では、プリント実行を異なる複数の通信プロトコルにより行う形態を説明する。以下、第１の実施形態と異なる点について説明する。つまり、本実施形態では、第１の実施形態と同様のハードウェア構成とソフトウェア構成を備える。また、プリンタ接続とプリンタ設定における通信プロトコルは、図１４において説明した通りであり、プリント実行の通信プロトコルについて以下説明する。
【０１５５】
ここで、プリントジョブを定義する。プリントジョブは、プリントの為の詳細設定データ部とプリントデータ部とで構成される。
【０１５６】
詳細設定データ部について説明する。プリンタは詳細な設定によって様々な動作が可能となる。図１１のＳ１１０２で例示したプリント情報のように、詳細設定データ部は、以下に示すような各設定情報を指示するＸＭＬデータ群である。
・プリントスピード設定
・プリント品位設定
・カラー/モノクロ設定
・画像補正設定
・用紙設定
・給紙トレイ設定
・排紙トレイ設定
・用紙と例えばインクジェットプリンタの記録ヘッドとの距離設定
・余白なしプリント時の用紙からのはみ出しプリント量の設定
プリントデータ部について説明する。プリントデータ部は、例えば、図１１のＳ１１０１で例示した画像データを表すバイナリデータ群である。また、画像データに対してプリンタ側で全ての画像処理を実施する場合には、ＲＧＢの多値データを表すバイナリデータ群である。また、アプリケーション側で画像補正のみ実施する場合は、画像補正済みのＲＧＢの多値データを表すバイナリデータ群である。また、プリンタの色材に対応した色にデータ分解し、量子化までをアプリケーション側で実施する場合は、例えばＣＭＹＫの量子化データを表すバイナリデータ群である。
【０１５７】
図１５を参照しながら、プリント実行における通信プロトコルを説明する。図１２のプリントボタン１２０５をユーザが押下すると、プリントが実行される。プリントの実行においては、スクリプト層２０１は、ネイティブ層２０２に対して関数Ｄを呼び出す。関数Ｄは、プリントジョブをプリンタに送るための関数である。スクリプト層２０１から関数Ｄに渡された引数に従って、ネイティブ層２０２がプリントジョブを生成する。引数には、アプリケーションが提供するＵＩによるユーザ指示が反映されている。図１３の設定完了ボタン１３０２の押下により、ユーザが指示したプリンタ動作の詳細な設定に関する情報が引数に渡される。ネイティブ層２０２は、その引数を参照して詳細設定データ部を生成する。また、図１２の写真画像選択ボタン１２０１の押下により、ユーザが指示する画像データに関する情報が引数に渡される。ネイティブ層２０２は、その引数を参照してプリントデータ部を生成する。
【０１５８】
生成されたプリントジョブのうち詳細設定データ部は、通信プロトコルＤによりプリンタに送られる。一方、プリントデータ部は、通信プロトコルＤ’によりプリンタに送られる。通信プロトコルＤは、例えば、ＸＭＬデータの通信に適したＳＯＡＰ（Ｓｉｍｐｌｅ  Ｏｂｊｅｃｔ  Ａｃｃｅｓｓ  Ｐｒｏｔｏｃｏｌ）である。また、通信プロトコルＤ’は、例えば、大量のバイナリデータの通信に適したＭＴＯＭである。また、プリンタの独自データフォーマットに沿った独自の通信プロトコルを使う方法でも良い。その場合、ネイティブ層２０２がプリンタの独自の通信プロトコルに対応することによりプリントが可能となる。
【０１５９】
プリントジョブは、詳細設定データ部とプリントデータ部とを含んで構成されるが、詳細設定データ部をプリントデータ部に先行して送ることが有効である。理由は、以下の通りである。詳細設定部の中には、トレイの設定や、用紙と記録ヘッドの間の距離設定等の物理的な機構の動作を指示する設定がある。これらの機構動作は、プリントデータを使ったプリント前に行う必要がある。また、プリンタの機種によっては、プリントデータ部のみでデフォルト設定でプリントを開始する。この場合、詳細設定データ部を先行して送らないと、ユーザが指示した詳細設定でのプリントを実行できないからである。
【０１６０】
以上のように、外部デバイスとの通信が制限されるスクリプト層２０１は、ネイティブ層２０２を介して、外部デバイスとの通信を行うことが可能となる。またプリントジョブについて、異なる複数の通信プロトコルを用いることにより、ユーザが指示する詳細な設定に従ったプリントを行うことができる。
【０１６１】
［第３の実施形態］
本実施形態では、プリント実行中に第１の実施形態と第２の実施形態で説明した通信プロトコルとは別の通信プロトコルを用いて、プリンタのステータスを確認する形態を説明する。以下、第１及び第２の実施形態と異なる点について説明する。つまり、本実施形態では第１の実施形態と同様のハードウェア構成とソフトウェア構成を備える。また、プリンタ接続、プリンタ設定、およびプリント実行における通信プロトコルは、図１５において説明した通りである。
【０１６２】
ここで、ステータスを定義する。ステータスとは、プリンタの現在の状態のことであり、例えば以下の情報を含む。
・色材残量
・用紙残量
・プリント進行状況
図１６を参照しながら、ステータス確認における通信プロトコルを説明する。ステータス確認においては、スクリプト層２０１は、ネイティブ層２０２に対して関数Ｅを呼び出す。関数Ｅは、接続したプリンタのステータスを取得する関数である。関数Ｅが呼び出されると、ネイティブ層２０２は、接続したプリンタと通信プロトコルＥにより、ステータスを取得する。通信プロトコルＥは、例えば、前述のＨＴＴＰやＨＴＴＰを拡張したＧＥＮＡ（Ｇｅｎｅｒａｌ  Ｅｖｅｎｔ  Ｎｏｔｉｆｉｃａｔｉｏｎ  Ａｒｃｈｉｔｅｃｔｕｒｅ）である。プリンタのステータスを取得すると、ネイティブ層２０２は、スクリプト層２０１に対して、取得したステータスを伝えるスクリプトＥを生成して送る。スクリプト層２０１は、スクリプトＥを翻訳して、ステータスを知ることが可能となる。
【０１６３】
次に、スクリプト層２０１は、取得したステータスに基づいてスクリプトＵＩＥを生成し、ネイティブ層２０２に送る。スクリプトＵＩＥは、ＨＴＭＬにより例えば以下のように記述する。これはプリントの現在の進行状況を図１７に示すようにプログレスバーで示す例である。
------------------------------------------------
＜section＞
＜h2＞画像処理＜/h2＞
＜p＞＜progress value="70" max="100"＞＜/progress＞＜/p＞
＜/section＞
------------------------------------------------
また、別の例として、スクリプトＵＩＥに以下のＨＴＭＬを記述すると、色材や用紙の残量がないことを示すエラーメッセージを表示することができる。
------------------------------------------------
＜html＞
＜head＞
＜script type="text/javascript" language="javascript"＞
function error() {
window.alert(ERROR_MESSAGE \n);
}
＜/script＞
＜/head＞
＜/html＞
------------------------------------------------
以上のように、外部デバイスとの通信が制限されるスクリプト層２０１は、ネイティブ層２０２を介して、外部デバイスとの通信を行うことが可能となる。また、プリントデータを通信するプロトコルと異なる通信プロトコルにより、ユーザにプリンタの現在の状態を知らせることが可能となる。
【０１６４】
［その他の実施形態］
上記の各実施形態では、携帯型情報端末１００上で、ハイブリッド型アプリケーションを動作させる構成について説明した。しかしながら、そのような構成に限定されることはなく、例えば、アプリケーションが動作する環境は、スマートフォンやタブレットＰＣを始めとする携帯型情報端末の他に、ＰＣやサーバ、ゲーム機、デジタルカメラなどでも良い。
【０１６５】
加えて、各実施形態では、外部デバイスとしてプリンタを説明したが、これに限定されるものではない。例えば、外部デバイスとして、他のスマートフォンやタブレットＰＣ、ＰＣやサーバ、ゲーム機、スキャナなども対象となる。例えば、スクリプト層２０１から他の携帯型情報端末のバッテリー残量、通信状態、無線ＬＡＮの接続有無、ＧＰＳや温度、湿度、加速度など、端末が持つ機能の情報を得ることが、各実施形態の動作により可能となる。
【０１６６】
また、外部デバイスの例として電化製品や自動車も含まれる。例えば、各実施形態により、携帯型情報端末上のスクリプト層２０１から、外部の冷蔵庫、洗濯機、エアコン、照明、掃除機、ポットなどの情報を得たり、各デバイスの機能のオン/オフや出力の調整なども可能となる。
【０１６７】
また、本発明の目的は、以下によっても達成できる。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。上記のプログラムコードはスクリプト、ネイティブ、またはその両方である。次に、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行する。その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述の各実施形態の機能が実現されるだけではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述の各実施形態の機能が実現される場合も含まれる。
【０１６８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、該プログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６９】
加えて、上記の各実施形態では、コンテンツの描画としてＪａｖａＳｃｒｉｐｔのＣａｎｖａｓ機能を説明したが、コンテンツの描画はこれに限定されるものではない。例えば、ＳＶＧ（Ｓｃａｌａｂｌｅ  Ｖｅｃｔｏｒ  Ｇｒａｐｈｉｃｓ）を利用して、コンテンツを描画することも可能である。
【０１７０】
加えて、上記の各実施形態では、デバイス内の画像フォルダから画像を１枚選択しているが、これに限定されるものではない。例えば、データの絶対パスを指定する、画像の入っているフォルダごと指定する、デバイスのカメラ機能を利用しその場で画像を撮影するなどの方法によって取得しても良い。また、データの取得先についても、インターネット上の画像を選択する、脱着可能な記憶媒体内の画像を選択する、外部デバイスと通信で画像を取得する、などが挙げられる。
【０１７１】
加えて、上記の各実施形態におけるプリンタに関しては、インクジェットプリンタ、レーザープリンタ、昇華型プリンタ、ドットインパクトプリンタなどがある。これらには、スキャナ機能などを持ち、単一機能ではない、いわゆる複合機（ＭＦＰ）の場合もある。
【０１７２】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１７３】
１００  携帯情報端末：  １０１  ＣＰＵ：  １０２  ＲＯＭ：  １０３  ＲＡＭ
【図１】
0006363888.tif 000002
【図２】
0006363888.tif 000003
【図３】
0006363888.tif 000004
【図４】
0006363888.tif 000005
【図５】
0006363888.tif 000006
【図６】
0006363888.tif 000007
【図７】
0006363888.tif 000008
【図８】
0006363888.tif 000009
【図９】
0006363888.tif 000010
【図１０】
0006363888.tif 000011
【図１１】
0006363888.tif 000012
【図１２】
0006363888.tif 000013
【図１３】
0006363888.tif 000014
【図１４】
0006363888.tif 000015
【図１５】
0006363888.tif 000016
【図１６】
0006363888.tif 000017
【図１７】
0006363888.tif 000018