(57)【特許請求の範囲】
【請求項１】
表示画面上に配置されたタッチパネルに手書き入力が可能な手書き入力装置において、
前記手書き入力の内容を解析し、前記手書き入力の内容に基づいて前記表示画面上の領域を設定する入力情報処理部と、
前記手書き入力の内容に基づいてアプリケーションを判定し、起動させるアプリケーション判定部と、
前記アプリケーションが取得した情報を前記領域に挿入して前記表示画面に表示させる結果処理部と、を少なくとも備え、
前記結果処理部は、前記領域のサイズに応じて、前記アプリケーションが取得した情報の属性を設定する、
ことを特徴とする手書き入力装置。
【請求項２】
前記入力情報処理部は、手書き入力された文字及び／又は図形上に手書き入力された線によって規定される矩形領域、手書き入力された文字及び／又は図形を囲む矩形領域、又は、手書き入力された文字及び／又は図形と共に手書き入力された記号によって指定された矩形領域を前記領域として設定する、
ことを特徴とする請求項１に記載の手書き入力装置。
【請求項３】
前記アプリケーション判定部は、前記手書き入力の内容に基づいて判定したアプリケーションのリストを前記表示画面上に表示し、前記リストの中から選択されたアプリケーションを起動させる、
ことを特徴とする請求項１又は２に記載の手書き入力装置。
【請求項４】
前記情報の属性は、画像の表示サイズ、画像の拡大／縮小倍率、画像の解像度、動画の録画時間、音声の録音時間のいずれかを含む、
ことを特徴とする請求項１乃至３のいずれか一に記載の手書き入力装置。
【請求項５】
更に、前記手書き入力の筆圧、若しくは、特定ボタンの押下状態を検知する入力検知部を備え、
前記手書き入力の筆圧が予め定めた閾値以上の場合、若しくは、前記特定ボタンが押下された状態又は押下された後に手書き入力された場合に、前記入力情報処理部、前記アプリケーション判定部及び前記結果処理部を動作させる、
ことを特徴とする請求項１乃至４のいずれか一に記載の手書き入力装置。
【請求項６】
表示画面上に配置されたタッチパネルに手書き入力が可能な装置で動作する手書き入力制御プログラムであって、
前記装置を、
前記手書き入力の内容を解析し、前記手書き入力の内容に基づいて前記表示画面上の領域を設定する入力情報処理部、
前記手書き入力の内容に基づいてアプリケーションを判定し、起動させるアプリケーション判定部、
前記アプリケーションが取得した情報を前記領域に挿入して前記表示画面に表示させる結果処理部、として機能させ、
前記結果処理部は、前記領域のサイズに応じて、前記アプリケーションが取得した情報の属性を設定する、
ことを特徴とする手書き入力制御プログラム。
【請求項７】
前記入力情報処理部は、手書き入力された文字及び／又は図形上に手書き入力された線によって規定される矩形領域、手書き入力された文字及び／又は図形を囲む矩形領域、又は、手書き入力された文字及び／又は図形と共に手書き入力された記号によって指定された矩形領域を前記領域として設定する、
ことを特徴とする請求項６に記載の手書き入力制御プログラム。
【請求項８】
前記アプリケーション判定部は、前記手書き入力の内容に基づいて判定したアプリケーションのリストを前記表示画面上に表示し、前記リストの中から選択されたアプリケーションを起動させる、
ことを特徴とする請求項６又は７に記載の手書き入力制御プログラム。
【請求項９】
前記情報の属性は、画像の表示サイズ、画像の拡大／縮小倍率、画像の解像度、動画の録画時間、音声の録音時間のいずれかを含む、
ことを特徴とする請求項６乃至８のいずれか一に記載の手書き入力制御プログラム。
【請求項１０】
前記装置を、更に、
前記手書き入力の筆圧、若しくは、特定ボタンの押下状態を検知する入力検知部として機能させ、
前記手書き入力の筆圧が予め定めた閾値以上の場合、若しくは、前記特定ボタンが押下された状態又は押下された後に手書き入力された場合に、前記入力情報処理部、前記アプリケーション判定部及び前記結果処理部を動作させる、
ことを特徴とする請求項６乃至９のいずれか一に記載の手書き入力制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルで手書き入力が可能な手書き入力装置及び当該装置で動作する手書き入力制御プログラムに関する。
【背景技術】
【０００２】
近年、タッチパネルで手書き入力を行うタブレット端末などの手書き入力装置が普及している。この手書き入力装置は、内蔵するカメラで静止画や動画を撮影する機能や、内蔵するマイクで音声を録音する機能、地図上の場所を検索する機能、計算機としての機能など、様々な機能を備えているものも多く、手書き入力のためのアプリケーションを起動すると、手書き入力画面に、各種機能を実行するアプリケーションを起動するためのアイコンなどが表示され、アイコンをタッチすることにより、所望のアプリケーションを起動することができる。
【０００３】
上記手書き入力装置に関する技術ではないが、アプリケーションの起動に関連する技術として、例えば、下記特許文献１には、紙などに手書きした枠と文字列を光学認識してＰＣなどに取り込み、取り込んだドキュメント上で枠の部分をカーソルで指定すると、枠内記載のデータを処理するアプリケーションが自動的に起動し、ユーザが貼り付けるデータを選択すると、その枠の位置に添付されるようにする文書作成装置が開示されている。また、下記特許文献２には、アノトペンの仕組みにおいて、ある一定以上の筆圧を検知すると内蔵するカメラが起動し、用紙のドットパターンの読み込みを始め、記入された文字の読み込みを開始する情報管理端末装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１９４８６９号公報
【特許文献２】特開２００６−１１９７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の手書き入力装置では、アプリケーションで取得した情報を、手書き入力画面の所定の場所に挿入する場合には、所望のアプリケーションを起動するためのアイコンを選択し、そのアプリケーションで取得した情報をコピーし、コピーした情報を貼り付ける場所の大きさや位置を決めて貼り付けるといった操作が必要であり、操作が煩雑になるという問題があった。
【０００６】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、アプリケーションを簡便に起動し、当該アプリケーションで取得した情報を簡便に利用できるようにする手書き入力装置及び手書き入力制御プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は、表示画面上に配置されたタッチパネルに手書き入力が可能な手書き入力装置において、前記手書き入力の内容を解析し、前記手書き入力の内容に基づいて前記表示画面上の領域を設定する入力情報処理部と、前記手書き入力の内容に基づいてアプリケーションを判定し、起動させるアプリケーション判定部と、前記アプリケーションが取得した情報を前記領域に挿入して前記表示画面に表示させる結果処理部と、を少なくとも備え、前記結果処理部は、前記領域のサイズに応じて、前記アプリケーションが取得した情報の属性を設定するものである。
【０００８】
また、本発明は、表示画面上に配置されたタッチパネルに手書き入力が可能な装置で動作する手書き入力制御プログラムであって、前記装置を、前記手書き入力の内容を解析し、前記手書き入力の内容に基づいて前記表示画面上の領域を設定する入力情報処理部、前記手書き入力の内容に基づいてアプリケーションを判定し、起動させるアプリケーション判定部、前記アプリケーションが取得した情報を前記領域に挿入して前記表示画面に表示させる結果処理部、として機能させ、前記結果処理部は、前記領域のサイズに応じて、前記アプリケーションが取得した情報の属性を設定するものである。
【発明の効果】
【０００９】
本発明の入力装置及び手書き入力制御プログラムによれば、アプリケーションを簡便に起動し、当該アプリケーションで取得した情報を簡便に利用することができる。
【００１０】
その理由は、表示画面上に配置されたタッチパネルに手書き入力が可能な手書き入力装置（手書き入力制御プログラム）では、手書き入力の内容を解析し、手書き入力の内容に基づいてアプリケーションを起動すると共に、手書き入力の内容に基づいて表示画面上の領域を設定し、起動したアプリケーションが取得した情報を設定した領域に挿入して表示画面に表示させる制御を行うからである。
【００１１】
このように、アプリケーションの起動、アプリケーションで取得した情報の貼り付けサイズ及び位置の設定、アプリケーションで取得した情報の貼り付けの３動作を手書き入力の１動作で実行することができるため、ユーザの手間を省いて利便性を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例に係る手書き入力装置の外観構成及び基本動作を模式的に示す図である。
【図２】本発明の一実施例に係る手書き入力装置の主要部の構成を示すブロック図である。
【図３】本発明の一実施例に係る手書き入力装置の主要処理を示すフローチャート図である。
【図４】本発明の一実施例に係る手書き入力装置の処理（サブアプリケーションの起動処理の一例）を示すフローチャート図である。
【図５】本発明の一実施例に係る手書き入力装置を用いたサブアプリケーションの起動処理の一例を模式的に示す図である。
【図６】本発明の一実施例に係る手書き入力装置の処理（サブアプリケーションの起動処理の他の例）を示すフローチャート図である。
【図７】本発明の一実施例に係る手書き入力装置を用いたサブアプリケーションの起動処理の他の例を模式的に示す図である。
【図８】本発明の一実施例に係る手書き入力装置の処理（サブアプリケーションで取得した情報を表示するためのパラメータ設定処理）を示すフローチャート図である。
【図９】本発明の一実施例に係る手書き入力装置の動作（サブアプリケーションで取得した情報の挿入処理）を示すフローチャート図である。
【図１０（ａ）】本発明の一実施例に係る手書き入力装置の手書き入力領域のサイズを示す図である。
【図１０（ｂ）】本発明の一実施例に係る手書き入力装置を用いたカメラアプリケーションで撮影した静止画の挿入処理を模式的に示す図である。
【図１０（ｃ）】本発明の一実施例に係る手書き入力装置を用いたカメラアプリケーションで撮影した動画の挿入処理を模式的に示す図である。
【図１０（ｄ）】本発明の一実施例に係る手書き入力装置を用いたマイクアプリケーションで録音した音声の挿入処理を模式的に示す図である。
【図１０（ｅ）】本発明の一実施例に係る手書き入力装置を用いたカメラアプリケーションで撮影した静止画の挿入処理の他の例を模式的に示す図である。
【図１１】本発明の一実施例に係る手書き入力装置の処理（電卓アプリケーションで計算した結果の挿入処理）を示すフローチャート図である。
【図１２】本発明の一実施例に係る手書き入力装置を用いた電卓アプリケーションで計算した結果の挿入処理を模式的に示す図である。
【図１３】本発明の一実施例に係る手書き入力装置の処理（地図アプリケーションで取得した地図の挿入処理）を示すフローチャート図である。
【図１４】本発明の一実施例に係る手書き入力装置を用いた地図アプリケーションで取得した地図の挿入処理を模式的に示す図である。
【図１５】本発明の一実施例に係る手書き入力装置の処理（手書き入力の検知処理の一例）を示すフローチャート図である。
【図１６】本発明の一実施例に係る手書き入力装置の処理（手書き入力の検知処理の他の例）を示すフローチャート図である。
【図１７】本発明の一実施例に係る手書き入力装置を用いた手書き入力の検知処理を模式的に示す図である。
【発明を実施するための形態】
【００１３】
背景技術で示したように、従来の手書き入力装置は、手書き入力を実行するアプリケーションと、手書き入力装置に備える各種機能を実行するアプリケーションと、を連動して動作させることができないため、アプリケーションで取得した情報を手書き入力画面の所定の場所に挿入する場合には、アイコンを選択して所望のアプリケーションを起動し、そのアプリケーションで取得した情報をコピーし、コピーした情報を貼り付ける場所の大きさや位置を決定し、決定した位置に決定した大きさで情報を貼り付けるといった操作が必要であり、操作が煩雑になるという問題があった。
【００１４】
そこで、本発明の一実施形態では、手書き入力を可能にするアプリケーションの動作時に、所定の手書き入力を検知すると、手書き入力内容に対応するサブアプリケーションを起動し、かつ、手書き入力内容に対応する領域に、そのサブアプリケーションで取得した情報を挿入する処理を自動的に行うようにする。
【００１５】
具体的には、スタイラスペンや指による手書き入力を可能にするアプリケーション（メインアプリケーション）と、カメラによる静止画撮影や動画撮影、マイクによる音声録音、計算、地図上の場所検索などを実現する各種アプリケーション（サブアプリケーション）と、を備える手書き入力装置において、所定の手書き入力を検知（例えば、ある一定以上の筆圧を検知、ある特定ボタンを押下している間の手書き入力を検知）すると、手書き入力内容（例えば、予めサブアプリケーションごとに設定されている文字や概略図、計算式、住所、地名を指す名称、緯度経度など）を解釈して、手書き入力内容に対応するサブアプリケーションを選択し、起動する。そして、手書き入力内容に対応する領域の大きさと位置を設定し、設定した位置に、サブアプリケーションで取得した情報を設定した大きさで挿入するようにする。
【００１６】
これにより、サブアプリケーションの起動と、サブアプリケーションで取得した情報を挿入する領域の設定と、サブアプリケーションで取得した情報の挿入にかかる３つの動作を、手書き入力のみで実行することができ、ユーザの手間を省いて利便性を向上させることができる。
【実施例】
【００１７】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る手書き入力装置及び手書き入力制御プログラムについて、図１乃至図１７を参照して説明する。図１は、本実施例の手書き入力装置の外観構成及び基本動作を模式的に示す図であり、図２は、手書き入力装置の主要部の構成を示すブロック図である。また、図３、４、６、８、９、１１、１３、１５、１６は、本実施例の手書き入力装置の処理を示すフローチャート図であり、図５、７、１０、１２、１４、１７は、手書き入力装置の処理を模式的に示す図である。
【００１８】
図１（ａ）に示すように、本実施例の手書き入力装置１０は、スタイラスペン（以下、ペン２０と呼ぶ。）や指などで手書きが可能なタブレット端末やモバイルフォン、ノート型パーソナルコンピュータ装置などであり、静止画や動画を撮影するカメラ１４や、音声を録音するマイク／スピーカ１５などを備えている。なお、手書き入力装置１０の外観は図１の構成に限らず、手書き入力が可能な構成であればよい。
【００１９】
上記手書き入力装置１０では、図１（ｂ）に示すように、画面上に表示された手書き入力アプリケーションを起動するためのアイコンをペン２０や指でタッチしたり、特定のボタンを押下したりすると、手書き入力画面が表示され、その画面上で、ペン２０や指を用いて手書き入力を行うことができる。また、図１（ｃ）に示すように、手書き入力装置１０には、静止画を撮影するカメラアプリケーション、動画を撮影するビデオアプリケーション、音声を録音するボイスメモアプリケーション、計算を行う電卓アプリケーション、地図を検索して表示する地図アプリケーションなど（これらを総称してサブアプリケーションと呼ぶ。）がインストールされており、これらのサブアプリケーションを起動するための文字や模式図をペン２０や指で手書きすると、当該サブアプリケーションが起動して、静止画や動画を撮影したり、音声を録音したり、計算を行ったり、地図を検索したりすることができる。
【００２０】
図２は、本実施例の手書き入力装置１０の主要構成を示すブロック図であり、手書き入力装置１０は、手書きアプリケーション１１とサブアプリケーション１２とＯＳ（Operating System）１３とカメラ１４とマイク／スピーカ１５などで構成される。また、手書きアプリケーション１１は、手書き入力部１１ａと所定入力検知部１１ｂと表示部１１ｃと読取部１１ｄと入力情報処理部１１ｅとアプリケーション判定部１１ｆなどで構成される。また、サブアプリケーション１２は、操作部１２ａと結果処理部１２ｂなどで構成される。
【００２１】
上記構成の手書き入力装置１０の機能及び動作について概説すると、まず、メイン起動している手書きアプリケーション１１の手書き入力部１１ａ（タッチパネル）に対して、ペン２０や指で手書きを行うと、手書き内容が表示部１１ｃ（ＬＣＤ（Liquid Crystal Display）など）に表示される。その際、所定入力検知部１１ｂが、手書き入力部１１ａで所定の入力（所定の筆圧の手書き入力や特定のボタンを押下した状態での手書き入力）があったことを検知すると、読取部１１ｄは、表示部１１ｃに表示された情報（手書き入力内容）を読み取り、入力情報処理部１１ｅは、読み取った情報を処理する（手書き入力された文字や図形を認識したり、手書き入力された領域のサイズや位置を特定したりする）。そして、アプリケーション判定部１１ｆは、処理された情報（認識した文字や図形）を元に、起動するサブアプリケーションを決定し、これをＯＳ１３に通知する。
【００２２】
ＯＳ１３は、受信した情報を元に、対応するサブアプリケーション１２（若しくはサブアプリケーション１２とカメラ１４やマイク/スピーカ１５などの機能部）を起動する。
【００２３】
サブアプリケーション１２は、操作部１２ａ（サブアプリケーション１２を動作させるためのボタンなど）を表示部１１ｃに表示させ、ユーザは操作部１２ａを操作して、サブアプリケーションを動作させる。そして、結果処理部１２ｂは、サブアプリケーションで取得した情報（カメラアプリケーションの場合は静止画や動画、ボイスメモアプリケーションの場合は音声、電卓アプリケーションの場合は計算結果、地図アプリケーションの場合は検索した地図）を、入力情報処理部１１ｅで処理した情報（領域のサイズや位置）に基づいて、表示部１１ｃに挿入する。
【００２４】
なお、図２では、所定の入力を検知したり、入力された情報を処理したり、起動するサブアプリケーションを判定したりする処理を手書きアプリケーション１１が実行し、サブアプリケーション１２で取得した情報を表示部１１ｃに挿入する処理をサブアプリケーション１２が実行する構成とするが、これらの処理をＯＳ１３上で動作する他のアプリケーションが実行する（すなわち、手書きアプリケーション１１やサブアプリケーション１２は通常の構成とし、これらのアプリケーションを制御する他のアプリケーション（手書き入力制御プログラム）を追加する）構成することもできる。
【００２５】
次に、本実施例の手書き入力装置１０の基本処理について、図３のフローチャート図を参照して説明する。
【００２６】
まず、ペン２０や指などを用いて、ユーザが手書き入力部１１ａに手書きのストローク入力を行うと（Ｓ１０１）、表示部１１ｃは、手書き入力内容を画面上に表示する（Ｓ１０２）。次に、所定入力検知部１１ｂは、この手書き入力が、所定の入力条件で行われたかどうかを判定する（Ｓ１０３）。Ｎｏの場合は、Ｓ１０１に戻って同様の処理を繰り返す。上記Ｓ１０３の所定の入力条件に関しては後述する。
【００２７】
一方、Ｙｅｓの場合は、読取部１１ｄは、手書き入力内容を読み取り（Ｓ１０４）、入力情報処理部１１ｅは、読み取った手書き入力内容を解釈する処理を行い（Ｓ１０５）、アプリケーション判定部１１ｆは、手書き入力内容から起動するサブアプリケーションが特定できるかどうかを判定する（Ｓ１０６）。Ｎｏの場合は、Ｓ１０１に戻り、Ｙｅｓの場合は、入力情報処理部１１ｅは、処理した手書き入力内容を保存し（Ｓ１０７）、アプリケーション判定部１１ｆは、起動するサブアプリケーションをＯＳ１３に通知し、ＯＳ１３は、通知されたサブアプリケーションを起動する（Ｓ１０８）。上記Ｓ１０４からＳ１０８の詳細処理に関しては後述する。
【００２８】
次に、起動したサブアプリケーションは、表示部１１ｃに操作部１２ａを表示し、ユーザは操作部１２ａをタッチしてサブアプリケーションを操作し（Ｓ１０９）、挿入結果が決定（サブアプリケーションが情報を取得）すると（Ｓ１１０）、結果処理部１２ｂは、Ｓ１０７で保存された手書き入力内容を読み出して、サブアプリケーションが取得した情報を処理し（Ｓ１１１）、その情報を表示部１１ｃの手書き入力画面に挿入する（Ｓ１１２）。上記Ｓ１０９からＳ１１２の詳細処理に関しては後述する。
【００２９】
なお、上記フローでは、サブアプリケーションが取得した情報を表示部１１ｃの手書き入力画面に挿入する構成としたが、サブアプリケーションが取得した情報を手書き入力画面に挿入するためのレイアウト情報を生成し、サブアプリケーションが取得した情報と生成したレイアウト情報とを出力し、他の装置の表示部に表示させる構成とすることもできる。
【００３０】
以下、上記フローの詳細処理について、フローチャート図及び模式図を参照して説明する。
【００３１】
［サブアプリケーションの起動処理］
サブアプリケーションの起動処理（図３のステップＳ１０４〜Ｓ１０８の詳細処理）について、図４のフローチャート図及び図５の模式図を参照して説明する。なお、予め、ユーザが設定した特定の文字や画像（概略図）がサブアプリケーションと関連付けてデータベースに登録されているものとする。
【００３２】
まず、読取部１１ｄは、対象となる手書き入力内容を読み取り（Ｓ２０１）、入力情報処理部１１ｅは、読み取った手書き入力内容に対して、ＯＣＲ（Optical Character Reader）による文字判定及びデータベースへの画像検索を行う。ＯＣＲによる文字判定ができず（Ｓ２０２のＮｏ）、かつ、データベースに登録された画像と一致しない場合（Ｓ２０３のＮｏ）は、サブアプリケーションを起動せず、手書き入力待ち状態（図３のＳ１０１）に遷移する（Ｓ２０４）。
【００３３】
一方、ＯＣＲによる文字判定が可能な場合（Ｓ２０２のＹｅｓ）は、入力情報処理部１１ｅは、手書き入力内容から位置・サイズ等のパラメータが認識できるか判断する（Ｓ２０５）。パラメータが認識できない場合（Ｓ２０５のＮｏ）は、サブアプリケーションを起動せず、手書き入力待ち状態に遷移する（Ｓ２０４）。パラメータが認識できる場合（Ｓ２０５のＹｅｓ）又はデータベースに登録された画像と一致する場合（Ｓ２０３のＹｅｓ）は、アプリケーション判定部１１ｆは、ＯＣＲ処理で認識した文字又はデータベースに登録された画像と一致する概略図に対応するサブアプリケーションがあるかを確認する（Ｓ２０６）。
【００３４】
対応するサブアプリケーションがない場合は、サブアプリケーションを起動せず、手書き入力待ち状態に遷移する（Ｓ２０４）。一方、対応するサブアプリケーションが見つかった場合、入力情報処理部１１ｅは、位置・サイズ等のパラメータを保存し（Ｓ２０７）、アプリケーション判定部１１ｆは、起動するサブアプリケーションをＯＳ１３に通知し、ＯＳ１３は、通知されたサブアプリケーションを起動する（Ｓ２０８）。
【００３５】
例えば、図５（ａ）に示すような文字や画像がサブアプリケーションに関連付けられているとし、図５（ｂ）に示すように、「カメラ」の文字を手書きすると、ＯＣＲの文字判定により”カメラ”という文字を認識してカメラのサブアプリケーションを起動する。また、図５（ｂ）に示すような概略図を手書きすると、データベースに登録された画像との照合を行う。画像検索によってカメラアプリケーションに関連付けられている画像と特徴点が一致するため、カメラのサブアプリケーションを起動する。このように、ユーザはカメラの文字又は概略図を手書きするだけで、カメラのサブアプリケーションを起動することができるため、ユーザの利便性を向上させることができる。
【００３６】
上記フローでは、手書き内容に基づいてサブアプリケーションを自動的に起動させる構成としたが、手書き内容を誤認して意図しないサブアプリケーションが起動することがないようにするために、アプリケーション判定部１１ｆが認識したサブアプリケーションをリスト表示してユーザに確認することもできる。その場合の処理について、図６のフローチャート図及び図７の模式図を参照して説明する。
【００３７】
上記フローと同様に、読取部１１ｄは、対象となる手書き入力内容を読み取り（Ｓ３０１）、入力情報処理部１１ｅは、読み取った手書き入力内容に対して、ＯＣＲによる文字判定及びデータベースへの画像検索を行う。ＯＣＲによる文字判定ができず（Ｓ３０２のＮｏ）、かつ、データベースに登録された画像と一致しない場合（Ｓ３０３のＮｏ）は、サブアプリケーションを起動せず、手書き入力待ち状態に遷移する（Ｓ３０４）。
【００３８】
一方、ＯＣＲによる文字判定が可能な場合（Ｓ３０２のＹｅｓ）は、入力情報処理部１１ｅは、手書き入力内容から位置・サイズ等のパラメータが認識できるか判断する（Ｓ３０５）。パラメータが認識できない場合（Ｓ３０５のＮｏ）は、サブアプリケーションを起動せず、手書き入力待ち状態に遷移する（Ｓ３０４）。パラメータが認識できる場合（Ｓ３０５のＹｅｓ）又はデータベースに登録された画像と一致する場合（Ｓ３０３のＹｅｓ）は、アプリケーション判定部１１ｆは、ＯＣＲ処理で認識した文字又はデータベースに登録された画像と一致する概略図に対応するサブアプリケーションがあるかを確認する（Ｓ３０６）。
【００３９】
対応するサブアプリケーションがない場合は、サブアプリケーションを起動せず、手書き入力待ち状態に遷移する（Ｓ３０４）。一方、対応するサブアプリケーションが見つかった場合、上記フローではサブアプリケーションを起動したが、本フローでは、アプリケーション判定部１１ｆは、見つかったサブアプリケーションを特定する情報（例えば、サブアプリケーション名）を、表示部１１ｃの手書き領域上にリストで表示する（Ｓ３０７）。
【００４０】
ユーザは、そのリストからサブアプリケーションを選択するか、手書き入力を続けるかを決定する（Ｓ３０８）。このような処理を行うのは、リストに複数のサブアプリケーションが表示されている場合は、手書き入力内容を追記することで候補を絞ることができるからである。そして、手書き入力を続ける場合は、メインフローの最初に戻り（Ｓ３０９）、リストからサブアプリケーションを選択した場合、入力情報処理部１１ｅは、位置・サイズ等のパラメータを保存し（Ｓ３１０）、アプリケーション判定部１１ｆは、起動するサブアプリケーションをＯＳ１３に通知し、ＯＳ１３は、通知されたサブアプリケーションを起動する（Ｓ３１１）。
【００４１】
例えば、図７に示すように、「カ」の字を手書きすると、ＯＣＲの文字判定により”カ”という文字を認識する。次に、データベースを検索して、”カ”を含む文字に関連付けられているサブアプリケーションをリスト化して表示する（ここでは”カ”を含む文字はカメラのみであるため、カメラのサブアプリケーションを表示する）。そして、ユーザはその中から所望のサブアプリケーションを選択して起動する。また、図示していないが、概略図を手書きした場合も、データベースに登録されている画像と特徴点が一致する画像を検索し、その画像に関連付けられているサブアプリケーションをリスト化して表示する。このように、ユーザはカメラの文字又は概略図を手書きすると、手書き内容に応じたサブアプリケーションのリストが表示され、その中から所望のアプリケーションを選択すると、選択したサブアプリケーションが起動するため、ユーザが所望するサブアプリケーションを確実に起動させることができる。
【００４２】
［結果挿入処理］
次に、サブアプリケーションで取得した情報の挿入処理（図３のステップＳ１０９〜Ｓ１１２の詳細処理）について説明する。この場合、図３のステップＳ１０４〜Ｓ１０８の処理と並行して、サブアプリケーションで取得した情報を挿入する領域を特定するパラメータを設定する処理（図４のＳ２０５、Ｓ２０７、図６のＳ３０５、Ｓ３０７）を行う。
【００４３】
具体的には、図８に示すように、読取部１１ｄは、対象となる手書き入力内容を読み取り（Ｓ４０１）、線を認識する（Ｓ４０２）。次に、入力情報処理部１１ｅは、線を対角とする領域を認識し、領域の縦横の大きさを示すパラメータ（数値）を算出し（Ｓ４０３）、領域の位置を示すパラメータ（座標）を算出する（Ｓ４０４）。その後、入力情報処理部１１ｅは、サイズ及び位置のパラメータを保存する（Ｓ４０５）。
【００４４】
このようにして結果挿入領域を設定した後、図９に示すように、ユーザはサブアプリケーションを操作し（Ｓ５０１）、挿入結果を決定する（Ｓ５０２）。例えば、カメラアプリケーションの場合は、シャッター（ＳＨＯＴボタン）を操作して画像を取得し、ビデオアプリケーションの場合は、録画開始／終了ボタンを操作して動画を取得する。
【００４５】
次に、入力情報処理部１１ｅは、図８のＳ４０５で保存したパラメータを読み出し（Ｓ５０３）、読み出したパラメータに従って、サブアプリケーションで取得した情報の挿入サイズの処理を行うと共に（Ｓ５０４）、挿入位置の処理を行う（Ｓ５０５）。そして、結果処理部１２ｂは、挿入サイズ及び挿入位置に従って、サブアプリケーションで取得した情報を挿入する（Ｓ５０６）。
【００４６】
この処理を図１０の模式図を用いて具体的に説明する。図１０（ａ）に示すように、手書き領域のサイズが左上を原点にして、右下のＸ，Ｙ座標が（３００、２００）であるとする。静止画を撮影する場合は、図１０（ｂ）に示すように、ユーザが「カメラ」の文字を手書きすると共に、手書きした文字上に斜め線を手書きすると、斜め線を対角とする矩形の座標を取得し、挿入サイズのＸ方向を２４０、Ｙ方向を７０に設定すると共に、挿入位置の座標を（１０、３０）、（２５０、１００）に設定する。そして、「カメラ」の手書き文字に基づいてカメラアプリケーションが起動し、ユーザがシャッターボタンを押下して静止画を撮影すると、撮影した画像を挿入サイズに加工し（撮影した画像を挿入サイズに合わせて拡大／縮小してもよいし、撮影した画像から挿入サイズの領域を切り出してもよい）、加工した画像を挿入位置に貼り付ける。
【００４７】
また、動画撮影の場合は、図１０（ｃ）に示すように、ユーザが「ビデオ」の文字を手書きすると共に、手書きした文字上に斜め線を手書きすると、斜め線を対角とする矩形の座標を取得し、その座標に基づいて、挿入サイズと挿入位置を設定する。そして、「ビデオ」の文字に基づいてビデオアプリケーションが起動し、ユーザが録画開始／終了ボタンを押下して動画を撮影すると、撮影した動画を構成する各画像を挿入サイズに加工し、加工した動画を挿入位置に貼り付ける。
【００４８】
また、録音の場合は、図１０（ｄ）に示すように、ユーザが「マイク」の文字を手書きすると共に、手書きした文字上に斜め線を手書きすると、斜め線を対角とする矩形の座標を取得する。ここで、音声の場合は、挿入サイズを規定しても意味がないため、表示サイズは一定とし、代わりに音量を挿入サイズに合わせて変換する。例えば、挿入サイズ（Ｘ×Ｙ）と音量（ｄＢ）の換算値を図の左上のようと仮定した場合、挿入サイズが２４０×７０＝１６８００であるから、音声挿入時の音量は、１６８００／（６００００／６ｄＢ）＝１．６８ｄＢとなる。そして、「マイク」の文字に基づいてボイスメモアプリケーションが起動し、ユーザが録音開始／終了ボタンを押下して音声を録音すると、録音した音声の音量を挿入サイズに相当する音量に加工し、再生ボタンを挿入位置に貼り付け、再生ボタンをタッチすることにより加工した音声が再生されるようにする。
【００４９】
なお、上記説明では、斜め線を対角とする矩形領域にサブアプリケーションで取得した情報を挿入する構成としたが、領域を規定する線は斜め線に限らず、曲線や十字線などとし、手書きした線を囲む矩形領域を挿入領域として設定してもよいし、矩形を直接手書きしてもよい。また、上記説明では、線によって挿入領域を設定したが、手書き入力内容で挿入領域を指定することもできる。例えば、図１０（ｅ）に示すように、表示位置記号やキーワードのパラメータを左上の表のように仮定する。そして、手書き入力内容を読み込むと同時に、表示位置記号（ここでは上向きの矢印）を読み込むと、読み込んだ表示位置記号に対応するパラメータ（ここでは矢の先に挿入）を特定し、このパラメータに従って、手書き入力された矢印の先にサブアプリケーションで取得した情報（ここでは静止画）を挿入することもできる。
【００５０】
また、サブアプリケーションを起動するための手書き入力と領域を設定するための手書き入力（斜め線や表示位置記号）の双方を行うようにしているのは、これらの手書き入力をセットにすることによって、サブアプリケーションを起動する意図がなくサブアプリケーションに関連付けられた文字や概略図を手書きした場合に、サブアプリケーションを起動させないようにするためである。しかしながら、サブアプリケーションに関連付けられた文字や概略図を手書きした場合に、必ずサブアプリケーションを起動させる場合は、サブアプリケーションを起動するための手書き入力に基づいて挿入領域を設定することもできる。その場合、手書き入力内容を囲む矩形領域を挿入領域として設定してもよいし、手書き入力を基準にして予め定めた位置の領域（例えば、手書き入力の上部の所定の形状の領域）を挿入領域として設定してもよい。
【００５１】
以上、サブアプリケーションとして、カメラアプリケーションとビデオアプリケーションとボイスメモアプリケーションを例にして説明したが、電卓アプリケーションによって計算した結果を挿入する場合について、図１１のフローチャート図及び図１２の模式図を参照して説明する。
【００５２】
まず、読取部１１ｄは、対象となる手書き入力内容の読み取りを行う（Ｓ６０１）。次に、入力情報処理部１１ｅは、ＯＣＲによる文字判定処理によって、計算記号パラメータを確認する（Ｓ６０２）。計算記号パラメータを確認できない場合は、電卓アプリケーションを起動せず、手書き入力待ち状態（図３のＳ１０１）に遷移する（Ｓ６０３）。一方、計算記号パラメータを確認できた場合は、アプリケーション判定部１１ｆは、電卓アプリケーションをＯＳ１３に通知し、ＯＳ１３は、通知された電卓アプリケーションを起動する（Ｓ６０４）。
【００５３】
次に、ユーザは、電卓アプリケーション上にて、入力内容がＯＫであるかを確認し（Ｓ６０５）、ＯＫでなければ入力し直しなどの電卓アプリケーション操作を行う（Ｓ６０６）。入力内容がＯＫであれば、計算結果を決定する（Ｓ６０７）。そして、前記と同様に挿入サイズ・挿入位置を設定する処理を行い（Ｓ６０８）、結果処理部１２ｂは、挿入サイズ及び挿入位置に従って、計算結果を挿入する（Ｓ６０９）。
【００５４】
例えば、図１２に示すように、ＯＣＲの文字判定により、手書き入力内容から計算記号パラメータ（＋−×÷／等）と文字を判定する。ここでは、計算記号パラメータの「×」と数値の「１１．５」と「３２．８」を認識する。そして、入力内容に含まれる計算記号パラメータ（ここでは「×」)から、電卓アプリケーションが起動し、電卓アプリケーションの「＝」ボタンをタッチすることにより計算結果が決定し、挿入サイズ・挿入位置のパラメータによって特定される領域に計算結果「３７７．２」が挿入される。
【００５５】
次に、地図アプリケーションによって検索した地図を挿入する場合について、図１３のフローチャート図及び図１４の模式図を参照して説明する。
【００５６】
まず、読取部１１ｄは、対象となる手書き入力内容（郵便番号・地名／ランドマークワード・緯度経度など）の読み取りを行う（Ｓ７０１）。次に、入力情報処理部１１ｅは、ＯＣＲによる文字判定処理によって、地図パラメータを確認する（Ｓ７０２）。地図パラメータが確認できない場合は、地図アプリケーションを起動せず、手書き入力待ち状態（図３のＳ１０１）に遷移する（Ｓ７０３）。一方、地図パラメータが確認できた場合は、アプリケーション判定部１１ｆは、地図アプリケーションをＯＳ１３に通知し、ＯＳ１３は、通知された地図アプリケーションを起動し、地図アプリケーション上で入力内容を含む周辺地図・写真を検索して表示する（Ｓ７０４）。
【００５７】
次に、地図アプリケーション上にて、入力内容がＯＫであるかを確認し（Ｓ７０５）、ＯＫでなければ入力し直しなどの地図アプリケーション操作を行う（Ｓ７０６）。入力内容がＯＫであれば、地図検索結果を決定する（Ｓ７０７）。その後、上記と同様に、挿入サイズ・位置を設定する処理を行い（Ｓ７０８）、結果処理部１２ｂは、挿入サイズ及び挿入位置に従って、地図検索結果を挿入する（Ｓ７０９）。
【００５８】
例えば、図１４に示すように、ＯＣＲの文字判定により、郵便番号・地名／ランドマークワード・緯度経度などと文字を判定する。ここでは、「〒」、「１９２−８５０５」、「東京都八王子市石川町２９７０」を認識する。そして、入力内容に〒記号、”県”、”郡”、”City”など地名を示すキーワード、”駅”、”橋”、”Ink.”などランドマークを示すキーワード、緯度経度を含む数値表現が含まれていることを認識すると、地図アプリケーションが起動し、地図アプリケーション上に入力内容に対応した周辺地図・周辺写真を検索して表示する。ユーザは地図アプリケーション上で、地図の縮尺・写真のアングルなどを操作や入力内容の変更といった操作を行い、挿入する地図・写真を決定する。そして、挿入サイズ・挿入位置のパラメータによって特定される領域に地図・写真を挿入する。
【００５９】
なお、上記説明では、サブアプリケーションの画面を表示して挿入する情報を決定したが、サブアプリケーションの画面は必ずしも表示する必要はない。例えば、カメラアプリケーションの場合は、静止画や動画を撮影する画面を表示せず、カメラアプリケーションが自動的に取得した静止画や動画を挿入するようにしてもよい。また、電卓アプリケーションの場合は、電卓の画面を表示せず、電卓アプリケーションが自動的に計算した結果を挿入するようにしてもよい。
【００６０】
また、上記説明では、カメラアプリケーションやビデオアプリケーション、地図アプリケーションの場合は、手書き領域のサイズに合わせて画像や地図の表示サイズを設定したが、表示サイズに代えて、若しくは、表示サイズと共に、サブアプリケーションが取得した情報の属性を設定してもよい。例えば、手書き領域のサイズに合わせて画像の拡大／縮小倍率、画像の解像度、動画の再生時間などを設定（手書き領域のサイズが大きいほど、拡大倍率を大きくしたり、解像度を高くしたり、再生時間を長くしたり）してもよい。また、ボイスメモアプリケーションの場合は、手書き領域のサイズに合わせて音量を調整したが、音量に代えて、若しくは、音量とともに、録音時間や音質などを設定（手書き領域のサイズが大きいほど、録音時間を長くしたり、音質を高くしたり）してもよい。
【００６１】
以上、手書き入力されると、自動的に手書き入力内容を判別してサブアプリケーションを起動するようにしたが、ユーザはサブアプリケーションを起動する意図がなくサブアプリケーションに関連付けられた文字や概略図を手書きする場合もある。そこで、ある特定の入力条件の元で手書き入力された場合にのみサブアプリケーションを起動するようにすることもできる。そのような制御を行う場合の手書き入力装置１０の処理（図３のＳ１０１〜Ｓ１０３の処理）について説明する。
【００６２】
例えば、手書き入力部１１ａが感圧式のタッチパネルの場合は、図１５に示すように、ユーザが手書き入力部１１ａに手書きのストローク入力を行うと（Ｓ８０１）、表示部１１ｃは、手書き入力内容を画面上に表示する（Ｓ８０２）。次に、所定入力検知部１１ｂは、この手書き入力が、一定以上の筆圧で入力されたかどうかを判定する（Ｓ８０３）。一定以上の筆圧でなければ、通常の手書き入力であると判断してＳ８０１に戻り、一定以上の筆圧であれば、サブアプリケーションの起動制御であると判断して、入力データの表示内容を読み取り処理を行う。
【００６３】
また、手書き入力装置１０の特定のボタンを備える場合は、図１６に示すように、ユーザが手書き入力部１１ａに手書きのストローク入力を行うと（Ｓ９０１）、所定入力検知部１１ｂは、特定のボタンが押下されていたかどうかを確認する（Ｓ９０２）。特定のボタンが押下されていなかった場合は、通常の手書き入力であると判断してＳ９０１に戻り、特定のボタンが押下されていた場合は、サブアプリケーションの起動制御であると判断して、これ以降の手書き入力内容を読み取り対象とする。そして、ユーザが手書き入力部１１ａに手書きのストローク入力を行うと（Ｓ９０３）、表示部１１ｃは、手書き入力内容を画面上に表示し（Ｓ９０４）、入力データの表示内容を読み取り処理を行う。
【００６４】
例えば、ある一定の筆圧（閾値）を２５０ｇとし、図１７（ａ）の図上部の「ＩＳＰ」という文字が６０ｇ〜１７０ｇの筆圧範囲で書かれていれば、この手書き入力によってサブアプリケーションの起動制御は実行しない。一方、図下部の「カメラ」という文字が２５５ｇ〜３２０ｇの筆圧範囲で書かれていれば、この手書き入力によってサブアプリケーションの起動制御が実行され、「カメラ」という文字が読み取りの対象になる。
【００６５】
また、図１７（ｂ）の図上部の「ＩＳＰ」という文字が特定ボタンを押下せずに書かれていれば、この手書き入力によってサブアプリケーションの起動制御は実行しない。一方、図下部の「カメラ」という文字が特定ボタンを押下しながら（あるいは、一度押下してから）書かれていれば、この手書き入力によってサブアプリケーションの起動制御が実行され、「カメラ」という文字が読み取りの対象になる。
【００６６】
このように、ある特定の入力条件の元で手書き入力された場合にのみサブアプリケーションを起動することにより、サブアプリケーションが意図せずに起動することがなくなり、ユーザの利便性を向上させることができる。
【００６７】
なお、本発明は上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。例えば、上記実施例では、サブアプリケーションとして、カメラアプリケーション、ビデオアプリケーション、ボイスメモアプリケーション、電卓アプリケーション、地図アプリケーションを例示したが、主となるアプリケーション（手書きアプリケーション）と連動して動作可能な他のアプリケーションに対しても同様に適用することができる。
【産業上の利用可能性】
【００６８】
本発明は、手書き入力が可能な装置、及び、当該装置で動作する手書き入力制御プログラムに利用可能である。
【符号の説明】
【００６９】
１０  手書き入力装置
１１  手書きアプリケーション
１１ａ  手書き入力部
１１ｂ  所定入力検知部
１１ｃ  表示部
１１ｄ  読取部
１１ｅ  入力情報処理部
１１ｆ  アプリケーション判定部
１２  サブアプリケーション
１２ａ  操作部
１２ｂ  結果処理部
１３  ＯＳ
１４  カメラ
１５  マイク／スピーカ
【図１】
0005533837.tif 000002
【図２】
0005533837.tif 000003
【図３】
0005533837.tif 000004
【図４】
0005533837.tif 000005
【図５】
0005533837.tif 000006
【図６】
0005533837.tif 000007
【図７】
0005533837.tif 000008
【図８】
0005533837.tif 000009
【図９】
0005533837.tif 000010
【図１０（ａ）】
0005533837.tif 000011
【図１０（ｂ）】
0005533837.tif 000012
【図１０（ｃ）】
0005533837.tif 000013
【図１０（ｄ）】
0005533837.tif 000014
【図１０（ｅ）】
0005533837.tif 000015
【図１１】
0005533837.tif 000016
【図１２】
0005533837.tif 000017
【図１３】
0005533837.tif 000018
【図１４】
0005533837.tif 000019
【図１５】
0005533837.tif 000020
【図１６】
0005533837.tif 000021
【図１７】
0005533837.tif 000022