(57)【要約】【課題】  画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映すること。【解決手段】  携帯情報装置は、カメラが画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御部２２１と、撮像画像に対応する元データを画像形成装置から取得する元データ取得部２２３と、取得された元データ中で撮像画像に対応する部分を処理対象部分として決定する処理対象決定部２２７と、撮像画像と元データの処理対象部分とを比較して、異なる部分を手書部分として検出する手書部分検出手部２２９と、取得された撮像画像または元データの手書部分に基づいて手書情報を検出する手書情報検出部２３１と、抽出された手書情報に基づいて、元データを変更する変更部２３９と、を備える。【選択図】        図６
2013097624.tif 000002
【特許請求の範囲】
【請求項１】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置であって、
撮像手段と、
前記撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、
前記撮像画像に対応する元データを前記画像形成装置から取得する元データ取得手段と、
前記取得された元データ中で前記撮像画像に対応する部分を処理対象部分として決定する処理対象決定手段と、
前記撮像画像と前記元データの前記処理対象部分とを比較して、異なる部分を手書部分として検出する手書部分検出手段と、
前記取得された撮像画像または前記元データの前記手書部分に基づいて手書情報を検出する手書情報検出手段と、
前記抽出された手書情報に基づいて、前記元データを変更する変更手段と、を備えた携帯情報装置。
【請求項２】
前記処理対象決定手段は、前記撮像手段が撮影範囲を変更した後に、前記処理対象部分を決定し、
前記手書部分検出手段は、前記処理対象部分が決定されることに応じて、前記撮像手段が撮影範囲を変更した後に出力する撮像画像と前記元データの前記処理対象部分とを比較する、請求項１に記載の携帯情報装置。
【請求項３】
ユーザーによる変更を許可する操作を受け付ける許可受付手段を、さらに備え、
前記変更手段は、前記手書部分検出手段によって手書部分が検出される場合、前記許可受付手段により許可する操作が受け付けられることを条件に前記元データを変更する、請求項２に記載の携帯情報装置。
【請求項４】
前記変更手段は、前記撮影手段による撮像中に、前記手書部分検出手段によって手書部分が検出されるごとに、前記許可受付手段により許可する操作が受け付けられたか否かを判断する、請求項３に記載の携帯情報装置。
【請求項５】
前記手書部分検出手段によって手書部分が検出される場合、該検出された手書部分を記憶する手書部分記憶手段を、さらに備え、
前記変更手段は、前記撮影手段による撮像が終了した後に、前記記憶された手書部分に対して前記許可受付手段により許可する操作が受け付けられたか否かを判断する、請求項３に記載の携帯情報装置。
【請求項６】
前記手書情報検出手段は、前記取得された撮像画像の前記手書部分を文字認識して文字を検出する文字検出手段を、含み、
前記変更手段は、前記文字検出手段により文字が検出される場合、前記検出された文字を前記元データの前記手書部分に追加する文字追加手段を含む、請求項１〜５のいずれかに記載の携帯情報装置。
【請求項７】
前記手書情報検出手段は、前記取得された撮像画像の前記手書部分中で所定の形状の線画を検出する第１線画検出手段を、含み、
前記変更手段は、前記第１線画検出手段により線画が検出される場合、前記検出された線画を前記元データの前記手書部分に追加する線画追加手段をさらに含む、請求項１〜６のいずれかに記載の携帯情報装置。
【請求項８】
前記手書情報検出手段は、前記取得された撮像画像の前記手書部分が前記元データの前記手書部分と色が異なる場合に、前記手書部分を強調部分として検出する強調部分検出手段を、含み、
前記変更手段は、前記強調部分検出手段により前記強調部分が検出される場合、前記元データの前記強調部分の色を変更する強調手段を含む、請求項１〜７のいずれかに記載の携帯情報装置。
【請求項９】
前記手書情報検出手段は、前記元データの前記手書部分に存在し、前記取得された撮像画像の前記手書部分に存在しない部分を削除部分として検出する削除部分検出手段を含み、
前記変更手段は、前記削除部分検出手段により前記削除部分が検出される場合、前記元データから前記削除部分を削除する削除手段を含む、請求項１〜８のいずれかに記載の携帯情報装置。
【請求項１０】
前記手書情報検出手段は、前記取得された撮像画像の前記手書部分から第１の形状と第２の形状の２つの線画の組を検出する第２線画検出手段を、含み、
前記変更手段は、前記第２線画検出手段により前記２つの線画の組が検出される場合、前記元データの前記検出された第１の形状の線画で囲まれた囲い部分を、前記検出された第２の形状の線画に対して予め割り当てられた処理を実行する構成変更手段を含む、請求項１〜９のいずれかに記載の携帯情報装置。
【請求項１１】
前記携帯情報装置は、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、
前記元データ取得手段は、前記記憶手段に記憶されたデータのうちから前記元データを選択するユーザーによる指示を受け付ける選択指示受付手段を含み、
前記処理対象決定手段は、
前記撮像手段の第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において、前記用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、
前記加速度検出手段が前記第１基準時刻以降に出力する３方向各々の加速度に基づいて、前記第１基準時刻以降の参照時刻における位置を、前記第１基準位置に相対する参照位置として検出する参照位置検出手段と、
前記第１基準時刻以降であって、前記撮像手段の前記第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における前記参照位置を第２基準位置に設定する第２基準設定手段と、
前記第１の撮影範囲および第２の撮影範囲それぞれの前記撮像手段の全撮像範囲中における相対的位置関係と、前記第１基準位置と前記第２基準位置との３次元空間における相対的位置関係と、に基づいて、前記参照位置を前記元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、
前記参照位置検出手段により前記参照位置が検出されることに応じて、前記検出された参照位置を前記決定された変換規則にしたがって変換した前記元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む請求項１〜１０のいずれかに記載の携帯情報装置。
【請求項１２】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置で実行される連携方法あって、
撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像画像取得ステップと、
前記撮像画像に対応する元データを前記画像形成装置から取得する元データ取得ステップと、
前記取得された元データ中で前記撮像画像に対応する部分を処理対象部分として決定する処理対象決定ステップと、
前記撮像画像と前記元データの前記処理対象部分とを比較して、異なる部分を手書部分として検出する手書部分検出ステップと、
前記取得された撮像画像の前記手書部分に基づいて手書情報を抽出する手書情報検出ステップと、
前記抽出された手書情報に基づいて、前記元データを変更する変更ステップと、を含む連携方法。
【請求項１３】
元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置を制御するコンピューターで実行される連携プログラムあって、
撮像手段が前記画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像画像取得ステップと、
前記撮像画像に対応する元データを前記画像形成装置から取得する元データ取得ステップと、
前記取得された元データ中で前記撮像画像に対応する部分を処理対象部分として決定する処理対象決定ステップと、
前記撮像画像と前記元データの前記処理対象部分とを比較して、異なる部分を手書部分として検出する手書部分検出ステップと、
前記取得された撮像画像の前記手書部分に基づいて手書情報を抽出する手書情報検出ステップと、
前記抽出された手書情報に基づいて、前記元データを変更する変更ステップと、を前記コンピューターに実行させる連携プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯情報装置、連携方法および連携プログラムに関し、特に、画像形成装置と通信可能な携帯情報装置、その携帯情報装置により実行される連携方法および連携プログラムに関する。
【背景技術】
【０００２】
会議などで文書データの画像を形成した用紙が資料として配布される。ユーザーが配布された用紙を見ながら変更を望む場合があり、その変更を文書データに反映することが望まれる。特開２０１０−２０５１３８号公報には、メモの書き込みが行われ、書き込まれたメモの保存が望ましい文書の印刷に際し、文書ＩＤ、頁ＩＤ及び印刷位置をコード化した位置コードを複数箇所に印刷し、位置コード付き紙文書が配布された利用者が、文書中の特定箇所にメモを書き込みたい場合、特定箇所近傍に印刷されている位置コードを携帯端末で撮影すると、特定箇所の情報がサーバーから転送され、携帯端末において特定個所の情報をタッチパネル付き表示部に表示し、表示された特定箇所にペンを用いてメモを書き込み、保存を指示すると、書き込んだメモの画像がサーバーへ送信されて保存される文書管理装置が記載されている。
【０００３】
しかしながら、従来の文書管理装置においては、メモを携帯端末に入力しなければならないため、会議中に用紙を見ながら携帯端末を操作する必要があり、操作が煩雑になるといった問題がある。
【特許文献１】特開２０１０−２０５１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映することが可能な携帯情報装置を提供することである。
【０００５】
この発明の他の目的は、画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映することが可能な連携方法を提供することである。
【０００６】
この発明のさらに他の目的は、画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映することが可能な連携プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上述した目的を達成するためにこの発明のある局面によれば、携帯情報装置は、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置であって、撮像手段と、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像制御手段と、撮像画像に対応する元データを画像形成装置から取得する元データ取得手段と、取得された元データ中で撮像画像に対応する部分を処理対象部分として決定する処理対象決定手段と、撮像画像と元データの処理対象部分とを比較して、異なる部分を手書部分として検出する手書部分検出手段と、取得された撮像画像または元データの手書部分に基づいて手書情報を検出する手書情報検出手段と、抽出された手書情報に基づいて、元データを変更する変更手段と、を備える。
【０００８】
この局面に従えば、画像形成装置によって用紙に形成された画像を撮像し、撮像画像を取得し、撮像画像に対応する元データを画像形成装置から取得し、元データ中で撮像画像に対応する部分を処理対象部分として決定し、撮像画像と元データの処理対象部分とを比較して、異なる部分を手書部分として検出し、手書部分に基づいて手書情報を検出し、手書情報に基づいて、元データを変更する。このため、画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映することが可能な携帯情報装置を提供することができる。
【０００９】
好ましくは、処理対象決定手段は、撮像手段が撮影範囲を変更した後に、処理対象部分を決定し、手書部分検出手段は、処理対象部分が決定されることに応じて、撮像手段が撮影範囲を変更した後に出力する撮像画像と元データの処理対象部分とを比較する。
【００１０】
この局面に従えば、撮影範囲を変更した後に、処理対象部分が決定されることに応じて、撮影範囲を変更した後の撮像画像と元データの処理対象部分とを比較するので、用紙を部分的に撮像する場合であっても用紙の全体から手書部分を検出することができる。
【００１１】
好ましくは、ユーザーによる変更を許可する操作を受け付ける許可受付手段を、さらに備え、変更手段は、手書部分検出手段によって手書部分が検出される場合、許可受付手段により許可する操作が受け付けられることを条件に元データを変更する。
【００１２】
この局面に従えば、ユーザーは、手書部分を元データに反映するかいなかを選択することができる。
【００１３】
好ましくは、変更手段は、撮影手段による撮像中に、手書部分検出手段によって手書部分が検出されるごとに、許可受付手段により許可する操作が受け付けられたか否かを判断する。
【００１４】
この局面に従えば、撮像中に、手書部分が検出されるごとに、手書部分を元データに反映するかいなかを選択することができる。このため、用紙を部分的に撮像し、手書部分を検出することができる。
【００１５】
好ましくは、手書部分検出手段によって手書部分が検出される場合、該検出された手書部分を記憶する手書部分記憶手段を、さらに備え、変更手段は、撮影手段による撮像が終了した後に、記憶された手書部分に対して許可受付手段により許可する操作が受け付けられたか否かを判断する。
【００１６】
この局面に従えば、手書部分を記憶し、撮像が終了した後に、手書部分に対して許可する操作が受け付けられたか否かを判断するので、用紙全体を撮像した後にまとめて元データを変更することができる。
【００１７】
好ましくは、手書情報検出手段は、取得された撮像画像の手書部分を文字認識して文字を検出する文字検出手段を、含み、変更手段は、文字検出手段により文字が検出される場合、検出された文字を元データの手書部分に追加する文字追加手段を含む。
【００１８】
この局面に従えば、用紙に手書きで記入された文字を、元データに追加することができる。
【００１９】
好ましくは、手書情報検出手段は、取得された撮像画像の手書部分中で所定の形状の線画を検出する第１線画検出手段を、含み、変更手段は、第１線画検出手段により線画が検出される場合、検出された線画を元データの手書部分に追加する線画追加手段をさらに含む。
【００２０】
この局面に従えば、用紙に手書きで記入された線画を、元データに追加することができる。
【００２１】
好ましくは、手書情報検出手段は、取得された撮像画像の手書部分が元データの手書部分と色が異なる場合に、手書部分を強調部分として検出する強調部分検出手段を、含み、変更手段は、強調部分検出手段により強調部分が検出される場合、元データの強調部分の色を変更する強調手段を含む。
【００２２】
この局面に従えば、用紙に手書きで記入された色を、元データに追加することができる。
【００２３】
好ましくは、手書情報検出手段は、元データの手書部分に存在し、取得された撮像画像の手書部分に存在しない部分を削除部分として検出する削除部分検出手段を含み、変更手段は、削除部分検出手段により削除部分が検出される場合、元データから削除部分を削除する削除手段を含む。
【００２４】
この局面に従えば、用紙に手書きで消去された文字または線画を、元データから消去することができる。
【００２５】
好ましくは、手書情報検出手段は、取得された撮像画像の手書部分から第１の形状と第２の形状の２つの線画の組を検出する第２線画検出手段を、含み、変更手段は、第２線画検出手段により２つの線画の組が検出される場合、元データの検出された第１の形状の線画で囲まれた囲い部分を、検出された第２の形状の線画に対して予め割り当てられた処理を実行する構成変更手段を含む。
【００２６】
この局面に従えば、用紙に手書きで囲まれた部分に対応する元データの部分に、予め定められた処理を実行させることができる。
【００２７】
好ましくは、携帯情報装置は、互いに交わる３方向の加速度を検出する加速度検出手段をさらに備え、元データ取得手段は、記憶手段に記憶されたデータのうちから元データを選択するユーザーによる指示を受け付ける選択指示受付手段を含み、処理対象決定手段は、撮像手段の第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において、用紙に対する相対的な位置である第１基準位置を設定する第１基準設定手段と、加速度検出手段が第１基準時刻以降に出力する３方向各々の加速度に基づいて、第１基準時刻以降の参照時刻における位置を、第１基準位置に相対する参照位置として検出する参照位置検出手段と、第１基準時刻以降であって、撮像手段の第１の撮影範囲とサイズおよび位置が異なる第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置を第２基準位置に設定する第２基準設定手段と、第１の撮影範囲および第２の撮影範囲それぞれの撮像手段の全撮像範囲中における相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定する変換規則決定手段と、参照位置検出手段により参照位置が検出されることに応じて、検出された参照位置を決定された変換規則にしたがって変換した元データ中の範囲を処理対象部分として抽出する変換抽出手段と、を含む。
【００２８】
この局面に従えば、互いに交わる３方向の加速度が検出され、第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において第１基準位置が設定され、第１基準時刻以降に検出される３方向各々の加速度に基づいて参照位置が検出され、第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置が第２基準位置に設定され、第１の撮影範囲および第２の撮影範囲それぞれの相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則が決定され、参照位置を変換規則にしたがって変換することによって、処理対象部分が抽出される。このため、３方向の加速度を検出することによって元データ中の処理対象部分を決定することができ、処理対象部分を正確に特定することができる。
【００２９】
この発明の他の局面によれば、連携方法は、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置で実行される連携方法あって、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像画像取得ステップと、撮像画像に対応する元データを画像形成装置から取得する元データ取得ステップと、取得された元データ中で撮像画像に対応する部分を処理対象部分として決定する処理対象決定ステップと、撮像画像と元データの処理対象部分とを比較して、異なる部分を手書部分として検出する手書部分検出ステップと、取得された撮像画像の手書部分に基づいて手書情報を抽出する手書情報検出ステップと、抽出された手書情報に基づいて、元データを変更する変更ステップと、を含む。
【００３０】
この局面に従えば、画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映することが可能な携帯方法を提供することができる。
【００３１】
この発明のさらに他の局面によれば、連携プログラムは、元データの画像を用紙に形成し、該元データを記憶する画像形成装置と通信可能な携帯情報装置を制御するコンピューターで実行される連携プログラムあって、撮像手段が画像形成装置によって用紙に形成された画像を撮像し、出力する撮像画像を取得する撮像画像取得ステップと、撮像画像に対応する元データを画像形成装置から取得する元データ取得ステップと、取得された元データ中で撮像画像に対応する部分を処理対象部分として決定する処理対象決定ステップと、撮像画像と元データの処理対象部分とを比較して、異なる部分を手書部分として検出する手書部分検出ステップと、取得された撮像画像の手書部分に基づいて手書情報を抽出する手書情報検出ステップと、抽出された手書情報に基づいて、元データを変更する変更ステップと、をコンピューターに実行させる。
【００３２】
この局面に従えば、画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映することが可能な連携プログラムを提供することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態における画像処理システムの全体概要を示す図である。
【図２】ＭＦＰの外観を示す斜視図である。
【図３】ＭＦＰのハードウエア構成の概要を示すブロック図である。
【図４】携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。
【図５】ＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図６】携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図７】第１アシスト画面の一例を示す図である。
【図８】第２アシスト画面の一例を示す図である。
【図９】許可受付画面の一例を示す図である。
【図１０】一括受付画面の一例を示す図である。
【図１１】ＭＦＰ側連携処理の流れの一例を示すフローチャートである。
【図１２】撮像連携処理の流れの一例を示すフローチャートである。
【図１３】元データ変換処理の流れの一例を示すフローチャートである。
【図１４】都度変換処理の流れの一例を示すフローチャートである。
【図１５】手書情報格納処理の流れの一例を示すフローチャートである。
【図１６】一括変換処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００３５】
図１は、本発明の実施の形態における画像処理システムの全体概要を示す図である。図１を参照して、画像処理システム１は、それぞれがネットワーク３に接続された画像形成装置としての複合機（以下、「ＭＦＰ」という）１００，１０１，１０２と、パーソナルコンピューター（以下、「ＰＣ」という）１０５と、携帯情報装置２００と、無線局１１を含む。
【００３６】
なお、図ではネットワーク３に３台のＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００，１０１，１０２が接続される例を示しているが、ＭＦＰの数はこれに限定されるものではなく、１台以上であればよい。また、ＭＦＰ１００，１０１，１０２に代えて、画像を形成する機能を備えた装置であれば、例えば、ファクシミリ、プリンタ等であってもよい。
【００３７】
ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク３は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ  Ｓｗｉｔｃｈｅｄ  Ｔｅｌｅｐｈｏｎｅ  Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク３は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。このため、ＭＦＰ１００，１０１，１０２各々は、ネットワーク３を介して互いに通信可能である。
【００３８】
携帯情報装置２００は、スマートホン等の一般的なＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）である。携帯情報装置２００は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。また、携帯情報装置２００は、無線ＬＡＮ機能を備えている。
【００３９】
ネットワーク３には無線局１１がさらに接続される。無線局１１は、ネットワーク３の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００と通信して、携帯情報装置２００をネットワーク３に接続する。このため、携帯情報装置２００は、ネットワーク３に接続された、ＭＦＰ１００，１０１，１０２，ＰＣ１０５とデータの送受信が可能である。
【００４０】
ＰＣ１０５は、一般的なコンピューターである。ＰＣ１０５は、ユーザーにより使用され、アプリケーションプログラムを実行することにより、種々の処理を実行する。種々の処理は、データをＭＦＰ１００，１０１，１０２のいずれかに記憶する処理、ＭＦＰ１００，１０１，１０２にデータの画像をプリントさせるプリント処理を含む。データは、インターネットに接続されたサーバーからダウンロードしたＷｅｂページ、地図などのデータ、アプリケーションプログラムを実行して生成したデータ等を含む。
【００４１】
ＭＦＰ１００，１０１，１０２は、ハードウエア構成は同じであってもよく異なっていてもよいが、少なくともデータに基づいて、データの画像を紙などの用紙に形成する画像形成機能を備えている。ＭＦＰ１００，１０１，１０２各々が有するハードウエア構成は同じではない場合があるが、ここではＭＦＰ１００が、他のＭＦＰ１０１，１０２の少なくとも１つが有する構成を有している場合を例に説明する。
【００４２】
図２は、ＭＦＰの外観を示す斜視図である。図３は、ＭＦＰのハードウエア構成の概要を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００４３】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）１１５と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１６と、ファクシミリ部１１７と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１８Ａが装着される外部記憶装置１１８と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００４４】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００４５】
操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６０Ａと操作部１６０Ｂとを含む。表示部１６０Ａは、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６０Ｂは、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６０Ｂは、表示部１６０Ａ上に設けられたタッチパネルをさらに含む。
【００４６】
通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介してＭＦＰ１０１，１０２、ＰＣ１０５または携帯情報装置２００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。
【００４７】
ファクシミリ部１１７は、公衆交換電話網（ＰＳＴＮ）に接続され、ファクシミリデータを送受信する。ファクシミリ部１１７は、原稿読取部１３０により読み取られた画像データまたはＨＤＤ１１６に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。また、ファクシミリ部１１７は、受信されたファクシミリデータをＨＤＤ１１６に記憶するか、画像形成部１４０にファクシミリデータの画像を用紙に形成させる。
【００４８】
外部記憶装置１１８は、プログラムを記憶したＣＤ−ＲＯＭ１１８Ａが装着される。ＣＰＵ１１１は、外部記憶装置１１８を介してＣＤ−ＲＯＭ１１８Ａに記憶されたプログラムをＲＡＭ１１４にロードし、実行する。なお、プログラムを記憶する記録媒体としては、ＣＤ−ＲＯＭ１１８Ａに限られず、フレキシブルディスク、カセットテープ、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）などの半導体メモリ等でもよい。また、ＨＤＤ１１６に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ＭＦＰ１００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１６に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４９】
図４は、携帯情報装置のハードウエア構成の概要を示す機能ブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、ＣＰＵ２０１の作業領域として用いられるＲＡＭ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、カメラ２０４と、通話部２０６と接続された無線通信部２０５と、情報を表示する表示部２０７と、ユーザーの操作の入力を受け付ける操作部２０８と、無線ＬＡＮインターフェース（Ｉ／Ｆ）２０９と、カードＩ／Ｆ２１０と、３軸加速度センサー２１２と、を含む。
【００５０】
無線通信部２０５は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０５は、携帯情報装置２００を電話通信網に接続し、通話部２０６を用いた通話を可能とする。無線通信部２０５は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０６に出力する。また、無線通信部２０５は、通話部２０６から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０６は、マイクおよびスピーカを備え、無線通信部２０５から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２０５に出力する。さらに、無線通信部２０５は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。
【００５１】
カメラ２０４は、レンズおよびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサーに結像し、ＣＭＯＳセンサーは受光した光を光電変換して画像データをＣＰＵ２０１に出力する。
【００５２】
表示部２０７は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０８は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。
【００５３】
表示部２０７は、カメラ２０４が配置される面とは反対側の面に設けられ、カメラ２０４が備えるレンズの光軸を法線とする表示面を有する。このため、カメラ２０４の被写体と、表示面とがユーザーの方向を向くので、ユーザーは、被写体となる用紙に形成された画像と、表示面に表示された画像とを見ることができる。例えば、カメラ２０４で撮像して得られる撮像画像を、そのまま表示部２０７に表示する場合には、携帯情報装置２００を、虫眼鏡のように使用することができる。
【００５４】
無線ＬＡＮＩ／Ｆ２０９は、無線局１１と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００に予めＭＦＰ１００，１０１，１０２それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＭＦＰ１００，１０１，１０２と通信することができ、データの送受信が可能となる。
【００５５】
カードＩ／Ｆ２１０は、メモリーカード２１０Ａが装着される。ＣＰＵ２０１は、カードＩ／Ｆ２１０を介してメモリーカード２１０Ａにアクセス可能である。ＣＰＵ２０１は、カードＩ／Ｆ２１０に装着されたメモリーカード２１０Ａに記録されたプログラムをＲＡＭ２０２にロードして実行する。なお、ＣＰＵ２０１が実行するプログラムは、メモリーカード２１０Ａに記録されたプログラムに限られず、フラッシュメモリ２０３に記憶されたプログラムをＲＡＭ２０２にロードして実行するようにしてもよい。
【００５６】
この場合、携帯情報装置２００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをフラッシュメモリ２０３に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００５７】
３軸加速度センサー２１２は、携帯情報装置２００の本体に固定され、３方向の加速度を検出し、検出された３方向の加速度をＣＰＵ２０１に出力する。３方向は、カメラ２０４が有するレンズの光軸方向と平行なＺ軸方向と、Ｚ軸方向と交わるＸ軸方向と、Ｚ軸およびＸ軸と交わるＹ方向である。ここでは、Ｘ軸、Ｙ軸およびＺ軸は、互いに直角に交わるようにしている。
【００５８】
本実施の形態における画像処理システム１において、ＭＦＰ１００，１０１，１０２および携帯情報装置２００間で、データが送受信される。データを送受信するプロトコルは、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ  Ｏｆｆｉｃｅ  Ｐｒｏｔｏｃｏｌ）等が用いられる。また、携帯情報装置２００は、ＭＦＰ１００，１０１，１０２のいずれとデータの送受信をしてもよいが、ここでは、説明のために、ＭＦＰ１００とデータの送受信をする場合を例に説明する。
【００５９】
さらに、ＭＦＰ１００には、元データが記憶されており、元データの画像を用紙に形成する。元データの画像を形成した用紙は、ここでは、会議で配布される資料とする。会議の参加者が、携帯情報装置２００のカメラ２０４で、元データの画像を形成した用紙の一部を撮像すれば、撮像画像が表示部２０７に表示されるので、元データの画像を拡大した画像を表示させることができ、携帯情報装置２００を虫メガネのごとく使用することができる。
【００６０】
一方、会議の参加者が、元データの画像を形成した用紙に、手書で文字、線画の追加または削除したり、元データの配置を変更するために、配置を変更する記号を手書きで記入したりする場合がある。元データの画像を形成した用紙に手書きで記入された文字、線画、記号も、撮像画像中に含まれる。本実施の形態における携帯情報装置２００は、撮像画像中から手書きで記入された文字、線画、記号を手書部分として検出し、手書部分に基づいて、ＭＦＰ１００に記憶されている元データを変更する。以下、具体的に説明する。
【００６１】
図５は、ＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図５に示すＭＦＰ１００が備えるＣＰＵ１１１の機能は、ＣＰＵ１１１がＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。ＭＦＰ側連携プログラムは、連携プログラムの一部である。
【００６２】
図５を参照して、ＭＦＰ１００が備えるＣＰＵ１１１は、データを取得するデータ取得部５１と、データの画像を形成する画像形成制御部５３と、指定受付部５５と、元データ送信部５７と、を含む。
【００６３】
データ取得部５１は、通信Ｉ／Ｆ１１２を制御し、外部からデータを受信する。データ取得部５１は、データを受信すると、受信されたデータをＨＤＤ１１６に記憶する。これによりＨＤＤ１１６に、データ９１が記憶される。また、データ取得部５１は、原稿読取部１３０が原稿を読み取って出力する画像データを取得し、取得された画像データを、ＨＤＤ１１６に記憶する。
【００６４】
データ取得部５１が外部から受信するデータは、ＰＣ１０５から送信されるデータを含み、ＰＣから送信されるデータは、アプリケーションデータおよびプリントデータを含む。アプリケーションデータは、ＰＣ１０５がアプリケーションプログラムを実行することにより生成されるデータであり、例えば、文書編集プログラムを実行する場合に生成される文書データ、表計算プログラムを実行する場合に生成される表計算データ、画像編集プログラムを実効することにより生成される画像データ等を含む。また、データ取得部５１が外部から受信するデータは、インターネットに接続されたサーバーからダウンロードされるマークアップ言語で記述されたＷｅｂページを含む。
【００６５】
画像形成制御部５３は、画像形成部１４０を制御して、ＨＤＤ１１６に記憶されたデータの画像を用紙に形成する。画像形成制御部５３は、データ取得部５１が、ＰＣ１０５からプリントデータを受信する場合、受信されたプリントデータの画像を画像形成部１４０に形成させる。また、ユーザーが操作部１６０Ｂを操作して、ＨＤＤ１１６に記憶されたデータ９１のうちから１以上を指定すると、指定されたデータ９１の画像を画像形成部１４０に形成させる。換言すれば、画像形成制御部５３は、ＰＣ１０５のユーザー、またはＭＦＰ１００のユーザーにより指定されたデータの画像を画像形成部１４０に形成させる。
【００６６】
指定受付部５５は、通信Ｉ／Ｆ部１１２を制御して、後述する携帯情報装置２００が送信する一覧画面送信依頼を受信する。一覧画面送信依頼は、ＨＤＤ１１６に記憶されたデータ９１を識別するためのデータ識別情報を列挙した一覧画面の送信を要求する信号である。指定受付部５５は、一覧画面送信依頼を受信すると、ＨＤＤ１１６を検索することによって一覧画面を生成し、生成した一覧画面を携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信する。
【００６７】
指定受付部５５は、一覧画面を送信した後に、携帯情報装置２００から元データ送信依頼が受信されると、受信された元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を、ＨＤＤ１１６から読出し、読み出されたデータ９１と携帯情報装置２００の装置識別情報とを、元データ送信部５７に出力する。
【００６８】
元データ送信部５７は、指定受付部５５から入力されるデータ９１を、指定受付部５５から入力される装置識別情報で特定される携帯情報装置２００に、通信Ｉ／Ｆ部１１２を介して送信する。
【００６９】
図６は、携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。図６に示す携帯情報装置２００が備えるＣＰＵ２０１の機能は、ＣＰＵ２０１がフラッシュメモリ２０３に記憶された携帯側連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。携帯側連携プログラムは、連携プログラムの一部である。
【００７０】
図６を参照して、携帯情報装置２００が備えるＣＰＵ２０１は、カメラ２０４を制御する撮像制御部２２１と、元データを取得する元データ取得部２２３と、加速度検出部２２５と、元データ中の処理対象範囲を決定する処理対象部分決定部２２７と、撮像画像から手書部分を検出する手書部分検出部２２９と、元データまたは撮像画像の手書部分に基づいて手書情報を検出する手書情報検出部２３１と、許可受付部２３５と、手書情報格納部２３７と、手書情報に基づいて元データを変更する変更部２３９と、を含む。
【００７１】
撮像制御部２２１は、カメラ２０４を制御し、ユーザーによる撮像指示が操作部２０８に入力されることに応じて、カメラ２０４に被写体を撮像させる。撮像制御部２２１は、カメラ２０４が被写体を撮像し、出力する撮像画像を取得する。撮像制御部２２１は、カメラ２０４が出力する撮像画像を手書部分検出部２２９および処理対象部分決定部２２７に出力する。ここでは、カメラ２０４が撮像対象とする被写体は、ＭＦＰ１００により画像が形成された用紙である。
【００７２】
元データ取得部２２３は、一覧画面送信依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、一覧画面送信依頼を受信すると、ＨＤＤ１１６に記憶されたデータ９１を識別するためのデータ識別情報を列挙した一覧画面を返信するので、元データ取得部２２３は、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から一覧画面を受信すると、受信された一覧画面を、表示部２０７に表示する。元データ取得部２２３は、表示部２０７に一覧画面を表示した後、ユーザーが操作部２０８に一覧画面に含まれるデータ識別情報を選択する操作を入力すると、選択されたデータ識別情報を含む元データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。上述したように、ＭＦＰ１００は、元データ送信依頼を受信すると、ＨＤＤ１１６に記憶されたデータ９１のうちから元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を返信するので、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００からデータ９１を受信すると、受信されたデータ９１を元データとして取得する。元データ取得部２２３は、取得された元データを処理対象部分決定部２２７および変更部２３９に出力する。
【００７３】
加速度検出部２２５は、３軸加速度センサー２１２から３方向の加速度が入力される。加速度検出部２２５は、３方向の加速度を、処理対象部分決定部２２７に出力する。
【００７４】
処理対象部分決定部２２７は、第１基準設定部２４１と、参照位置検出部２４３と、第２基準設定部２４５と、変換規則決定部２４７と、変換抽出部２４９と、を含む。
【００７５】
第１基準設定部２４１は、撮像制御部２２１から撮像画像が入力される。第１基準設定部２４１は、表示部２０７に第１アシスト画面を表示する。第１アシスト画面は、ＭＦＰ１００により画像が形成された用紙を、カメラ２０４の被写体とする場合に、用紙に形成された画像が納まる第１の撮影範囲を明示する画面であり、撮像画像に重畳して表示される。第１基準設定部２４１は、撮像画像を第１アシスト画面に重ねて表示する。これにより、ユーザーは、第１アシスト画面を見ながら撮像範囲を定めることができる。具体的には、ユーザーは、第１アシスト画面によって明示された第１の撮影範囲内に、用紙に形成された画像が納まるように携帯情報装置を３次元空間内で移動させる操作が容易となる。第１アシスト画面によって明示された第１の撮影範囲内に、用紙に形成された画像が納まるときの携帯情報装置２００の３次元空間における位置が、第１基準位置である。第１基準設定部２４５は、操作部２０８が備えるシャッターボタンを押下するユーザーによる操作を検出すると、第１基準設定信号を、参照位置検出部２４３に出力する。
【００７６】
参照位置検出部２４３は、第１基準設定部２４１から第１基準設定信号が入力され、加速度検出部２２５から３方向の加速度が入力される。参照位置検出部２４３は、第１基準設定部２４１から第１基準設定信号が入力された時点の携帯情報装置２００の３次元空間中の位置を、第１基準位置（原点）に設定する。参照位置検出部２４３は、第１基準設定部２４１から第１基準設定信号が入力された後に、加速度検出部２２５から入力される３方向の加速度を３方向ごとに積分し、携帯情報装置２００の第１基準位置からの相対位置を算出し、算出した位置を参照位置として第２基準設定部２４５および変換抽出部２４９に出力する。
【００７７】
第２基準設定部２４５は、参照位置検出部２４３から参照位置が入力され、撮像制御部２２１から撮像画像が入力される。第２基準設定部２４５は、表示部２０７に第２アシスト画面を表示する。第２アシスト画面は、ＭＦＰ１００により画像が形成された用紙を、カメラ２０４の被写体とする場合に、用紙に形成された画像が納まる第２の撮影範囲を明示する画面であり、撮像画像に重畳して表示される。第１の撮影範囲と、第２の撮影範囲とは、カメラ２０４の撮影範囲全体における位置と、サイズとが異なる。第２基準設定部２４５は、撮像画像を第２アシスト画面に重ねて表示する。これにより、ユーザーは、第２アシスト画面を見ながら撮像範囲を定めることができる。具体的には、ユーザーは、第２アシスト画面によって明示された第２の撮影範囲内に、用紙に形成された画像が納まるように携帯情報装置を３次元空間内で移動させる操作が容易となる。第２アシスト画面によって明示された第２の撮影範囲内に、用紙に形成された画像が納まるときの携帯情報装置２００の３次元空間における位置が、第２基準位置である。ここでは、第２基準位置は、第１基準位置に対する相対位置である参照位置で表される。第２基準設定部２４５は、操作部２０８が備えるシャッターボタンを押下するユーザーによる操作を検出すると、その時点で参照位置検出部２４３から入力される参照位置を第２基準位置に設定する。第２基準設定部２４５は、第２基準位置を変換規則決定部２４７に出力する。
【００７８】
図７は、第１アシスト画面の一例を示す図である。図７を参照して、第１アシスト画面４１１は、第１の撮影範囲を示す枠４１３を含む。第１アシスト画面４１１の全体がカメラ２０４の撮影範囲の全体と一致する。また、第１アシスト画面４１１において、カメラ２０４の光軸４１１Ａと、第１の撮像範囲の中心４１３Ａと、を示す。
【００７９】
図８は、第２アシスト画面の一例を示す図である。図８を参照して、第２アシスト画面４２１は、第２の撮影範囲を示す枠４２３を示す。第２アシスト画面４２１の全体がカメラ２０４の撮影範囲の全体と一致する。また、第１アシスト画面４１１において、カメラ２０４の光軸４２１Ａと、第２の撮像範囲の中心４２３Ａと、を示す。
【００８０】
図７および図８を参照して、第１アシスト画面４１１および第２アシスト画面４２１は、サイズは同じであり、ともに表示部２０７の表示面全体と同じサイズである。第１アシスト画面４１１および第２アシスト画面４２１が、カメラ２０４の撮像範囲に一致するとすれば、第１の撮影範囲を示す枠４１３と、第２の撮影範囲を示す枠４２３とは、カメラ２０４の撮像範囲内の位置が異なる。具体的には、第１の撮影範囲を示す枠４１３の中心４１３Ａと、第２の撮影範囲を示す枠４２３の中心４２３Ａは、カメラ２０４の撮像範囲内で位置が異なる。また、第１の撮影範囲を示す枠４１３の第１アシスト画面４１１に対するサイズの比率は、第２の撮影範囲を示す枠４２３と第２アシスト画面４２１に対するサイズの比率と異なり、第１の撮像範囲を示す枠４１３は、第２の撮影範囲を示す枠４２３よりも大きい。
【００８１】
図６に戻って、変換規則決定部２４７は、第２基準設定部２４５から入力される第２基準位置、第１の撮影範囲および第２の撮影範囲に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定し、決定した変換規則を変換抽出部２４９に出力する。例えば、変換規則は、第１の撮影範囲と第２の撮影範囲との相対的な位置関係と、第２基準位置のＸ軸方向の値およびＹ軸方向の値と対応付けることにより決定されるＸ軸方向の係数およびＹ軸方向の係数と、第１の撮影範囲のサイズと第２の撮影範囲のサイズと差を、第２基準位置のＺ軸方向の値と対応付けることにより決定されるＺ軸方向の係数と、を含む。
【００８２】
より具体的には、第１の撮影範囲４１３の中心４１３Ａの位置と第２の撮影範囲４２３の中心４２３Ａの位置との間の距離であって、カメラ２０４の撮影範囲全体における横方向の成分を第２基準位置のＸ軸方向の値で除算した値をＸ軸方向の係数とし、第１の撮影範囲４１３の中心４１３Ａの位置と第２の撮影範囲４２３の中心４２３Ａの位置と間の距離であって、カメラ２０４の撮影範囲全体における縦方向の成分を第２基準位置のＹ軸方向の値で除算した値をＹ軸方向の係数とする。これにより、参照位置のＸ軸方向の値をＸ軸方向の係数と乗算した値と、参照位置のＹ軸方向の値にＹ軸方向の係数と乗算した値とで、携帯情報装置２００と用紙との相対位置が参照位置の場合における、カメラ２０４の撮影範囲中における用紙の中心の位置を定めることができる。
【００８３】
また、第１の撮影範囲の縦または横方向の長さと第２の撮影範囲の縦または横方向の長さを第２基準位置のＺ軸方向の値で除算した値をＺ軸方向の係数とする。これにより、参照位置のＺ軸方向の値をＺ軸方向の係数と乗算した値で、携帯情報装置２００と用紙との相対位置が参照位置の場合における、カメラ２０４の撮影範囲中における用紙のサイズを定めることができる。
【００８４】
カメラ２０４の撮影範囲中における用紙に形成された画像の中心の位置と、カメラ２０４の撮影範囲中における画像のサイズとから、用紙に形成された画像（元データの画像）全体のうちでカメラ２０４の撮影範囲に含まれる範囲が定まる。
【００８５】
変換抽出部２４９は、元データ取得部２２３から元データが入力され、参照位置検出部２４３から参照位置が入力され、変換規則決定部２４７から変換規則が入力される。変換抽出部２４９は、参照位置を変換規則にしたがって変換することにより、元データの画像中でカメラ２０４の撮影範囲に含まれる範囲を決定する。そして、決定された範囲に対応する元データの部分を、処理対象部分に決定する。変換抽出部２４９は、元データの処理対象部分を、元データから抽出し、抽出された処理対象部分と、処理対象部分の元データ中における位置を示す位置情報とを、手書部分検出部２２９に出力する。処理対象部分の元データ中の位置を示す位置情報は、処理対象部分を矩形とする場合には、対角それぞれの座標値を用いることができる。
【００８６】
手書部分検出部２２９は、処理対象部分決定部２２７から元データの処理対象部分と位置情報とが入力され、撮像制御部２２１から撮像画像が入力され、元データまたは撮像画像から手書部分を検出する。撮像制御部２２１から入力される撮像画像は、元データの画像を形成した用紙をカメラ２０４が撮像し、出力する画像である。このため、カメラ２０４を用紙に近づけて、用紙の一部を撮影範囲として撮影する場合には、撮像画像は、用紙に形成された画像の一部を撮像した画像であり、元データの画像の一部に対応する。撮像画像を表示部２０７に表示すれば、用紙に形成された画像を拡大した画像を表示することができ、虫メガネのように携帯情報装置２００を用いることができる。
【００８７】
処理対象部分決定部２２７から入力される元データの処理対象部分は、元データ中で撮像画像に対応する部分である。このため、手書部分検出部２２９は、元データの処理対象部分の画像と撮像画像とを比較し、両者の異なる部分を手書部分として抽出する。手書部分は、元データの処理対象部分の画像に存在しないが、撮像画像に存在する部分と、元データの処理対象部分の画像に存在し、撮像画像に存在しない部分とを含む。以下、元データの処理対象部分の画像に存在しないが、撮像画像に存在する部分を、撮像画像の手書部分といい、元データの処理対象部分の画像に存在し、撮像画像に存在しない部分を、元データの手書部分という。手書部分検出部２２９は、撮像画像または元データの手書部分と、位置情報とを、手書情報検出部２３１に出力する。
【００８８】
手書部分検出部２２９が、元データの画像と比較する撮像画像は、用紙に形成された画像の一部を撮像した画像なので、用紙に形成された画像の全体を撮像した撮像画像と、元データの画像全体とを比較する場合に比較して、撮像画像の解像度が高いので、手書部分を検出する精度を高めることができる。
【００８９】
手書情報検出部２３１は、手書部分検出部２２９から撮像画像または元データの手書部分と位置情報とが入力され、撮像画像または元データの手書部分に基づいて手書情報を検出し、検出された手書情報と位置情報とを変更部２３９に出力する。手書情報検出部２３１は、文字検出部２５１と、第１線画検出部２５３と、強調部分検出部２５５と、第２線画検出部２５７と、削除部分検出部２５９と、を含む。
【００９０】
文字検出部２５１は、手書部分検出部２２９から撮像画像の手書部分と位置情報とが入力される場合、撮像画像の手書部分を文字認識する。文字検出部２５１は、撮像画像を文字認識した結果、文字が検出される場合、検出された文字のデータと、手書部分検出部２２９から入力される位置情報とを含む手書情報を、変更部２３９に出力する。
【００９１】
第１線画検出部２５３は、手書部分検出部２２９から撮像画像の手書部分と位置情報とが入力される場合、撮像画像の手書部分から線画を検出する。第１線画検出部２５３は、検出された線画が、所定形状でない場合、検出された線画を手書情報とし、検出された線画（手書情報）と、手書部分検出部２２９から入力される位置情報とを変更部２３９に出力する。
【００９２】
強調部分検出部２５５は、手書部分検出部２２９から撮像画像の手書部分と位置情報とが入力される場合、撮像画像の手書部分と元データの手書部分とで色が異なるか否かを判断する。強調部分検出部２５５は、撮像画像の手書部分が元データの手書部分と色が異なるならば、手書部分を強調部分として検出する。強調部分検出部２５５は、強調部分を検出する場合、強調部分の色を手書き情報とし、強調部分の色（手書情報）と、手書部分検出部２２９から入力される位置情報とを変更部２３９に出力する。
【００９３】
第２線画検出部２５７は、手書部分検出部２２９から撮像画像の手書部分と位置情報とが入力される場合、撮像画像の手書部分から線画を検出する。第２線画検出部２５７は、検出された線画が、所定形状か否かを判断する。所定の形状は、第１の形状と第２の形状の２つの線画の組を含む。第１の形状は、範囲を指定する形状であり、所定の範囲を囲む線画であり、例えば、円形、矩形、楕円等を含む。第２の形状は、予め定められた形状であり、コマンドが割り当てられている。ここでは、２つの線が交わる「×」の形状と、始点と終点とを特定する矢印「→」の形状としている。「×」の形状は、削除するコマンドが割り当てられており、「→」の形状は、移動するコマンドが割り当てられている。なお、「→」の形状は、始点と終点とが特定できれば、直線であってもよいし、曲線であってもよいし、自由曲線であってもよい。第２線画検出部２５７は、第１の形状および第２の形状の２つの線画の組を検出する場合、元データ中で第１の形状の線画で特定される範囲と、第２の形状の線画に割り当てられたコマンドとを手書情報とし、手書情報と、元データ中で第２の形状の線画で特定される位置を示す位置情報と、を変更部２３９に出力する。第２の形状が「×」の形状の場合、手書情報は削除するコマンドを含み、位置情報は「×」の形状の交点の位置を示す。第２の形状が「→」の形状の場合、手書情報は移動するコマンドを含み、位置情報は「→」の形状の終点の位置を示す。
【００９４】
削除部分検出部２５９は、手書部分検出部２２９から元データの手書部分と位置情報とが入力される場合、元データの手書部分を手書情報とし、元データの手書部分（手書情報）と、位置情報とを、変更部２３９に出力する。
【００９５】
変更部２３９は、ユーザーが操作部２０８に入力する操作にしたがって、都度変更モードと一括変更モードとのいずれか一方に変更モードを切り換える。変更部２３９は、変更モードが都度変更モードに切り換えられている場合、手書部分検出部２２９から手書情報と位置情報とが入力されることに応じて、許可受付部２３５に都度許可確認信号を出力し、許可受付部２３５から許可信号が入力されることを条件に、手書情報と位置情報とに基づいて元データ取得部２２３から入力される元データを変更する。都度許可確認信号は、手書情報と変更種別とを含む。変更種別は、手書情報の出力元によって定まる。手書情報の出力元が文字検出部２５１の場合には、文字の追加を示す文字追加種別である。手書情報の出力元が第１線画検出部２５３の場合には、線画の追加を示す線画追加種別である。手書情報の出力元が強調部分検出部２５５の場合には、強調部分の追加を示す強調種別である。手書情報の出力元が第２線画検出部２５７の場合には、構成の変更を示す構成変更種別である。手書情報の出力元が削除部分検出部２５９の場合には、削除を示す削除種別である。
【００９６】
許可受付部２３５は、変更部２３９から都度許可確認信号が入力されると、許可受付画面を、表示部２０７に表示し、ユーザーが操作部２０８に変更を許可する操作を入力すると、許可信号を変更部２３９に出力する。許可受付画面は、都度許可確認信号に含まれる変更種別によって異なり、手書情報を含む。許可受付画面は、変更種別が文字追加種別の場合には、手書情報で特定される文字の追加の許可を求める画面であり、例えば、「手書き文字を検出しました。変更してもよろしいですか？」のメッセージを含む。なお、許可受付画面に、追加する文字をユーザーに通知するために、検出された文字を配置するようにしてもよい。許可受付画面は、変更種別が線画追加種別の場合には、手書情報で特定される線画の追加の許可を求める画面であり、例えば、「手書き線画を検出しました。変更してもよろしいですか？」のメッセージを含む。なお、許可受付画面に、変更する線画をユーザーに通知するために、検出された線画を配置するようにしてもよい。許可受付画面は、変更種別が強調種別の場合には、手書情報の色に変更する許可を求める画面であり、例えば、「手書き色を検出しました。変更してもよろしいですか？」のメッセージを含む。なお、許可受付画面に、変更する色をユーザーに通知するために、検出された色の名称を配置するようにしてもよい。許可受付画面は、変更種別が構成変更種別の場合には、配置を変更する許可を求める画面であり、例えば、「コマンドを検出しました。構成を変更してもよろしいですか？」のメッセージを含む。
【００９７】
変更部２３９は、許可受付部２３５から許可信号が入力されることを条件に、手書情報と位置情報とに基づいて元データ取得部２２３から入力される元データを変更するので、ユーザーは、手書部分で元データを変更するか否かを選択することができる。換言すれば、用紙に手書きした部分を、元データに反映するか否かをユーザーが決定することができる。また、変更モードが都度変更モードに切り換えられている場合は、手書部分が検出されるごとに、許可受付画面が表示されるので、用紙の複数の個所に手書きされている場合に、ユーザーは、用紙を部分的に撮像しながら、複数の手書部分を順に元データに反映させることができる。
【００９８】
変更部２３９は、文字追加部２６１と、線画追加部２６３と、強調部２６５と、コマンド実行部２６７と、削除部２６９と、を含む。文字追加部２６１は、文字検出部２５１から文字のデータと位置情報とが入力される場合、元データ取得部２２３から入力される元データに対して、位置情報で特定される位置に、文字のデータを追加する。
【００９９】
線画追加部２６３は、第１線画検出部２５３から線画と位置情報とが入力される場合、元データ取得部２２３から入力される元データに対して、位置情報で特定される位置に、線画を追加する。
【０１００】
強調部２６５は、強調部分検出部２５５から強調部分の色を含む手書情報と位置情報とが入力される場合、元データ取得部２２３から入力される元データに対して、位置情報で特定される位置の背景に、色を追加する。
【０１０１】
コマンド実行部２６７は、第２線画検出部２５７から範囲とコマンドとを含む手書情報と、位置情報とが入力される。コマンド実行部２６７は、手書情報に含まれるコマンドが削除するコマンドの場合、元データ取得部２２３から入力される元データに対して、その元データ中で手書情報に含まれる範囲で特定される部分を、元データから削除する。また、コマンド実行部２６７は、手書情報に含まれるコマンドが移動するコマンドの場合、元データ取得部２２３から入力される元データに対して、その元データ中で手書情報に含まれる範囲で特定される部分を、位置情報で特定される位置に移動させる。具体的には、元データの範囲の部分を元データから削除し、削除した部分を元データの位置情報で特定される位置に追加する。
【０１０２】
削除部２６９は、削除部分検出部２５９から元データの手書部分と、位置情報と、が入力される場合、元データ取得部２２３から入力される元データに対して、位置情報で特定される部分のうち手書部分と同じ部分を、元データから削除する。
【０１０３】
変更部２３９は、変更モードが一括変更モードに切り換えられている場合、手書部分検出部２２９から手書情報と位置情報とが入力されることに応じて、手書情報と位置情報と変更種別との組を手書情報格納部２３７に出力する。手書情報格納部２３７は、変更部２３９から入力される手書情報と位置情報と変更種別との組を、フラッシュメモリ２０３に格納する。変更部２３９は、カメラ２０４による撮像を終了する操作が、ユーザーにより操作部２０８に入力されることに応じて、許可受付部２３５に一括許可確認信号を出力する。
【０１０４】
許可受付部２３５は、変更部２３９から一括許可確認信号が入力されると、フラッシュメモリ２０３から手書情報と位置情報と変更種別との組を読出し、一括許可受付画面を生成する。一括許可受付画面は、変更種別ごとに変更の許可をユーザーが入力可能な画面である。許可受付部２３５は、一括許可受付画面を表示部２０７に表示し、ユーザーが、一括許可受付画面に列挙された変更種別ごとに操作部２０８に変更を許可する操作を入力すると、許可信号を変更部２３９に出力する。許可信号は、ユーザーにより変更が許可された変更種別を含む。
【０１０５】
変更部２３９は、変更モードが一括変更モードに切り換えられている場合、許可受付部２３５から許可信号が入力されることを条件に、フラッシュメモリ２０３に格納された手書情報と位置情報と変更種別との組のうちから、ユーザーにより許可された変更種別の組を読み出し、読み出された組に含まれる手書情報と位置情報に基づいて、元データ取得部２２３から入力される元データを変更する。
【０１０６】
変更部２３９は、変更モードが一括変更モードに切り換えられている場合、カメラ２０４による撮像を終了する操作がユーザーにより操作部２０８に入力されることに応じて、一括許可受付画面によって許可された変更種別の手書部分で、元データを変更する。このため、用紙の複数の個所に手書きされている場合に、ユーザーは、用紙を部分的に複数回撮像して、用紙の全体を撮像した後に、複数の手書部分をまとめて元データに反映させることができる。
【０１０７】
具体的には、文字追加部２６１は、フラッシュメモリ２０３から読み出された組の変更種別が文字追加種別の場合に、元データ取得部２２３から入力される元データに対して、位置情報で特定される位置に、文字のデータを追加する。線画追加部２６３は、フラッシュメモリ２０３から読み出された組の変更種別が線画追加種別の場合に、元データ取得部２２３から入力される元データに対して、位置情報で特定される位置に、線画を追加する。強調部２６５は、フラッシュメモリ２０３から読み出された組の変更種別が強調種別の場合に、元データ取得部２２３から入力される元データに対して、位置情報で特定される位置の背景に、色を追加する。コマンド実行部２６７は、フラッシュメモリ２０３から読み出された組の変更種別が構成変更種別の場合に、手書情報に含まれるコマンドが削除するコマンドならば、元データ取得部２２３から入力される元データに対して、その元データ中で手書情報に含まれる範囲で特定される部分を、元データから削除し、手書情報に含まれるコマンドが移動するコマンドならば、元データ取得部２２３から入力される元データに対して、その元データ中で手書情報に含まれる範囲で特定される部分を、位置情報で特定される位置に移動させる。削除部２６９は、フラッシュメモリ２０３から読み出された組の変更種別が削除種別の場合に、元データ取得部２２３から入力される元データに対して、位置情報で特定される部分のうち手書部分と同じ部分を、元データから削除する。
【０１０８】
変更部２３９は、元データを変更する場合、変更後の元データと記憶依頼とを、無線ＬＡＮＩ／Ｆ２０９を介して、ＭＦＰ１００に送信し、ＭＦＰに変更後の元データをＨＤＤ１１６に記憶させる。記憶依頼は、ＭＦＰ１００が変更後の元データを記憶するための条件を定める情報を含み、例えば、ＨＤＤ１１６が有する記憶領域であるフォルダを識別する情報、データフォーマット等を含む。ＭＦＰ１００は、携帯情報装置２００から記憶依頼を受信すると、記憶依頼とともに受信される変更後の元データを記憶依頼で特定されるＨＤＤ１１６の領域に記憶する。
【０１０９】
図９は、許可受付画面の一例を示す図である。図９は、文字が検出された場合に表示される許可受付画面３０１を示している。許可受付画面３０１は、「手書き文字を検出しました。変更してもよろしいですか？」のメッセージと、ＹＥＳの文字が表されたボタン３０３と、ＮＯの文字が表されたボタン３０５と、を含む。ユーザーがボタン３０３を指示すれば、許可する操作が入力され、ボタン３０５を指示すれば、許可しない操作が入力される。
【０１１０】
図１０は、一括受付画面の一例を示す図である。図１０を参照して、一括受付画面は、変更種別を選択するボタン３１２〜３１６と、「すべてを反映」の文字が表されたボタン３１７と、「キャンセル」の文字が表されたボタン３１８と、を含む。ボタン３１２は、文字追加種別を選択する操作が割り当てられ、ユーザーがボタン３１２を指示すれば、文字追加種別を選択する操作が受け付けられる。ボタン３１３は、線画追加種別を選択する操作が割り当てられ、ユーザーがボタン３１３を指示すれば、線画追加種別を選択する操作が受け付けられる。ボタン３１４は、強調種別を選択する操作が割り当てられ、ユーザーがボタン３１４を指示すれば、強調種別を選択する操作が受け付けられる。ボタン３１５は、構成変更種別を選択する操作が割り当てられ、ユーザーがボタン３１５を指示すれば、構成変更種別を選択する操作が受け付けられる。ボタン３１６は、削除種別を選択する操作が割り当てられ、ユーザーがボタン３１６を指示すれば、削除種別を選択する操作が受け付けられる。ボタン３１７は、すべての変更種別を選択する操作が割り当てられ、ユーザーがボタン３１７を指示すれば、すべての変更種別を選択する操作が受け付けられる。ボタン３１８は、いずれの変更種別をも選択しない操作が割り当てられ、ユーザーがボタン３１８を指示すれば、いずれの変更種別も選択しない操作が受け付けられる。
【０１１１】
図１１は、ＭＦＰ側連携処理の流れの一例を示すフローチャートである。ＭＦＰ側連携処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１６、ＥＥＰＲＯＭ１１５またはＣＤ−ＲＯＭ１１８Ａに記憶されたＭＦＰ側連携プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１１を参照して、ＣＰＵ１１１は、原稿読取指示を受け付けたか否かを判断する（ステップＳ２０１）。ユーザーが、操作部１６０Ｂに、原稿読み取りモードに設定する操作を入力し、スタートキーを押下すれば、原稿読取指示を受け付ける。原稿読取指示を受け付けたならば処理をステップＳ２０２に進めるが、そうでなければステップＳ２０２をスキップして処理をステップＳ２０３に進める。ステップＳ２０２においては、原稿読取部１３０を制御し、原稿読取部１３０に原稿を読み取らせ、原稿読取部１３０が出力する画像データを取得する。そして、取得された画像データを、ＨＤＤ１１６にデータ９１として記憶し、処理をステップＳ２０３に進める。
【０１１２】
ステップＳ２０３においては、通信Ｉ／Ｆ部１１２がデータを受信したか否かを判断する。データを受信したならば処理をステップＳ２０４に進めるが、そうでなければステップＳ２０４をスキップして処理をステップＳ２０５に進める。ステップＳ２０４においては、受信された受信データを、ＨＤＤ１１６にデータ９１として記憶し、処理をステップＳ２０５に進める。通信Ｉ／Ｆ部１１２が受信するデータは、ＰＣ１０５から受信されるアプリケーションデータ、プリントデータを含み、さらに、インターネットに接続されたサーバーからダウンロードされるＷｅｂページを含む。
【０１１３】
ステップＳ２０５においては、データの指定を受け付けたか否かを判断する。ユーザーが操作部１６０Ｂを操作して、ＨＤＤ１１６に記憶されたデータ９１のうちから処理対象を指定する操作を入力すると、データの指定を受け付ける。データの指定を受け付けたならば処理をステップＳ２０６に進めるが、そうでなければ処理をステップＳ２０８に進める。ステップＳ２０６においては、画像形成指示を受け付けるまで待機状態となる。ユーザーが操作部１６０Ｂに、画像形成指示を入力し、スタートキーを押下すれば、画像形成指示を受け付ける。画像形成指示は、画像形成する条件、例えば倍率、用紙サイズなどを含む。画像形成指示を受け付けるまで待機状態となり、画像形成指示を受け付けたならば処理をステップＳ２０７に進める。ステップＳ２０７においては、画像形成部１４０を制御し、ステップＳ２０５において指定されたデータの画像を、画像形成部１４０に形成させ、処理をステップＳ２０８に進める。
【０１１４】
ステップＳ２０８においては、通信Ｉ／Ｆ部１１２が携帯情報装置２００から一覧画面送信依頼を受信したか否かを判断する。一覧画面送信依頼を受信したならば処理をステップＳ２０９に進めるが、そうでなければ処理をステップＳ２０１に戻す。ステップＳ２０９においては、ＨＤＤ１１６を検索することによって一覧画面を生成し、生成した一覧画面を携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信する。
【０１１５】
次のステップＳ２１０においては、通信Ｉ／Ｆ部１１２が携帯情報装置２００から元データ送信依頼を受信したか否かを判断する。元データ送信依頼を受信するまで待機状態となり（ステップＳ２１０でＮＯ）、元データ送信依頼を受信したならば処理をステップＳ２１１に進める。ステップＳ２１１においては、受信された元データ送信依頼に含まれるデータ識別情報で特定されるデータ９１を、ＨＤＤ１１６から読出し、読み出されたデータ９１を携帯情報装置２００に通信Ｉ／Ｆ部１１２を介して送信する。そして、処理をステップＳ２０１に戻す。
【０１１６】
なお、原稿読取指示と画像形成指示とを組み合わせたコピー指示が受け付けられる場合がある。この場合には、ステップＳ２０２と、ステップＳ２０７の処理とが実行される。換言すれば、原稿読取部１３０が原稿を読み取って出力する画像データが、ＨＤＤ１１５にデータ９１として記憶されるとともに、原稿読取部１３０が出力する画像データの画像が画像形成部１４０によって形成される。
【０１１７】
図１２は、撮像連携処理の流れの一例を示すフローチャートである。撮像連携処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３に記憶された携帯側連携プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。
【０１１８】
図１２を参照して、ＣＰＵ２０１は、一覧画面送信依頼を、無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する（ステップＳ０１）。一覧画面送信依頼を受信するＭＦＰ１００は、ＨＤＤ１１６に記憶されたデータ９１のデータ識別情報を列挙した一覧画面を返信するので、ステップＳ０２においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から一覧画面を受信したか否かを判断する。一覧画面を受信したならば処理をステップＳ０３に進めるが、そうでなければ処理をステップＳ０１に戻す。
【０１１９】
ステップＳ０３においては、ステップＳ０２において受信された一覧画面を、表示部２０７に表示する。そして、選択指示を受け付けたか否かを判断する。ユーザーが操作部２０８に一覧画面に含まれるデータ識別情報を選択する操作を入力すると、選択指示を受け付ける。選択指示を受け付けたならば処理をステップＳ０５に進めるが、そうでなければ処理をステップＳ０３に戻す。
【０１２０】
ステップＳ０５においては、ステップＳ０４において選択されたデータ識別情報を含む元データ送信依頼を無線ＬＡＮＩ／Ｆ２０９を介してＭＦＰ１００に送信する。次のステップＳ０６においては、無線ＬＡＮＩ／Ｆ２０９がＭＦＰ１００から元データを受信したか否かを判断する。元データを受信したならば処理をステップＳ０７に進めるが、そうでなければ処理をステップＳ０５に戻す。ステップＳ０７においては、受信された元データをフラッシュメモリ２０３に記憶し、処理をステップＳ０８に進める。
【０１２１】
ステップＳ０８においては、第１アシスト画面を表示部２０７に表示し、処理をステップＳ０９に進める。ステップＳ０９においては、撮像指示を受け付けたか否かを判断する。ユーザーが、操作部２０８に設けられたシャッターボタンを押下する操作を検出したならば、撮像指示を受け付ける。撮像指示を受け付けると処理をステップＳ１０に進めるが、そうでなければ処理をステップＳ０８に戻す。ユーザーが、第１アシスト画面に明示される第１の撮影範囲に、被写体となる画像が納まるように、携帯情報装置２００の位置を定める操作をするための時間を確保するためである。ステップＳ１０においては、第１基準位置を設定する。具体的には、携帯情報装置２００の３次元空間中の位置を、第１基準位置（原点）に設定する。
【０１２２】
次のステップＳ１１においては、第２アシスト画面を表示部２０７に表示し、処理をステップＳ１２に進める。ステップＳ１２においては、撮像指示を受け付けたか否かを判断する。撮像指示を受け付けると処理をステップＳ１３に進めるが、そうでなければ処理をステップＳ１１に戻す。ユーザーが、第２アシスト画面に明示される第２の撮影範囲に、被写体となる画像が納まるように、携帯情報装置２００の位置を定める操作をするための時間を確保するためである。ステップＳ１３においては、参照位置を算出する。ステップＳ０９において撮像指示が受け付けられた後に、３軸加速度センサー２１２が出力する３方向の加速度を積分することによって、参照位置を算出する。次のステップＳ１４においては、算出された参照位置を第２基準位置に設定する。
【０１２３】
次のステップＳ１５においては、変換規則を決定する。ステップＳ１４において設定された第２基準位置、第１アシスト画面に含まれる第１の撮影範囲および第２アシスト画面に含まれる第２の撮影範囲に基づいて、参照位置を元データ中の範囲に変換するための変換規則を決定する。次のステップＳ１６においては、元データ変換処理を実行し、処理を終了する。
【０１２４】
図１３は、元データ変換処理の流れの一例を示すフローチャートである。元データ変換処理は、図１２のステップＳ１６において実行される処理である。図１３を参照して、ＣＰＵ２０１は、カメラ２０４に撮像させる（ステップＳ２１）。この段階で、カメラ２０４が出力する撮像画像を取得する。次のステップＳ２２においては、参照位置を算出する。図１２のステップＳ０９において撮像指示が受け付けられた後に、３軸加速度センサー２１２が出力する３方向の加速度を積分することによって、参照位置を算出する。そして、ステップＳ２１において算出された参照位置と図１２のステップＳ１５において決定された変換規則とから元データの画像中の処理対象部分を決定する。次のステップＳ２４においては、元データの処理対象部分とステップＳ２１においてカメラ２０４から取得された撮像画像とを比較する。
【０１２５】
そして、手書部分を検出する（ステップＳ２５）。元データまたは撮像画像から手書部分を検出する。元データの処理対象部分は、元データ中で撮像画像に対応する部分なので、元データの処理対象部分の画像と撮像画像とで異なる部分を手書部分として抽出する。手書部分は、元データの処理対象部分の画像に存在しないが、撮像画像に存在する撮像画像の手書部分と、元データの処理対象部分の画像に存在し、撮像画像に存在しない元データの手書部分とを含む。
【０１２６】
次のステップＳ２６においては、手書部分が検出されたか否かを判断する。手書部分が検出されたならば、手書部分の元データ中の位置を特定し、処理をステップＳ２７に進める。手書部分が検出されなければ処理をステップＳ３０に進める。ステップＳ２７においては、動作モードが都度変換モードに切り換えられているか否かを判断する。都度変換モードに切り換えられているならば処理をステップＳ２８に進めるが、そうでなければ処理をステップＳ２９に進める。ステップＳ２８においては、都度変換処理を実行し、処理をステップＳ３０に進める。都度変換処理の詳細は後述するが、手書部分が検出されるごとに、ユーザーに許可を求め、ユーザーにより許可される場合に、元データを変更する処理である。ステップＳ２９においては、手書情報格納処理を実行し、処理をステップＳ３０に進める。手書情報格納処理の詳細は後述するが、手書部分から手書情報と変更種別とを検出し、手書情報と変更種別とを一時記憶する処理である。
【０１２７】
ステップＳ３０においては、終了指示を受け付けたか否かを判断する。操作部２０８に撮像連携処理の終了を指示するために予め設けられた停止ボタンを押下する操作を検出したならば、終了指示を受け付ける。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ２１に戻す。ステップＳ２１においては、ステップＳ２１が実行される時点でカメラ２０４が出力する静止画像を撮像画像として取得し、ステップＳ２２以降の処理を繰り返す。
【０１２８】
処理がステップＳ３１に進む場合、動作モードが一括変換モードに切り換えられているか否かを判断する。一括変換モードに切り換えられているならば処理をステップＳ３２に進めるが、そうでなければ処理を撮像連携処理に戻す。
【０１２９】
ステップＳ３２においては、一括変換処理を実行し、撮像連携処理に戻す。一括変換処理の詳細は後述するが、ステップＳ２９において実行される手書情報格納処理が実行されて記憶された手書情報と、位置情報と、変更種別との組ごとに、ユーザーに許可を求め、ユーザーにより許可される組のみに基づいて、元データを変更する処理である。
【０１３０】
図１４は、都度変換処理の流れの一例を示すフローチャートである。都度変換処理は、図１３に示したステップＳ２８において実行される処理である。都度変換処理が実行される前のステップＳ２５において手書部分が検出され、手書部分の元データ中の位置が特定されており、都度変換処理は、検出された手書部分を処理対象とする。図１４を参照して、ステップＳ４１においては、処理対象として検出された手書部分が撮像画像の手書部分か否かを判断する。撮像画像の手書部分ならば処理をステップＳ４２に進めるが、元データの手書部分ならば処理をステップＳ６１に進める。
【０１３１】
ステップＳ４２においては、撮像画像の手書部分を文字認識する。文字認識の結果、文字が検出されたか否かを判断する（ステップＳ４３）。文字が検出されたならば処理をステップＳ４４に進めるが、検出されなければ処理をステップＳ４７に進める。ステップＳ４４においては、表示部２０７に許可受付画面を表示する。許可受付画面は、ステップＳ４２における文字認識によって検出された文字の追加の許可を求める画面であり、例えば、「手書き文字を検出しました。変更してもよろしいですか？」のメッセージを含む。なお、許可受付画面に、追加する文字をユーザーに通知するために、検出された文字を配置するようにしてもよい。そして、ユーザーによる許可を受け付けたか否かを判断する（ステップＳ４５）。ユーザーが操作部２０８に変更を許可する操作を入力したか否かを判断する。ユーザーによる許可を受け付けたならば処理をステップＳ４６に進めるが、そうでなければステップＳ４６をスキップして処理をステップＳ４７に進める。ステップＳ４６においては、元データの手書部分に、ステップＳ４２における文字認識によって検出された文字のデータを追加し、処理をステップＳ４７に進める。このように、ユーザーが元データの画像が形成された用紙に手書きで文字を記入する場合に、手書きの文字が認識され、元データ中で、用紙に手書で記入された位置と同じ位置に手書きの文字から認識された文字のデータが追加される。
【０１３２】
ステップＳ４７においては、撮像画像の手書部分から線画を抽出し、線画が抽出されたか否かを判断する。線画が抽出されたならば処理をステップＳ４８に進めるが、線画が抽出されなければ処理をステップＳ５７に進める。ステップＳ４８においては、抽出された線画が所定形状の線画の組み合わせか否かを判断する。抽出された線画が所定形状の線画の組み合わせならば処理をステップＳ４９に進めるが、そうでなければ処理をステップＳ５４に進める。所定形状の組み合わせは、ここでは、第１の形状と第２の形状の２つの線画の組としている。第１の形状は、範囲を指定する形状であり、所定の範囲を囲む線画であり、例えば、円形、矩形、楕円等を含む。第２の形状は、ここでは、２つの線が交わる「×」の形状と、始点と終点とを特定する矢印「→」の形状としている。「×」の形状は、削除するコマンドが割り当てられており、「→」の形状は、移動するコマンドが割り当てられている。
【０１３３】
ステップＳ４９においては、元データから囲い部分を抽出する。元データ中で、第１の形状の線画によって囲まれた部分を囲い部分として抽出する。そして、コマンドを決定する（ステップＳ５０）。元データ中で、第２の形状の線画に対して予め割り当てられたコマンドを決定する。ここでは、第２の形状の線画が、「×」形状の場合、削除するコマンドに決定し、「→」形状の場合、移動するコマンドに決定する。移動するコマンドに決定する場合は、「→」形状の終点を移動先に決定する。
【０１３４】
ステップＳ５１においては、表示部２０７に許可受付画面を表示する。許可受付画面は、構成を変更する許可を求める画面であり、例えば、「コマンドを検出しました。構成を変更してもよろしいですか？」のメッセージを含む。そして、ユーザーによる許可を受け付けたか否かを判断する（ステップＳ５２）。ユーザーが操作部２０８に変更を許可する操作を入力したか否かを判断する。ユーザーによる許可を受け付けたならば処理をステップＳ５３に進めるが、そうでなければステップＳ５３をスキップして処理をステップＳ５７に進める。
【０１３５】
ステップＳ５３においては、元データ中で、ステップＳ４９において抽出された囲い部分を、ステップＳ５０において決定されたコマンドにしたがって変更する。ステップＳ５０において削除するコマンドに決定された場合には、元データ中で、ステップＳ４９において抽出された囲い部分を削除する。ステップＳ５０において移動するコマンドに決定された場合には、元データ中で、ステップＳ４９において抽出された囲い部分を、移動先に移動する。元データ中の囲い部分を元データから削除し、元データの移動先で特定される位置に削除した囲い部分を追加する。このように、ユーザーが元データの画像が形成された用紙に、処理対象範囲を特定するために手書きで第１の形状の線画を記入し、コマンドを特定するために手書きで第２の形状の線画を記入する場合に、第１の形状の線画と第２の形状の線画との組が抽出され、元データ中で、用紙に手書で記入された第１の形状の線画によって特定される囲い部分が、第２の形状に割り当てられたコマンドが実行され、処理される。具体的には、第２の形状の線画が「×」形状の場合、元データ中の囲い部分が削除される。第２の形状の線画が「→」形状の場合、元データ中の囲い部分が、第２の形状の線画の終点に移動される。
【０１３６】
一方、ステップＳ５４においては、表示部２０７に許可受付画面を表示する。許可受付画面は、線画の追加の許可を求める画面であり、例えば、「手書き線画を検出しました。変更してもよろしいですか？」のメッセージを含む。なお、許可受付画面に、追加する線画をユーザーに通知するために、検出された線画を配置するようにしてもよい。そして、ユーザーによる許可を受け付けたか否かを判断する（ステップＳ５５）。ユーザーが操作部２０８に変更を許可する操作を入力したか否かを判断する。ユーザーによる許可を受け付けたならば処理をステップＳ５６に進めるが、そうでなければステップＳ５６をスキップして処理をステップＳ５７に進める。ステップＳ５６においては、元データの手書部分に、ステップＳ４７において抽出された線画を追加し、処理をステップＳ５３に進める。このように、ユーザーが元データの画像が形成された用紙に手書きで線画を記入する場合に、手書きの線画が抽出され、元データ中で、用紙に手書で記入された位置と同じ位置に線画が追加される。
【０１３７】
ステップＳ５７においては、撮像画像の手書部分から強調部分を抽出したか否かを判断する。撮像画像の手書部分中から元データの手書部分と色の異なる部分を強調部分として検出する。強調部分が検出されたならば処理をステップＳ５８に進めるが、検出されなければ処理を元データ変換処理に戻す。ステップＳ５８においては、表示部２０７に許可受付画面を表示する。許可受付画面は、強調部分の色に変更する許可を求める画面であり、例えば、「手書き色を検出しました。変更してもよろしいですか？」のメッセージを含む。なお、許可受付画面に、変更する色をユーザーに通知するために、検出された色の名称を配置するようにしてもよい。そして、ユーザーによる許可を受け付けたか否かを判断する（ステップＳ５９）。ユーザーが操作部２０８に変更を許可する操作を入力したか否かを判断する。ユーザーによる許可を受け付けたならば処理をステップＳ６０に進めるが、そうでなければステップＳ６０をスキップして処理を元データ変換処理に戻す。ステップＳ６０においては、元データの強調部分の背景に色を追加し、処理を元データ変換処理に戻す。このように、ユーザーが元データの画像が形成された用紙に手書きで色を記入する場合に、手書きで記入した色と、色が付された強調部分が抽出され、元データ中で、用紙に手書で色が記入された位置と同じ位置に、手書きで記入された色と同じ色が追加される。
【０１３８】
ステップＳ４１から処理がステップＳ６１に進む場合、元データの手書部分が処理対象となる。元データの手書部分が検出される場合、元データの手書部分は、元データに存在するが、撮像画像に存在しない部分である。換言すれば、元データの手書部分は、元データの画像が形成された用紙に修正液などで消去される部分である。ステップＳ６１においては、表示部２０７に許可受付画面を表示する。許可受付画面は、手書部分の削除の許可を求める画面であり、例えば、「削除された部分を検出しました。変更してもよろしいですか？」のメッセージを含む。なお、許可受付画面に、削除する文字または線画をユーザーに通知するために、元データの手書部分を配置するようにしてもよい。そして、ユーザーによる許可を受け付けたか否かを判断する（ステップＳ６２）。ユーザーが操作部２０８に変更を許可する操作を入力したか否かを判断する。ユーザーによる許可を受け付けたならば処理をステップＳ６３に進めるが、そうでなければステップＳ６３をスキップして処理を元データ変換処理に戻す。ステップＳ６３においては、元データの手書部分を元データから削除し、処理を元データ変換処理に戻す。このように、ユーザーが元データの画像が形成された用紙の一部を、修正液などで消去する場合に、修正液などで消去された部分が抽出され、元データ中で、用紙中で修正液などで消去された部分と同じ位置の文字または線画が、元データから削除される。
【０１３９】
図１５は、手書情報格納処理の流れの一例を示すフローチャートである。手書き部分格納処理は、図１３のステップＳ２９において実行される処理である。手書情報格納処理が実行される前のステップＳ２５において手書部分が検出され、手書部分の元データ中の位置が特定されており、手書情報格納処理は、検出された手書部分を処理対象とする。図１５を参照して、ステップＳ７１においては、処理対象として検出された手書部分が撮像画像の手書部分か否かを判断する。撮像画像の手書部分ならば処理をステップＳ７２に進めるが、元データの手書部分ならば処理をステップＳ８３に進める。
【０１４０】
ステップＳ７２においては、撮像画像の手書部分を文字認識する。文字認識の結果、文字が検出されたか否かを判断する（ステップＳ７３）。文字が検出されたならば処理をステップＳ７４に進めるが、検出されなければステップＳ７４をスキップして処理をステップＳ７５に進める。ステップＳ７４においては、抽出された文字（手書情報）と、元データの手書部分を示す位置情報と、文字追加種別を示す変更種別と、の組をフラッシュメモリ２０３に格納し、処理をステップＳ７５に進める。
【０１４１】
ステップＳ７５においては、撮像画像の手書部分から線画を抽出し、線画が抽出されたか否かを判断する。線画が抽出されたならば処理をステップＳ７６に進めるが、線画が抽出されなければ処理をステップＳ８１に進める。ステップＳ７６においては、抽出された線画が所定形状の線画の組み合わせか否かを判断する。抽出された線画が所定形状の線画の組み合わせならば処理をステップＳ７７に進めるが、そうでなければ処理をステップＳ８０に進める。所定形状の組み合わせは、ここでは、第１の形状と第２の形状の２つの線画の組としている。第１の形状は、範囲を指定する形状であり、所定の範囲を囲む線画であり、例えば、円形、矩形、楕円等を含む。第２の形状は、ここでは、２つの線が交わる「×」の形状と、始点と終点とを特定する矢印「→」の形状としている。「×」の形状は、削除するコマンドが割り当てられており、「→」の形状は、移動するコマンドが割り当てられている。
【０１４２】
ステップＳ７７においては、元データから囲い部分を抽出する。元データ中で、第１の形状の線画によって囲まれた部分を囲い部分として抽出する。そして、コマンドを決定する（ステップＳ７８）。元データ中で、第２の形状の線画に対して予め割り当てられたコマンドを決定する。ここでは、第２の形状の線画が、「×」形状の場合、削除するコマンドに決定し、「→」形状の場合、移動するコマンドに決定する。移動するコマンドに決定する場合は、元データ中で、「→」形状の終点の位置を、移動先に決定する。ステップＳ７９においては、ステップＳ７７において抽出された第１の形状の線画で特定される囲い部分の位置情報およびコマンド（手書情報）と、ステップＳ７８において決定された、元データ中で第２の形状の線画で特定される位置を示す位置情報と、構成変更種別を示す変更種別との組を、フラッシュメモリ２０３に格納し、処理をステップＳ８１に進める。
【０１４３】
一方、ステップＳ８１においては、ステップＳ７５において抽出された線画（手書情報）と、元データの手書部分を示す位置情報と、線画追加種別を示す変更種別と、の組をフラッシュメモリ２０３に格納し、処理をステップＳ８１に進める。
【０１４４】
ステップＳ８１においては、撮像画像の手書部分から強調部分を抽出したか否かを判断する。撮像画像の手書部分が元データの手書部分と色が異なる場合に、手書部分を強調部分として検出する。強調部分が検出されたならば処理をステップＳ８２に進めるが、検出されなければ処理を元データ変換処理に戻す。ステップＳ８１においては、抽出された強調部分（手書情報）と、元データの手書部分の位置を示す位置情報と、強調種別を示す変更種別と、の組をフラッシュメモリ２０３に格納し、処理を元データ変換処理に戻す。
【０１４５】
ステップＳ７１から処理がステップＳ８３に進む場合、元データの手書部分が処理対象となる。元データの手書部分が検出される場合、元データの手書部分は、元データに存在するが、撮像画像に存在しない部分である。換言すれば、元データの手書部分は、元データの画像が形成された用紙に修正液などで消去される部分である。ステップＳ８３においては、元データの手書き部分（手書情報）と、元データの手書部分の位置を示す位置情報と、削除種別を示す変更種別と、の組をフラッシュメモリ２０３に格納し、処理を元データ変換処理に戻す。
【０１４６】
図１６は、一括変換処理の流れの一例を示すフローチャートである。一括変換処理は、図１３に示したステップＳ３２において実行される処理である。一括変換処理が実行される前のステップＳ２９において上述した手書情報格納処理が実行され、フラッシュメモリ２０３に、手書情報と位置情報と変更種別との組が記憶されている。
【０１４７】
図１６を参照して、ステップＳ９１において、フラッシュメモリ２０３から手書情報と位置情報と変更種別との組を読み出す。そして、図１０に示した一括許可受付画面を生成し、表示部２０７に表示する（ステップＳ９２）。一括許可受付画面は、変更種別ごとに変更の許可をユーザーが入力可能な画面である。次のステップＳ９３においては、変更種別ごとに許可を受け付ける。ユーザーが、一括許可受付画面に列挙された変更種別ごとに操作部２０８に変更を許可する操作を受け付ける。そして、許可の受付が終了したか否かを判断する（ステップＳ９４）。許可の受付が終了したならば処理をステップＳ９５に進めるが、そうでなければ処理をステップＳ９３に戻す。
【０１４８】
ステップＳ９５においては、ステップＳ９１において読み出された、手書情報と位置情報と変更種別との組のうちから１つを処理対象に選択する。次のステップＳ９６において、処理対象に選択された組の変更種別に対して、ステップＳ９３においてユーザーによる許可が受け付けられているか否かを判断する。ユーザーにより許可されているならば処理をステップＳ９７に進めるが、そうでなければ処理をステップＳ１０７に進める。
【０１４９】
ステップＳ９７においては、変更種別が文字追加種別か否かを判断する。文字追加種別ならば処理をステップＳ９８に進めるが、そうでなければステップＳ９８をスキップして処理をステップＳ９９に進める。ステップＳ９８においては、元データの位置情報で特定される位置に、手書情報である文字のデータを追加し、処理をステップＳ９９に進める。このように、ユーザーが元データの画像が形成された用紙に手書きで文字を記入する場合に、手書きの文字が認識され、元データ中で、用紙に手書で記入された位置と同じ位置に手書きの文字から認識された文字のデータが追加される。
【０１５０】
ステップＳ９９においては、変更種別が構成変更種別か否かを判断する。構成変更種別ならば処理をステップＳ１００に進めるが、そうでなければステップＳ１００をスキップして処理をステップＳ１０１に進める。
【０１５１】
ステップＳ１００においては、元データ中で、手書情報に含まれる位置で特定される囲い部分を、手書情報に含まれるコマンドにしたがって変更する。手書情報に含まれるコマンドが削除するコマンドの場合には、元データ中の囲い部分を削除する。手書情報に含まれるコマンドが移動するコマンドの場合には、元データ中で、囲い部分を、位置情報で特定される位置に移動する。元データ中の囲い部分を元データから削除し、元データの位置情報で特定される位置に削除した囲い部分を追加する。このように、ユーザーが元データの画像が形成された用紙に、処理対象範囲を特定するために手書きで第１の形状の線画を記入し、コマンドを特定するために手書きで第２の形状の線画を記入する場合に、第１の形状の線画と第２の形状の線画との組が抽出され、元データ中で、用紙に手書で記入された第１の形状の線画によって特定される囲い部分が、第２の形状に割り当てられたコマンドが実行され、処理される。具体的には、第２の形状の線画が「×」形状の場合、元データ中の囲い部分が削除される。第２の形状の線画が「→」形状の場合、元データ中の囲い部分が、第２の形状の線画の終点に移動される。
【０１５２】
ステップＳ１０１においては、変更種別が線画追加種別か否かを判断する。線画追加種別ならば処理をステップＳ１０２に進めるが、そうでなければステップＳ１０２をスキップして処理をステップＳ１０３に進める。ステップＳ１０２においては、元データの位置情報で特定される位置に、手書情報である線画を追加し、処理をステップＳ１０３に進める。このように、ユーザーが元データの画像が形成された用紙に手書きで線画を記入する場合に、手書きの線画が抽出され、元データ中で、用紙に手書で記入された位置と同じ位置に線画が追加される。
【０１５３】
ステップＳ１０３においては、変更種別が強調種別か否かを判断する。強調種別ならば処理をステップＳ１０４に進めるが、そうでなければステップＳ１０４をスキップして処理をステップＳ１０５に進める。ステップＳ１０４においては、元データの位置情報で特定される強調部分の背景に、手書情報である色を追加し、処理をステップＳ１０５に進める。このように、ユーザーが元データの画像が形成された用紙に手書きで色を記入する場合に、手書きで記入した色と、色が付された強調部分が抽出され、元データ中で、用紙に手書で色が記入された位置と同じ位置に、手書きで記入された色と同じ色が追加される。
【０１５４】
ステップＳ１０５においては、変更種別が削除種別か否かを判断する。削除種別ならば処理をステップＳ１０６に進めるが、そうでなければステップＳ１０６をスキップして処理をステップＳ１０７に進める。ステップＳ１０６においては、元データの位置情報で特定され、手書情報である元データの手書部分（削除部分）を元データから削除し、処理をステップＳ１０７に進める。このように、ユーザーが元データの画像が形成された用紙の一部を、修正液などで消去する場合に、修正液などで消去された部分が抽出され、修正液などで消去された用紙の部分と同じ位置の文字または線画が、元データから削除される。
【０１５５】
ステップＳ１０７においては、ステップＳ９１において読み出された、手書情報と位置情報と変更種別との組のうち、ステップＳ９５において処理対象に選択されていない組が存在するか否かを判断する。未選択の組が存在するならば処理をステップＳ９５に戻し、存在しなければ処理を元データ変換処理に戻す。
【０１５６】
以上説明したように、本実施の形態における携帯情報装置２００は、ＭＦＰ１００によって用紙に形成された画像を撮像し、撮像画像を取得し、撮像画像に対応する元データをＭＦＰ１００から取得し、元データ中で撮像画像に対応する部分を処理対象部分として決定し、撮像画像と元データの処理対象部分とを比較して、異なる部分を手書部分として検出し、手書部分に基づいて手書情報を検出し、手書情報に基づいて、元データを変更する。このため、画像形成装置によって元データの画像が形成された用紙に手書きされた部分を、元データに反映することができる。
【０１５７】
また、撮影範囲を変更した後に、処理対象部分が決定されることに応じて、撮影範囲を変更した後の撮像画像と元データの処理対象部分とを比較するので、カメラ２０４で用紙を部分的に撮像する場合であっても用紙の全体から手書部分を検出することができる。
【０１５８】
また、手書部分が検出される場合、ユーザーにより許可する操作が入力されることを条件に元データを変更するので、ユーザーは、手書部分を元データに反映するかいなかを選択することができる。
【０１５９】
さらに、カメラ２０４で撮像中に、手書部分が検出されるごとに、都度許可受付画面を表示し、ユーザーによる許可を求めるので、ユーザーは、用紙を部分的に撮像しながら手書部分が検出されるごとに、手書部分を元データに反映するかいなかを選択することができる。
【０１６０】
また、手書部分が検出される場合、フラッシュメモリ２０３に記憶し、カメラ２０４による撮像が終了した後に、記憶された手書部分に対して一括許可受付画面を表示し、ユーザーによる許可を求めるので、用紙全体を撮像した後にまとめて元データを変更することができる。
【０１６１】
さらに、互いに交わる３方向の加速度を検出し、第１の撮影範囲に用紙に形成された画像が納まる状態となる第１基準時刻において第１基準位置を設定し、第１基準時刻以降に検出される３方向各々の加速度に基づいて参照位置を検出し、第２の撮影範囲に用紙に形成された画像が納まる状態となる第２基準時刻における参照位置が第２基準位置に設定し、第１の撮影範囲および第２の撮影範囲それぞれの相対的位置関係と、第１基準位置と第２基準位置との３次元空間における相対的位置関係と、に基づいて、参照位置を元データ中の範囲に変換する変換規則を決定し、参照位置を変換規則にしたがって変換することによって、処理対象部分を抽出する。このため、３方向の加速度を検出することによって元データ中の処理対象部分を決定することができ、処理対象部分を正確に特定することができる。
【０１６２】
なお、上述した実施の形態においては、画像処理システム１について説明したが、図１２〜図１６に示した処理を携帯情報装置２００に実行させる連携方法、およびその連携方法を携帯情報装置２００を制御するコンピューターに実行させるための連携プログラムとして発明を捉えることができるのは言うまでもない。
【０１６３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１６４】
＜付記＞
（１）  前記構成変更種手段は、第２の形状の第１線画に対して移動する処理を割り当てており、前記第１線画が検出される場合、前記元データの前記囲い部分を、前記第１線画により特定される位置に移動する、請求項１０に記載の携帯情報装置。
（２）  前記構成変更種手段は、第２の形状の第２線画に対して削除する処理を割り当てており、前記第２線画が検出される場合、前記元データの前記囲い部分を削除する、請求項１０または（１）に記載の携帯情報装置。
（３）  前記参照位置検出手段は、前記撮像手段が備えるレンズの光軸と平行で前記レンズが向く方向を正とする第１の方向の第１の距離、前記第１の方向と垂直に交わる第２の方向の第２の距離、および前記第１および第２の方向それぞれと垂直に交わる第３の方向の第３の距離を、含む参照位置を検出し、
前記変換規則決定手段は、前記変換後の範囲のサイズを、前記第１の方向の第１の距離に反比例するサイズに決定するサイズ決定手段を含む、請求項１１に記載の携帯情報装置。
（４）  前記携帯情報装置は、画像を表示する表示手段を、さらに備え、
前記処理実行手段は、前記元データのうち前記決定された処理対象部分の画像を前記表示手段に表示する表示制御手段を含む、請求項１〜１１および（３）のいずれかに記載の携帯情報装置。
（５）  前記表示手段は、前記撮像手段が配置される面とは反対側の面に設けられ、前記撮像手段が備えるレンズの光軸を法線とする表示面を有する、（４）に記載の携帯情報装置。
【符号の説明】
【０１６５】
１  画像処理システム、１００〜１０２  ＭＦＰ、ＰＣ１０５、１１  無線局、３  ネットワーク、５１  データ取得部、５３  画像形成制御部、５５  指定受付部、５７  元データ送信部、１１０  メイン回路、１１１  ＣＰＵ、１１２  通信Ｉ／Ｆ部、１１３  ＲＯＭ、１１４  ＲＡＭ、１１５  ＥＥＰＲＯＭ、１１６  ＨＤＤ、１１７  ファクシミリ部、１１８  外部記憶装置、１１８Ａ  ＣＤ−ＲＯＭ、１２０  自動原稿搬送装置、１３０  原稿読取部、１４０  画像形成部、１５０  給紙部、１６０  操作パネル、１６０Ａ  表示部、１６０Ｂ  操作部、２００  携帯情報装置、２０１  ＣＰＵ、２０２  ＲＡＭ、２０３  フラッシュメモリ、２０４  カメラ、２０５  無線通信部、２０６  通話部、２０７  表示部、２０８  操作部、２０９  無線ＬＡＮＩ／Ｆ、２１０  カードＩ／Ｆ、２１０Ａ  メモリーカード、２１２  軸加速度センサー、２２１  撮像制御部、２２３  元データ取得部、２２５  加速度検出部、２２７  処理対象部分決定部、２２９  手書部分検出部、２３１  手書情報検出部、２３５  許可受付部、２３７  手書情報格納部、２３９  変更部、２４１  基準設定部、２４３  参照位置検出部、２４５  基準設定部、２４７  変換規則決定部、２４９  変換抽出部、２５１  文字検出部、２５３  線画検出部、２５５  強調部分検出部、２５７  線画検出部、２５９  削除部分検出部、２６１  文字追加部、２６３  線画追加部、２６５  強調部、２６７  コマンド実行部、２６９  削除部。
【図１】
2013097624.tif 000003
【図２】
2013097624.tif 000004
【図３】
2013097624.tif 000005
【図４】
2013097624.tif 000006
【図５】
2013097624.tif 000007
【図６】
2013097624.tif 000008
【図７】
2013097624.tif 000009
【図８】
2013097624.tif 000010
【図９】
2013097624.tif 000011
【図１０】
2013097624.tif 000012
【図１１】
2013097624.tif 000013
【図１２】
2013097624.tif 000014
【図１３】
2013097624.tif 000015
【図１４】
2013097624.tif 000016
【図１５】
2013097624.tif 000017
【図１６】
2013097624.tif 000018