(57)【要約】【課題】適切な書類の撮影データを取得する。【解決手段】実施形態に係る情報処理装置は、書類を撮影した画像データを処理する。情報処理装置の記憶装置には、撮影部と書類との位置関係が適切な場合の当該書類の位置を示す理想枠のデータである理想枠データが記憶される。情報処理装置は、撮影部が書類を撮影して生成された画像データを取得して、記憶装置に記憶する取得手段と、画像データから検出された書類のエッジから特定される角の位置と、理想枠データにおける当該書類の角の位置と、の差分に基づいて、位置関係を判定する位置判定手段と、画像データと理想枠とを表示部に表示するとともに、位置判定手段により判定された位置関係に基づいて、位置関係を適切にするためのガイドを出力する出力手段を備える。【選択図】図４
2012065247.tif 000002
【特許請求の範囲】
【請求項１】
書類を撮影した画像データを処理する情報処理装置であって、
撮影部と書類との位置関係が適切な場合の当該書類の位置を示す理想枠のデータである理想枠データが記憶された記憶装置と、
前記撮影部が前記書類を撮影して生成された画像データを取得して、前記記憶装置に記憶する取得手段と、
前記画像データから検出された前記書類のエッジから特定される角の位置と、前記理想枠データにおける当該書類の角の位置と、の差分に基づいて、前記位置関係を判定する位置判定手段と、
前記画像データと前記理想枠とを表示部に表示するとともに、前記位置判定手段により判定された位置関係に基づいて、前記位置関係を適切にするためのガイドを出力する出力手段
とを備える情報処理装置。
【請求項２】
前記書類が矩形で、前記位置判定手段が前記画像データから前記書類の角の位置を３以上検出した場合、前記出力手段は、前記画像データから特定された角の位置から、前記位置関係が適切な場合の書類の角の位置へのベクトルを、前記ガイドとして前記表示部に表示する請求項１に記載の情報処理装置。
【請求項３】
前記出力手段は、前記位置判定手段により判定された位置関係に基づいて、前記書類と前記撮影部との距離の変更を促すガイドを出力する請求項１または２に記載の情報処理装置。
【請求項４】
書類を撮影した画像データを処理する情報処理方法であって、
撮影部が書類を撮影して生成された画像データを取得して、記憶装置に記憶するステップと、
前記記憶装置から、前記撮影部と前記書類との位置関係が適切な場合の当該書類の位置を示す理想枠のデータを読み出して、前記画像データから検出された前記書類のエッジから特定される角の位置と、前記理想枠データにおける当該書類の角の位置と、の差分に基づいて、前記位置関係を判定するステップと、
前記画像データと、前記理想枠を表示部に表示するとともに、前記位置関係に基づいて、前記位置関係を適切にするためのガイドを出力するステップ
を備える情報処理方法。
【請求項５】
書類を撮影した画像データを処理する情報処理プログラムであって、
コンピュータを、
前記撮影部が前記書類を撮影して生成された画像データを取得して、記憶装置に記憶する取得手段と、
前記記憶装置から、前記撮影部と前記書類との位置関係が適切な場合の当該書類の位置を示す理想枠のデータを読み出して、前記画像データから検出された前記書類のエッジから特定される角の位置と、前記理想枠データにおける当該書類の角の位置と、の差分に基づいて、前記位置関係を判定する位置判定手段と、
前記画像データと、前記理想枠を表示部に表示するとともに、前記位置判定手段により判定された位置関係に基づいて、前記位置関係を適切にするためのガイドを出力する出力手段
として機能させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、書類を撮影した画像データを処理する情報処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年の情報処理装置の発達に伴い、小型化および高性能化が著しい。これに伴い、保険会社などの営業担当者が、ノートパソコンなどの情報処理装置を携行して顧客の元を訪れ、職務に当たる機会が増えている。
【０００３】
例えば、顧客が記入した申込書などの書類に基づいて、営業担当者が、携行したノートパソコンにデータを入力するとともに、その書類を撮影して電子データ化して、エビデンスデータとして保管する場合が考えられる。ここで、書類を撮影した電子データを保管する際、エビデンスデータとして保管することに対して顧客の同意を得るため、顧客の前で電子データ化して保管することが好ましい。また、文字の可読性などのエビデンスデータとしての画質を備えていることが、リアルタイムに確認できることが好ましい。
【０００４】
文字の可読性など、エビデンスデータに求められる条件を備えていることを、営業担当者がリアルタイムに確認するためには、客先で画像を取り込む必要がある。また、文字のそのように取得した画像の可読性を担保するために、常に一定のレベル以上の画質で撮影可能な仕組みが必要になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１９４４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の技術でエビデンスデータに求められる条件を備えた撮影データを取得することは、困難である。
【０００７】
適切な書類の撮影データを取得することのできる情報処理装置、方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００８】
実施形態に係る情報処理装置は、書類を撮影した画像データを処理する。情報処理装置の記憶装置には、撮影部と書類との位置関係が適切な場合の当該書類の位置を示す理想枠のデータである理想枠データが記憶される。情報処理装置は、撮影部が書類を撮影して生成された画像データを取得して、記憶装置に記憶する取得手段と、画像データから検出された書類のエッジから特定される角の位置と、理想枠データにおける当該書類の角の位置と、の差分に基づいて、位置関係を判定する位置判定手段と、画像データと理想枠とを表示部に表示するとともに、位置判定手段により判定された位置関係に基づいて、位置関係を適切にするためのガイドを出力する出力手段を備える。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る情報処理装置の外観を説明する図である。
【図２】第１の実施形態に係る情報処理装置が、書類を撮影する様子を説明する図である。
【図３】第１の実施形態に係る情報処理装置のハードウェア構成図である。
【図４】第１の実施形態に係る情報処理装置の機能ブロック図である。
【図５】第１の実施形態に係る情報処理装置の位置判定処理を説明するフローチャートである。
【図６】第１の実施形態において、撮影エリアに書類の角が含まれない場合または一つの角のみが含まれている場合を説明する図である。
【図７】第１の実施形態において、撮影エリアに書類の４つの角が含まれている場合を説明する図である。
【図８】第１の実施形態において、撮影エリアに書類の３つの角が含まれている場合を説明する図である。
【図９】第１の実施形態において、撮影部と書類の距離が適切でない場合を説明する図である。
【図１０】第１の実施形態において、撮影部と書類の位置関係が適切な場合を説明する図である。
【図１１】第２の実施形態に係る情報処理装置の機能ブロック図である。
【図１２】第２の実施形態に係る情報処理装置が表示する画面を説明する図である。
【図１３】第３の実施形態に係る情報処理装置が、書類を撮影する様子を説明する図である。
【図１４】第４の実施形態に係る情報処理装置が、書類を撮影する様子を説明する図である。
【発明を実施するための形態】
【００１０】
次に、図面を参照して、実施形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
【００１１】
（第１の実施形態）
第１の実施形態に係る情報処理装置１は、例えば、図１のように、タブレット形コンピュータである。第１の実施形態に係る情報処理装置１の表面は、図１（ａ）に示すように、表示部１０５備える。また表示部１０５を備えた面と対向する裏面は、図１（ｂ）に示すように、撮影部１２１を備える。情報処理装置１の表示部１０５は、タッチパネルを備える。情報処理装置１で実行されるソフトウェアによって、表示部１０５にキーボードやボタンなどが表示される。ユーザは、表示されたキーボードやボタンをタッチすることにより、情報処理装置１に指示を入力することができる。また、情報処理装置１にキーボードやマウスが接続されてもよいし、情報処理装置１の筐体に、指示を入力するボタンが設けられてもよい。
【００１２】
情報処理装置１で書類３を撮影する場合を説明する。図２に示すように、机の上に書類３を設置し、ユーザは、情報処理装置１をスタンド５に設置するとともに、情報処理装置１の撮影部１２１を書類３側に向けて、書類３を撮影する。ほかの撮影の形態として、書類３を机の上に設置し、スタンド５を使用せず、ユーザが情報処理装置１を把持し、書類３の上方から情報処理装置１で書類３を撮影する場合も考えられる。
【００１３】
情報処理装置１の表示部１０５には、撮影部１２１によって撮影された画像データが逐次プレビュー表示されるとともに、理想枠５１およびガイド５３が表示される。図２においては、書類３は矩形である。書類３を斜め上方向から撮影するので、書類３は、下辺が長く上辺が短い台形形状で、表示部１０５に表示される。
【００１４】
理想枠５１は、画像データにおける、撮影部１２１と書類３との位置関係が適切な場合の書類３の位置を、表示部１０５上に示すものである。画像データが表示部１０５に逐次プレビュー表示されるので、ユーザは、表示部１０５をみながら、表示部１０５に表示された書類部５２が、理想枠５１に合うように、情報処理装置１や書類３の位置を調整する。ここで、撮影部１２１と書類３との「位置関係が適切な場合」とは、例えば、書類３をエビデンスデータとして保存する場合、そのエビデンスデータとしての画質を備える画像データを撮影できる位置関係であることを言う。情報処理装置１が書類３の画像データを保存する目的に応じて、適切な位置関係は異なってもよい。
【００１５】
図２に示す例において理想枠５１は、撮影部１２１と書類３との位置関係が適切な場合に表示部１０５にプレビューされる書類部５２を囲う形状を備える。理想枠５１の形状は、書類部５２を囲う形状に限られず、例えば、書類部５２の角を、「Ｌ」字上のマーカーを施す形状なども考えられる。
【００１６】
表示部１０５において書類部５２のエッジと理想枠５１とがずれている場合、表示部１０５には、書類部５２のエッジと理想枠５１とを一致させるためのガイド５３が表示される。図２に示す例においてガイド５３は、書類部５２のそれぞれの角から、その角に対応する理想枠５１のそれぞれの角に向かう矢印である。書類３は矩形であるので、それぞれの角について、ガイド５３ａないし５３ｄが、表示部１０５に表示される。逐次表示される画像データについてガイドも逐次表示されるので、このガイドによりユーザは、情報処理装置１をどの方向に向ければ、書類部５２のエッジと理想枠５１とが一致するかを視覚的に把握することができる。
【００１７】
図２に示す例においてガイド５３は、矢印で示したが、矢印に限られず、例えばテキストメッセージや音声メッセージで示してもよい。また、第１の実施形態において、書類３と撮影部１２１との距離について、近い、遠いなどの情報が、ガイドとして通知されてもよい。
【００１８】
図３に示すように、第１の実施形態に係る情報処理装置１は、中央処理制御装置１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力インタフェース１０９および画像データ生成部１２３が、バス１１０を介して接続されている。入出力インタフェース１０９には、入力装置１０４、表示部１０５、通信制御装置１０６、記憶装置１０７およびリムーバブルディスク１０８が接続されている。画像データ生成部１２３には、第１の撮影部１２１および第２の撮影部が接続されている。
【００１９】
撮影部１２１は、例えばＣＣＤであって、書類３から受けた光を電気信号に変換する。撮影部１２１は、電気信号を、画像データ生成部１２２に入力する。撮影部１２１は、例えば、情報処理装置１に固定され、かつ内蔵されたＣＣＤである。
【００２０】
撮影部１２１は、例えば、情報処理装置１に固定可能であって、ＵＳＢポート等を介して接続可能なカメラであってもよい。ここで、「固定可能」とは、情報処理装置１と撮影部１２１が別のハードウェアで構成されており、撮影部１２１が、フックなどの接続部材によって取り外し可能な状態で情報処理装置１に固定できることを言う。この場合、撮影部１２１は、ＵＳＢポートなどの外部インタフェースを介して、中央処理制御装置１０１に画像データを入力する。
【００２１】
画像データ生成部１２２は、撮影部１２１から受信した電気信号を画像データに変換して、バス１１０に送出する回路である。第１の実施形態に係る画像データ生成部１２２は、画像データ生成部１２２は、回路基盤により実装されてもよいし、ソフトウェアプログラムによって実装されてもよい。
【００２２】
中央処理制御装置１０１は、入力装置１０４からの入力信号に基づいてＲＯＭ１０２から情報処理装置１を起動するためのブートプログラムを読み出して実行し、さらに記憶装置１０７に記憶されたオペレーティングシステムを読み出す。さらに中央処理制御装置１０１は、入力装置１０４や通信制御装置１０６などの入力信号に基づいて、各種装置の制御を行ったり、ＲＡＭ１０３や記憶装置１０７などに記憶されたプログラムおよびデータを読み出してＲＡＭ１０３にロードするとともに、ＲＡＭ１０３から読み出されたプログラムのコマンドに基づいて、データの計算または加工など、後述する一連の処理を実現する処理装置である。
【００２３】
入力装置１０４は、操作者が各種の操作を入力するキーボード１０４ａ、マウス１０４ｂなどの入力デバイスにより構成されており、操作者の操作に基づいて入力信号を作成し、入出力インタフェース１０９およびバス１１０を介して中央処理制御装置１０１に送信される。
【００２４】
表示部１０５は、例えば液晶ディスプレイである。表示部１０５は、中央処理制御装置１０１からバス１１０および入出力インタフェース１０９を介して表示部１０５において表示させる出力信号を受信し、例えば中央処理制御装置１０１の処理結果などを表示する。第１の実施形態に係る情報処理装置１の表示部１０５には、タッチパネル１０５ａが施されており、ユーザが表示部１０５の画面をタッチすることにより、入力信号を中央処理制御装置１０１に送信することができる。
【００２５】
通信制御装置１０６は、ＬＡＮカードやモデムなどの装置であり、情報処理装置１をインターネットやＬＡＮなどの通信ネットワークに接続する装置である。通信制御装置１０６を介して通信ネットワークと送受信したデータは入力信号または出力信号として、入出力インタフェース１０９およびバス１１０を介して中央処理制御装置１０１に送受信される。
【００２６】
記憶装置１０７は半導体記憶装置や磁気ディスク装置であって、中央処理制御装置１０１で実行されるプログラムやデータが記憶されている。リムーバブルディスク１０８は、光ディスクやフレキシブルディスクのことであり、ディスクドライブによって読み書きされた信号は、入出力インタフェース１０９およびバス１１０を介して中央処理制御装置１０１に送受信される。
【００２７】
第１の実施形態に係る情報処理装置１の記憶装置１０７には、情報処理プログラムが記憶されるとともに、図４示すように、記憶装置１０７は、画像データ記憶部１１、理想枠データ記憶部１２および保存画像データ記憶部１３を備える。また、情報処理プログラムが情報処理装置１の中央処理制御装置１０１に読み込まれ実行されることによって、取得手段２１、位置判定手段２２、出力手段２５、保存手段２８が情報処理装置１に実装される。
【００２８】
画像データ記憶部１１は、記憶装置１０７のうち、撮影部１２１および画像データ生成部１２２によって生成された画像データ１１ａが記憶された記憶領域である。画像データ１１ａは、撮影部１２１および取得手段２１により逐次入力される。
【００２９】
理想枠データ記憶部１２は、記憶装置１０７のうち、理想枠データ１２ａが記憶された記憶領域である。理想枠データ１２ａは、撮影部１２１と書類３との位置関係が適切な場合の書類３の位置を示すデータである。理想枠データ１２ａには、表示部１０５に表示する理想枠５１の表示位置のデータや、理想枠５１の角の座標位置のデータが含まれてもよい。理想枠データ１２ａは、後述の判定手段２４において、書類部５２の位置と比較するときや、理想枠表示手段２６において表示部１０５に理想枠５１を表示するときに参照される。書類３の種別や大きさごとに、複数の理想枠データ１２ａが記憶されてもよい。ユーザが書類３の種別や大きさを入力することにより、その種別や大きさに対応する理想枠データ１２ａが、判定手段２４や理想枠表示手段２６において参照される。
【００３０】
保存画像データ記憶部１３は、記憶装置１０７のうち保存画像データ１３ａが記憶された記憶領域である。保存画像データ１３ａは、ユーザによって入力部１０４やタッチパネル１０５ａから保存の指示が入力されたタイミングでの画像データ１１ａである。また、中央処理制御装置１０１が、図２に示す書類部５２のエッジと理想枠５１との距離の差分が所定値内になったタイミングを検出すると、ユーザからの保存の指示の入力を待たずに、画像データ１１ａを、保存画像データ１３ａとして保存画像データ記憶部１３に格納してもよい。
【００３１】
取得手段２１は、撮影部１２１によって撮影された電気信号に基づいて、画像データ生成部１２２で生成された画像データ１１ａを取得して、取得した画像データ１１ａを画像データ記憶部１１に記憶する。
【００３２】
位置判定手段２２は、画像データ１１ａを処理して、撮影部１２１と書類３との位置関係を判定する。具体的には、位置判定手段２２は、画像データ１１ａから検出された書類のエッジから特定される角の位置と、理想枠データ１２ａにおける書類の角の位置と、の差分に基づいて、位置関係を判定する。ここで位置関係とは、撮影部１２１と書類３との角度や、距離などである。撮影部１２１と書類３との位置関係が適切な場合の書類の角の位置の情報は、理想枠データ記憶部１２に記憶された理想枠データ１２ａとして予め記憶される。位置判定手段２２は、画像データ１１ａがエビデンスデータとしての画質を備える条件を満たしている角度や距離で撮影されたものであるかを、画像データ１１ａを処理することによって判定する。位置判定手段２２は、エッジ検出手段２３および判定手段２４を備える。
【００３３】
エッジ検出手段２３は、画像データ１１ａから、書類３が撮影された部分である撮影部５２を特定するために、書類３のエッジを検出する。エッジ検出手段２３は、例えば、画像データ１１ａにおいて色調変化率の大きい部分を、書類３のエッジ部分として検出する。また書類３の色や書類３が設置された机の色などが予めわかっている場合、エッジ検出手段２３は、画像データ１１ａからそれぞれの色の境界を検出して、書類３のエッジとしてもよい。
【００３４】
判定手段２４は、エッジ検出手段２３によって検出された画像データ１１ａにおける書類３の位置に基づいて、書類部５２の角の座標位置を検出する。判定手段２４は、検出した書類部３の座標位置と、理想枠データ１２ａの理想枠５１の角の座標位置との差分に基づいて、撮影部１２１と書類３との位置関係が適切であるかを判定する。判定手段２４は、撮影部１２１と書類３の距離や角度を算出するのではなく、画像データ１１ａにおける書類部５２の位置により、撮影部１２１と書類３の相対的な位置が、撮影部１２１で撮影した書類３の画像データ１１ａが、エビデンスデータとしての画質を備えるような位置であるかを判定する。判定手段２４は、エッジ検出手段２３によって検出された書類３のエッジから、画像データ１１ａに含まれる書類３の角の数を算出し、その数に基づいて、書類３と撮影部１２１との位置関係を判定してもよい。
【００３５】
書類３の角の数の算出方法については、様々な方法が考えられる。例えば、エッジ検出手段２３が書類部５２のエッジを検出することにより、４辺の位置を検出することができる。判定手段２４は、そのうち２辺を延伸し、２辺の交点を算出する。交点の座標位置が、画像データ１１ａの撮影エリア内である場合、判定手段２４は、その交点は、画像データ１１ａに含まれる書類３の角であると判断することができる。
【００３６】
出力手段２５は、画像データ１１ａと理想枠５１１とを表示部１０５に表示するとともに、位置判定手段２２により判定された位置関係に基づいて、位置関係を適切にするためのガイドを出力する。ここで、「位置関係を適切にする」とは、撮影部１２１と書類３との位置関係が、例えば、書類３をエビデンスデータとして保存する場合、そのエビデンスデータとしての画質を備える画像データを撮影できる位置関係とすることをいう。また、「ガイドを出力」するとは、位置関係の調整のメッセージを、音声データでスピーカー（図示せず）から出力し、またはテキストデータで表示部１０５に表示することにより、出力することである。
【００３７】
出力手段２５は、例えば、図２の表示部１０５に表示するように、表示部１０５に、画像データ１１ａをプレビュー表示するとともに、理想枠５１およびガイド５３を表示する。出力手段２５は、理想枠表示手段２６およびガイド表示手段２７を備える。
【００３８】
理想枠表示手段２６は、画像データ１１ａがプレビュー表示された画面上に、理想枠５１をさらに表示する。この理想枠５１の情報は、書類の種類などによって予め設定されている。理想枠５１は、画像データ１１ａにおける書類３の撮影領域を示すものであるので、書類部５２の形状に合致するように、台形形状を有する。理想枠の形状や表示位置は、理想枠データ１２ａとして、予め記憶装置１０７に記憶される。
【００３９】
ガイド表示手段２７は、位置判定手段２２によって、撮影部１２１と書類３との位置関係に調節が必要となった場合に、その調節の方向を示すガイド５３を、プレビュー表示された画面上にさらに表示する。出力手段２５による出力に基づいて、ユーザは、撮影部１２１と書類３との位置関係を調節するために、情報処理装置１の位置や書類３の位置などを変更することができる。
【００４０】
保存手段２８は、ユーザによるタッチパネル１０５ａなどの操作に従って、画像データ１１ａを、保存画像データ１３ａとして保存画像データ記憶部１３に記憶する。保存手段２８は、ユーザによる操作を待たずに、位置判定手段２２によって、書類部５２と理想枠５１とが一致していると判断したタイミングで、自動的に画像データ１１ａを保存画像データ１３ａとして記憶してもよい。
【００４１】
図５を参照して、第１の実施形態に係る位置判定手段２２による位置判定処理を説明する。
【００４２】
まずステップＳ１０１において位置判定手段２２は、記憶装置１０７の画像データ記憶部１１から画像データ１１ａを読み出す。ステップＳ１０２において位置判定手段２２は、ステップＳ１０１で読み出した画像データ１１ａから書類３のエッジを検出し、画像データ１１ａのうち、書類３に対応する書類部５２の領域を特定する。
【００４３】
ステップＳ１０３において位置判定手段２２は、ステップＳ１０２において特定された書類部５２の形状に基づいて、画像データ１１ａに書類３の角がいくつ含まれているかをカウントし、角の数により、処理を振り分ける。
【００４４】
ステップＳ１０３において、画像データ１１ａに含まれる書類３の角の数が０と判定された場合、ステップＳ１０４に進む。例えば、図６（ａ）に示すような場合である。図６（ａ）は、画像データ１１ａにおける撮影エリア５０に、書類３の書類部５２が含まれているものの、その書類３のすべての角が撮影エリア５０の外側に存在する状態を示している。この場合、撮影部１２１と書類３との距離が近すぎる場合が考えられるので、位置判定手段２２は、「カメラを遠ざけてください」とメッセージを出力する。また、画像データ１１ａの色調が書類３の色と異なる場合、位置判定手段２２は、「書類を設置してください」とメッセージを出力してもよい。その後位置判定手段２２は、ステップＳ１０１に戻り新たな画像データを取得する。
【００４５】
一方、ステップＳ１０３において、画像データ１１ａに含まれる書類３の角の数が１または２と判定された場合、ステップＳ１０５に進む。例えば、図６（ｂ）に示すような場合である。図６（ｂ）は、画像データ１１ａにおける撮影エリア５０に、書類３の書類部５２が含まれ、その書類３の角のうち、一つは撮影エリア５０の内側に存在しているものの、そのほかの角が撮影エリア５０の外側に存在する状態を示している。この場合、書類３と撮影部１２１の位置を調整する方向を示すガイドを表示するための前処理として、位置判定手段２２は、理想枠５１と書類部５２の各角を対応づけることができない。従ってステップＳ１０５において位置判定手段２２は、ユーザにカメラ位置の調節を促すために「カメラをずらしてください」とのメッセージを出力する。また、図６（ｂ）に示す場合以外にも、画像データ１１ａにおける撮影エリア５０に、書類３の書類部５２が含まれ、その書類３の角のうち、二つは撮影エリア５０の内側に存在しているものの、そのほかの二つの角が撮影エリア５０の外側に存在する場合も、ステップＳ１０５において、位置関係を調整を促すメッセージが出力される。
【００４６】
このメッセージは、表示部１０５に画面表示されてもよいし、音声メッセージでスピーカーから出力されてもよい。また位置判定手段２２は、ユーザに書類３の位置の調節を促すために「書類位置をずらしてください」とのメッセージを出力してもよい。その後位置判定手段２２は、ステップＳ１０１に戻り新たな画像データを取得する。
【００４７】
ステップＳ１０３において、画像データ１１ａに含まれる書類３の角の数が３または４と判定された場合、位置判定手段２２は、理想枠５１と書類部５２の各角を対応づけることができるので、ステップＳ１０６に進む。例えば図７（ａ）および図８（ａ）に示すような場合である。図７（ａ）は、画像データ１１ａにおける撮影エリア５０の内側に、書類３のすべての角が存在する状態を示している。図８（ａ）は、画像データ１１ａにおける撮影エリア５０の内側に、書類３の４つの角のうち３つの角が存在する状態を示している。この場合、書類３と撮影部１２１との位置関係の調節が必要なので、位置判定手段２２は、位置関係の調節に必要なガイドを出力するために、ステップＳ１０６以降を処理する。
【００４８】
ここで第１の実施形態に係る情報処理装置１は、図２に示すように、書類部５２の各角から、それに対応する理想枠５１の角へのベクトルを表示部１０５に表示する。このガイドによりユーザは、書類３が理想枠５１に合致するように、撮影部１２１と書類３との位置関係を調整することができる。これを実現するため、ステップＳ１０６において位置判定手段２２は、ステップＳ１０６において、書類部５２の各角について、それぞれ対応する理想枠５１の角を対応づける。書類部５２の各角の座標は、ステップＳ１０２における書類部５２のエッジにより算出される。また理想枠５１の各角の座標は、理想枠データ１２ａに含まれる。
【００４９】
ここで、書類部５２の各角とそれぞれ対応する理想枠５１の角を対応づけるために、様々な方法が考えられる。例えば、書類部５２の各角について、最も近い理想枠５１の角を対応づける方法が考えられる。また、書類部５２の各角と、任意の理想枠５１の角とを対応づけて４ペアを生成し、作成した４ペアについて書類部５２の角と理想枠５１の角との距離を算出し、各距離の和が最小になるように対応づけることにより、書類部５２の各角とそれぞれ対応する理想枠５１の角を対応づける方法も考えられる。この対応づけの方法の一例については、後述する。
【００５０】
書類部５２の各角とそれぞれ対応する理想枠５１の角とが対応づけられると、ステップＳ１０７において位置判定手段２２は、対応づけられたそれぞれのペアについて、書類部５２の角からそれに対応する理想枠５１の角への距離の和を算出する。ステップＳ１０８において位置判定手段２２は、ステップＳ１０７で算出された距離の和が、所定値内であるか否かを判定する。
【００５１】
所定値内でない場合、ステップＳ１０９において位置判定手段２２は、ステップＳ１０６で対応づけられた書類部５２の角と理想枠５１の角の各ペアについて、書類部５２の各角から、対応する理想枠５１の角へのベクトルの向きを判定する。
【００５２】
ベクトルの向きが内向きの場合とは、例えば、図９（ａ）に示すような場合である。図９（ａ）は、画像データ１１ａを表示部１０５にプレビュー表示するとともに、書類部５２の各角から、それぞれに対応する理想枠５１の角へベクトルＧ１ないしＧ４を表示した図である。図９（ａ）は、表示部１０５に書類部５２のすべての角が表示されているものの、理想枠５１よりも大きい状態で表示されている。画像データ１１ａにおいて、理想枠５１よりも大きく書類部５２が撮影されていると考えられるので、ステップＳ１０５において位置判定手段２２は、「カメラを遠ざけてください」など、撮影部１２１と書類３の距離をより大きくする操作を促すメッセージを出力する。例えば位置判定手段２２は、予め画像データ１１ａにおける中心座標を算出し、すべての角のペアについて、理想枠５１の角の座標が、対応する書類部５２の角の座標より、中心座標により近い場合、ベクトルの向きが内向きで、理想枠５１より書類部５２が大きいと判定する。メッセージを出力した後、位置判定手段２２は、ステップＳ１０１に戻り新たな画像データを取得する。
【００５３】
一方、ベクトルの向きが外向きの場合とは、例えば、図９（ｂ）に示すような場合である。図９（ｂ）は、表示部１０５に書類部５２のすべての角が表示されているものの、理想枠５１よりも小さい状態で表示されている。画像データ１１ａにおいて、理想枠５１よりも小さく書類部５２が撮影されていると考えられるので、ステップＳ１１０において位置判定手段２２は、「カメラを近づけてください」など、撮影部１２１と書類３の距離をより小さくする操作を促すメッセージを出力する。例えば位置判定手段２２は、予め画像データ１１ａにおける中心座標を算出し、すべての角のペアについて、書類部５２の角の座標が、対応する理想枠５１の角の座標より、中心座標により近い場合、ベクトルの向きが外向きで、理想枠５１より書類部５２が小さいと判定する。メッセージを出力した後、位置判定手段２２は、ステップＳ１０１に戻り新たな画像データを取得する。
【００５４】
ステップＳ１０８において所定値内であると判定された場合、例えば図１０に示すような状態である。図１０は、表示部１０５に書類部５２において書類３の４つの角がすべて表示され、理想枠５１と書類部５２とが重なっている。このように、書類部５２と理想枠５１とが一致していか、所定値の誤差の範囲ないであると考えられるので、位置判定手段２２は処理を終了する。その後、保存手段２８により、画像データ１１ａは保存画像データ１３ａとして記憶装置１０７に記憶される。
【００５５】
ここで、図８および図９を参照して、図５のステップＳ１０６における書類の角と理想枠の角とを対応づける処理を説明する。第１の実施形態に係る情報処理装置１は、撮影部１２１と書類３との位置関係の調整を支援するために、書類部５２の各角からそれに対応する理想枠５１の角へのベクトルを、表示部１０５に表示する。そこで位置判定手段２２は、書類部５２の各角について、その角に対応する理想枠５１の角を、下記のような方法で推測することができる。
【００５６】
図７（ａ）および図８（ｂ）において、理想枠５１の各頂点を、Ｅ１、Ｅ２、Ｅ３およびＥ４と定義し、書類部５２の各頂点を、Ｐ１、Ｐ２、Ｐ３およびＰ４と定義する。ここで、書類部５２の頂点Ｐｉから理想枠５１の頂点Ｅｊへの距離を｜Ｐｉ−Ｅｊ｜と表記する。なお、図８（ｂ）に示す図は、撮影エリア５０に書類３の３つの頂点のみが含まれている場合を説明するので、理想枠５１の頂点Ｅ３および書類部５２の頂点Ｐ３は、表示されていない。
【００５７】
書類部５２の各角と、任意の理想枠５１の角とを対応づけて４ペアを生成し、作成した４ペアについて書類部５２の角と理想枠５１の角との距離を算出し、各距離の和が最小になるように対応づけることにより、書類部５２の各角とそれぞれ対応する理想枠５１の角を対応づける方法を説明する。
【００５８】
位置判定手段２２は、書類部５２の４つの角と、任意の理想枠５１とすべてのパターンの対応づけを作成し、各パターンについて各角の距離の和を算出する。
【００５９】
例えば、Ｐ１とＥ１、Ｐ２とＥ２、Ｐ３とＥ３、Ｐ４とＥ４が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ１｜＋｜Ｐ２−Ｅ２｜＋｜Ｐ３−Ｅ３｜＋｜Ｐ４−Ｅ４｜と算出される。次に、Ｐ１とＥ２、Ｐ２とＥ３、Ｐ３とＥ４、Ｐ４とＥ１が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ２｜＋｜Ｐ２−Ｅ３｜＋｜Ｐ３−Ｅ４｜＋｜Ｐ４−Ｅ１｜と算出される。Ｐ１とＥ３、Ｐ２とＥ４、Ｐ３とＥ１、Ｐ４とＥ２が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ３｜＋｜Ｐ２−Ｅ４｜＋｜Ｐ３−Ｅ１｜＋｜Ｐ４−Ｅ２｜と算出される。Ｐ１とＥ４、Ｐ２とＥ１、Ｐ３とＥ２、Ｐ４とＥ３が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ４｜＋｜Ｐ２−Ｅ１｜＋｜Ｐ３−Ｅ２｜＋｜Ｐ４−Ｅ３｜と算出される。位置判定手段２２は、図５のステップＳ１０６において、この４つのパターンの距離の和のうち、最も小さい距離となるパターンを、特定して、書類部５２の４つの角と、理想枠５１の４つの角とを対応づける。
【００６０】
ここで、Ｐ１とＥ１、Ｐ２とＥ２、Ｐ３とＥ３、Ｐ４とＥ４が対応づけられるパターンの距離の和が最小になる場合、図７（ｂ）に示すように、ガイド表示手段２７は、書類部５２の頂点Ｐ１から理想枠５１の頂点Ｅ１へのベクトルＧ１、書類部５２の頂点Ｐ２から理想枠５１の頂点Ｅ２へのベクトルＧ２、書類部５２の頂点Ｐ３から理想枠５１の頂点Ｅ３へのベクトルＧ３および書類部５２の頂点Ｐ４から理想枠５１の頂点Ｅ４へのベクトルＧ４を、表示部１０５に表示する。
【００６１】
図８（ｂ）に示すように、撮影エリア５０に書類部５２の角が３つのみ含まれている場合でも、上記と同様に算出して、書類部５２の各角とそれぞれ対応する理想枠５１の角を対応づけることができる。
【００６２】
具体的には、Ｐ１とＥ１、Ｐ２とＥ２、Ｐ４とＥ４が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ１｜＋｜Ｐ２−Ｅ２｜＋｜Ｐ４−Ｅ４｜と算出される。次に、Ｐ１とＥ２、Ｐ２とＥ３、Ｐ４とＥ１が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ２｜＋｜Ｐ２−Ｅ３｜＋｜Ｐ４−Ｅ１｜と算出される。Ｐ１とＥ３、Ｐ２とＥ４、Ｐ４とＥ２が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ３｜＋｜Ｐ２−Ｅ４｜＋｜Ｐ４−Ｅ２｜と算出される。Ｐ１とＥ４、Ｐ２とＥ１、Ｐ４とＥ３が対応づけられるパターンの場合、各角の距離の和は、｜Ｐ１−Ｅ４｜＋｜Ｐ２−Ｅ１｜＋｜Ｐ４−Ｅ３｜と算出される。位置判定手段２２は、図５のステップＳ１０６において、この３つのパターンの距離の和のうち、最も小さい距離となるパターンを、特定して、書類部５２の３つの角と、理想枠５１の３つの角とを対応づける。
【００６３】
このように第１の実施形態に係る情報処理装置１は、表示部１０５に理想枠とともに、調整方向を示すベクトルを表示することにより、ユーザに、撮影部１２１と書類３との位置関係を容易に調整させることができる。画像データ１１ａに含まれる書類部５２の角の数から、撮影部１２１と書類３との距離が適切であるかを判断するとともに、書類部５２の角と理想枠５１の角との距離から、書類３の方向が適切であるかを判断することができる。
【００６４】
（第２の実施形態）
図１１を参照して、第２の実施形態に係る情報処理装置１ａを説明する。第２の実施形態に係る情報処理装置１ａは、図４を参照して説明した第１の実施形態に係る情報処理装置１と比べて、取得手段２１が台形補正手段２９を備えている点が異なる。また、理想枠データ記憶部１２に記憶される理想枠データ１２ｂは、台形補正に適応する理想枠の座標の情報などが含まれる。
【００６５】
取得手段２１は、撮影部１２１および画像データ正西部１２２から入力された画像データを台形補正した画像データ１１ｂを画像データ記憶部に記憶する。位置判定手段２２は、その画像データ１１ｂを参照して処理するとともに、出力手段２５は、その画像データ１１ｂを表示部１０５にプレビュー表示する。また、出力手段２５の理想枠表示手段２６ａは、台形補正後の画像データ１１ｂの書類部５２ａに適合する理想枠データ１２ｂに基づいて、矩形の理想枠５１ａを表示する。
【００６６】
第２の実施形態において、表示部１０５には、図１２に示すような画像が表示される。
【００６７】
図１２（ａ）は、撮影部１２１と書類３とが遠すぎる場合の画面で、第１の実施形態で説明した図９（ｂ）に対応する。図９（ｂ）において、書類部５２および理想枠５１の形状が台形であるのに対し、図１２（ａ）において、書類部５２ａおよび理想枠５１ａの形状は矩形である。
【００６８】
図１２（ｂ）は、撮影部１２１と書類３との位置関係が適切な場合の画面で、第１の実施形態で説明した図１０に対応する。図１０において、書類部５２の形状が台形であるのに対し、図１２（ａ）において、書類部５２ａの形状は矩形である。
【００６９】
このように第２の実施形態に係る情報処理装置１ａは、台形補正後の図形を表示するので、ユーザが書類３の遠近に違和感を感じることなく、補正することができる。
【００７０】
なお、第２の実施形態に係る情報処理装置１ａにおいて、取得手段２１が台形補正し、台形補正された画像データを位置判定手段２２などで参照する場合について説明したが、位置判定手段２２において台形補正するなどの処理の順序は問わない。
【００７１】
（第３の実施形態）
図１３を参照して、第３の実施形態に係る情報処理装置１ｂを説明する。第３の実施形態に係る情報処理装置１ｂは、デジタルカメラである。このような情報処理装置１ｂが、第１の実施形態で説明した処理を実行する回路を備えることにより、第１の実施形態で説明した発明を適用することができる。
【００７２】
（第４の実施形態）
図１４を参照して、第４の実施形態に係る情報処理装置１ｃを説明する。第４の実施形態に係る情報処理装置１ｃは、ノート型コンピュータである。第４の実施形態に係る情報処理装置１ｃの表示部の裏面に、撮影部１２１が設けられており、書類３を撮影することができる。このような情報処理装置１ｂにも、第１の実施形態で説明した発明を適用することができる。
【００７３】
以上説明した少なくとも一つの実施形態に係る情報処理装置は、適切な書類の撮影データを取得することができる。
【００７４】
なお、以上説明した少なくとも一つの実施形態に係る情報処理装置の処理の順序は、上記の説明の通りに限定するものではない。
【００７５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１  情報処理装置
３  書類
５  スタンド
１１  画像データ記憶部
１２  理想枠データ記憶部
１３  保存画像データ記憶部
２１  取得手段
２２  位置判定手段
２３  エッジ検出手段
２４  判定手段
２５  出力手段
２６  ガイド表示手段
２７  理想枠表示手段
２８  保存送信手段
５０  撮影部
５１  理想枠
５２  書類部
５３  ガイド
１０１  中央処理制御装置
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  入力装置
１０５  表示部
１０５ａ  タッチパネル
１０６  通信制御装置
１０７  記憶装置
１０８  リムーバブルディスク
１０９  入出力インタフェース
１１０  バス
１２１  撮影部
１２２  画像データ変換部
【図１】
2012065247.tif 000003
【図２】
2012065247.tif 000004
【図３】
2012065247.tif 000005
【図４】
2012065247.tif 000006
【図５】
2012065247.tif 000007
【図６】
2012065247.tif 000008
【図７】
2012065247.tif 000009
【図８】
2012065247.tif 000010
【図９】
2012065247.tif 000011
【図１０】
2012065247.tif 000012
【図１１】
2012065247.tif 000013
【図１２】
2012065247.tif 000014
【図１３】
2012065247.tif 000015
【図１４】
2012065247.tif 000016