(57)【要約】【課題】本発明は、撮影された画像に合成する画像を適切に取得する仕組みを提供することを目的とする。【解決手段】  撮影手段と、前記撮影手段による撮影範囲を表示する表示手段とを備える情報処理装置であって、前記撮影手段による撮影により得られた第１の対象物の画像から所定の条件に合う部分領域を検出する検出手段と、前記撮影手段により第２の対象物を撮影する場合に、前記表示手段で表示される撮影範囲上に、前記検出した部分領域の形状を示す境界を表示する表示制御手段と、前記撮影手段による撮影により得られた第２の対象物の画像から、前記表示した境界に従って部分画像を抽出する抽出手段とを備えることを特徴とする。【選択図】図１４
2020102120.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段と、前記撮影手段による撮影範囲を表示する表示手段とを備える情報処理装置であって、
前記撮影手段による撮影により得られた第１の対象物の画像から所定の条件に合う部分領域を検出する検出手段と、
前記撮影手段により第２の対象物を撮影する場合に、前記表示手段で表示される撮影範囲上に、前記検出した部分領域の形状を示す境界を表示する表示制御手段と、
前記撮影手段による撮影により得られた第２の対象物の画像から、前記表示した境界に従って部分画像を抽出する抽出手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記検出した部分領域の縦横比により、前記撮影手段により前記第２の対象物を撮影して取得する画像の向きを決定する決定手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記表示する境界のサイズを、前記表示する撮影範囲に合わせて調整することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記得られた第１の対象物の画像の前記部分領域に、前記抽出した部分画像を挿入した画像を表示する合成画像表示手段を備えることを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記部分領域の形状は、矩形であることを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記第１の対象物の画像は、新たに得られることを特徴とする請求項１〜５のいずれか1項に記載の情報処理装置。
【請求項７】
前記第１の対象物は、書類であることを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
撮影手段と、前記撮影手段による撮影範囲を表示する表示手段とを備える情報処理装置の制御方法であって、
検出手段が、前記撮影手段による撮影により得られた第１の対象物の画像から所定の条件に合う部分領域を検出する検出ステップと、
表示制御手段が、前記撮影手段により第２の対象物を撮影する場合に、前記表示手段で表示される撮影範囲上に、前記検出した部分領域の形状を示す境界を表示する表示制御ステップと、
抽出手段が、前記撮影手段による撮影により得られた第２の対象物の画像から、前記表示した境界に従って部分画像を抽出する抽出ステップと
を備えることを特徴とする情報処理装置の制御方法。
【請求項９】
撮影手段と、前記撮影手段による撮影範囲を表示する表示手段とを備える情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
前記撮影手段による撮影により得られた第１の対象物の画像から所定の条件に合う部分領域を検出する検出手段と、
前記撮影手段により第２の対象物を撮影する場合に、前記表示手段で表示される撮影範囲上に、前記検出した部分領域の形状を示す境界を表示する表示制御手段と、
前記撮影手段による撮影により得られた第２の対象物の画像から、前記表示した境界に従って部分画像を抽出する抽出手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像に複数の画像を適切に合成する技術に関する。
【背景技術】
【０００２】
製薬企業では、近年「薬の副作用」についての情報管理業務である製薬安全性情報管理業務（ＰＶ業務）が行われている。具体的には、製造販売後調査として製薬企業の医薬情報担当者（Ｍｅｄｉｃａｌ  Ｒｅｐｒｅｓｅｎｔａｔｉｖｅ＝ＭＲ）が、当該製薬企業の提供している薬品の副作用や、当該薬品の使用によるものと疑われる感染症について調査する調査票を医師に渡して記入してもらい、所定期間後に病院に出向いて回収する。
【０００３】
そしてＭＲは、例えば病院近くのコンビニ等からＦＡＸで本社に当該調査票を送信し、本社から独立行政法人  医薬品医療機器総合機構に対して当該データを送信・登録することで同機構への薬品の副作用・感染症報告を行っている。近くにＦＡＸできる端末がない場合は、ＭＲは一度営業所に戻って、営業所に設置されているＦＡＸ装置から調査票のデータを本社にＦＡＸで送信している。この調査・報告業務は、薬事法に従って行われる業務である。
【０００４】
一部の企業では、このＦＡＸ装置を探す手間を省くため、調査票をスマートデバイスで撮影して、撮影した写真を本社のサーバに送信するシステムを採用している。図面や写真を填め込んだ調査票を作成する場合は、あらかじめ写真を貼り付けた調査票を撮影する、撮影画像に填め込む矩形画像を合成する、等の方法で１枚の調査票を作成する。例えば特許文献１では、第１の画像から矩形領域を取得し、第２の画像を矩形領域に合うように画像変換して画像を合成する技術が公開されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８０６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の仕組みにより、撮影された第１の画像の矩形領域に合うように第２の画像を画像変換して合成することが可能となる。しかしながら、画像が矩形領域に合わせて切り取られたり、矩形領域の縦横比に合わせて形状変換されたりすることで、元の画像の一部が欠けたり全体が歪むという課題がある。
【０００７】
このような課題を解消するためには、矩形領域に填め込む画像を矩形領域の縦横比に合わせた形状で撮影することが望ましい。
【０００８】
そこで本発明は、撮影された画像に合成する画像を適切に取得する仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮影手段と、前記撮影手段による撮影範囲を表示する表示手段とを備える情報処理装置であって、前記撮影手段による撮影により得られた第１の対象物の画像から所定の条件に合う部分領域を検出する検出手段と、前記撮影手段により第２の対象物を撮影する場合に、前記表示手段で表示される撮影範囲上に、前記検出した部分領域の形状を示す境界を表示する表示制御手段と、前記撮影手段による撮影により得られた第２の対象物の画像から、前記表示した境界に従って部分画像を抽出する抽出手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明では、撮影された画像に合成する画像を適切に取得する仕組みを提供することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における、情報処理システムのシステム構成の一例を示すシステム構成図である。
【図２】本発明の実施形態における、携帯端末１００のハードウェア構成の一例を示すハードウェア構成図である。
【図３】本発明の実施形態における、サーバ２００のハードウェア構成の一例を示すハードウェア構成図である。
【図４】本発明の実施形態における、情報処理システムにおける全体処理の一例を示すフローチャートである。
【図５】本発明の実施形態における、情報処理システムにおける矩形検出処理の一例を示すフローチャートである。
【図６】本発明の実施形態における、情報処理システムにおける画面調整処理の一例を示すフローチャートである。
【図７】本発明の実施形態における、情報処理システムにおける画像合成処理及び画像表示処理の一例を示すフローチャートである
【図８】本発明の実施形態における、撮影画像テーブルの構成を示す構成図である。
【図９】本発明の実施形態における、矩形テーブルの構成を示す構成図である。
【図１０】本発明の実施形態における、撮影画面の画面例である。
【図１１】本発明の実施形態における、矩形検出例である。
【図１２】本発明の実施形態における、矩形撮影画面の画面例である。
【図１３】本発明の実施形態における、撮影画像確認画面の画面例である。
【図１４】本発明の実施形態における、携帯端末１００のモジュールの構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１３】
図１は本発明の実施形態における情報処理システムにおいて、その構成の一例を示すシステム構成図である。
【００１４】
本発明の実施形態における情報処理システムは、携帯端末１００と、サーバ２００が、ネットワーク１０１（例えばＷＡＮ＝ワイドエリアネットワーク）を介して通信可能に接続され構成されている。
【００１５】
携帯端末１００は、冊子（撮影対象物に相当する）をカメラで撮影して記憶し、ネットワーク１０１を介してサーバ２００に送信する情報処理装置である。また、携帯端末１００はタッチパネル２１０を備える。
【００１６】
サーバ２００は、携帯端末１００から送信された複数の画像を受信し、１つのＰＤＦファイルに変換して保存する装置である。
【００１７】
以上で、図１に示すシステム構成図に関する説明を終了する。
【００１８】
以下、図２を用いて、図１に示した携帯端末１００のハードウェア構成について説明する。
【００１９】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００２０】
また、ＲＯＭ２０２あるいはフラッシュメモリ２１４には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、当該携帯端末が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００２１】
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２２】
また、入力コントローラ２０５は、タッチパネル２１０、マイク２１１、カメラ２１２からの入力を制御する。タッチパネル２１０からはユーザのタッチ操作に関する入力を制御し、マイク２１１からは音声の入力を制御し、カメラ２１２からは撮影された静止画、動画の入力を制御する。出力コントローラ２０６は、タッチパネル２１０、スピーカ２１３への出力を制御する。
【００２３】
タッチパネル２１０は、ユーザからのタッチ操作を検知すると共に、前述した出力コントローラ２０６から送られた映像を表示する。タッチパネル２１０は、表示器と位置入力装置とが一体となった部品である。複数の箇所に対するタッチ操作（以下、マルチタッチ）も検知可能である。
【００２４】
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ２１４へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。
【００２５】
通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００２６】
センサコントローラ２０８は、携帯端末１００が備えるセンサ２１５からの入力を制御する。携帯端末１００のセンサ２１５には様々なセンサが存在し、例えば方位センサ、加速度センサである。
【００２７】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、タッチパネル２１０上での表示を可能としている。
【００２８】
本発明の携帯端末１００が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ２１４に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルはフラッシュメモリ２１４に格納されている。
【００２９】
以上で、図２に示す携帯端末１００のハードウェア構成に関する説明を終了する。上記の構成は一例であって、目的や用途に応じて適宜変更されうる。
【００３０】
以下、図３を用いて、図１に示したサーバ２００のハードウェア構成について説明する。
【００３１】
図３に示すように、サーバ２００は、システムバス３０４を介してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０３、入力コントローラ３０５、ビデオコントローラ３０６、メモリコントローラ３０７、通信Ｉ／Ｆコントローラ３０８等が接続された構成を採る。
【００３２】
ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。
【００３３】
また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、各サーバあるいは各ＰＣが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。
【００３４】
ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【００３５】
また、入力コントローラ３０５は、キーボード（ＫＢ）３０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。
【００３６】
ビデオコントローラ３０６は、ディスプレイ３１０等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。
【００３７】
メモリコントローラ３０７は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、あるいは、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｅｍｏｒｙ  Ｃａｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ａｓｓｏｃｉａｔｉｏｎ）カードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。
【００３８】
通信Ｉ／Ｆコントローラ３０８は、ネットワークを介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）を用いた通信等が可能である。
【００３９】
尚、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ３１０上に表示することが可能である。また、ＣＰＵ３０１は、ディスプレイ３１０上のマウスカーソル（図示しない）等によるユーザ指示を可能とする。
【００４０】
本発明を実現するための後述する各種プログラムは、外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。
【００４１】
以上で、図３に示すサーバ２００のハードウェア構成に関する説明を終了する。上記の構成は一例であって、目的や用途に応じて適宜変更されうる。
【００４２】
以下、図１４を用いて、本発明の実施形態における携帯端末１００のモジュールの構成の一例を示すブロック図について説明する。
【００４３】
携帯端末１００は、撮影部１４０１、記憶部１４０２、矩形検出部１４０３、画面調整部１４０４、画像合成部１４０５、表示部１４０６を備えており、画像記憶アプリケーションがインストールされている。
【００４４】
撮影部１４０１は、画像の撮影を制御する機能部である。
【００４５】
記憶部１４０２は、撮影された複数の画像を記憶するよう制御する機能部である。
【００４６】
矩形検出部１４０３は、撮影対象物から輪郭線を検出してその大きさと画像における位置座標を特定するよう制御する機能部である。
【００４７】
画面調整部１４０４は、撮影画面の向きやカメラの解像度や撮影ガイド領域を表示する位置を、矩形検出部１４０３の判定結果の矩形に基づいて決定するよう制御する機能部である。
【００４８】
画像合成部１４０５は、記憶部１４０２に記憶された撮影画像に矩形画像を合成するよう制御する機能部である。
【００４９】
表示部１４０６は、画像合成部１４０５で合成された画像を表示するよう制御する機能部である。
【００５０】
以上で、図１４に示す携帯端末１００のモジュールの構成の一例を示すブロック図に関する説明を終了する。
【００５１】
以下、図４から図７に示すフローチャートを用いて、本発明の実施形態における携帯端末１００が実行する処理について説明する。
【００５２】
図４は、携帯端末１００による全体処理の一例を示すフローチャートである。
【００５３】
ステップＳ４０１で、携帯端末１００は、撮影対象物である帳票を撮影し、取得した画像から矩形領域を検出する。本処理の詳細は図５で後述する。
【００５４】
ステップＳ４０２で、携帯端末１００は、検出した矩形領域に合成する対象物を撮影して画像を取得する。本処理の詳細は図６で後述する。
【００５５】
ステップＳ４０３で、携帯端末１００は、ステップＳ４０１で取得した帳票の画像から検出した矩形領域に対して、ステップＳ４０２で取得した画像を合成して表示する。本処理の詳細は図７で後述する。
【００５６】
ステップＳ４０４で、携帯端末１００は、ステップＳ４０３で合成した全体画像のデータをサーバ２００に送信する。なお、ここでは、本実施例のように合成後の全体画像データを送信してもよいし、合成前の各々の画像データを合成に必要な情報（合成位置、サイズ）とともに送信してもよい。
【００５７】
以上で図４に示すフローチャートの説明を終了する。
【００５８】
図５は、ステップＳ４０１の携帯端末１００が撮影画面を表示して撮影対象物の撮影し、撮影した画像から輪郭線を検出してその大きさと画像における位置座標を特定する処理の一例を示すフローチャートである。
【００５９】
ステップＳ５０１で、携帯端末１００のＣＰＵ２０１は、携帯端末１００に記憶されている撮影アプリケーションをユーザによる操作に応じて起動し、撮影画面を表示する。
【００６０】
具体的には、画像記憶アプリケーションの起動後に表示される不図示のメニュー画面から、撮影画面の表示操作を受け付けたことに応じて撮影画面を表示する。また、画像記憶アプリケーションを終了するか、撮影画面の終了操作を受け付けることで、撮影画面の表示を終了する。
【００６１】
撮影画面の一例を図１０に示す。図１０の詳細については後述する。
【００６２】
ステップＳ５０２では、携帯端末１００のＣＰＵ２０１が、カメラ２１２によって撮影対象物を撮影し、ＲＡＭ３０３等に一時保存する。具体的には、ユーザからシャッター操作を受け付けるか、撮影対象物が撮影範囲に入ったことを検知して撮影を実施する。
【００６３】
ステップＳ５０３では、携帯端末１００のＣＰＵ２０１が、ステップＳ５０２で一時保存した画像を取得して補正する。具体的には、取得した画像の中の撮影対象物の頂点を認識し、認識された頂点を、Ａ４縦及びＡ３横の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。なお、本実施例では、撮影対象物としてＡ４縦またはＡ３横のサイズの用紙を使用した帳票を取り扱う。
【００６４】
ステップＳ５０４では、携帯端末１００のＣＰＵ２０１が、ステップＳ５０３で補正した画像内に含まれる矩形領域を検出する。具体的には、画像の中の輪郭線を認識し、輪郭線に囲まれた矩形領域を検出する。
【００６５】
ステップ５０５では、携帯端末１００のＣＰＵ２０１は、矩形領域が検出されたかを判断し、検出されれば次のステップに、１つも矩形領域が検出されなければステップＳ５０８に進む。
【００６６】
ステップＳ５０６〜Ｓ５０７は、ステップＳ５０４で検出した矩形領域ごとに繰り返す。
【００６７】
ステップＳ５０６では、携帯端末１００のＣＰＵ２０１は、検出した輪郭線の内側の領域に同一色の画素が一定量以上含まれるかを判断し、含まれる場合、その輪郭線の撮影画像内における位置と大きさを取得してステップＳ５０７に進む。矩形領域としては検出されたが、その矩形領域の内側に同一色の画素が一定量以上含まれない場合、例えば、文章を強調するために線で囲んだ場合や、記入欄の枠線のような場合には、画像の挿入領域ではないため、次の矩形領域の処理に移る。
【００６８】
矩形検出の一例を図１１に示す。図１１の詳細については後述する。
【００６９】
ステップＳ５０７では、携帯端末１００のＣＰＵ２０１が、ステップＳ５０４で検出し、ステップＳ５０６で画像挿入領域と判断した矩形の位置と大きさを、図９に示す矩形テーブルに保存する。矩形テーブル９００は、帳票ＩＤ９０３、矩形ＩＤ９０４、位置９０１、サイズ９０２で構成されている。帳票ＩＤ９０３は撮影した帳票を一意に表す識別英数字、矩形ＩＤ９０４は一帳票に対し矩形ごとに採番される連番である。矩形ＩＤ９０４は撮影画像テーブル８００の矩形画像パスの番号に対応する。位置９０１は、ステップＳ５０４からステップＳ５０６で検出した矩形の、ステップＳ５０２で撮影した撮影画像内の位置座標である。サイズ９０２は、ステップＳ５０４からステップＳ５０６で検出した矩形の大きさである。
【００７０】
ステップＳ５０８では、携帯端末１００のＣＰＵ２０１が、ステップＳ５０２で一時保存した画像を、図８に示す撮影画像テーブルに保存する。撮影画像テーブル８００は、帳票ＩＤ８０５、撮影日時８０１、画像パス８０２、矩形画像パス（１）８０３、矩形画像パス（２）８０４で構成されている。帳票ＩＤ８０５は撮影した帳票を一意に表す識別英数字、撮影日時８０１は、Ｓ５０２で撮影対象物を撮影した撮影日時である。画像パス８０２は、Ｓ５０２で撮影対象物を撮影した画像の保存されている場所を表すパスである。矩形画像パス（１）８０３及び矩形画像パス（２）８０４は、図６に示すフローチャートの処理により撮影した矩形画像の保存されている場所を表すパスであり、図８では矩形画像パス２までしか記載がないが、検出した矩形画像数分のパスを保存する。
【００７１】
以上で、図５に示すフローチャートに関する説明を終了する。
【００７２】
以下、図６に示すフローチャートについて説明する。
【００７３】
図６は、ステップＳ４０３の携帯端末１００が図５に示すフローチャートの処理により検出した矩形に応じて、当該矩形に填め込む合成対象物を撮影して画像を取得する処理の一例を示すフローチャートである。
【００７４】
ステップＳ６０１で、携帯端末１００のＣＰＵ２０１は、ステップＳ５０７で保存した矩形の大きさ情報を、図９に示す矩形テーブルから取得する。
【００７５】
ステップＳ６０２で、携帯端末１００のＣＰＵ２０１は、矩形情報の有無を判定し、矩形情報が存在する場合、次のステップに進む。矩形情報が存在しない場合は本処理フローを終了する。
【００７６】
ステップＳ６０３〜Ｓ６１０の処理は、ステップＳ６０１で取得した矩形情報ごとに繰り返す。
【００７７】
ステップＳ６０３で、携帯端末１００のＣＰＵ２０１は、矩形の縦横比を計算する。
【００７８】
ステップＳ６０３で計算した矩形が縦長の場合、携帯端末１００のＣＰＵ２０１は、ステップＳ６０４で撮影画面を縦向きに設定する。ステップＳ６０３で計算した矩形が横長の場合、携帯端末１００のＣＰＵ２０１は、ステップＳ６０５で撮影画面を横向きに設定する。矩形の縦横比に合わせて撮影画面の向きを変更することにより、撮影領域を矩形に応じてより広く確保することができる。
【００７９】
ステップＳ６０６では、携帯端末１００のＣＰＵ２０１が、カメラの解像度の中からステップＳ６０３で計算した矩形の大きさに最も近い解像度を選択して設定する。矩形の大きさとカメラの解像度を合わせることにより、矩形撮影時の見た目と矩形を填め込んだ合成画像内の矩形領域の見た目を近いものにすることができる。
【００８０】
ステップＳ６０７では、携帯端末１００のＣＰＵ２０１が、撮影画面に撮影ガイド枠を描画する。撮影ガイド枠は、撮影領域をより広く確保するとともに、矩形撮影時の見た目と矩形を填め込んだ合成画像内の矩形領域の見た目を近いものにするため、ステップＳ６０３で計算した縦横比の大きさで、撮影画面内に取り得る最大領域に表示する。
【００８１】
縦長矩形の撮影画面及び横長矩形の撮影画面の一例を図１２に示す。図１２の詳細については後述する。
【００８２】
ステップＳ６０８では、携帯端末１００のＣＰＵ２０１が、カメラ２１２によって合成対象物を撮影し、撮影画像をＲＡＭ３０３等に一時保存する。
【００８３】
ステップＳ６０９では、携帯端末１００のＣＰＵ２０１が、ステップＳ６０８で一時保存した撮影画像から、ステップＳ６０７で描画した撮影ガイド枠の領域を切り出す。
【００８４】
ステップＳ６１０では、携帯端末１００のＣＰＵ２０１が、ステップＳ６０９で切り出した画像を、図８に示す撮影画像テーブルに保存する。
【００８５】
以上で、図６に示すフローチャートに関する説明を終了する。
【００８６】
以下、図７に示すフローチャートについて説明する。
【００８７】
図７は、ステップＳ４０４の携帯端末１００が図５に示すフローチャートの処理により帳票を撮影して取得した画像に、図６に示すフローチャートの処理により合成対象物を撮影して取得した矩形画像を合成し、合成した画像を撮影画像確認画面に表示する処理の一例を示すフローチャートである。
【００８８】
ステップＳ７０１で、携帯端末１００のＣＰＵ２０１は、図８に示す撮影画像テーブルから、ステップＳ５０８で保存した撮影画像の画像パスを取得する。
【００８９】
ステップＳ７０２で、携帯端末１００のＣＰＵ２０１は、画像パスから撮影画像を取得する。
【００９０】
ステップＳ７０３では、携帯端末１００のＣＰＵ２０１が、ステップＳ５０７で保存した矩形の位置と大きさ情報を、図９に示す矩形テーブルから取得する。
【００９１】
ステップＳ７０４で矩形情報の有無を判定し、矩形情報が存在する場合、次の処理に進む。矩形情報が存在しない場合は、ステップＳ７０８に進む。
【００９２】
ステップＳ７０５〜Ｓ７０７の処理は、ステップＳ７０３で取得した矩形情報ごとに繰り返す
【００９３】
ステップＳ７０５で図８に示す撮影画像テーブルから矩形画像パスを取得する。
【００９４】
ステップＳ７０６では、携帯端末１００のＣＰＵ２０１が、ステップＳ７０５で取得した矩形画像パスから矩形画像を取得する。
【００９５】
ステップＳ７０７では、携帯端末１００のＣＰＵ２０１が、ステップＳ７０２で取得した撮影画像内の、ステップＳ７０３で取得した矩形の位置に、ステップＳ７０６で取得した矩形画像を合成する。図５に示すフローチャートで検出した全ての矩形に対して、ステップＳ７０５からステップＳ７０７を繰り返し実行することで、全ての矩形画像を撮影画像に合成する。
【００９６】
ステップＳ７０８では、携帯端末１００のＣＰＵ２０１が、全ての矩形画像を撮影画像の矩形領域に合成した１枚の画像を、撮影画像確認画面に表示する。矩形情報が存在しない場合は、元の帳票の画像をそのまま表示することになる。
【００９７】
撮影画像確認画面の一例を図１３に示す。図１３の詳細については後述する。
【００９８】
以上で、図７に示すフローチャートに関する説明を終了する。
【００９９】
以下、図１０から図１３に示す画面構成図について説明する。
【０１００】
図１０は、図５に示すフローチャートの処理で撮影対象物を撮影する撮影画面の一例である。撮影画面１０００は、撮影対象物１００１、輪郭線１００２から輪郭線１００４、撮影ガイド枠１００５で構成されている。撮影対象物１００１はＡ４用紙の場合であるが、横向きの撮影画面においてはＡ３用紙も撮影可能である。輪郭線１００２と輪郭線１００４は矩形画像を填め込むための矩形領域であり、輪郭線１００３は矩形画像を填め込む対象外の矩形領域である。適切な撮影位置に誘導するため、撮影対象物に応じて撮影ガイド枠１００５を表示する。
【０１０１】
図１１は、図６に示すフローチャートの処理で撮影対象物から矩形領域を検出する一例である。撮影対象物１１０１は、輪郭線１１０２、輪郭線１１０３で構成されている。撮影画像１１０４は、撮影対象物を撮影したそのものの画像である。矩形領域１１０５は、撮影対象物１１０１から輪郭線１１０２の領域を検出して切り出した領域である。矩形領域１１０６は、撮影対象物１１０１から輪郭線１１０３の領域を検出して切り出した領域である。
【０１０２】
図１２は、図６に示すフローチャートの処理で矩形の縦横比を判定し、矩形情報に応じて画面表示を調整した矩形の撮影画面の一例である。矩形が縦長の場合、縦長矩形撮影画面１２００を表示し、矩形１２０１の縦横比の大きさで、撮影画面内に取り得る最大領域に撮影ガイド枠１２０２を表示する。矩形が横長の場合、横長矩形撮影画面１２１０を表示し、矩形１２１１の縦横比の大きさで、撮影画面内に取り得る最大領域に撮影ガイド枠１２１２を表示する。
【０１０３】
図１３は、図７に示すフローチャートの処理で合成した撮影画面を表示する撮影画像確認画面の一例である。撮影画像確認画面１３００は、矩形領域１３０１、矩形領域１３０２で構成されている。矩形領域１３０１には、縦長矩形撮影画面１２００で撮影した縦長の矩形画像が合成され、矩形領域１３０２には、横長矩形撮影画面１２１０で撮影した横長の矩形画像が合成される。
【０１０４】
上記により、撮影された画像に合成する画像を適切に取得することが可能となる。
【０１０５】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１０６】
以上、いくつかの実施形態について示したが、本発明は、例えば、システム、装置、方法、コンピュータプログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０７】
また、本発明におけるコンピュータプログラムは、各図に示すフローチャートの処理方法をコンピュータが実行可能なコンピュータプログラムであり、本発明の記憶媒体は図９〜図１０の処理方法をコンピュータが実行可能なコンピュータプログラムが記憶されている。なお、本発明におけるコンピュータプログラムは各図の各装置の処理方法ごとのコンピュータプログラムであってもよい。
【０１０８】
以上のように、前述した実施形態の機能を実現するコンピュータプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたコンピュータプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１０９】
この場合、記録媒体から読み出されたコンピュータプログラム自体が本発明の新規な機能を実現することになり、そのコンピュータプログラムを記憶した記録媒体は本発明を構成することになる。
【０１１０】
コンピュータプログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【０１１１】
また、コンピュータが読み出したコンピュータプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのコンピュータプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１２】
さらに、記録媒体から読み出されたコンピュータプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのコンピュータプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１３】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にコンピュータプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのコンピュータプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１４】
さらに、本発明を達成するためのコンピュータプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１５】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１６】
１００  携帯端末
１０１  ネットワーク
２００  サーバ
【図１】
2020102120.tif 000003
【図２】
2020102120.tif 000004
【図３】
2020102120.tif 000005
【図４】
2020102120.tif 000006
【図５】
2020102120.tif 000007
【図６】
2020102120.tif 000008
【図７】
2020102120.tif 000009
【図８】
2020102120.tif 000010
【図９】
2020102120.tif 000011
【図１０】
2020102120.tif 000012
【図１１】
2020102120.tif 000013
【図１２】
2020102120.tif 000014
【図１３】
2020102120.tif 000015
【図１４】
2020102120.tif 000016