(57)【要約】【課題】撮影した画像をユーザーの撮影目的に沿って文書又は写真として自動的に画像処理する。【解決手段】画像処理装置１００は、カメラ２００によって同一の原稿ＭＳを複数回異なる方向から撮影した複数枚の画像データを取得する画像データ取得部１１と、画像データ取得部１１により取得された複数枚の画像データに基づいて、複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する撮影角度推定部１２と、撮影角度推定部１２によって推定された撮影角度が特定角度Ａ内である場合に限って、対象画像データから原稿領域画像を抽出し、原稿領域画像の台形補正を行う補正処理部１５と、補正処理部１５によって補正された対象画像データを出力すると共に、撮影角度推定部１２によって推定された撮影角度が特定角度外である場合に、補正処理部１５による補正を実行することなく対象画像データを出力する画像出力部１４とを備える。【選択図】図１
2018106349.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって同一の原稿を複数回異なる方向から撮影した複数枚の画像データを取得する画像データ取得部と、
前記画像データ取得部により取得された前記複数枚の画像データに基づいて、前記複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する撮影角度推定部と、
前記撮影角度推定部によって推定された前記撮影角度が特定角度内である場合に限って、前記対象画像データから原稿領域画像を抽出し、前記原稿領域画像の台形補正を行う補正処理部と、
前記補正処理部によって補正された前記対象画像データを出力すると共に、前記撮影角度推定部によって推定された前記撮影角度が特定角度外である場合に、前記補正処理部による補正を実行することなく前記対象画像データを出力する画像出力部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記撮影角度推定部は、
前記複数枚の画像データに基づいて前記カメラのキャリブレーションを行うことで、前記対象画像データの撮影位置を推定し、推定した前記撮影位置に基づいて前記対象画像データの前記撮影角度を推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正処理部は、
前記撮影角度推定部による前記キャリブレーションを行うことで取得される、前記カメラの歪み係数を用いて、前記対象画像データの歪みを除去する歪み除去処理部を有する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対象画像データは、前記カメラによる前記複数回の撮影のうち、１回目に撮影した画像データである
ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記特定角度は、３０°〜８５°又は−３０°〜−８５°である
ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像データの画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
近年、会議等の資料をスマートフォンやカメラ等で撮影し、電子データとして保存することがある。そこで、撮影された画像を文書データとして読みやすくするために、画像に文字認識を行い、画像内の文字を文字認識により得られたテキストデータに置き換えたり、画像内の文字間隔や行間隔を変更したりして補正する技術が提案されている（例えば、特許文献１〜３を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−０６２３５０号公報
【特許文献２】特開２０１５−２１０７４９号公報
【特許文献３】特開平１１−２４３４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、ユーザーが資料を写真として保存するために撮影した場合も、文書として保存するために撮影した場合と同様に、撮影した画像が文書データとして画像補正されてしまい、ユーザーの撮影目的に沿った画像処理ができなかったという問題があった。
【０００５】
本発明は上記課題に鑑みてなされたものであり、撮影した画像をユーザーの撮影目的に沿って文書又は写真として自動的に画像処理することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、カメラによって同一の原稿を複数回異なる方向から撮影した複数枚の画像データを取得する画像データ取得部と、前記画像データ取得部により取得された前記複数枚の画像データに基づいて、前記複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する撮影角度推定部と、前記撮影角度推定部によって推定された前記撮影角度が特定角度内である場合に限って、前記対象画像データから原稿領域画像を抽出し、前記原稿領域画像の台形補正を行う補正処理部と、前記補正処理部によって補正された前記対象画像データを出力すると共に、前記撮影角度推定部によって推定された前記撮影角度が特定角度外である場合に、前記補正処理部による補正を実行することなく前記対象画像データを出力する画像出力部とを備えたことを特徴とする。
また、前記撮影角度推定部は、前記複数枚の画像データに基づいて前記カメラのキャリブレーションを行うことで、前記対象画像データの撮影位置を推定し、推定した前記撮影位置に基づいて前記対象画像データの前記撮影角度を推定してもよい。
また、前記補正処理部は、前記撮影角度推定部による前記キャリブレーションを行うことで取得される、前記カメラの歪み係数を用いて、前記対象画像データの歪みを除去する歪み除去処理部を有してもよい。
また、前記対象画像データは、前記カメラによる前記複数回の撮影のうち、１回目に撮影した画像データであってもよい。
また、前記特定角度は、３０°〜８５°又は−３０°〜−８５°であってもよい。
【発明の効果】
【０００７】
本発明によれば、撮影した画像をユーザーの撮影目的に沿って文書又は写真として自動的に画像処理することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る実施形態の画像処理システムの概略構成を示す機能ブロック図である。
【図２】図１に示すカメラの原稿に対する撮影角度を示した図である。
【図３】図１に示す画像処理制御部の画像処理の流れを示したフローチャートである。
【図４】図１に示す画像出力部によって出力される画像データのプレビュー画面例である。
【図５】図１に示す補正処理部の補正処理の流れを示したフローチャートである。
【図６】図１に示す補正処理部によって画像データが文書データとして補正される様子を示したイメージ図である。
【発明を実施するための形態】
【０００９】
以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。
【００１０】
本実施の形態の画像処理システム５００は、資料等の原稿ＭＳを撮影することで原稿ＭＳの画像データを生成するカメラ２００と、カメラ２００により生成された画像データの画像処理を行う画像処理装置１００とを備えている。カメラ２００と画像処理装置１００とは、ネットワーク３００を介して接続されている。
【００１１】
カメラ２００は、ＣＣＤカメラやＣＭＯＳカメラ等の固体撮像素子で構成されたカメラであり、カメラ機能を備えたスマートフォンやタブレット端末等であってもよい。カメラ２００は、Ｗｉ-Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行い、ネットワーク３００を介して画像処理装置１００と各種データを送受信する機能を有する。
【００１２】
ユーザーは、会議等で配布された資料等を原稿ＭＳとして、カメラ２００で複数回それぞれ異なる方向から撮影する。カメラ２００は、原稿ＭＳを撮影すると、撮影によって生成した画像データを撮影順にネットワーク３００経由で画像処理装置１００に送信する。
【００１３】
画像処理装置１００は、パーソナルコンピューター、プリンター、複合機等の電子機器であり、図１を参照すると、画像処理制御部１と、通信部２と、記憶部３と、操作表示部４と、印刷部５とを備えている。画像処理制御部１と、通信部２と、記憶部３と、操作表示部４と、印刷部５とは、システムバス６によって接続されている。なお、この他にも、画像処理装置１００に原稿を読み取るスキャナーや、ファクシミリデータを送受信するファクシミリ送受信部が設けられてもよい。
【００１４】
通信部２は、Ｗｉ-Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信を行って、カメラ２００と各種データを送受信する機能を有する。
【００１５】
記憶部３は、半導体メモリーやＨＤＤ（Hard Disk Drive）等の記憶手段である。記憶部３には、光学文字認識に用いるための文字認識用データ３１が記憶されている。文字認識用データ３１は、文字画像パターンとテキストデータとが対応付けられて登録されている。また、記憶部３には、通信部２がカメラ２００から受信した画像データが記憶される。
【００１６】
操作表示部４は、各種情報を表示する液晶ディスプレイ等の表示部と、ユーザーからの指示入力を受け付ける操作キー等の入力部とを備えたユーザーインターフェイスである。表示部は、タッチパネルであってもよく、表示手段及び入力手段として機能してもよい。
【００１７】
印刷部５は、画像データを印刷する印刷手段である。印刷部５は、例えば、画像出力部１４により出力された画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、その感光体ドラムから記録紙にトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。
【００１８】
画像処理制御部１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えたマイクロコンピューター等の情報処理部である。画像処理制御部１のＲＯＭには、画像処理装置１００の動作制御を行うための制御プログラムが記憶されている。画像処理制御部１は、ＲＯＭに記憶されている制御プログラムを読み出し、制御プログラムをＲＡＭに展開させることで、装置全体の制御を行う。
【００１９】
また、画像処理制御部１は、画像データ取得部１１、撮影角度推定部１２、撮影目的判断部１３、画像出力部１４、補正処理部１５として機能する。
【００２０】
画像データ取得部１１は、通信部２を介して、カメラ２００により撮影された複数枚の画像データを取得する機能を有する。通信部２がカメラ２００から受信した画像データの枚数が予め決められた特定枚数（複数枚）になるまで、画像データ取得部１１によって画像データは記憶部３に記憶される。画像データ取得部１１は、通信部２によって受信された画像データの枚数が複数枚になると、記憶部３から複数枚の画像データを取得する。なお、予めカメラ２００によって原稿ＭＳを複数回異なる方向から撮影した写真をそれぞれ印刷したものを、撮影順に原稿読取部にスキャンさせ、画像データ取得部１１は、スキャンによってそれぞれ生成された画像データを上記の複数枚の画像データとして取得してもよい。
【００２１】
撮影角度推定部１２は、画像データ取得部１１によって取得された複数枚の画像データに基づいて、複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する機能を有する。具体的には、撮影角度推定部１２は、画像データ取得部１１によって取得された複数枚の画像データに基づいて、公知のカメラキャリブレーションを行って、１回目に撮影した画像データのカメラ２００の撮影位置とカメラ２００の歪み係数等とを取得する。
【００２２】
例えば、撮影角度推定部１２は、画像データから原稿ＭＳにおける用紙の輪郭線を検出し、検出した輪郭線を既知のキャリブレーション用パターンとして取得して、カメラキャリブレーションを行ってもよい。なお、この場合、撮影角度推定部１２は、撮影される原稿ＭＳの用紙サイズ（例えばＡ４等）を予め取得しているものとする。また、原稿ＭＳに予め既知のキャリブレーション用パターンが印刷されていてもよい。また、原稿ＭＳの載置面に予め既知のキャリブレーション用パターンを印刷等により表示しておき、載置面のキャリブレーション用パターンと共に原稿ＭＳが撮影されるようにしてもよい。撮影角度推定部１２は、カメラキャリブレーションを行うことで、原稿ＭＳを撮影したときのカメラ２００の３次元空間上の位置を知ることができる。そのため、撮影角度推定部１２は、カメラ２００の１回目の撮影位置に基づいて、原稿ＭＳの撮影対象面（載置面）に対するカメラ２００の１回目の撮影角度を推定することができる。撮影角度推定部１２は、１回目の撮影角度を推定すると、推定した撮影角度を１回目に撮影された画像データ（対象画像データ）と共に撮影目的判断部１３に渡す。
【００２３】
撮影目的判断部１３は、撮影角度推定部１２によって推定された対象画像データの撮影角度に基づいて、原稿ＭＳに対する撮影目的が文書であるか写真であるかを判断する機能を有する。具体的には、図２に示すように、撮影目的判断部１３は、撮影角度が原稿ＭＳの撮影対象面に対して特定角度Ａ内（３０°〜８５°又は−３０°〜−８５°）である場合に、原稿ＭＳの撮影目的を文書と判断し、特定角度Ａ外（０°〜３０°、−０°〜−３０°、８５°〜９０°及び−８５°〜−９０°のいずれか）である場合に、原稿ＭＳの撮影目的を写真と判断する。
【００２４】
例えば、２回目撮影位置のカメラ２００−２のように、原稿ＭＳに対してカメラ２００−２の撮影角度が垂直（９０°）である場合は、撮影目的を写真と判断される。１回目撮影位置のカメラ２００−１のように、原稿ＭＳに対してカメラ２００−１の撮影角度が３０°〜８５°の場合は、撮影目的を文書と判断される。図示していないが、原稿ＭＳに対してカメラ２００−１の撮影角度が水平（０°、−０°）に近い場合は、文字を判読できない可能性があるため、この場合も撮影目的を写真と判断される。
【００２５】
なお、ここでは、原稿ＭＳに対する１回目の撮影にユーザーの撮影目的が最も反映されるものとして、カメラ２００による１回目の撮影角度を撮影目的の判断基準としている。そのため、原稿ＭＳに対する複数回の撮影のうち、１回目の撮影位置のカメラ２００−１における撮影角度が特定角度Ａ内の場合、２回目の撮影位置のカメラ２００−２における撮影角度が特定角度Ａ外となっても、撮影目的判断部１３は、撮影目的を文書と判断する。反対に、１回目の撮影位置がカメラ２００−２の位置である場合には、１回目の撮影角度が特定角度Ａ外となるので、カメラ２００の２回目以降の撮影角度に関係なく、撮影目的判断部１３は、撮影目的を写真と判断する。なお、２回目以降の撮影を行っているのは、上記の撮影角度推定部１２におけるカメラキャリブレーションに複数枚の画像データが必要だからである。そのため、画像データ取得部１１に取得させる画像データの枚数も、撮影角度推定部１２によるカメラキャリブレーションの精度に応じて決定すればよい。
【００２６】
撮影目的判断部１３は、１回目に撮影された画像データを画像出力部１４に渡すと共に、撮影目的を文書と判断した場合には、１回目に撮影された画像データを文書データとして補正させるため補正処理部１５にも渡す。撮影目的判断部１３は撮影目的を写真と判断した場合には、１回目に撮影された画像データを補正処理部１５には渡さず、画像出力部１４のみに出力する。
【００２７】
補正処理部１５は、１回目に撮影された画像データを補正前の画像データ４００（図６を参照）として取得し、文書データとして補正する機能を有する。具体的には、補正処理部１５は、歪み除去処理部１５１と、文書領域抽出部１５２と、台形補正部１５３と、領域判別部１５４と、マスク画像生成部１５５と、編集可能領域算出部１５６と、配置部１５７とを有している。
【００２８】
歪み除去処理部１５１は、撮影角度推定部１２によるカメラキャリブレーションで取得されたカメラ２００の歪み係数を用いて、１回目に撮影された画像データ（図６に示す補正前の画像データ４００）に対して歪み除去処理を行う機能を有する。カメラキャリブレーションによって取得される歪み係数は、カメラ２００のレンズ特性の歪み係数である。そのため、歪み除去処理部１５１は、カメラキャリブレーションで取得された歪み係数を用いて、１回目に撮影された画像データにおける湾曲等の歪みを精度良く除去することができる。
【００２９】
文書領域抽出部１５２は、歪み除去処理部１５１によって歪み除去された画像データ４０１から文書領域として原稿ＭＳを示す原稿領域画像４０２を抽出する機能を有する。
【００３０】
台形補正部１５３は、文書領域抽出部１５２によって抽出された原稿領域画像４０２の台形歪み等を補正する機能を有する。カメラ２００によって撮影されることで、原稿領域画像４０２は台形になる等少なからず歪んでいる場合が多い。台形補正部１５３は、公知の台形歪み補正技術等により、台形の原稿領域画像４０２を矩形に補正する。
【００３１】
領域判別部１５４は、台形補正された原稿領域画像４０３に文字認識を行って、原稿領域画像４０３内の各文字の文字領域Ｔａを判別すると共に、画像解析によって原稿領域画像４０３内の図領域Ｚａを判別する機能を有する。例えば、領域判別部１５４は、文字認識用データ３１を参照することで、文字認識を行うことができる。また、領域判別部１５４は、原稿領域画像４０３を解析し、図と文字の大きさの違いや、輝度分布、輪郭線検出等の公知技術を用いることで、原稿領域画像４０３内に含まれる図領域Ｚａを判別することができる。なお、領域判別部１５４は、判別した図領域Ｚａに文字領域Ｔａが含まれる場合には、その文字領域Ｔａを図領域Ｚａに含めてもよい。領域判別部１５４は、歪み除去処理部１５１及び台形補正部１５３により補正された原稿領域画像４０３に対して文字認識を行うので、精度良く文字認識を行うことができる。
【００３２】
マスク画像生成部１５５は、領域判別部１５４により判別が行われた原稿領域画像４０３をコピーして、図領域Ｚａと、各文字領域Ｔａとのそれぞれをマスク領域Ｍａによってマスクしたマスク画像４０４を生成する。また、マスク画像生成部１５５は、生成したマスク画像４０４のサイズを予め設定されている出力画像サイズＳｚに一致するように調整する。出力画像サイズＳｚは、画像出力部１４によって出力される画像データのサイズである。
【００３３】
編集可能領域算出部１５６は、出力画像サイズＳｚにサイズ調整されたマスク画像４０５内の編集可能領域を算出する機能を有する。
【００３４】
配置部１５７は、編集可能領域内のマスク領域Ｍａの識別番号に基づいて、コピー元の原稿領域画像４０３内の対応する図領域Ｚａ及び文字領域Ｔａを特定する。そして、配置部１５７は、コピー元の原稿領域画像４０３から対応する図領域Ｚａを抽出して、マスク領域Ｍａのサイズに合わせて大きさを変形した上で、マスク画像４０５内の対応するマスク領域Ｍａに配置する。また、配置部１５７は、コピー元の原稿領域画像４０３の文字領域に対する文字認識で取得されたテキストデータを、対応するマスク領域Ｍａのサイズに合わせて変形した上でマスク領域Ｍａに配置する。配置部１５７は、マスク画像４０５に図領域Ｚａと文字領域Ｔａに対応するテキストデータとを配置し終えると、補正後の画像データ４０７として画像出力部１４に出力する。
【００３５】
画像出力部１４は、補正前の画像データ４００又は／及び補正後の画像データ４０７のプレビュー画面を操作表示部４に表示させると共に、画像データの出力方法をユーザーに選択させ、ユーザーによって選択された出力方法で画像データを出力する機能を有する。
【００３６】
次に、図３を参照して、画像処理制御部１の画像処理動作について詳細に説明する。
【００３７】
ユーザーがカメラ２００により原稿ＭＳを複数回異なる方向から撮影すると、カメラ２００により生成された画像データがネットワーク３００を介して情報処理装置に送信される。情報処理装置の画像データ取得部１１が通信部２を介してカメラ２００から複数枚の画像データを取得すると（ステップｓ１１）、撮影角度推定部１２は、複数枚の画像データに基づいてカメラキャリブレーションを実行する（ステップｓ１２）。カメラキャリブレーションによって、撮影角度推定部１２は、複数回異なる位置から撮影された原稿ＭＳに対するカメラ２００のそれぞれの撮影位置とカメラ２００の歪み係数等とを取得することができる。
【００３８】
つづいて、撮影角度推定部１２は、カメラキャリブレーションによって判明したカメラ２００の１回目の撮影位置に基づいて、原稿ＭＳに対する１回目の撮影角度を推定する（ステップｓ１３）。
【００３９】
つづいて、撮影目的判断部１３は、推定された撮影角度が図２に示す特定角度Ａ内であるか否かを判断する（ステップｓ１４）。撮影角度が特定角度Ａ内である場合には（ステップｓ１４でＹｅｓ）、撮影目的判断部１３は、撮影目的を文書と判断し（ステップｓ１５）、１回目に撮影された画像データを補正処理部１５と画像出力部１４にそれぞれ渡す。
【００４０】
つづいて、補正処理部１５は、撮影目的判断部１３から取得した画像データ（補正前の画像データ４００）を文書データとして補正する（ステップｓ１６）。なお、補正処理部１５の詳細な補正処理の流れについては後述する。
【００４１】
一方、撮影角度が特定角度Ａ外である場合（ステップｓ１４でＮｏ）、撮影目的判断部１３は、撮影目的を写真と判断し（ステップｓ１７）、１回目に撮影された画像データ（補正前の画像データ４００）を補正処理部１５には渡さずに画像出力部１４のみに渡す。文書データとして補正不要だからである。
【００４２】
つづいて、画像出力部１４は、出力する画像データを操作表示部４にプレビュー表示させる（ステップｓ１８）。撮影目的判断部１３が撮影目的を文書と判断した場合、図５に示すように、プレビュー画面Ｇ４０には、補正前の画像データ４００と補正処理部１５による補正後の画像データ４０７とが並んで表示される。ユーザーに補正結果を確認しやすく提示するためである。なお、撮影目的判断部１３が撮影目的を写真と判断した場合、プレビュー画面Ｇ４０には、補正前の画像データ４００のみが表示される。
【００４３】
プレビュー画面Ｇ４０には、画像データの出力方法を指定するボタンとして、印刷を指示する印刷ボタンＢ４１、メール送信を指示するメール送信ボタンＢ４２、及び記憶部３内に設けられた特定の記憶領域への保存を指示するＢＯＸ保存ボタンＢ４３が設けられている。ユーザーは、操作表示部４を介していずれかのボタンＢ４１、Ｂ４２、Ｂ４３を操作することで、印刷、メール送信、ＢＯＸ保存から出力方法を指定することができる。また、プレビュー画面Ｇ４０に表示された補正前の画像データ４００と補正後の画像データ４０７のいずれを出力対象とするかユーザーが選択できるようにしてもよい。
【００４４】
つづいて、画像出力部１４は、ユーザーによって指定された出力方法で画像データを出力し（ステップｓ１９）、本処理を終了する。これにより、ユーザーの撮影目的に沿って画像データを文書又は写真として自動的に画像処理して、印刷、メール送信又はボックス保存することができる。
【００４５】
次に、図５及び図６を参照して、補正処理部１５が１回目に撮影された画像データ（補正前の画像データ４００）を文書データとして補正する処理の流れを詳細に説明する。
【００４６】
まず、補正処理部１５の歪み除去処理部１５１は、１回目に撮影された画像データを補正前の画像データ４００として取得し、撮影角度推定部１２におけるカメラキャリブレーションで取得されたカメラ２００の歪み係数を用いて、補正前の画像データ４００の歪み除去を行う（ステップｓ１６１）。これにより、画像データ４００からカメラ２００のレンズ特性による歪みが除去される。なお、歪み除去処理部１５１は、撮影目的を文書と判断された場合に限らず、撮影目的を写真と判断された場合に、１回目に撮影された画像データに対する歪み除去処理を行ってもよい。歪み除去処理は、文書データとしての補正だけでなく、写真データとしての補正としても効果的だからである。
【００４７】
つづいて、文書領域抽出部１５２は、歪み除去された画像データ４０１から原稿ＭＳを示す原稿領域画像４０２を抽出する（ステップｓ１６２）。原稿領域画像４０２は、原稿ＭＳの用紙の輪郭線で囲まれた、原稿ＭＳ内の文字、図及び背景を内包した領域の画像である。文書領域抽出部１５２は、歪み除去された画像データ４０１から輪郭線（エッジ）を検出して、輪郭線上の１つの点Ｐを始点として輪郭線上を探索する。そして、文書領域抽出部１５２は、探索の結果、探索の始点と終点が同一であり、外周が一定の距離以上ある矩形の輪郭線を検出した場合に、この輪郭線により囲まれる閉塞した領域を画像データ４０１から切り出して、原稿領域画像４０２として抽出する。これにより、歪み除去された画像データ４０１から背景領域を除いて、原稿領域画像４０２のみが抽出される。
【００４８】
つづいて、台形補正部１５３が、抽出された原稿領域画像４０２の台形補正を行う（ステップｓ１６３）。つづいて、領域判別部１５４は、台形補正された原稿領域画像４０３に文字認識を行い（ステップｓ１６４）、原稿領域画像４０３の各文字の文字領域Ｔａを判別すると共に画像解析により図領域Ｚａを判別する（ステップｓ１６５）。
【００４９】
つづいて、マスク画像生成部１５５は、領域判別部１５４によって判別した図領域Ｚａと各文字領域Ｔａのそれぞれをマスク領域Ｍａでマスクしたマスク画像４０４を生成する（ステップｓ１６６）。
【００５０】
マスク領域Ｍａは、例えば黒のベタ塗りで矩形状をしており、原稿領域画像４０３内の図領域Ｚａと各文字領域Ｔａのそれぞれの大きさに合わせて生成される。また、マスク領域Ｍａのそれぞれには、マスク画像生成部１５５により識別番号（例えば、００１、００２、００３、・・・等）の付与等によるラベリングが行われ、コピー元の原稿領域画像４０３内の図領域Ｚａ及び各文字領域Ｔａと対応付けられている。
【００５１】
つづいて、マスク画像生成部１５５は、マスク画像４０４のサイズ（縦横比）を予め設定されている出力画像サイズＳｚに一致するように変形させる（ステップｓ１６７）。例えば、マスク画像生成部１５５は、マスク画像４０４のサイズと出力画像サイズＳｚを比較し、サイズが異なっている場合には、比率に基づいてマスク画像４０４のサイズを出力画像サイズＳｚに一致させるように変更する。
【００５２】
つづいて、編集可能領域算出部１５６は、マスク画像４０５内の編集可能領域を算出する（ステップｓ１６８）。これにより、編集可能領域算出部１５６によって、マスク画像４０５に含まれる全てのマスク領域Ｍａを内包する最小の矩形状の枠４０６が生成され、枠４０６内が編集可能領域として決定される。
【００５３】
つづいて、配置部１５７は、マスク画像４０５内のマスク領域Ｍａに付与された識別番号に基づいて、元の原稿領域画像４０３内の図領域Ｚａを配置する（ステップｓ１６９）。つづいて、配置部１５７は、マスク画像４０５内のマスク領域Ｍａに付与された識別番号に基づいて、領域判別部１５４による文字認識で取得された、元の原稿領域画像４０３内の文字領域Ｔａに対応するテキストデータを配置して（ステップｓ１７０）、本処理を終了する。なお、配置される図領域Ｚａ及びテキストデータは、マスク領域Ｍａのサイズに合わせて大きさが変形される。これにより、１回目に撮影された画像データ（補正前の画像データ４００）が文書データとして補正され、補正後の画像データ４０７が生成される。
【００５４】
このように、本実施形態の画像処理装置１００は、カメラ２００によって同一の原稿ＭＳを複数回異なる方向から撮影した複数枚の画像データを取得する画像データ取得部１１と、画像データ取得部１１により取得された複数枚の画像データに基づいて、複数枚の画像データの中で対象とする１枚の対象画像データの撮影角度を推定する撮影角度推定部１２と、撮影角度推定部１２によって推定された撮影角度が特定角度Ａ内である場合に限って、対象画像データから原稿領域画像を抽出し、原稿領域画像の台形補正を行う補正処理部１５と、補正処理部１５によって補正された対象画像データを出力すると共に、撮影角度推定部１２によって推定された撮影角度が特定角度外である場合に、補正処理部１５による補正を実行することなく対象画像データを出力する画像出力部１４とを備えたことを特徴とする。これにより、画像処理装置１００は、ユーザーが撮影した原稿の撮影角度が特定角度Ａ内であった場合に、ユーザーの撮影目的を文書とみなし、特定角度Ａ外であった場合に、ユーザーの撮影目的を写真とみなすことができる。そして、画像処理装置１００は、撮影目的が文書の場合に限って対象画像データを補正処理部１５により補正し、撮影目的が写真の場合には、補正処理部１５による補正を実行しないので、ユーザーの撮影目的に沿って文書又は写真として自動的に画像処理することができる。
【００５５】
本発明は上述した実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々様々に変更が可能であることは言うまでもない。
【符号の説明】
【００５６】
１  画像処理制御部
２  通信部
３  記憶部
４  操作表示部
５  印刷部
６  システムバス
１１  画像データ取得部
１２  撮影角度推定部
１３  撮影目的判断部
１４  画像出力部
１５  補正処理部
３１  文字認識用データ
１００  画像処理装置
１５１  歪み除去処理部
１５２  文書領域抽出部
１５３  台形補正部
１５４  領域判別部
１５５  マスク画像生成部
１５６  編集可能領域算出部
１５７  配置部
２００、２００−１、２００−２  カメラ
３００  ネットワーク
４００、４０１  画像データ
４０２、４０３  原稿領域画像
４０４、４０５  マスク画像
４０６  枠
４０７  補正後の画像データ
５００  画像処理システム
Ａ  特定角度
Ｂ４１、Ｂ４２、Ｂ４３  ボタン
Ｇ４０  プレビュー画面
Ｐ  点
ＭＳ  原稿
Ｍａ  マスク領域
Ｔａ  文字領域
Ｚａ  図領域
Ｓｚ  出力画像サイズ
【図１】
2018106349.tif 000003
【図２】
2018106349.tif 000004
【図３】
2018106349.tif 000005
【図４】
2018106349.tif 000006
【図５】
2018106349.tif 000007
【図６】
2018106349.tif 000008