(57)【特許請求の範囲】
【請求項１】
原稿に表された原稿画像を読み取る画像読取装置であって、
前記原稿画像を相互に相違する角度から複数回撮像して複数の画像データを生成することが可能な撮像部と、
前記複数の画像データのマッチングを行い、前記複数の画像データによって表される前記複数の原稿画像の領域毎に前記複数の画像データを対応させ、前記領域毎に前記複数の画像データの明るさを取得し、前記複数の画像データ間で前記取得された明るさを比較して、前記複数の画像データの中から比較的に明るい領域を有する画像データを選択する画像データ解析部と、
前記領域毎に比較的に明るいと選択された画像データを使用して合成画像データを生成する画像合成部と、
を備える画像読取装置。
【請求項２】
請求項１記載の画像読取装置であって、
前記画像データ解析部は、前記複数の画像データによって表される画像の中から画像の中心部に配置された中央領域であって、前記中央領域外の周囲領域との間に輪郭を有する領域の画像を前記原稿画像として抽出する画像読取装置。
【請求項３】
請求項１又は２に記載の画像読取装置であって、
前記画像データ解析部は、前記原稿が配置される前の原稿台の画像である原稿台画像を取得し、前記原稿台画像に近い領域を排除することによって前記原稿画像を抽出する画像読取装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像読取装置であって、
前記画像合成部は、前記合成画像データのヒストグラムを生成し、前記ヒストグラムを使用してレベル補正を実行する画像読取装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像読取装置であって、
前記画像データ解析部は、前記複数の画像データのそれぞれに表されている画像から特徴点を抽出し、前記抽出された特徴点が一致するように前記複数の画像データを変形することによって前記複数の画像データのマッチングを行う画像読取装置。
【請求項６】
原稿に表された原稿画像を読み取る画像読取方法であって、
前記原稿画像を相互に相違する角度から複数回撮像して複数の画像データを生成する撮像工程と、
前記複数の画像データのマッチングを行い、前記複数の画像データによって表される前記複数の原稿画像の領域毎に前記複数の画像データを対応させ、前記領域毎に前記複数の画像データの明るさを取得し、前記複数の画像データ間で前記取得された明るさを比較して、前記複数の画像データの中から比較的に明るい領域を有する画像データを選択する画像データ解析工程と、
前記領域毎に比較的に明るいと選択された画像データを使用して合成画像データを生成する画像合成工程と、
を備える画像読取方法。
【請求項７】
原稿に表された原稿画像を読み取る画像読取装置を制御するための画像読取プログラムであって、
前記画像読取プログラムは、
前記原稿画像を相互に相違する角度から複数回撮像して複数の画像データを生成することが可能な撮像部、
前記複数の画像データのマッチングを行い、前記複数の画像データによって表される前記複数の原稿画像の領域毎に前記複数の画像データを対応させ、前記領域毎に前記複数の画像データの明るさを取得し、前記複数の画像データ間で前記取得された明るさを比較して、前記複数の画像データの中から比較的に明るい領域を有する画像データを選択する画像データ解析部、及び
前記領域毎に比較的に明るいと選択された画像データを使用して合成画像データを生成する画像合成部として前記画像読取装置を機能させる画像読取プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで原稿を撮影した複数の画像から１つの画像を生成する技術に関する。
【背景技術】
【０００２】
原稿の画像は、スキャナーを使用して読み取ることが一般的である。スキャナーは、安定した光源で原稿を一様に照射し、ラインスキャナーを走査させることによって高解像で陰影のない画像を取得することができる。一方、撮影機能を有するスマートフォンの普及によって、スマートフォンを使用して原稿の画像を読み取ることも望まれるようになってきた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０４９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、本願発明者は、スマートフォンその他の携帯可能な撮像装置によって原稿の画像を読み取ると、光源の不安定性や陰影の発生に起因して、スキャナーを使用した画像の読み取りに比較して画質が顕著に劣化することを見いだした。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、携帯可能な撮像装置によって取得した原稿の画像の品質を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、原稿に表された原稿画像を読み取る画像読取装置を提供する。前記画像読取装置は、前記原稿画像を相互に相違する角度から複数回撮像して複数の画像データを生成することが可能な撮像部と、前記複数の画像データのマッチングを行い、前記複数の画像データによって表される前記複数の原稿画像の領域毎に前記複数の画像データを対応させ、前記領域毎に前記複数の画像データの明るさを取得し、前記複数の画像データ間で前記取得された明るさを比較して、前記複数の画像データの中から比較的に明るい領域を有する画像データを選択する画像データ解析部と、前記領域毎に比較的に明るいと選択された画像データを使用して合成画像データを生成する画像合成部とを備える。
【０００７】
本発明は、原稿に表された原稿画像を読み取る画像読取方法を提供する。前記画像読取方法は、前記原稿画像を相互に相違する角度から複数回撮像して複数の画像データを生成する撮像工程と、前記複数の画像データのマッチングを行い、前記複数の画像データによって表される前記複数の原稿画像の領域毎に前記複数の画像データを対応させ、前記領域毎に前記複数の画像データの明るさを取得し、前記複数の画像データ間で前記取得された明るさを比較して、前記複数の画像データの中から比較的に明るい領域を有する画像データを選択する画像データ解析工程と、前記領域毎に比較的に明るいと選択された画像データを使用して合成画像データを生成する画像合成工程とを備える。
【０００８】
本発明は、原稿に表された原稿画像を読み取る画像読取装置を制御するための画像読取プログラム提供する。前記画像読取プログラムは、前記原稿画像を相互に相違する角度から複数回撮像して複数の画像データを生成することが可能な撮像部、前記複数の画像データのマッチングを行い、前記複数の画像データによって表される前記複数の原稿画像の領域毎に前記複数の画像データを対応させ、前記領域毎に前記複数の画像データの明るさを取得し、前記複数の画像データ間で前記取得された明るさを比較して、前記複数の画像データの中から比較的に明るい領域を有する画像データを選択する画像データ解析部、及び前記領域毎に比較的に明るいと選択された画像データを使用して合成画像データを生成する画像合成部として前記画像読取装置を機能させる。
【発明の効果】
【０００９】
本発明によれば、携帯可能な撮像装置によって取得した原稿の画像の品質を向上させる技術を提供する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像読取システム１０の機能構成を示すブロックダイアグラムである。
【図２】一実施形態に係る画像読取システム１０による画像読取りの対象である原稿Ｄが置かれた環境を示す説明図である。
【図３】一実施形態に係る原稿画像生成処理の内容を示すフローチャートである。
【図４】一実施形態に係るスマートフォン２００による撮像の様子を示す説明図である。
【図５】一実施形態に係るスマートフォン２００によって生成された画像（陰影検知状態）が表示されている様子を示す説明図である。
【図６】一実施形態に係るスマートフォン２００によって生成された画像（陰影非検知状態）が表示されている様子を示す説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態に係る画像読取システム１０の機能構成を示すブロックダイアグラムである。画像読取システム１０は、画像形成装置１００と、スマートフォン２００とを備えている。画像形成装置１００は、制御部１１０と、画像形成部１２０と、操作表示部１３０と、記憶部１４０と、通信インターフェース部１５０と、自動原稿送り装置（ＡＤＦ）１６０とを備えている。画像形成部１２０は、原稿から画像を読み取って画像データを生成する画像読取部１２１と、画像解析部１２２と、画像合成部１２３とを備える。画像解析部１２２及び画像合成部１２３の機能については後述する。
【００１３】
スマートフォン２００は、制御部２１０と、操作表示部２３０と、記憶部２４０と、通信インターフェース部２５０と、撮像部２６０とを備えている。スマートフォン２００は、通信インターフェース部２５０と通信インターフェース部１５０とを使用して近距離無線通信で画像形成装置１００と接続される。近距離無線通信は、本実施形態では、ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ１を使用している。ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ１は、出力１００ｍＷの通信であり、画像形成装置１００とスマートフォン２００との距離が１００ｍ以内程度での通信が可能な近距離無線通信である。
【００１４】
画像形成装置１００の操作表示部１３０及びスマートフォン２００の操作表示部２３０は、タッチパネルとして機能し、様々なメニューを入力画面として表示し、顧客の操作入力を受け付ける。
【００１５】
制御部１１０，２１０及び画像形成部１２０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備えている。制御部１１０，２１０は、それぞれ画像形成装置１００及びスマートフォン２００の全体を制御する。
【００１６】
記憶部１４０，２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、それぞれ制御部１１０，２１０が実行する処理の制御プログラムやデータを記憶する。記憶部１４０には、スマートフォン２００にインストールするための原稿画像取得アプリケーションプログラム１４１（単にアプリケーションとも呼ばれる。）が記憶されている。
【００１７】
この例では、スマートフォン２００は、画像形成装置１００の記憶部１４０から原稿画像取得アプリケーションプログラム１４１をダウンロードして、記憶部２４０にインストール済みであるものとする。
【００１８】
図２は、一実施形態に係る画像読取システム１０による画像読取りの対象である原稿Ｄが置かれた環境を示す説明図である。図２（ａ）は、原稿Ｄが置かれていないデスク３００を示している。図２（ｂ）は、原稿Ｄが置かれているデスク３００を示している。原稿Ｄは、デスク３００の天板３１０の上に置かれている。天板３１０は、グレー色の所定のテクスチャーを有し、原稿台として機能している。
【００１９】
図３は、一実施形態に係る原稿画像生成処理の内容を示すフローチャートである。ステップＳ１０では、ユーザーは、操作表示部２３０を操作してスマートフォン２００の作動モードを平面原稿撮影モードに設定する。平面原稿撮影モードは、原稿画像取得アプリケーションプログラム１４１によってサポートされている撮影モードである。この撮影モードは、平面原稿の画像取得用に構成された作動モートである。
【００２０】
ステップＳ２０では、ユーザーは、デスク３００の天板３１０を撮影する。天板３１０の撮影は、撮影モードを原稿台に設定し、スマートフォン２００を使用して行われる。スマートフォン２００は、天板３１０が有する所定のグレー色のテクスチャーの画像（原稿台画像とも呼ばれる。）を画像データとして取得することができる。スマートフォン２００は、画像の取得に応じて画像データを画像形成装置１００に送信する。画像データの送信は、上述の近距離無線通信を介して行われる。
【００２１】
この例では、テクスチャー画像は、原稿Ｄの撮影画像から天板３１０の部分を削除して原稿Ｄの画像をクリッピング（抽出）するために使用される。ただし、テクスチャー画像を取得することなく以下のようにクリッピング処理（抽出処理）を行うようにしてもよい。原稿Ｄの画像は、原稿Ｄの周囲（天板３１０の表面）と比較して以下の特徴を有している。
（１）撮影画像の中心部分（中央領域）に配置されている。
（２）周囲部分（中央領域外の周囲領域）との間に輪郭を形成している。
（３）顕著な濃度変化を有している。
（４）輝度勾配としての特徴部分を有している（詳細については後述）。
【００２２】
図４は、一実施形態に係るスマートフォン２００による撮像の様子を示す説明図である。ステップＳ３０では、ユーザーは、天板３１０に原稿Ｄを置いて撮影する。原稿Ｄの撮影は、撮影モードを原稿に設定し、スマートフォン２００を使用して複数の角度（相互に相違する角度）から複数回行われる。複数の角度から行われるのは、仮に、ある撮影時（特に接写時）に原稿Ｄに陰影が発生しても、他の撮影時に陰影の場所が変動するようにするためである。これにより、原稿Ｄの広範囲の領域において、陰影が発生していない各画像部分を取得することができる。
【００２３】
スマートフォン２００は、画像の取得毎に画像データを画像形成装置１００に送信する。画像データの送信は、上述の近距離無線通信を介して行われる。
【００２４】
画像形成装置１００は、画像データの中から原稿Ｄの画像である原稿画像をクリッピングする。原稿Ｄには、この例では、円形Ｆ１と、正方形Ｆ２と、三角形Ｆ３とが表示されている。円形Ｆ１、正方形Ｆ２及び三角形Ｆ３は、原稿Ｄに表示されている原稿画像の特徴部を形成している。なお、原稿画像には、幾何形状だけでなく、テキスト領域によって形成された特徴部が含まれている場合もある。
【００２５】
ステップＳ４０では、画像形成装置１００側において、画像形成部１２０が有する画像解析部１２２は、２つめの画像データの取得に応じて画像マッチング処理を開始する。画像マッチング処理は、たとえばアフィン変換によって行うことができる。画像解析部１２２は、複数の画像データを、明るさを表す輝度値のデータである輝度データに変換する。輝度値は、たとえば所定の計算式（輝度値≒０．３Ｒ＋０．６Ｇ＋０．１Ｂ）を使用してＲＧＢの各階調値から算出することができる。輝度データは、各画像データに紐付けられる。
【００２６】
このアフィン変換は、たとえばアフィン不変な特徴量（すなわちアフィン変換に対して変動が抑制されている特徴量（たとえば輝度勾配方向ヒストグラム））を使用して原稿画像が所定の縦横比を有する矩形となるように行われる。具体的には、たとえば円形Ｆ１の円形状や正方形Ｆ２及び三角形Ｆ３の角部に着目したＨａａｒ−ｌｉｋｅ特徴量を使用してアフィン変換を行うようにしてもよい。あるいは、Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）特徴量（たとえば輝度勾配方向ヒストグラム）を使用して、拡大縮小（スケール変換）と回転を使用して原稿画像の全体が相互に近づくように変換処理を行ってもよい。
【００２７】
なお、ＳＩＦＴの代わりに、たとえば処理速度が速いＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）をするようにしてもよい。ＳＩＦＴやＳＵＲＦは、照明変化に対してロバスト性が高いので、陰影状態が相違する複数の画像のマッチングにおいて顕著な効果を奏することができる。
【００２８】
各原稿画像は、画像解析部１２２によって矩形の画像に変換される。矩形の縦横比は、予め設定（たとえばＡ４やＢ３）するようにしてもよいし、画像データの生成時にユーザーに対して操作表示部２３０でサイズを確認するようにしてもよい。
【００２９】
これにより、複数の画像データは、予め設定されたサイズ（たとえばＡ４）の平面形状において、形状とサイズとが相互に一致するように変換された複数の画像データとなる。
【００３０】
ステップＳ５０では、画像解析部１２２は、輝度比較処理を実行する。輝度比較処理では、画像解析部１２２は、複数の輝度データのそれぞれを複数の領域に分割する。各領域は、たとえば画素や複数の画素から構成される画素ブロックとして構成することができる。画素ブロックは、画素ブロックを構成する複数の画素の輝度値の平均値である画素ブロック値を有している。画像解析部１２２は、領域毎に輝度値を比較して最も輝度値が高い輝度データに紐付けられている画像データを選択する。
【００３１】
ステップＳ６０では、画像合成部１２３は、領域毎に最も輝度値が高いとして選択された画像データを利用し、各領域を合成することによって合成画像データを生成する。輝度値が低い画像データは、原稿Ｄを撮像する際に、たとえばスマートフォン２００や撮影者の陰が画像データに映り込んでいることが想定される。
【００３２】
ステップＳ７０では、画像合成部１２３は、合成画像データの下地の輝度が予め設定された範囲内であるか否かを決定する。具体的には、画像合成部１２３は、合成画像データから下地領域を検出し、下地領域の輝度が予め設定された範囲内であるか否かを決定する。下地領域の検出は、たとえば予め設定された下地検知用画素ブロックの中で最も輝度が高い画素の領域として検知される。下地検知用画素ブロックは、下地の検出に使用されるためのブロックであって、上述の領域よりも広い領域である。
【００３３】
原稿Ｄの下地領域の輝度が予め設定された範囲内でない場合、すなわち陰影領域が検知された場合（陰影検知状態）には、処理がステップＳ８０に進められる。陰影領域は、下地領域の輝度が原稿Ｄの画像内で最も高い輝度ＬＭよりも予め設定された閾値Ｔｈだけ低い輝度よりもさらに低い領域である。一方、原稿Ｄの下地領域の輝度が予め設定された範囲内である場合、すなわち陰影領域が検知されなかった場合（陰影非検知状態）には、処理がステップＳ９０に進められる。
【００３４】
図５は、一実施形態に係るスマートフォン２００によって生成された画像（陰影検知状態）が表示されている様子を示す説明図である。この例では、スマートフォン２００は、操作表示部２３０において、「画像を平面化しました。一部に陰が残っているようです。」というメッセージとともに、合成画像を表示する。合成画像には、陰Ｓが映り込んでいる。
【００３５】
ステップＳ８０では、ユーザーは、表示された合成画像に基づき、表示陰影が発生していると判断して再撮影を実行する。ユーザーは、陰影が発生している領域を確認し、同一の領域で陰影が発生しない方向から再撮影を実行することができる。再撮影は、再撮影を実行するための再撮影アイコン２３２をタッチしてから行うことができる。
【００３６】
図６は、一実施形態に係るスマートフォン２００によって生成された画像（陰影非検知状態）が表示されている様子を示す説明図である。この例では、スマートフォン２００は、操作表示部２３０において、「この画像でよろしいでしょうか。」というメッセージとともに、合成画像を表示する。
【００３７】
ステップＳ９０では、ユーザーは、表示された合成画像に基づき、表示陰影が発生していないと判断して合成画像を保存する。保存は、再撮影を実行するための保存アイコン２３１をタッチしてから行うことができる。
【００３８】
このように、本実施形態によれば、撮影のために安定した光源を準備することなく、スマートフォン２００によって原稿の画像を読み取って簡易に高品質な合成画像を生成することができる。合成画像は、光源の不安定性や陰影の発生に対してロバスト性が高い高品質の画像である。
【００３９】
なお、合成画像は、光源の不安定性や陰影の発生に対してロバスト性を有しているが、画像の明暗のダイナミックレンジを広げることは困難である。よって、合成画像は、合成画像データの輝度のヒストグラムを生成し、輝度ヒストグラムを使用してレベル補正を実行して明暗のダイナミックレンジを広げることによって、ハイライト部とシャドー部との間を広げて画像の品質を高める余地がある（ヒストグラム伸張化）。
【００４０】
本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。
【００４１】
変形例１：上記実施形態では、本発明は、スマートフォン２００と画像形成装置１００とを有する画像読取システム１０として具現化されているが、必ずしも画像形成装置１００は必要ではない。具体的には、たとえばスマートフォンが画像解析部や画像合成部を備え、スマートフォン単体で画像読取を完了するように構成してもよい。
【００４２】
変形例２：上記実施形態では、画像合成部は、領域毎に最も輝度値が高いとして選択された画像データを利用し、各領域を合成することによって合成画像データを生成するが、たとえば光源とスマートフォンとの位置関係に起因して正反射光を受光した場合には、ハレーションが発生することも想定される。このような場合には、ハレーションが発生した画像データ（あるいは正反射した領域）の画像データを選択しないように構成してもよい。
【００４３】
変形例３：上記実施形態では、明るさを表す指標として輝度が使用されているが、輝度の代わりに明度を使用してもよい。
【００４４】
変形例４：上記実施形態では、領域毎に輝度値を比較がされ、比較的に明るい領域を使用しているが、画像データが相違する領域間には、テキストが配置されないように領域を設定するようにしてもよい。こうすれば、テキストの輪郭に不自然な不連続点が発生する事態を抑制することができる。
【００４５】
変形例５：上記実施形態では、スマートフォンが使用されているが、本発明は、撮影が可能であればノートＰＣやタブレットといった携帯端末に適用可能である。なお、撮像部は、原稿画像を相互に相違する角度から複数回撮像して複数の画像データを生成することが可能となる携帯端末等として構成されていればよい。
【符号の説明】
【００４６】
１０  画像読取システム
１００  画像形成装置
１１０  制御部
１２０  画像形成部
１３０  操作表示部
１４０，２４０  記憶部
１５０，２５０  通信インターフェース部
１６０  自動原稿送り装置（ＡＤＦ）
２００  スマートフォン
２１０  制御部
２３０  操作表示部
【図１】
0006508617.tif 000002
【図２】
0006508617.tif 000003
【図３】
0006508617.tif 000004
【図４】
0006508617.tif 000005
【図５】
0006508617.tif 000006
【図６】
0006508617.tif 000007