(57)【要約】      （修正有）【課題】大きな被写体の画像を簡単に読み取ることが可能な画像読取装置及び画像読取プログラムを提供すること。【解決手段】画像読取装置１の取得処理部１１は、カメラ５で撮影した動画像データを取得する。静止画抽出処理部１２は、動画像データから複数の静止画像データを抽出する。合成処理部１３は、複数の静止画像データのうちの任意の２つの静止画像データに含まれる被写体の共通部分の少なくとも一部が互いに重なり合う状態で複数の静止画像データを合成した合成画像データを生成する。【選択図】図１
2019097050.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
前記カメラで撮影した動画像データを取得する取得処理部と、
前記動画像データから複数の静止画像データを抽出する静止画抽出処理部と、
前記複数の静止画像データのうちの任意の２つの静止画像データに含まれる被写体の共通部分の少なくとも一部が互いに重なり合う状態で前記複数の静止画像データを合成した合成画像データを生成する合成処理部と、
を備える画像読取装置。
【請求項２】
前記静止画像データに光源が映り込んでいる映り込み領域が含まれているか否かを判定する判定処理部を更に備え、
前記合成処理部は、前記映り込み領域が含まれている静止画像データの代わりに、当該映り込み領域に対応する前記被写体の部分が含まれている別の静止画像データを用いて前記合成画像データを生成する、
請求項１に記載の画像読取装置。
【請求項３】
前記静止画抽出処理部は、前記動画像データから前記静止画像データを時系列に応じて順次に抽出し、
前記合成処理部は、前記静止画抽出処理部により１番目及び２番目に抽出される静止画像データに基づいて前記合成画像データを生成し、さらに、前記静止画抽出処理部により順次に抽出される３番目以降の静止画像データを前記合成画像データに順次に合成し、
前記合成処理部は、前記静止画像データに前記映り込み領域が含まれている場合、少なくとも当該映り込み領域については前記合成画像データに合成しない、
請求項２に記載の画像読取装置。
【請求項４】
前記カメラによる前記被写体の撮影中に、前記判定処理部により前記静止画像データに前記映り込み領域が含まれていると判定された場合に、予め定められたメッセージを報知する報知処理部を更に備える、
請求項２又は請求項３に記載の画像読取装置。
【請求項５】
前記メッセージは、前記被写体に対する前記カメラの撮影方向を変えて前記被写体の同一部分を撮影し直すことを促すメッセージである、
請求項４に記載の画像読取装置。
【請求項６】
前記画像読取装置の移動方向を検出する移動方向検出処理部を更に備え、
前記合成処理部は、前記カメラによる前記被写体の撮影中に前記移動方向検出処理部により検出される移動方向に基づいて前記複数の静止画像データを配置して前記合成画像データを生成する、
請求項１〜５のいずれかに記載の画像読取装置。
【請求項７】
前記画像読取装置の姿勢を検出する姿勢検出処理部と、
前記カメラによる前記被写体の撮影中に前記姿勢検出処理部により検出される姿勢に基づいて、前記静止画抽出処理部により抽出される前記静止画像データを補正する補正処理部とを更に備える、
請求項１〜６のいずれかに記載の画像読取装置。
【請求項８】
前記被写体が文書であり、
前記合成処理部により最終的に生成される前記合成画像データから前記文書の輪郭を抽出する輪郭抽出処理部と、
前記合成画像データのうちの前記輪郭内の画像データを抽出する文書抽出処理部とを更に備える、
請求項１〜７のいずれかに記載の画像読取装置。
【請求項９】
前記複数の静止画像データに対して文字認識処理を行う文字認識処理部を更に備え、
前記合成処理部は、前記複数の静止画像データに含まれる一又は複数の文字に基づいて前記合成画像データを生成する、
請求項１〜８のいずれかに記載の画像読取装置。
【請求項１０】
カメラを有する携帯型の情報処理装置のプロセッサーに、
前記カメラで撮影した動画像データを取得する取得ステップと、
前記動画像データから複数の静止画像データを抽出する抽出ステップと、
前記複数の静止画像データのうちの任意の２つの静止画像データに含まれる被写体の共通部分の少なくとも一部が互いに重なり合う状態で前記複数の静止画像データを合成した合成画像データを生成する合成ステップと、
を実行させる画像読取プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像読取装置及び画像読取プログラムに関する。
【背景技術】
【０００２】
通信機能と電子的撮影機能とを有する個々の携帯情報端末において撮影された画像を用いて違和感のない合成画像を生成することが可能な携帯情報端末が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２３８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、新聞紙又はポスターのような大きな文書をカメラで撮影する場合、前記文書全体が撮影範囲に収まるように撮影すると、撮影された画像データにおいて、前記文書内の文字のサイズが小さくなり過ぎてしまう。
【０００５】
そこで、複数の前記携帯情報端末を使用して、個々の携帯情報端末で前記文書の異なる部分を撮影し、個々の携帯情報端末において撮影された画像を合成して前記文書全体を示す合成画像を生成することが考えられる。しかしながら、この場合、複数の前記携帯情報端末を用意する必要がある。また、個々の携帯情報端末を個々のユーザーが操作する必要がある。
【０００６】
本発明の目的は、大きな被写体の画像を簡単に読み取ることが可能な画像読取装置及び画像読取プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一の局面に係る画像読取装置は、カメラと、取得処理部と、静止画抽出処理部と、合成処理部とを備える。前記取得処理部は、前記カメラで撮影した動画像データを取得する。前記静止画抽出処理部は、前記動画像データから複数の静止画像データを抽出する。前記合成処理部は、前記複数の静止画像データのうちの任意の２つの静止画像データに含まれる被写体の共通部分の少なくとも一部が互いに重なり合う状態で前記複数の静止画像データを合成した合成画像データを生成する。
【０００８】
本発明の一の局面に係る画像読取プログラムは、カメラを有する携帯型の情報処理装置のプロセッサーに、取得ステップと、抽出ステップと、合成ステップとを実行させる。前記取得ステップでは、前記カメラで撮影した動画像データが取得される。前記抽出ステップでは、前記動画像データから複数の静止画像データが抽出される。前記合成ステップでは、前記複数の静止画像データのうちの任意の２つの静止画像データに含まれる被写体の共通部分の少なくとも一部が互いに重なり合う状態で前記複数の静止画像データを合成した合成画像データが生成される。
【発明の効果】
【０００９】
本発明によれば、大きな被写体の画像を簡単に読み取ることが可能な画像読取装置及び画像読取プログラムが提供される。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施形態に係る画像読取装置のシステム構成を示すブロック図である。
【図２】図２は、本発明の実施形態に係る画像読取装置のカメラで被写体を含む動画像を撮影する際の画像読取装置の動かし方の一例を示す図である。
【図３】図３は、本発明の実施形態に係る画像読取装置で実行される画像読取処理の手順の一例を示すフローチャートである。
【図４】図４は、本発明の実施形態に係る画像読取装置において動画像データから静止画像データを抽出する方法の一例を示す図である。
【図５】図５は、本発明の実施形態に係る画像読取装置における合成画像データの生成方法の一例を示す図である。
【図６】図６は、本発明の実施形態に係る画像読取装置における合成画像データの生成方法の一例を示す図である。
【図７】図７は、カメラで撮影された画像への光源の映り込みを解消する方法の一例を示す図である。
【図８】図８は、本発明の実施形態に係る画像読取装置のカメラで撮影される動画像データから抽出される静止画像データの一例を示す図である。
【図９】図９は、本発明の実施形態に係る画像読取装置において最終的に生成される合成画像データの一例を示す図である。
【図１０】図１０は、本発明の実施形態に係る画像読取装置において最終的に生成される合成画像データから抽出される文書画像データの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【００１２】
［画像読取装置］
図１に示されるように、画像読取装置１は、制御部２、記憶部３、操作表示部４、カメラ５、加速度センサー６などを備える。画像読取装置１は、例えば、スマートフォン、タブレット端末のような手持ち型の情報処理装置である。
【００１３】
制御部２は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部３１は、前記ＲＯＭ又は記憶部３に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより画像読取装置１を制御する。
【００１４】
記憶部３は、各種の情報を記憶するフラッシュメモリーなどの不揮発性の記憶部である。例えば、記憶部３には、画像読取プログラム等の制御プログラムが記憶される。前記画像読取プログラムは、カメラ５から出力されるデジタル画像データに基づいて被写体の画像を読み取るための処理を制御部２に実行させるための制御プログラムである。
【００１５】
操作表示部４は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるタッチパネル又はハードキーなどの操作部とを備えるユーザインターフェースである。
【００１６】
カメラ５は、レンズ及び撮像素子等を有し、撮像素子に入射される光に応じたデジタル画像データを出力する。カメラ５から出力されるデジタル画像データは、撮影モードに応じて、動画像データ又は静止画像データとして前記ＲＡＭ又は記憶部３に記憶される。
【００１７】
加速度センサー６は、画像読取装置１の移動方向、静止時の姿勢（傾き）などを検出するために用いられるセンサーである。
【００１８】
なお、通信機能と電子的撮影機能とを有する個々の携帯情報端末において撮影された画像を用いて違和感のない合成画像を生成することが可能な携帯情報端末が知られている。ところで、新聞紙又はポスターのような大きな文書をカメラ５で撮影する場合、前記文書全体が撮影範囲に収まるように撮影すると、撮影された画像データにおいて、前記文書内の文字のサイズが小さくなり過ぎてしまう。そこで、複数の前記携帯情報端末を使用して、個々の携帯情報端末で前記文書の異なる部分を撮影し、個々の携帯情報端末において撮影された画像を合成して前記文書全体を示す合成画像を生成することが考えられる。しかしながら、この場合、複数の前記携帯情報端末を用意する必要がある。また、個々の携帯情報端末を個々のユーザーが操作する必要がある。これに対して、本実施形態に係る画像読取装置１によれば、大きな被写体の画像を簡単に読み取ることが可能である。
【００１９】
本実施形態に係る画像読取装置１では、カメラ５で撮影した動画像データに基づいて、新聞紙又はポスターのような大きな文書の画像を読み取ることが可能である。前記文書の画像を読み取るために、ユーザーは、カメラ５による撮影画像から前記文書中の文字が明確に読み取れるような距離に前記文書と画像読取装置１との間の距離を保った状態で、画像読取装置１を前記文書に対して概ね平行な方向（例えば、前記文書に対して上下方向、左右方向、ジグザグ方向など）に移動させて、前記文書を被写体とした動画像を撮影する（図２参照）。画像読取装置１では、こうして撮影された動画像データに基づいて、前記文書全体の画像が生成される。
【００２０】
具体的に、制御部２は、取得処理部１１、静止画抽出処理部１２、合成処理部１３、判定処理部１４、報知処理部１５、移動方向検出処理部１６、姿勢検出処理部１７、補正処理部１８、輪郭抽出処理部１９、文書抽出処理部２０、及び文字認識処理部２１を含む。なお、制御部２は、前記画像読取プログラムに従って各種の処理を実行することによりこれらの各処理部として機能する。また、制御部２は、これらの各処理部の一部又は複数の処理機能を実現する電子回路を備えるものであってもよい。
【００２１】
取得処理部１１は、カメラ５で撮影した動画像データを取得する。例えば、取得処理部１１は、カメラ５から出力される一連のデジタル画像データを動画像データとして取得する。もしくはカメラ５から出力されて記憶部３に記憶されている動画像データを当該記憶部３から取得する。
【００２２】
静止画抽出処理部１２は、取得処理部１１により取得される動画像データから複数の静止画像データを抽出する。例えば、静止画像抽出処理部１２は、前記動画像データを構成する一連のフレーム画像（静止画像データ）から、予め定められたフレーム数（例えば、１０フレーム）ごとに１つのフレーム画像を抽出することによって、複数の静止画像データを抽出する。
【００２３】
例えば、静止画抽出処理部１２は、図４に示されるように、取得処理部１１により取得される動画像データから複数の静止画像データＰ１，Ｐ２，Ｐ３，Ｐ４，・・・を時系列に応じて順次に抽出する。図４に示される例では、動画像データから１０フレームごとに１つの静止画像データが抽出されている。
【００２４】
なお、静止画抽出処理部１２は、前記動画像データから単位時間（撮影時間）当たりに抽出するフレーム画像の数を、撮影時における画像読取装置１の移動速度に応じて変更してもよい。例えば、撮影時における画像読取装置１の移動速度が速いほど、前記動画像データから撮影時間における単位時間あたりに抽出されるフレーム画像の数を多くしてもよい。なお、撮影時における画像読取装置１の移動速度は、例えば、撮影時における加速度センサー６の出力信号に基づいて算出することができる。
【００２５】
合成処理部１３は、静止画抽出処理部１２により抽出される複数の静止画像データのうちの任意の２つの静止画像データに含まれる被写体の共通部分（例えば、図５に示される斜線部分）の少なくとも一部が互いに重なり合う状態で前記複数の静止画像データを合成した合成画像データＧ１（図５参照）を生成する。なお、任意の２つの静止画像データに含まれる被写体の共通部分の判定方法としては、公知の任意の判定方法を採用することができる。例えば、合成処理部１３は、前記２つの静止画像データの相対位置及び相対角度を少しずつ変更させながら、当該２つの静止画像データが重なり合う部分の画像の類似度を算出し、当該類似度に基づいて前記共通部分を判定してもよい。
【００２６】
ところで、特に光沢のある被写体をカメラ５で撮影する場合、図７の左側部分に示されるように、光源からの光が被写体で反射して、撮影された画像に光源が映り込むことがある。このような光源の映り込みは、図７の右側部分に示されるように、同一の撮影範囲であっても、被写体に対するカメラ５の撮影方向を変えることによって解消することができる。
【００２７】
判定処理部１４は、静止画抽出処理部１２により抽出される静止画像データに、光源が映り込んでいる映り込み領域Ａ１（図８参照）が含まれているか否かを判定する。例えば、判定処理部１４は、前記静止画像データにおいて予め定められた閾値以上の輝度を有する画素が予め定められた個数以上集まっている場合に、前記静止画像データに映り込み領域Ａ１が含まれると判断してもよい。
【００２８】
前記静止画像データに映り込み領域Ａ１が含まれる場合、当該映り込み領域Ａ１は光源からの反射光によって真っ白になってしまい、当該映り込み領域Ａ１に含まれる文字が判別不可能な状態となる。そこで、判定処理部１４によって前記静止画像データに映り込み領域Ａ１が含まれると判断された場合、合成処理部１３は、映り込み領域Ａ１が含まれている静止画像データ（例えば、図８に示される静止画像データＰｘ）の代わりに、当該映り込み領域Ａ１に対応する前記被写体の部分が含まれている別の静止画像データ（例えば、図８に示される静止画像データＰｙ）を用いて合成画像データＧ１を生成する。これにより、映り込み領域Ａ１が含まれない合成画像データＧ１を生成することが可能である。
【００２９】
例えば、静止画抽出処理部１２により前記動画像データから前記静止画像データが時系列に応じて順次に抽出される場合、合成処理部１３は、静止画抽出処理部１２により１番目及び２番目に抽出される静止画像データ（例えば、図４に示される静止画像データＰ１及び静止画像データＰ２）に基づいて合成画像データＧ１を生成する（図５参照）。さらに、合成処理部１３は、前記静止画抽出処理部により順次に抽出される３番目以降の静止画像データ（例えば、図４に示される静止画像データＰ３，Ｐ４，・・・）を合成画像データＧ１に順次に合成する（図６参照）。このとき、合成処理部１３は、前記静止画像データに映り込み領域Ａ１が含まれている場合、少なくとも当該映り込み領域Ａ１については合成画像データＧ１に合成しない。これにより、映り込み領域Ａ１が含まれない合成画像データＧ１を生成することが可能である。
【００３０】
報知処理部１５は、カメラ５による前記被写体の撮影中に、判定処理部１４により前記静止画像データに映り込み領域Ａ１が含まれていると判定された場合に、予め定められたメッセージを報知する。例えば、前記メッセージは、前記被写体に対するカメラ５の撮影方向を変えて前記被写体の同一部分（すなわち、前記映り込み領域Ａ１に対応する前記被写体の部分）を撮影し直すことを促すメッセージである。当該メッセージを受けて、ユーザーは、前記被写体に対するカメラ５の撮影方向を変えた状態で、前記映り込み領域Ａ１に対応する前記被写体の部分を撮影し直す。その結果、前記映り込み領域Ａ１に対応する前記被写体の部分を含む静止画像データが得られ、映り込み領域Ａ１を含まない合成画像データＧ１を生成することが可能となる。
【００３１】
移動方向検出処理部１６は、画像読取装置１の移動方向を検出する。具体的に、移動方向検出処理部１６は、加速度センサー６の出力信号に基づいて、画像読取装置１の移動方向を検出する。なお、移動方向検出処理部１６は、他の方法で、画像読取装置１の移動方向を検出してもよい。例えば、カメラ５で撮影された動画像データの各フレーム画像に含まれる被写体の位置の変化量に基づいて、画像読取装置１の移動方向を検出してもよい。
【００３２】
合成処理部１３は、カメラ５による前記被写体の撮影中に移動方向検出処理部１６により検出される画像読取装置１の移動方向に基づいて、前記複数の静止画像データを配置して合成画像データＧ１を生成してもよい。
【００３３】
姿勢検出処理部１７は、画像読取装置１の姿勢（すなわち、カメラ５の撮影方向）を検出する。具体的に、姿勢検出処理部１７は、加速度センサー６の出力信号に基づいて、画像読取装置１の姿勢を検出する。なお、姿勢検出処理部１７は、他の方法で、画像読取装置１の姿勢を検出してもよい。例えば、ジャイロセンサーの出力信号に基づいて、画像読取装置１の姿勢を検出してもよい。
【００３４】
補正処理部１８は、カメラ５による前記被写体の撮影中に姿勢検出処理部１７により検出される画像読取装置１の姿勢に基づいて、静止画抽出処理部１２により抽出される前記静止画像データを補正する。例えば、新聞紙などの文書に表示される矩形領域をカメラ５で斜め方向から撮影すると、前記静止画像データにおいて当該矩形領域が台形に歪んでしまう。矩形領域に限らず、文字も同様に歪んでしまう。そこで、補正処理部１８は、カメラ５による前記被写体の撮影中に姿勢検出処理部１７により検出される画像読取装置１の姿勢（又は姿勢の変化）に基づいて、静止画抽出処理部１２により抽出される前記静止画像データに対して台形補正処理（台形状に歪んだ画像を補正する処理）を行ってもよい。これにより、合成画像データＧ１における画像の歪みを抑制することができる。
【００３５】
輪郭抽出処理部１９は、合成処理部１３により最終的に生成される合成画像データＧ１から文書の輪郭Ｅ１（図９参照）を抽出する。例えば、輪郭抽出処理部１９は、最終的に生成された合成画像データＧ１に対してエッジ抽出処理を行って、前記合成画像データＧ１に含まれる矩形のエッジを文書の輪郭Ｅ１として抽出してもよい。
【００３６】
文書抽出処理部２０は、合成処理部１３により最終的に生成される合成画像データＧ１のうち、輪郭抽出処理部１９により抽出される輪郭Ｅ１内の画像データを抽出する。具体的に、文書抽出処理部２０は、最終的に生成された合成画像データＧ１に対してクリッピング処理を行って、輪郭抽出処理部１９により抽出される輪郭Ｅ１内の画像データを文書画像データＧ２（図１０参照）として抽出する。
【００３７】
文字認識処理部２１は、静止画抽出処理部１２により抽出される複数の静止画像データに対して文字認識処理を行う。合成処理部１３は、前記複数の静止画像データに含まれる一又は複数の文字に基づいて合成画像データＧ１を生成してもよい。例えば、合成処理部１３は、文字認識処理部２１による文字認識処理の結果に基づいて、前記複数の静止画像データのうちの任意の２つの静止画像データに含まれる被写体の共通部分を特定してもよい。
【００３８】
［画像読取処理］
次に、図３を参照しつつ、制御部２によって実行される画像読取処理の手順の一例について説明する。ここで、ステップＳ１１，Ｓ１２，・・・は、制御部２により実行される処理手順（ステップ）の番号を表している。なお、前記画像読取処理は、例えば、予め定められた画像読取開始操作（例えば、操作表示部４に表示される画像読取開始ボタンの操作）が行われたことに応じて開始される。
【００３９】
＜ステップＳ１１＞
まず、ステップＳ１１において、制御部２は、カメラ５による動画の撮影を開始させる。これにより、カメラ５から動画像データが出力される。図４は、時刻Ｔ１においてカメラ５による動画の撮影が開始された場合にカメラ５から出力される動画像データ（すなわち、複数のフレーム画像）を示している。当該ステップＳ１１の処理は、制御部２の取得処理部１１により行われる。なお、カメラ５による動画の撮影が行われている間、制御部２は、カメラ５により撮影されている動画を操作表示部４にリアルタイムに表示してもよい。
【００４０】
＜ステップＳ１２＞
ステップＳ１２において、制御部２は、カメラ５から出力される動画像データから静止画像データを抽出する。例えば、制御部２は、前記静止画像データとして、前記動画像データにおける１番目のフレーム画像を抽出する（図４に示される静止画像データＰ１参照）。当該ステップＳ１２の処理は、制御部２の静止画抽出処理部１２により行われる。
【００４１】
＜ステップＳ１３＞
ステップＳ１３において、制御部２は、前記ステップＳ１２又は後述するステップＳ１４で静止画像データを抽出してから一定時間（例えば、３３３ｍｓ）が経過したか否かを判断する。そして、前記一定時間が経過したと判断されると（Ｓ１３：Ｙｅｓ）、処理がステップＳ１４に移行する。一方、前記一定時間が経過していないと判断されると（Ｓ１３：Ｎｏ）、処理がステップＳ１８に移行する。
【００４２】
＜ステップＳ１４＞
ステップＳ１４において、制御部２は、カメラ５から出力される動画像データから静止画像データを抽出する。例えば、制御部２は、前記静止画像データとして、前記動画像データにおける最新のフレーム画像を抽出する。前記ステップＳ１３及び当該ステップＳ１４の処理の結果、カメラ５から出力される動画像データから一定の時間間隔で静止画像データ（図４に示される静止画像データＰ１，Ｐ２，Ｐ３，Ｐ４，・・・）が抽出される。当該ステップＳ１４の処理は、制御部２の静止画抽出処理部１２により行われる。
【００４３】
なお、制御部２（補正処理部１８）は、前記ステップＳ１４で抽出された静止画像データに対して、必要に応じて前記台形補正を行ってもよい。また、制御部２は、前記ステップＳ１４で抽出された静止画像データに対して、必要に応じて拡大縮小処理、先鋭化処理などの任意の画像処理を行ってもよい。
【００４４】
＜ステップＳ１５＞
ステップＳ１５において、制御部２は、前記ステップＳ１４で抽出された静止画像データに映り込み領域Ａ１（図８参照）が含まれているか否かを判断する。そして、前記静止画像データに映り込み領域Ａ１が含まれていると判断されると（Ｓ１５：Ｙｅｓ）、処理がステップＳ１７に移行する。一方、前記静止画像データに映り込み領域Ａ１が含まれていないと判断されると（Ｓ１５：Ｎｏ）、処理がステップＳ１６に移行する。当該ステップＳ１５の処理は、制御部２の判定処理部１４により行われる。
【００４５】
＜ステップＳ１６＞
ステップＳ１６において、制御部２は、前記ステップＳ１４で抽出された静止画像データを合成画像データＧ１に合成する。なお、合成画像データＧ１がまだ生成されていない場合は、制御部２は、図５に示されるように、前記ステップＳ１２で抽出された静止画像データＰ１と前記ステップＳ１４で抽出された静止画像データＰ２とを合成して合成画像データＧ１を生成する。一方、合成画像データＧ１がすでに生成されている場合は、制御部２は、図６に示されるように、合成画像データＧ１に前記ステップＳ１４で抽出された静止画像データ（例えば、静止画像データＰ３）を合成する。こうして、合成画像データＧ１に新たな静止画像データが合成されるごとに、合成画像データＧ１は大きくなっていく。当該ステップＳ１６の処理は、制御部２の合成処理部１３により行われる。そして、処理がステップＳ１９に移行する。
【００４６】
なお、制御部２は、前記ステップＳ１６において、画像読取装置１の移動方向を検出して、当該移動方向に基づいて、前記ステップＳ１４で抽出された静止画像データを合成画像データＧ１に合成してもよい。
【００４７】
また、制御部２（文字認識処理部２１）は、前記ステップＳ１４で抽出された静止画像データに対して文字認識処理を行ってもよい。そして、前記ステップＳ１６において、制御部２は、前記文字認識処理の結果に基づいて、任意の２つの静止画像データに含まれる被写体の共通部分を特定してもよい。
【００４８】
＜ステップＳ１７＞
一方、ステップＳ１７において、制御部２は、報知処理を行う。例えば、制御部２は、被写体に対するカメラ５の撮影方向を変えて前記被写体の同一部分（すなわち、前記映り込み領域Ａ１に対応する前記被写体の部分）を撮影し直すことを促すメッセージを操作表示部４に表示させる。例えば、制御部２は、「現在の撮影範囲に光源が映り込んでいます。光源が映り込まないように、同一の撮影範囲を異なる角度から撮影し直して下さい。」というようなメッセージを操作表示部４に表示させる。当該メッセージを見たユーザーは、カメラ５による動画の撮影を継続したままで、例えば、図７の左側部分に示される位置から図７の右側部分に示される位置へと画像読取装置１を移動させて、前記映り込み領域Ａ１に対応する前記被写体の部分を撮影し直す。これにより、図８に示される静止画像データＰｘのように静止画像データに映り込み領域Ａ１が含まれていたとしても、その後、図８に示される静止画像データＰｙのように前記映り込み領域Ａ１に対応する部分を撮影し直した静止画像データが得られ、当該静止画像データが合成画像データＧ１に合成される。当該ステップＳ１７の処理は、制御部２の報知処理部１５により行われる。
【００４９】
なお、本実施形態では、前記ステップＳ１５において前記静止画像データに映り込み領域Ａ１が含まれていると判断された場合に、当該静止画像データは合成画像データＧ１に合成されない。しかしながら、他の実施形態では、前記ステップＳ１５において前記静止画像データに映り込み領域Ａ１が含まれていると判断された場合に、当該静止画像データにおける前記映り込み領域Ａ１以外の領域が合成画像データＧ１に合成されてもよい。
【００５０】
＜ステップＳ１８＞
ステップＳ１８において、制御部２は、カメラ５による動画の撮影が終了したか否かを判断する。例えば、制御部２は、予め定められた撮影終了操作（例えば、操作表示部４に表示される撮影終了ボタンの操作）が行われた場合に、動画の撮影が終了したと判断する。そして、動画の撮影が終了したと判断されると（Ｓ１８：Ｙｅｓ）、処理がステップＳ１９に移行する。一方、動画の撮影が終了していないと判断されると（Ｓ１８：Ｎｏ）、処理が前記ステップＳ１３に戻る。
【００５１】
＜ステップＳ１９＞
ステップＳ１９において、制御部２は、最終的に生成された合成画像データＧ１から文書の輪郭Ｅ１（図９参照）を抽出する。当該ステップＳ１９の処理は、制御部２の輪郭抽出処理部１９により行われる。
【００５２】
＜ステップＳ２０＞
ステップＳ２０において、制御部２は、前記ステップＳ１９で抽出された輪郭Ｅ１に沿って合成画像データＧ１をトリミングする。その結果、合成画像データＧ１から、図１０に示されるような文書画像データＧ２が抽出される。当該ステップＳ２０の処理は、制御部２の文書抽出処理部２０により行われる。そして、前記画像読取処理は終了される。
【００５３】
なお、制御部２は、前記ステップＳ２０で抽出された文書画像データＧ２に対して文字認識処理を行って、当該文字認識処理により文書画像データＧ２から抽出された文字列を示すテキストデータを記憶部３に記憶させてもよい。
【００５４】
なお、新聞紙や本のように複数のページを有する被写体の画像を読み取る場合には、１ページ分の動画像の撮影が完了するごとに、ユーザーによって、予め定められたページ変更操作（例えば、操作表示部４に表示されるページ変更ボタンの操作）が行われてもよい。そして、制御部２は、前記ページ変更操作が行われるごとに、その時点の合成画像データＧ１をページ番号と対応付けて記憶部３に保存してから、次のページに対応する新たな合成画像データＧ１の生成を開始してもよい。
【００５５】
以上のように、本実施形態に係る画像読取装置１では、カメラ５で撮影した動画像データから抽出される複数の静止画像データに基づいて合成画像データＧ１が生成される。よって、本実施形態に係る画像読取装置１によれば、新聞紙又はポスターのような大きな被写体であっても、当該被写体を含む動画像をカメラ５で撮影するだけで、当該被写体の画像を簡単に読み取ることが可能である。
【００５６】
また、本実施形態に係る画像読取装置１では、カメラ５で撮影された動画像データから抽出される静止画像データに映り込み領域Ａ１が含まれていても、当該映り込み領域Ａ１に対応する被写体の部分を別の方向から撮影した静止画像データに基づいて合成画像データＧ１が生成される。よって、本実施形態に係る画像読取装置１によれば、映り込み領域Ａ１を含まない合成画像データＧ１を生成することが可能である。
【００５７】
また、本実施形態に係る画像読取装置１では、画像読み取り装置１を任意の方向に動かしながら、被写体を含む動画像をカメラ５で撮影することによって被写体の画像を読み取ることが可能である。よって、例えば、机の上に置かれた新聞紙のように平面状の被写体に限らず、瓶に貼り付けられたラベルのように凹凸のある被写体の画像であっても簡単に読み取ることが可能である。
【００５８】
［変形例］
なお、本実施形態では、新聞紙の画像を読み取る場合について説明したが、本発明は、新聞紙に限らず、任意の文書の画像の読み取りに適用可能である。さらに、本発明は、文書の読み取りに限らず、絵画、ポスターなど、任意の被写体の画像の読み取りに適用可能である。
【００５９】
また、本実施形態では、カメラ５による動画像の撮影と、当該動画像から抽出される静止画像データに基づく合成画像データＧ１の生成とが同時に並行して行われる場合について説明したが、本発明はこれに限定されない。他の実施形態では、カメラ５による動画像の撮影が終了した後に、当該動画像から複数の静止画像データが生成されて、当該複数の静止画像データに基づく合成画像データＧ１の生成が行われてもよい。
【符号の説明】
【００６０】
１  画像読取装置
２  制御部
３  記憶部
４  操作表示部
５  カメラ
６  加速度センサー
１１  取得処理部
１２  静止画抽出処理部
１３  合成処理部
１４  判定処理部
１５  移動方向検出処理部
１６  姿勢検出処理部
１７  補正処理部
１８  報知処理部
１９  輪郭抽出処理部
２０  文書抽出処理部
２１  文字認識処理部
【図１】
2019097050.tif 000003
【図２】
2019097050.tif 000004
【図３】
2019097050.tif 000005
【図４】
2019097050.tif 000006
【図５】
2019097050.tif 000007
【図６】
2019097050.tif 000008
【図７】
2019097050.tif 000009
【図８】
2019097050.tif 000010
【図９】
2019097050.tif 000011
【図１０】
2019097050.tif 000012