(57)【要約】【課題】高精度の距離情報を確実に取得することができる画像読取装置を提供する。【解決手段】原稿１０９の画像データ及び距離情報を取得し、距離情報に基づいて画像データを補正するカメラスキャナ１０１は、赤外線パターン投射方式によって原稿１０９の第１の距離情報を取得し、赤外線パターン投射方式とは異なり、且つ原稿１０９へ投影された投影線を用いる光切断法によって原稿１０９の第２の距離情報を取得し、第２の距離情報における欠損１１０４，１１０５に適用される補完処理を、第１の距離情報から特定される各欠損１１０４，１１０５の発生要因に応じて決定し、決定された補完処理によって各欠損１１０４，１１０５を補完する。【選択図】図６
2018201075.tif 000002
【特許請求の範囲】
【請求項１】
被計測物の画像及び距離情報を取得し、前記距離情報に基づいて前記画像を補正する画像読取装置であって、
第１の距離計測方式によって前記被計測物の第１の距離情報を取得する第１距離情報取得手段と、
前記第１の距離計測方式とは異なり、且つ前記被計測物へ投影された投影線を用いる第２の距離計測方式によって前記被計測物の第２の距離情報を取得する第２距離情報取得手段と、
前記第２の距離情報における補完が必要な箇所の補完処理を前記第１の距離情報に基づいて決定する決定手段と、
前記決定された補完処理によって前記補完が必要な箇所を補完する補完手段と、を備えることを特徴とする画像読取装置。
【請求項２】
前記第２の距離計測方式は前記第１の距離計測方式よりも距離計測精度が高いことを特徴とする請求項１記載の画像読取装置。
【請求項３】
前記第１の距離計測方式は前記第２の距離計測方式よりも距離計測密度が高いことを特徴とする請求項１又は２記載の画像読取装置。  
【請求項４】
前記被計測物は原稿であり、
前記補完が必要な箇所の発生要因は前記原稿における折れを含み、
前記決定手段は、前記補完が必要な箇所の発生要因を判定し、該判定された発生要因に応じて前記補完処理を決定し、
前記補完が必要な箇所の発生要因が前記原稿における折れである場合、第１の補完処理を前記補完処理として決定し、
前記補完が必要な箇所の発生要因が前記原稿における折れ以外である場合、前記第１の補完処理とは異なる第２の補完処理を前記補完処理として決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像読取装置。
【請求項５】
前記第１の補完処理では、前記補完が必要な箇所において断絶される前記投影線の各断絶端部からの延長線の交差点を求めることを特徴とする請求項４記載の画像読取装置。
【請求項６】
前記補完が必要な箇所の位置に関する修正指示を受け付ける受付手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像読取装置。
【請求項７】
前記第１の距離計測方式は、赤外線パターン投射方式、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式又はレーザ光の飛行時間を検出するＴＯＦ（Time Of Flight）方式であり、前記第２の距離計測方式は光切断法であることを特徴とする請求項１乃至６のいずれか１項に記載の画像読取装置。
【請求項８】
第１の距離計測方式によって被計測物の第１の距離情報を取得する第１距離情報取得手段と、
前記第１の距離計測方式とは異なり、且つ前記被計測物へ投影された投影線を用いる第２の距離計測方式によって前記被計測物の第２の距離情報を取得する第２距離情報取得手段と、
前記第２の距離情報における補完が必要な箇所の補完処理を前記第１の距離情報に基づいて決定する決定手段と、
前記決定された補完処理によって前記補完が必要な箇所を補完する補完手段と、を備えることを特徴とする距離計測装置。
【請求項９】
第１の距離計測方式によって被計測物の第１の距離情報を取得する第１距離情報取得工程と、
前記第１の距離計測方式とは異なり、且つ前記被計測物へ投影された投影線を用いる第２の距離計測方式によって前記被計測物の第２の距離情報を取得する第２距離情報取得工程と、
前記第２の距離情報における補完が必要な箇所の補完処理を前記第１の距離情報に基づいて決定する決定工程と、
前記決定された補完処理によって前記補完が必要な箇所を補完する補完工程と、を有することを特徴とする距離計測方法。
【請求項１０】
距離計測方法をコンピュータに実行させるプログラムにおいて、
前記距離計測方法は、
第１の距離計測方式によって被計測物の第１の距離情報を取得する第１距離情報取得工程と、
前記第１の距離計測方式とは異なり、且つ前記被計測物へ投影された投影線を用いる第２の距離計測方式によって前記被計測物の第２の距離情報を取得する第２距離情報取得工程と、
前記第２の距離情報における補完が必要な箇所の補完処理を前記第１の距離情報に基づいて決定する決定工程と、
前記決定された補完処理によって前記補完が必要な箇所を補完する補完工程と、を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影線を用いて被計測物までの距離を計測する画像読取装置、距離計測装置、距離計測方法及びプログラムに関する。
【背景技術】
【０００２】
原稿に記載された内容（以下、「コンテンツ」という。）を読み取り、読み取ったコンテンツを画像データとして記録する画像読取装置としてのドキュメントスキャナが知られている。ドキュメントスキャナとしては、フラッドベッド型スキャナやシートフィード型スキャナが従来から用いられているが、近年、スタンド型スキャナも用いられる。スタンド型スキャナでは、原稿台に載置された原稿を上方からカメラで走査してコンテンツを読み取るが、原稿は圧板等で押さえられる訳では無いため、折れや曲がりが生じていることがある。折れや曲がりはコンテンツの画像データに歪みを生じさせるため、原稿の形状を計測して折れや曲がりの存在を確認し、折れや曲がりの形状を考慮して画像データから歪みを除去する技術が提案されている。特に、歪みを正確に除去するためには、原稿の形状を高精度に計測できることが望ましい。
【０００３】
原稿等の立体物の形状を高精度に計測できる方法として光切断法が知られている。光切断法では、投影装置と撮像装置の姿勢及び位置関係が既知であることを前提として投影装置が投影線を立体物に投影し、撮像装置が投影された投影線を検出し、三角測量の原理に基づいて投影線上の各位置（各点）の距離情報を取得する。三角測量では距離を高精度に測定することができるため、結果として立体物の距離情報を高精度に取得することができる。ところで、光切断法では立体物の表面の投影線を検出することを前提とするが、立体物に折れが存在して谷が生じている場合、投影線が谷の底まで届かず、投影線を検出できない場合がある。また、投影装置の光源の強さや原稿のテクスチャにも起因して投影線を検出できない場合がある。その結果、立体物の一部から距離情報を取得することができず、距離情報の一部に欠損が生じることがある。
【０００４】
これに対応して、光切断法とはロバスト性、距離計測密度や距離計測精度が異なる方法を併用することが考えられる。具体的には、二種類の距離計測方法を併用し、取得された距離情報に欠損が存在しないいずれか一方の距離計測方法を採用することが提案されている（例えば、特許文献１参照。）。光切断法とは異なる方法としては、例えば、赤外線パターンを用いた距離計測方式が該当する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１５４１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、二種類の距離計測方法のうちのどちらか一方のみを距離情報の取得に用いるため、例えば、光切断法で取得された距離情報の一部に欠損が生じている場合、光切断法とは別の方法のみで距離情報が取得される。その結果、距離情報をさほど高精度に取得することができないという問題がある。
【０００７】
本発明の目的は、高精度の距離情報を確実に取得することができる画像読取装置、距離計測装置、距離計測方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像読取装置は、被計測物の画像及び距離情報を取得し、前記距離情報に基づいて前記画像を補正する画像読取装置であって、第１の距離計測方式によって前記被計測物の第１の距離情報を取得する第１距離情報取得手段と、前記第１の距離計測方式とは異なり、且つ前記被計測物へ投影された投影線を用いる第２の距離計測方式によって前記被計測物の第２の距離情報を取得する第２距離情報取得手段と、前記第２の距離情報における補完が必要な箇所の補完処理を前記第１の距離情報に基づいて決定する決定手段と、前記決定された補完処理によって前記補完が必要な箇所を補完する補完手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高精度の距離情報を確実に取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係る画像読取装置としてのスタンド型のカメラスキャナの構成を概略的に示す図である。
【図２】図１のカメラスキャナにおける座標系を説明するための図である。
【図３】図２における直交座標系、カメラ座標系及びカメラ撮像平面の関係を示す図である。
【図４】図１のカメラスキャナのコントローラ部のハードウェア構成を示すブロック図である。
【図５】図４におけるＣＰＵが実行するカメラスキャナの制御用プログラムの機能モジュールの構成を示すブロック図である。
【図６】本実施の形態に係る距離計測方法を用いた三次元形状取得処理を示すフローチャートである。
【図７】ステップＳ６１における第１距離情報取得処理を説明するための工程図である。
【図８】ステップＳ６１における第１距離情報取得処理を示すフローチャートである。
【図９】ステップＳ６２における折れ発生箇所判定処理を示すフローチャートである。
【図１０】ステップＳ６２における折れ発生箇所判定処理を説明するための工程図である。
【図１１】ステップＳ６４における補完処理決定処理を説明するため図である。
【図１２】急峻な折れを再現する第１の補完処理を示すフローチャートである。
【図１３】第１の補完処理を説明するための工程図である。
【図１４】ステップＳ６６における第２の補完処理を示すフローチャートである。
【図１５】本発明の第２の実施の形態に係る距離計測方法を用いた三次元形状取得処理を示すフローチャートである。
【図１６】ステップＳ１５１における折れ発生箇所修正処理を示すフローチャートである。
【図１７】ステップＳ１５１における折れ発生箇所修正処理を説明するための工程図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載されている構成によって限定されることはない。まず、本発明の第１の実施の形態について説明する。
【００１２】
図１は、本実施の形態に係る画像読取装置としてのスタンド型のカメラスキャナの構成を概略的に示す図である。図１において、カメラスキャナ１０１は、コントローラ部１０２、カメラ部１０３、腕部１０４、短焦点プロジェクタ１０７及び距離画像センサ部１０８を含む。カメラスキャナ１０１の本体を構成するコントローラ部１０２、撮像を行うためのカメラ部１０３、短焦点プロジェクタ１０７及び三次元距離センサからなる距離画像センサ部１０８は互いに腕部１０４によって連結されている。腕部１０４は複数の間接を有し、各間接において屈曲されることにより、伸長自在に構成される。
【００１３】
カメラスキャナ１０１は原稿載置面を有する原稿台１０５の脇に配置される。カメラ部１０３、短焦点プロジェクタ１０７及び距離画像センサ部１０８は原稿台１０５を指向し、カメラ部１０３は図中の破線で囲まれた原稿載置面上の読み取り領域１０６内の原稿１０９を読み取る。例えば、カメラ部１０３は読み取り領域１０６内に置かれた原稿１０９のコンテンツを画像データとして読み取る。また、距離画像センサ部１０８は赤外線パターン投射部、赤外線カメラ及びＲＧＢカメラを有する。カメラスキャナ１０１において、カメラ部１０３は単一解像度で画像を撮像するカメラからなるが、高解像度画像撮像と低解像度画像撮像の切り換えが可能なカメラであってもよい。なお、カメラスキャナ１０１は、原稿台１０５に配置される後述のＬＣＤタッチパネル４１３及びスピーカ４１４を備えてもよい。さらに、カメラスキャナ１０１は、距離画像センサ部１０８以外に、周囲の環境情報を収集するための人感センサ、照度センサ、加速度センサ等の各種センサデバイスを備えてもよい。
【００１４】
図２は、図１のカメラスキャナにおける座標系を説明するための図である。図２において、カメラスキャナ１０１では、カメラ座標系、距離センサ座標系、及びプロジェクタ座標系が定義される。カメラ座標系は、カメラ部１０３が撮像する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。距離センサ座標系は、距離画像センサ部１０８が有するＲＧＢカメラが撮像する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。プロジェクタ座標系は、短焦点プロジェクタ１０７が画像を投影する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。さらに、カメラスキャナ１０１では、これらの３つの独立した座標系の三次元データを統一的に扱えるようにするために、原稿台１０５を含む平面をＸＹ平面とし、且つ該ＸＹ平面に直交した方向をＺ方向とする直交座標系が定義される。
【００１５】
図３は、図２における直交座標系、カメラ座標系及びカメラ撮像平面の関係を示す図である。カメラスキャナ１０１では、直交座標系における三次元点Ｐ［Ｘ，Ｙ，Ｚ］を下記式（１）によってカメラ座標系における三次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］へ変換することができる。
[Xc, Yc, Zc]T = [Rc|tc][X, Y, Z, 1]T  … （１）
ここで、Ｒｃは３×３の回転行列であり、ｔｃは並進ベクトルである。Ｒｃ及びｔｃは、直交座標系に対するカメラの姿勢（回転）と位置（並進）に基づいて定まる外部パラメータによって構成される。また、カメラ座標系で定義された３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を下記式（２）によって直交座標系における３次元点Ｐ［Ｘ，Ｙ，Ｚ］へ変換することができる。
[X, Y, Z]T = [Rc-1|-Rc-1tc][Xc, Yc, Zc, 1]T  …（２）
【００１６】
カメラ部１０３で撮影される二次元の画像平面（以下、「カメラ撮像平面」という。）は、カメラ部１０３によって三次元空間中の三次元点群の三次元情報を二次元情報に変換することによって構成される。すなわち、カメラ撮像平面は、カメラ座標系上での３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を下記式（３）によって２次元座標ｐｃ［ｘｐ，ｙｐ］に透視投影変換することによって構成することができる。
λ[xp, yp, 1]T = A[Xc, Yc, Zc, 1]T  …（３）
ここで、Ａｃは、焦点距離と画像中心等で表現される３×３の行列であるカメラの内部パラメータである。カメラスキャナ１０１で行われる射影変換では式（３）を用いるが、本来、カメラにはレンズ歪みに関するパラメータが存在し、レンズ歪みに関すパラメータを考慮して射影する必要がある。しかしながら、本実施の形態では説明の簡略化のために、特に断りがない場合にはレンズ歪みが存在しない、若しくはレンズ歪みについて補正された後であることを前提とする。
【００１７】
以上のように、カメラスキャナ１０１では、上記式（１），（３）を用いることによって直交座標系で表された三次元点群をカメラ座標系での三次元点群やカメラ撮像平面に変換することができる。また、短焦点プロジェクタ１０７についても上記式（１）〜（３）で示す計算処理と同様の計算処理により、直交座標系とプロジェクタ座標系の相互変換と、プロジェクタ座標系からプロジェクタ画像平面での二次元座標への変換を行うことができる。なお、カメラスキャナ１０１では、各ハードウェアデバイスの内部パラメータ及び直交座標系に対する位置姿勢（外部パラメータ）は、公知のキャリブレーション手法によってあらかじめキャリブレーションされている。以後、本明細書において、「三次元点群」は直交座標系で表された三次元点群を示しているものとする。
【００１８】
図４は、図１のカメラスキャナのコントローラ部のハードウェア構成を示すブロック図である。図４において、コントローラ部１０２は、システムバス４０１に接続されたＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、ＨＤＤ４０５、及び画像処理プロセッサ４０７を備える。さらに、コントローラ部１０２は、カメラＩ／Ｆ４０８、ディスプレイコントローラ４０９、シリアルＩ／Ｆ４１０、オーディオコントローラ４１１及びＵＳＢコントローラ４１２を備える。ＣＰＵ４０２はコントローラ部１０２全体の動作を制御する中央演算装置である。ＲＡＭ４０３は揮発性メモリである。ＲＯＭ４０４は不揮発性メモリであり、ＣＰＵ４０２の起動用プログラムが格納される。ＨＤＤ４０５はＲＡＭ４０３よりも大容量のハードディスクドライブ（ＨＤＤ）である。ＨＤＤ４０５にはコントローラ部１０２が実行する、カメラスキャナ１０１の制御用プログラムが格納される。ＣＰＵ４０２は、電源オン等のカメラスキャナ１０１の起動時、ＲＯＭ４０４に格納される起動用プログラムを実行する。この起動用プログラムは、ＨＤＤ４０５に格納される制御用プログラムを読み出してＲＡＭ４０３に展開する。ＣＰＵ４０２は、起動用プログラムを実行すると、続けてＲＡＭ４０３に展開された制御用プログラムを実行してコントローラ部１０２全体の動作を制御する。また、ＣＰＵ４０２は制御用プログラムの実行に用いるデータもＲＡＭ４０３に格納して読み書きを行う。ＨＤＤ４０５には制御用プログラムの実行に必要な各種設定やカメラ部１０３が撮像によって生成した画像データを格納することができ、格納されたデータ等はＣＰＵ４０２によって読み書きされる。なお、ＣＰＵ４０２は、本実施の形態における第１の距離情報取得手段、第２の距離情報取得手段、決定手段、補完手段及び受付手段に該当する。
【００１９】
画像処理プロセッサ４０７はＲＡＭ４０３に格納された画像データを読み出して画像処理を施し、再度、ＲＡＭ４０３へ書き戻す。なお、画像処理プロセッサ４０７が実行する画像処理は、回転、変倍、色変換等である。カメラＩ／Ｆ４０８はカメラ部１０３及び距離画像センサ部１０８と接続され、ＣＰＵ４０２からの指示に応じてカメラ部１０３から画像データを取得するとともに距離画像センサ部１０８から距離画像データを取得してＲＡＭ４０３へ書き込む。また、カメラＩ／Ｆ４０８はＣＰＵ４０２からの制御コマンドをカメラ部１０３及び距離画像センサ部１０８へ送信し、カメラ部１０３及び距離画像センサ部１０８の設定を行う。なお、ディスプレイコントローラ４０９、シリアルＩ／Ｆ４１０、オーディオコントローラ４１１及びＵＳＢコントローラ４１２は、これらのうちの少なくとも１つがコントローラ部１０２に含まれていればよい。ディスプレイコントローラ４０９はＣＰＵ４０２の指示に応じてディスプレイ（図示しない）における画像データの表示を制御する。また、ディスプレイコントローラ４０９は短焦点プロジェクタ１０７及びＬＣＤタッチパネル４１３に接続される。シリアルＩ／Ｆ４１０はシリアル信号の入出力を行う。シリアルＩ／Ｆ４１０もＬＣＤタッチパネル４１３に接続され、ＣＰＵ４０２はＬＣＤタッチパネル４１３が押下されたときに、シリアルＩ／Ｆ４１０を介して押下されたＬＣＤタッチパネル４１３における座標を取得する。オーディオコントローラ４１１はスピーカ４１４に接続され、ＣＰＵ４０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ４１４を通じて音声を出力する。ＵＳＢコントローラ４１２はＣＰＵ４０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ＵＳＢコントローラ４１２はＵＳＢメモリやＳＤカード等の外部メモリ４１５に接続され、外部メモリ４１５へのデータの読み書きを行う。
【００２０】
図５は、図４におけるＣＰＵが実行するカメラスキャナの制御用プログラムの機能モジュールの構成を示すブロック図である。カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ４０５に格納され、ＣＰＵ４０２が起動時に制御用プログラムをＲＡＭ４０３に展開して実行する。制御用プログラムが実行される際には機能構成５０１が構成される。機能構成５０１は、モジュールとして、メイン制御部５０２、画像取得部５０３、カメラ画像取得部５０４、距離画像取得部５０５、認識処理部５０６、ジェスチャー認識部５０７、及び物体検知部５０８を備える。さらに、機能構成５０１は、モジュールとして、スキャン処理部５０９、原稿形状取得部５１０、原稿補正画像生成部５１１、ネットワーク通信部５１２、表示部５１３、ユーザインターフェイス部５１４、及びデータ管理部５１７を備える。
【００２１】
メイン制御部５０２は制御の中心モジュールであり、機能構成５０１が備える他の各モジュールを制御する。画像取得部５０３は画像入力処理を行うモジュールであり、カメラ画像取得部５０４及び距離画像取得部５０５によって構成される。カメラ画像取得部５０４はカメラＩ／Ｆ４０８を介してカメラ部１０３が出力する画像データを取得し、ＲＡＭ４０３へ格納する。距離画像取得部５０５はカメラＩ／Ｆ４０８を介して距離画像センサ部１０８が出力する距離画像データを取得し、ＲＡＭ４０３へ格納する。認識処理部５０６はカメラ画像取得部５０４が取得する画像データ及び距離画像取得部５０５が取得する距離画像データから原稿台１０５の原稿載置面上の物体の動きを検知して認識する。認識処理部５０６はジェスチャー認識部５０７及び物体検知部５０８によって構成される。ジェスチャー認識部５０７は画像取得部５０３から原稿台１０５の原稿載置面上の画像を取得し続け、タッチ等のユーザのジェスチャー操作を検知する。具体的に、ジェスチャー認識部５０７は、距離画像取得部５０５が取得する距離画像データから原稿台１０５の原稿載置面上に存在する物体の三次元点群を取得し、該物体の外形を検出する。物体検知部５０８は、画像取得部５０３から原稿台１０５の原稿載置面を撮像した画像を取得して原稿台１０５の原稿載置面上に存在する物体を検知する。また、物体検知部５０８は、原稿台１０５の原稿載置面上に物体が置かれるタイミング、物体が置かれて静止するタイミング、又は物体が取り除かれるタイミング等も検知する。
【００２２】
スキャン処理部５０９は原稿の走査（スキャン）を実行し、原稿形状取得部５１０及び原稿補正画像生成部５１１によって構成される。原稿形状取得部５１０はスキャンによって読み取られた画像データの距離画像情報や輝度画像情報等を用いて原稿の形状を取得する。原稿補正画像生成部５１１は、原稿形状取得部５１０が取得した原稿の形状に基づいて原稿データにおける折れや曲がりに起因する歪みを補正する。ユーザインターフェイス部５１４は、ＧＵＩ部品生成表示部５１８及び投射領域検出部５１９によって構成される。ＧＵＩ部品生成表示部５１８は、メイン制御部５０２からの要求を受けてメッセージやボタン等のＧＵＩ部品を生成し、表示部５１３へ生成したＧＵＩ部品の表示を要求する。なお、原稿台１０５におけるＧＵＩ部品の表示箇所は、投射領域検出部５１９によって検出される。表示部５１３は、ディスプレイコントローラ４０９を介して、短焦点プロジェクタ１０７又はＬＣＤタッチパネル４１３へ要求されたＧＵＩ部品を表示する。カメラスキャナ１０１では、短焦点プロジェクタ１０７が原稿台１０５を指向するため、原稿台１０５にＧＵＩ部品が投影される。ユーザインターフェイス部５１４は、ジェスチャー認識部５０７が認識したタッチ等のジェスチャー操作、又はシリアルＩ／Ｆ４１０を介したＬＣＤタッチパネル４１３からの入力操作、さらにジェスチャー操作や入力操作が行われた座標を受信する。また、ユーザインターフェイス部５１４は表示中の操作画面の内容と操作座標を対応させて操作の内容（ボタンの押下等）を判定する。判定された操作の内容はメイン制御部５０２へ通知される。データ管理部５１７は、制御用プログラムの実行において生成された作業データを含む各種データをＨＤＤ４０５の所定の領域へ保存して管理する。例えば、カメラ画像取得部５０４や距離画像取得部５０５が取得した画像データ及び距離画像データや、原稿形状取得部５１０が取得した原稿の形状がデータ管理部５１７によってＨＤＤ４０５へ保存される。
【００２３】
次に、本実施の形態に係る距離計測方法を用いた三次元形状取得処理について説明する。図６は、本実施の形態に係る距離計測方法を用いた三次元形状取得処理を示すフローチャートである。図６において、まず、原稿形状取得部５１０が、第１の距離計測方式により、原稿台１０５の原稿載置面に載置された原稿１０９の第１の距離情報を取得する第１距離情報取得処理を実行する（ステップＳ６１）（第１の距離情報取得工程）。第１の距離計測方式としては、例えば、Kinect（登録商標）に代表されるようなジェスチャー・音声認識デバイスで用いられる赤外線パターン投射方式が該当する。赤外線パターン投射方式では、人の目には不可視である赤外線によって距離測定パターンを被計測物へ投射し、投射した距離測定パターンをカメラで撮影することによって距離計測を行う。赤外線パターン投射方式では、例えば、一部の距離測定パターンが原稿１０９のテクスチャの影響よって検出できない場合であっても、距離計測に用いることができる他のパターンが検出できる場合であれば、距離計測を行うことができる。すなわち、赤外線パターン投射方式は、距離計測に関するロバスト性が高く、原稿１０９のテクスチャの影響の影響を受けにくい。換言すれば、赤外線パターン投射方式は距離計測密度が高い。なお、本実施の形態では、赤外線パターン投射方式の他に、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式やレーザ光の飛行時間を検出することで距離を測定するＴＯＦ（Time Of Flight）方式を第１の距離計測方式として用いてもよい。これらは、いずれも、距離計測精度はさほど高くないものの距離計測密度が高く、被計測物の形状にかかわらず、被計測物の全ての位置における距離情報を取得することができる。
【００２４】
図７は、図６のステップＳ６１における第１距離情報取得処理を説明するための工程図である。図８は、図６のステップＳ６１における第１距離情報取得処理を示すフローチャートである。
【００２５】
まず、カメラ画像取得部５０４がカメラ部１０３を用いて原稿１０９を含む原稿台１０５の輝度画像７０１（図７（Ａ））を１フレームずつ取得する。また、距離画像取得部５０５が距離画像センサ部１０８を用いて原稿１０９を含む原稿台１０５の距離画像７０２（図７（Ｂ））を１フレームずつ取得する（ステップＳ８１）。距離画像７０２は、原稿台１０５に載置された被計測物としての原稿１０９の画像の各画素から距離画像センサ部１０８までの距離情報の集合であり、距離画像センサ部１０８に近い画素ほど濃い色で表わされる。また、距離画像７０２において、原稿台１０５からの距離が所定の閾値以内にある各画素は白で表される。例えば、原稿１０９における原稿台１０５に接する部分に相当する画素は白で表される。
【００２６】
次いで、原稿１０９の三次元形状を算出する。ここで、第１距離情報取得処理を実行する前提として、コントローラ部１０２のＲＡＭ４０３には、何も載置されていないときの原稿台１０５の輝度画像及び距離画像が背景輝度画像及び背景距離画像として記録されている。まず、輝度画像７０１及び背景輝度画像の各画素の輝度の差分から二値化された輝度差分画像７０３を取得する（ステップＳ８２）。具体的には、輝度の差分が所定の閾値よりも大きい場合、当該画素は黒で表され、輝度の差分が所定の閾値以下の場合、当該画素は白で表される。その結果、輝度差分画像７０３では原稿１０９が占める原稿領域７０４が黒で表される（図７（Ｃ））。次いで、輝度差分画像７０３をカメラ座標系の画像から距離センサ座標系の画像へ変換して距離画像センサ部１０８から眺めたときの輝度差分画像７０５を生成する（ステップＳ８３）。輝度差分画像７０５は、距離画像センサ部１０８から眺めたときの原稿領域７０６（黒で表される）を含む（図７（Ｄ））。次いで、距離画像７０２及び背景距離画像の同じ位置の各画素に関して距離情報の差分を算出し、差分が所定の閾値よりも大きい場合は当該画素を黒で表し、差分が所定の閾値以下の場合は当該画素を白で表す。これにより、距離画像７０２から二値化された距離差分画像７０７を取得する（ステップＳ８４）。距離差分画像７０７は黒で表される原稿領域７０８を含む（図７（Ｅ））。
【００２７】
ところで、原稿１０９と原稿台１０５の色が同じとなる、又は近い部分では各画素の輝度の差分が小さくなるため、原稿１０９が存在するにもかかわらず、ステップＳ８２において、当該画素は白で表される。したがって、原稿領域７０６に欠けが生じて原稿領域７０６が正確に原稿１０９の外形に対応しないことがある。また、原稿台１０５と原稿１０９が近い部分（例えば、原稿１０９が原稿台１０５へ接地している部分）では距離情報の差分小さくなるため、原稿１０９が存在するにもかかわらず、ステップＳ８４において、当該画素は白で表される。したがって、原稿領域７０８に欠けが生じて原稿領域７０８が正確に原稿１０９の外形に対応しないことがある。そこで、本実施の形態では、輝度差分画像７０５の原稿領域７０６及び距離差分画像７０７の原稿領域７０８を重畳して重畳原稿領域７０９（図７（Ｆ））を取得する（ステップＳ８５）。原稿領域７０６における欠けと原稿領域７０８における欠けが一致する可能性は低いため、重畳原稿領域７０９は原稿領域７０６や原稿領域７０８よりも正確に原稿１０９の外形に対応する。ここで、重畳原稿領域７０９は距離センサ座標系の画像であるため、重畳原稿領域７０９から原稿１０９の距離情報を取得することができる（ステップＳ８６）。このとき取得された重畳原稿領域７０９からの原稿１０９の距離情報を、以下「第１の距離情報」と称する。その後、ステップＳ８６で取得された原稿１０９の距離情報からなる距離画像を直交座標系の画像に変換して原稿１０９に対応する三次元点群７１０（図７（Ｇ））を生成する（ステップＳ８７）。次いで、重畳原稿領域７０９及び三次元点群７１０をＲＡＭ４０３に記録し、第１距離情報取得処理を終了する。
【００２８】
図６に戻り、次いで、三次元点群７１０を用いて原稿１０９における折れ発生箇所の判定を行う（ステップＳ６２）。図９は、図６のステップＳ６２における折れ発生箇所判定処理を示すフローチャートである。図１０は、図６のステップＳ６２における折れ発生箇所判定処理を説明するための工程図である。
【００２９】
まず、三次元点群７１０のＸ方向及びＹ方向と同じＸ方向及びＹ方向を有し、三次元点群７１０の各画素に関し、当該画素のＺ方向の位置を当該画素の輝度に変換した俯瞰画像１００１（図１０（Ａ））を生成する（ステップＳ９１）。すなわち、俯瞰画像１００１では原稿１０９における各位置の高さ（各画素の原稿台１０５からの距離情報）が輝度に変換されている。また、俯瞰画像１００１を以下、「俯瞰距離画像１００１」と称する。俯瞰距離画像１００１は直交座標系の画像となるため、俯瞰距離画像１００１に含まれる原稿１０９の距離情報１００２は、原稿１０９を真上から眺めたときの距離情報となる。なお、距離画像センサ部１０８によって原稿１０９を斜め上から撮影した場合であっても、原稿１０９の距離画像の直交座標系の画像への変換を通じて、原稿１０９を真上から眺めたときの距離情報１００２を取得することができる。次いで、俯瞰距離画像１００１において、距離情報１００２を包含する外接矩形１００３（図１０（Ｂ））を規定する（ステップＳ９２）。外接矩形の規定にはOpenCVのcv::minAreaRect関数等の周知の技術が用いられる。続いて、外接矩形１００３を基準として当該外接矩形１００３を所定の数の部分に分割する複数の分割線１００４（図１０（Ｃ））を規定する（ステップＳ９３）。
【００３０】
次いで、各分割線１００４に関し、当該分割線１００４上の各画素（位置）の距離情報に基づいて当該分割線１００４に急峻な折れが存在するか、さらには急峻な折れが存在する場合は、当該折れの箇所を特定する（ステップＳ９４）。具体的には、一の分割線１００４を複数の区間に区分けし、当該分割線１００４の各区間における（Ｚ−Ｘ平面上の）区間ベクトル１００５を算出する（図１０（Ｄ））。その後、隣接する２つの区間ベクトル１００５の角度差を算出し、角度差が所定の閾値よりも大きい場合には、急峻な折れが発生している可能性あると判定し、当該区間ベクトル１００５の境界位置を急峻な折れの候補位置１００６として特定する（図１０（Ｅ））。なお、ここでは、外接矩形１００３の短軸に関して複数の分割線１００４を規定したが、外接矩形１００３の長軸に関しても複数の他の分割線を規定してもよい。この場合、他の分割線も同様に複数の区間に区分けし、隣接する２つの区間のベクトルの角度差に基づいて急峻な折れの候補位置を特定する。その後、各分割線１００４から特定された各候補位置１００６から原稿１０９において急峻な折れの発生箇所を特定する（ステップＳ９５）。特定される箇所は直線又は領域で示される。各候補位置１００６から急峻な折れの発生箇所を直線として特定する場合、各候補位置１００６から最小二乗法やHough変換を用いて求められる直線を採用するのが好ましい（図１０（Ｆ））。これにより、距離情報１００２において、急峻な折れの発生箇所を直線１００７又は領域１００８として特定することができる（図１０（Ｇ））。次いで、直線１００７や領域１００８をＲＡＭ４０３に記録し、折れ発生箇所判定処理を終了する。
【００３１】
図６に戻り、原稿形状取得部５１０が、第２の距離計測方式により、原稿台１０５の原稿載置面に載置された原稿１０９の第２の距離情報を取得する第２距離情報取得処理を実行する（ステップＳ６３）（第２の距離情報取得工程）。本実施の形態では、第２距離情報取得処理において、光切断法を第２の距離計測方式として用いる。カメラスキャナ１０１では、短焦点プロジェクタ１０７とカメラ部１０３の姿勢及び位置関係が既知であることを前提として短焦点プロジェクタ１０７が多数の投影線を原稿１０９に投影する。さらに、カメラ部１０３が投影された各投影線を検出し、三角測量の原理に基づいて投影線上の各位置（各点）の距離情報を取得する。三角測量では距離を高精度に測定することができるため、結果として原稿１０９の距離情報を高精度に取得することができる。本実施の形態では、光切断法によって取得された原稿１０９の距離情報を「第２の距離情報」と称する。なお、光切断法では、各投影線に所定のパターンを付し、又は各投影線が変動する範囲を限定することにより、各投影線を識別可能に設定する必要があるが、本実施の形態では、各投影線に個別の識別番号として「線ＩＤ」が設定される。また、光切断法ではカメラ部１０３が検出した各投影線に基づいて原稿１０９の距離情報を取得するため、取得された距離情報はカメラ座標系の距離情報となる。ここで、後述する第１の補完処理に備えて上記式（２）に基づき、当該距離情報を直交座標系の距離情報に変換する。取得された第２の距離情報はＲＡＭ４０３に記録され、その後、第２距離情報取得処理が終了する。なお、各投影線は短焦点プロジェクタ１０７から照射された投影光によって構成されるが、例えば、レーザ照射装置によって照射されるレーザ光によって構成されてもよい。
【００３２】
ところで、第２の距離計測方式として用いた光切断法では、原稿１０９の表面の各投影線を検出することを前提とする。ここで、原稿１０９に急峻な折れが存在して谷が生じていると、短焦点プロジェクタ１０７からの投影線が谷の底まで届かず、カメラ部１０３によって各投影線を検出できない場合がある。また、短焦点プロジェクタ１０７の光源が弱く投影線の輝度が低いときや原稿１０９のテクスチャが濃く投影線がテクスチャに紛れるときも、カメラ部１０３によって各投影線を検出できない場合がある。例えば、図１１（Ａ）に示すように、原稿１０９が急峻な折れ１１０１と濃いテクスチャ１１０２を有する場合、原稿１０９の一部において投影線を検出できず、光切断法によって取得された第２の距離情報において欠損１１０４，１１０５が生じることがある。ここで、欠損１１０４は急峻な折れ１１０１に起因し、欠損１１０５は濃いテクスチャ１１０２の存在に起因する。第２の距離情報における欠損１１０４，１１０５は、図１１（Ｂ）に示すように、各投影線１１０３の不連続箇所（断絶箇所）として現れる。なお、図１１（Ｂ）において、各投影線１１０３の集合体としての第２の距離情報は直交座標系における俯瞰距離画像として表される。第２の距離情報における欠損はカメラスキャナ１０１によって読み取られる原稿１０９のコンテンツの画像データに悪影響を及ぼすために補完する必要がある。
【００３３】
ところで、上述したように、各投影線１１０３には線ＩＤが設定されているため、ある投影線１１０３が不連続となり、複数の線分に分割されていても、各線分の線ＩＤを判別することにより、各線分が同じ投影線１１０３に属するか否かを判別できる。したがって、不連続となった投影線１１０３の断絶開始点及び断絶終了点を把握することができる。ここで、上述したように、第２の距離情報における欠損は急峻な折れ１１０１に起因することがあるため、第２の距離情報における欠損に関し、まずは急峻な折れ１１０１を再現するように各投影線１１０３の不連続箇所を補完することを考える。
【００３４】
図１２は、急峻な折れを再現する第１の補完処理を示すフローチャートである。図１３は、第１の補完処理を説明するための工程図である。第１の補完処理では、各投影線１１０３の断絶開始点及び断絶終了点から延長線を延伸させて交差点を求める。まず、不連続となった各投影線１１０３の断絶開始点１３０１（断絶端部）及び断絶終了点１３０２（断絶端部）から延長線１３０３を延伸させ（図１３（Ａ））、各延長線１３０３の交差点１３０４を求める（図１３（Ｂ））。ここで、各延長線１３０３は断絶開始点１３０１及び断絶終了点１３０２の近傍の投影線１１０３を構成する点群から最小二乗法等によって近似曲線を求め、該近似曲線を延伸させることよって生成される。なお、各投影線１１０３は三次元曲線からなるため、各交差点１３０４の座標は直交座標系における三次元座標で表される。交差点１３０４は各投影線１１０３について求められるため、複数の交差点１３０４が得られる。その後、各交差点１３０４から最小二乗法等によって近似曲線を求める。各投影線１１０３の不連続箇所が急峻な折れに起因する場合、各交差点１３０４から求められた近似曲線は折れの底に対応するため、三次元的な直線を呈する。そこで、当該三次元的な直線として各交差点１３０４に基づく回帰直線を求め、交叉線１３０５として設定する（ステップＳ１２１）。
【００３５】
次いで、一の投影線１１０３の断絶開始点１３０１及び断絶終了点１３０２を選択する（ステップＳ１２２）。さらに、当該断絶開始点１３０１及び当該断絶終了点１３０２のそれぞれから延伸された延長線１３０３と交叉線１３０５との交点１３０６，１３０７を取得する（図１３（Ｃ））。次いで、交点１３０６，１３０７に基づいて三次元交点１３０８を取得する（ステップＳ１２３）。三次元交点１３０８は、交点１３０６，１３０７の中点等が該当する。なお、断絶開始点１３０１から交点１３０６までの距離と断絶終了点１３０２から交点１３０７までの距離を重みに換算し、該重みを用いて交点１３０６，１３０７の座標を加重平均することによって三次元交点１３０８を取得してもよい。その後、断絶開始点１３０１及び断絶終了点１３０２と、三次元交点１３０８との間を線分１３０９で補完する（図１３（Ｄ））（ステップＳ１２４）。このとき、補完方法としてはスプライン補完等が周知の技術が用いられる。これにより、一の投影線１１０３の不連続箇所において補完線（折れ線）が必ず交叉線１３０５を経由する。次いで、全ての投影線１１０３の不連続箇所が補完されたか否かを判別し（ステップＳ１２５）、全ての投影線１１０３の不連続箇所が補完されていれば、第１の補完処理を終了する。一方、全ての投影線１１０３の不連続箇所が補完されていなければ、ステップＳ１２２に戻る。なお、各投影線１１０３の不連続箇所の補完方法は、上述した方法に限られず、急峻な折れの底に対応する交叉線を設定し、補完された投影線１１０３が当該交叉線を経由する方法であれば、他の方法を用いることができる。
【００３６】
上述した第１の補完処理は急峻な折れを再現するが、上述したように、第２の距離情報における欠損は濃いテクスチャの存在や短焦点プロジェクタ１０７の光源が弱いことにも起因することもある。したがって、例えば、第２の距離情報における欠損１１０４だけでなく欠損１１０５にも第１の補完処理を施した場合、第２の距離情報における欠損１１０４の該当箇所及び欠損１１０５の該当箇所のいずれにも急峻な折れを再現する（図１１（Ｃ））。しかしながら、欠損１１０５は濃いテクスチャ１１０２の存在に起因し、欠損１１０５の該当箇所には急峻な折れが存在しない。すなわち、第２の距離情報における全ての欠損に第１の補完処理を施すと、原稿１０９の三次元形状を正確に取得できないおそれがある。
【００３７】
本実施の形態では、これに対応して、第２の距離情報における各欠損につき、当該欠損の発生要因を分析し、当該欠損に適用する補完方法を決定する。具体的には、図６の三次元形状取得処理において、第２の距離情報における各欠損の補完方法を決定する補完方法決定処理を実行する（ステップＳ６４）（決定工程）。なお、図１１は、図６のステップＳ６４における補完方法決定処理を説明するため図である。
【００３８】
ところで、第２の距離情報だけでは各欠損の発生要因を特定することは困難である。そこで、補完方法決定処理では、各欠損の発生要因の特定に第１の距離情報を用いる。具体的には、第１の距離情報からなる俯瞰距離画像１００１と第２の距離情報を重畳させる。なお、俯瞰距離画像１００１は直交座標系の画像であり、第２の距離情報も上記式（２）に基づいて直交座標系の距離情報に変換されているため、容易に重畳することができる。ここで、俯瞰距離画像１００１では急峻な折れの発生箇所が直線１００７又は領域１００８によって特定されている。したがって、俯瞰距離画像１００１と第２の距離情報を重畳させたとき、直線１００７又は領域１００８と重畳される欠損の発生要因は急峻な折れであると特定することができる（図１１（Ｄ））。また、直線１００７又は領域１００８と重畳されない欠損の発生要因は急峻な折れ以外であると特定することができる。ステップＳ６４では、発生要因が急峻な折れであると特定された欠損には急峻な折れを再現する第１の補完処理を施すことを決定する。また、発生要因が急峻な折れ以外であると特定された欠損には後述する第２の補完処理を施すことを決定する。各欠損に施される補完処理の種類はＲＡＭ４０３に記録される。
【００３９】
次いで、発生要因が急峻な折れであると特定された欠損へ第１の補完処理を施す（ステップＳ６５）（補完工程）。その後、発生要因が急峻な折れ以外であると特定された欠損へ第２の補完処理を施す（ステップＳ６６）（補完工程）。
【００４０】
図１４は、図６のステップＳ６６における第２の補完処理を示すフローチャートである。まず、ステップＳ６４において第２の補完処理を施すことが決定された欠損を構成する複数の投影線１１０３のうちから一の投影線１１０３を選択する。さらに、選択された投影線１１０３において第２の補完処理を施すことが決定された欠損に相当する不連続箇所における断絶開始点及び断絶終了点を選択する（ステップＳ１４１）。次いで、選択された断絶開始点及び断絶終了点の間を線分で補完する（ステップＳ１４２）。このとき、補完方法としては、例えば、断絶開始点及び断絶終了点の近傍の投影線１１０３を構成する点群の距離情報を用いるスプライン補完等が周知の技術が適用される。なお、選択された一の投影線１１０３を構成する点群の距離情報だけでなく他の投影線１１０３を構成する点群の距離情報も参照して一の投影線１１０３の不連続箇所を補完してもよい。その後、全ての投影線１１０３の不連続箇所が補完されたか否かを判別し（ステップＳ１４３）、全ての投影線１１０３の不連続箇所が補完されていれば、第２の補完処理を終了する。一方、全ての投影線１１０３の不連続箇所が補完されていなければ、ステップＳ１４１に戻る。図６に戻り、その後、三次元形状取得処理を終了する。
【００４１】
なお、第１の補完処理及び第２の補完処理とも、第２の距離情報を直接補完した。しかしながら、例えば、カメラ画像である二次元画像上で各補完処理と同様の処理を行い、補完処理後の結果に三次元画像を用いた三角測量の結果を反映させることによって補完を行ってもよい。
【００４２】
図６の三次元形状取得処理によれば、光切断法によって取得される第２の距離情報における欠損１１０４，１１０５に適用される補完処理を、光切断法とは異なる第１の距離計測方式によって取得される第１の距離情報に基づいて決定する。さらに、決定された補完処理によって各欠損を補完する。欠損１１０４，１１０５では光切断法によって直接的に距離を求めることができない。しかしながら、各投影線１１０３を用いて、当該投影線１１０３の不連続箇所を補完することにより、欠損１１０４，１１０５についても光切断法によって間接的に距離を求めることができる。すなわち、原稿１０９の全ての距離情報を距離計測精度が高い光切断法に基づいて直接的又は間接的に取得することができる。その結果、高精度の距離情報を確実に取得することができる。
【００４３】
また、図６の三次元形状取得処理では、欠損１１０４，１１０５に適用される補完処理を、第１の距離情報に基づいて決定に基づいて決定する。第１の距離計測方式は距離計測密度が高いため、第２の距離情報における欠損１１０４，１１０５が存在する箇所あっても距離情報を直接的に取得することができる。これにより、各欠損の発生要因が急峻な折れか否かを確実に特定することができる。
【００４４】
さらに、図６の三次元形状取得処理では、発生要因が急峻な折れである欠損と、発生要因が急峻な折れ以外である欠損とでは、適用される補完処理が異なる。これにより、発生要因が急峻な折れ以外である欠損において、急峻な折れを再現する第１の補完処理が施されるのを防止することができる。その結果、欠損１１０４，１１０５の各々に適切な補完方法を施すことができ、もって、原稿１０９の三次元形状を正確に取得することができる。
【００４５】
また、上述した第１の補完処理では、投影線１１０３の不連続箇所の断絶開始点１３０１及び断絶終了点１３０２からの延長線１３０３の交差点１３０４を求めるが、各交差点１３０４は折れの底に対応する。これにより、第２の距離情報において急峻な折れを適切に再現することができる。
【００４６】
次に、本発明の第２の実施の形態に係る距離計測方法について説明する。第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。
【００４７】
第１の実施の形態では、原稿１０９における急峻な折れの発生箇所を第１の距離情報に基づいて特定する。しかしながら、原稿１０９をユーザが手で押さえる場合等、原稿１０９が不自然に変形している場合、第１の距離情報へ原稿１０９の急峻な折れの発生箇所が正確に反映されないことがある。その結果、原稿１０９における急峻な折れの発生箇所を正確に特定することができず、原稿１０９の三次元形状を正確に取得できないおそれがある。本実施の形態では、これに対応して、第１の距離情報に基づいて特定された急峻な折れの発生箇所を修正する機会をユーザに付与する。
【００４８】
図１５は、本実施の形態に係る距離計測方法を用いた三次元形状取得処理を示すフローチャートである。図１５におけるステップＳ６１〜ステップＳ６６は、図６におけるステップＳ６１〜ステップＳ６６と同じであるため、説明を省略する。
【００４９】
ステップＳ６２の後、ステップＳ６２において急峻な折れの発生箇所を示す直線として特定された直線１００７を用いて急峻な折れの発生箇所を修正する（ステップＳ１５１）。
【００５０】
図１６は、図１５のステップＳ１５１における折れ発生箇所修正処理を示すフローチャートである。図１７は、図１５のステップＳ１５１における折れ発生箇所修正処理を説明するための工程図である。
【００５１】
まず、カメラスキャナ１０１は短焦点プロジェクタ１０７によって直線１００７を原稿台１０５の原稿載置面に載置された原稿１０９へ重畳表示する（ステップＳ１６１）（図１７（Ａ））。なお、直線１００７は、短焦点プロジェクタ１０７とは別のレーザ照射装置によって照射されてもよい。ユーザは原稿１０９へ重畳表示された直線１００７が原稿１０９の急峻な折れと一致しているか否かを判別する。そして、直線１００７が原稿１０９の急峻な折れと一致している場合、ユーザは原稿台１０５に投影されたＧＵＩ部品であるスキャンボタン１７０１を押下する。また、直線１００７が原稿１０９の急峻な折れと一致していない場合、ユーザは原稿台１０５に投影されたＧＵＩ部品であるスキャンボタン１７０１を押下しない。一方で、カメラスキャナ１０１は、所定の期間に亘って待機し、待機中にスキャンボタン１７０１が押下されたか否かを判定する（ステップＳ１６２）。スキャンボタン１７０１が押下されたか否かの判定は、ジェスチャー認識部５０７によるユーザの操作の認識を通じて行う。待機中にスキャンボタン１７０１が押下されない場合は、続くステップＳ１６３をスキップする。待機中にスキャンボタン１７０１が押下された場合、カメラスキャナ１０１は直線１００７の位置の修正を受け付ける（ステップＳ１６３）。具体的には、例えば、図１７（Ｂ）に示すように、直線１００７が原稿１０９の急峻な折れ１７０２とずれている場合、ユーザは、まず、スキャンボタン１７０１を押下することなく直線１００７にタッチする（図１７（Ｃ））。さらに、ユーザは、直線１００７が急峻な折れ１７０２と合致するように直線１００７をドラッグして移動させる（図１７（Ｄ））。その後、ユーザはスキャンボタン１７０１を押下する。カメラスキャナ１０１はスキャンボタン１７０１の押下を検知すると、スキャンボタン１７０１が押下されたときの直線１００７の位置を修正後位置として取得する。このとき、直線１００７は短焦点プロジェクタ１０７が投影するため、取得された修正後位置はプロジェクタ座標系の位置となる。その後、取得された修正後位置を直交座標系の位置へ変換する（ステップＳ１６４）。ここで、プロジェクタ画像平面での修正後位置の座標を［ｘｐ，ｙｐ］、直交座標系での三次元座標を［Ｘ，Ｙ，Ｚ］、直交座標系に対するプロジェクタの姿勢（回転）と位置（並進）と内部パラメータをそれぞれｔｐ、Ｒｐ、Ａｐとする。このとき、修正後位置の直交座標系の下記式（４）によって求めることができる。
λ[ｘｐ, ｙｐ, １]Ｔ =Ａ ｐ[Rｐ|tｐ][X, Y,0, 1] Ｔ  … （４）
その後、直交座標系の位置へ変換された直線１００７の修正後位置を、当該修正後位置を含む領域１００８とともに、ＲＡＭ４０３に記録して折れ発生箇所修正処理を終了する。
【００５２】
図１６の折れ発生箇所修正処理によれば、急峻な折れの発生箇所（直線１００７）に関するユーザの修正指示を受け付けるため、誤った箇所で欠損の補完が行われるのを防止することができる。その結果、取得される原稿１０９の距離情報の精度をさらに向上させることができる。
【００５３】
以上、本発明の各実施の形態について説明したが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５４】
１０１  カメラスキャナ
１０３  カメラ部
１０５  原稿台
１０７  短焦点プロジェクタ
１０８  距離画像センサ部
４０２  ＣＰＵ
５０５  距離画像取得部
５０７  ジェスチャー認識部
５１０  原稿形状取得部
【図１】
2018201075.tif 000003
【図２】
2018201075.tif 000004
【図３】
2018201075.tif 000005
【図４】
2018201075.tif 000006
【図５】
2018201075.tif 000007
【図６】
2018201075.tif 000008
【図７】
2018201075.tif 000009
【図８】
2018201075.tif 000010
【図９】
2018201075.tif 000011
【図１０】
2018201075.tif 000012
【図１１】
2018201075.tif 000013
【図１２】
2018201075.tif 000014
【図１３】
2018201075.tif 000015
【図１４】
2018201075.tif 000016
【図１５】
2018201075.tif 000017
【図１６】
2018201075.tif 000018
【図１７】
2018201075.tif 000019