(57)【要約】【課題】撮影画像から原稿画像を確実に切り出す。【解決手段】書画カメラ１に備えられた画像処理装置は、予め、台座１３に原稿５が載置されていない状態で撮影を行って比較画像を取得する。そして、画像処理装置は、台座１３に原稿５が載置された状態の縮小画像と比較画像とを比較して、その差分画像を取得する。これにより、台座画像は除去される。さらに、画像処理装置は、取得した差分画像から、その２値エッジ画像、２値画像を作成する。画像処理装置は、それぞれ、作成した２値エッジ画像に基づいて原稿画像の輪郭を形成する直線を検出し、直線の角度を取得する。画像処理装置は、２値画像に基づいて投影ヒストグラムを作成し、原稿画像の領域を特定する。そして、画像処理装置は、取得した直線の角度と領域とに基づいて原稿画像を切り出す。【選択図】図１
2006163821.tif 000002
【特許請求の範囲】
【請求項１】
多角形の原稿を撮影する撮影装置において、
前記原稿を撮影する撮影部と、
前記撮影部の撮影によって得られた撮影画像から、前記撮影画像に含まれる原稿画像を切り出す画像処理部と、を備え、
前記画像処理部は、
前記撮影画像を処理して前記原稿画像のみを含む画像を生成する撮影画像処理部と、
前記撮影画像処理部が処理した処理画像から、前記原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する角度検出部と、
前記撮影画像処理部が処理した処理画像から、前記原稿画像の輪郭による境界を、異なる画素値で表した２値画像を生成する２値画像生成部と、
前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記処理画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する領域座標取得部と、
前記領域座標取得部が取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す原稿画像切り出し部と、を備えた、
ことを特徴とする撮影装置。
【請求項２】
前記撮影部は、前記原稿を載置する台座のみ又は前記台座と前記原稿とを撮影し、
前記画像処理部の前記撮影画像処理部は、
前記撮影部が前記台座のみを撮影することによって得られた第１の撮影画像と前記台座及び前記原稿を撮影することによって得られた第２の撮影画像との差分画像を、前記原稿画像のみを含む画像として生成する、
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記角度検出部は、
前記撮影画像処理部が処理した処理画像を処理して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成する２値エッジ画像生成部を備え、
前記２値エッジ画像生成部が生成した２値エッジ画像から、前記原稿画像の輪郭によるエッジ線を判別して前記直線を取得し、取得した直線の角度を検出する、
ことを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
前記角度検出部は、
前記撮影画像処理部が処理した処理画像を第１の方向に走査して、前記原稿画像の第１の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第１の２値エッジ画像生成部と、
前記撮影画像処理部が処理した処理画像を、前記第１の方向とは異なる第２の方向に走査して、前記原稿画像の第２の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第２の２値エッジ画像生成部と、を備え、
前記第１の２値エッジ画像生成部が生成した２値エッジ画像と前記第２の２値エッジ画像生成部が生成した２値エッジ画像とから、前記原稿画像の輪郭による各辺のエッジ線を判別して複数の直線を独立して取得し、取得した複数の直線の前記座標系における各角度を検出する、
ことを特徴とする請求項１又は２に記載の撮影装置。
【請求項５】
前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲を越える直線の角度があった場合、当該直線の角度に代えて、有効と判定した直線の角度に基づいて設定した角度を用いる、
ことを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記角度検出部は、取得した複数の角度を平均化して、１つの角度を特定する、
ことを特徴とする請求項４に記載の撮影装置。
【請求項７】
前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲内の直線の角度のみを用いて平均化し、１つの角度を特定する、
ことを特徴とする請求項６に記載の撮影装置。
【請求項８】
前記２値エッジ画像生成部は、前記原稿画像の輪郭の近傍に範囲を設定し、設定した範囲内でエッジを取得して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成する、
ことを特徴とする請求項３乃至７のいずれか１項に記載の撮影装置。
【請求項９】
原画像から、前記原画像に含まれる切り出し対象画像を切り出す画像処理装置において、
前記切り出し対象画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記原画像を基準とする座標系における角度を検出する角度検出部と、
前記原画像を処理して、前記切り出し対象画像の輪郭による境界を異なる画素値で表した２値画像を生成する２値画像生成部と、
前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記切り出し対象画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記切り出し対象画像の領域を特定するための座標データを取得する領域座標取得部と、
前記領域座標取得部が取得した座標データに基づいて前記切り出し対象画像の領域を特定し、前記原画像から前記切り出し対象画像を切り出す原稿画像切り出し部と、を備えた、
ことを特徴とする画像処理装置。
【請求項１０】
多角形の原稿を撮影するステップと、
撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出するステップと、
前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成するステップと、
前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成するステップと、
前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得するステップと、
前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出すステップと、を備えた、
ことを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
多角形の原稿を撮影する手順、
撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する手順、
前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成する手順、
前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成する手順、
前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する手順、
前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、画像処理装置、画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、撮影装置として、ユーザが原稿台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データを記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものがある（例えば、特許文献１参照）。
【０００３】
図２０（ａ）、（ｂ）に示すように、この撮影装置の支柱５２は、カメラ部５１の向きを変えることができるように可動式になっている。図２０（ａ）に示すように、カメラ部５１が原稿台５３の真上に配置されて、原稿台５３に載置された原稿（用紙）が撮影されると、図２１（ａ）に示すような画像が得られる。
【０００４】
ライトの映り込みがある場合は、図２０（ｂ）に示すように、カメラ部５１が少し斜め上方向に配置される。このようにカメラ部５１が配置されて原稿台５３に載置された原稿が撮影されると、図２１（ｂ）に示すような画像が得られる。
【０００５】
そして、この撮影装置は、得られた画像に対して画像処理を施し、原稿部分を切り出して、図２１（ｃ）に示すような画像を生成する。
【０００６】
撮影装置は、原稿の画像を切り出し対象画像として切り出しを行うため、切り出し対象画像の輪郭を取得し、取得した輪郭に基づいて切り出し対象画像を、原画像としての撮影画像から切り出す。
【特許文献１】特開２００２−３５４３３１号公報（第２−３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、切り出し対象画像の形状を示す輪郭を取得しにくい場合、原画像から切り出し対象画像をうまく切り出せない場合がある。
【０００８】
本発明は、このような従来の問題点に鑑みてなされたもので、原画像から切り出し対象画像を確実に切り出すことが可能な撮影装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この目的を達成するため、本発明の第１の観点に係る撮影装置は、
多角形の原稿を撮影する撮影装置において、
前記原稿を撮影する撮影部と、
前記撮影部の撮影によって得られた撮影画像から、前記撮影画像に含まれる原稿画像を切り出す画像処理部と、を備え、
前記画像処理部は、
前記撮影画像を処理して前記原稿画像のみを含む画像を生成する撮影画像処理部と、
前記撮影画像処理部が処理した処理画像から、前記原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する角度検出部と、
前記撮影画像処理部が処理した処理画像から、前記原稿画像の輪郭による境界を、異なる画素値で表した２値画像を生成する２値画像生成部と、
前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記処理画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する領域座標取得部と、
前記領域座標取得部が取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す原稿画像切り出し部と、を備えたことを特徴とする。
【００１０】
前記撮影部は、前記原稿を載置する台座のみ又は前記台座と前記原稿とを撮影し、
前記画像処理部の前記撮影画像処理部は、
前記撮影部が前記台座のみを撮影することによって得られた第１の撮影画像と前記台座及び前記原稿を撮影することによって得られた第２の撮影画像との差分画像を、前記原稿画像のみを含む画像として生成するようにしてもよい。
【００１１】
前記角度検出部は、
前記撮影画像処理部が処理した処理画像を処理して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成する２値エッジ画像生成部を備え、
前記２値エッジ画像生成部が生成した２値エッジ画像から、前記原稿画像の輪郭によるエッジ線を判別して前記直線を取得し、取得した直線の角度を検出するようにしてもよい。
【００１２】
前記角度検出部は、
前記撮影画像処理部が処理した処理画像を第１の方向に走査して、前記原稿画像の第１の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第１の２値エッジ画像生成部と、
前記撮影画像処理部が処理した処理画像を、前記第１の方向とは異なる第２の方向に走査して、前記原稿画像の第２の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第２の２値エッジ画像生成部と、を備え、
前記第１の２値エッジ画像生成部が生成した２値エッジ画像と前記第２の２値エッジ画像生成部が生成した２値エッジ画像とから、前記原稿画像の輪郭による各辺のエッジ線を判別して複数の直線を独立して取得し、取得した複数の直線の前記座標系における各角度を検出するようにしてもよい。
【００１３】
前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲を越える直線の角度があった場合、当該直線の角度に代えて、有効と判定した直線の角度に基づいて設定した角度を用いるようにしてもよい。
【００１４】
前記角度検出部は、取得した複数の角度を平均化して、１つの角度を特定するようにしてもよい。
【００１５】
前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲内の直線の角度のみを用いて平均化し、１つの角度を特定するようにしてもよい。
【００１６】
前記２値エッジ画像生成部は、前記原稿画像の輪郭の近傍に範囲を設定し、設定した範囲内でエッジを取得して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成するようにしてもよい。
【００１７】
本発明の第２の観点に係る画像処理装置は、
原画像から、前記原画像に含まれる切り出し対象画像を切り出す画像処理装置において、
前記切り出し対象画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記原画像を基準とする座標系における角度を検出する角度検出部と、
前記原画像を処理して、前記切り出し対象画像の輪郭による境界を、異なる画素値で表した２値画像を生成する２値画像生成部と、
前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記切り出し対象画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記切り出し対象画像の領域を特定するための座標データを取得する領域座標取得部と、
前記領域座標取得部が取得した座標データに基づいて前記切り出し対象画像の領域を特定し、前記原画像から前記切り出し対象画像を切り出す原稿画像切り出し部と、を備えたことを特徴とする。
【００１８】
本発明の第３の観点に係る画像処理方法は、
多角形の原稿を撮影するステップと、
撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出するステップと、
前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成するステップと、
前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成するステップと、
前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得するステップと、
前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出すステップと、を備えたことを特徴とする。
【００１９】
本発明の第３の観点に係るプログラムは、
コンピュータに、
多角形の原稿を撮影する手順、
撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する手順、
前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成する手順、
前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成する手順、
前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する手順、
前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す手順、
を実行させるためのものである。
【発明の効果】
【００２０】
本発明によれば、原画像から切り出し対象画像を確実に切り出すことができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。
（実施形態１）
実施形態１に係る撮影装置の構成を図１に示す。
撮影装置は、書画カメラ１と、コンピュータ２と、プロジェクタ３と、を備える。書画カメラ１とコンピュータ２とは、通信ケーブル３１を介して接続され、コンピュータ２とプロジェクタ３とは、ビデオ映像ケーブル３２を介して接続される。
【００２２】
書画カメラ１は、撮影対象を撮影するためのカメラシステムであり、カメラ部１１と、支柱１２と、台座１３と、を備える。カメラ部１１は、原稿５を撮影するためのものである。カメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。台座１３は、支柱１２を支えるためのものである。
【００２３】
台座１３は、支柱１２を支えるためのものであり、図２に示すように、台座１３のほぼ中央部には十字マーク１４が刻印されている。十字マーク１４は、原稿５が載置されているか否かを識別するために刻印されたものである。
【００２４】
カメラ部１１は、撮影対象として、台座１３に載置された原稿５を撮影するものである。書画カメラ１は、カメラ部１１が撮影して得られた撮影画像から原稿５部分（用紙）による原稿画像を切り出し、斜め撮影歪みの検出処理を行って、撮影画像中の原稿画像を、あたかも原稿５を正面から撮影したような画像に変換し、スクリーン４に投影する。このため、撮影装置は、撮影画像の原稿５部分を切り出し、切り出した原稿画像の斜め歪みの検出処理を行う。
【００２５】
このため、書画カメラ１は、図３に示すように、画像データ生成部２１と、データ処理部２２と、からなる。画像データ生成部２１は、原稿５を撮影して原稿画像のデータを取り込むためのものである。
【００２６】
尚、画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に備えられてもよいし、画像データ生成部２１、データ処理部２２が、カメラ部１１に備えられてもよい。
【００２７】
画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。
【００２８】
光学レンズ装置１０１は、原稿５を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。
【００２９】
イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。
【００３０】
データ処理部２２は、画像データ生成部２１から、撮影対象の画像データを取得して、コンピュータ２、プロジェクタ３に出力するための画像の処理を行うものである。
【００３１】
データ処理部２２は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ２０６と、ＰＣインタフェース装置２０７と、から構成される。
【００３２】
メモリ２０１は、画像データ、フラグの値、閾値等を記憶するものである。メモリ２０１は、これらのデータが書き込まれる領域として、図４に示すように、センサ画像記憶領域２０１ａと、処理画像記憶領域２０１ｂと、表示画像記憶領域２０１ｃと、作業データ記憶領域２０１ｄと、閾値記憶領域２０１ｅと、を有する。
【００３３】
センサ画像記憶領域２０１ａは、イメージセンサ１０２が取り込んだ画像データを、撮影する毎に一時記憶するための領域である。処理画像記憶領域２０１ｂは、画像処理装置２０３が処理に必要な画像データを書き込むための領域である。作業データ記憶領域２０１ｄは、座標データ、フラグを記憶するための領域である。閾値記憶領域２０１ｅは、各種判定に用いる閾値を記憶するための領域である。
【００３４】
ビデオ出力装置２０２は、ＲＧＢ信号を生成するものである。ビデオ出力装置２０２は、プロジェクタ３に接続されると、生成したＲＧＢ信号をプロジェクタ３に出力する。尚、ビデオ出力装置２０２は、ＲＧＢ信号をコンピュータ２を介してプロジェクタ３に送り出すように構成されてもよい。
【００３５】
画像処理装置２０３は、ＣＰＵ２０６に制御されて、メモリ２０１に一時記憶された画像データに対して画像処理を行うためのものである。画像処理装置２０３は、以下のような処理を行う。
【００３６】
単機能画像処理
（１）差分画像生成処理
（２）２値エッジ画像作成処理
（３）角度検出処理
（４）２値画像作成処理
（５）投影ヒストグラム作成処理
（６）領域座標変換処理
（７）画像変換処理（切り抜きと射影補正）
（８）画像の鮮明化処理
（９）画像の圧縮処理
複合機能画像処理
（１０）原稿有無判定処理
（１１）動画投影処理
（１２）原稿投影処理
【００３７】
（１）〜（９）の単機能画像処理は、単機能の画像処理であり、（１０）〜（１２）の複合機能画像処理は、（１）〜（９）のうちのいくつかの画像処理機能を組み合わせた処理である。この（１）〜（１２）までの処理を具体的に説明する。
（１）差分画像生成処理
差分画像生成処理は、原稿５が台座１３に載置されていないときの撮影画像を比較画像、原稿５が台座１３に載置されているときの撮影画像を対象画像として比較し、両画像の各ピクセルの差としての差分画像を生成する処理である。この差分画像は、次の数１によって表される。
【数１】
2006163821.tif 000003
【００３８】
比較画像ｒ、対象画像ｑが、それぞれ、図５（ａ），（ｂ）に示すような画像である場合、画像処理装置２０３は、両画像ｒ，ｑを比較して数１に従い、図５（ｃ）に示すような差分画像ｄを生成する。
【００３９】
この対象画像ｑが原画像であり、この差分画像ｄは、台座画像が除去されて原稿画像のみを含む処理画像であり、原稿画像が切り出し対象画像となる。この差分画像ｄの各ピクセルの色は、両画像ｒ，ｑの各ピクセル値の差が大きくなるに従って白に近づく。このようにして作成された差分画像をｄ(x,y)とする。画像処理装置２０３は、生成した差分画像ｄ(x,y)をメモリ２０１の処理画像記憶領域２０１ｂに記憶する。
【００４０】
（２）２値エッジ画像作成処理
２値エッジ画像作成処理は、画像のエッジを検出し、輪郭によって形成されるエッジ画像を作成する処理である。
【００４１】
エッジ画像を作成するには、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いる。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得し、平均化することによって、画像のエッジを検出するフィルタである。
【００４２】
ある着目した座標（x,y）の画素の画素値ｆ(x,y）にＲｏｂｅｒｔｓフィルタを適用すると、変換後の画素値ｇ(x,y）は、次の数２によって表される。
【数２】
2006163821.tif 000004
【００４３】
画像処理装置２０３は、差分画像生成処理において撮影画像を処理した差分画像に対し、さらに、このようにフィルタ処理を行い、得られたエッジ画像を２値化する。画像処理装置２０３は、画素値ｇ(x,y）を予め設定された閾値g_thと比較することにより、エッジ画像の２値化を行う。
【００４４】
閾値g_thは、固定値であってもよいし、可変閾値法等の方法によって求められた可変値であってもよく、メモリ２０１の閾値記憶領域２１０ｅに予め記憶される。画像処理装置２０３は、数２に基づいて得られたエッジ画像の画素値ｇ（x,y）から、数３を用いて２値エッジ画像の座標(x,y)における画素値ｈ(x,y)を求める。
【数３】
2006163821.tif 000005
【００４５】
画像処理装置２０３は、原稿画像の角度（傾き）を検出するために、図５（ｃ）に示すような差分画像ｄ(x,y)に対してこの処理を実行する。そして、画像処理装置２０３は、図５（ｄ）に示すような２値エッジ画像ｄjを生成する。
【００４６】
（３）角度検出処理
角度検出処理は、２値エッジ画像作成処理において得られた２値エッジ画像ｄjから、原稿画像の形状を示す輪郭による直線として、最も長い直線を取得し、その角度を検出する処理である。画像処理装置２０３は、この処理によって取得した直線の角度を、投影ヒストグラム作成処理においても用いる。
【００４７】
画像処理装置２０３は、まず、２値エッジ画像作成処理において作成した２値エッジ画像ｄjに対して、ハフ変換を行うことにより、原稿画像の輪郭を形成する直線を検出する。
【００４８】
ハフ変換とは、図６（ａ）に示すようなＸc−Ｙc平面上の直線を構成する点を、次の数４によって表される図６（ｂ）に示すようなρ-θ平面上に投票して、ρ-θ平面上の投票数に変換する変換手法である。
【数４】
2006163821.tif 000006
尚、Ｘc−Ｙc座標系は、撮影画像を基準として、その画像中心を原点とする画像座標系である。
【００４９】
各点の座標（ｘc、ｙc）において角度θを０から３６０°まで変化させた場合、同一直線はρ-θ平面では一点で表される。このため、投票数の多いρ-θ座標を直線と判断することができる。
【００５０】
ハフ変換を用いる手法では、調査対象の点、角度θが多くなるに従って、処理速度が低下する。この処理速度の低下を回避するため、必要な精度で角度の検出が可能となる程度に画像を縮小することが好ましい。このため、画像処理装置２０３は、矩形検出用の画像として、低解像度画像又は縮小画像を用いる。これにより、調査対象を減らすことができる。
【００５１】
さらに、以下の方法により調査角度を減らすことができる。
調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度θを０°≦θ＜１８０°の範囲で測定すれば、ρは残りの１８０°≦θ＜０°の範囲で負になる。
【００５２】
しかし、撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（四角形）の各辺は、上下左右に存在することになる。この場合、ρ-θ平面上の投票数を０°≦θ＜１８０°の範囲で調査するよりは、以下の数５で表される範囲で測定した方が、より効率的である。
【数５】
2006163821.tif 000007
【００５３】
従って、画像処理装置２０３は、数５に示す範囲で、ρ-θ平面上の投票数を調査する。そして、投票数にピーク値が現れれば、画像処理装置２０３は、このピーク値が原稿画像の輪郭を形成する直線によるものと判別し、このうち、投票数が最大の直線を直線候補とする。
【００５４】
さらに、画像処理装置２０３は、この直線候補の投票数と予め設定された閾値p_thとを比較し、投票数がこの閾値p_thを越えている場合、この直線候補は有効な投票数を確保しており、原稿画像の輪郭を形成する直線のうち、最長の直線として有効な直線と判定する。メモリ２０１は、この閾値p_thを閾値記憶領域２０１ｅに予め記憶する。
【００５５】
（４）２値画像作成処理
２値画像作成処理は、差分画像の各画素値と予め設定された閾値とを比較することにより、差分画像の各画素値を２値化して、その２値画像を作成する処理である。
【００５６】
差分画像ｄでは、原稿画像の輪郭エッジを特定しにくい場合がある。画像処理装置２０３は、このような誤判定を防止するため、図５（ｃ）に示すような差分画像ｄ(x,y)を２値化して、図５（ｅ）に示すような差分２値画像ｂ(x,y)を作成し、作成した差分２値画像ｂ(x,y)に基づいて原稿画像の領域を取得する。この差分２値画像ｂ(x,y)は、図５（ｅ）に示すように、原稿画像の輪郭による境界を、異なる画素値で表した２値画像になり、この境界で原稿画像の輪郭が明示される。
【００５７】
図５（ｃ）に示すような差分画像ｄ(x,y)の場合、画像処理装置２０３は、数３において、ｈ(x,y)＝ｄ(x,y)として、数３の演算を行うことにより、この図５（ｅ）に示す差分２値画像ｂ(x,y)を生成する。
【００５８】
（５）投影ヒストグラム作成処理
投影ヒストグラム作成処理は、２値画像作成処理において取得した差分２値画像ｂ(x,y)の投影ヒストグラムを作成する処理である。画像処理装置２０３は、差分２値画像ｂ(x,y)に基づいて原稿画像の領域を取得するためにこの処理を行う。
【００５９】
図５（ｅ）に示すような差分２値画像ｂ(x,y)の場合、画像処理装置２０３は、この処理を実行することにより、図７に示すような差分２値画像ｂ(x,y)の投影ヒストグラムHhθ，Hvθを作成する。
【００６０】
図５（ｅ）に示す差分２値画像ｂ(x,y)において、白い点は、画素値が予め設定された閾値を越える画素を表す。画像処理装置２０３は、この差分２値化画像ｂ(x,y)の画素値が閾値を越える白い点の画像中心原点座標(xc,yc)と直線検出処理において検出した原稿画像５qの角度θとを数４に代入し、このときの投票箱(ρ,θ)における投票数を次の数６に代入することにより、投影ヒストグラムHhθ，Hvθを求める。
【数６】
2006163821.tif 000008
【００６１】
このように、画像処理装置２０３は、この差分２値化画像ｂ(x,y)を、直線検出処理において検出した直線の角度θに基づいて設定された方向に走査し、着目した白い点の画素数を設定した方向に計数して投影ヒストグラムHhθ，Hvθを求める。
【００６２】
（６）領域座標変換処理
領域座標変換処理は、原稿画像５qの輪郭によって形成される矩形の４つの頂点を取得する処理である。画像処理装置２０３は、図７に示すような投影ヒストグラムHhθを一端Hhθ[0]から走査して、その立ち上がり位置hθs、hθlを取得する。また、画像処理装置２０３は、投影ヒストグラムHvθの一端Hvθ[0]から走査して、その立ち上がり位置vθs、vθlを取得する。
【００６３】
そして、画像処理装置２０３は、投影ヒストグラムHhθの立ち上がり位置hθs、hθlと投影ヒストグラムHvθの立ち上がり位置vθs、vθlと、原稿画像５qの角度θと、を次の数７に代入する。
【数７】
2006163821.tif 000009
数７は、原稿画像５qの輪郭をなす辺（の情報）を取得するための計算式である。画像処理装置２０３は、数７に示す連立方程式を解くことにより各辺の交点を求め、原稿画像５qの輪郭をなす矩形の４つの頂点座標を取得する。この４つの頂点座標データは、原稿画像５qの領域を特定するための座標データである。
【００６４】
（７）画像変換処理（切り抜き、射影補正）
画像変換処理は、画像の切り抜きと射影補正等を含む処理である。切り抜き処理は、領域座標変換処理において取得した矩形の４つの頂点に基づいて、撮影画像から原稿画像を切り抜く処理である。通常、補正を行わずに切り抜かれた原稿画像は歪んだものになる。
【００６５】
射影補正処理は、切り取った原稿画像を射影変換することにより、原稿画像の歪みを補正する処理である。画像処理装置２０３は、この歪みを補正するため、画像の空間変換に幅広く応用されているアフィン変換を用いる。画像処理装置２０３は、原稿画像等の元画像から、射影補正画像とのアフィン変換の関係を示すアフィンパラメータＡを抽出し、この変換Ａを用いて、求める射影補正画像の各画素Ｐ(u,v)に対応する元画像の画素点ｐ(x,y)を求めることによって射影補正を行う。
【００６６】
次に、アフィン変換についての基本的な考え方（実現方法）を説明する。
【００６７】
画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。変換前の座標(u,v）の点は、移動、拡大縮小、回転などの変換が行われることによって変換後の座標(x,y)になる。変換前の座標(u,v）と変換後の座標(x,y)とは、次の数８によって関係付けられる。射影変換はこのアフィン変換により行われる。
【数８】
2006163821.tif 000010
【００６８】
最終的な座標(x,y)は、次の数９によって算出される。
【数９】
2006163821.tif 000011
【００６９】
数９は、射影変換するための式であり、座標(x,y)は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。
【００７０】
図８は、カメラ部１１が四角形の撮影対象（台座１３、原稿５）を撮影した場合、撮影画像上の四角形と実際の撮影対象の形状との関係について説明するための図である。図中に各頂点の座標を示す。
【００７１】
図８において、Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象との距離を示す。
【００７２】
図８に示す撮影画像の仮想投影スクリーンＳは、カメラ部１１で撮影された画像が投影されるスクリーン４を仮想的に示したものであり、撮影対象の画像は、この仮想投影スクリーンＳに射影される。仮想投影スクリーンＳ上の座標系を（x,y）とすると、この仮想投影スクリーンＳ上に投影される画像がカメラ部１１に撮影される画像に対応する。
【００７３】
仮想投影スクリーンＳは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象上の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と仮想投影スクリーンＳと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数１０によって表される。
【数１０】
2006163821.tif 000012
数１０より、図８に示すように４つの頂点Ｐ0，Ｐ1，Ｐ2，Ｐ3と仮想投影スクリーンＳへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数１１に示す関係が求められる。
【数１１】
2006163821.tif 000013
このとき、射影係数α、βは次の数１２によって表される。
【数１２】
2006163821.tif 000014
【００７４】
次に、射影変換について説明する。撮影対象上の任意の点Ｐ=(x,y)は、Ｓ，Ａ，Ｂベクトルを用いて、次の数１３によって表される。
【数１３】
2006163821.tif 000015
この数１３に、数１１の関係式を代入すると、座標ｘとｙとは、次の数１４によって表される。
【数１４】
2006163821.tif 000016
この関係を、アフィン変換の式（数８）に当てはめると、座標（x',y',z'）は、次の数１５によって表される。
【数１５】
2006163821.tif 000017
この数１５にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。
【００７５】
上記ｍ，ｎは、予め補正画像ｐ(u,v)を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法により求められることが考えられる。この方法によれば、ｍ，ｎは次の数１６によって表される。
【数１６】
2006163821.tif 000018
【００７６】
しかし、作成される補正画像の縦横比と撮影対象の縦横比とは一致しない。ここで、補正画像ｐ(u,v)とｍ、ｎの値との関係は、数１０、１１から、次の数１７によって表される。
【数１７】
2006163821.tif 000019
【００７７】
カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１７に従って、縦横比ｋを求めることができる。従って、補正画像ｐ(u,v)の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１８に従ってｍ、ｎを求めることにより、撮影対象と同じ縦横比ｋを得ることができる。
【数１８】
2006163821.tif 000020
【００７８】
尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化する。この場合、例えば、そのズーム倍率とレンズの焦点距離ｆとの関係を示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１３，数１４に従って、射影変換を行う。
【００７９】
以上から、入力画像p(x,y)から、出力画像Ｐ(u,v)の値を得るためには、まず、４つの頂点(x0,y0),(x1,y1),(x2,y2),(x3,y3)から、数１２でα、βを求める。つぎに数１７に従って縦横比ｋを算出する。
【００８０】
次に、数１８で出力画像の座標値(u,v)から(m,n)を求め、この(m,n)を数１５に代入して、(x',y',z')を求め、数９から入力画像の対応画素の座標(x,y)を得る。
【００８１】
尚、対応画素の座標(x,y)は、整数になるとは限らない。このため、対応座標の画素座標は近傍の画素の座標から補間等を行って求められる。補間方法としてバイリニア法を用いればよい。バイリニア法による補間方法は、一方の画像（画像ｐ）の座標点（x,y）と対応する他方の画像（射影変換画像Ｐ）の座標点（u,v）を探し出し、一方の画像の座標点（x,y）の周辺４点の画素値から他方の画像の座標点（u,v）の画素値を求める方法である。バイリニア方による補間法を用いた場合、画素座標は数１９に従って求められる。
【数１９】
2006163821.tif 000021
【００８２】
（８）画像の鮮明化処理
画像の鮮明化処理は、切り出した画像を、輝度引き伸ばし、カラー補正等を行うことにより、視認性の優れた画像に修正する処理である。
【００８３】
画像処理装置２０３は、画像の鮮明化処理を行うため、切り出した画像から、画像効果補正用パラメータを抽出する。この画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。画像処理装置２０３は、抽出した画像効果補正用パラメータを、画像が鮮明化されるような値に変換することにより画像の鮮明化処理を行う。
【００８４】
（６）画像の圧縮
画像の圧縮処理は、プロジェクタ３に送り出す画像データを圧縮する処理である。
【００８５】
（１０）原稿有無判定処理
原稿有無判定処理は、台座１３に原稿５が載置されているか否かを判定する処理である。画像処理装置２０３は、この処理を、被写体が静止したときに実行する。
【００８６】
原稿５の有無判定には、図２に示すような台座１３に刻印された十字マーク１４が用いられる。画像処理装置２０３は、原稿５の有無判定を行うため、縮小画像の作成処理を実行して、撮影画像から、図９（ａ）に示すような縮小画像ｑを生成する。次に、画像処理装置２０３は、２値エッジ画像作成処理を実行して図９（ｂ）に示すようなエッジ画像ｑjを作成し、台座１３に刻印された十字マーク１４に対応する十字エッジ画像１４jの検出処理を実行する。
【００８７】
このため、画像処理装置２０３は、エッジ画像ｑjの中央部分の領域Area_1(x1≦x≦x2,y1≦y≦y2)内を縦走査方向に走査して、十字エッジ画像１４jの画素数をカウントする。
【００８８】
また、画像処理装置２０３は、２値エッジ画像ｆj(x,y)を横走査方向に走査して、十字エッジ画像１４jの画素数をカウントする。縦走査方向、横走査方向のカウント数は、次の数２０によって表される。
【数２０】
2006163821.tif 000022
【００８９】
数２０に従って、画像処理装置２０３は、中央部分Area_1を縦走査方向に走査したときの図９（ｃ）に示すようなヒストグラムHvを作成する。横走査方向についても、画像処理装置２０３は、同様にヒストグラムHhを作成する。
【００９０】
ヒストグラムHvの場合、画像処理装置２０３は、数２０に従って作成したヒストグラムHvの画素数に対して、図９（ｃ）の破線で示すような閾値Hv_thを設定する。この閾値Hv_thは、十字エッジ画像１４jによる縦走査方向の画素数のピーク値を検出するために予め設定された閾値である。メモリ２０１は、この閾値Hv_thと、横走査方向のヒストグラムHvの画素数に対して予め設定された閾値Hh_thと、を閾値記憶領域２０１ｅに記憶する。
【００９１】
画像処理装置２０３は、ヒストグラムHv，Hhに基づいて十字エッジ画像１４jの検出処理を行う。撮影画像に、図９（ｂ）に示すような十字エッジ画像１４jが含まれている場合、図９（ｃ）に示すように、十字マーク１４の幅に対応する間隔で、予め設定された閾値Hv_thを越えるような２つのピーク値が現れる。
【００９２】
縦走査方向、横走査方向において、それぞれ、２つのピーク値が閾値Hv_th、Hh_thを越えた場合、画像処理装置２０３は、十字エッジ画像１４jが検出されたと判定する。
【００９３】
尚、画像処理装置２０３は、検出した十字エッジ画像１４jの座標をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。画像処理装置２０３は、十字エッジ画像１４jの座標を位置ずれ領域を設定するために用いる。この位置ずれ領域は、台座１３に対するカメラ部１１の撮影方向の変化を判別するために用いられる。
また、画像処理装置２０３は、十字エッジ画像１４jの座標に基づいて台座画像の４つの頂点座標(xstand_i,ystand_i)を算出する（i=0,1,2,3）。画像処理装置２０３は、算出した４つの頂点座標(xstand_i,ystand_i)のデータを、原稿画像の輪郭を取得できなかった場合の画像切り出し用座標として用いる。画像処理装置２０３は、この４つの頂点座標(xstand_i,ystand_i)のデータをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。
【００９４】
一方、台座１３に原稿５が載置されている場合、それぞれ、閾値Hv_th、Hh_thを越えるような２つのピーク値は現れない。閾値Hv_th、Hh_thを越えるような２つのピーク値がなければ、画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定し、台座１３に原稿５が載置されていると判定する。
【００９５】
次に、十字エッジ画像１４jが検出された場合でも、画像処理装置２０３は、台座１３に原稿５が載置されていると判定することはできない。即ち、原稿５に十字マークが記載されている場合もあるからである。このため、画像処理装置２０３は、十字マーク１４を除いた台座１３の領域部分のエッジ数に基づいて、台座１３に原稿５が載置されているか否かを判定する。
【００９６】
まず、画像処理装置２０３は、図１０（ａ）に示すようなマスクパターンｗを用いて図１０（ｂ）に示すような台座切り出し画像ｔを取得する。このマスクパターンｗは、台座画像の輪郭１３q内側であって領域Area_1を除いた領域Area_2を有する。マスクパターンｗは、一種の２値画像であり、領域Area_2の画素値が１となるようなパターンである。
【００９７】
尚、このマスクパターンｗは予め作成されており、メモリ２０１は、このマスクパターンｗを処理画像記憶領域２０１ｂに予め記憶する。画像処理装置２０３は、このマスクパターンｗを処理画像記憶領域２０１ｂから読み出し、このマスクパターンｗを用いて台座切り出し画像ｔを取得する。
【００９８】
台座切り出し画像ｔを取得するための演算式は、次の数２１によって表され、画像処理装置２０３は、数２１に従って、台座切り出し画像ｔを取得する。
【数２１】
2006163821.tif 000023
領域Area_2内のエッジの画素値を１とすると、台座切り出し画像ｔは、その領域内のエッジ情報を表すことになる。
【００９９】
画像処理装置２０３は、このマスクパターンｗを用いて生成した台座切り出し画像ｔを取得し、さらに、台座切り出し画像ｔ内のエッジを構成する画素の画素数を計数する。台座切り出し画像ｔ内のエッジ総数Ecountは、数２２によって表され、画像処理装置２０３は、数２２に従って、エッジ総数Ecountを取得する。
【数２２】
2006163821.tif 000024
【０１００】
ここで、台座１３にごみが付着していたり、台座１３に傷があったりすると、ごみや傷等によるエッジを、原稿５に記載された文字や図形によるエッジであると誤判定してしまう。このような誤判定を防止するため、画像処理装置２０３は、予め設定された閾値Ecount_thと検出したエッジ総数Ecountとを比較して、台座１３に原稿５が載置されているか否かを判定する。
【０１０１】
傷等による画像のエッジ数は、台座１３に原稿５が載置された場合に検出されたエッジの数と比較して著しく少なくなる。従って、閾値Ecount_thとエッジ総数Ecountとを比較することにより、検出されたエッジが台座１３に付着したごみや、台座１３の傷等によるものなのか、原稿５に記載された文字や図形によるものなのかを判定することができる。
【０１０２】
メモリ２０１は、この閾値Ecount_thを閾値記憶領域２０１ｅに予め記憶する。エッジ総数Ecountが閾値Ecount_th以上であれば、検出されたエッジは、原稿５に記載された文字や図形によるものであり、画像処理装置２０３は、台座１３に原稿５が載置されていることを示すため、原稿５の有無判別用の原稿有無結果フラグのフラグ値をセットして、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。
【０１０３】
一方、画像処理装置２０３は、エッジ総数Ecountが閾値Ecount_th未満であれば、検出されたエッジが台座１３に付着したごみや、台座１３の傷等によるものと判定する。即ち、画像処理装置２０３は、台座１３に原稿５が載置されていないと判定する。
【０１０４】
（１１）動画投影処理
動画投影処理は、原稿５が載置される前、あるいは原稿５の差し替えを行っているときに、プロジェクタ３を介してリアルタイムに現在の画像を投影する処理である。
【０１０５】
画像処理装置２０３は、画像データ生成部２１から取り込まれた低解像度画像をメモリ２０１のセンサ画像記憶領域２０１ａから読み出し、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーして画像圧縮処理を行う。
【０１０６】
（１２）原稿投影処理
原稿投影処理は、原稿５が載置されて静止しているときに、プロジェクタ３に図２１（ｃ）に示すような変換画像をスクリーン４に投影させる処理である。
【０１０７】
画像処理装置２０３は、図２１（ｃ）に示すような変換画像を生成するため、画像変換処理を実行して原稿５の画像を切り出す。この際、台座画像の輪郭が原稿画像の輪郭の認識に影響を及ぼすため、画像処理装置２０３は、台座画像の輪郭を除去する。
【０１０８】
このため、画像処理装置２０３は、差分画像生成処理を実行して差分画像ｄ(x,y)を生成する。画像処理装置２０３は、２値エッジ画像作成処理を実行して、２値エッジ画像ｄjを作成する。画像処理装置２０３は、角度検出処理を実行して、原稿画像の矩形領域の角度θを求める。画像処理装置２０３は、２値画像作成処理を実行して、差分画像ｄ(x,y)から、差分２値画像ｂ(x,y)を生成する。
【０１０９】
画像処理装置２０３は、投影ヒストグラム作成処理を実行し、矩形領域の傾きθとこの差分２値画像ｂ(x,y)とから、原稿画像の投影ヒストグラムHhθ，Hvθを生成する。
【０１１０】
画像処理装置２０３は、領域座標変換処理を実行し、原稿画像の矩形領域の傾きθと、生成した投影ヒストグラムHhθ，Hvθと、から、矩形領域の４つの頂点座標を取得する。
【０１１１】
尚、画像処理装置２０３は、原稿画像の輪郭の取得に成功した場合には、取得した矩形領域の４頂点の座標データをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。
【０１１２】
一方、画像処理装置２０３は、原稿画像の輪郭の取得に失敗した場合、原稿有無判定処理において、メモリ２０１の作業データ記憶領域２０１ｄに記憶した台座画像の輪郭の頂点を切り出しの４頂点として用いる。
【０１１３】
画像処理装置２０３は、取得した頂点座標の値を、高解像度画像の座標系に変換する。例えば、画像処理装置２０３は、取得した４つの頂点をそれぞれ、(xi,yi)（i＝0,1,2,3）とする。
【０１１４】
低解像度画像の縮小画像の画素サイズを（xsmax,ysmax）、高解像度画像の画素サイズを（xhmax,yhmax）とすると、高解像度画像での矩形輪郭の頂点（x'i,y'i）（i＝0,1,2,3）は、次の数２３によって求められる。
【数２３】
2006163821.tif 000025
画像処理装置２０３は、数２３に従って矩形輪郭の頂点（x'i,y'i）を取得し、画像変換処理を実行して、原稿画像の切り出しと正面画像の補正を行う。また、画像処理装置２０３は、補正された画像に対して、前述の画像の鮮明化処理を実行して、原稿画像を視認性の高い画像に変換する。
【０１１５】
画像処理装置２０３は、このように変換した画像データを、メモリ２０１内の表示画像記憶領域２０１ｃに記録し、記録した画像データに対して、前述の画像の圧縮処理を実行する。
【０１１６】
図３に戻り、操作部２０４は、ユーザの操作情報を取得するためのものであり、撮影装置の機能を制御するためのスイッチ、キーとして、電源スイッチと、モードスイッチと、シャッターと、画像調整キーと、撮影／解除キーと、を備える（図示せず）。
【０１１７】
電源スイッチは、書画カメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。
モードスイッチは、撮影モードとして静止画モードと動画動作モードとのいずれかを設定するためのスイッチである。
【０１１８】
シャッターは、撮影時に押下するスイッチである。画像調整キーは、画像処理を行うとき又は画像処理された画像の調整を行うときに操作するキーであり、複数のキーからなる。
【０１１９】
操作部２０４は、ユーザがスイッチ、キーを操作したときの操作情報をＣＰＵ２０６に出力する。
【０１２０】
プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。
【０１２１】
ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御する。尚、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。
【０１２２】
ＣＰＵ２０６は、操作部２０４のモードスイッチの状態を判別し、撮影モードを動画動作モード又は静止画モードに設定する。
【０１２３】
また、ＣＰＵ２０６は、台座１３等、撮影範囲内の被写体に動きがあるか否かの判定を行う。ＣＰＵ２０６は、この判定を画像変化量ＭＤに基づいて行う。この画像変化量ＭＤは、新たに撮影した画像が前回撮影した時の画像と比較してどれぐらい変化したかを示す量である。ＣＰＵ２０６は、次の数２４に基づいて、画像変化量ＭＤを求める。
【数２４】
2006163821.tif 000026
【０１２４】
尚、全画素の総和を求めるには、計算量が多いので、ＣＰＵ２０６は、いくつかの画素を抜き出して画像変化量ＭＤを求めるようにしてもよい。
【０１２５】
ＣＰＵ２０６は、撮影範囲内の被写体に動きがあるか否かの判定を、この画像変化量ＭＤと予め設定された閾値MD_thとを比較することにより行う。閾値MD_thは、この判定を行うために予め設定されたものであり、メモリ２０１は、この閾値MD_thを閾値記憶領域２０１ｅに予め記憶する。
【０１２６】
原稿４を差し替える場合、撮影画像は変化し、画像変化量ＭＤは閾値MD_thを越える。ＣＰＵ２０６は、画像変化量ＭＤが閾値MD_thを越えていれば、撮影範囲内の被写体に動きがあると判定し、閾値MD_th以下であれば、撮影範囲内の被写体に動きがないと判定する。
【０１２７】
尚、ＣＰＵ２０６は、撮影範囲内の被写体に動きがあると判定すると、撮影モードを動画動作モードに設定する。動画動作モードは、リアルタイム性を重視するモードである。
【０１２８】
ＣＰＵ２０６は、動画動作モードにおいて、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度の画像を３０ｆｐｓ（フレーム/秒）の速さで動画投影を行なうように、各部を制御する。
【０１２９】
また、原稿５が台座１３に載置されたまま、スクリーン４に原稿５の画像を投影している場合、撮影範囲内の被写体の動きが停止する。この場合、ＣＰＵ２０６は、被写体に動きがないと判定して、撮影モードを静止画モードに設定する。静止画モードは、解像度を重視するモードである。
【０１３０】
ＣＰＵ２０６は、静止画モードにおいて、カメラ部１１で高解像度の画像撮影を行わせる。そして、ＣＰＵ２０６は、動画動作モード時よりも解像度が高く、より鮮明な原稿画像を取得する。そして、ＣＰＵ２０６は、この高解像度の静止画像の投影を行うように、各部を制御する。例えば、カメラ部１１が撮影解像度３００万画素のカメラである場合、ＣＰＵ２０６は、静止画モードにおいて、切り出した投影画像としてＸＧＡ（１０２４×７６８）の静止画像を生成するにように各部を制御する。
【０１３１】
また、ＣＰＵ２０６は、メモリ２０１の作業データ記憶領域２０１ｄに記憶された原稿有無判定フラグのフラグ値を参照して、台座１３に原稿５が載置されているか否かを判定する。
【０１３２】
ＣＰＵ２０６は、台座１３に原稿５が載置されていないと判定した場合、さらに、十字エッジ画像１４jの位置が、予め設定された位置ずれ領域内か否かを判定する。
【０１３３】
十字エッジ画像１４jの位置が位置ずれ領域外と判定した場合、台座１３に対するカメラ部１１の撮影方向が変わっている可能性があるため、ＣＰＵ２０６は、ユーザに警告を発する。警告は、例えば、音声による警告であっても、書画カメラ１の液晶ディスプレイ（図示せず）への表示による警告であってもよい。
【０１３４】
ＰＣインタフェース装置２０７は、画像データ等を、ＵＳＢ（Universal Serial Bus）規格のデータに変換し、通信ケーブル３１を介してコンピュータ２に送信するとともに、コンピュータ２からのデータ、信号を受信するためのものである。
【０１３５】
コンピュータ２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置（ＨＤＤ）等を備えたものであり、書画カメラ１から通信ケーブル３１を介して画像データを受信し、圧縮された画像データをデコードして、描画処理又はファイル保存処理を行う。書画撮影の場合、コンピュータ２は、描画処理を行い、ビデオ映像ケーブル３２を介してプロジェクタ３に画像データを供給する。ボード撮影の場合、コンピュータ２は、デコードした画像データをファイル保存する。
【０１３６】
プロジェクタ３は、書画撮影の場合に、コンピュータ２から供給された画像データを投影光に変換し、スクリーン４にこの投影光を照射して原稿５の画像をスクリーン４上の画像を結像させるものである。
【０１３７】
次に実施形態１に係る撮影装置の動作を説明する。
ユーザが書画カメラ１の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０６からプログラムコードを読み出してカメラ基本処理を実行する。
【０１３８】
このカメラ基本投影処理の内容を図１１に示すフローチャートに従って説明する。
ＣＰＵ２０６は、光学レンズ装置１０１の周辺回路を制御して、光学レンズ装置１０１の焦点、ズームレンズ位置、絞りなどのカメラ設定と、ビデオ出力装置２０２等の初期化と、を行う（ステップＳ１１）。
【０１３９】
ＣＰＵ２０６は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化を行うとともに、撮影モードを動画動作モードにセットする（ステップＳ１２）。
【０１４０】
次に、ＣＰＵ２０６は、撮影が最適になる条件を探して最適条件となるように、各データの初期化を行う（ステップＳ１３）。
【０１４１】
ＣＰＵ２０６は、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせる（ステップＳ１４）。
【０１４２】
ＣＰＵ２０６は、既にメモリ２０１のセンサ画像記憶領域２０１ａに記憶されている前回の画像データと、イメージセンサ１０２が新たに取り込んだ画像データとの画像変化量ＭＤを、数２４を用いて求める（ステップＳ１５）。
【０１４３】
ＣＰＵ２０６は、次に撮影する画像と比較するための画像データとして、イメージセンサ１０２が取り込んだ画像データをメモリ２０１のセンサ画像記憶領域２０１ａに記憶する（ステップＳ１６）。
【０１４４】
ＣＰＵ２０６は、メモリ２０１の閾値記憶領域２０１ｅから閾値MD_thを読み出し、求めた画像変化量ＭＤと読み出した閾値MD_thとを比較することにより、撮影範囲内の被写体に動きがあるか否かを判定する（ステップＳ１７）。
【０１４５】
画像変化量ＭＤが閾値MD_thを越えている場合、ＣＰＵ２０６は、撮影範囲内の被写体に動きがあると判定する（ステップＳ１７においてＹｅｓ）。この場合、ＣＰＵ２０６は、撮影モードを動画動作モードに設定する（ステップＳ１８）。
【０１４６】
ＣＰＵ２０６は、撮影モードを動画動作モードに設定すると、画像処理装置２０３に動画投影処理を実行させる（ステップＳ１９）。画像処理装置２０３、ビデオ出力装置２０２は、図１２に示すフローチャートに従って動画投影処理を実行する。
【０１４７】
即ち、画像処理装置２０３は、低解像度画像のデータを、メモリ２０１のセンサ画像記憶領域２０１ａから読み出して、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーする（ステップＳ３１）。
【０１４８】
画像処理装置２０３は、メモリ２０１内の表示画像記憶領域２０１ｃに記憶された画像データを圧縮する（ステップＳ３２）。
ビデオ出力装置２０２は、圧縮した画像データをプロジェクタ３に送信する（ステップＳ３３）。
【０１４９】
画像処理装置２０３、ビデオ出力装置２０２が動画投影処理を実行すると、ＣＰＵ２０６は、再度、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせ、画像変化量ＭＤを求めて撮影画像の保存を行う（図１１のステップＳ１４〜Ｓ１６）。
【０１５０】
画像変化量ＭＤが閾値MD_th以下の場合、ＣＰＵ２０６は、撮影範囲内の被写体に動きがないと判定する（ステップＳ１７においてＮｏ）。この場合、ＣＰＵ２０６は、撮影モードが動画動作モードであるか否かを判定する（ステップＳ２０）。
【０１５１】
撮影モードが動画動作モードではないと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ２０６は、撮影モードが静止画モードになっているか否かを判定する（ステップＳ２１）。
【０１５２】
静止画モードになっていると判定した場合（ステップＳ２１においてＹｅｓ）、ＣＰＵ２０６は、高解像度の静止画像を既に取得しているとして、現在の静止画像をメモリ２０１のセンサ画像記憶領域２０１ａに保持し続ける。
【０１５３】
静止画モードにはなっていないと判定した場合（ステップＳ２１においてＮｏ）、ＣＰＵ２０６は、再度、画像処理装置２０３に動画投影処理を実行させる（ステップＳ１９）。
【０１５４】
一方、被写体に動きがなく、撮影モードが動画動作モードであると判定した場合（ステップＳ１７においてＮｏ、ステップＳ２０においてＹｅｓ）、ＣＰＵ２０６は、被写体の動きが停止したと判定する。ＣＰＵ２０６は、このように判定すると、図１３に示すフローチャートに従って静止処理を実行する（ステップＳ２２）。
【０１５５】
ＣＰＵ２０６は、まず、画像処理装置２０３に原稿有無判定処理を実行させる（ステップＳ４１）。
【０１５６】
画像処理装置２０３は、図１４に示すフローチャートに従って原稿有無判定処理を実行する。
即ち、画像処理装置２０３は、メモリ２０１のセンサ画像記憶領域２０１ａから低解像度画像を読み出して、この低解像度画像に対して２値エッジ画像作成処理を実行し、２値エッジ画像を生成する（ステップＳ６１）。
【０１５７】
画像処理装置２０３は、生成した２値エッジ画像から、十字エッジ画像１４jの検出を行う（ステップＳ６２）。即ち、画像処理装置２０３は、メモリ２０１の閾値記憶領域２０１ｅから閾値Hv_th，Hh_thを読み出し、それぞれ、縦走査方向のピーク値と閾値Hv_thとを比較し、横走査方向のピーク値と閾値Hh_thとを比較する。
【０１５８】
画像処理装置２０３は、その比較結果に基づいて、十字エッジ画像１４jが検出されたか否かを判定する（ステップＳ６３）。
【０１５９】
縦走査方向のピーク値が閾値Hv_th以下であるか、横走査方向のピーク値が閾値Hh_th以下である場合（ステップＳ６３においてＮｏ）、画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定する。
【０１６０】
画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定すると、台座１３に原稿５が載置されていると判定して原稿有無結果フラグをセットする（ステップＳ６４）。画像処理装置２０３は、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。
【０１６１】
一方、十字エッジ画像１４jが検出されたと判定した場合（ステップＳ６３においてＹｅｓ）、画像処理装置２０３は、マスクパターンｗを用い、数２１に示す台座切り出しエッジ画像ｔを作成する（ステップＳ６５）
【０１６２】
画像処理装置２０３は、この台座切り出しエッジ画像ｔから、エッジを構成する画素の画素数をカウントし、数２２に従って、エッジ総数Ecountを取得する（ステップＳ６６）。
【０１６３】
画像処理装置２０３は、閾値記憶領域２０１ｅから閾値Ecount_thを読み出して、取得したエッジ総数Ecountと閾値Ecount_thとを比較し、エッジ総数Ecountが閾値Ecount_th未満か否かを判定する（ステップＳ６７）。
【０１６４】
カウントしたエッジ総数Ecountが閾値Ecount_th未満であると判定した場合（ステップＳ６７においてＹｅｓ）、画像処理装置２０３は、検出した十字エッジ画像１４jが台座１３に刻印された十字マーク１４によるものと判定する。そして、画像処理装置２０３は、このときの低解像度画像を比較画像ｒとしてメモリ２０１の処理画像記憶領域２０１ｂに記憶する（ステップＳ６８）。
【０１６５】
画像処理装置２０３は、十字エッジ画像１４jの位置を記憶する（ステップＳ６９）。
【０１６６】
画像処理装置２０３は、台座１３に原稿５は載置されていないものとして原稿有無結果フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する（ステップＳ７０）。
【０１６７】
一方、カウントしたエッジ総数Ecountが閾値Ecount_th以上と判定した場合（ステップＳ６７においてＮｏ）、画像処理装置２０３は、検出した十字エッジ画像１４jは原稿５に記載された十字マークによるものと判定する。そして、画像処理測地２０３は、原稿有無結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。（ステップＳ６４）。
【０１６８】
ＣＰＵ２０６は、原稿有無結果フラグのフラグ値に基づいて、台座１３に原稿５が載置されているか否かを判定する（図１３のステップＳ４２）。
【０１６９】
原稿有無結果フラグがリセットされている場合、ＣＰＵ２０６は、台座１３に原稿５は載置されていないと判定する（ステップＳ４２においてＮｏ）。このように判定すると、ＣＰＵ２０６は、十字エッジ画像１４jの位置が予め設定された位置ずれ領域内か否かを判定する（ステップＳ４３）。
【０１７０】
十字エッジ画像１４jの位置が位置ずれ領域外と判定した場合（ステップＳ４３においてＮｏ）、ＣＰＵ２０６は、台座１３に対するカメラ部１１の撮影方向が正しいか否か、ユーザに注意を促すため、警告を発する（ステップＳ４４）。
【０１７１】
十字エッジ画像１４jの位置が位置ずれ領域内と判定した場合（ステップＳ４３においてＹｅｓ）、ＣＰＵ２０６は、この静止処理を終了させる。
【０１７２】
一方、原稿有無結果フラグがセットされている場合、ＣＰＵ２０６は、台座１３に原稿５が載置されていると判定する（ステップＳ４２においてＹｅｓ）。この場合、ＣＰＵ２０６は、撮影モードを静止画モードに設定する（ステップＳ４５）。
【０１７３】
ＣＰＵ２０６は、低解像度画像を輪郭検出用画像としてメモリ２０１の処理画像記憶領域２０１ｂに記憶する（ステップＳ４６）。
ＣＰＵ２０６は、画像データ生成部２１を制御して撮影条件を最適化する（ステップＳ４７）。
【０１７４】
ＣＰＵ２０６は、画像データ生成部２１を制御して、高解像度で撮影を行わせる（ステップＳ４８）。ＣＰＵ２０６は、イメージセンサ１０２が取り込んだ高解像度画像を原稿画像切り出し用の画像として、そのデータをメモリ２０１の処理画像記憶領域２０１ｂに記憶する。
【０１７５】
ＣＰＵ２０６は、撮影条件を基準に戻す（ステップＳ４９）。
ＣＰＵ２０６は、画像処理装置２０３に原稿投影処理を実行させる（ステップＳ５０）。
【０１７６】
画像処理装置２０３は、図１５及び図１６に示すフローチャートに従って、原稿投影処理を実行する。
即ち、画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂに保存した画像を比較画像ｒとして読み出し、数１に従い、低解像度の対象画像ｑと比較画像ｒとの差分画像ｄを生成する（ステップＳ８１）。画像処理装置２０３は、生成した差分画像ｄをメモリ２０１の処理画像記憶領域２０１ｂに記憶する。
【０１７７】
画像処理装置２０３は、処理画像記憶領域２０１ｂから差分画像ｄを読み出し、この差分画像ｄに対して２値エッジ画像作成処理を実行して、差分画像ｄの２値エッジ画像ｄjを作成する（ステップＳ８２）。即ち、画像処理装置２０３は、差分画像ｄの各画素値に、数２に示すＲｏｂｅｒｔｓフィルタを適用し、さらに数３を用いて、差分画像ｄ(x,y)の２値エッジ画像ｄjを生成する。
【０１７８】
画像処理装置２０３は、作成した２値エッジ画像ｄjから直線を検出するため、数４を用いて４５°≦θ＜２２５°の範囲において、数４に従い、ハフ変換投票を行う（ステップＳ８３）。
【０１７９】
画像処理装置２０３は、投票の結果、ハフ変換投票数が最大の直線を候補として取得する（ステップＳ８４）。
画像処理装置２０３は、取得した直線候補の角度θを取得する（ステップＳ８５）。
【０１８０】
画像処理装置２０３は、直線候補の投票数と予め設定された閾値p_thとを比較して、直線候補の投票数が有効な投票数を確保しているか否かを判別し、直線候補が有効な直線か否かを判定する（図１６のステップＳ８６）。
【０１８１】
直線候補が有効な直線と判定した場合（ステップＳ８６においてＹｅｓ）、画像処理装置２０３は、差分画像ｄに対して２値画像作成処理を実行し、差分画像ｄの２値画像ｂ(x,y)を生成する（ステップＳ８７）。即ち、画像処理装置２０３は、数３において、ｈ(x,y)＝ｄ(x,y)として、数３の演算を行うことにより、差分２値画像ｂ(x,y)を生成する。
【０１８２】
画像処理装置２０３は、直線の角度から２値画像ｂ(x,y)のＸ軸方向、Ｙ軸方向の各投影ヒストグラムHhθ，Hvθを生成する（ステップＳ８８）。即ち、画像処理装置２０３は、生成した２値画像ｂ(x,y)に対して、差分２値化画像ｂ(x,y)の画素値が閾値を越えた点の画像中心原点座標(xc,yc)と、取得した角度θと、を数４に代入する。そして、画像処理装置２０３は、このときの投票箱(ρ,θ)における投票数を数６に代入し、Ｘ軸方向、Ｙ軸方向の各投影ヒストグラムHhθ，Hvθを生成する。
【０１８３】
画像処理装置２０３は、領域座標変換処理を実行して原稿画像５qの輪郭をなす矩形の上下左右辺の４つの直線を取得する（ステップＳ８９）。即ち、画像処理装置２０３は、領域座標変換処理として、生成した投影ヒストグラムHhθ，Hvθのそれぞれの立ち上がり位置hθs、hθlと角度θとを数７に代入して、４つの直線を取得する。
【０１８４】
画像処理装置２０３は、数７の連立方程式を解くことにより、４つの直線の交点を取得する（ステップＳ９０）。
画像処理装置２０３は、検出した交点を原稿画像５qの輪郭をなす矩形の４つの頂点座標として、切り出し領域に設定する（ステップＳ９１）。
【０１８５】
一方、直線候補が有効な直線ではないと判定した場合（ステップＳ８６においてＮｏ）、画像処理装置２０３は、原稿有無判定処理において記憶した台座画像の輪郭の４頂点座標(xstand_i,ystand_i)のデータを、メモリ２０１の作業データ記憶領域２０１ｄから読み出す。そして、画像処理装置２０３は、この４つの頂点座標(xstand_i,ystand_i)を切り出しの４頂点として、切り出し領域を設定する（ステップＳ９２）。
【０１８６】
画像処理装置２０３は、このように切り出し領域を設定すると、設定された４つの頂点座標の値を高解像度画像の座標系に変換し、変換した座標と、高解像度画像データとに基づいて、原稿画像の切り出しと正面画像への補正を行う（ステップＳ９３）。
【０１８７】
画像処理装置２０３は、補正した画像に対して画像の鮮明化処理を行い、補正画像を視認性の高い画像に変換する（ステップＳ９４）。
【０１８８】
画像処理装置２０３は、この鮮明化処理を施した切り出し画像を表示する（ステップＳ９５）。
画像処理装置２０３は、鮮明化処理を施した切り出し画像をメモリ２０１の表示画像記憶領域２０１ｃに記録して、圧縮処理を行う（ステップＳ９６）。
【０１８９】
画像処理装置２０３は、圧縮した画像データを、ＰＣインタフェース装置２０７を介してコンピュータ２に送信する（ステップＳ９７）。また、ビデオ出力装置２０２は、圧縮した画像データをプロジェクタ３に供給する。
【０１９０】
画像処理装置２０３がこのような原稿投影処理を実行すると、ＣＰＵ２０６は、図１３に示す静止処理を終了させ、再び、画像データ生成部２１に、低解像度でのカメラ撮影を行わせる（図１１のステップＳ１４）。
【０１９１】
以上説明したように、本実施形態１によれば、画像処理装置２０３は、差分画像の２値エッジ画像のエッジを利用して、差分画像ｄに対する原稿画像の角度θを取得し、差分画像の２値画像の投影ヒストグラムHhθ，Hvθに基づいて、原稿画像の領域を取得するようにした。
【０１９２】
従って、表の罫線が記載された原稿５のように、罫線を原稿５の輪郭と誤って判別することもなく、原稿画像の輪郭だけでは特定しにくい原稿画像の領域を、確実に特定することができる。
【０１９３】
（実施形態２）
実施形態２に係る撮影装置は、台形歪みを考慮して、原稿画像の上下左右の辺について、それぞれ、投影ヒストグラムを生成し、原稿画像の領域を取得するようにしたものである。
【０１９４】
実施形態２の画像処理装置２０３は、縦横それぞれのエッジ画像を作成する。即ち、画像処理装置２０３は、原稿画像の上下左右の辺について、それぞれ、ヒストグラムを生成する。画像処理装置２０３は、エッジ画像の段階から、それぞれ、数２５、数２６に示すフィルタを用いて縦エッジ画像、横エッジ画像を生成する。
【数２５】
2006163821.tif 000027
【数２６】
2006163821.tif 000028
この数２５、数２６に示すフィルタは、それぞれ、縦方向のエッジにのみに反応するフィルタ、横方向のエッジにのみ反応するフィルタである。
【０１９５】
画像が図５（ｅ）に示すような差分２値画像ｂ(x,y)である場合、画像処理装置２０３は、それぞれ、数２５、数２６に示すフィルタを用いて、図１７（ａ），（ｂ）にそれぞれ示すような縦エッジ画像、横エッジ画像を生成する。
【０１９６】
次に、画像処理装置２０３は、４辺の角度を独立して検出する。即ち、画像処理装置２０３は、数５に従い、ハフ変換の範囲を横エッジに対しては上下辺のみ、縦エッジに対しては左右辺のみに分けて、ハフ変換を行う。これにより、多くなりがちなハフ変換の計算量を低減しつつ、４辺の角度を独立して検出することが可能となる。
【０１９７】
次に、画像処理装置２０３は、角度の補正を行う。取得した角度が最大投票数の辺に対して大きく異なる場合、又は投票数が小さすぎる場合、取得した角度は誤って取得された可能性がある。
【０１９８】
この場合、画像処理装置２０３は、各辺の投票数を参照し、最大投票数を有する辺の有効な直線の角度から、各直線の角度に範囲を設定する。そして、画像処理装置２０３は、この設定した範囲を超える直線の角度を誤りの可能性のある直線の角度と判定し、この直線の角度に代えて、有効と判定した直線の角度に基づいて設定した角度を用いる、角度が誤っている可能性ありと判定された辺が、最大投票数の直線の辺と平行である場合、画像処理装置２０３は、最大投票数の辺の角度をその辺の角度とする。
【０１９９】
角度が誤っている可能性ありと判定された辺が、最大投票数の直線の辺と垂直である場合、画像処理装置２０３は、最大投票数を有する辺が上下辺か左右辺かによって、処理内容を設定する。即ち、最大投票数を有する辺が上下辺の場合、画像処理装置２０３は、この上下辺の角度に９０°を加算した角度を、左右辺の角度とする。一方、最大投票数を有する辺が左右辺の場合、画像処理装置２０３は、この左右辺の角度に９０°を減算した角度を、上下辺の角度とする。
【０２００】
次に、画像処理装置２０３は、上下左右独立して取得した角度を数４に代入し、求めた投票数ρを、次の数２７に代入して、上下左右辺の投影ヒストグラムをそれぞれ生成する。
【数２７】
2006163821.tif 000029
このようにして、画像処理装置２０３は、画像に台形歪みがあった場合でも、この画像から正しい辺の角度を取得する。
【０２０１】
次に実施形態２に係る撮影装置の動作を説明する。
実施形態２に係る撮影装置の書画カメラ１は、図１８及び図１９に示すフローチャートに従って、原稿投影処理（２）を実行する。
【０２０２】
画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂに保存した画像を比較画像ｒとして読み出し、数１に従い、低解像度の対象画像ｑと比較画像ｒとの差分画像ｄを生成する（ステップＳ１０１）。画像処理装置２０３は、生成した差分画像ｄをメモリ２０１の処理画像記憶領域２０１ｂに記憶する。
【０２０３】
画像処理装置２０３は、処理画像記憶領域２０１ｂから差分画像ｄを読み出し、数２５に従い、差分画像ｄの横エッジ画像を作成する（ステップＳ１０２）。
【０２０４】
画像処理装置２０３は、横エッジ画像から上下辺の直線を検出するため、数４に従い、４５°≦θ＜１３５°の範囲において、ハフ変換投票を行う（ステップＳ１０３）。
【０２０５】
画像処理装置２０３は、投票の結果、判別した最大投票数のρがプラスの場合は上の辺の直線を、マイナスの場合は下の辺の直線を最大投票数の直線と判定して、この範囲で投票数が最大の直線を取得する（ステップＳ１０４）。
【０２０６】
画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂから差分画像を読み出し、数２５に従い、読み出した差分画像の縦エッジ画像を作成する（ステップＳ１０５）。
【０２０７】
画像処理装置２０３は、直線を検出するため、数４に従い、１３５°≦θ＜２２５°の範囲でハフ変換投票を行う（ステップＳ１０６）。
【０２０８】
画像処理装置２０３は、投票の結果、判別した最大投票数のρがプラスの場合は左の辺の直線が、マイナスの場合は右の辺の直線が最大投票数の直線と判定して、この範囲で投票数が最大の直線を取得する（ステップＳ１０７）。
【０２０９】
画像処理装置２０３は、さらに、２つの投票結果から取得した２つの投票数を比較して、すべての直線の中で最大の投票数を判別し、判別した最大投票数の直線を最大得票候補として、その直線の辺が上下左右辺のいずれであるか、その位置を判別する。そして、画像処理装置２０３は、判別した位置とその角度とを取得する（ステップＳ１０８）。
【０２１０】
画像処理装置２０３は、位置と角度とを取得した直線の投票数と予め設定した閾値p_thとを比較して、最大得票候補の投票数が有効な投票数を確保しているか否かを判別し、最大得票候補が有効な直線か否かを判定する（ステップＳ１０９）。
【０２１１】
最大得票候補が有効な直線と判定した場合（ステップＳ１０９においてＹｅｓ）、画像処理装置２０３は、他の辺について角度を誤って取得しないように、有効と判定した直線の角度と対象の辺の角度とを比較する。
【０２１２】
そして、画像処理装置２０３は、対象の辺の投票数が少なく、また、対象の辺の角度が、有効な直線の角度と著しく異なっている場合、この角度を補正する。即ち、画像処理装置２０３は、有効な直線の角度から、対象の辺の角度を求める。画像処理装置２０３は、求めた角度を対象の辺の角度として採用する（ステップＳ１１０）。
【０２１３】
画像処理装置２０３は、差分画像ｄに対して２値画像作成処理を実行し、差分画像ｄの２値画像ｂ(x,y)を作成する（ステップＳ１１１）。
画像処理装置」２０３は、取得した各角度を用い、上下左右辺のそれぞれについて投影ヒストグラムHhθ，Hvθを生成する（ステップＳ１１２）。
【０２１４】
画像処理装置２０３は、生成した投影ヒストグラムHhθ，Hvθの立ち上がり位置hθs、hθlと角度θとを数７に代入して、４つの直線を取得する（ステップＳ１１３）。
【０２１５】
画像処理装置２０３は、数７の連立方程式を解くことにより、４つの直線の交点を取得する（ステップＳ１１４）。
【０２１６】
画像処理装置２０３は、取得した交点に基づいて原稿画像の切り出し領域を設定する（ステップＳ１１５）。
【０２１７】
一方、最大得票候補が有効な直線ではないと判定した場合（ステップＳ１０９においてＮｏ）、画像処理装置２０３は、作業データ記憶領域２０１ｄから読み出した台座画像の輪郭の４頂点座標(xstand_i,ystand_i)のデータを切り出しの４頂点として、切り出し領域を設定する（ステップＳ１１６）。
【０２１８】
画像処理装置２０３は、数２３に従い、取得した頂点座標の値を高解像度画像の座標系の値に変換し、原稿画像の切り出しと正面画像への補正を行う（ステップＳ１１７）。
【０２１９】
そして、画像処理装置２０３は、実施形態１と同様に、画像の鮮明化処理、切り出し画像の表示、画像データの圧縮、圧縮した画像データの送信を行う（ステップＳ１１８〜Ｓ１２１）。
【０２２０】
以上説明したように、本実施形態２によれば、画像処理装置２０３は、原稿画像の上下左右の辺について、それぞれ、直線の角度θを取得し、投影ヒストグラムHhθ，Hvθを生成し、原稿画像の領域を取得するようにした。
【０２２１】
従って、撮影環境によって大きく歪んだ画像であっても、この画像から各辺の直線の角度θを正しく取得することができ、また、原稿画像の領域を正しく取得することができる。
【０２２２】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
【０２２３】
例えば、上記実施形態１，２において、２値エッジ画像を生成する際に、差分画像ｄのなかで原稿画像の領域の周囲にはエッジが存在しない。このため、画像処理装置２０３は、原稿画像の輪郭の近傍に範囲を設定し、エッジを原稿画像外側から一定量しか採用しないようにすることもできる。このようにして原稿画像内部のエッジを無効化し、これにより、原稿画像の領域内に含まれるエッジを無視することが可能になる。
【０２２４】
また、上記実施形態２では、画像処理装置２０３が、４辺の角度を独立して取得し、それぞれの角度を用いて投影ヒストグラムを作成するようにした。しかし、画像処理装置２０３は、独立して検出した４辺の角度を平均化することもできる。
【０２２５】
このようにすれば、４辺の角度を独立して取得しても、角度は１つになるため、実施形態１の原稿投影処理において、図１６のステップＳ８６以降の処理を行えばよい。
【０２２６】
この場合、上下辺と左右辺とは直交するため、画像処理装置２０３は、上下辺の角度から４５°減算、左右辺に４５°加算することにより、上下辺、左右辺の角度を同一の角度として処理することが可能になる。
【０２２７】
尚、最大投票数の辺と比較して、ハフ変換の投票数が著しく異なっている辺、又は角度θが著しく異なっている辺の場合、この辺は、誤って検出された可能性が高い。このため、画像処理装置２０３は、誤って検出された角度を除外して、４辺の角度を平均化することができる。
【０２２８】
上記実施形態１，２においては、画像処理装置２０１が差分画像ｄを生成し、この生成した差分画像ｄについて角度検出処理、２値画像作成処理、投影ヒストグラム作成処理、領域座標変換処理を実行するようにした。しかし、これらの処理の対象とする画像は、原稿５のみの撮影画像が得られれば、差分画像ｄに限られるものではない。
【０２２９】
上記実施形態では、コンピュータ２を備えるようにした。しかし、書画カメラ１がコンピュータ２の機能を備えたものであれば、必ずしもコンピュータ２を備えなくてもよい。
【０２３０】
逆に、コンピュータ２が書画カメラ１の機能を備え、コンピュータ２が画像処理を行うようにしてもよい。このようにすれば、カメラ部１１には、汎用のデジタルカメラを用いることもできる。
【０２３１】
また、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。そして、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【０２３２】
【図１】本発明の実施形態１に係る撮影装置の構成を示す図である。
【図２】図１に示す台座と十字マークとを示す図である。
【図３】図１に示す書画カメラの構成を示すブロック図である。
【図４】図３に示すメモリの各記憶領域を示すブロック図である。
【図５】図３に示す画像処理装置が生成する各画像を示す図であり、それぞれ、（ａ）は比較画像、（ｂ）は対象画像、（ｃ）は差分画像、（ｄ）は２値エッジ画像、（ｅ）は差分２値画像を示す。
【図６】ハフ変換を示す図である。
【図７】差分２値画像の投影ヒストグラムを示す図である。
【図８】射影パラメータの抽出とアフィン変換の基本的な考え方を示す図である。
【図９】台座の十字マークの検出処理を示す図であり、それぞれ、（ａ）は縮小画像、（ｂ）はエッジ画像、（ｃ）は十字マークとヒストグラムとを示す。
【図１０】台座によるエッジ画像とマスクパターンとを示す図である。
【図１１】図１に示す撮影装置が実行するカメラ基本処理を示すフローチャートである。
【図１２】図１に示す撮影装置が実行する動画投影処理を示すフローチャートである。
【図１３】図１に示す撮影装置が実行する静止処理を示すフローチャートである。
【図１４】図１に示す撮影装置が実行する原稿有無判定処理を示すフローチャートである。
【図１５】図１に示す撮影装置が実行する原稿投影処理（その１）を示すフローチャートである。
【図１６】図１に示す撮影装置が実行する原稿投影処理（その２）を示すフローチャートである。
【図１７】本発明の実施形態２として、縦エッジ画像、横エッジ画像を示す図である。
【図１８】図１に示す撮影装置が実行する原稿有無判定処理（２／その１）を示すフローチャートである。
【図１９】図１に示す撮影装置が実行する原稿有無判定処理（２／その２）を示すフローチャートである。
【図２０】従来の撮影装置を示す図である。
【図２１】撮影装置が撮影した撮影画像を示す図である。
【符号の説明】
【０２３３】
１・・・書画カメラ、２・・・コンピュータ、３・・・プロジェクタ、４・・・スクリーン、５・・・原稿、１１・・・カメラ部、１３・・・台座、２０１・・・メモリ、２０２・・・ビデオ出力装置、２０３・・・画像処理装置、２０４・・・操作部、２０６・・・ＣＰＵ
【図１】
2006163821.tif 000030
【図２】
2006163821.tif 000031
【図３】
2006163821.tif 000032
【図４】
2006163821.tif 000033
【図５】
2006163821.tif 000034
【図６】
2006163821.tif 000035
【図７】
2006163821.tif 000036
【図８】
2006163821.tif 000037
【図９】
2006163821.tif 000038
【図１０】
2006163821.tif 000039
【図１１】
2006163821.tif 000040
【図１２】
2006163821.tif 000041
【図１３】
2006163821.tif 000042
【図１４】
2006163821.tif 000043
【図１５】
2006163821.tif 000044
【図１６】
2006163821.tif 000045
【図１７】
2006163821.tif 000046
【図１８】
2006163821.tif 000047
【図１９】
2006163821.tif 000048
【図２０】
2006163821.tif 000049
【図２１】
2006163821.tif 000050