(57)【要約】【課題】      視認性に優れた画像の取得を可能とする画像処理装置、撮影画像投影装置、画像処理方法及びプログラムを提供する。【解決手段】  ＣＰＵは、台座上の原稿を撮影することによって得られた画像から、この原稿の輪郭を形成する多角形を検出する。原稿の輪郭を形成する多角形が検出された場合には、この検出された多角形の頂点の座標からアフィンパラメータを取得し、原稿の輪郭を形成する多角形が検出されなかった場合には、メモリに格納されている台座の輪郭を形成する多角形の頂点の座標からアフィンパラメータを取得する。そして、ＣＰＵは、取得したアフィンパラメータを用いて、撮影画像に含まれる各画素の座標をアフィン変換するして、画像の傾きを補正して出力する。このようにして、撮影画像投影装置は、視認性に優れた画像を取得することができる。【選択図】    図１９
2005267465.tif 000002
【特許請求の範囲】
【請求項１】
台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、
前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、
前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得手段と、
前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手段と、
を備える画像処理装置。
【請求項２】
前記原稿多角形検出手段は、前記画像から前記原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、
前記候補検出手段が検出した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得する原稿輪郭取得手段と、を含む、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記原稿輪郭取得手段は、前記候補検出手段が検出した候補のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記台座の輪郭を形成する多角形を特定可能なデータを格納するデータ格納手段をさらに備え、
前記アフィンパラメータ取得手段は、前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段に格納されているデータによって特定される多角形の各頂点の座標から前記アフィンパラメータを取得する、
ことを特徴とする請求項１，２又は３に記載の画像処理装置。
【請求項５】
前記台座を撮影することによって得られた画像から該台座の輪郭を形成する多角形を検出する台座多角形検出手段と、
前記台座多角形検出手段により前記台座の輪郭を形成する多角形が検出されたか否かを判別する台座多角形検出判別手段と、
前記台座多角形検出判別手段によって前記台座の輪郭を形成する多角形が検出されたと判別した場合、該検出した多角形を特定可能なデータを前記データ格納手段に書き込むことによって、前記台座の輪郭を形成する多角形を特定可能なデータを更新するデータ更新手段と、をさらに備える、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記台座多角形検出手段は、前記台座を撮影することによって得られた画像のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記台座の輪郭として取得する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
台座上に載置された原稿を撮影する原稿撮影手段と、
前記原稿撮影手段による撮影により得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、
前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、
前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得手段と、
前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手段と、
前記画像補正手段から出力された画像をスクリーン上に投影する画像投影手段と、
を備える撮影画像投影装置。
【請求項８】
台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出工程と、
前記原稿多角形検出工程により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別工程と、
前記原稿多角形検出判別工程によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得工程と、
前記アフィンパラメータ取得工程により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正工程と、
を備える画像処理方法。
【請求項９】
コンピュータに、
台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手順と、
前記原稿多角形検出手順により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手順と、
前記原稿多角形検出判別手順によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得手順と、
前記アフィンパラメータ取得手順により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮影画像投影装置、画像処理方法及びプログラムに関し、特に視認性に優れた画像の取得を可能とする画像処理装置、撮影画像投影装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
台座上に載置された原稿をデジタルカメラで撮影し、撮影により得られたデジタル画像データに所定の画像処理等を施した後、アナログ変換して出力することにより、スクリーン上に原稿の拡大画像を投影する撮影画像投影装置が知られている（例えば、特許文献１参照）。かかる撮影画像投影装置により、従来のＯＨＰではできなかった、３次元対象物を撮影してその画像をスクリーン上へ投影することが可能となった。
【特許文献１】特開２００２−３５４３３１号公報（第２−３頁、図１）。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の撮影画像投影装置では、台座上に載置された原稿を斜め方向から撮影する場合、カメラの画角（撮影範囲）から原稿の一部がはみ出してしまうことがあった。この場合、原稿の全部をカメラの画角に収めるためには、カメラのズーム倍率を小さくしなければならない。
【０００４】
これにより、撮影画像全体に占める原稿の画像の割合が小さくなるため、スクリーン上に投影される原稿の画像も小さくなってしまい、非常に見にくいものとなってしまう。かかる問題は、あおり角が大きくなると特に顕著になる。また、撮影画像が歪んでいる場合には、この歪みに起因して原稿以外の画像の割合がさらに大きくなってしまう。このように原稿以外の画像の割合が大きい撮影画像の輝度及び色差を適切に補正することは困難であり、この結果、スクリーン上に投影される原稿の画像はさらに見にくいものとなる。
【０００５】
本発明は、上記課題を解決するためになされたものであって、視認性に優れた画像の取得を可能とする画像処理装置、撮影画像投影装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る画像処理装置は、台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得手段と、前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手段と、を備える。
【０００７】
また、上記画像処理装置において、前記原稿多角形検出手段は、前記画像から前記原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、前記候補検出手段が検出した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得する原稿輪郭取得手段と、を含んでもよい。
【０００８】
さらに、上記画像処理装置において、前記原稿輪郭取得手段は、前記候補検出手段が検出した候補のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記原稿の輪郭として取得してもよい。
【０００９】
また、上記画像処理装置において、前記台座の輪郭を形成する多角形を特定可能なデータを格納するデータ格納手段をさらに備え、前記アフィンパラメータ取得手段は、前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記データ格納手段に格納されているデータによって特定される多角形の各頂点の座標から前記アフィンパラメータを取得してもよい。
【００１０】
さらに、上記画像処理装置において、前記台座を撮影することによって得られた画像から該台座の輪郭を形成する多角形を検出する台座多角形検出手段と、前記台座多角形検出手段により前記台座の輪郭を形成する多角形が検出されたか否かを判別する台座多角形検出判別手段と、前記台座多角形検出判別手段によって前記台座の輪郭を形成する多角形が検出されたと判別した場合、該検出した多角形を特定可能なデータを前記データ格納手段に書き込むことによって、前記台座の輪郭を形成する多角形を特定可能なデータを更新するデータ更新手段と、をさらに備えてもよい。
【００１１】
また、上記画像処理装置において、前記台座多角形検出手段は、前記台座を撮影することによって得られた画像のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した直線パラメータの組によって形成される多角形を前記台座の輪郭として取得してもよい。
【００１２】
さらに、上記目的を達成するため、本発明の第２の観点に係る撮影画像投影装置は、台座上に載置された原稿を撮影する原稿撮影手段と、前記原稿撮影手段による撮影により得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手段と、前記原稿多角形検出手段により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手段と、前記原稿多角形検出判別手段によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得手段と、前記アフィンパラメータ取得手段により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手段と、前記画像補正手段から出力された画像をスクリーン上に投影する画像投影手段と、を備える。
【００１３】
また、上記目的を達成するため、本発明の第３の観点に係る画像処理方法は、台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出工程と、前記原稿多角形検出工程により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別工程と、前記原稿多角形検出判別工程によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得工程と、前記アフィンパラメータ取得工程により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正工程と、を備える。
【００１４】
また、上記目的を達成するため、本発明の第４の観点に係るプログラムは、コンピュータに、台座上の原稿を撮影することによって得られた画像から該原稿の輪郭を形成する多角形を検出する原稿多角形検出手順と、前記原稿多角形検出手順により前記原稿の輪郭を形成する多角形が検出されたか否かを判別する原稿多角形検出判別手順と、前記原稿多角形検出判別手順によって前記原稿の輪郭を形成する多角形が検出されたと判別した場合、該検出された多角形の頂点の座標からアフィンパラメータを取得し、該原稿の輪郭を形成する多角形が検出されなかったと判別した場合、前記台座の輪郭を形成する多角形の頂点の座標から該アフィンパラメータを取得するアフィンパラメータ取得手順と、前記アフィンパラメータ取得手順により取得されたアフィンパラメータを用いて、前記画像に含まれる各画素の座標をアフィン変換することにより、該画像の傾きを補正して出力する画像補正手順と、を実行させる。
【発明の効果】
【００１５】
本発明により、視認性に優れた画像の取得を可能とする画像処理装置、撮影画像投影装置、画像処理方法及びプログラムを提供することができた。
【発明を実施するための最良の形態】
【００１６】
本発明の実施形態に係る撮影画像投影装置を以下図面を参照して説明する。
【００１７】
図１は、本発明の実施形態に係る撮影画像投影装置の構成を示す図である。撮影画像投影装置は、図１に示すように、書画カメラ１と、プロジェクタ２と、コンピュータ５と、から構成されている。
【００１８】
書画カメラ１は、図１（ａ）に示すように投影対象の原稿４を撮影する機能と、図１（ｂ）に示すように撮影対象物としてスクリーン３等の文字、図、写真等を撮影する機能と、を有しており、カメラ部１１と、支柱１２と、台座１３と、操作台１４と、から構成されている。
【００１９】
カメラ部１１は、原稿４を撮影するためのものであり、デジタルカメラによって構成されている。支柱１２は、カメラ部１１を取り付けるためのものであり、カメラ部１１及び台座１３と回転自在に接続されている。台座１３は、この支柱１２を支えるためのものである。
【００２０】
図２は、図１に示す書画カメラ１の構成を示すブロック図である。書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、から構成されている。この画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に設けられてもよいし、画像データ生成部２１とデータ処理部２２とは、それぞれカメラ部１１と操作台１４とに設けられてもよい。
【００２１】
画像データ生成部２１は、撮影対象物（原稿４やスクリーン３）を撮影して撮影対象物の画像データを取り込むためのものであり、光学レンズ装置１０１と、イメージセンサ１０２と、から構成されている。
【００２２】
光学レンズ装置１０１は、光を集光するレンズやこのレンズを駆動する駆動装置等によって構成されており、イメージセンサ１０２上に撮影対象物の文字、図、写真等からの光を集光させて像を結像させる。
【００２３】
イメージセンサ１０２は、光学レンズ装置１０１が光を集光することにより結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device）等によって構成されている。
【００２４】
データ処理部２２は、画像データ生成部２１から取り込んだ原稿４やスクリーン３の画像データを取得して画像処理を行い、画像処理を施した画像データをプロジェクタ２に出力するものであり、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ（Central Processing Unit）２０６と、インタフェイス装置２０８と、から構成されている。
【００２５】
メモリ２０１は、イメージセンサ１０２からの画像、ビデオ出力装置２０２に送り出すための画像データ等を一時記憶するためのものである。また、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。ビデオ出力装置２０２は、コンピュータ５に送り出す画像データを図示しない表示装置に出力することによって、原稿４やスクリーン３の画像を表示装置に表示するものである。
【００２６】
画像処理装置２０３は、メモリ２０１に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正や画像効果などの画像処理を行うためのものである。
【００２７】
例えば、カメラ部１１が原稿４の文字等を撮影面に対して斜めの状態あるいは回転した状態で撮影した場合、画像処理装置２０３は、図３（ａ）に示すような斜めの状態あるいは回転した状態の原稿４の画像に対して歪み補正（台形補正）を施すことによって、図３（ｂ）に示すような正面から撮影した原稿４の画像を生成する。
【００２８】
また、カメラ部１１がスクリーン３の文字等を向かって左方向から撮影した場合、画像処理装置２０３は、図４（ａ）に示すような左方向から撮影されたスクリーン３の画像に対して歪み補正を施すことによって、図４（ｂ）に示すような正面から撮影したスクリーン３の画像を生成する。
【００２９】
画像処理装置２０３は、歪み補正するため、歪んだ画像から四角形を切り取り、切り取った四角形に撮影画像を射影変換する。より詳細には、画像処理装置２０３は、ＣＰＵ２０６に制御されて、主に、（１）撮影画像からアフィンパラメータを抽出するアフィンパラメータ抽出処理、（２）抽出したアフィンパラメータを用いて画像を射影変換して歪み補正する画像変換処理、（３）輝度あるいは色差等を補正して画像を鮮明化する画像鮮明化処理等を実行する。なお、これらの処理内容については、後述する。
【００３０】
操作部２０４は、書画投影の機能を制御するためのキーやボタンを備えるものであり、ユーザがこれらのスイッチやボタンを操作したときの操作情報をＣＰＵ２０６に出力する。
【００３１】
本実施形態において、操作部２０４は、撮影キーとキャリブレーション要求キーとコントロールキーとシャッターボタンとを備えている。撮影キーは、原稿４の画像を撮影する書画撮影モードとスクリーン３の画像を撮影するボード撮影モードのうちから所望の撮影モードを選択するためのキーである。
【００３２】
キャリブレーション要求キーは、台座１３の輪郭の形状の登録を指示するためのキーである。コントロールキーは、操作を確定するためのＹＥＳキーと操作をキャンセルするためのＮＯキーとを含んでいる。シャッタボタンは、撮影対象物を撮影するときに押下するものである。ズームボタンは、小さい原稿４を撮影する場合や原稿４の一部分を拡大して撮影する場合等に、カメラ部１１のズーム制御を行うために、押下されるものである。
【００３３】
プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ（Read Only Memory）等によって構成される。
【００３４】
ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御するものである。具体的には、操作部２０４から送信される操作情報に基づいて、イメージセンサ１０２，メモリ２０１，ビデオ出力装置２０２及び画像処理装置２０３等を制御する。
【００３５】
例えば、ユーザにより撮影キーが押下されると、ＣＰＵ２０６は、操作部２０４から送信される操作情報に応答して、書画撮影モード或いはボード撮影モードに各部を設定すると共に、シャッタボタンが押下されるまで、イメージセンサ１０２を動画中モードに設定する。そして、シャッタボタンが押下されると、ＣＰＵ２０６は、操作部２０４からの操作情報に応答して、高い解像度で画像の読込を行う静止中モードに設定する。
【００３６】
また、ＣＰＵ２０６は、光学レンズ装置１０１の焦点、露出、ホワイトバランス等のカメラ設定パラメータを動作中モードに初期化する機能を有する。これにより、カメラ部１１が捉えているシーンは、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサ１０２は、集光された画像から動画撮影用の解像度の低いデジタルの画像データを作成し、メモリ２０１に、例えば、１秒あたり３０枚程度で送り出す。
【００３７】
さらに、ＣＰＵ２０６は、後述するフローチャートに従って、撮影対象物である原稿４の画像に動きがあるか否かを判定し、判定結果に従って、動作中モードと静止中モードとを切り替える。
【００３８】
動作中モードは、ユーザが台座１３に投影したい原稿４等を載置しようとする場合に設定されるモードであって、カメラ部１１で映し出している画像をそのままプロジェクタ２に投影するモードである。
【００３９】
動作中モードでは、ＣＰＵ２０６は、例えば、画像解像度がＶＧＡ（Video Graphics Array：６４０×４８０ドット）程度の画像を３０fps（フレーム/秒）の速さで動画投影を行なうように、各部を制御するものとする。このように、動作中モードは、解像度は低いものの、リアルタイム性を重視したモードである。
【００４０】
静止中モードは、ユーザが原稿４を置いた後に設定されるモードであって、カメラ部１１で高解像度の画像撮影を行い、高解像度の静止画像の投影を行うモードである。カメラ部１１が撮影解像度３００万画素のカメラである場合、切り出した投影画像はＸＧＡ（Extended Graphics Array：１０２４×７６８ドット）の静止画像になる。
【００４１】
インタフェイス装置２０８は、圧縮した画像データをコンピュータ５に送信するためのものである。
【００４２】
図１に示すプロジェクタ２は、スクリーン３に投影光を照射して原稿４の画像を結像させるものである。コンピュータ５は、書画カメラ１とＵＳＢ等のケーブル１５を介して接続されると共に、プロジェクタ２とＲＧＢ等のケーブル１６を介して接続されている。コンピュータ５は、書画カメラ１からケーブル１５を介して送出された原稿４の画像データを受信し、この受信した画像データをケーブル１６を介してプロジェクタ２に出力するものである。
【００４３】
次に、本実施形態に係る撮影画像投影装置の動作を説明する。ユーザが撮影画像投影装置の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出してカメラ基本処理を実行する。
【００４４】
図５は、書画カメラ基本処理のフローチャートである。このカメラ基本処理において、ＣＰＵ２０６は、まず、図５に示すように、書画カメラ１のカメラ部１１の焦点、露出、ホワイトバランスなどのカメラ設定パラメータの初期化を行う（ステップＳ１）。これにより、カメラが捉えているシーンが、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサは集光された画像からデジタル画像の作成が可能なる。
【００４５】
次に、ＣＰＵ２０６は、モードスイッチをチェックする等して、撮影モードが書画撮影モードかボード撮影モードかを判別する（ステップＳ２）。撮影モードが書画撮影モードであると判別した場合には（ステップＳ２；Ｙｅｓ）、書画撮影処理を実行する（ステップＳ３）。一方、撮影モードがボード撮影モードであると判別した場合には（ステップＳ２；Ｎｏ）、ボード撮影処理を実行する（ステップＳ４）。
【００４６】
このステップＳ３及びＳ４の撮影処理で得られた画像データは、メモリ２０１の所定領域に格納される。そして、ステップＳ３又はＳ４の撮影処理が終了すると、ＣＰＵ２０６は、ステップＳ２に戻り、再度、モードスイッチを検出して、ステップＳ３又はＳ４の撮影処理を実行する。
【００４７】
ＣＰＵ２０６は、ステップＳ３又はＳ４の撮影処理で得られた画像データをメモリ２０１から読み出し、ビデオ出力装置１０５を介してＲＧＢ出力として外部に出力すると共に、この画像データを画像処理装置２０３にて圧縮した後、インタフェイス装置１０８を介してコンピュータ５に転送する。
【００４８】
続いて、コンピュータ５は、ＨＤＤ等にインストールされた書画処理用のソフトウェアが起動してＰＣ書画基本処理を実行する。図６は、ＰＣ書画基本処理を示すフローチャートである。このＰＣ書画基本処理において、コンピュータ５は、まず、図６に示すように、書画カメラから転送された画像データを受信したか否かを判別し（ステップＳ１１）、画像データを受信したと判別した場合には（ステップＳ１１；Ｙｅｓ）、受信した画像データに対してデコード処理を施す（ステップＳ１２）。一方、画像データを受信していないと判別した場合には（ステップＳ１１；Ｎｏ）、画像データを受信するまでループして待つ。
【００４９】
そして、コンピュータ５は、撮影モードが書画撮影モードかボード撮影モードかを判別し（ステップＳ１３）、撮影モードが書画撮影モードであると判別した場合には（ステップＳ１３；Ｙｅｓ）、受信した画像を描画し（ステップＳ１４）、描画した画像のデータをプロジェクタ２に出力することによって、この画像をスクリーン３に投影する。一方、撮影モードがボード撮影モードであると判別した場合には（ステップＳ１３；Ｎｏ）、受信した画像データをファイル等に保存する（ステップＳ１５）。
【００５０】
続いて、ステップＳ３の書画撮影処理について詳細に説明する。図７及び図８は、書画撮影処理の詳細を示すフローチャートである。この書画撮影処理において、ＣＰＵ２０６は、まず、図７に示すように、インタフェイス装置２０８、画像処理装置２０３やメモリ２０１内の作業メモリの初期化を行う（ステップＳ１０１）。次に、ＣＰＵ２０６は、初期状態での台座１３の輪郭の形状を登録するため、キャリブレーション要求フラグをセットする（ステップＳ１０２）。
【００５１】
続いて、ＣＰＵ２０６は、ユーザによりキャリブレーション要求キーが押下されたか否かを判別する（ステップＳ１０３）。キャリブレーション要求キーが押下されていないと判別した場合には（ステップＳ１０３；Ｎｏ）、ズーム処理を実行する（ステップＳ１０４）。このズーム処理において、ＣＰＵ２０６は、ユーザによりズームボタン等が押下されたか否かを判別し、押下されていると判別した場合には、カメラ部１１のズーム制御を行う。さらに、ズーム処理にてカメラ部１１のズームが変更された場合、ＣＰＵ２０６は、台座登録変更処理を実行する。この台座登録変更処理において、ＣＰＵ２０６は、ズーム処理前とズーム処理後とのズーム比に応じて、メモリ２０１に格納されている台座１３の輪郭の形状を示す直線パラメータを調整する。
【００５２】
そして、ＣＰＵ２０６は、カメラ部１１による撮影を行い、画像データを取得する（ステップＳ１０５）。初期状態において、台座１３上には原稿４が載置されておらず、カメラ部１１は、台座１３のみを撮影して台座１３の画像データを取得する。その後、ＣＰＵ２０６は、撮影によって得られた画像データをイメージセンサ１０２からメモリ２０１に転送する。
【００５３】
続いて、ＣＰＵ２０６は、メモリ２０１から画像データを読み出し、この画像データと前回の撮影により得られた画像データとを比較して、画像に動きがあるか否かを判別する（ステップＳ１０６）。具体的には、画像データの差分が所定の閾値以上であるか否かを判別することによって、画像の動きを検出する。
【００５４】
画像に動きがあると判別された場合には（ステップＳ１０６；Ｙｅｓ）、動作中モードにセットして（ステップＳ１０７）、撮影した画像をそのまま表示装置に表示する。一方、画像に動きがないと判別された場合には（ステップＳ１０６；Ｎｏ）、動作中モードがセットされているか静止画モードがセットされているかをチェックして、前回まで画像に動きがあったか否かを判別する（ステップＳ１０８）。ＣＰＵ２０６は、前回まで画像に動きがあったと判別した場合（ステップＳ１０８；Ｙｅｓ）、静止中モードにセットする（ステップＳ１０９）。
【００５５】
続いて、ＣＰＵ２０６は、キャリブレーション要求フラグをチェックして、キャリブレーション要求がされている否かを判別し（ステップＳ１１０）、キャリブレーション要求がされていると判別した場合には（ステップＳ１１０；Ｙｅｓ）、台座登録処理を実行する（ステップＳ１１１）。この台座登録処理において、ＣＰＵ２０６は、撮影した画像から台座１３の輪郭の形状を取得して登録する。このように一度台座１３の輪郭の形状の登録が行われると、カメラ部１１の台座１３に対するあおり角が変動する等、カメラ部１１と台座１３との位置関係が変動してユーザによりキャリブレーション要求キーが押下されるまで、再度台座１３の輪郭の形状の登録が行われることはない。
【００５６】
その後、ＣＰＵ２０６は、キャリブレーション要求フラグをクリアして、ステップＳ１０３に戻り、再度キャリブレーション要求キーが押下されたかを判別する。ここで、ユーザによりキャリブレーション要求キーが押下されたものと判別した場合には（ステップＳ１０３；Ｙｅｓ）、カメラ部１１と台座１３との位置関係が変動したもの判別し、変動後の台座１３の輪郭の形状を登録すべく、ステップＳ１０２に戻り、キャリブレーション要求フラグをセットする。そして、ＣＰＵ２０６は、ステップＳ１１１の台座登録処理を再度実行して、変動後の台座の形状を登録する。
【００５７】
台座１３の輪郭の形状の登録がなされた後、ユーザは、原稿４を台座１３上に載置して、原稿４の書画投影を行おうとする。ユーザが原稿４をセットするまでの間、ＣＰＵ２０６は、撮影により得られた画像データをメモリ２０１の所定領域にコピーすると共に、この画像データを画像処理装置２０３にて画像データを圧縮し、インタフェイス装置２０８を介して、例えば、３０フレーム程度の速度でコンピュータ５に送信する。そして、コンピュータ５は、書画カメラ１から転送された画像データにデコード処理等を施して非圧縮データを取得し、撮影された画像をディスプレイ等に表示する。
【００５８】
その後、ユーザが原稿４のセットを終えると、ＣＰＵ２０６は、ステップＳ１０６にて画像に動きがないと判別し（ステップＳ１０６；Ｎｏ）、メモリ２０１から撮影された画像を読み出し、画像処理装置２０３にて四角形輪郭抽出処理を実行する（ステップＳ１１２）。この四角形輪郭抽出処理において、ＣＰＵ２０６は、撮影した撮影対象物の画像から、この撮影対象物の画像の四隅の座標点（四角形輪郭）を抽出する。
【００５９】
続いて、ＣＰＵ２０６は、画像変換処理を実行する（ステップＳ１１３）。この画像変換処理において、ＣＰＵ２０６は、撮影対象の切抜きと正面画像への射影変換とを行う。そして、ＣＰＵ２０６は、画像鮮明化処理を実行する（ステップＳ１１４）。これらステップＳ１０１〜Ｓ１１４の処理により、書画カメラ１は、図３（ａ）に示すような斜めの状態あるいは回転した状態で撮影された原稿４の画像から、図３（ｂ）に示すような正面から撮影した原稿４の画像を取得する。
【００６０】
その後、ＣＰＵ２０６は、画像処理装置２０３にて画像データを圧縮し、インタフェイス装置２０８を介してコンピュータ５に送信する（ステップＳ１１５）。そして、ユーザによりモードスイッチが書画撮影モードからボード撮影モードに切り替えられると（ステップＳ１１６；Ｎｏ）、ＣＰＵ２０６は、書画撮影処理を終了する。
【００６１】
続いて、ステップＳ４のボード撮影処理について詳細に説明する。図９は、ボード撮影処理の詳細を示すフローチャートである。このボード撮影処理において、ＣＰＵ２０６は、まず、図９に示すように、インタフェイス装置２０８、画像処理装置２０３やメモリ２０１内の作業メモリの初期化を行う（ステップＳ１２１）。ＣＰＵ２０６は、ユーザによりシャッタが押されるのを待ち（ステップＳ１２２）、シャッタが押されると（ステップＳ１２２；Ｙｅｓ）、カメラ部１１によりスクリーン３を撮影し、画像データを取得する（ステップＳ１２３）。その後、ＣＰＵ２０６は、撮影によって得られた画像データをイメージセンサ１０２からメモリ２０１に転送する。
【００６２】
続いて、ＣＰＵ２０６は、メモリ２０１から撮影された画像を読み出し、書画撮影処理を行う場合と同様、画像処理装置２０３にて四角形輪郭抽出処理（ステップＳ１２４）と画像変更処理（ステップＳ１２５）と画像鮮明化処理（ステップＳ１２６）とを順次実行する。その後、ＣＰＵ２０６は、画像処理装置２０３にて画像データを圧縮し、インタフェイス装置２０８を介してコンピュータ５に送信する（ステップＳ１２７）。そして、ユーザによりモードスイッチがボード撮影モードから書画撮影モードに切り替えられると（ステップＳ１２８；Ｎｏ）、ＣＰＵ２０６は、ボード撮影処理を終了する。
【００６３】
次に、画像処理装置２０３にて実行される画像処理について説明する。まず、画像処理装置２０３での画像処理に用いられるアフィン変換についての基本的な考え方（実現方法）を説明する。
【００６４】
画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数１によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。
【００６５】
【数１】
2005267465.tif 000003
【００６６】
最終的な座標（x,y）は、次の数２によって算出される。
【００６７】
【数２】
2005267465.tif 000004
【００６８】
数２は、射影変換するための式であり、座標（x,y）は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。
【００６９】
図１０（ａ）は、図３（ａ）に示す四角形の撮影対象物（原稿４又はスクリーン３）の各頂点の座標を示した図である。図１１は、カメラ部１１で撮影された四角形と実際の撮影対象物の画像との関係について説明するための図である。
【００７０】
図１１において、Ｕ−Ｖ−Ｗ座標系は、カメラ部１１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。
【００７１】
図１１に示す投影スクリーンは、撮影対象物の画像の射影を行うためのものである。投影スクリーン上の座標系を（x,y）とすると、この投影スクリーン上に投影される画像がカメラ部１１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物上の任意の点Ｐ(u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数３によって表される。
【００７２】
【数３】
2005267465.tif 000005
【００７３】
数３より、図１１に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数４に示す関係が求められる。
【００７４】
【数４】
2005267465.tif 000006
【００７５】
このとき、射影係数α、βは次の数５によって表される。
【００７６】
【数５】
2005267465.tif 000007
【００７７】
次に、射影変換について説明する。撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数６によって表される。
【００７８】
【数６】
2005267465.tif 000008
【００７９】
この数６に、数４の関係式を代入すると、座標ｘとｙとは、次の数７によって表される。
【００８０】
【数７】
2005267465.tif 000009
【００８１】
この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数８によって表される。
【００８２】
【数８】
2005267465.tif 000010
【００８３】
この数８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。
【００８４】
上記ｍ，ｎは、予め補正画像ｐ(u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数９によって表される。
【００８５】
【数９】
2005267465.tif 000011
【００８６】
しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ(u,v）とｍ、ｎの値との関係は、数４から、次の数１０によって表される。
【００８７】
【数１０】
2005267465.tif 000012
【００８８】
カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ(u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１１に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。
【００８９】
【数１１】
2005267465.tif 000013
【００９０】
なお、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１０，数１１に従って、射影変換を行うことができる。
【００９１】
ＣＰＵ２０６は、このようなアフィン変換を行うため、まず、ステップＳ１１２及びＳ１２４の四角形輪郭抽出処理を実行する。図１２は、この四角形輪郭抽出処理の詳細を示すフローチャートである。
【００９２】
この四角形輪郭抽出処理において、ＣＰＵ２０６は、まず、図１２に示すように、画像処理装置２０３を制御して、画像処理の演算数を減らすべく、入力画像から縮小輝度画像を生成する（ステップＳ２０１）。次に、ＣＰＵ２０６は、生成した縮小輝度画像から直線のみの画像を生成し、これを撮影対象物のエッジ画像とする（ステップＳ２０２）。続いて、ＣＰＵ２０６は、生成したエッジ画像の歪曲収差を補正する（ステップＳ２０３）。
【００９３】
続いて、ＣＰＵ２０６は、ステップＳ２０３にて補正されたエッジ画像をハフ変換してピーク値を抽出することにより、撮影対象物のエッジ画像からこのエッジ画像に含まれている直線パラメータを検出する（ステップＳ２０４）。そして、ＣＰＵ２０６は、検出した直線パラメータから撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ２０５）。
【００９４】
その後、ＣＰＵ２０６は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（ステップＳ２０６）。そして、ＣＰＵ２０６は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定し（ステップＳ２０７）、四角形を抽出できなかったと判定した場合には（ステップＳ２０７；Ｎｏ）、四角形輪郭抽出処理を終了する。
【００９５】
一方、四角形を抽出できたと判定した場合には（ステップＳ２０７；Ｙｅｓ）、画像処理装置２０３から抽出した四角形を取得してビデオ出力装置２０２に送信し、表示装置に四角形のプレビュー画像を表示させる（ステップＳ２０８）。
【００９６】
続いて、ＣＰＵ２０６は、操作部２０４から送信された操作情報に基づいて、ＹＥＳキーとＮＯキーとのうちいずれのスイッチが押下されたを判別する（ステップＳ２０９）。ステップＳ２０９にてＮＯキーが押下されたと判別した場合には（ステップＳ２０９；Ｎｏ）、画像処理装置２０３にて次の候補の四角形を指定する（ステップＳ２１０）。
【００９７】
一方、ＹＥＳキーが押下されたと判別した場合には（ステップＳ２０９；Ｙｅｓ）、抽出した四角形の頂点からアフィンパラメータを算出する（ステップＳ２１１）。
【００９８】
次に、四角形輪郭抽出処理をさらに具体的に説明する。ＣＰＵ２０６が画像処理装置２０３を用いて生成した縮小輝度画像の一例を図１３（ａ）に示す。画像処理装置２０３は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１３（ｂ）に示すようなエッジ画像を生成する（ステップＳ２０２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１，Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。
【００９９】
図１４（ａ）は、フィルタΔ１の係数を示し、図１４（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ(x,y）に適用すると、変換後の画素値ｇ(x,y）は、次の数１２によって表される。
【０１００】
【数１２】
2005267465.tif 000014
【０１０１】
ステップＳ２０２にて生成したエッジ画像において、歪曲収差により直線が抽出できない場合がある。そこで、ＣＰＵ２０６は、エッジ画像に対して歪曲収差補正を行う（ステップＳ２０３）。元画像ではなくエッジ画像に対して歪曲補正を行うのは、処理の高速化のためである。歪曲補正計算は、調査対象の画素が歪曲補正後には元画像中のどの画素になるかを画素ごとに計算するものである。その際、エッジ画像であれば、調査対象は一定間隔でスキップした座標のみとなり、画素が少ない分、高速に処理を行うことができる。
【０１０２】
図１３（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２０３は、このエッジ画像から、ハフ変換を行って直線パラメータを検出する（ステップＳ２０４）。
【０１０３】
ハフ変換は、Ｘ−Ｙ平面上の直線を構成する点を次の数１３によって定義されるρ−θ平面に投票する変換である。
【０１０４】
【数１３】
2005267465.tif 000015
【０１０５】
各点の座標（ｘ、ｙ）においてθを０から３６０°まで変化させた場合、同一直線はρ−θ平面上では一点で表される。このため、投票数の多いρ−θ座標を直線と判定することができる。その際、投票数は直線上のピクセル数であり、直線の長さに相当する。したがって、投票数の極端に少ないρ−θ、即ち短い直線は、直線の候補から除外することができる。
【０１０６】
このようにハフ変換を用いる手法では、調査対象の点や角度が多ければ多いほど処理速度が低下してしまう。この処理速度の低下を回避するため、エッジ検出時に調査対象の座標をＸ、Ｙ軸方向双方に一定の間隔でとばして処理することによって、エッジ画像を縮小する。これにより、調査対象を減らすことができる。
【０１０７】
さらに、別の方法で調査角度を減らすことができる。即ち、調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度０≦θ＜１８０°を測定すればよく、残りの１８０°≦θ＜３６０°はρがマイナスの値を取ることで表現できる。
【０１０８】
しかし実際に撮影される四角形は、その四角形が画像の中心にあった場合、各辺が上下左右に存在することになる。したがって、０°≦θ＜１８０°の範囲で調査するより、図１５に示すように、上下の辺、左右の辺はそれぞれ次の数１４で表される範囲で測定した方が、より効果的である。
【０１０９】
【数１４】
2005267465.tif 000016
【０１１０】
また、数１４から明らかなように、４５°≦θ＜１３５°のｃｏｓθと１３５°≦θ＜２２５°のｓｉｎθ、４５°≦θ＜１３５°のｓｉｎθと１３５°≦θ＜２２５°のｃｏｓθにマイナスをかけたもの、がそれぞれ対応しているため、ｓｉｎテーブルとｃｏｓテーブルとを共用することが可能である。
【０１１１】
また、図１６（ａ）に４５°≦θ＜１３５°で検出される直線を太線で、図１６（ｂ）に１３５°≦θ＜２２５°で検出された直線を太線で示すように、ρが＋の値か−の値かによって、辺の上下、または辺の左右を特定することが可能である。したがって、より効率的に、中心の四角形を構成する辺を選択することができる。
【０１１２】
このような考え方に基づいて、ＣＰＵ２０６は、直線を検出し、四角形を特定する。なお、この四角形検出処理は、書画撮影のように撮影対象物を真上から撮影するときと、ボード撮影のように撮影対象物に対して書画カメラ１を傾けて撮影するときと、で異なるものとなる。
【０１１３】
また、書画撮影処理においてキャリブレーションキーが押下された場合に、この四角形輪郭抽出処理に先立って実行されるステップＳ１１１の台座登録処理も上述の考え方に基づいている。まず、この台座登録処理について図１７に示すフローチャートを参照して説明する。
【０１１４】
この台座登録処理において、ＣＰＵ２０６は、まず、図１７に示すように、入力画像から縮小輝度画像を生成し、続いて、生成した縮小輝度画像から台座１３のエッジ画像を生成する（ステップＳ２２１）。次に、ＣＰＵ２０６は、エッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う（ステップＳ２２２）。なお、書画カメラ１には、ρ−θ平面での台座１３の輪郭の形状を示す４本の直線パラメータが予め登録されている。ＣＰＵ２０６は、この直線パラメータの設計値を台座１３の輪郭の形状を示すものとしてメモリ２０１に登録する（ステップＳ２２３）。
【０１１５】
続いて、ＣＰＵ２０６は、エッジ画像をハフ変換することにより得られたデータから、ピーク値を抽出することによって、実際に撮影された台座１３のエッジ画像に含まれている直線パラメータを検出する（ステップＳ２２４）。
【０１１６】
そして、ＣＰＵ２０６は、ステップＳ２２４にて直線パラメータが検出されたか否かを判別し（ステップＳ２２５）、直線パラメータが検出された場合には（ステップＳ２２５；Ｙｅｓ）、メモリ２０１に登録されている直線パラメータを、設計値から、この検出した直線パラメータ（実測値）に書き換える（ステップＳ２２６）。これにより、メモリ２０１には、直線パラメータの実測値が台座１３の輪郭の形状を示すものとして登録される。
【０１１７】
一方、直線パラメータが検出されなかった場合には（ステップＳ２２５；Ｎｏ）、ステップＳ２２６をスキップし、そのまま台座登録処理を終了する。このため、メモリ２０１には、直線パラメータの設計値が台座１３の輪郭の形状を示すものとして登録されたままとなる。
【０１１８】
なお、小さい原稿４を投影する場合や原稿４の一部分を拡大して撮影する場合、ＣＰＵ２０６は、ステップＳ１０４のズーム処理にてカメラ部１１のズームをアップする。これに伴ってカメラ部１１によって撮影される台座１３の画像が拡大するため、ＣＰＵ２０６は、上述の台座登録変更処理にて、メモリ２０１に登録されている直線パラメータを調整する必要がある。図１８は、この台座登録変更処理の詳細を示すフローチャートである。
【０１１９】
この台座登録変更処理において、ＣＰＵ２０６は、図１８に示すように、まず、ステップＳ１０４のズーム処理にてカメラ部１１のズームが変更されたか否かを判別する（ステップＳ２３１）。ステップＳ２３１にてカメラ部１１のズームが変更されたと判別した場合には（ステップＳ２３１；Ｙｅｓ）、ズーム処理前とズーム処理前とでのカメラ部１１のズーム比を求め、求めたズーム比に応じて、メモリ２０１に登録されている直線パラメータを調整する（ステップＳ２３２）。具体的には、ズーム処理前とズーム処理後とでのカメラ部１１のズーム比が「２」である場合、ＣＰＵ２０６は、メモリ２０１に登録されている直線パラメータの各値をそれぞれ２倍する。
【０１２０】
一方、ステップＳ２３１にてカメラ部１１のズームが変更されていないと判別した場合（ステップＳ２３１；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２３２をスキップして、台座登録変更処理を終了する。
【０１２１】
このように、ズーム処理にてカメラ部１１のズームが変更された場合、ズーム処理前とズーム処理前とでのカメラ部１１のズーム比に応じて、直線パラメータを調整することにより、ＣＰＵ２０６は、図１７に示す台座登録処理にて登録した台座１３の輪郭の形状を変更することができる。なお、調整後の直線パラメータが画像の画角を超える場合には、画角を超える直線パラメータを候補から外してもよい。また、画角を超える直線パラメータをそのままメモリ２０１に書き込んでもよい。このようにしても、ＣＰＵ２０６がこの画角を超える直線パラメータをステップＳ２２４にて検出することはないため、処理上問題は生じない。
【０１２２】
次に、書画撮影する場合の四角形検出処理（書画撮影時四角形検出処理）について、図１９に示すフローチャートを参照して説明する。この書画撮影時四角形検出処理において、ＣＰＵ２０６は、まず、図１９に示すように、入力画像から縮小輝度画像を生成し、続いて、生成した縮小輝度画像から原稿４のエッジ画像を生成する（ステップＳ３０１）。次に、ＣＰＵ２０６は、エッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う（ステップＳ３０２）。
【０１２３】
そして、ＣＰＵ２０６は、４５°≦θ＜１３５°における投票が多い座標を、上下の辺を形成する直線パラメータの候補として複数取得する（ステップＳ３０３）。同様に、ＣＰＵ２０６は、１３５°≦θ＜２２５°における投票が多い座標を、左右の辺を形成する直線パラメータの候補として複数取得する（ステップＳ３０４）。
【０１２４】
続いて、ＣＰＵ２０６は、ステップＳ３０３及びＳ３０４にて取得した候補のうちから、メモリ２０１に登録されている台座１３の輪郭を形成する直線パラメータに近い直線パラメータを検出し、検出した直線パラメータを候補から外す（ステップＳ３０５）。具体的には、台座１３の輪郭を形成する直線パラメータとの差が、ρにおいて０〜２，３画素程度、θにおいて０〜２°程度の直線パラメータを候補から外す。
【０１２５】
そして、ＣＰＵ２０６は、ステップＳ３０５にて残ったＸ軸方向の候補とＹ軸方向の候補とのうちから、ρの値の＋−が異なり、θが所定範囲内にあるものを選択する（ステップＳ３０６）。具体的には、ρの値の＋−が異なり、且つθの差が±１０°程度の２本の直線パラメータを検出し、さらに、これら検出した直線パラメータとのθの差が９０°±１０°程度で、且つρの値の＋−が異なる２本の直線パラメータを検出する。そして、ＣＰＵ２０６は、図２０（ａ）に示すように、これら検出された４本の直線パラメータによって形成される四角形を、撮影した原稿４の四角形として取得する。このようにして、ＣＰＵ２０６は、エッジ画像から四角形を検出することができる。
【０１２６】
ＣＰＵ２０６は、ステップＳ３０６にて四角形が検出されたか否かを判別し（ステップＳ３０７）、四角形が検出されたと判別した場合（ステップＳ３０７；Ｙｅｓ）には、ステップＳ３１０に進む。
【０１２７】
一方、ステップＳ３０７にて四角形が検出されなかったと判別した場合（ステップＳ３０７；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３０５にて外した直線パラメータを含めて、再度、Ｘ軸方向の候補とＹ軸方向の候補とのうちから、ρの値の＋−が異なり、θが所定範囲内にあるものを選択して、エッジ画像から四角形を検出する（ステップＳ３０８）。
【０１２８】
ＣＰＵ２０６は、さらに、ステップＳ３０８にて四角形が検出されたか否かを判別する（ステップＳ３０９）。ステップＳ３０７又はＳ３０９にて四角形が検出されたと判別された場合（ステップＳ３０７；Ｙｅｓ，ステップＳ３０９；Ｙｅｓ）、ＣＰＵ２０６は、検出した原稿４の四角形の各頂点の座標を求める（ステップＳ３１０）。
【０１２９】
一方、ステップＳ３０９にて四角形が検出されなかったと判別された場合（ステップＳ３０９；Ｎｏ）、ＣＰＵ２０６は、メモリ２０１に登録されている台座１３の四角形の各頂点の座標を求める（ステップＳ３１１）。
【０１３０】
次に、ボード撮影を実行する場合における四角形検出処理（ボード撮影時四角形検出処理）について、図２１に示すフローチャートを参照して説明する。なお、図２１に示すボード撮影時四角形検出処理におけるステップＳ３１１〜Ｓ３１４までの処理は、図１９に示す書画撮影時四角形検出処理におけるステップＳ３０１〜Ｓ３０４までの処理と同様であるため、ここではその説明を省略する。
【０１３１】
ＣＰＵ２０６は、ステップＳ３１４にて取得したＸ軸方向の候補とＹ軸方向の候補とのうちから、ρの絶対値｜ρ｜が等しいもの同士を特定し、その絶対値が大きいものから順に優先度を設定する（ステップＳ３１５）。これは、スクリーン３を斜めから撮影する場合に、相対する辺が平行とは限らないためである。上下左右の辺を｜ρ｜の絶対値の大きなもの同士に特定することで、図２０（ｂ）において太線で示すような、面積が最大である領域を特定するための直線の優先順位を得ることができる。
【０１３２】
ＣＰＵ２０６は、前述した最大領域を構成する四角形を、撮影したスクリーン３の四角形として特定する（ステップＳ３１６）。
【０１３３】
次に、ステップＳ１０６にて実行される画像の動きの判別処理について説明する。ＣＰＵ２０６は、撮影モードの切り替えを行うため、原稿４の画像に動きがあるか否かを判定する。ＣＰＵ２０６は、このような判定を行うため、前回撮影した画像との画像変化量ＭＤを求める。画像変化量ＭＤは撮影している画像が前回の画像と比較してどれぐらい変化したかを表す量である。この量を計算する方法はいくつか考えられるが、この撮影画像投影装置では、前回撮影した画像のデータから、各画素の差分の絶対値の総和を画像変化量ＭＤとして求めている。
【０１３４】
即ち、前回の画素データをＰn-1(x,y）、今回の画素データをＰn(x,y）（１≦ｘ≦６４０，１≦ｙ≦４８０）とすると、画像変化量ＭＤは、次の数１５によって表される。
【０１３５】
【数１５】
2005267465.tif 000017
【０１３６】
また、この画像変化量ＭＤと比較して動きの有無を判定するための閾値として、数１６に示す閾値ＭＤＴＨが予め設定される。撮影画像投影装置は、画像変化量ＭＤが閾値ＭＤＴＨ未満であれば動きがないと判別し、閾値ＭＤＴＨ以上であれば動きがあると判別する。
【０１３７】
【数１６】
2005267465.tif 000018
【０１３８】
次に、この検出された原稿４又はメモリ２０１に登録されている台座１３の四角形から、アフィンパラメータを求める方法について説明する。検出された原稿４又は登録されている台座１３の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数５，数８に従って、数８に示す行列内の各要素であるアフィンパラメータを求めることができる。
【０１３９】
この際、ｍ，ｎのスケールは０≦ｍ≦１，０≦ｎ≦１の範囲であるので、座標単位の修正を行う。画像の中心を変えずに、Ｕ軸側、Ｖ軸側の画像サイズを、それぞれＵsc,Ｖscでスケーリングするものとする。このとき画像の中心をｕc，ｖcとすると、画像のスケール変換は次の数１７によって表される。
【０１４０】
【数１７】
2005267465.tif 000019
【０１４１】
この数１７をｕ，ｖスケールに書き直すと、変換後の四角形の座標（x',y',z'）は次の数１８によって表される。
【０１４２】
【数１８】
2005267465.tif 000020
【０１４３】
ここで、Ａfは、アフィン変換行列であり、アフィン変換行列Ａfは次の数１９によって表される。
【０１４４】
【数１９】
2005267465.tif 000021
【０１４５】
出力可能な最大画像（画面）サイズが（ｕmax,ｖmax）で与えられている場合、ｕc，ｖcは、次の数２０によって表される。
【０１４６】
【数２０】
2005267465.tif 000022
【０１４７】
また、ｖmax/ｕmax＞ｋのとき、ｖmax/ｕmax≦ｋのときは、それぞれ、次の数２１，数２２に従って画像のスケーリングを行うと、所望の縦横比ｋの画像が得られる。
【０１４８】
【数２１】
2005267465.tif 000023
【０１４９】
【数２２】
2005267465.tif 000024
【０１５０】
このような考え方に基づいて、ＣＰＵ２０６は、四角形の頂点からアフィンパラメータを算出する。図２２は、このアフィンパラメータ抽出処理の詳細を示すフローチャートである。
【０１５１】
ＣＰＵ２０６は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数５に従って、射影係数α、βを算出する（ステップＳ３２１）と共に、原稿４の縦横比ｋを算出する（ステップＳ３２２）。
【０１５２】
次に、ＣＰＵ２０６は、数２０に従って、画像の中心点（ｕc,ｖc）を指定し（ステップＳ３２３）、最大画像サイズｖmax/ｕmaxと数１２で表される縦横比ｋとを比較する（ステップＳ３２４）。
【０１５３】
ｖmax/ｕmax＞ｋの場合（ステップＳ３２４；Ｙｅｓ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数２１に従ってｕsc，ｖscを求め、Ｖ軸側の撮影対象物の画像のスケールを決定する（ステップＳ３２５）。
【０１５４】
ｖmax/ｕmax≦ｋの場合（ステップＳ３２４；Ｎｏ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数２２に従って、ｕsc，ｖscを求め、Ｕ軸側の撮影対象物の画像のスケールを決定する（ステップＳ３２６）。
【０１５５】
続いて、ＣＰＵ２０６は、算出したｕsc，ｖsc，ｕc，ｖcと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１９に従って、アフィン変換行列Ａfを求め（ステップＳ３２７）、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ３２８）。
【０１５６】
次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２３に示すように、元の画像の点ｐ(x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ(u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めたほうが好ましい。
【０１５７】
なお、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ(u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数２３に従って算出される。
【０１５８】
【数２３】
2005267465.tif 000025
【０１５９】
変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めるため、ＣＰＵ２０６は、画像変換処理を実行する。図２４は、この画像変換処理の詳細を説明するためのフローチャートである。
【０１６０】
ＣＰＵ２０６は、変換画像の画素位置ｕを０に初期化すると共に（ステップＳ２４１）、変換画像の画素位置ｖを０に初期化する（ステップＳ２４２）。
【０１６１】
次に、ＣＰＵ２０６は、数１９で得られたアフィンパラメータＡを用いて、変換画像の画素位置（u,v）を代入し、数２に従って、元の画像の画素位置（x,y）を求める（ステップＳ２４３）。続いて、ＣＰＵ２０６は、求めた画素位置（x,y）から、数２３に従って、バイリニア法により画素値Ｐ(u,v）を求める（ステップＳ２４４）。
【０１６２】
そして、ＣＰＵ２０６は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ２４５）。
【０１６３】
続いて、ＣＰＵ２０６は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定し（ステップＳ２４６）、座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ２４６；Ｎｏ）、ステップＳ２４３に戻る。
【０１６４】
その後、ＣＰＵ２０６は、ステップＳ２４３〜Ｓ２４５の処理を繰り返し、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ２４６；Ｙｅｓ）、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ２４７）。
【０１６５】
続いて、ＣＰＵ２０６は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定し（ステップＳ２４８）、座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ２４８；Ｎｏ）、ステップＳ２４２に戻る。
【０１６６】
その後、ＣＰＵ２０６は、ステップＳ２４２〜Ｓ２４７の処理を繰り返し、座標ｕが最大値ｕmaxに達したと判定した場合（ステップＳ２４８；Ｙｅｓ）、この画像変換処理を終了させる。
【０１６７】
次に、このように得られた画像から、画像鮮明化パラメータを抽出する処理と、このパラメータを用いて行う画像鮮明化処理と、について説明する。画像鮮明化処理は、より鮮明な画像を得るための処理である。
【０１６８】
画像鮮明化パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像鮮明化処理に必要な変数である。
【０１６９】
画像鮮明化パラメータを抽出するには、さらに、全体の画像から輪郭を除く実原稿部の画像を切り出し、輝度、色差のヒストグラムを生成する必要がある。まず、画像鮮明化パラメータの抽出に必要な処理について説明する。
【０１７０】
図２５に示すように、撮影対象物の画像には、写真、図形、文字等の実体的な画像だけでなく、台座１３や、撮影対象物の紙面の影等のように、撮影対象物の内容に無関係の画像も写っている場合がある。この全体画像に内枠と外枠とを設定し、撮影対象物の実体的な画像がある内枠内を実原稿部、台座１３や、撮影対象物の紙面の影等が写っている内枠と外枠との間を周辺部とする。周辺部に写っている撮影対象物の輪郭は、概して黒であることが多い。画像データに、このような周辺部のデータがあった方が好ましい場合もある。
【０１７１】
しかし、撮影対象物の周辺部の画像も含めてヒストグラムを生成すると、ヒストグラムの引き伸ばしなどが有効に機能しない場合がある。
【０１７２】
このため、画像鮮明化パラメータを取り出すときにのみ、実原稿部の画像を切り出して輝度、色差のヒストグラムを生成し、このヒストグラムから取り出した画像鮮明化パラメータを用いて画像全域に対して画像鮮明化処理を行なうものとする。この方が、より効果的なパラメータを取得することができる。
【０１７３】
具体的には、周辺部を含めた画像データがＭ行Ｎ列であって、Ｘ、Ｙ方向とも外枠と内枠との間のドット数がＫドットであるとすると、Ｘ軸側では、実原稿部の画素データであるＫからＭ−Ｋ行までの画素データを取得し、Ｙ軸側では、実原稿部の画素データであるＫからＮ−Ｋ列までの画素データを取得する。実原稿部の画素データは、（M-2*K)行、（N-2*K)列のデータになる。
【０１７４】
このように切り出した実原稿部の画像について、輝度ヒストグラム、色差ヒストグラムを生成する。
【０１７５】
輝度ヒストグラムは、実原稿部に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に実原稿部の画素の数を計数することにより生成される。図２６（ａ）に輝度ヒストグラムの一例を示す。図２６（ａ）において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像を鮮明化するには、画像鮮明化パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。
【０１７６】
最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象である原稿４やスクリーン３の背景色の輝度値を示すものと考えられる。
【０１７７】
また、色差ヒストグラムは、実原稿部に存在する色差（Ｕ，Ｖ）の分布を示すものであり、色差毎に実原稿部の画素の数を計数することにより生成される。図２６（ｂ）に、色差ヒストグラムの一例を示す。図２６（ｂ）において、横軸は、色差を示し、縦軸は、画素数を示す。色差ヒストグラムの場合も、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値も撮影対象物の背景色の色差を示すものと考えられる。画像を鮮明化するには、画像鮮明化パラメータとして色差ヒストグラムのピーク値と平均値（Ｕmean,Ｖmean）とを求める必要がある。なお、平均値は、平均計数値を有する色差の値である。
【０１７８】
なお、画像を鮮明化して視認性に優れた画像を得るには、撮影対象物の背景色によって補正効果が異なってくるため、画像効果の補正方法を撮影対象物の背景色によって変える必要がある。このため、撮影対象物の背景色の判別が必要になってくる。撮影対象物の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。
【０１７９】
ここで、撮影対象物の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。具体的に、原稿４の背景色は、以下の判別式に従って判別される。
【０１８０】
白判定条件は、次の数２４によって表され、数２４に示す条件を満足したときに、撮影対象物の背景色は白（Ｗ）と判定される。
【０１８１】
【数２４】
2005267465.tif 000026
【０１８２】
黒判定条件は、次の数２５によって表され、数２５に示す条件を満足したときに、撮影対象物の背景色は黒（Ｂ）と判定される。
【０１８３】
【数２５】
2005267465.tif 000027
【０１８４】
また、数２４，数２５に示す条件を満足しなかった場合、撮影対象物の背景色はカラー（Ｃ）と判定される。なお、カラー閾値は、例えば、５０及び１２８に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。
【０１８５】
このような考え方に基づいて、ＣＰＵ２０６は、画像鮮明化パラメータ抽出処理を実行する。図２７は、この画像鮮明化パラメータ抽出処理の詳細を示すフローチャートである。
【０１８６】
ＣＰＵ２０６は、実原稿部の中で、各輝度（Ｙ）値を有する画素の数を計数して、図２６（ａ）に示すような輝度ヒストグラムを生成し（ステップＳ３３１）、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ３３２）。
【０１８７】
次に、ＣＰＵ２０６は、図２６（ｂ）に示すような色差（Ｕ，Ｖ）のヒストグラムを作成する（ステップＳ３３３）。続いて、ＣＰＵ２０６は、画像鮮明化パラメータとして、色差（Ｕ，Ｖ）のピーク値（Ｕpeak,Ｖpeak）を求めると共に（ステップＳ３３４）、色差の平均値（Ｕmean,Ｖmean）を求める（ステップＳ３３５）。
【０１８８】
そして、ＣＰＵ２０６は、画像ヒストグラムのこれらのピーク値（Ｙpeak,Ｕpeak,Ｖpeak）から、数２４，数２５に示す判定条件式に従って撮影対象物の背景色を判別し（ステップＳ３３６）、画像鮮明化パラメータと撮影対象物の背景色のデータとをメモリ２０１に記憶する（ステップＳ３３７）。
【０１８９】
次に、ＣＰＵ２０６は、このように抽出した画像鮮明化パラメータを用いて画像鮮明化処理を行う。前述のように、画像鮮明化処理を効果的に行うには、背景色によって処理内容を替える必要がある。
【０１９０】
ホワイトボード、ノート等のように、背景色が白である場合、図２８（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２８（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２８（ｃ）に示すような変換を行う。なお、図２８（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。
【０１９１】
背景色が白である場合、図２８（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２８（ａ）に示すように、２つの線分によって表される。
【０１９２】
背景色が黒である場合、図２８（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行なう。この場合も、図２８（ｂ）に示すように、輝度変換線は２つの線分によって表される。
【０１９３】
背景色が白または黒以外の色である場合、図２８（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。
【０１９４】
なお、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリ２０１に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像鮮明化処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。
【０１９５】
また、撮影された画像によっては、デジタルカメラのホワイトバランスの調整が適正に行われず、例えば、全体が黄色等に色が変わってしまう場合がある。この色の変化は、輝度ヒストグラムの画像鮮明化処理を行うだけでは、修正することができない。
【０１９６】
この場合、好ましい画像を得るためには、カラー調整を行う。図２９は、カラー調整を行うための輝度変換グラフの一例を示す図である。図２９において、横軸は、色差の入力値を示し、縦軸は、色差の出力値を示す。カラー調整は、図２８（ｂ）に示す色差（Ｕ，Ｖ）のそれぞれの平均値（Ｕmean,Ｖmean）がグレーになるように、図２９に示す輝度変換グラフに従って輝度変換が行なわれる。
【０１９７】
色差ＵとＶの値がともに０である場合、色は無彩色となるため、ピーク値（Ｕpeak，Ｖpeak）が０になるようにカラー調整を行う。即ち、カラーの変換線は２つの線分によって表される。入力値Ｕに対する出力値Ｕ’は次の数２６で与えられる。
【０１９８】
【数２６】
2005267465.tif 000028
【０１９９】
色差Ｖについても同様である。
【０２００】
次に、画像鮮明化処理として、前述の輝度引き延ばしだけでは、十分に背景が白色化しない場合、背景の白色化を行い、画像内の背景と思われる部分の色を白（Ｙ：255，Ｕ：０，Ｖ：０）または、それに近い色にする。
【０２０１】
図３０（ａ）は、ある画素の輝度値を基準（０）にして、この画素の輝度値に対する輝度値の引き上げ率を示す図である。横軸は、輝度値を示し、縦軸は輝度値の引き上げ率を示す。また、図３０（ｂ）は、色差と色差の変化率を示す図である。横軸は、色差を示し、縦軸は、色差の変化率を示す。
【０２０２】
図中、Ｃ0は、輝度と色差とを１００％引き上げる０からの範囲を示し、Ｃ1は、輝度値に従って引き上げ率を可変する範囲を示す。図３０（ａ），（ｂ）に示すように、輝度（Ｙ）値が一定値以上（Ｙw）で、色差（Ｕ，Ｖ）が一定範囲内（Ｃ0）の画素の色を白色化範囲として、輝度値を引き上げ、色差を０にする。このような背景の白色化を行えば、輝度引き延ばしだけでは、十分に背景が白色化しない場合に、画像鮮明化処理が非常に有効なものとなる。
【０２０３】
このような考え方に基づいて、ＣＰＵ２０６は、画像鮮明化処理を実行する。図３１は、この画像鮮明化処理の詳細を示すフローチャートである。
【０２０４】
ＣＰＵ２０６は、保存した画像鮮明化パラメータをメモリ２０１から読み出す（ステップＳ２５１）。
【０２０５】
次に、ＣＰＵ２０６は、輝度ヒストグラムの調整を行う（ステップＳ２５２）。具体的には、ＣＰＵ２０６は、背景が白か否かを判定し、背景が白と判定した場合、背景をより白くして、視認性が良くなるように、図２８（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う。一方、背景が白ではないと判定した場合、ＣＰＵ２０６は、背景が黒か否かを判定し、背景が黒であると判定した場合、図２８（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する。一方、背景が黒ではないと判定した場合、ＣＰＵ２０６は、図２８（ｃ）に示すような輝度変換を行って、撮影対象物の背景色に応じたヒストグラム調整を行う。
【０２０６】
続いて、ＣＰＵ２０６は、このように調整した画像に対して、図２５に示すような変換を行ってカラー調整を行い、（ステップＳ２５３）、続いて、背景の白色化処理を実行する（ステップＳ２５４）。
【０２０７】
図３２は、ＣＰＵ２０６が行う背景の白色化処理の詳細を示すフローチャートである。なお、図中のｉmax,ｊmaxは入力画像のｘ，ｙ軸のサイズである。
【０２０８】
この背景白色化処理において、ＣＰＵ２０６は、まず、カウント値ｊを０に初期化すると共に（ステップＳ３４１）、カウント値ｉを０に初期化する（ステップＳ３４２）。次に、ＣＰＵ２０６は、入力画像の画素（i,j）の輝度（Ｙ）が一定値以上（Ｙw）であるか否かを判定する（ステップＳ３４３）。
【０２０９】
輝度（Ｙ）が一定値以上（Ｙw）であると判定した場合（ステップＳ３４３；Ｙｅｓ）、ＣＰＵ２０６は、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であるか否かを判定する（ステップＳ３４４）。一方、輝度（Ｙ）が一定値未満（Ｙw）であると判定した場合（ステップＳ３４３；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４８に進む。
【０２１０】
色差Ｕ、Ｖの絶対値が所定値Ｃ０未満ではないと判定した場合（ステップＳ３４４；Ｎｏ）、ＣＰＵ２０６は、入力画像の画素（i,j）の色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であるか否かを判定する（ステップＳ３４５）。
【０２１１】
ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であると判定した場合（ステップＳ３４４；Ｙｅｓ）、ＣＰＵ２０６は、輝度値（Ｙ）を２５５に設定し、色差（ｕ，ｖ）を０にして、画素（i,j）の値を書き換え（ステップＳ３４６）、ステップＳ３４８に進む。
【０２１２】
ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ０以上であり、且つ所定値Ｃ１未満であると判定した場合（ステップＳ３４４；Ｎｏ，ステップＳ３４５；Ｙｅｓ）、ＣＰＵ２０６は、輝度値Ｙ＝Ｙ＋ａ＊（255−Ｙ）として、画素（i,j）の値を書き換え（ステップＳ３４７）、ステップＳ３４８に進む。
【０２１３】
ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ１以上であると判定した場合（ステップＳ３４４；Ｎｏ，ステップＳ３４５；Ｎｏ）、ＣＰＵ２０６は、輝度値を変更せずに、ステップＳ３４８に進む。
【０２１４】
そして、ＣＰＵ２０６は、カウント値ｉをインクリメントする（ステップＳ３４８）。続いて、ＣＰＵ２０６は、カウント値ｉを最大値ｉmaxと比較して、カウント値ｉが最大値ｉmaxに達したか否かを判定する（ステップＳ３４９）。
【０２１５】
カウント値ｉが最大値ｉmaxに達していないと判定した場合（ステップＳ３４９；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４３に戻る。
【０２１６】
その後、ステップＳ３４３〜Ｓ３４８の処理を繰り返し実行し、カウント値ｉが最大値ｉmaxに達したと判定した場合（ステップＳ３４９；Ｙｅｓ）、ＣＰＵ２０６は、カウント値ｊをインクリメントする（ステップＳ３５０）。
【０２１７】
続いて、ＣＰＵ２０６は、カウント値ｊを最大値ｊmaxと比較して、カウント値ｊが最大値ｊmaxに達したか否かを判定する（ステップＳ３５１）。
【０２１８】
カウント値ｊが最大値ｊmaxに達していないと判定した場合（ステップＳ３５１；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４２に戻る。
【０２１９】
その後、ステップＳ３４２〜Ｓ３５０の処理を繰り返し実行し、カウント値ｊが最大値ｊmaxに達したと判定した場合（ステップＳ３５１；Ｙｅｓ）、ＣＰＵ２０６は、この背景の白色化処理を終了させる。
【０２２０】
以上説明したように、本実施形態によれば、ＣＰＵ２０６は、台座１３上の原稿４を撮影することにより得られた画像からエッジ画像を生成し、この生成したエッジ画像から原稿４の輪郭を形成する四角形を検出する。次に、ＣＰＵ２０６は、エッジ画像から原稿４の四角形を検出できたか否かを判別し、検出できたと判別された場合には、この検出した原稿４の四角形の各頂点の座標を求める。一方、検出できなかったと判別された場合には、メモリ２０１に登録されている台座１３の輪郭を形成する四角形の各頂点の座標を求める。
【０２２１】
そして、ＣＰＵ２０６は、求めた四角形の各頂点の座標からアフィンパラメータを取得し、この取得したアフィンパラメータを用いて、撮影画像の各画素の座標をアフィン変換して、撮影画像の傾きを補正する。
【０２２２】
例えば図３（ａ）に示すように原稿４が画角（撮影範囲）に収まっている場合、ＣＰＵ２０６は、エッジ画像から原稿４の四角形を検出することができるので、この検出した四角形（原稿４の輪郭）に沿って画像の切出を行う。そして、ＣＰＵ２０６は、切り出した画像に対して傾きの補正や画像鮮明化処理を施した後、出力する。この結果、スクリーン３上には、図３（ｂ）に示すような画像が投影される。
【０２２３】
一方、図３３（ａ）に示すように原稿４が画角からはみ出している場合、ＣＰＵ２０６は、原稿４の四角形を検出することができないので、メモリ２０１に登録されている四角形（台座１３の輪郭）に沿って画像の切出を行う。そして、ＣＰＵ２０６は、切り出した画像に対して傾きの補正や画像鮮明化処理を施した後、出力する。この結果、スクリーン３上には、図３３（ｂ）に示すような画像が投影される。
【０２２４】
このように、原稿４が画角に収まっている場合、この原稿４の輪郭に沿って画像の切出が行われ、画角からはみ出している場合、台座１３の輪郭に沿って画像の切出が行われる。このため、ＣＰＵ２０６は、撮影した原稿４の画像が画角からはみ出しているときでも、カメラ部１１のズーム倍率を小さくする必要がないので、撮影画像全体に占める原稿４の割合を大きくすることができ、切り出されてスクリーン３上に投影される画像も大きくなる。この結果、本実施形態の撮影画像投影装置は、視認性に優れた画像をスクリーン３上に投影することができる。
【０２２５】
また、撮影画像が歪んでいる場合であっても、上述のように撮影画像全体に占める原稿４の割合を大きくすることができるので、本実施形態に係る撮影画像投影装置は、この撮影画像の輝度及び色差を適正に補正することができ、この結果、スクリーン３上に投影される画像の視認性をさらに高めることができる。
【０２２６】
また、カメラ部１１は、図３４（ａ）に示すように、台座１３上に載置された原稿４を真上から撮影するが、ライトの映込等がある場合には、図３４（ｂ）に示すように、少し斜めの位置から撮影を行って、ライトの映込を軽減する。
【０２２７】
図３５（ａ）は、原稿４を真上から撮影した場合に得られる画像例を示すものであり、図３５（ｂ）は、原稿４を少し斜めの位置から撮影した場合に得られる画像例を示すものである。
【０２２８】
ＣＰＵ２０６は、図３５（ａ）及び（ｂ）に示すいずれの撮影画像からも、上記手法で原稿４の輪郭を抽出して原稿４の画像を切り出すことにより、図３（ｂ）に示すような画像を取得することができる。この結果、本実施形態に係る撮影画像投影装置は、ライトの映込による影響を受けにくいものとなる。さらに、本実施形態に係る撮影画像投影装置は、原稿４が画角からはみ出している場合でも、台座１３の輪郭を抽出して画像の切出を行うことにより、同様の効果を得ることができる。
【０２２９】
さらに、カメラ部１１の台座１３に対するあおり角が変動する等してカメラ部１１と台座１３との位置関係が変動した場合に、ユーザがキャリブレーション要求キーを押下すると、ＣＰＵ２０６は、台座１３を撮影することによって得られた画像から、台座１３の輪郭を形成する直線パラメータの組を検出してメモリ２０１に登録する。これにより、カメラ部１１と台座１３との位置関係が変動した場合、ＣＰＵ２０６は、これに併せて、メモリ２０１に登録している直線パラメータの組を順次更新していくことができる。このように順次更新される直線パラメータの組を用いて、撮影画像からの原稿４の画像の切出と傾き補正とを行うことにより、本実施形態に係る撮影画像投影装置は、カメラ部１１と台座１３との位置関係が変動した場合であっても、撮影画像から原稿４の正面画像を適切に取得することができる。
【０２３０】
なお、本発明は、上記実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記実施形態の変形態様について、説明する。
【０２３１】
上記実施形態において、支柱１２は、カメラ部１１及び台座１３と回転自在に接続されていた。しかしながら、本発明は、これに限定されず、支柱１２がカメラ部１１及び台座１３と固定して接続されていてもよく、また、ノッチ機構などによって予め決められた位置にロックされるように接続されていてもよい。このように、カメラ部１１と台座１３との位置関係が予め定まっている場合には、ステップＳ１１１の台座登録処理を省略して、それぞれ位置関係に対応した直線パラメータの組をメモリ２０１に登録し、位置関係が変動する毎に使用する直線パラメータの組を順次切り替えていけばよい。
【０２３２】
また、上記実施形態において、ＣＰＵ２０６は、ステップＳ１１１の台座登録処理にてメモリ２０１に格納されている台座１３の輪郭を形成する直線パラメータに近い直線パラメータを、ステップＳ３０３及びＳ３０４にて取得した候補から、外していた。しかしながら、本発明は、これに限定されず、ＣＰＵ２０６は、ステップＳ３０１にて得られたエッジ画像から、台座１３の輪郭を形成する直線パラメータを予め外しておき、ステップＳ３０３及びＳ３０４にて候補として検出されないようにしてもよい。また、ＣＰＵ２０６は、図３６に示すように、台座１３の輪郭よりも少し内側の画像を切り出し、その切り出した画像から、四角形を検出してもよい。
【０２３３】
さらに、上記実施形態において、原稿４の輪郭の形状は、四角形であった。しかしながら、本発明は、これに限定されず、原稿の形状は、任意であり、例えば五角形であってもよい。この場合、撮影画像投影装置は、原稿４の輪郭から五角形を取得し、五角形の各頂点座標から射影パラメータを抽出すればよい。
【０２３４】
また、上記実施形態において、画像処理処理は、撮影画像投影装置に適用されていたが、本発明は、これに限定されるものではなく、デジタルカメラ等、他の撮影装置に適用してもよい。
【０２３５】
さらに、上記実施形態において、ＣＰＵ２３６等が実行するプログラムは、予めＲＯＭ等に記憶されていた。しかしながら、本発明は、これに限定されず、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０２３６】
また、プログラムを記憶する記憶媒体は、上述のものに限定されず、例えば、Ｂｌｕｅ−Ｒａｙ−Ｄｉｓｃ（Ｒ）やＡＯＤ（Advanced Optical Disc）などの青色レーザを用いた次世代光ディスク記憶媒体、赤色レーザを用いるＨＤ−ＤＶＤ９、青紫色レーザを用いるＢｌｕｅ−Ｌａｓｅｒ−ＤＶＤ等、今後開発される種々の大容量記憶媒体を用いて本発明を実施することが可能であることはいうまでもない。
【０２３７】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【０２３８】
【図１】本発明の実施形態に係る撮影画像投影装置の構成を示す図であり、（ａ）は、書画撮影時の図であり、（ｂ）は、ボード撮影時の図である。
【図２】図１に示す書画カメラの構成を示すブロック図である。
【図３】図２に示す画像処理装置の機能を説明するための図である。
【図４】図２に示す画像処理装置の機能を説明するための図である。
【図５】書画カメラ基本処理を示すフローチャートである。
【図６】ＰＣ書画基本処理を示すフローチャートである。
【図７】図５に示す書画撮影処理の詳細を示すフローチャートである。
【図８】図５に示す書画撮影処理の詳細を示すフローチャートである。
【図９】図５に示すボード撮影処理の詳細を示すフローチャートである。
【図１０】図２に示す画像処理装置の切り抜き処理を説明するための図である。
【図１１】アフィンパラメータの抽出とアフィン変換の基本的な考え方の説明図である。
【図１２】図８に示す四角形輪郭抽出処理の詳細を示すフローチャートである。
【図１３】縮小輝度画像とエッジ画像とを説明するための図である。
【図１４】Ｒｏｂｅｒｔｓフィルタの機能を説明するための図である。
【図１５】ハフ変換を用いた直線検出を説明するための図であり、（ａ）は、上下の辺を検出する処理を示し、（ｂ）は、左右の辺を検出する処理を示している。
【図１６】ρがプラスの値かマイナスの値かによって、上下、または左右を判定可能であることを示すイメージ図である。
【図１７】図８に示す台座登録処理の詳細を示すフローチャートである。
【図１８】台座登録変更処理の詳細を示すフローチャートである。
【図１９】書画撮影時四角形検出処理の詳細を示すフローチャートである。
【図２０】直線検出後の四角形の特定を説明するための図であり、（ａ）は、書画撮影の場合を示し、（ｂ）はボード撮影の場合を示している。
【図２１】ボード撮影時四角形検出処理の詳細を示すフローチャートである。
【図２２】図１２に示すアフィンパラメータ抽出処理の詳細を示すフローチャートである。
【図２３】射影変換後の画像から元の画像を得るための逆変換を説明するための図である。
【図２４】図８に示す画像変換処理の詳細を示すフローチャートである。
【図２５】図２に示す画像処理装置が切り出した画像例を示す図である。
【図２６】図２６（ａ）は、輝度ヒストグラムを示す図であり、図２６（ｂ）は、色差ヒストグラムを示す図である。
【図２７】画像鮮明化パラメータ抽出処理の詳細を示すフローチャートである。
【図２８】図２８（ａ）は、背景色が白の場合の画像鮮明化処理を示す図であり、図２８（ｂ）は、背景が黒の場合の画像鮮明化処理を示す図であり、図２８（ｃ）は、背景が白又は黒以外の場合の画像鮮明化処理を示す図である。
【図２９】カラー調整を行うための輝度変換グラフの一例を示す図である。
【図３０】背景の白色化を説明するための図である。
【図３１】図８に示す画像鮮明化処理の詳細を示すフローチャートである。
【図３２】図３１に示す背景白色化処理の詳細を示すフローチャートである。
【図３３】図２に示す画像処理装置の機能を説明するための図である。
【図３４】図１に示す書画カメラの機能を説明するための図である。
【図３５】図２に示す画像処理装置の機能を説明するための図である。
【図３６】本発明の変形例における画像処理装置の機能を説明するための図である。
【符号の説明】
【０２３９】
１…書画カメラ、２…プロジェクタ、３…スクリーン、４…原稿、１１…カメラ部、１３…台座、２０１…メモリ、２０３…画像処理装置、２０４…操作部、２０６…ＣＰＵ
【図２】
2005267465.tif 000029
【図５】
2005267465.tif 000030
【図６】
2005267465.tif 000031
【図７】
2005267465.tif 000032
【図８】
2005267465.tif 000033
【図９】
2005267465.tif 000034
【図１０】
2005267465.tif 000035
【図１２】
2005267465.tif 000036
【図１４】
2005267465.tif 000037
【図１５】
2005267465.tif 000038
【図１６】
2005267465.tif 000039
【図１７】
2005267465.tif 000040
【図１８】
2005267465.tif 000041
【図１９】
2005267465.tif 000042
【図２０】
2005267465.tif 000043
【図２１】
2005267465.tif 000044
【図２２】
2005267465.tif 000045
【図２３】
2005267465.tif 000046
【図２４】
2005267465.tif 000047
【図２６】
2005267465.tif 000048
【図２７】
2005267465.tif 000049
【図２８】
2005267465.tif 000050
【図２９】
2005267465.tif 000051
【図３０】
2005267465.tif 000052
【図３１】
2005267465.tif 000053
【図３２】
2005267465.tif 000054
【図３４】
2005267465.tif 000055
【図１】
2005267465.tif 000056
【図３】
2005267465.tif 000057
【図４】
2005267465.tif 000058
【図１１】
2005267465.tif 000059
【図１３】
2005267465.tif 000060
【図２５】
2005267465.tif 000061
【図３３】
2005267465.tif 000062
【図３５】
2005267465.tif 000063
【図３６】
2005267465.tif 000064