(57)【要約】【課題】投影に先立つ撮影画像の適正化に必要な種々の補正に対応することができ、また正確な補正を行うことができる撮影画像投影装置、及び撮影画像の補正方法を提供する。【解決手段】書画カメラ３で任意のドキュメント等を撮影し、それにより取得した撮影画像をパーソナルコンピュータへ送る（Ｓ１０１）。パーソナルコンピュータにおいて、撮影画像から取得された画像情報に基づく台形歪みを含む種々の歪み補正や、回転処理や切り抜きといった種々の画像処理を撮影画像に施した後、処理後の画像をプロジェクタに送る（Ｓ１０２〜Ｓ１０５）。そして、処理後の画像をプロジェクタによって投影する（Ｓ１０６）。撮影画像から取得された画像情報に基づき撮影画像を補正するため、撮影画像に対して台形歪み補正のみに止まらず種々の補正を行うことができる。【選択図】    図４
2004363736.tif 000002
【特許請求の範囲】
【請求項１】
書面資料が撮影された撮影画像をスクリーンに投影する投影手段と、
前記撮影画像から所定の画像情報を取得する取得手段と、
この取得手段により取得された所定の画像情報に基づき前記撮影画像を補正する補正手段と
を備えたことを特徴とする撮影画像投影装置。
【請求項２】
前記補正手段は、前記撮影画像における書面資料の画像領域の矩形歪みを補正することを特徴とする請求項１記載の撮影画像投影装置。
【請求項３】
前記補正手段は、前記撮影画像における書面資料の画像領域の縦横比を補正することを特徴とする請求項１又は２記載の撮影画像投影装置。
【請求項４】
前記所定の画像情報はエッジ情報であることを特徴とする請求項１，２又は３記載の撮影画像投影装置。
【請求項５】
前記補正手段は、前記所定の画像情報に基づき、撮影された書面資料の向きを判定する判定手段を含むことを特徴とする請求項１〜４のいずれか１項に記載の撮影画像投影装置。
【請求項６】
前記所定の画像情報は文字認識情報であり、前記判定手段は、前記撮影画像における少なくとも書面資料の画像領域を複数角度で回転させたときの文字認識の可否に基づき、撮影された書面資料の向きを判定することを特徴とする請求項５記載の撮影画像投影装置。
【請求項７】
前記補正手段は前記撮影画像の傾きを補正することを特徴とする請求項１〜６のいずれか１項に記載の撮影画像投影装置。
【請求項８】
前記所定の画像情報は、前記撮影画像における書面資料の画像領域の周辺分布であり、前記補正手段は、走査方向を変えて取得した複数の周辺分布に基づき前記撮影画像の傾き角度を取得する傾き角度取得手段を含み、その傾き角度取得手段により取得した傾き角度に応じ前記撮影画像の傾きを補正することを特徴とする請求項７記載の撮影画像投影装置。
【請求項９】
書面資料が撮影された撮影画像をスクリーンに投影する投影手段と、
前記書面資料の撮影に先立ち、同一のカメラにより同一の撮影角度で所定の被写体が撮影された撮影画像に基づき前記撮影角度を取得する撮影角度取得手段と、
この撮影角度取得手段により取得された撮影角度に応じ前記撮影画像の傾きを補正する補正手段と
を備えたことを特徴とする撮影画像投影装置。
【請求項１０】
前記所定の被写体は画像認識可能なマークであって、前記撮影角度取得手段は、前記カメラから下ろした垂線上に前記マークが位置する状態で撮影された撮影画像に基づき前記撮影角度を取得することを特徴とする請求項９記載の撮影画像投影装置。
【請求項１１】
前記所定の被写体は画像認識可能なＸＹ座標であって、前記撮影角度取得手段は、前記カメラから下ろした垂線上に前記ＸＹ座標の原点が位置する状態で撮影された撮影画像に基づき前記撮影角度を取得することを特徴とする請求項９記載の撮影画像投影装置。
【請求項１２】
カメラ台に支持されたカメラによって書面資料を撮影し、その撮影により取得した撮影画像をスクリーンに投影する撮影画像投影装置において
前記カメラの撮影方向と鉛直線とがなす前記カメラの傾き角度を検出する第１の傾き角度検出手段と、
前記カメラ台に下ろした垂線と鉛直線とがなす前記カメラ台の傾き角度を検出する第２の傾き角度検出手段と、
前記第１及び第２の傾き角度検出手段により検出された前記カメラ及び前記カメラ台の双方の傾き角度に基づき、前記カメラの前記書面資料に対する撮影角度を演算する演算手段と、
この演算手段により演算された撮影角度に応じ前記撮影画像の傾きを補正する補正手段と
を備えたことを特徴とする撮影画像投影装置。
【請求項１３】
前記補正手段による補正後の撮影画像から書面資料の画像領域を切り抜く切り抜き手段を備えたことを特徴とする請求項１〜１２のいずれか１項に記載の撮影画像投影装置。
【請求項１４】
ユーザーに、前記補正手段による補正後の撮影画像に切り抜き領域を指定させる指定手段と、
この指定手段によりユーザーに指定させた切り抜き領域を前記補正後の撮影画像から切り抜く切り抜き手段を備えたことを特徴とする請求項１〜１３のいずれか１項に記載の撮影画像投影装置。
【請求項１５】
書面資料が撮影された撮影画像をスクリーンに投影する撮影画像投影装置における撮影画像の補正方法であって、
前記撮影画像から、その撮影画像が有する所定の画像情報を取得する工程と、
取得した所定の画像情報に基づき前記撮影画像を補正する工程と
を含むことを特徴とする撮影画像の補正方法。
【請求項１６】
書面資料が撮影された撮影画像をスクリーンに投影する撮影画像投影装置が有するコンピュータに、
前記撮影画像から所定の画像情報を取得する取得手段と、
この取得手段により取得された所定の画像情報に基づき前記撮影画像を補正する補正手段と
して機能させるためのプログラム。
【請求項１７】
カメラによって書面資料を撮影し、その撮影により取得した撮影画像をスクリーンに投影する撮影画像投影装置における撮影画像の補正方法であって、
前記書面資料の撮影に先立ち、前記カメラにより同一の撮影角度で所定の被写体を撮影する工程と、
前記所定の被写体の撮影により取得された撮影画像に基づき前記撮影角度を予め取得する工程と、
前記書面資料を撮影して取得した撮影画像における傾きを、予め取得されている撮影角度に応じて補正する工程と
を含むことを特徴とする撮影画像の補正方法。
【請求項１８】
カメラによって書面資料を撮影し、その撮影により取得した撮影画像をスクリーンに投影する撮影画像投影装置が有するコンピュータを、
前記書面資料の撮影に先立ち、同一のカメラにより同一の撮影角度で所定の被写体が撮影された撮影画像に基づき前記撮影角度を取得する撮影角度取得手段と、
この撮影角度取得手段により取得された撮影角度に応じ前記撮影画像の傾きを補正する補正手段と
して機能させるためのプログラム。
【請求項１９】
カメラ台に支持されたカメラによって書面資料を撮影し、その撮影により取得した撮影画像をスクリーンに投影する撮影画像投影装置における撮影画像の補正方法であって、
前記カメラの撮影方向と鉛直線とがなす前記カメラの傾き角度と、前記カメラ台に下ろした垂線と鉛直線とがなす前記カメラ台の傾き角度とを検出する工程と、
検出した前記カメラ及び前記カメラ台の双方の傾き角度に基づき、前記カメラの前記書面資料に対する撮影角度を演算する工程と、
演算した撮影角度に応じ、前記カメラにより前記書面資料を撮影して取得した撮影画像における傾きを補正する工程と
を含むことを特徴とする撮影画像の補正方法。
【請求項２０】
カメラ台に支持されたカメラによって書面資料を撮影し、その撮影により取得した撮影画像をスクリーンに投影する撮影画像投影装置が有するコンピュータを、
前記カメラの撮影方向と鉛直線とがなす前記カメラの傾き角度と、前記カメラ台に下ろした垂線と鉛直線とがなす前記カメラ台の傾き角度とに基づき、前記カメラの前記書面資料に対する撮影角度を演算する演算手段と、
この演算手段により演算された撮影角度に応じ前記撮影画像の傾きを補正する補正手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影画像投影装置、及び撮影画像の補正方法に関する。
【０００２】
【従来の技術】
近年、プレゼンテーションや会議等においては、パーソナルコンピュータにデータとして記憶しあるドキュメント（文字や図表等）をプロジェクタを用いてスクリーン上に拡大して投影することが行われている。プロジェクタは、ＰＣ等から映像信号として入力したドキュメントの画像情報を液晶やマイクロミラーアレイ等の画像変換素子により投影光に変換する構成を備えたものが一般的である。
【０００３】
また、会議等でプロジェクタを使用する場合には、ドキュメント以外にも手持ちの書面資料（新聞、雑誌の記事、プレゼン用紙、書面原稿等）を投影することもある。その場合には書面資料をデジタル（画像データ）化する必要があるため、現状では、書面資料をいわゆる書画カメラ等により撮影することが行われる。書画カメラとしては、例えばＣＣＤやＭＯＳ型の撮像素子を備えたデジタルカメラとしての構成を有するものが用いられている。
【０００４】
一方、デジタル化に際して上記書画カメラにより書面資料を撮影する際には、紙の向きと書画カメラの向きとを合わせることが必要となる。例えば撮影時に、カメラに傾きがある場合、つまりレンズの中心軸が書面資料に対して垂直でない場合には、撮影した画像が台形歪みが生じ矩形の画像にならない。これを解決する方法については、例えば下記の特許文献１に以下の技術が記載されている。すなわち、原稿台に支柱を介してカメラ部が支持された構成の画像撮影装置において、原稿台に対するカメラ部の傾き角度を検出する角度検出センサを設けておき、この角度検出センサによって検出した傾き角度を用いて撮影画像における台形歪みを補正するというものである。
【０００５】
【特許文献１】
特開２００２−３５４３３１号公報（図６参照）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のようにカメラ部の傾き角度のみに基づいて撮影画像を補正する方法では、投影に先立ち撮影画像を適正化する場合の用途が台形歪み補正に限られてしまう。例えばスクリーンへの投影を目的として書面資料を撮影したとき、撮影画像には台形歪み以外にも被写体（書面資料）の大きさや、その向き等を画角に正確に合わせることは困難であるが、そのような撮影画像を適正化することができなかった。
【０００７】
また、上記方法では、例えば書面資料が大きい場合等に、それを原稿台に載せることなくカメラ部の向きを調整して書面資料の撮影を行った場合、原稿台が傾いていると、カメラ部の正確な傾き角度、つまり書面資料に対する正確な撮影角度を得ることができない。したがって、そのような場合には、撮影画像の台形歪みを正しく補正することができないという問題もあった。
【０００８】
本発明は、かかる従来の課題に鑑みてなされたものであり、投影に先立つ撮影画像の適正化に必要な種々の補正に対応することができ、また正確な補正を行うことができる撮影画像投影装置、及び撮影画像の補正方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記課題を解決するために第１の発明にあっては、主として書面資料が撮影された撮影画像をスクリーンに投影する投影手段と、前記撮影画像から所定の画像情報を取得する取得手段と、この取得手段により取得された所定の画像情報に基づき前記撮影画像を補正する補正手段とを備えた撮影画像投影装置、及びその撮影画像投影装置等により実現される撮影画像の補正方法とした。
【００１０】
かかる発明においては、撮影画像から取得された画像情報により撮影画像を補正するため、撮影画像に対して台形歪み補正のみに止まらず種々の補正を行うことができる。
【００１１】
また、第２の発明にあっては、主として書面資料が撮影された撮影画像をスクリーンに投影する投影手段と、前記書面資料の撮影に先立ち、同一のカメラにより同一の撮影角度で所定の被写体が撮影された撮影画像に基づき前記撮影角度を取得する撮影角度取得手段と、この撮影角度取得手段により取得された撮影角度に応じ前記撮影画像の傾きを補正する補正手段とを備えた撮影画像投影装置、及びその撮影画像投影装置等により実現される撮影画像の補正方法とした。
【００１２】
かかる発明においては、撮影画像から直接得られる正しい撮影角度によって撮影画像の傾きを補正することができる。
【００１３】
また、第３の発明にあっては、カメラ台に支持されたカメラによって書面資料を撮影し、その撮影により取得した撮影画像をスクリーンに投影する撮影画像投影装置において前記カメラの撮影方向と鉛直線とがなす前記カメラの傾き角度を検出する第１の傾き角度検出手段と、前記カメラ台に下ろした垂線と鉛直線とがなす前記カメラ台の傾き角度を検出する第２の傾き角度検出手段と、前記第１及び第２の傾き角度検出手段により検出された前記カメラ及び前記カメラ台の双方の傾き角度に基づき、前記カメラの前記書面資料に対する撮影角度を演算する演算手段と、この演算手段により演算された撮影角度に応じ前記撮影画像の傾きを補正する補正手段とを備えた撮影画像投影装置、及びその撮影画像投影装置等により実現される撮影画像の補正方法とした。
【００１４】
かかる発明においては、撮影画像が、書面資料がカメラ台に載っていない状態で、かつカメラ台に傾きが生じている状況下で撮影された場合であっても、正しい撮影角度を得ることができる。
【００１５】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。
【００１６】
（第１の実施の形態）
図１は、本発明に係る撮影画像投影装置を示す構成図である。撮影画像投影装置はプロジェクタ１とノート型のパーソナルコンピュータ（以下、ＰＣ）２と書画カメラ３とから構成されており、プロジェクタ１とＰＣ２はＲＧＢケーブル４を介して接続されるとともに、ＰＣ２と書画カメラ３がＵＳＢケーブル５を介して接続されている。
【００１７】
プロジェクタ１は、投影レンズ等の光学系が収容された投影部１ａが本体正面に設けられた構造であって、投影部１ａから照射した光によってスクリーンＳ（又はホワイトボード等）にドキュメントや画像を投影する。
【００１８】
書画カメラ３は、カメラ台３ａに立設された支柱３ｂの上端部にカメラ３ｃが上下左右に回動自在に設けられた構成である。そして、使用時には、図示したようにカメラ台３ａの上に新聞や、雑誌の記事、プレゼン用紙、書面原稿等の書面資料Ａを載置し、それをカメラ３ｃによって撮影するようになっている。
【００１９】
図２は、撮影画像投影装置の電気的構成の概略を示すブロック図である。プロジェクタ１は、主としてＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、表示部１４、キー入力部１５から構成されるとともに、前記ＲＧＢケーブル４が接続されたＲＢＧ信号の入力端子１６を有している。
【００２０】
前記表示部１４は本発明の投影手段であって、クリプトンランプ等の光源、光源の光を投影光に変換するための液晶やマイクロミラーアレイ等の画像変換素子、その画像変換素子を、入力端子１６から入力したＲＢＧ信号に応じて駆動する駆動回路、投影レンズ等の光学系を含み、ＰＣ２から送られたドキュメントや撮影画像をスクリーンＳに投影する。キー入力部１５は、ユーザーがプロジェクタ１の操作を行うために用意された、複数の操作ボタンにより構成されている。
【００２１】
ＣＰＵ１１は、ＲＯＭ１２に格納されているプログラムに従い、ＲＡＭ１３を作業用メモリとして前述した各部を制御する。なお、前記入力端子１６は、ＣＰＵ１１に接続された図示しない入力画像処理回路に設けられている。
【００２２】
一方、ＰＣ２は主としてＣＰＵ２１、ＲＡＭ２２、記憶装置２３、本体に設けられた複数のキーや、本体に接続されたマウス等の入力装置２４、ＬＣＤ及びその駆動回路等からなる表示装置２５から構成されている。また、ＲＧＢケーブル４が接続されたＲＢＧ出力端子２６、及びＵＳＢケーブル５が接続されたＵＳＢ接続端子２７とを有している。
【００２３】
前記記憶装置２３は記憶容量の比較的大きなハードディスク等であり、記憶装置２３には、後述する撮影画像に対する各種の画像処理を行うための画像処理プログラム、及び画像データに基づく画像を自己の表示装置２５で表示したり、プロジェクタ１によって投影させたりするための画像表示プログラムが格納されている。なお、前記ＲＢＧ出力端子２６は、ＣＰＵ１１に接続された図示しない画像信号処理回路に設けられ、前記ＵＳＢ接続端子２７はＣＰＵ１１に接続された図示しないＵＳＢ入出力インターフェース回路に設けられている。
【００２４】
図３は、書画カメラ３（本実施の形態では、主としてカメラ３ｃ）における電気的構成を示すブロック図である。書画カメラ３は、図示しないレンズを介して前記書面資料Ａを撮像する撮像素子であるＣＣＤ３１と、ＣＣＤ３１から出力されたアナログの撮像信号に各種の信号処理を施した後、デジタルの画像信号として出力する信号処理部３２とを有している。信号処理部３２から出力された画像信号は、撮影待機状態にあるときＬＣＤ３３に送られて被写体画像として表示される。また、撮影操作時には、ＣＰＵ３４によりＪＰＥＧ等の所定フォーマットに従い圧縮され画像メモリ３５に記録される一方、ＵＳＢインターフェース３６から前記ＵＳＢケーブル５を介してＰＣ２へ出力される。
【００２５】
画像メモリ３５に記録された圧縮後の画像データは、必要に応じＣＰＵ３４により読み出され、いったん伸張された後ＬＣＤ３３において静止画像として再生表示されたり、ＰＣ２へ出力されたりする。なお、前記画像メモリ３５は、カメラ３ｃに内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリである。また、書画カメラ３には、ＣＰＵ３４が上記画像データの圧縮・伸張、及び装置全体の制御に必要とする各種の制御プログラムが記録されたＲＯＭ３７と、ＣＰＵ３４の作業用メモリであるＲＡＭ３８、シャッターキー及び他の複数の操作キーからなるキー入力部３９が設けられている。
【００２６】
次に、以上の構成からなる撮影画像投影装置における動作の概略について説明する。図４は、本実施の形態、及び後述する他の実施の形態に共通する基本的動作を示すフローチャートである。
【００２７】
すなわち撮影画像投影装置において、書画カメラ３は任意のドキュメント等（書面資料Ａ）を撮影し、撮影したドキュメントの画像データをＰＣ２へ出力する（ステップＳ１０１）。また、ＰＣ２では、前記画像処理プログラムによって、入力した画像データに対して歪み補正処理、回転処理、切り抜き処理等の各種の画像処理により撮影画像の補正を行った後（ステップＳ１０２〜Ｓ１０４）、処理後の画像データを表示プログラムによってプロジェクタ１へ出力する（ステップＳ１０５）。なお、前記画像処理は必要に応じて１部又は全部を行う。そして、プロジェクタ１は、ＰＣ２から入力した画像データに基づき、前記ドキュメント等の撮影画像をスクリーンＳに投射する（ステップＳ１０６）。
【００２８】
次に、本実施の形態において、書画カメラ３により撮影した書面資料Ａの撮影画像を適正化してスクリーンＳに投影するときの動作について説明する。
【００２９】
すなわち、撮影画像投影装置においては、書画カメラ３から撮影画像がＰＣ２へ出力されると、ＰＣ２は矩形変形処理を実行する。図５は、その処理手順を示すフローチャート、図６は説明図である。
【００３０】
ＰＣ２は、まず撮影画像Ｇ１に対して色と輝度の変化によるエッジを確認する（ステップＳ１１１、図６（ａ））。次に、認識したエッジの中から外周の４辺Ｌ１〜Ｌ４に近い直線Ｍ１〜Ｍ４を求め（ステップＳ１１２、図６（ｂ））、さらに直線Ｍ１〜Ｍ４の交点つまり４頂点を求める（ステップＳ１１３）。しかる後、図７に示したように、上記４頂点からなる４角形を撮影画像Ｇ１における書面資料領域Ｇａとし、その４頂点を書面資料領域Ｇａに外接する最小の矩形Ｂの４頂点に移動させるよう、書面資料領域Ｇａの形状を変換する（ステップＳ１１４、図６（ｃ））。これにより、書面資料領域Ｇａに矩形歪みのない補正後の画像Ｇ２を得る。当然、書面資料領域Ｇａの矩形歪みが台形歪みであった場合であっても、上記処理によって補正される。
【００３１】
引き続き、ＰＣ２は縦横比変形処理を実行する。図８は、その処理手順を示すフローチャートである。係る変形処理では、まずユーザーに用紙の選択操作を行わせて用紙の設定を行う（ステップＳ１２１）。ここで、ユーザーにより定型用紙が選択されなければ、そのまま縦横比変形処理を終了する（ステップＳ１１２でＮＯ）。また、定型用紙が用紙が選択され、かつそれが縦置きであったときには（ステップＳ１２２、ステップＳ１２３が共にＹＥＳ）、縦横比を「１．４１：１」に設定し（ステップＳ１２４）、それが横置きであれば（ステップＳ１２でＮＯ、ステップＳ１２５がＹＥＳ）、縦横比を「１：１．４１」に設定する（ステップＳ１２６）。
【００３２】
しかる後、設定したいずれかの縦横比で、矩形歪み補正後の書面資料部分Ｇａを変形する（ステップＳ１２７）。係る処理では、先に説明した矩形変形処理の変換処理（ステップＳ１１４）で使用した最小の矩形Ｂの４頂点の座標データに基づき、例えば定型用紙として横置きが設定されたときには、図９に示したように、書面資料領域Ｇａの縦横比が「１：１．４１」となるように上下方向に引き延ばす変形を行う。また、定型用紙として縦置きが設定された場合には、縦横比が「１．４１：１」となるように左右方向に引き延ばす変形を行う。これにより、書面資料領域Ｇａが定型用紙の縦横比を有する画像Ｇ３を得る。
【００３３】
しかる後、図１０に示したように、ＰＣ２は、上述した画像変形が行われた画像Ｇ３から、矩形変形処理の変換処理（ステップＳ１１４）で使用した最小の矩形Ｂの４頂点の座標データに基づき用紙部分を切り抜き（ステップＳ１３１、図１１参照）、切り抜いた画像、すなわち書面資料領域Ｇａのみからなる適正化後の画像Ｇ４を表示ソフトに送る（ステップＳ１３２）。
【００３４】
これにより、書画カメラ３により書面資料Ａを撮影してスクリーンＳに投影するとき、矩形歪みがなく、しかも無用の外枠部分が存在しない良好な撮影画像をスクリーンＳに投影することができる。
【００３５】
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。本実施の形態は、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、前述した書面資料Ａの撮影画像の適正化に際し、第１の実施の形態と異なり、撮影画像における書面資料Ａが縦置きであるか、横置きであるかの別を検出するものである。
【００３６】
本実施の形態では、ＰＣ２が、書面資料Ａの撮影時点における書画カメラ３の画角、及び書画カメラ３から出力された画像の解像度を取得可能な構成を有するとともに、ＰＣ２の前記記憶装置２３に、ＰＣ２に以下の方向検出処理を実行させるためのプログラムが格納されているものである。
【００３７】
以下、ＰＣ２による方向検出処理の内容を図１２のフローチャートにしたがって説明する。すなわちＰＣ２は、まず書画カメラ３の画角を取得し（ステップＳ１４１）、さらに画像データの解像度を取得する（ステップＳ１４２）。引き続き、撮影画像から用紙部分（書面資料領域Ｇａ）に該当する四角形の４頂点を取得する（ステップＳ１４３）。係る処理は、第１の実施の形態で既説した矩形変形処理（図５参照）における処理と同様である。
【００３８】
次に、先に取得した画角と解像度を用いて取得した４頂点の座標から画像の歪み量を計算する（ステップＳ１４４）。以下に、その計算方法を説明する。まず画像に歪みは、通常、図１３（ａ）に示したように、例えば用紙（書面資料Ａ）を真上から見たとき、書画カメラ３のカメラ部３ａが用紙の外周部側に位置した状態で、用紙を斜めに撮影した場合に発生し、撮影された画像においては、同図（ｂ）に示したように、用紙部分（書面資料領域Ｇａ）が台形となる。また、そのとき書画カメラ３を横から見ると同図（ｃ）に示した状態である。
【００３９】
ここで、図示したように、
・カメラの画角        ：α
・画像の解像度        ：Ｈ（ピクセル値）
・用紙部分の上辺の長さ：Ｌ（ピクセル値）
・用紙部分の下辺の長さ：Ｍ（ピクセル値）
・用紙部分の高さ      ：ｈ（ピクセル値）
である場合、
・用紙部分の画角      ：β＝α×ｈ／Ｈ
【００４０】
・カメラの傾き        ：Δ
とした時
【数１】
2004363736.tif 000003
であり、これからΔを求める。
しかる後、下辺長（Ｍ）に対する用紙高さ（Ｎ）を、
【数２】
2004363736.tif 000004
で求める。
【００４１】
そして、上記のように求めた歪み量を、用紙部分の縦、横の長さにそれぞれ加える（ステップＳ１４５）。しかる後、縦の長さが横の長さよりも大きい場合には（ステップＳ１４６でＹＥＳ）、縦置きと判定し（ステップＳ１４７）、そうでなければ（ステップＳ１４６でＮＯ）、横置きと判定する（ステップＳ１４７）。
【００４２】
以上のように、本実施の形態によれば、書面資料Ａが縦置きであるか、横置きであるかの別を自動検出することができる。したがって、ユーザーに書面資料Ａの向きを指定させることなく、前述した撮影画像の適正化を行うことができる。
【００４３】
（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。本実施の形態は、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、前述した書面資料Ａの撮影画像の適正化に用いる撮影角度を自動的に取得する方法に関するものである。本実施の形態では、書面資料Ａの撮影時点における書画カメラ３の画角、及び書画カメラ３から出力された画像の解像度を取得可能な構成を有するとともに、ＰＣ２の前記記憶装置２３に、ＰＣ２に後述する傾き測定処理を実行させるためのプログラムが格納されている。
【００４４】
次に、本実施の形態において、撮影角度を取得する際の手順を図１４のフローチャートにしたがって説明する。まず、準備段階として、図１５に示すように、予め書画カメラ３のカメラ台３ａにカメラ３ｃから垂線ＶＬを下したポイントに特定のマークＭを置く（ステップＳ１５１）。なお、図１５（ａ）は、そのとき状態を示す正面図、同図（ｂ）は左側面図である。次に、そのマークＭが画角内に入るようにカメラ３ｃの向きを設定し（ステップＳ１５２）、その状態でカメラ台３ａを撮影する（ステップＳ１５３）。引き続き、ＰＣ２に自動又は手動で傾き測定処理を開始させる。ＰＣ２においては、まず撮影画像Ｇ１に対してエッジ認識を行ってマークＭの位置を取得する（ステップＳ１５４）。なお、取得する位置データはピクセル単位の座標値である。次に、撮影画像Ｇ１の中心座標とマークＭのまでの距離（ピクセル数）を計算した後（ステップＳ１５５）、書画カメラ３の画角を元に、カメラ３ｃの傾き、すなわちカメラ台３ａの上面に対する撮影角度を計算する（ステップＳ１５６）。
【００４５】
その際の角度計算は、以下により行う。すなわち図１５（ｂ）において、
・カメラの画角    ：α
・円弧Ａ、Ｂの長さ：Ｌ
・円弧Ｃ、Ｄの長さ：Ｍ
としたとき、求めるカメラ３ｃの傾き（撮影角度Δ）は、
傾き（Δ）＝α×Ｍ／Ｌ
である。
また、円弧Ａ、Ｂの長さ（Ｌ）、円弧Ｃ、Ｄの長さ（Ｍ）は、撮影画像Ｇ１の線分ａ，ｂ、線分ｃ，ｄの長さに対応する。したがって
傾き（Δ）＝α×線分ａ，ｂ／線分ｃ，ｄ
によりカメラ３ｃの傾き（Δ）を求める。
【００４６】
したがって、本実施の形態においては、上述した手順により取得した撮影角度（Δ）を用いることにより撮影画像の適正化を行うことができる。つまりカメラ台３ａに置いた書面資料Ａの撮影画像に対し、撮影角度（Δ）を用いて縦、横方向の台形補正を行うことにより、書面資料Ａを垂直方向から撮影したとき得られるものと同様の画像を取得することができる。
【００４７】
（第４の実施の形態）
次に、本発明の第４の実施の形態を説明する。本実施の形態は、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、書面資料Ａの撮影画像の適正化に用いる撮影角度を、第３の実施の形態とは異なる方法によって自動的に取得する方法に関するものである。本実施の形態では、書画カメラ３においてカメラ台３ａに対するカメラ部ｃの高さが任意に調整でき、かつその高さの情報をＰＣ２が取得可能であるとともに、ＰＣ２の前記記憶装置２３に、ＰＣ２に後述する傾き測定処理を実行させるためのプログラムが格納されている。
【００４８】
次に、本実施の形態において、撮影角度を取得する際の手順を図１６のフローチャートにしたがって説明する。まず、準備段階として、図１７に示すように、ＸＹ座標の升目が印刷等されている用紙（基準用紙）Ｔを用意し、それを予め書画カメラ３のカメラ台３ａに、カメラ３ｃから垂線ＶＬを下したポイントが原点Ｏ（０，０）となるように調整する（ステップＳ１６１）。なお、図１７（ａ）は、そのとき状態を示す正面図、同図（ｂ）は左側面図である。次に、カメラ３ｃの向きを任意に設定し（ステップＳ１６２）、その状態で用紙Ｔを撮影する（ステップＳ１６３）。引き続き、ＰＣ２に自動又は手動で傾き測定処理を開始させる。ＰＣ２においては、まず撮影画像Ｇ１に対してエッジ認識を行って升目座標を取得する（ステップＳ１６４）。次に、撮影画像Ｇ１の中心座標と升目座標の原点Ｏとの距離をピクセル数で取得した後（ステップＳ１６５）、その距離と、カメラ３ｃの高さとに基づき撮影角度を計算する（ステップＳ１６６）。
【００４９】
その際の角度計算は、以下により行う。すなわち図１７（ｂ）において、
・カメラ高さ：Ｈ
・シフト量  ：Ｗ（撮影画像Ｇ１の中心座標と升目座標の原点Ｏとの距離）
とし、カメラ３ｃの傾きΔ（撮影角度）を
傾き：Δ＝ａｔａｎ（Ｗ／Ｈ）
により求める。
【００５０】
したがって、本実施の形態においても、上述した手順により取得した撮影角度（Δ）を用いることにより、撮影画像の適正化を行うことができる。つまりカメラ台３ａに置いた書面資料Ａの撮影画像に対し、撮影角度（Δ）を用いて縦、横方向の台形補正を行うことにより、書面資料Ａを垂直方向から撮影したとき得られるものと同様の画像を取得することができる。
【００５１】
（第５の実施の形態）
次に、本発明の第５の実施の形態を説明する。本実施の形態は、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、書面資料Ａとカメラ３ｃとにおける向き（回転方向の傾き）の違いに起因する書面資料Ａの撮影画像の向きを補正する方法に関するものであり、ＰＣ２の前記記憶装置２３に、ＰＣ２に後述する回転補正処理を実行させるためのプログラムが格納されているものである。
【００５２】
図１８は、ＰＣ２における回転補正処理の手順を示すフローチャートであって、ＰＣ２は、例えば第１の実施の形態で説明した方法により、まず書画カメラ３から入力した撮影画像における矩形歪みを補正する（ステップＳ１８１）。次に、補正した撮影画像について、図１９に示したような所定の順番で、異なる走査方向から文字列の周辺分布を調査する（ステップＳ１８２）。そして、各々の走査方向での周辺分布を得る毎に、それが正規分布であるか否かを確認する（ステップＳ１８３）。ここで、書面資料Ａにおけるドキュメント（文字列）が、例えば図２０（ａ）に示したものであるとき、撮影画像が走査方向に対して回転していなければ同図（ｂ）に示したような正規の周辺分布Ｅ１を得ることができる。また、撮影画像が走査方向に対して回転していた場合には図２１（ａ）に示したような正規でない周辺分布Ｅ２が得られることとなる。
【００５３】
そして、いずれかの走査方向で正規の周辺分布Ｅが得られたら（ステップＳ１８３でＹＥＳ、図２１（ｂ））、その時の走査方向の角度を補正角度とする（ステップＳ１８４）。しかる後、撮影画像を上記の補正角度に合わせて回転させることにより、撮影画像の向きを補正する（ステップＳ１８５）。これにより、図２０（ａ）に示したようなドキュメントＤの傾きなくして水平とする撮影画像の適正化を行うことができる。なお、通常、ドキュメントは縦書きと横書きと（図示した例）の２種類に大別されるが、ドキュメントが縦書きであったときには、ドキュメントを垂直に合わせることができる。
【００５４】
（第６の実施の形態）
次に、本発明の第６の実施の形態を説明する。本実施の形態は、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、書面資料Ａとカメラ３ｃとにおける向き（回転方向の傾き）の違いに起因する書面資料Ａの撮影画像の向きを、第５の実施の形態とは異なる方法によって補正するものであり、ＰＣ２の前記記憶装置２３には、ＰＣ２に後述する回転補正処理を実行させるためのプログラムが格納されている。
【００５５】
図２２は、ＰＣ２における回転補正処理の手順を示すフローチャートであって、ＰＣ２は、例えば第１の実施の形態で説明した方法により、まず書画カメラ３から入力した撮影画像Ｇ１における矩形歪みを補正する（ステップＳ１９１、図２３（ａ））。次に、補正した撮影画像に対して色と輝度の変化によるエッジを認識し（ステップＳ１９２）、認識したエッジの中から外周部分に該当する直線Ｌを少なくとも１辺求める（ステップＳ１９３、図２３（ｂ））。引き続き、その直線Ｌから画像の傾きを求める（ステップＳ１９４）。ここで求める傾きは、直線Ｌの垂直に対する角度、又は水平に対する角度のどちらか小さい方の角度、及びその回転方向である。そして、求めた傾きの値（角度と回転方向）を元に撮影画像Ｇ１を回転させることにより、それを垂直又は水平に合わせる（ステップＳ１９５、図２３（ｃ））。
【００５６】
したがって、書面資料Ａがドキュメントでなくとも、さらには全く文字がないような絵や写真であっても、それらをいずれか１辺が入るよう撮影しさえすれば、適正化された撮影画像Ｇ２を自動的に取得することができる。
【００５７】
（第７の実施の形態）
次に、本発明の第７の実施の形態を説明する。本実施の形態は、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、書面資料Ａとカメラ３ｃとにおける向き（回転方向の傾き）の違いに起因する書面資料Ａの撮影画像の向きを、第５、第６の実施の形態とは異なる方法によって補正するものであり、ＰＣ２の前記記憶装置２３には、ＰＣ２に後述する回転補正処理を実行させるためのプログラムが格納されている。
【００５８】
図２４は、ＰＣ２における回転補正処理の手順を示すフローチャートであって、ＰＣ２は、例えば第１の実施の形態で説明した方法により矩形歪みを補正した後の撮影画像Ｇ１の中から、文字に該当する画像領域Ｇａを抽出する（ステップＳ２０１、図２５（ａ））。なお、このとき、撮影画像Ｇ１全体を文字に該当する領域とすることによって係る処理を省略してもよい。次に、抽出した領域Ｇａの画像を９０°ずつ４方向に回転し、文字認識を実施し（ステップＳ２０２）、文字として認識可能な角度を求める（ステップＳ２０３、図２５（ｂ））。そして、求めた角度に合わせて撮影画像Ｇ１全体を回転させる（ステップＳ２０４、図２５（ｃ））。したがって、本実施の形態によれば、文字の向きが正しい適正化された撮影画像Ｇ２を取得することができる。
【００５９】
（第８の実施の形態）
次に、本発明の第８の実施の形態を説明する。本実施の形態は、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、書面資料Ａの撮影画像の適正化に際し、ＰＣ２が、図２６のフローチャートに示した処理を実施するものであり、そのためのプログラムがＰＣ２の前記記憶装置２３に格納された構成を備えている。
【００６０】
本実施の形態においてＰＣ２は、まず撮影画像Ｇ１に対して色と輝度の変化によるエッジを確認し（ステップＳ２１１）、認識したエッジの中から外周の４辺が認識可能であるときには（ステップＳ２１２でＹＥＳ）、第１の実施の形態と同様の手順で、認識したエッジの中から外周の４辺の直線及び４頂点を求めた後、既説した処理によって撮影画像Ｇ１における書面資料領域（用紙部分）のみからなる画像Ｇ２を取得する（ステップＳ２１３、図２７（ａ））。
【００６１】
また、ステップＳ２１２がＮＯであって、撮影画像Ｇ１において、認識したエッジの中から外周の４辺が認識できないときには、以下の処理を行う。まず、図２７（ｂ）に示したように、ユーザーに、撮影画像Ｇ１に対し、用紙部分の４頂点をマウス等の操作によって直接指定させ、その４頂点の位置を求めた後（ステップＳ２１４）、それによる４角形（用紙部分）に外接する最小の矩形に画像を変換する（ステップＳ２１５）。
【００６２】
したがって、本実施の形態によれば、例えば書面資料領域とその周囲の部分との色や明るさの違いが僅かであって、認識したエッジの中から外周の４辺が認識できないようなときであっても、簡単な操作で、適正化された撮影画像Ｇ２を取得することができる。
【００６３】
（第９の実施の形態）
次に、本発明の第９の実施の形態を説明する。本実施の形態は、例えば前述した第３〜第７の実施の形態における撮影画像投影装置において、画角内に全てが収まらない書面資料Ａが撮影された撮影画像に対して前述したように、矩形歪みや傾きの補正を行った後、必要な用紙部分を切り抜くときのＰＣ２の処理に関するものである。
【００６４】
すなわち本実施の形態においてＰＣ２は、図２８のフローチャートに示したように、上記補正済み（画像変換後）の画像Ｇ２に対して、ユーザーに必要な用紙部分を矩形領域で指定する操作を行わせる（ステップＳ２２１）。用紙部分の指定は、例えば図２９（ａ）に示したように、マウス操作によりユーザーが投影したい矩形領域の対角線沿い２頂点を指定させることにより行う。次に、上記画像Ｇ２から、指定された用紙部分を切り抜き（ステップＳ２２２）、切り抜いた用紙部分の画像Ｇｂを表示ソフトに送る（ステップＳ２２３、図２９（ｂ））。
【００６５】
したがって、画角内に全てが収まらない書面資料Ａが撮影された撮影画像に対しても、最終的な最適化を行うことができる。
【００６６】
（第１０の実施の形態）
次に、本発明の第１０の実施の形態を説明する。本実施の形態も、例えば前述した第３〜第７の実施の形態における撮影画像投影装置において、画角内に全てが収まらない書面資料Ａが撮影された撮影画像に対して前述したように、矩形歪みや傾きの補正を行った後、必要な用紙部分を切り抜くときのＰＣ２の処理に関するものである。
【００６７】
すなわち本実施の形態においてＰＣ２は、図３０のフローチャートに示したように、上記補正済み（画像変換後）の画像Ｇ２に対して、ユーザーに必要な用紙部分を、多角形領域で指定する操作を行わせる（ステップＳ２３１）。用紙部分の指定は、例えば図３１（ａ）に示したように、マウス操作によりユーザーが投影したい多角形領域の各頂点を指定させることにより行う。次に、上記画像Ｇ２から、多角形で指定された領域に外接する最小矩形で画像を切り出し（ステップＳ２３２）、その画像から、ユーザーが指定していない部分の画像（領域）Ｇｃを削除（又は白塗り）した後（ステップＳ２３３）、ステップＳ２３２で切り抜いた画像Ｇｂを表示ソフトに送る（ステップＳ２３４、図３１（ｂ））。
【００６８】
したがって、画角内に全てが収まらない書面資料Ａが撮影された撮影画像に対しても最終的な最適化を行うことができ、しかもユーザーが必要な領域が矩形でない場合にも対応することができる。
【００６９】
（第１１の実施の形態）
次に、本発明の第１１の実施の形態を説明する。本実施の形態は、前述した書面資料Ａの撮影画像の適正化に用いる撮影角度を自動的にリアルタイムで、かつ正確に取得する方法に関するものである。本実施の形態においては、図１〜図３に示したと同様の構成を備えた撮影画像投影装置において、前記書画カメラ３に、図３３に示したように、前記カメラ３ｃに固定された第１の重力センサ４０と、前記カメラ台３ａに固定された第２の重力センサ４１とが付加されるとともに、ＰＣ２の前記記憶装置２３に、ＰＣ２に後述する撮影角度取得処理を実行させるためのプログラムが格納されている。
【００７０】
以下、本実施の形態のＰＣ２における撮影角度取得処理の内容を図３４のフローチャートに従って説明する。すなわちＰＣ２は、カメラ３ｃに付加した第１の重力センサ４０から鉛直方向Ｌ１を取得し（ステップＳ２５１）、その鉛直方向Ｌ１を基準としてカメラ３ｃの角度αを取得する（ステップＳ２５２）。次に、カメラ台３ａに付加した第２の重力センサ４１から鉛直方向Ｌ２を取得し（ステップＳ２５３）、その鉛直方向Ｌ２を基準としてカメラ台３ａの角度βを取得する（ステップＳ２５４）。しかる後、カメラの傾きの角度αからカメラ台の傾きの角度βを差し引くことで、カメラ３ｃの真の傾きの角度（撮影角度）Δを取得する（ステップＳ２５５）。
【００７１】
したがって、本実施の形態においても、上述した手順により取得した撮影角度（Δ）を用いることにより撮影画像の適正化を行うことができる。つまりカメラ台３ａに置いた書面資料Ａの撮影画像に対し、撮影角度（Δ）を用いて縦、横方向の台形補正を行うことにより、書面資料Ａを垂直方向から撮影したとき得られるものと同様の画像を取得することができる。
【００７２】
しかも、前述した第３及び第４の実施の形態のような事前準備を行うことなく、撮影角度（Δ）を自動的にリアルタイムで、かつ正確に取得することができるため、使い勝手がよい。
【００７３】
なお、以上説明した各実施の形態における撮影画像投影装置においては、プロジェクタ１によって本発明の投影手段が実現され、かつＰＣ２によって本発明の補正手段が実現されたものであって、撮影画像の補正に関する種々の画像処理がＰＣ２によって行われるものについて説明したが、前述した種々の画像処理をプロジェクタ１や書画カメラ３に行わせるようにしてもよい。その場合にはＰＣ２を廃止することもできる。さらには、プロジェクタ１と書画カメラ３とを一体化させた構成とすることもできる。
【００７４】
【発明の効果】
以上説明したように第１の発明においては、撮影画像から取得された画像情報により撮影画像を補正するため、撮影画像に対して台形歪み補正のみに止まらず種々の補正を行うことができるようにした。よって、投影に先立つ撮影画像の適正化に必要な種々の補正に対応することが可能となる。
【００７５】
また、第２の発明においては、撮影画像から直接得られる正しい撮影角度によって撮影画像の傾きを補正することができるようにした。よって、投影に先立つ撮影画像に対する補正を正確に行うことが可能となる。
【００７６】
また、第３の発明においては、撮影画像が、書面資料がカメラ台に載っていない状態で、かつカメラ台に傾きが生じている状況下で撮影された場合であっても、正しい撮影角度を得ることができるようにした。よって、カメラ台に支持されたカメラによって取得された撮影画像において、投影に先立つ補正を正確に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の各実施の形態に共通する撮影画像投影装置の構成図である。
【図２】同撮影画像投影装置の電気的構成の概略を示すブロック図である。
【図３】第１〜第１０の実施の形態における書画カメラの電気的構成の概略を示すブロック図である。
【図４】各実施の形態に共通する撮影画像投影装置の基本動作を示すフローチャートである。
【図５】第１の実施の形態におけるＰＣによる矩形変形処理の手順を示すフローチャートである。
【図６】同矩形変形処理の説明図である。
【図７】同矩形変形処理による形状変換の内容を示す説明図である。
【図８】ＰＣによる縦横比変形処理の手順を示すフローチャートである。
【図９】同縦横比変形処理の内容を示す説明図である。
【図１０】同縦横比変形処理の終了後におけるＰＣの動作を示すフローチャートである。
【図１１】ＰＣによる切り抜き処理の内容を示す説明図である。
【図１２】第２の実施の形態を示す、ＰＣ２による方向検出処理の内容を示すフローチャートである。
【図１３】撮影画像に歪みが発生する理由、及びその状態を示す説明図である。
【図１４】第３の実施の形態における撮影角度を取得する際の手順を示すフローチャートである。
【図１５】撮影角度を取得する際の書画カメラの状態等を示す説明図である。
【図１６】第４の実施の形態における撮影角度を取得する際の手順を示すフローチャートである。
【図１７】撮影角度を取得する際の書画カメラの状態等を示す説明図である。
【図１８】本発明の第５実施の形態におけるＰＣによる回転補正処理の手順を示すフローチャートである。
【図１９】撮影画像に対する走査方向の順番を示す説明図である。
【図２０】ドキュメントと走査方向と周辺分布との関係を示す模式図である。
【図２１】周辺分布が正規でないときのドキュメントと走査方向と周辺分布との関係を示す模式図である。
【図２２】本発明の第６実施の形態におけるＰＣによる回転補正処理の手順を示すフローチャートである。
【図２３】同回転補正処理の説明図である。
【図２４】本発明の第７実施の形態におけるＰＣによる回転補正処理の手順を示すフローチャートである。
【図２５】同回転補正処理の説明図である。
【図２６】本発明の第８実施の形態におけるＰＣの動作を示すフローチャートである。
【図２７】同ＰＣの動作を示す説明図である。
【図２８】本発明の第９実施の形態におけるＰＣの動作を示すフローチャートである。
【図２９】同ＰＣの動作を示す説明図である。
【図３０】本発明の第１０実施の形態におけるＰＣの動作を示すフローチャートである。
【図３１】同ＰＣの動作を示す説明図である。
【図３２】第１１の実施の形態における書画カメラの電気的構成の概略を示すブロック図である。
【図３３】同実施の形態におけるＰＣの撮影角度取得処理の内容を示すフローチャートである。
【図３４】撮影角度を取得する際の書画カメラの状態等を示す説明図である。
【符号の説明】
１    プロジェクタ
２    パーソナルコンピュータ（ＰＣ）
３    書画カメラ
３ａ    カメラ台
３ｂ    支柱
３ｃ    カメラ
４    ＲＧＢケーブル
５    ＵＳＢケーブル
２１    ＣＰＵ
２２    ＲＡＭ
２３    記憶装置
２４    入力装置
３１    ＣＣＤ
４０    第１の重力センサ
４１    第２の重力センサ
Ａ    書面資料
Ｇ１    撮影画像
Ｇａ    書面資料領域
Ｓ    スクリーン
【図１】
2004363736.tif 000005
【図２】
2004363736.tif 000006
【図３】
2004363736.tif 000007
【図４】
2004363736.tif 000008
【図５】
2004363736.tif 000009
【図６】
2004363736.tif 000010
【図７】
2004363736.tif 000011
【図８】
2004363736.tif 000012
【図９】
2004363736.tif 000013
【図１０】
2004363736.tif 000014
【図１１】
2004363736.tif 000015
【図１２】
2004363736.tif 000016
【図１３】
2004363736.tif 000017
【図１４】
2004363736.tif 000018
【図１５】
2004363736.tif 000019
【図１６】
2004363736.tif 000020
【図１７】
2004363736.tif 000021
【図１８】
2004363736.tif 000022
【図１９】
2004363736.tif 000023
【図２０】
2004363736.tif 000024
【図２１】
2004363736.tif 000025
【図２２】
2004363736.tif 000026
【図２３】
2004363736.tif 000027
【図２４】
2004363736.tif 000028
【図２５】
2004363736.tif 000029
【図２６】
2004363736.tif 000030
【図２７】
2004363736.tif 000031
【図２８】
2004363736.tif 000032
【図２９】
2004363736.tif 000033
【図３０】
2004363736.tif 000034
【図３１】
2004363736.tif 000035
【図３２】
2004363736.tif 000036
【図３３】
2004363736.tif 000037
【図３４】
2004363736.tif 000038