(57)【要約】【課題】見開き状態の書籍を撮像した際の、ページの撓みによる印刷文字や印刷図面の歪みを補正し、本来の印刷文字や印刷図面の画像データを得ることができる。【解決手段】見開き状態の書籍Ａを撮像して得られた画像データＢに対し、画像処理を行う画像処理方法であって、画像データＢから、ページ部分の画像データＣを抽出するページ抽出工程と、ページ部分の画像データＣを、書籍Ａの綴じ目Ａ１に直交方向に分割する画像データ分割工程と、分割して得られた複数の分割画像データＤに対しそれぞれ、各領域の版面が正面視画像となるように、キーストーン歪補正を施すキーストーン歪補正工程と、補正した複数の分割画像データＤを合成して、１の画像データＢを生成する画像データ合成工程と、を備えた。【選択図】図６
2011205167.tif 000002
【特許請求の範囲】
【請求項１】
見開き状態の書籍を撮像して得られた画像データに対し、画像処理を行う画像処理方法であって、
前記画像データから、ページ部分の画像データを抽出するページ抽出工程と、
前記ページ部分の画像データを、前記書籍の綴じ目に直交する方向に複数の領域に分割する画像データ分割工程と、
分割して得られた複数の分割画像データに対しそれぞれ、各領域の版面が正面視画像となるように、キーストーン歪補正を施すキーストーン歪補正工程と、
補正した前記複数の分割画像データを合成して、１の画像データを生成する画像データ合成工程と、を備えたことを特徴とする画像処理方法。
【請求項２】
前記キーストーン歪補正工程の前に、前記ページ部分のサイズ情報と、前記ページ部分の輪郭情報と、に基づいて、前記ページ部分の撓みの度合いを示す撓み値を判別する撓み値判別工程と、
前記撓み値に基づいて、前記複数の分割画像データに対する、前記キーストーン歪補正の各補正値を判別する補正値判別工程と、を更に備え、
前記キーストーン歪補正工程では、前記複数の分割画像データに対し、前記各補正値に基づいて、前記キーストーン歪補正を施すことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記画像データ分割工程は、分割する前記複数の領域のうち、前記書籍の綴じ目付近の領域が、他の領域よりも細かくなるように、分割することを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記画像データ分割工程は、分割する前記複数の領域のうち、前記書籍の小口付近の領域が、他の領域よりも細かくなるように、分割することを特徴とする請求項１または２に記載の画像処理方法。
【請求項５】
前記画像データ分割工程は、分割する複数の領域のうち、前記書籍の綴じ目付近の領域および小口付近の領域が、他の領域よりも細かくなるように、分割することを特徴とする請求項１または２に記載の画像処理方法。
【請求項６】
前記ページ部分のサイズ情報を取得するサイズ情報取得工程と、
前記画像データ合成工程の後に、取得した前記サイズ情報に応じて、合成した前記１の画像データを拡大・縮小する拡大・縮小工程と、を更に備えたことを特徴とする請求項１ないし５のいずれかに記載の画像処理方法。
【請求項７】
前記複数の分割画像データに対し、当該各分割画像データの色を補正する色補正工程を、更に備えたことを特徴とする請求項１ないし６のいずれかに記載の画像処理方法。
【請求項８】
前記色補正工程では、前記各分割画像データの背景色に基づいて、当該各分割画像データの色を補正することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
背中側を載置して見開き状態とすると共に見開き側を自由状態とした書籍を、見開きの対向方向から撮像する撮像部と、
撮像して得られた画像データから、ページ部分の画像データを抽出するページ抽出部と、
前記ページ部分の画像データを、前記書籍の綴じ目に直交する方向に複数の領域に分割する画像データ分割部と、
分割して得られた複数の分割画像データに対しそれぞれ、各領域の版面が正面視画像となるように、キーストーン歪補正を施すキーストーン歪補正部と、
補正した前記複数の分割画像データを合成して、１の画像データを生成する画像データ合成部と、を備えたことを特徴とする書画カメラ。
【請求項１０】
見開き状態の書籍を撮像して得られた画像データに対し、画像処理を行う画像処理部と、
画像処理後の前記画像データを投射する画像データ投射部と、を備え、
前記画像処理部は、
前記画像データから、ページ部分の画像データを抽出するページ抽出部と、
前記ページ部分の画像データを、前記書籍の綴じ目に直交する方向に複数の領域に分割する画像データ分割部と、
分割して得られた複数の分割画像データに対しそれぞれ、各領域の版面が正面視画像となるように、キーストーン歪補正を施すキーストーン歪補正部と、
補正した前記複数の分割画像データを合成して、１の画像データを生成する画像データ合成部と、を有することを特徴とするプロジェクター。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、見開き状態の書籍を撮像して得られた画像データに対し、画像処理を行う画像処理方法、書画カメラおよびプロジェクターに関するものである。
【背景技術】
【０００２】
従来、プロジェクターシステムとして、任意の対象物を撮像する書画カメラと、書画カメラの撮像結果をスクリーンに投射するプロジェクターと、を備えたものが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８４１２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、学校の講義等では、書画カメラによって見開き状態の書籍を撮像し、そのページ上の印刷文字や印刷図形を投射表示する場合がある。かかる場合、ページが撓んだ状態で撮像されるため、ページ上の印刷文字や印刷図形が歪んだ状態で撮像される。これに対し、上記のプロジェクターシステムでは、印刷文字や印刷図形が歪んだ状態の画像データをそのままプロジェクターに出力するため、印刷文字や印刷図形が歪んだ状態で投射表示されてしまうという問題があった。かかる場合、投射画像の印刷文字や印刷図形が認識し難いという問題がある。特に、背側を載置して見開き状態とした書籍を、見開きの対向方向から撮像する場合、綴じ目付近や小口付近の印刷文字や印刷図形が激しく歪んでしまう。
【０００５】
本発明は、見開き状態の書籍を撮像した際の、ページの撓みによる印刷文字や印刷図面の歪みを補正し、本来の印刷文字や印刷図面の画像データを得ることができる画像処理方法、書画カメラおよびプロジェクターを提供することを課題としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理方法は、見開き状態の書籍を撮像して得られた画像データに対し、画像処理を行う画像処理方法であって、画像データから、ページ部分の画像データを抽出するページ抽出工程と、ページ部分の画像データを、書籍の綴じ目に直交する方向に複数の領域に分割する画像データ分割工程と、分割して得られた複数の分割画像データに対しそれぞれ、各領域の版面が正面視画像となるように、キーストーン歪補正を施すキーストーン歪補正工程と、補正した複数の分割画像データを合成して、１の画像データを生成する画像データ合成工程と、を備えたことを特徴とする。
【０００７】
本発明の書画カメラは、背側を載置して見開き状態とすると共に見開き側を自由状態とした書籍を、見開きの対向方向から撮像する撮像部と、撮像して得られた画像データから、ページ部分の画像データを抽出するページ抽出部と、ページ部分の画像データを、書籍の綴じ目に直交する方向に複数の領域に分割する画像データ分割部と、分割して得られた複数の分割画像データに対しそれぞれ、各領域の版面が正面視画像となるように、キーストーン歪補正を施すキーストーン歪補正部と、補正した複数の分割画像データを合成して、１の画像データを生成する画像データ合成部と、を備えたことを特徴とする。
【０００８】
本発明のプロジェクターは、見開き状態の書籍を撮像して得られた画像データに対し、画像処理を行う画像処理部と、画像処理後の画像データを投射する画像データ投射部と、を備え、画像処理部は、画像データから、ページ部分の画像データを抽出するページ抽出部と、ページ部分の画像データを、書籍の綴じ目に直交する方向に複数の領域に分割する画像データ分割部と、分割して得られた複数の分割画像データに対しそれぞれ、各領域の版面が正面視画像となるように、キーストーン歪補正を施すキーストーン歪補正部と、補正した複数の分割画像データを合成して、１の画像データを生成する画像データ合成部と、を有することを特徴とする。
【０００９】
これらの構成によれば、書籍を撮像して得られた画像データを、綴じ目の直交方向に分解し、分解した領域ごとにキーストーン歪補正を行うことにより、綴じ目の直交方向におけるページの撓みに合わせて、印刷文字や印刷図形の歪みを補正することができる。ゆえに、本来の印刷文字や印刷図面の画像データ、すなわち、印刷文字や印刷図形が認識しやすい画像データを得ることができる。
【００１０】
上記の画像処理方法において、キーストーン歪補正工程の前に、ページ部分のサイズ情報と、ページ部分の輪郭情報と、に基づいて、ページ部分の撓みの度合いを示す撓み値を判別する撓み値判別工程と、撓み値に基づいて、複数の分割画像データに対する、キーストーン歪補正の各補正値を判別する補正値判別工程と、を更に備え、キーストーン歪補正工程では、複数の分割画像データに対し、各補正値に基づいて、キーストーン歪補正を施すことが好ましい。
【００１１】
この構成によれば、サイズ情報と輪郭情報とから得られた撓み値に基づいて、各分割画像データに対し、適切な補正値でキーストーン歪補正を施すことにより、各分割画像データに対するキーストーン歪補正を、容易に且つ精度良く実施することができる。
【００１２】
上記の画像処理方法において、画像データ分割工程は、分割する複数の領域のうち、書籍の綴じ目付近の領域が、他の領域よりも細かくなるように、分割することが好ましい。
【００１３】
この構成によれば、印刷文字や印刷図形の歪みが激しい綴じ目付近の領域を、ページ内の他の部分より細かく分割することで、本来の印刷文字や印刷図形をより精度良く得ることができる。
【００１４】
上記の画像処理方法において、画像データ分割工程は、分割する複数の領域のうち、書籍の小口付近の領域が、他の領域よりも細かくなるように、分割することが好ましい。
【００１５】
この構成によれば、印刷文字や印刷図形の歪みが激しい小口付近の領域を、ページ内の他の部分より細かく分割することで、本来の印刷文字や印刷図形をより精度良く得ることができる。なお、ここにいう「小口」とは、見開き状態の書籍に対し、綴じ目を中心とした際のページ部分の左右外端を示すものである。すなわち、右ページの右端および左ページの左端を示すものである。
【００１６】
上記の画像処理方法において、画像データ分割工程は、分割する複数の領域のうち、書籍の綴じ目付近の領域および小口付近の領域が、他の領域よりも細かくなるように、分割することが好ましい。
【００１７】
この構成によれば、印刷文字や印刷図形の歪みが激しい綴じ目付近および小口付近の領域を、ページ内の他の部分より細かく分割することで、本来の印刷文字や印刷図形をより精度良く得ることができる。
【００１８】
これらの場合、ページ部分のサイズ情報を取得する寸法取得工程と、画像データ合成工程の後に、取得したサイズ情報に応じて、合成した１の画像データを拡大・縮小する拡大・縮小工程と、を更に備えることが好ましい。
【００１９】
この構成によれば、合成した画像データを、サイズ情報に合わせて拡大・縮小することで、本来の印刷文字や印刷図形をより精度良く得ることができる。または、サイズ情報に応じた適切なサイズの印刷文字や印刷図形を得ることができる。
【００２０】
この場合、複数の分割画像データに対し、当該各分割画像データの色を補正する色補正工程を、更に備えることが好ましい。
【００２１】
この場合、色補正工程では、各分割画像データの背景色に基づいて、当該各分割画像データの色を補正すること好ましい。
【００２２】
見開き状態の書籍を撮像すると、ページの撓みによって綴じ目に直交する方向の各領域に明暗（影）ができてしまう。具体的には、ページの中間部分は明るく、ページの綴じ目付近や小口付近は暗い撮像結果が得られる。これに対し、上記構成によれば、分割画像データに対し色補正を行うことで、本来の色の印刷文字や印刷図形を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係るプロジェクターシステムの構成を示すブロック図である。
【図２】書画カメラの斜視図である。
【図３】撮像して得られた画像データを示した図である。
【図４】プロジェクターシステムによる画像投射動作を示すフローチャートである。
【図５】画像処理部による画像処理動作を示すフローチャートである。
【図６】画像処理部による画像処理動作を説明するための説明図である。
【図７】プロジェクターシステムの変形例を示したブロック図である。
【図８】画像データの分割処理方法の第１変形例（ａ）、第２変形例（ｂ）および第３変形例（ｃ）を示した図である。
【発明を実施するための形態】
【００２４】
以下、添付図面を参照し、本発明の画像処理方法を適用したプロジェクターシステムについて説明する。図１に示すように、プロジェクターシステム１は、書画カメラ２（いわゆる実物投影機）と、書画カメラ２が接続されたプロジェクター３とを有している。書画カメラ２によって見開き状態の書籍Ａを撮像し、撮像して得られた書籍Ａの画像データＢをプロジェクター３によって投射表示する。特に、本プロジェクターシステム１は、見開き状態の書籍Ａを撮像した際の印刷文字や印刷図形の歪みや明暗を補正して、本来の印刷文字、印刷図形を得る構成を有している。
【００２５】
図１および図２に示すように、書画カメラ２は、見開き状態の書籍Ａを上方から撮像する撮像カメラ１１（撮像部）と、撮像カメラ１１を支持するカメラスタンド１２と、カメラスタンド１２が立設された支持台１３と、支持台１３上に配設された操作部１４と、を備えている。さらに、支持台１３の内部に、データ送信部１５と、フレームメモリー１６と、を備えている。
【００２６】
撮像カメラ１１は、ＣＣＤカメラ等で構成されており、見開き状態の書籍Ａを撮像する。より具体的には、背側を載置して見開き状態とすると共に、見開き側を自由状態（非押圧状態）とした書籍Ａを、見開きの対向方向（上方）から撮像する。撮像カメラ１１による撮像結果として、見開き状態の書籍Ａと、当該書籍Ａを載置した載置面Ｅとが写る画像データＢが得られる（図３参照）。なお、本書画カメラ２は、撮像対象（書籍Ａ）を載置する載置台を有するものではなく、別体のテーブル上に載置した撮像対象（書籍Ａ）を撮像するものである。そのため、当該上記載置面Ｅとは、そのテーブルの載置面Ｅを示している。
【００２７】
カメラスタンド１２は、支持台１３上に立設すると共に鉛直方向に延在する支持軸２１と、支持軸２１の先端部に支持されると共に、先端部に撮像カメラ１１を取り付けた支持フレーム２２と、を備えている。支持軸２１は、基端側の角筒形の太軸と、先端側の角柱形の細軸とから成る入り子構造で構成されており、先端方向に伸縮自在に構成されている。また、支持フレーム２２は、水平方向に延在し、その先端部の鉛直方向下部に撮像カメラ１１を配設している。
【００２８】
操作部１４は、画像取り込みスイッチ２３と、サイズ選択つまみ２４と、を有している。画像取り込みスイッチ２３は、撮像カメラ１１の駆動のＯＮ／ＯＦＦを切り替えるスイッチである。一方、サイズ選択つまみ２４は、撮像する書籍Ａのサイズ情報を選択するためのつまみである。サイズ選択つまみ２４には、Ｂ５、Ａ４、Ｂ４、Ａ３およびＢ３の目盛りが付記しており、Ｂ５、Ａ４、Ｂ４、Ａ３およびＢ３の中から、ユーザーにサイズ情報を選択させる。なお、ここにいう書籍Ａのサイズ情報とは、書籍Ａが閉じた状態での大きさを示すものである。ここでは、サイズ選択つまみ２４によって、Ｂ５、Ａ４、Ｂ４、Ａ３およびＢ３のいずれかを選択させる構成としたが、サイズ選択つまみ２４を、この他、四六判、三五判、外国サイズのレター判、リーガル判等に対応させる構成であっても良い。また、本実施形態では、ケーブルを介したプロジェクター３への接続に起因して、プロジェクター３から電源が供給され、書画カメラ２が起動するものを想定しているが、新たに電源スイッチを有し、電源スイッチの押下に起因して、書画カメラ２が起動するものであっても良い。
【００２９】
フレームメモリー１６は、撮像カメラ１１によって得られた画像データＢを一時的に記憶する。データ送信部１５は、ＡＶ端子やＵＳＢ端子等の出力端子によって構成されており、フレームメモリー１６に一時記憶された画像データＢと、サイズ選択つまみ２４によって選択されたサイズ情報であるサイズ選択情報と、を、ケーブル１８を介してプロジェクター３に送信する。
【００３０】
図１に示すように、プロジェクター３は、データ受信部３１と、画像処理部３２と、ライトバルブ駆動部３３と、ランプ駆動部３４と、投射光学部３５と、を備えている。データ受信部３１によって書画カメラ２から受信した画像データＢを、画像処理部３２によって画像処理し、ライトバルブ駆動部３３、ランプ駆動部３４および投射光学部３５によって、投射表示する。
【００３１】
データ受信部３１は、ＡＶ端子やＵＳＢ端子等の入力端子によって構成されており、書画カメラ２からの画像データＢおよびサイズ選択情報を、ケーブル１８を介して受信する。なお、本実施形態においては、有線通信によってデータを通信することを想定しているが、無線通信によってデータを通信する構成であっても良い。
【００３２】
ライトバルブ駆動部３３は、液晶ドライバーであり、後述の液晶ライトバルブ４２の各画素に、画像データＢに応じた駆動電圧を印加することにより、各画素の光透過率を設定する。
【００３３】
ランプ駆動部３４は、放電発光型のランプである後述の光源ランプ４１を点灯するために高電圧を発生して放電回路を形成するイグナイタ部と、点灯後の安定した点灯状態を維持するためのバラスト回路と、を有している（いずれも図示省略）。なお、光源ランプ４１としては、超高圧水銀ランプ、メタルハライドランプ、キセノンランプ等を採用可能である。また、これら放電発光型のランプに限らず、発光ダイオード、有機ＥＬ素子、シリコン発光素子等の各種自己発光素子を採用しても良い。
【００３４】
投射光学部３５は、スクリーンＳＣ上に、画像データＢを投射表示するものであり、光源ランプ４１と、３原色に対応した３つの液晶ライトバルブ４２と、投射レンズ４３と、を有する。各液晶ライトバルブ４２は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。各透明基板の内面には、液晶に対して微小領域毎に駆動電圧を印加可能な透明電極（画素）がマトリクス状に形成されている。
【００３５】
光源ランプ４１から射出された照明光は、不図示の光分離光学系によって、Ｒ，Ｇ，Ｂの色光に分離された後、各色用の液晶ライトバルブ４２を透過することによって、画像データＢに応じた光変調がなされる。また、変調された画像光は、不図示の光合成光学系（ダイクロイックプリズムなど）により画素毎に合成されてカラー画像化され、当該カラー画像化された画像光が投射レンズ４３によって投射されることにより、スクリーンＳＣ上に投射画像が表示される。すなわち、ライトバルブ駆動部３３、ランプ駆動部３４および投射光学部３５（画像データ投射部）によって、画像データＢを、スクリーンＳＣに投射する。
【００３６】
画像処理部３２は、受信した書籍Ａの画像データＢに対し、画像処理を施すものであって、部分データ抽出部（ページ抽出部）５１と、撓み値判別部５２と、画像データ分割部５３と、補正値判別部５４と、キーストーン歪補正部５５と、色補正部５６と、画像データ合成部５７と、拡大・縮小部５８と、を有している。画像処理部３２は、画像処理として、ページの撓みによる印刷文字や印刷図形の歪みの補正と、ページの撓みによる明暗（影）の除去とを施す。
【００３７】
部分データ抽出部５１は、画像データＢから、綴じ目Ａ１を中心とした右ページおよび左ページを含むページ部分の画像データＣ（図６参照）を抽出する。撓み値判別部５２は、ページ部分の画像データＣと、サイズ情報とに基づいて、撮像したページ（ページ部分）の撓み度合いを示す撓み値を判別する。
【００３８】
画像データ分割部５３は、ページ部分の画像データＣを綴じ目Ａ１に直交する方向に複数の領域に分割する。補正値判別部５４は、判別した撓み値に応じて、分割して得られた各分割画像データＤにキーストーン歪補正を施す際の各補正値を判別する。キーストーン歪補正部５５は、判別した各補正値に基づいて、各分割画像データＤを補正する。色補正部５６は、各分割画像データＤに対し色補正を施す。
【００３９】
画像データ合成部５７は、キーストーン歪補正および色補正後の各分割画像データＤを合成して１の画像データＢを生成する。拡大・縮小部５８は、生成した画像データＢを、サイズ情報に応じて、拡大・縮小する。
【００４０】
ここで図４を参照して、プロジェクターシステム１による画像投射動作について説明する。本画像投射動作は、書画カメラ２の画像取り込みスイッチ２３の操作に起因して実行されるものである。なお、本画像投射動作は、サイズ選択つまみ２４によって、ユーザーによりサイズ情報が選択された状態で行われているものとする。
【００４１】
図４に示すように、書画カメラ２は、画像取り込みスイッチ２３がＯＮされると（Ｓ１：Ｙｅｓ）、撮像カメラ１１により、見開き状態の書籍Ａを撮像して画像データＢを生成する（Ｓ２）。画像データＢを生成したら、当該画像データＢをフレームメモリー１６に一時記憶する（Ｓ３）。その後、データ送信部１５により、サイズ選択つまみ２４によって選択された選択結果であるサイズ選択情報を取得する（サイズ情報取得工程）（Ｓ４）と共に、当該サイズ選択情報と、フレームメモリー１６に記憶された画像データＢと、プロジェクター３に送信する（Ｓ５）。
【００４２】
一方、プロジェクター３は、データ受信部３１により、書画カメラ２からの画像データＢとサイズ選択情報とを受信すると（Ｓ６：Ｙｅｓ）、画像処理部３２により、後述の画像処理動作を実施し（Ｓ７）、受信した画像データＢに画像処理を施す。その後、ライトバルブ駆動部３３、ランプ駆動部３４および投射光学部３５により、画像処理後の画像データＢをスクリーンＳＣに投射表示する（Ｓ８）。これによって本動作を終了する。
【００４３】
次に図５および図６を参照して、画像処理部３２による画像処理動作について説明する。図５および図６に示すように、画像処理動作では、まず、部分データ抽出部５１により、ページ部分の画像データＣを抽出する（ページ抽出工程）（Ｓ１１：図６（ｂ））。具体的には、画像データＢを２値化して、ページ部分の輪郭を判別し、当該輪郭内の画像データを、ページ部分の画像データＣとして抽出する。
【００４４】
ページ部分の画像データＣを抽出したら、撓み値判別部５２により、当該画像データＣと、サイズ選択情報とに基づいて、撮像したページ（ページ部分）の撓み値を判別する（撓み値判別工程）（Ｓ１２）。具体的には、まず、ページ部分の輪郭（輪郭情報）から、画像データＣ上におけるページ部分のアスペクト比を取得する。すなわち、画像データＣ上の書籍Ａの綴じ目Ａ１を判別し、綴じ目Ａ１方向を上下、綴じ目Ａ１と直交する方向を左右とした際の、ページ部分の輪郭における最上端から最下端までの長さ（以下、上下長）と、ページ部分の輪郭における最右端から最左端までの長さ（以下、左右長）とを算出、その比を取得する。次に当該アスペクト比と、サイズ選択情報のサイズ情報におけるページ部分のアスペクト比とに基づいて、撓み値を判別する。画像データＣのアスペクト比は、ページの撓み値が高いほど、サイズ情報（書式サイズ）に基づくアスペクト比に対し、左右長が短くなる。撓み値判別部５２は、この相関関係を示すテーブルを記憶しておき、これに基づいて撓み値を判別する。
【００４５】
撓み値を判別したら、今度は、画像データ分割部５３により、抽出したページ部分の画像データＣを、綴じ目Ａ１の直交方向に複数の領域に分割する（画像データ分割工程）（Ｓ１３：図６（ｃ））。具体的には、綴じ目Ａ１を中心とした左右の領域（右ページおよび左ページ）をそれぞれ、綴じ目Ａ１の直交方向に等間隔で７個の領域に分割する。これによって、２×７の計１４個の領域の１４個の分割画像データＤを得られる。
【００４６】
ページ部分の画像データＣを分割したら、補正値判別部５４により、上記撓み値に基づいて、各分割画像データＤに対するキーストーン歪補正の各補正値を判別する（補正値判別工程）（Ｓ１４）。支持軸２１の伸縮量固定の条件では、書籍Ａに対する撮像カメラ１１の撮像角は固定であるため、ページの撓み値に対し、分割した各領域における版面が、特定の各撮像角で撮像される。そのため、任意の撓み値に対し、当該各撮像角で撮像された版面を正面視画像とする各補正値を記憶しておく。すなわち、撓み値と各領域の各補正値とを対応付けた補正テーブルを記憶しておき、これに基づいて、各分割画像データＤの各補正値を判別する。
【００４７】
各補正値を判別したら、キーストーン歪補正部５５により、キーストーン歪補正を施す（キーストーン歪補正工程）（Ｓ１５：図６（ｄ））。すなわち、各分割画像データＤに対し、判別した各補正値に基づいて、キーストーン歪補正を施す。その結果、当該各補正値によって、各領域の版面が正面視画像となるように、キーストーン歪補正を施すことになる。これによって印刷文字や印刷図形の歪みが補正される。なお、右ページの左右中間部または左ページの左右中間部に位置する領域は、ページの撓みによる影響が少ないため、当該領域の分割画像データに対するキーストーン歪補正をキャンセルする構成であっても良い。
【００４８】
キーストーン歪補正を施したら、今度は、色補正部５６により、各分割画像データＤの色補正を行う（色補正工程）（Ｓ１６：図６（ｅ））。具体的には、まず、全分割画像データＤで最も多く使われている色を、全体の背景色として抽出する。次に、各分割画像データＤにおいてそれぞれで最も多く使われている色を個別の背景色として抽出し、各分割画像データＤに対し、当該各個別の背景色が、全体の背景色となるように色補正を施す。これによって、各領域での背景色が均一化され、明暗が除去される。
【００４９】
キーストーン歪補正および色補正が終了したら、画像データ合成部５７によって、１４個の分割画像データＤを元の配列で合成して、１個の画像データＢを生成する（画像データ合成工程）（Ｓ１７：図６（ｆ））。その後、拡大・縮小部５８により、サイズ選択情報のサイズに応じて、合成した画像データＢを拡大・縮小して（拡大・縮小工程）（Ｓ１８：図６（ｇ））、本動作を終了する。なお、ここで最終的に得られた１の画像データＢが、画像処理後の画像データＢである。
【００５０】
以上のような構成によれば、書籍Ａを撮像して得られた画像データＢを、綴じ目Ａ１の直交方向に分解し、分解した領域ごとにキーストーン歪補正を行うことにより、綴じ目Ａ１の直交方向におけるページの撓みに合わせて、印刷文字や印刷図形の歪みを補正することができる。ゆえに、本来の印刷文字や印刷図面の画像データＢ、すなわち、印刷文字や印刷図形が認識しやすい画像データＢを得ることができる。
【００５１】
また、サイズ情報と輪郭情報とから得られた撓み値に基づいて、各分割画像データＤに対し、適切な補正値でキーストーン歪補正を施すことにより、各分割画像データＤに対するキーストーン歪補正を、容易に且つ精度良く実施することができる。
【００５２】
さらに、合成した画像データＢを、サイズ情報（選択したサイズ）に合わせて拡大・縮小することで、本来の印刷文字や印刷図形をより精度良く得ることができる。または、サイズ情報に応じた適切なサイズの印刷文字や印刷図形を得ることができる。
【００５３】
またさらに、各分割画像データＤに対し色補正を行うことで、本来の色の印刷文字や印刷図形を得ることができる。
【００５４】
なお、本実施形態においては、書籍Ａを撮像した際の印刷文字や印刷図形の歪み補正および明暗除去を行う画像処理部３２をプロジェクター３に備える構成としたが、図７に示すように、書画カメラ２に当該画像処理部３２を備え、画像処理後の画像データをプロジェクター３に送信する構成であっても良い。また、プロジェクター３や書画カメラ２とは別に、これらに接続する画像処理装置を備え、当該画像処理装置により歪み補正および明暗除去補正を行う構成であっても良い。
【００５５】
また、本実施形態においては、ページ部分の画像データＣを均等に分割するものであったが、これに限るものではない。ここで、図７を参照して、画像データＣの分割方法の第１変形例、第２変形例および第３変形例について説明する。図８（ａ）に示すように、分割方法の第１変形例では、分割する複数の領域のうち、書籍Ａの綴じ目Ａ１付近の領域が、他の領域より細かく（幅狭に）なるように、綴じ目Ａ１付近の領域を細かく分割する。このように、印刷文字や印刷図形の歪みが激しい綴じ目Ａ１付近の領域を、ページ内の他の部分より細かく分割することで、本来の印刷文字や印刷図形をより精度良く得ることができる。
【００５６】
図８（ｂ）に示すように、分割方法の第２変形例では、分割する複数の領域のうち、小口Ａ２付近の領域が細かく（幅狭に）なるように、小口Ａ２付近を細かく分割する。このように、印刷文字や印刷図形の歪みが激しい小口Ａ２付近の領域を、ページ内の他の部分より細かく分割することで、書籍Ａの元データを多く抽出できるので補正によるデータの欠落を抑制することができ、本来の印刷文字や印刷図形をより精度良く得ることができる。
【００５７】
図８（ｃ）に示すように、分割方法の第３変形例では、分割する複数の領域のうち、綴じ目Ａ１付近の領域および小口Ａ２付近の領域が細かく（幅狭に）なるように、綴じ目Ａ１付近および小口Ａ２付近を細かく分割する。このように、印刷文字や印刷図形の歪みが激しい綴じ目Ａ１付近および小口Ａ２付近の領域を、ページ内の他の部分より細かく分割することで、本来の印刷文字や印刷図形をより精度良く得ることができる。なお、かかる際、小口Ａ２付近の領域を、綴じ目Ａ１付近の領域より、細かく分割する構成であっても良い。また、他の変形例として、ページ部分の画像データＣを、判別した撓み値に基づく分割パターンで分割するものであっても良いし、ページ部分の輪郭情報に基づく分割パターンで分割するものであっても良い。
【００５８】
また、印刷文字や印刷図形の色、大きさを検出し、当該検出結果によって、分割する領域の数を増減させる構成であっても良い。例えば、色の薄い文字図形、細かな文字図形の認識時は、細かく分割することにより、書籍Ａの元データを多く抽出できるので補正によるデータの欠落を抑制することができる。これにより本来の印刷文字や印刷図形をより精度良く得ることができ、薄い印刷色による認識不足、細かな文字図形による認識不足を低減できる。さらに、版面が印刷文字の場合には、予め記憶した各文字のキャラクターデータに基づいて、この欠落したデータを補間する構成であっても良い。
【００５９】
さらに、本実施形態においては、サイズ情報をユーザーに選択させて取得する構成であったが、撮像して得られた画像データＢと支持軸２１の伸縮量とから、サイズ情報を判別して取得する構成であっても良い。例えば、支持軸２１の伸縮量から、書籍Ａと撮像カメラ１１との距離が分かるため、当該距離と、画像データＢ上の綴じ目Ａ１の長さとから、実寸台の綴じ目Ａ１の長さを判別する。綴じ目Ａ１の長さは、ページの撓みに係わらず一定であるため、これに基づいて、ページのサイズ情報を推定する。なお、かかる場合に、書籍Ａと撮像カメラ１１との距離を、撮像カメラ１１に搭載した距離計測機能によって、測定するものであっても良い。
【００６０】
また、分割した各領域における版面と撮像カメラ１１との距離を測定する手段を更に備えると共に、撮像カメラ１１に、これに基づくオートフォーカス機能を搭載する構成であっても良い。かかる際、分割する複数の領域のうち、撮像カメラ１１との距離が大きく異なる領域があっても、ピントをその領域に合わせて再度撮像することで、印刷文字や印刷図形をより精度良く読み取ることができる。
【００６１】
なお、本実施形態においては、右ページと左ページとを合わせたページ部分の撓み値を判別し、これに基づいて補正を行ったが、右ページの撓み値と左ページの撓み値とを個別に判別し、右ページおよび左ページの画像データを個別に補正するものであっても良い。
【００６２】
また、本実施形態においては、色補正部５６により、分割画像データＤを合成する前に、各分割画像データＤの色補正を実施したが、合成した後に、各分割画像データＤの各領域に対し色補正を実施する構成であっても良い。また、キーストーン歪み補正の前に、色補正を実施する構成であっても良い。
【００６３】
なお、本実施形態においては、書籍Ａを撮像することを前提としているが、書籍を撮像するモードである書籍撮像モードと、通常モードと、を切り替えるモード切替スイッチを更に備え、通常モードでは、書籍Ａに対する上記各種補正を行わず、書籍撮像モードでは、上記各種補正を行う構成であっても良い。また、モード切替スイッチに代えて、撮像した画像データＢから書籍Ａの綴じ目の有無を判別し、綴じ目が有る場合に撮像対象が書籍Ａであると判別する書籍判別部を備え、自動的に上記の各モードに切り替える構成であっても良い。
【００６４】
なお、本実施形態においては、書籍Ａを必ず正面視して撮像することを想定しているが、書籍Ａを正面視から若干傾いて撮像する場合も考えられる。かかる場合、画像処理動作において、この傾き角度に応じたキーストーン歪み補正を新たに行う構成であっても良い。すなわち、画像処理動作の最初に、当該キーストーン歪み補正を行って、書籍Ａ全体の正面視画像の画像データＢを生成し、この画像データＢに対し各工程を実施する。
【００６５】
なお、本実施形態においては、撓み値に応じた各補正値に基づいたキーストーン歪み補正を、各分割画像データＤに施す構成であったが、各分割画像データＤにおける各領域の輪郭形状に近似する各近似台形を特定し、当該各近似台形の形状に応じたキーストーン歪み補正を、各分割画像データＤに施す構成であっても良い。例えば、各近似台形の形状がそれぞれ長方形となるように、キーストーン歪み補正を施す。
【符号の説明】
【００６６】
２：書画カメラ、  ３：プロジェクター、  １１：撮像カメラ、  ３２：画像処理部、  ３３：ライトバルブ駆動部、  ３４：ランプ駆動部、  ３５：投射光学部、  ５１：部分データ抽出部、  ５３：画像データ分割部、  ５５：キーストーン歪補正部、  ５７：画像データ合成部、  Ａ：書籍、  Ａ１：綴じ目、  Ａ２：小口、  Ｂ：画像データ、  Ｃ：ページ部分の画像データ、  Ｄ：分割画像データ
【図１】
2011205167.tif 000003
【図２】
2011205167.tif 000004
【図３】
2011205167.tif 000005
【図４】
2011205167.tif 000006
【図５】
2011205167.tif 000007
【図６】
2011205167.tif 000008
【図７】
2011205167.tif 000009
【図８】
2011205167.tif 000010