(57)【特許請求の範囲】
【請求項１】
文字および図形のうちの少なくとも一方が実際に記載されている頁内容領域を抽出する抽出部と、頁内容領域が予め定める位置に配置されるように各画像を位置合わせする位置合わせ部と、位置合わせ後の画像と位置合わせ前の画像とを位置合わせ時の変位量だけ座標系原点をずらし座標変換する座標変換部とを含む位置合わせ手段と、
書籍の複数の頁の画像から、構成が画像同士で類似している共通領域を抽出する共通領域抽出手段であって、
（ａ）書籍の頁毎に、位置合わせ後の画像と位置合わせ前の画像とを位置合わせ時の変位量だけ座標系原点をずらしかつ両画像の座標軸が平行になるように重合わせた場合に両画像が重なる領域を、位置合わせ後の画像内から求め、
（ｂ）全ての位置合わせ後の画像を座標系が一致するように相互に重ねた場合に該画像の上記領域内の相互に重なる部分を、共通領域として抽出する共通領域抽出手段と、
各画像の共通領域の外側にある枠をそれぞれ除去する枠除去手段とを含むことを特徴とする枠消し装置。
【請求項２】
文字および図形のうちの少なくとも一方が実際に記載されている頁内容領域を抽出する抽出部と、頁内容領域が予め定める位置に配置されるように位置合わせする位置合わせ部とを含む位置合わせ手段と、
書籍の複数の頁の画像から、構成が画像同士で類似している共通領域を抽出する共通領域抽出手段であって、
（ａ）位置合わせ後の全画像のうちから、枠消しの基準となるエッジが最も多い単一の画像を選択し、
（ｂ）選択された単一の画像内の最も外側の文字の外接線によって囲まれる矩形領域を共通領域として抽出し、
（ｃ）残余の各画像内から、選択された画像内の共通領域の位置と同じ位置にある領域を、該残余の各画像の共通領域として抽出する共通領域抽出手段と、
各画像の共通領域の外側にある枠をそれぞれ除去する枠除去手段とを含むことを特徴とする枠消し装置。
【請求項３】
前記共通領域抽出手段は、全画像のうちの書籍の右側頁の画像の共通領域の抽出と、全画像のうちの書籍の左側頁の画像の共通領域の抽出とを、それぞれ独立に行うことを特徴とする請求項１または２に記載の枠消し装置。
【請求項４】
前記各画像の共通領域の背景色を求める背景色計算手段をさらに含み、
前記枠除去手段は、各画像の共通領域の外側の部分の色を、検出された背景色に置換えることを特徴とする請求項１〜３のいずれか１つに記載の枠消し装置。
【請求項５】
前記背景色計算手段は、
（ａ）前記各画像の共通領域内側にあって該共通領域の周辺部である共通領域内側周辺部から、複数の標本を抽出し、
（ｂ）抽出された複数の標本の最頻値によって表される色を、背景色とすることを特徴とする請求項４記載の枠消し装置。
【請求項６】
前記標本は、前記各画像の共通領域内側周辺部にある画素の画素値であることを特徴とする請求項５記載の枠消し装置。
【請求項７】
前記標本は、前記各画像の共通領域内側周辺部に設けられる予め定める大きさの領域内に含まれる全画素の画素値の平均値であることを特徴とする請求項５記載の枠消し装置。
【請求項８】
書籍の各頁の画像を入力する画像入力手段と、
請求項１〜７のいずれかに記載の枠消し装置と、
枠消し装置によって処理された各頁の画像を出力する画像出力手段とを含むことを特徴とするオーサリング装置。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、書籍を画像として入力して電子書籍のコンテンツを作成するオーサリング装置、ならびにオーサリング装置において用いられる枠消し装置および方法に関する。
【０００２】
【従来の技術】
近年、ハードウエアおよびソフトウエアの発展に伴い、既存の紙メディアに変わる新たな形態の書籍として、電子書籍の発表が活発化している。電子書籍は、書籍の内容を電子データ化したものであり、記憶媒体または記憶装置に記憶されている。電子書籍は、音声、静止画、動画、およびアニメーション等を含むいわゆるマルチメディア系データに対しても、対応可能である。現行では、電子書籍の内容を示すデータであるコンテンツは、基本的にはテキストベースの形式になっているので、主に文字コードを用いたテキストデータから構成されている。
【０００３】
現在、年間５０万タイトル程度の作品が、紙メディアを用いた書籍である紙書籍、いわゆる「本」の形態で発表されている。紙書籍の出版総数は膨大である。紙書籍として発表された作品のうち、電子書籍としてさらに発表された作品の数は極めて少なく、ほとんどの作品は紙書籍の形態だけで発表されている。
【０００４】
従来、紙書籍として発表された作品の電子書籍を作成する場合、紙書籍の各頁を人手またはＯＣＲ（光学的文字読取り機）を用いて、紙書籍の各頁に記載の文章を示すデータを作成している。このように電子書籍のコンテンツ作成には、多くの時間が必要であるので、大量の電子書籍をタイムリーに市場に供給することは難しい。また、漫画および写真雑誌等、文章以外のもの、たとえば図版が大部分を占める紙書籍のコンテンツ化は難しい。このような事情に基づき、電子書籍の従来の出版数は数百タイトル程度であって、紙書籍の出版数よりも少ない。かつ従来出版された電子書籍は、辞書系に偏っている。現状では、電子書籍の普及率は、紙書籍の普及率の１％にも達していない。特に、コンテンツの種類が少ない問題は、電子書籍普及の大きな妨げになっている。
【０００５】
上述の問題を解決するために、電子書籍のコンテンツを画像ベースの形式にすることが考えられている。画像ベースのコンテンツは、作品内容を示す画像のデータから構成される。既存の紙書籍から画像ベースのコンテンツの画像のデータを作成するには、既存の紙書籍の各頁をスキャナによって読取らせるだけでよい。ゆえに多量の電子書籍を短期間に市場に供給することが可能になる。コンテンツを画像ベースの形式にする場合、漫画および写真雑誌等、テキストベースのコンテンツでは難しかった作品を電子書籍として市場に供給することが可能になる。コンテンツを画像ベースの形式にする場合、外字または異体字を用いた文書あるいは古文書等のように、現在の文字コード体系に合致していない文字が含まれる文書を、容易にコンテンツ化することができる。コンテンツを画像ベースの形式にする場合、コンテンツが言語および文字コードに依存しないので、電子書籍のビューワおよびオーサリングシステムの海外展開ならびに普及が容易である。このように画像ベースのコンテンツは、テキストベースのコンテンツの問題点を全て解決している。
【０００６】
紙書籍に基づき画像ベースのコンテンツを作成する場合、ＡＤＦ（Ａｕｔｏ  Ｄｏｃｕｍｅｎｔ  Ｆｅｅｄｅｒ）を備えたスキャナに紙書籍の各頁を読取らせ、読取り結果として得られる画像のデータに、文書構造化等の各種処理を施す。頁を読取って得られた画像内の頁の端に当たる部分には、外枠が発生している。画像内の外枠は、外枠自体が目立つものであり、読者に不快感を与える。ＣＲＴ（陰極線管）または液晶表示装置を備えたビューワに前記画像が表示されている場合、ＣＲＴのエッジ部分または液晶表示装置のエッジ部分が目視の際の基準の直線になるので、画像内の外枠が読者に不快感をさらに与える。これらの理由に基づき、紙書籍に基づき画像ベースのコンテンツを作成する場合、各頁の画像から外枠を消す補正処理をさらに行う必要がある。外枠を消すための補正処理を手動で行う場合、相当な作業量が必要になるので、コンテンツの作成に要する時間が増大する。
【０００７】
特開平５−１９９３９８号公報は、ネガ画像を有するマイクロフィルムをネガポジ反転の記録装置を用いて印刷する際に外枠を除去するための画像処理装置を開示している。前記画像処理装置は、マイクロフィルムのネガ画像を含む部分を読取り、読取りの結果得られる画像信号に基づいて、ネガ画像と該ネガ画像の回りの部分との境界を検出し、画像信号内の検出された境界の外側の部分を特定の値に変換する。
【０００８】
【発明が解決しようとする課題】
特開平５−１９９３９８号公報の画像処理装置は、画像を１枚ずつ処理することを前提としている。コンテンツ作成時には、多数枚の画像の枠消しを行う必要があるので、各画像の枠消しの処理を個別に行うならば、全画像の枠消し処理に要する時間が増大する。ゆえに特開平５−１９９３９８号公報の画像処理装置を用いた枠消し処理は、コンテンツ作成時の枠消しには不向きである。
【０００９】
また、コンテンツを構成する多数枚のデータ化された画像には、文字および図の配置に規則性がある。このような多数枚の各画像の枠消しの処理を個別に行うならば、画像内の枠消し処理の対象となる部分が画像によってずれる。ゆえにコンテンツを構成する多数枚の各画像の枠消し処理を個別に行った後、これら多数枚の画像を連続して目視すると、画像が見づらくなっている。このような理由に基づき、紙書籍に基づくコンテンツ作成時に、多数枚の各画像の枠消し処理を個別に行うことは難しい。
【００１０】
本発明の目的は、紙書籍の複数の頁の画像から不要な外枠を的確に除去することができる枠消し装置および方法、ならびに該枠消し装置を用いたオーサリング装置を提供することである。
【００１５】
【課題を解決するための手段】
本発明の枠消し装置は、文字および図形のうちの少なくとも一方が実際に記載されている頁内容領域を抽出する抽出部と、頁内容領域が予め定める位置に配置されるように各画像を位置合わせする位置合わせ部と、位置合わせ後の画像と位置合わせ前の画像とを位置合わせ時の変位量だけ座標系原点をずらし座標変換する座標変換部とを含む位置合わせ手段と、
書籍の複数の頁の画像から、構成が画像同士で類似している共通領域を抽出する共通領域抽出手段であって、
（ａ）書籍の頁毎に、位置合わせ後の画像と位置合わせ前の画像とを位置合わせ時の変位量だけ座標系原点をずらしかつ両画像の座標軸が平行になるように重合わせた場合に両画像が重なる領域を、位置合わせ後の画像内から求め、
（ｂ）全ての位置合わせ後の画像を座標系が一致するように相互に重ねた場合に該画像の上記領域内の相互に重なる部分を、共通領域として抽出する共通領域抽出手段と、
各画像の共通領域の外側にある枠をそれぞれ除去する枠除去手段とを含むことを特徴とする。
【００１６】
本発明に従えば、枠消し装置は、処理対象となる全ての各画像に共通して含まれる共通領域を利用して、各画像内にある外枠を除去する。これによって枠消し装置は、不要な外枠を、複数の画像から的確に効率良く除去することができる。枠消し装置は、画像間位置合わせ処理が施された画像に対して、共通領域を用いた枠消し処理を施す。これによって枠消し装置は、画像内の枠消し処理対象となる部分の位置を複数の画像間でずらすことなく、外枠を除去することができる。したがって枠消し装置は、処理対象の全画像の文字および図の配置に規則性がある場合、枠消し処理後の全画像を連続して目視する際に画像が見づらくなることを、防止することができる。枠消し装置において、共通領域抽出手段は、全ての位置合わせ前後の画像の重なり状態に基づいて、共通領域を抽出する。これによって、全画像の枠消しのために複雑な画像処理を行う必要がないので、枠消し装置は、各画像内の外枠を、より高速に除去することができる。
【００１７】
本発明の枠消し装置は、文字および図形のうちの少なくとも一方が実際に記載されている頁内容領域を抽出する抽出部と、頁内容領域が予め定める位置に配置されるように位置合わせする位置合わせ部とを含む位置合わせ手段と、
書籍の複数の頁の画像から、構成が画像同士で類似している共通領域を抽出する共通領域抽出手段であって、
（ａ）位置合わせ後の全画像のうちから、枠消しの基準となるエッジが最も多い単一の画像を選択し、
（ｂ）選択された単一の画像内の最も外側の文字の外接線によって囲まれる矩形領域を共通領域として抽出し、
（ｃ）残余の各画像内から、選択された画像内の共通領域の位置と同じ位置にある領域を、該残余の各画像の共通領域として抽出する共通領域抽出手段と、
各画像の共通領域の外側にある枠をそれぞれ除去する枠除去手段とを含むことを特徴とする。
【００１８】
本発明に従えば、枠消し装置は、処理対象となる全ての各画像に共通して含まれる共通領域を利用して、各画像内にある外枠を除去する。これによって枠消し装置は、不要な外枠を、複数の画像から効率良く除去することができる。枠消し装置は、画像間位置合わせ処理が施された画像に対して、共通領域を用いた枠消し処理を施す。これによって枠消し装置は、画像内の枠消し処理対象となる部分の位置を複数の画像間でずらすことなく、外枠を除去することができる。したがって枠消し装置は、処理対象の全画像の文字および図の配置に規則性がある場合、枠消し処理後の全画像を連続して目視する際に画像が見づらくなることを、防止することができる。共通領域抽出手段は、処理対象の全画像のうち、画像内のエッジが最も多い画像を、枠消しの基準となる画像として選択する。画像内の濃度変化が平坦な画像ほど共通領域の抽出判定が難しいので、共通領域の抽出が失敗しやすい。全画像のうちの画像内のエッジが最も多い画像が枠消しの基準として用いられる場合、共通領域を最も確実に抽出することができる。さらに、共通領域抽出手段は、前述選択された画像内の共通領域の位置および形状に基づいて、残余の画像の共通領域を抽出する。これによって選択された単一枚の画像の共通領域だけを画像処理によって抽出すればよいので、枠消し装置は各画像内の外枠を高速に除去することができる。また選択された単一枚の画像の共通領域が画像処理によって抽出される場合、枠消し装置は各画像内の外枠を正確に除去することができる。
【００２１】
本発明の枠消し装置は、前記共通領域抽出手段は、全画像のうちの書籍の右側頁の画像の共通領域の抽出と、全画像のうちの書籍の左側頁の画像の共通領域の抽出とを、それぞれ独立に行うことを特徴とする。
【００２２】
本発明に従えば、枠消し装置において、共通領域抽出手段は、処理対象の全画像を、書籍の右側頁の画像と書籍の左側頁の画像とに分けて、共通領域の抽出をそれぞれ行う。これによって右側頁の構成と左側頁の構成とが異なる場合、枠をより正確に消去することができる。
【００２３】
本発明の枠消し装置は、前記各画像の共通領域の背景色を求める背景色計算手段をさらに含み、
前記枠除去手段は、各画像の共通領域の外側の部分の色を、検出された背景色に置換えることを特徴とする。
【００２４】
本発明に従えば、枠消し装置において、枠除去手段は、共通領域の外側の部分の色を共通領域の背景色に置換する。これによって枠消し装置は、共通領域の背景色に応じて、外枠を自然に除去することができる。
【００２５】
本発明の枠消し装置は、前記背景色計算手段は、
（ａ）前記各画像の共通領域内側にあって該共通領域の周辺部（以下、共通領域内側周辺部という。）から、複数の標本を抽出し、
（ｂ）抽出された複数の標本の最頻値によって表される色を、背景色とすることを特徴とする。
【００２６】
本発明に従えば、枠消し装置において、背景色計算手段は、各画像の共通領域の輪郭内側の周辺部から抽出された標本に基づいて、背景色を検出する。これによって背景色の検出処理が容易になるので、枠消し装置は各画像内の外枠をより高速に除去することができる。
【００２７】
本発明の枠消し装置は、前記標本は、前記各画像の共通領域内側周辺部にある画素の画素値であることを特徴とする。
【００２８】
本発明に従えば、枠消し装置において、背景色計算手段は、各画像の共通領域の輪郭内側の周辺部にある画素の画素値を、標本として用いる。標本が画素値になっているので、背景色の検出のための計算が極めて容易になるため、枠消し装置は各画像内の外枠をより高速に除去することができる。
【００２９】
本発明の枠消し装置は、前記標本は、前記各画像の共通領域内側周辺部に設けられる予め定める大きさの領域内に含まれる全画素の画素値の平均値であることを特徴とする。
【００３０】
本発明に従えば、枠消し装置において、背景色計算手段は、各画像の共通領域の輪郭内側の周辺部に設けられる所定大きさの領域内に含まれる全画素の画素値の平均値を、標本として用いる。標本が領域内の全画素の画素値の平均値になっているので、画像の背景が周期的な模様になっている場合、該画像内の外枠をより自然に除去することができる。
【００３１】
本発明は、書籍の複数の各頁の画像から、構成が画像相互に類似している共通領域を抽出するステップと、
各画像の共通領域の外側にある枠をそれぞれ除去するステップとを含み、
各画像の共通領域内にある文字および図のうちの少なくとも一方の配置は、相互に類似していることを特徴とする枠消し方法である。
【００３２】
本発明に従えば、枠消し方法において、処理対象となる全ての各画像に共通して含まれる共通領域を利用して、各画像内にある外枠が除去される。これによって枠消し方法が用いられる場合、不要な外枠が、複数の画像から効率良く除去される。本発明の枠消し方法には、上述の発明の枠消し装置において説明された処理を行うステップがさらに加えられても良い。
【００３３】
本発明は、書籍の各頁の画像を入力する画像入力手段と、
上述の枠消し装置と、
枠消し装置によって処理された各頁の画像を出力する画像出力手段とを含むことを特徴とするオーサリング装置である。
【００３４】
本発明に従えば、オーサリング装置は、書籍の全ての頁の画像内の外枠を、上述のいずれかの発明の枠消し装置を用いて除く。これによってオーサリング装置は、紙メディアを用いた書籍に基づいて画像ベースの形態の電子書籍のコンテンツを作成する場合、各頁の画像内の外枠を、効率良く高速に除去することができる。これによって、紙メディアを用いた書籍に基づき、多数種類の電子書籍を短期間に市場に供給することができる。
【００３５】
【発明の実施の形態】
図１は、本発明の実施の一形態である枠消し装置を含むオーサリング装置１の機能的なブロック図である。オーサリング装置１は、画像入力部３と画像処理部４と画像出力部５とを含む。画像処理部４は、入力画像バッファ７と、画像補正部８と、本発明の枠消し装置である枠消し部９とを含む。枠消し部９は、位置合わせ前画像バッファ１１、位置合わせ部１２、位置情報バッファ１３、位置合わせ後画像バッファ１４、共通領域抽出部１５、共通領域情報バッファ１６、背景色計算部１７、背景色バッファ１８、共通領域外置換部１９、および出力画像バッファ２０を含む。
【００３６】
オーサリング装置１は、紙メディアを用いた書籍である紙書籍に基づいて、電子書籍の画像ベースのコンテンツを作成する。画像ベースのコンテンツは、書籍の内容を示す画像のデータから構成される。画像ベースのコンテンツは、画像以外のデータ、たとえば文字コードを用いたテキスト形式のデータを補助的に含んでいてもよい。画像は、行列状に配置された複数の画素から構成されている。画像のデータは、複数の各画素の画素値を含む。画像がモノクロ画像である場合、各画素の画素値は、該各画素の濃度を示す数値である。画像がカラー画像である場合、各画素の画素値は数値の組合せから構成され、該各画素の明度と彩度と色相とを示す。本明細書では、「色」は白および黒を含む概念である。オーサリング装置１内では、画像はデータ化された状態で常に取扱われるので、本明細書では「画像」は「画像のデータ」の概念を含んでいる。
【００３７】
オーサリング装置１の概略的な動作は、以下のとおりである。画像入力部３は、書籍の複数の各頁をそれぞれ読取り、各頁の画像を生成する。生成された各頁の画像は、入力画像バッファ７に記憶される。画像補正部８は、入力画像バッファ７に記憶される各画像に、画像の補正のための処理をそれぞれ施す。補正処理後の各頁の画像、すなわち各頁の位置合わせ前の画像は、位置合わせ前画像バッファ１１に記憶される。
【００３８】
位置合わせ部１２は、位置合わせ前画像バッファ１１に記憶される各画像の位置合わせ処理を行い、位置合わせ後の画像を生成する。位置合わせ後の画像において、書籍の全ての頁の画像同士で共通する領域である共通領域の座標系原点に対する位置は、予め定めるテンプレートによって規定される位置になっている。各画像の位置合わせ結果を示す位置情報は、位置情報バッファ１３に記憶される。各頁の位置合わせ後の画像は、位置合わせ後画像バッファ１４に記憶される。
【００３９】
共通領域抽出部１５と背景色計算部１７と共通領域外置換部１９は、書籍の各頁の画像から外枠を除去するための処理を行う。図１の例では、共通領域抽出部１５と背景色計算部１７と共通領域外置換部１９とは、処理対象の書籍の各頁の画像として、該各頁の位置合わせ後の画像を用いている。
【００４０】
共通領域抽出部１５は、位置合わせ後画像バッファ１４に記憶された複数の位置合わせ後の各画像に基づき、書籍の複数の頁の画像において共通する領域である共通領域を、書籍の各頁の画像内からそれぞれ抽出する。画像の共通領域内にある文字および図のうちの少なくとも一方の配置を相互に比較すると、画像内の共通領域内の配置は相互に類似している。たとえば頁の画像同士を比較した場合、共通領域内にある文字および図のうちの少なくとも一方の外接矩形の配置が、相互に類似している。各画像の共通領域の抽出結果を示す共通領域情報は、共通領域情報バッファ１６に記憶される。
【００４１】
背景色計算部１７は、位置合わせ後画像バッファ１４に記憶された位置合わせ後の各画像に基づき、該各画像の共通領域の背景色を求める。各画像の共通領域の背景色は、背景色バッファ１８に記憶される。共通領域外置換部１９は、書籍の各頁の画像の共通領域の外側にある枠を除去するための枠除去部に相当する。共通領域外置換部１９は、位置合わせ後画像バッファ１４に記憶された位置合わせ後の各画像の共通領域の外側の部分の色を、検出された背景色に置換える。置換え処理後の各画像は、出力画像バッファ２０に記憶される。
【００４２】
画像出力部５は、出力画像バッファ２０に記憶される全頁の置換え処理後の画像を、出力する。書籍の全ての頁の置換え処理後の画像から、電子書籍の画像ベースのコンテンツが構成される。
【００４３】
このようにオーサリング装置１内において、枠消し部９は、処理対象となる全ての各画像に共通している共通領域を利用して、各画像内にある外枠を除去する。これによって枠消し部９は、不要な外枠を、複数の画像から効率良く除去することができる。したがってオーサリング装置１は、紙書籍に基づき、多数種類の電子書籍を短期間に市場に供給することができる。
【００４４】
また枠消し部９は、画像間位置合わせ処理が施された画像、すなわち位置合わせ後画像に対して、共通領域を用いた枠消し処理を施す。これによって枠消し部９は、画像内の枠消し処理の対象となる部分の位置を複数の画像間でずらすことなく、外枠を除去することができる。したがって枠消し部９は、処理対象の全画像の文字および図の配置に規則性がある場合、枠消し処理後の全画像を連続して目視する際に画像が見づらくなることを、防止することができる。
【００４５】
図２は、オーサリング装置１の処理対象となる紙書籍３０の構成を示す概念図である。図２の例では、紙書籍３０が小説本になっており、かつ紙書籍３０の全頁を頁毎に切離した状態を示している。紙書籍３０では、２枚の頁が１枚の紙の表裏に１頁ずつ印刷されているが、図２ではこれら２枚の頁を分離して示す。紙書籍３０は、表紙頁３２、目次頁３３、本文頁３４、索引頁３５、および裏表紙頁３６を含む。表紙頁３２は、紙書籍３０の全頁の先頭に配され、紙書籍３０の内容の表題が記載されている。目次頁３３には、紙書籍３０の内容の目次が記載されている。本文頁３４には、紙書籍３０の内容の本文が記載されている。索引頁３５には、紙書籍３０の内容の索引が記載されている。裏表紙頁３６は、紙書籍３０の全頁の末尾に配される。本文頁３４は、紙書籍３０の先頭の頁３２から数えて奇数枚目に配されている奇数頁３７と、紙書籍３０の先頭頁３２から数えて偶数枚目に配されている偶数頁３８とに区分される。
【００４６】
紙書籍３０の全頁のうちのほとんどの頁は、本文頁３４である。複数枚の各本文頁３４には、本文領域４０が存在する。複数枚の各本文頁３４内の本文領域４０の位置は、相互にほぼ等しい。本文頁の本文領域４０は、ヘッダ領域４１とフッダ領域４２と本文内容領域４３とに分けられる。小説本の場合、ヘッダ領域４１には頁の番号が記載され、フッダ領域４２には本文内容の章番号が記載され、本文内容領域４３に本文内容の一部分である文章が記載される。
【００４７】
書籍の各頁の構成は、基本的には相互に等しい。書籍の各頁の構成とは、頁内に記載される文字および図の少なくとも一方の配置、すなわち頁内に記載される文字および図それぞれの外接矩形の頁輪郭に対する配置位置を指す。たとえば複数枚の各本文頁３４の本文内容領域４３内に記載される文章を構成する文字および図形の配置は、相互にほぼ等しい。複数枚の各奇数頁３７のヘッダ領域４１およびフッダ領域４２内に記載される文字および図形の配置は相互にほぼ等しく、複数枚の各偶数頁３８のヘッダ領域４１およびフッダ領域４２内に記載される文字および図形の配置は相互にほぼ等しい。本実施の形態の枠消し部９は、このような紙書籍の構成の特徴を用いて、各頁の画像に生じた外枠を消す。
【００４８】
以後の説明では、頁の画像内において本文内容領域４３が写る領域が、頁の画像内の共通領域として用いられる。奇数頁３７の画像のヘッダ領域４１の構成と偶数頁３８のヘッダ領域４１の構成とが類似している場合、共通領域は、本文内容領域４３だけでなく、ヘッダ領域４１をさらに含んでもよい。奇数頁３７の画像のフッダ領域４２の構成と偶数頁３８のフッダ領域４２の構成とが類似している場合、共通領域は、本文内容領域４３だけでなく、フッダ領域４２をさらに含んでいもよい。
【００４９】
再び図１を参照して、オーサリング装置１の各処理部の詳細構成を説明する。画像入力部３は、たとえばスキャナ制御ソフトウエアに基づいて制御されたスキャナ装置によって実現される。スキャナ装置は、載置台と撮影部とを備えている。オーサリング装置１に入力するべき画像の元となる原稿、たとえば紙書籍の各頁は、載置台に載置される。撮影部は、載置台に載置された頁の画像を取込む。画像の取込みのために、撮影部は、たとえば具体的には、載置台の予め定める入力領域および該入力領域内に載置された物体表面を走査して、走査結果に基づき、該入力領域内部が写る画像のデータを生成する。撮影部は、走査の代わりに、前記入力領域内を撮影してもよい。取込まれる画像は、モノクロ画像であってもカラー画像であってもよい。取込まれた画像は、画素値が２段階である２値の画像であってもよく、画素値が３段階以上である多値の画像であってもよい。載置台は省略されてもよい。
【００５０】
紙書籍の各頁の画像を画像入力部３に取込ませる場合、紙書籍の全頁が頁毎に切離され、切離し後の全頁が１頁ずつ載置台上に載置され、各頁毎に画像が取込まれる。切離し後の全頁を載置台上に自動的に供給するには、自動原稿搬送装置（Ａｕｔｏ  Ｄｏｃｕｍｅｎｔ  Ｆｅｅｄｅｒ）が用いられる。紙書籍の各頁を頁毎に切取ることができない場合、頁を切取らずに書籍ごと載置台に載置させて、各頁を１頁ずつ撮影部に走査させてもよい。自動原稿搬送装置が用いられる場合、前記入力領域の中心線から見て、載置された頁の中心線が傾いている場合が考えられる。このような場合に頁全体を確実に走査するために、入力領域の大きさは書籍の頁よりも大きいことが好ましい。
【００５１】
書籍の頁がスキャナ装置の入力領域よりも大きい場合、画像入力部３は、１枚の頁を複数の部分に分けて、各部分の画像をそれぞれ取込み、全ての部分の画像を合成することによって、頁全体の画像を得る。全部分の画像の合成は、たとえば入力画像バッファ７内で行われてもよく、画像入力部３または画像処理部４に備えられた画像合成部によって行われてもよく、スキャナ装置がハードウエアまたはソフトウエアとして備えている画像合成部によって行われてもよい。なお画像入力部３は、スキャナ装置の代わりに、データファイルとして既に存在する書籍の頁の画像を読込んで入力画像バッファ７に記憶させる装置によって実現されてもよい。画像の読込みを行う装置は、たとえば記憶媒体からのデータの読出し装置によって実現される。
【００５２】
上述したように、スキャナ装置の入力領域が書籍の頁または分割された頁の一部分よりも大きい場合、スキャナ装置によって得られる頁の画像は、該頁の画像内の書籍の頁そのものが写る領域である頁領域よりも大きい。このような頁の画像は、頁領域と、頁領域以外の残余の領域である余白領域とに区分される。以後の説明は、頁の画像が頁領域よりも大きい場合の例になっている。頁の画像が頁領域よりも大きい場合、頁の画像内に、頁の端が外枠として写っている。本実施の形態の枠消し部９は、頁の端に相当する外枠を頁の画像から消去する。
【００５３】
画像補正部８は、入力画像バッファ７内の複数の各画像に対し、各種の補正処理を施す。補正処理の１つは、画像入力部３における画像の取込み時に画像に生じた歪みおよび傾き等を補正する処理である。補正処理の他の１つは、裏写りを画像から除去する処理である。画像補正部８における補正処理はに公知技術が用いられる。
【００５４】
位置合わせ部１２は、位置合わせ前画像バッファ１１内にある複数の各画像に対し、画像間の共通領域の位置関係を利用して、共通領域の位置合わせを行い、位置合わせ結果に応じて画像の座標変換を行う。位置合わせ部１２は、座標変換後の画像に基づき、位置合わせ後の画像を生成して、位置合わせ後画像バッファ１４に記憶させる。位置合わせ後画像は、座標変換後の画像の全画素のうち、変換後の座標が予め定める領域、たとえば座標系の第１象限内にある画素だけがそのまま残され、変換後の座標が該領域外にある画素が削除されて、該領域内の画素のない欠落部に画素が追加されて構成されている。追加される画素は、白画素であってもよく、後述する背景色計算部１７で求められた背景色の画素であってもよい。このような位置合わせの結果、各位置合わせ後画像内において頁の共通領域が写る部分の座標軸に対する位置は、位置合わせ後画像同士で相互にほぼ等しくなる。
【００５５】
位置合わせ部１２は、各頁の画像の位置情報を、位置情報バッファ１３に記憶させる。任意の頁の画像の位置情報は、該画像の位置合わせ前後の共通領域の位置の変化量である。変化量は、座標系の一方軸に平行方向への移動成分と座標系の他方軸に平行な方向への移動成分との組合せからなるベクトルである。任意の頁の画像の位置情報は、位置合わせ前の該頁の画像と位置合わせ後の該頁の画像との位置関係が分かる情報であれば、変化量に限らず他の情報でもよい。たとえば位置情報は、位置合わせ前の画像と位置合わせ後の画像とを、座標系原点を変化量だけずらして重ね合わせた場合、相互に重なる部分を示す情報であってもよい。前記相互に重なる部分を示す情報は、たとえば該部分の頂点または輪郭線上の複数の点の座標によって構成され、該座標は、位置合わせ前の画像の座標系の座標でもよく、位置合わせ後の画像の座標系の座標でもよい。
【００５６】
共通領域抽出部１５は、複数の位置合わせ後の各頁の画像内から、共通領域をそれぞれ抽出する。共通領域の抽出対象の画像が位置合わせ後の画像になっているので、各頁の画像の座標系原点に対する共通領域の位置は相互に等しく、各頁の画像内の共通領域は相互に合同である。共通領域の抽出処理は２通りあり、どちらの処理が用いられてもよい。
【００５７】
第１の共通領域抽出処理は、概略的には以下の通りである。まず図３（Ａ）に示すように、書籍の頁毎に、位置合わせ前画像５１と位置合わせ後画像５２とを位置合わせ部１２で検出された変化量だけ座標系原点をずらしかつ両画像５１，５２の座標軸が平行になるようにて重合わせた場合に両画像５１，５２が重なる領域（以後「重複領域」と称する）５３が、位置合わせ後の画像５２内から抽出される。次いで図３（Ｂ）に示すように、全ての位置合わせ後の画像５２を座標系原点および座標軸が一致するように相互に重ねた場合に該画像５２の重複領域５３内の相互に重なる部分が、共通領域５４として抽出される。図３の例では、書籍の頁が３頁になっているので、１〜３番目の頁に関する参照符に、「ａ」〜「ｃ」をそれぞれ追加している。なお図３（Ｂ）において、共通領域５４に斜線を付している。
【００５８】
第２の共通領域抽出処理は、概略的には以下の通りである。まず全画像のうちから、枠消しの基準となる単一の画像が選択される。選択される画像は、好ましくは、全画像のうちの像のエッジが最も多い画像である。次いで、選択された画像から共通領域が抽出される。最後に、残余の各画像から、選択された画像の共通領域と合同であって該選択された画像内の共通領域の位置と等しい位置にある領域が、残余の各画像の共通領域として抽出される。
【００５９】
全画像のうちから像のエッジが最も多い画像を選択するには、図４に示すように、まず画像毎に、画像を構成する全画素の濃度値の一次微分値の和を求め、次いで、一次微分値の和が最大である画像を枠消しの基準の画像として選択すればよい。枠消しの基準画像がエッジが最多の画像になっているのは以下の理由に基づく。共通領域が画像処理によって抽出される場合、画像のエッジが少ないほど、該画像内の共通領域の抽出処理が誤りやすくなる。エッジが最多の画像を基準画像とした場合、抽出された共通領域の精度が最もよいので、全画像の共通領域を確実に抽出することができる。
【００６０】
背景色計算部１７は、具体的には、各画像の共通領域の輪郭内側の部分である周辺部から、複数の標本を抽出し、抽出された複数の標本の最頻値によって表される色を、背景色として背景色バッファ１８に記憶させる。このように背景色の検出に標本が用いられる場合、背景色の検出処理が容易になるので、枠消し部９は各画像内の外枠をより高速に除去することができる。
【００６１】
前記標本は、好ましくは、各画像の共通領域５４内の周辺部にある単一画素の画素値である。これによって背景色の検出のための計算が容易になるので、枠消し部９は、各画像内の外枠をより高速に除去することができる。前記標本は、また好ましくは、図５に示すように、各画像の共通領域５４内の周辺部に設けられる予め定める大きさの領域（以後「標本領域」と称する）５６内に含まれる全画素の画素値の平均値である。これによって枠消し部９は、画像の背景が周期的な模様になっている場合、該画像内の外枠をより自然に除去することができる。
【００６２】
共通領域外置換部１９は、具体的には、位置合わせ後画像バッファ１４に記憶された位置合わせ後の各画像を読出し、該各画像の共通領域の外側の部分を構成する全画素の画素値を、背景色バッファ１８に記憶された背景色に応じた値に置換える。これによって、各画像の外枠が除去される。このように共通領域外置換部１９は、共通領域の外側の部分の色を、共通領域の背景色に置換する。これによって枠消し部９は、共通領域の背景色に応じて、外枠除去後の共通領域の外側の部分の状態を、自然な状態にすることができる。置換え処理後の各画像は、出力画像バッファ２０に記憶される。
【００６３】
画像出力部５は、たとえば、記録媒体へのデータの書込み装置によって実現される。画像出力部５は、出力画像バッファ２０に記憶される全頁の置換え処理後の画像を、記録媒体に書込む。これによって電子書籍のコンテンツが完成する。画像出力部５は、記憶媒体の代わりに、メモリまたは外部記憶装置に、全頁の置換え処理後の画像を書込んでもよい。さらに画像出力部５は、表示装置によって実現され、全頁の置換え処理後の画像を順次または並列に目視表示してもよい。
【００６４】
位置合わせ部１２における位置合わせ処理の１例は、以下のとおりである。位置合わせ処理は、頁の画像から頁領域を抽出する処理と、抽出された頁領域から頁内容領域を抽出する処理と、頁内容領域の位置合わせ処理と、頁の画像の座標変換処理とを含む。頁内容領域は、頁領域内において文字および図形のうちの少なくとも一方が実際に記載されている領域である。すなわち頁内容領域は、頁の画像内において頁の本文領域が写っている領域である。位置合わせの画像の傾き補正が画像補正部８において行われていない場合、位置合わせ後画像の生成前に、頁内容領域の傾きを補正する処理が行われる。なお位置合わせ処理の以下の説明は、画像補正部８が画像の傾き補正をしていない場合を例としている。
【００６５】
図６を参照して、頁領域の抽出処理を詳細に説明する。図６（Ａ）〜図６（Ｃ）は、頁領域の抽出処理の処理対象となっている位置合わせ前の画像である。
【００６６】
最初に、画像内において画像の４辺にそれぞれ最も近い位置にある４本の線分、たとえば画像内の外枠の４辺にそれぞれ接する線分が、順次検出される。図６（Ａ）は、頁領域の最左側の線分を検出する様子を示している。頁領域の最左側の線分を検出するには、まず処理対象の画像内の複数の各ライン毎に、画像の左端に最も近いエッジ点を検出する。画像の１ラインは、複数の画素が横方向に並んで構成されている。任意の１ラインのエッジ点検出のためには、まず、全画素の画素値に対して、検出しようとしている線分と直交する方向、図６（Ａ）の例では横方向の一次微分を取る。一次微分の算出には、たとえばソーベルフィルタが用いられる。次いで、各ラインを構成する左端の画素から右端の画素に向かう順に、１画素ずつ、画素値の一次微分に基づいて、画素がエッジ点である否かを判断する。判断対象の画素がエッジ点ではないと判定された場合、該画素の隣の画素の判定に移り、エッジ点であると判定された場合、該画素の座標が記憶され、ラインの走査は終了する。このようなラインの走査を、画像の全ラインについてそれぞれ行うと、全ての各ライン内の最も左にあるエッジ点の座標が得られる。得られたエッジ点は、１本の線分上に集まっているはずなので、次いで、該線分が頁領域の最左側の線分として求められる。線分の算出には、例えばハフ変換が用いられる。
【００６７】
頁領域の最左側の線分の検出手順と同じ手順で、頁領域の最上側、最右側、および最下側の線分が、順次検出される。図６（Ｂ）は、頁領域の最上側の線分を検出する様子を示している。４本の線分が検出された後、図６（Ｃ）に示すように、検出された４本の線分によって囲まれる矩形の領域が、頁領域として、処理対象の画像内から抽出される。
【００６８】
図７を参照して、頁内容領域の抽出処理を詳細に説明する。図７（Ａ）〜図７（Ｃ）は、頁内容領域の抽出処理の処理対象となっている位置合わせ前の画像の一部分の拡大図である。
【００６９】
最初に、頁領域の内部において、頁領域の４辺にそれぞれ最も近い位置にある文字の外接線が検出される。図７（Ａ）および（Ｂ）は、頁領域の最左側の文字の外接線を検出する様子を示している。最左側の外接線を検出するには、まず図７（Ａ）に示すように、頁領域内の複数の各ライン毎に、頁領域の左端に最も近いエッジ点を検出する。ライン内の最左側のエッジ点を抽出するには、一次微分されていない状態の頁領域内の各ラインが、頁領域検出時と同様に走査される。次いで図７（Ｂ）に示すように、全ラインから検出されたエッジ点のうちの２点を通り、かつ全ラインから検出されたエッジ点よりも頁領域の左端に近い線分が、最左側の外接線として求められる。
【００７０】
最左側の外接線の検出手順と同じ手順で、最上側、最右側、および最下側の外接線が、順次検出される。４本の外接線が検出された後、図７（Ｃ）に示すように、検出された４本の外接線によって囲まれる矩形の領域が、頁内容領域として、処理対象の画像内から抽出される。
【００７１】
頁内容領域の抽出後、頁内容領域の４辺が位置合わせ前画像の座標軸に対して傾いている場合、頁内容領域の傾きの補正のために、位置合わせ前画像に回転変換が施される。テンプレートは、頁の画像内の頁内容領域の位置を規定している。テンプレートは、予め設定されていてもよく、書籍の全頁の位置合わせ前画像の頁内容領域の抽出結果に応じて設定されてもよい。後者の場合、全ての位置合わせ前画像のうちのいずれか１枚の画像における頁内容領域の位置が、テンプレートとして用いられてもよく、全ての位置合わせ前画像における頁内容領域の位置の平均または最頻度等の位置が求められて、求められた位置がテンプレートにされてもよい。
【００７２】
頁内容領域抽出後、位置合わせ部１２は、処理対象の各頁の画像内の頁内容領域の位置と、テンプレートが規定する頁内容領域との位置とをそれぞれ比較し、両者の位置のずれを、位置合わせ結果である位置情報として求める。位置合わせ前画像とテンプレートとの位置合わせ後、各頁の画像の座標軸に対する頁内容領域の位置がテンプレートによって規定される座標軸に対する頁内容領域の位置と合致するように、位置合わせ結果に基づいて、各頁の画像が座標変換される。この結果座標軸に対する頁内容領域の位置が平行移動する。座標変換後、位置合わせ部１２は、座標変換後の画像に基づいて位置合わせ後画像を生成して、位置合わせ後画像バッファ１４に記憶させる。以上説明したような位置合わせ処理の結果、各位置合わせ後画像内において頁の共通領域が写る部分は、位置合わせ後画像同士で相互にほぼ等しくなる。
【００７３】
図８は、共通領域抽出部１５における第１の共通領域抽出処理を説明するためのフローチャートである。位置合わせ後画像バッファ１４に、書籍の少なくとも１頁の画像が記憶された後、ステップＡ０からステップＡ１に進む。ステップＡ１で、共通領域抽出部１５は、位置合わせ後画像バッファ１４から、いずれか１頁の位置合わせ後の画像を取出す。ステップＡ２で、共通領域抽出部１５は、取出された画像の大きさを測定する。ステップＡ３で、共通領域抽出部１５は、位置情報バッファ１３から、前記取出された画像の位置情報を取出す。
【００７４】
ステップＡ４で、共通領域抽出部１５は、取出された位置情報と測定された画像の大きさとに基づいて、前記いずれか１頁の位置合わせ後の画像と該頁の位置合わせ前画像との重なり部分を規定する座標を、計算する。重なり部分とは、座標系原点を位置情報の変化量だけずらしかつ座標軸が平行になるように、位置合わせ前の画像と位置合わせ後の画像とを重合わせた場合、該位置合わせ後の画像内の該位置合わせ前画像と重なる部分である。ステップＡ５で、共通領域抽出部１５は、算出された座標を、前記取出された位置合わせ後の画像内の重複領域を規定する情報として、記憶する。前記重複領域を規定する情報は、たとえは共通領域情報バッファに記憶されてもよく、その他のバッファに記憶されてもよい。位置情報が前記取出された画像内の重複領域そのものを表している場合、該位置情報をそのまま用いる。
【００７５】
ステップＡ６で、共通領域抽出部１５は、書籍の全頁の位置合わせ後の画像の重複領域が計算されたか否かを判断する。未だ重複領域が計算されていない位置合わせ後画像が残っている場合、ステップＡ６からステップＡ１に戻り、未だ重複領域が計算されていない位置合わせ後画像を用いて、ステップＡ１〜Ａ５の処理を行う。全頁の位置合わせ後の画像の重複領域が計算されたならばステップＡ６からステップＡ７に進む。
【００７６】
ステップＡ７で、共通領域抽出部１５は、書籍の全頁の位置合わせ後の画像が座標系原点および座標軸を一致させるように相互に重合わされた場合に全画像の重複領域が相互に重なる部分を規定する座標を、記憶された重複領域の情報に基づいて、計算する。ステップＡ８で、共通領域抽出部１５は、重複領域が相互に重なる部分を規定する座標を、全頁の位置合わせ後画像内の共通領域を規定する情報として、共通領域情報バッファ１６に記憶させる。共通領域情報記憶後、ステップＡ９で、当該フローチャートの処理を終了する。以上説明したように、共通領域抽出部１５は、全ての位置合わせ前後の画像の重なり状態に基づいて、共通領域を抽出する。これによって、全画像の枠消しのために複雑な画像処理を行う必要がないので、枠消し部９は、各画像内の外枠をより高速に除去することができる。
【００７７】
なお図８の例では、位置合わせ後画像のサイズは、共通領域抽出部１５が、位置合わせ後画像バッファ１４から位置合わせ後画像を読出して計測している。位置合わせ後画像のサイズは、位置合わせ部１２が、位置合わせ処理の時点で計測して、位置情報バッファ１３に記憶させておいてもよい。この場合共通領域抽出部１５は、位置合わせ後画像の読出しおよびサイズ計測の処理を省略し、位置場法読出し時に、位置合わせ後画像のサイズを位置情報バッファ１３から読出す。これによって、共通領域の抽出処理がより簡単になる。
【００７８】
図９は、共通領域抽出部１５における第２の共通領域抽出処理を説明するためのフローチャートである。第２の共通領域抽出処理が用いられる場合、たとえば共通領域情報バッファ１６に、画像の全画素の画素値の一次微分値の和を記憶するための記憶領域が設けられている。書籍の少なくとも１頁の画像が位置合わせ後画像バッファ１４に記憶された後、ステップＢ０からステップＢ１に進む。
【００７９】
ステップＢ１で、共通領域抽出部１５は、位置合わせ後画像バッファ１４から、いずれか１頁の位置合わせ後の画像を取出す。ステップＢ２で、共通領域抽出部１５は、取出された画像の全画素の画素値の一次微分値を計算する。一次微分値の計算には、たとえばソーベル（Ｓｏｂｅｌ）フィルタが用いられる。ステップＢ３で、共通領域抽出部１５は、取出された画像の全画素の画素値の一次微分値の和を求める。
【００８０】
ステップＢ４で、共通領域抽出部１５は、取出された画像の全画素の画素値の一次微分値の和と、記憶領域に記憶されている一次微分値の和とを比較する。ステップＢ１〜Ｂ６の処理が初回である場合、ステップＢ４の判定に関わらず、ステップＢ５に進み、取出された画像の全画素の画素値の一次微分値の和が、一次微分値の和の記憶用の記憶領域に記憶される。２回目以後のステップＢ１〜Ｂ６の処理では、取出された画像の一次微分値の和が記憶領域内の一次微分値の和以上である場合、すなわち取出された画像の一次微分値の和が過去最大である場合だけ、ステップＢ４からステップＢ５に進んで、取出された画像の全画素の画素値の一次微分値の和が和記憶用の記憶領域に記憶される。取出された画像の一次微分値の和が記憶領域内の一次微分値の和未満である場合、和の記憶は行われず、ステップＢ４からステップＢ６に進む。
【００８１】
ステップＢ６で、共通領域抽出部１５は、書籍の全頁の位置合わせ後の画像の一次微分値の和が計算されたか否かを判断する。未だ一次微分値の和が計算されていない位置合わせ後画像が残っている場合、ステップＢ６からステップＢ１に戻り、未だ一次微分値の和が計算されていない位置合わせ後画像を用いて、ステップＢ１〜Ｂ５の処理を行う。全頁の位置合わせ後の画像の一次微分値の和が計算されたならばステップＢ６からステップＢ７に進む。
【００８２】
ステップＢ７で、共通領域抽出部１５は、和記憶用の記憶領域に一次微分値の和が記憶されたいずれか１枚の位置合わせ後画像を、枠消しの基準の画像として選び、選択された画像内の共通領域を、画像処理によって抽出する。選択された画像内から共通領域を抽出する画像処理は、位置合わせ部１２における位置合わせ処理において、頁の画像から頁内容領域を抽出する処理と等しい。すなわち、最初に、選択された画像内から頁領域が抽出され、抽出された頁領域内から最も外側の文字の外接線によって囲まれる矩形領域が抽出され、抽出された矩形領域が共通領域として用いられる。
【００８３】
ステップＢ８で、共通領域抽出部１５は、抽出された共通領域の形状および位置を規定する情報を、全頁の位置合わせ後画像内の共通領域を規定する情報として、共通領域情報バッファ１６に記憶させる。共通領域情報記憶後、ステップＢ９で当該フローチャートの処理を終了する。この結果、各頁の画像と枠消しの基準画像とを、座標系原点が一致しかつ座標軸が相互に平行になるように各頁の画像と枠消しの基準画像とが重合わされた場合、各頁の画像内の基準画像の共通領域と重なる領域が、各頁の位置合わせ後画像内の共通領域になる。
【００８４】
以上説明したように、共通領域抽出部１５は、全画像のうちから選択された画像内の共通領域を利用して、残余の画像の共通領域を抽出する。第２の共通領域抽出処理では、選択された単一枚の画像の共通領域だけを画像処理によって抽出すればよく、残余の画像の共通領域抽出のための画像処理を行う必要がないので、枠消し部９は各画像内の外枠を高速に除去することができる。また選択された単一枚の画像の共通領域が画像処理によって抽出される場合、枠消し部９は各画像内の外枠を正確に除去することができる。
【００８５】
図９の第２の共通領域抽出処理は、各画素の画素値の一次微分値の算出にソーベルフィルタを用いている。一次微分値の算出には、ソーベルフィルタを用いた算出手法に限らず、他の一次微分値の算出手法を用いてもよい。また図９の第２の共通領域抽出処理では、画像内のエッジの量の大小関係を比較するための指標であれば、一次微分値の和の代わりに、他の数値を用いてもよい。
【００８６】
図１０は、背景色計算部１７における任意の１頁の画像の背景色の算出処理を説明するためのフローチャートである。図１０の例では、共通領域情報が、共通領域となる矩形の４つの頂点のうち、１本の対角線の両端となる２つの頂点の座標（Ｌ，Ｕ），（Ｒ，Ｄ）から構成されている。なお図５の紙面上の横方向に平行な座標軸がｘ座標軸、図５の紙面上の縦方向に平行な座標軸がｙ座標軸になっている。図１０の例では、共通領域５４のｘ座標軸に平行な２本の各辺近傍からそれぞれｍ＋１個の標本を取り、共通領域５４のｙ座標軸に平行な２本の各辺近傍からそれぞれｎ＋１個の標本を取る。なお図１０の例では、単一の標本は、単一画素の画素値になっており、標本を取る画素を「標本点」と称する。
【００８７】
共通領域情報が共通領域情報バッファ１６に記憶された後、ステップＣ０からステップＣ１に進む。ステップＣ１で、背景色計算部１７は、位置合わせ後画像バッファ１４から、任意の１頁の位置合わせ後の画像５２を取出す。ステップＣ１で、背景色計算部１７は、共通領域情報バッファ１６から、共通領域情報、すなわち共通領域５４の対角線上の２つの頂点の座標（Ｌ，Ｕ），（Ｒ，Ｄ）を読出す。ステップＣ３で、背景色計算部１７は、共通領域情報（Ｌ，Ｕ），（Ｒ，Ｄ）に基づき、式１で示す横間隔ｓを算出する。横間隔ｓは、ｘ座標軸に平行に並んで隣合う２つの標本点の間隔である。ステップＣ４で、背景色計算部１７は、共通領域情報（Ｌ，Ｕ），（Ｒ，Ｄ）に基づき、式２で示す縦間隔ｔを算出する。縦間隔ｔは、ｙ座標軸に平行に並んで隣合う２つの標本点の間隔である。
【００８８】
【数１】
0003594228.tif 000002
【００８９】
ステップＣ５で、背景色計算部１７は、共通領域情報（Ｌ，Ｕ），（Ｒ，Ｄ）と横間隔ｓと縦間隔ｔとに基づき、全標本点のうち、４つの端点の座標（ｘ０，ｙ０），（ｘｍ，ｙ０），（ｘ０，ｙｎ），（ｘｍ，ｙｎ）を算出する。ｘ０，ｘｍ，ｙ０，ｙｎは、式３〜式６で定義される。ステップＣ６で、背景色計算部１７は、ステップＣ１で読出されている画像から、４つの端点の画素値を、標本として得る。
ｘ０ ＝ Ｌ＋ｓ                                               …（３）
ｘｍ ＝ Ｒ−ｓ                                               …（４）
ｙ０ ＝ Ｕ＋ｔ                                               …（５）
ｙｎ ＝ Ｄ−ｔ                                               …（６）
【００９０】
ステップＣ７〜Ｃ１１で、背景色計算部１７は、左上の端点（ｘ０，ｙ０）と右上の端点（ｘｍ，ｙ０）との間の残余の標本点（ｘ，ｙ０）の画素値と、左下の端点（ｘ０，ｙｎ）と右下の端点（ｘｍ，ｙｎ）との間の残余の端点（ｘ，ｙｍ）の画素値とを、ステップＣ１で読出されている画像から、それぞれ標本として算出する。残余の標本点のｘ座標「ｘ」は、式７で示す範囲内において、横間隔ｓおきの値である。
ｘ０＋ｓ  ≦  ｘ  ≦  ｘｍ−ｓ                              …（７）
【００９１】
具体的には、ステップＣ７では、共通領域の左上の頂点（Ｌ，Ｕ）のｘ座標Ｌと横間隔ｓの和Ｌ＋ｓが、残余の標本点のｘ座標ｘに、初期値として代入される。ステップＣ８では、現時点のｘ座標ｘによって定義される上側の残余の標本点（ｘ，ｙ０）の画素値が、標本として取得される。ステップＣ９では、現時点のｘ座標ｘによって定義される下側の残余の標本点（ｘ，ｙｎ）の画素値が、標本として取得される。ステップｃ１０では、現時点のｘ座標ｘに横間隔ｓが加算されて、ｘ座標ｘが更新される。ステップｃ１１では、更新後のｘ座標ｘが、共通領域の右下の頂点（Ｒ，Ｄ）のｘ座標Ｒ未満であるか否かが判断される。更新後のｘ座標ｘが共通領域の右端のｘ座標Ｒ未満であれば、ステップＣ１１からステップＣ８に戻る。更新後のｘ座標ｘが共通領域の右端のｘ座標Ｒ以上であれば、ステップＣ１１からステップＣ１２に進む。
【００９２】
ステップＣ１２〜Ｃ１６で、背景色計算部１７は、左上の端点（ｘ０，ｙ０）と左下の端点（ｘ０，ｙｎ）との間の残余の端点（ｘ０，ｙ）の画素値と、右上の端点（ｘｍ，ｙ０）と右下の端点（ｘｍ，ｙｎ）との間の残余の端点（ｘｍ，ｙ）の画素値とを、それぞれ標本として算出する。残余の端点のｙ座標「ｙ」は、式８で示す範囲内において、縦間隔ｔおきの値である。
ｙ０＋ｔ ≦ ｙ ≦ ｙｎ−ｔ                                  …（８）
【００９３】
具体的には、ステップＣ１２では、共通領域の左上の頂点（Ｌ，Ｕ）のｙ座標Ｕと縦間隔ｔとの和Ｕ＋ｔが、残余の標本点のｙ座標ｙに、初期値として代入される。ステップＣ１３では、現時点のｙ座標ｙによって定義される左側の残余の標本点（ｘ０，ｙ）の画素値が、標本として取得される。ステップＣ１４では、現時点のｙ座標ｙによって定義される右側の残余の標本点（ｘｍ，ｙ）の画素値が、標本として取得される。ステップｃ１５では、現時点のｙ座標ｙに縦間隔ｔが加算されて、ｙ座標ｙが更新される。ステップｃ１６では、更新後のｙ座標ｙが、共通領域の右下の頂点（Ｒ，Ｄ）のｙ座標Ｄ未満であるか否かが判断される。更新後のｙ座標ｙが共通領域の下端のｙ座標Ｄ未満であれば、ステップＣ１６からステップＣ１３に戻る。更新後のｙ座標ｙが共通領域の右端のｙ座標Ｄ以上であれば、ステップＣ１６からステップＣ１７に進む。
【００９４】
ステップＣ１７で、背景色計算部１７は、ステップＣ６，Ｃ８，Ｃ９，Ｃ１３，Ｃ１４で取得された全標本の最頻値を算出する。算出された標本の最頻値が、画像の背景色を示す情報として、背景色バッファ１８に記憶される。最頻値算出後、ステップＣ１８で、当該フローチャートの処理を終了する。
【００９５】
図１０の例では、標本点の数が定められており、標本点の間隔は、標本点の数と共通領域の大きさとに基づき、標本点が等間隔に配されるように、算出されている。標本点は、標本点の数と共通領域の大きさとに基づいた等間隔の配列のものに限らず、他のものでもよい。たとえば、標本点の数に関わらず縦間隔ｓおよび横間隔ｔが常に所定の値になっていてもよい。標本点の間隔は、等間隔または固定間隔に限らず、標本点毎にまちまちでもよい。また図１０の例では、標本は単一画素の画素値になっている。標本領域内の全画素の画素値の平均値を標本にする場合、背景色計算部１７は、ステップＣ６，Ｃ８，Ｃ９，Ｃ１３，Ｃ１４において、標本点を含む予め定める大きさの標本領域を設定し、ステップＣ１で読出されている画像から該標本領域内の全画素の画素値を取得し、取得された全画素の画素値の平均値を算出して、該平均値を標本とする。
【００９６】
図１〜図１０の説明では、共通領域抽出部１５は、紙書籍の全頁の画像を処理対象にしている。共通領域抽出部１５は、紙書籍の全頁の画像のうちの右側頁の画像の共通領域の抽出処理と、全画像のうちの左側頁の画像の共通領域の抽出処理とを、それぞれ独立に行ってもよい。画像入力部３は、紙書籍の全頁のうちの右側頁の画像の取込み処理と、書籍の左側頁の画像の取込み処理とを、それぞれ独立に行ってもよい。位置合わせ部１２は、紙書籍の全頁の画像のうちの書籍の右側頁の画像の位置合わせ処理と、全画像のうちの書籍の左側頁の画像の位置合わせ処理とを、それぞれ独立に行ってもよい。これは以下の理由に基づく。
【００９７】
紙書籍において、紙書籍を開いた状態で右側にくる右側頁と、左側にくる左側頁とでは、文字および図の配置等の構成が、若干相互に異なる。また紙書籍において、左側頁および右側頁は、１枚の紙の表裏に印刷されている。そこで、左側頁と右側頁とを別々に処理する事によって、紙書籍が持つ上述の特性を生かすことができる。
【００９８】
画像入力部３が紙書籍の全頁の画像を、先頭頁から頁順にまたは末尾頁から頁順の逆の順に取込もうとする場合、左側頁および右側頁が１枚の紙の表裏に印刷されているので、両面対応の自動原稿搬送装置が必要とされている。画像入力部３が左側頁と右側頁とを個別に処理するならば、左側頁あるいは右側頁だけを先頭頁から頁順にまたは末尾頁から頁順の逆の順に取込もうとする場合、両面非対応の自動原稿搬送装置を用いることができる。これによって画像入力部３は、構成がより簡単な自動原稿搬送装置を備えていればよいので、画像入力部３の構成が簡略化される。なお左側頁の取込み順と右側頁の取込み順とは、一致していてもよく、異なっていてもよい。
【００９９】
共通領域抽出部１５は、好ましくは、左側頁の画像と右側頁の画像とに対し、それぞれ別々に、共通領域抽出処理を行う。共通領域抽出処理は、図８および図９のどちらの処理であってもよく、他の手法であってもよい。左側頁の画像と右側頁の画像とに対して個別に共通領域抽出処理を施す場合、左側頁と右側頁との構成の違いに起因する共通領域の抽出誤りを無くすことができる。
【０１００】
位置合わせ部１２は、右側頁の画像の位置合わせ処理と左側頁の画像の位置合わせ処理とをそれぞれ独立に行う場合、右側頁の位置合わせ後画像内の頁内容領域の位置と、左側頁の位置合わせ後画像内の頁内容領域の位置とが、相互にほぼ等しくなるように、位置合わせ処理を行うことが好ましい。このような位置合わせ処理の詳細な処理を、以下に説明する。
【０１０１】
位置合わせ部１２は、まず、位置合わせ前バッファ内の全画像の中の全ての左側頁の画像のうちから、左側頁の画像の位置合わせの基準となる画像を選択する。同様に位置合わせ部１２は、位置合わせ前バッファ内の全画像の中の全ての右側頁の画像のうちから、右側頁の画像の位置合わせの基準となる画像を選択する。位置合わせの基準画像の選択処理は、前述した第２の共通領域抽出処理における枠消しの基準画像の選択処理と等しく、全左側頁の中のエッジが最も多い画像が左側頁の基準画像に選ばれ、全右側頁の中のエッジが最も多い画像が右側頁の基準画像に選ばれる。
【０１０２】
位置合わせ部１２は、次いで、選択された左側頁の基準画像から共通領域を抽出し、かつ選択された右側頁の基準画像から本文内容領域を抽出する。本文内容領域の抽出処理は、前述した位置合わせ処理における基準画像からの頁内容領域の抽出処理と等しい。位置合わせ部１２は、次いで、左側頁の基準画像内の本文内容領域の位置と、右側頁の基準画像内の本文内容領域の位置との位置合わせを行う。さらに位置合わせ部１２は、位置合わせの結果に基づき、左側頁の基準画像内の座標系原点に対する本文内容領域の位置と右側頁の基準画像内の座標系原点に対する本文内容領域の位置とが、相互に一致するように、各基準画像内の本文内容領域の位置を座標変換によって補正する。このように左側頁の基準画像と右側頁の基準画像との本文内容領域の位置を合わせるのは、左側頁内の本文内容領域と右側頁の本文内容領域の構成は、左右頁にかかわらず構成が似ていると予想されるためである。
【０１０３】
位置合わせ部１２は、次いで、補正後の左側頁の基準画像内の共通領域を抽出する。さらに位置合わせ部１２は、座標系原点に対する抽出された共通領域の位置を左側頁の画像用のテンプレートとして、共通領域の位置が該テンプレートによって規定される位置になるように、各左側頁の画像を座標変換して位置合わせ後画像を生成する。同様に、位置合わせ部１２は、補正後の右側頁の基準画像内の共通領域を抽出し、座標系原点に対する抽出された共通領域の位置を右側頁の画像用のテンプレートとして、共通領域の位置が該テンプレートによって規定される位置になるように、各右側頁の画像を座標変換して位置合わせ後画像を生成する。このように左側頁の各画像と右側頁の各画像とを、補正後の左側頁の基準画像および補正後の右側頁の基準画像に合わせることによって、左側頁の構成と右側頁の構成との違いを、位置合わせ後画像において吸収することができる。
【０１０４】
位置合わせ後画像において左側頁の構成と右側頁の構成との違いが吸収されている場合、共通領域抽出部１５は、左側頁の画像と右側頁の画像とを一括して、共通領域の抽出処理を行うことが好ましい。この場合、左側頁と右側頁とから別々に共通領域を抽出する場合に起こり得る共通領域の左右のずれの発生を防止することができる。
【０１０５】
本実施の形態のオーサリング装置は本発明のオーサリング装置の例示であり、主要な構成および動作が等しければ、他の様々な形で実施することができる。特にオーサリング装置の各構成部品の詳細な構成および動作は、同じ効果が得られるならば、上述の構成および動作に限らず他の構成および動作によって実現されてもよい。たとえば、共通領域抽出部１５と背景色計算部１７と共通領域外置換部１９とは、書籍の各頁の位置合わせ後の画像の代わりに、位置合わせ前画像バッファ１１に記憶される書籍の各頁の位置合わせの前画像、または入力画像バッファ７に記憶される書籍の各頁の補正処理前の画像を用いてもよい。
【０１０６】
本実施の形態では、画像補正部８、位置合わせ部１２、共通領域抽出部１５、背景色計算部１７、共通領域外置換部１９、および画像出力部５それぞれの処理は、自動的に、この順で連続して実行される。共通領域抽出部１５、背景色計算部１７、および共通領域外置換部１９の処理は、オペレータが手動で行ってもよい。また入力画像バッファ７、位置合わせ前画像バッファ１１、位置情報バッファ１３、位置合わせ後画像バッファ１４、共通領域情報バッファ１６、背景色バッファ１８、および出力画像バッファ２０は、処理に支障がなければ、適宜省略されてもよい。さらにオーサリング装置１内の枠消し部９は、枠消し装置として、単体で独立して用いられてもよい。
【０１０７】
枠消し部９は、枠消しに関する上述の処理動作をコンピュータに実行させるためのソフトウエアを、画像の入力と記憶とが可能なコンピュータにインストールし、該ソフトウエアに基づき中央演算処理回路を動作させることによって、実現されてもよい。このようなソフトウエアは、コンピュータによって読出し可能な記憶媒体に予め記憶させておき、該記憶媒体をコンピュータの記憶媒体読出し装置に装着して、該ソフトウエアを読出させることによって、インストールされる。記憶媒体は、たとえば、ＣＤ−ＲＯＭに代表される光記憶媒体、フロッピーディスクに代表される磁気記憶媒体、およびＭＯに代表される光磁気記憶媒体のいずれかで実現される。
【０１０８】
【発明の効果】
以上のように本発明によれば、枠消し装置は、画像間位置合わせ処理が施された画像に対して、構成が相互に類似している共通領域を書籍の複数の各頁の画像から抽出する共通領域抽出手段であって、全ての位置合わせ前後の画像の重なり状態に基づいて共通領域を抽出する共通領域抽出手段と、各画像の共通領域の外側にある枠をそれぞれ除去する枠除去手段とを含む。これによって枠消し装置は、不要な外枠を複数の画像から的確に効率良く除去することができる。また、画像内の枠消し処理対象となる部分の位置を複数の画像間でずらすことなく、外枠を除去することができる。さらに、各画像内の外枠を高速に除去することができる。
【０１０９】
また本発明によれば、枠消し装置は、画像間位置合わせ処理が施された画像に対して、構成が相互に類似している共通領域を書籍の複数の各頁の画像から抽出する共通領域抽出手段であって、全画像のうちから選択された枠消しの基準となるエッジが最も多い単一の画像を選択し、選択された単一の画像内の最も外側の文字の外接線によって囲まれる矩形領域を共通領域として抽出し、基準の画像内の共通領域の位置および形状に基づいて残余の画像の共通領域を抽出する共通領域抽出手段と、各画像の共通領域の外側にある枠をそれぞれ除去する枠除去手段とを含む。これによって枠消し装置は、不要な外枠を複数の画像から効率良く除去することができる。また、基準の画像の共通領域を最も確実に抽出することができ、画像内の枠消し処理対象となる部分の位置を複数の画像間でずらすことなく、外枠を除去することができる。さらに、各画像内の外枠を高速に除去することができる。
また本発明によれば、共通領域抽出手段は、処理対象の全画像を、書籍の右側頁の画像と書籍の左側頁の画像とに分けて、共通領域の抽出をそれぞれ行う。これによって右側頁の構成と左側頁の構成とが異なる場合、枠消し装置は、枠をより正確に消去することができる。
【０１１０】
さらにまた本発明によれば、枠除去手段は、共通領域の外側の部分の色を共通領域の背景色に置換する。これによって枠消し装置は、共通領域の背景色に応じて、外枠を自然に除去することができる。また本発明によれば、枠消し装置は、各画像の共通領域の輪郭内側の周辺部から抽出された標本に基づいて背景色を検出する背景色計算手段をさらに有する。これによって枠消し装置は、各画像内の外枠をより高速に除去することができる。さらにまた本発明によれば、背景色計算手段は、各画像の共通領域の輪郭内側の周辺部にある画素の画素値を、標本として用いる。これによって枠消し装置は各画像内の外枠をより高速に除去することができる。また本発明によれば、背景色計算手段は、各画像の共通領域の輪郭内側の周辺部に設けられる所定大きさの領域内に含まれる全画素の画素値の平均値を、標本として用いる。画像の背景が周期的な模様になっている場合、枠消し装置は該画像内の外枠をより自然に除去することができる。
【０１１１】
また以上のように本発明によれば、枠消し方法において、処理対象となる全ての各画像に共通して含まれる共通領域を利用して、各画像内にある外枠が除去される。これによって枠消し方法が用いられる場合、不要な外枠が複数の画像から効率良く除去される。
【０１１２】
さらにまた以上のように本発明によれば、オーサリング装置は、書籍の全ての頁の画像内の外枠を、上述した構成の枠消し装置を用いて除く。これによってオーサリング装置は、紙メディアを用いた書籍に基づき、画像ベースの形態の電子書籍のコンテンツを作成する場合、各頁の画像内の外枠を、効率良く高速に除去することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態である枠消し部９を含むオーサリング装置１の機能的ブロック図である。
【図２】紙メディアを用いた書籍の構成を示す図である。
【図３】書籍の複数の頁の画像同士で共通する領域を書籍の各頁の画像から抽出する第１の処理を説明するための模式図である。
【図４】書籍の複数の頁の画像同士で共通する領域を書籍の頁の画像から抽出する第２の処理において、基準の画像を選択する手法を説明するための模式図である。
【図５】書籍の頁の画像の背景色を求める処理において、標本が取得される標本点および標本領域を説明するための図である。
【図６】書籍の頁の画像の位置合わせ処理において、頁そのものが写る領域である頁領域を頁の画像内から抽出するための手法を説明するための模式図である。
【図７】書籍の頁の画像の位置合わせ処理において、文字等が記載された領域である頁内容領域を、頁の画像の頁領域内から抽出するための手法を説明するための模式図である。
【図８】図１の枠消し部９内の共通領域抽出部１５における第１の共通領域抽出処理を説明するためのフローチャートである。
【図９】図１の枠消し部９内の共通領域抽出部１５における第２の共通領域抽出処理を説明するためのフローチャートである。
【図１０】図１の枠消し部９内の背景色計算部１７における背景色計算処理を説明するためのフローチャートである。
【符号の説明】
１  オーサリング装置
３  画像入力部
５  画像出力部
８  画像補正部
９  枠消し部
１２  位置合わせ部
１５  共通領域抽出部
１７  背景色計算部
１９  共通領域除外部
【図１】
0003594228.tif 000003
【図２】
0003594228.tif 000004
【図３】
0003594228.tif 000005
【図４】
0003594228.tif 000006
【図５】
0003594228.tif 000007
【図６】
0003594228.tif 000008
【図７】
0003594228.tif 000009
【図８】
0003594228.tif 000010
【図９】
0003594228.tif 000011
【図１０】
0003594228.tif 000012