(57)【要約】  ディジタル画像をリフローコンテンツに効率的に処理するためのコンピュータシステムおよび方法が、提示される。この方法は、コンピュータ上で実行されるものとして、以下のそれぞれを含む。処理のためのディジタル画像が獲得される。ディジタル画像は、リフローコンテンツへの変換に適した少なくともいくらかのコンテンツを含む。ディジタル画像は、ディジタルコンテンツファイルに処理される。ディジタルコンテンツファイルは、リフローコンテンツおよびコンテンツの非リフローブロックの両方を含む。ディジタルコンテンツファイルにおけるコンテンツの各非リフローブロックに関して、以下のことが実行される。コンテンツの非リフローブロックが編集のために手動で評価されるべきかどうかに関する決定が行われる。コンテンツの非リフローブロックが編集のために手動で評価されるべきであると決定される場合には、手動評価は、編集のために自動的に起動される。
2009531790.tif 000002
【特許請求の範囲】
【請求項１】
可能な手動編集のために、ディジタルコンテンツを効率的に評価するのに適したコンピュータシステムであって、
プロセッサと、
メモリとを備え、メモリが、１つまたは複数のアプリケーションモジュールを含み、１つまたは複数のアプリケーションモジュールが、実行されると、
ディジタル画像から処理されるリフローコンテンツおよびディジタル画像から複製される非リフローコンテンツを含むディジタルコンテンツファイルを獲得し、
非リフローコンテンツに関してディジタルコンテンツファイルを走査し、
ディジタルコンテンツファイルにおいて見つけられたコンテンツの各非リフローブロックに関して、
コンテンツの非リフローブロックが手動で編集されるべきかどうかを決定し、
非リフローブロックが手動で編集されるべきであると決定される場合には、手動編集セッションを開始するために１つまたは複数のアプリケーションモジュールを呼び出すように、システムを構成する、コンピュータシステム。
【請求項２】
コンピュータシステムがさらに、
ディジタルコンテンツファイルにおけるコンテンツのいずれかの非リフローブロックが手動で編集されたかどうかを決定し、
手動編集をコンテンツの他の実質的に類似の非リフローブロックに自動適用するように構成される、請求項１に記載のコンピュータシステム。
【請求項３】
ディジタル画像をリフローコンテンツに効率的に処理するための方法であって、コンピュータによって実行されるものとして、以下のそれぞれ、すなわち、
リフローコンテンツへの処理に適した少なくともいくらかのコンテンツを含む、処理のためのディジタル画像を獲得することと、
ディジタル画像を、リフローコンテンツおよびコンテンツの非リフローブロックの両方を含むディジタルコンテンツファイルに処理することと、
ディジタルコンテンツファイルにおけるコンテンツの各非リフローブロックに関して、
コンテンツの非リフローブロックが編集のために手動で評価されるべきかどうかを決定することと、
コンテンツの非リフローブロックが編集のために手動で評価されるべきであるかを決定される場合には、編集のための手動評価を自動的に起動することとを含む、方法。
【請求項４】
コンテンツの非リフローブロックが編集のために手動で評価されるべきであるかを決定することが、コンテンツの非リフローブロックが、コンテンツの非リフローブロックに誤って含まれ得るコンテンツを含んでいるかどうかを決定するように、非リフローブロックを評価することを含む、請求項３に記載の方法。
【請求項５】
コンテンツの非リフローブロックが編集のために手動で評価されるべきであるかを決定することが、コンテンツの非リフローブロックに関連する信頼格付けが、所定の閾値内に収まるかどうかを決定し、それによって、手動評価を要求することを含む、請求項３に記載の方法。
【請求項６】
所定の閾値が、コンテンツの非リフローブロックのタイプに応じて決定される、請求項５に記載の方法。
【請求項７】
編集のための手動評価を自動的に起動することが、評価および編集のために、人に対してディジタル画像の前後関係において、コンテンツの非リフローブロックを表示することを含む、請求項６に記載の方法。
【請求項８】
評価および編集が、コンテンツの非リフローブロックの目視検査を含む、請求項７に記載の方法。
【請求項９】
コンテンツの非リフローブロックが、関連付けられる信頼格付けに関して、人に対して表示される、請求項７に記載の方法。
【請求項１０】
関連付けられる信頼格付けが、値として表示される、請求項９に記載の方法。
【請求項１１】
コンテンツの非リフローブロックが、コンテンツの非リフローブロックのタイプに関連する色で、人に対して表示される、請求項９に記載の方法。
【請求項１２】
関連付けられる信頼格付けが、コンテンツの非リフローブロックのタイプに関連する色の陰影として表示される、請求項１１に記載の方法。
【請求項１３】
ディジタル画像をリフロー可能なファイルに処理することが、
ディジタル画像においてコンテンツの非リフローブロックを識別することと、
コンテンツの各識別された非リフローブロックを、コンテンツの識別された非リフローブロックが非リフローコンテンツのみを含むことへの信頼性の指標である信頼格付けに関連付けることと、
ディジタル画像のコンテンツをリフローコンテンツに処理し、コンテンツの識別された非リフローブロックにおいてコンテンツを排除することと、
リフローコンテンツおよび関連付けられた信頼格付けを含むコンテンツの識別された非リフローブロックをディジタルコンテンツファイルに格納することとを含む、請求項５に記載の方法。
【請求項１４】
ディジタルコンテンツファイルにおいてコンテンツの非リフローブロックのいずれかが、手動で編集されたかどうかを決定することと、
ディジタル画像をディジタルコンテンツファイルに再処理することとをさらに含む、請求項３に記載の方法。
【請求項１５】
ディジタルコンテンツファイルにおいてコンテンツの非リフローブロックのいずれかが、手動で編集されたかどうかを決定することと、
ディジタルコンテンツファイルにおける他の実質的に類似の非リフローブロックに手動編集を適用することとをさらに含む、請求項３に記載の方法。
【請求項１６】
コンテンツの非リフローブロックが編集のために手動で評価されるべきであることが決定される場合に、編集のための手動評価が直ちに起動される、請求項３に記載の方法。
【請求項１７】
コンテンツの非リフローブロックが編集のために手動で評価されるべきであることが決定される場合に、編集のための手動評価が次の処理用の待ち行列に入れられる、請求項３に記載の方法。
【請求項１８】
請求項３から１７のいずれか一項に記載の方法を実行する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツのディジタル画像の処理に関し、さらに詳細には、ディジタル画像を非リフローコンテンツおよびリフローコンテンツの両方を含むディジタルリフローコンテンツに処理することに関する。
【背景技術】
【０００２】
ますます多くのユーザが、情報のために、インターネット、特にワールドワイドウェブ（以下では「ウェブ」）などのコンピュータネットワークを閲覧するようになるにつれて、コンテンツプロバイダは、従来のコンテンツ（例えば、書籍、雑誌、新聞、ニュースレター、マニュアル、ガイド、参考文献、記事、レポート、ドキュメントなどの印刷物）が電子形態にますます変換されるようになっている。
【０００３】
一部のコンテンツプロバイダの場合には、出版のために、印刷されたコンテンツを電子形態に変換するための高速かつ簡単な方法は、印刷されたコンテンツのディジタル画像、すなわち、文字列の表示を含むディジタル画像を作成することである。当業者が認識しているように、このタイプの変換は通常、スキャナを用いて実行される。しかし、印刷されたコンテンツの１つ（または複数の）ディジタル画像の簡単な生成は、高速に達成され得るが、結果として生じるディジタル画像は、特に、種々のシナリオに関してあまり適していない可能性がある。例えば、電子形態への書籍のページの変換に対応するディジタル画像は、一部の表示シナリオにはあまり適していない場合もある。当然のことながら、ディジタル画像が常に配信の最適の形態／フォーマットとは限らない理由はさまざまであるが、ディジタル画像の明確さまたは解像度、ディジタル画像ファイルの大きなサイズおよびおそらくこれが最も重要なことであるが、種々のサイズのディスプレイにおけるディジタル画像のレンダリングに関する問題点を含んでいる。例えば、従来のディジタル画像は、一定サイズおよび配置からなる可能性があり、その結果、コンピュータユーザは、文字列を読むためにビューアを頻繁にスクロールしなければならない。言い換えれば、ディジタル画像における文字列は、ビューアの境界に関してリフロー可能でない。
【０００４】
印刷されたコンテンツをディジタル形態に変換する別の手法は、印刷画像を対応するディジタル文字列に変換することに関する。ディジタル文字列は、英数字をはじめとする印刷可能な文字集合に対応する値を含む。典型的な文字集合としては、ＡＳＣＩＩ、ＥＢＣＤＩＣおよびＵｎｉｃｏｄｅが挙げられる。しかし、印刷されたコンテンツのディジタル文字列への変換は、単にディジタル画像を生成するよりもコンテンツプロバイダの部分におけるより多大な努力を必要とする。さらに詳細には、コンテンツプロバイダは、最初に、コンテンツのディジタル画像を（少なくとも一時的に）生成し、次に、光学文字認識（ＯＣＲ）ソフトウェアを用いて、ディジタル画像中の文字列をディジタル文字列に変換しなければならない。当業者が認識しているように、ＯＣＲソフトウェアは、ディジタル画像を走査し、その際、ディジタル画像の画素からディジタル文字を識別する。残念なことに、ＯＣＲソフトウェアは、画素の集合体を対応する文字に適合させる際に誤る可能性があり、誤ることが多い。
【０００５】
印刷されたコンテンツをリフローディジタルコンテンツに変換するための１つの手法は、ディジタル画像中のコンテンツを識別可能なセグメントに処理することに関する。そのような手法の実施例は、同時係属中であり、本特許出願人に譲渡された特許出願である「Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｃｏｎｖｅｒｔｉｎｇ  ａ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｃｏｎｔａｉｎｉｎｇ  Ｔｅｘｔ  ｔｏ  ａ  Ｔｏｋｅｎ−Ｂａｓｅｄ  Ｆｉｌｅ  ｆｏｒ  Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ  Ｒｅｎｄｅｒｉｎｇ」という名称で、２００６年３月２８日に出願の代理人整理番号２６３８５号に記載されており、その内容は参照によって本明細書に援用されるものとする。その中に記載されているように、ディジタル画像中のコンテンツは、例えば、コンテンツの識別可能なセグメントである「グリフ」に分割される。今度は、グリフは、ビューアの境界内部で拡大縮小および／またはリフローされ得る。一般的に記載されている場合には、「リフロー」は、一連のセグメントに関してラインの区分化および配置の調整に関する。特定のビューアの制約条件に基づき、拡大縮小がない状態で再配置され得るディジタルコンテンツは、ビューア内で「リフロー」することができ、リフローコンテンツである。
【０００６】
任意の自動的な変換処理に関して、ディジタルコンテンツの精度および表示が、重要である。これは、金銭と引き換えに変換された印刷されたコンテンツを提供しようとするコンテンツプロバイダに特に当てはまる。残念なことに、コンテンツのリフロー本体に含まれるか、または特定の空間的配置から修正される場合には、変換されたリフローコンテンツを破損する可能性があるか、または変換されたコンテンツの視覚表示を他の方法で劣化する可能性があるコンテンツにおける領域またはブロックをほぼすべての印刷されたコンテンツが含む。これらのタイプの「非リフロー」領域／ブロックの実施例としては、一般に、ヘッダ、フッタ、補足記事、グラフ、図形、数式、表、プログラムリスト、黒丸または数字を用いたリスト、詩およびコンテンツ（文字列または他の方法による）の空間的配置がそのコンテンツに対して重要である領域が挙げられるがこれらに限定されるわけではない。
【０００７】
コンテンツの「非リフロー」ブロックに関して、この語は、どういうわけかコンテンツのブロックがリフローされないものとする理由に関係なく、「リフロー」されないコンテンツのブロックに関して一般的に用いられることを理解すべきである。さらに詳細には、「コンテンツの非リフローブロック」は、コンテンツのフローブロック以外（コンテンツが、補足記事、ヘッダおよびフッタをはじめとするコンテンツの通常のフローに収まらないがこれらに関連付けられる場合）と、科学的な式、リスト、表などのコンテンツの空間的に独立な非リフローブロック（コンテンツの空間的配置がリフローされることを不可能にする場合）の両方を含む。
【０００８】
かなり頻繁に、非リフローブロックは、一部の文字列のコンテンツを含むことができる。これらの環境において、コンテンツのリフロー本体に関して文字列のコンテンツを含むことは、コンテンツの完全性を損なう可能性がある。この点をさらに説明するために、図１は、コンテンツのリフローブロックおよび非リフローブロックの両方を含む印刷されたコンテンツのディジタル画像１００を示す絵図である。さらに詳細には、ディジタル画像１００は、文字列の２つの段落、すなわち段落１０２および１０４を含み、これらの段落は一般に、ディジタル画像１００のリフローコンテンツを表している。さらに、ディジタル画像１００は、ヘッダ１０６、キャプション１０８、図形１１０、分離線１１２および脚注１１４を含む、種々の非リフロー領域／ブロックを含む。脚注１１４は、脚注番号１１６によって文字列から参照される。
【０００９】
リフローコンテンツの完全性を損なう非リフローブロックからのコンテンツに関して、段落１０２の第１の文は、コンテンツの前ページからの文字列（図示せず）を含み、正確に変換される場合には、以下のように読むべきである。
Ｈａｌｆ  ｔｈｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｈａｓ  ｂｅｅｎ  ｕｓｅｄ  ｔｏ  ｐａｄ  ａｎｄ  ｒｅａｒｒａｎｇｅ（ｍｏｄｕｌａｔｅ）ｔｈｅ  ｄａｔａ  ｉｎ  ｓｅｑｕｅｎｃｅｓ  ａｎｄ  ｐａｔｔｅｒｎｓ  ｄｅｓｉｇｎｅｄ  ｔｏ  ｂｅ  ａｃｃｕｒａｔｅｌｙ  ｒｅａｄａｂｌｅ  ａｓ  ａ  ｓｔｒｉｎｇ  ｏｆ  ｐｕｌｓｅｓ．
【００１０】
しかし、ヘッダ１０６の「文字列」が段落２０２のリフローコンテンツの中に／リフローコンテンツと一緒に、誤って含まれる場合には、上記の文は、以下のように読むことになる。
Ｈａｌｆ  ｔｈｅ  ｉｎｆｏｒｍａｔｉｏｎ  ｈａｓ  ｂｅｅｎ  ｕｓｅｄ  ｔｏ  ｐａｄ  ａｎｄ  ｒｅａｒｒａｎｇｅ（ｍｏｄｕｌａｔｅ）ｔｈｅ  ｄａｔａ  ｉｎ  １８０  Ｃｈａｐｔｅｒ  ４  ｓｅｑｕｅｎｃｅｓ  ａｎｄ  ｐａｔｔｅｒｎｓ  ｄｅｓｉｇｎｅｄ  ｔｏ  ｂｅ  ａｃｃｕｒａｔｅｌｙ  ｒｅａｄａｂｌｅ  ａｓ  ａ  ｓｔｒｉｎｇ  ｏｆ  ｐｕｌｓｅｓ．
【００１１】
明らかに、リフローコンテンツに「１８０  Ｃｈａｐｔｅｒ  ４」が加わることにより、変換されたコンテンツを損ない、読者を混乱させるだけのシナリオを形成している。この簡単な実施例から分かるように、非リフローブロック（ヘッダ１０６など）のデータがリフローコンテンツを損なわないようにすることは、変換されたコンテンツの完全性にとって重要である。さらに一般的に、ディジタル画像１００の一般的なリフローコンテンツの変換において処理されることから、非リフローブロックにおけるコンテンツを排除することは、結果として生じるディジタルコンテンツの完全性にとって不可欠である。
【００１２】
残念なことに、特に、コンテンツの非リフローブロックがリフローコンテンツとして変換されることが可能である文字列のコンテンツを含む場合に、コンテンツの非リフローブロックを検出するための自動的手順を作成しても、見つかりにくいことが分かっている。したがって、手動編集は、「消費者」の使用のために提示され得る前に、変換されたディジタルコンテンツを編集／完成させるために現在必要とされる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の態様は、ディジタル画像１００におけるコンテンツの非リフローブロックを効率的に処理することに向けられる。本発明の他の態様はさらに、手動編集を要求する変換されたコンテンツを識別し、それによって、実行されることになる手動編集の量を集中させて、低減させることに向けられる。
【課題を解決するための手段】
【００１４】
この開示は、詳細な説明においてさらに以下に記載される簡略化された形態における概念の選択を導入するために設けられる。この開示は、特許請求の範囲に記載された主題の重要な特徴を識別することを意図しているわけではなく、特許請求の範囲に記載された主題の範囲を決定するのに役立つものとして用いられることを意図しているわけでもない。
【００１５】
本発明の態様によれば、ディジタル画像をリフローコンテンツに効率的に処理する方法が、提示される。この方法は、コンピュータ上で実行されるものとして以下のそれぞれを含む。処理のためのディジタル画像が獲得される。ディジタル画像は、リフローコンテンツへの変換に適した少なくともいくらかのコンテンツを含む。ディジタル画像は、ディジタルコンテンツファイルに処理される。ディジタルコンテンツファイルは、リフローコンテンツおよびコンテンツの非リフローブロックの両方を含む。ディジタルコンテンツファイルにおけるコンテンツの各非リフローブロックに関して、以下のことが実行される。コンテンツの非リフローブロックが編集のために手動で評価されるべきかどうかに関する決定が行われる。コンテンツの非リフローブロックが編集のために手動で評価されるべきであると決定される場合には、手動評価は、編集のために自動的に起動される。
【００１６】
本発明のさらなる態様によれば、ディジタルコンテンツに変換されるディジタル画像を効率的に評価するためのコンピュータ実装処理が、提示される。この処理は、以下のステップのそれぞれを含む。ディジタル画像から変換されるディジタルコンテンツファイルが、獲得される。ディジタルコンテンツファイルは、リフローコンテンツおよびコンテンツの非リフローブロックの両方を含む。ディジタルコンテンツファイルは、コンテンツの非リフローブロックのために走査される。直面したコンテンツの非リフローブロックのそれぞれに関して、以下のことが実行される。直面したコンテンツの非リフローブロックが編集のために手動で評価されるべきかどうかに関する決定が行われる。直面したコンテンツの非リフローブロックが編集のために手動で評価されるべきであると決定される場合には、手動評価は、自動的に起動される。
【００１７】
本発明のさらなる態様によれば、可能な手動編集のためにディジタルコンテンツを効率的に評価するのに適したコンピュータシステムが、提示される。コンピュータシステムは、プロセッサおよびメモリを備える。メモリは、コンピュータシステム上で実行されると以下のことを実行するようにコンピュータシステムを構成する、１つまたは複数のアプリケーションモジュールを含む。ディジタルコンテンツファイルが、獲得される。ディジタルコンテンツファイルは、ディジタル画像から処理されるリフローコンテンツおよび非リフローコンテンツを含む。ディジタルコンテンツファイルは、非リフローコンテンツに関して走査される。ディジタル画像において見つけられたコンテンツの各非リフローブロックに関して、以下のことが実行される。コンテンツの非リフローブロックが手動で編集されるべきかどうかに関する決定が行われる。非リフローブロックが手動で編集されるべきであると決定される場合には、１つまたは複数のアプリケーションモジュールが、手動編集セッションを開始するように呼び出される。
【００１８】
本発明の前述の態様および付随する利点の多くは、添付図面と共に解釈すれば、以下の詳細な説明を参照することによってよりよく理解されるように、さらに容易に認識されるであろう。
【発明を実施するための最良の形態】
【００１９】
以下の詳細な説明は、本発明の典型的な実装を提供する。特定のシステム構成および流れ図が、示されているが、提供された実施例は、開示された正確な形態に対して包括的なものではなく、本発明を限定するものではないことを理解すべきである。コンピュータおよびディジタル画像化、コンテンツ変換の分野における当業者は、他の構成要素またはステップあるいは構成要素またはステップの組み合わせによって置換可能であり、さらに本発明の利益および利点を依然として達成し得る本明細書に記載される構成要素および処理ステップを認識するであろう。さらに、以下の説明において、多数の特定の詳細項目は、本発明の全体的な理解を提供するために記載される。しかし、本発明は、これらの特定の詳細項目の一部またはすべてがなくても実行され得ることは当業者には明白であろう。他の場合において、周知の処理ステップは、本発明をいたずらに曖昧にしないようにするために、詳細に記載されていない。
【００２０】
また、以下の説明は、従来のコンピュータ構成要素によって実行され得る論理および動作に関して主に提供されることも理解されるべきである。これらのコンピュータ構成要素は、単独の位置でグループ化されてもよく、広範囲に分散されてもよく、一般に、コンピュータプロセッサ、メモリ格納デバイス、ディスプレイデバイス、入力デバイスなどを含む。コンピュータ構成要素が分散される環境において、コンピュータ構成要素は、通信リンクを介して互いにアクセス可能である。
【００２１】
ディジタル画像に関して、一般的なディジタル画像は、ラスタまたはベクトルに基づくファイル、例えば、ＪＰＥＧファイルおよびＴＩＦＦファイルなどであるが、本発明は、それらに限定されるわけではない。さらに詳細には、ラスタおよび／またはベクトルに基づく画像に加えて、本発明は、画素に基づく情報に加えて、文字列および／または文字列のフォーマット情報を含んでもよく、または含んでいなくてもよいＰＤＦ画像などの他のタイプのディジタル画像を変換してもよい。したがって、次の説明は一般的に、ディジタル画像に関して行われているが、さまざまなタイプのディジタル画像コンテンツを含んでもよいことを認識すべきである。
【００２２】
コンテンツのリフロー可能（「リフローブロック」）ブロックおよび非リフロー可能（「非リフローブロック」）ブロックの両方を含むディジタル画像を処理することは、種々の計算デバイスおよび構成において行われてもよい。これらの計算デバイスは、ラップトップコンピュータまたはタブレットコンピュータ、パーソナルコンピュータ、ワークステーション、ミニフレームコンピュータおよびメインフレームコンピュータなどを含んでもよいが、これらに限定されるわけではない。これらの計算デバイスはまた、ディジタル画像を処理するための特別に構成されたコンピュータを含んでもよい。しかし、適切な計算デバイスの一般的なアーキテクチャは、図２に関して以下に記載される。さらに詳細には、図２は、コンテンツのリフローブロックおよび非リフローブロックの両方を有するディジタル画像を処理するのに適切な計算デバイス２００の典型的な構成要素を示すブロック図である。しかし、計算デバイス２００の典型的な構成要素の以下の説明は、説明のためだけに示されているに過ぎず、任意の態様に限定されるものとして考えるべきではない。
【００２３】
図２に関して、典型的な計算デバイス２００は、システムバス２２０を介して種々の他の構成要素と通信状態にあるプロセッサ２０２を含む。これらの他の構成要素は、一例として、ネットワークインターフェイス２０４、入力デバイスインターフェイス２０６、ディスプレイインターフェイス２０８およびメモリ２１０を含む。当業者によって認識されているように、ネットワークインターフェイス２０４は、計算デバイス２００がデータ、制御信号、データ要求および他の情報をインターネット（図示せず）などのコンピュータネットワーク上のコンピュータ、データ供給源、格納デバイスなどを含む他のリソースと通信することを可能にする。ネットワークインターフェイス２０４は、有線接続またはワイヤレス接続を介して通信するように構成されてもよい。当業者が認識しているように、計算デバイス２００は、別のコンピュータ、格納デバイスまたは他の供給源からコンピュータネットワークを介してディジタル画像１００などのディジタル画像を獲得するほか、処理済みの変換されたコンテンツをネットワーク化された位置に保存してもよく、または処理済みの変換されたコンテンツをネットワーク上の別のコンピュータに送信してもよい。
【００２４】
入力デバイスインターフェイス２０６は、入力／出力インターフェイスとして具体化される場合も時々あり、計算デバイス２００が、ディジタルペン、タッチスクリーン、キーボード、マウス、スキャナなどが挙げられるがこれらに限定されるわけではない種々のデバイスからデータ入力を獲得することができるようにする。上述した典型的な構成要素に加えて、ディスプレイインターフェイス２０８は、ディスプレイ情報をコンピュータユーザに出力するために用いられる。通常、ディスプレイ情報は、ディスプレイデバイス（例えば、ＣＲＴモニタ、ＬＣＤスクリーン、テレビ、統合型スクリーンまたはスクリーンの集合など）を介して、ディスプレイインターフェイス２０８によって出力される。当然のことながら、図示されていないが、ディスプレイデバイスは、計算デバイス２００内部の統合素子として組み込まれてもよいことは当業者には認識されよう。
【００２５】
プロセッサ２０２は、メモリ２１０に格納されるプログラミング命令に基づいて動作するように構成される。メモリ２１０は一般に、ＲＡＭ、ＲＯＭおよび／または他の固定記憶装置を含む。したがって、読み出し／書き込みメモリ（ＲＡＭ）における格納に加えて、プログラミング命令もまた、ＲＯＭまたは他の固定記憶装置などの読み出し専用フォーマットで具体化されてもよい。メモリ２１０は通常、計算デバイス２００の一般的な動作を制御するために、オペレーティングシステム２１２を格納する。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、ＵＮＩＸ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）オペレーティングシステムまたは計算デバイス２００用に特に作成されて調整されたオペレーティングシステムなどの汎用オペレーティングシステムであってもよい。同様に、メモリ２１０もまた、通常、計算デバイス２００で種々の機能を実行するために、ユーザが実行可能なアプリケーション２１４またはプログラムを格納する。例えば、メモリ２１０におけるアプリケーション２１４は、本発明の態様によれば、リフローブロックおよび非リフローブロックの両方を含むディジタル画像１００を処理して、レンダリングのために非リフローコンテンツを識別するドキュメントにするように構成されてもよい。
【００２６】
計算デバイス２００は任意に、画像ストア２１６およびコンテンツストア２１８を含む。画像ストア２１６は、リフローコンテンツに処理するためにディジタル画像を格納する。画像ストア２１６が任意である場合には、ディジタル画像１００は、入力デバイスインターフェイス２０６に接続されるスキャナから獲得されてもよく、またはネットワークインターフェイス２０４を介して外部供給源から獲得されてもよい。一旦、ディジタル画像が処理されると、変換されたディジタルコンテンツは、コンテンツストア２１８に格納される。同様に、結果として生じるディジタルコンテンツが、ディスプレイインターフェイス２０８を介してディスプレイデバイスにすぐに送信され、ネットワークインターフェイス２０４を介した格納のために、ユーザのコンピュータまたは外部の位置またはリソースにストリーミングされてもよい場合には、ドキュメントストアは、任意であるものとして示されてもよい。
【００２７】
ディジタル画像をリフロー可能なディジタルドキュメントに処理するのに適したディジタル画像処理システムは、計算デバイス２００上に実装される単独のアプリケーションまたはモジュール、単独の計算デバイス上の複数の協働するアプリケーション／モジュールまたはコンピュータネットワークに分散された複数の協働するアプリケーションおよび／またはモジュールに、実装されてもよい。しかし、ディジタル画像処理システムの実際の実装および／またはトポグラフィに関係なく、ディジタル画像処理システムは、種々の論理構成要素に関して識別されてもよい。そのためには、図３は、コンテンツのリフローブロックおよび非リフローブロックの両方を含むディジタル画像１００をドキュメントに処理するために、ディジタル画像処理システム３００の論理構成要素を示すブロック図である。同様に、図４は、図３の論理構成要素を用いて、コンテンツのリフローブロックおよび非リフローブロックの両方を有するディジタル画像１００を処理するために、典型的なルーチン４００を示す流れ図である。
【００２８】
しかし、示されたディジタル画像処理システム３００（図３）に関して、示されたシステム３００は、画像ストア２１６およびコンテンツストア２１８の両方を含むことを留意すべきである。しかし、上述のように、ディジタル画像処理システム３００は、局所格納装置（例えば、画像ストア２１６）、ネットワーク供給源またはディジタル画像生成デバイス、例えば、スキャナ、ディジタルカメラなどからディジタル画像１００を獲得してもよいため、画像ストア２１６およびコンテンツストア２１８を含むことは、例示／任意である。同様に、ディジタル画像処理システム３００は、局所格納装置（例えば、コンテンツストア２１８）、ネットワーク供給源に結果として生じるリフロー可能なディジタルコンテンツを出力してもよく、またはリフロー可能なディジタルコンテンツを表示／消費のために直ちにユーザにストリーミングしてもよい。したがって、ディジタル画像処理システム３００およびルーチン４００の次の説明は、画像ストア２１６およびコンテンツストア２１８の両方に関して行われているが、それは、説明において、簡単かつ明確にするために過ぎず、本発明を限定するものとして考えるべきではない。
【００２９】
図４の典型的なルーチン４００に関して、および図３のディジタル画像処理システム３００をさらに参照して、ブロック４０２で、画像入力構成要素３０２が、コンテンツのリフローブロックおよび非リフローブロックの両方を含むコンテンツのディジタル画像１００を獲得する。図３に示されているように、例示の実施形態において、画像入力構成要素３０２は、画像ストア２１６からディジタル画像１００を獲得する。
【００３０】
ブロック４０４で、ディジタル画像処理システム３００は、非リフローコンテンツ識別構成要素３０４を介して、ディジタル画像１００における１つまたは複数のコンテンツの非リフローブロックを識別する。コンテンツの非リフローブロックのタイプを識別するための例示のルーチンは、図５に関して以下にさらに詳細に記載される。コンテンツの非リフローブロックの識別の一部として、またはコンテンツの非リフローブロックの識別に加えて、コンテンツの識別された非リフローブロックが、印付けされてもよく、またはそれら（コンテンツの非リフローブロック）がコンテンツのリフローブロックによって処理されないように非リフローブロックに関する情報が記録される。代わりに、非リフローブロックは、個別に（全く処理されないものも含む）処理され得る。
【００３１】
ブロック４０６で、ディジタル画像処理システム３００は、リフローコンテンツ変換構成要素３０６を介して、ディジタル画像におけるコンテンツのリフローブロックを処理する。グリフへのコンテンツの処理に関して、コンテンツのリフローブロックを処理することは、上記で組み込まれた特許出願「Ｍｅｔｈｏｄ  ａｎｄ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｃｏｎｖｅｒｔｉｎｇ  ａ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｃｏｎｔａｉｎｉｎｇ  Ｔｅｘｔ  ｔｏ  ａ  Ｔｏｋｅｎ−Ｂａｓｅｄ  Ｆｉｌｅ  ｆｏｒ  Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ  Ｒｅｎｄｅｒｉｎｇ」に記載されている。
【００３２】
ブロック４０８で、ディジタル画像処理システム３００は、ディジタルコンテンツ出力構成要素３０８を介して、処理されたリフローコンテンツおよび識別されたコンテンツの非リフローブロックを含む処理されたディジタルコンテンツを、コンテンツストア２１８において保存される、ディジタルコンテンツファイルに出力する。例示の実施形態において、コンテンツの非リフローブロックは、リフローコンテンツを破壊しないように、または場合によっては全く表示しないように、ドキュメントにおいて戦略的に位置付けられるユーザの裁量でユーザによって表示され得るようにディジタルコンテンツファイルに複製される。ヘッダおよびフッタは、全く表示されなくてもよいコンテンツの非リフローブロックの例である。さらに、非リフローブロックがディジタルコンテンツファイルに複製される場合には、コンテンツの非リフローブロックに関する一定の情報が通常、含まれる。この情報としては、例えば、コンテンツの非リフローブロックの境界、ディジタル画像１００におけるその位置、信頼格付け（以下で説明する）、コンテンツの非リフローブロック（例えば、ヘッダ、フッタ、キャプション、グラフなど）のタイプの識別をするタイプインジケータなどが挙げられる。コンテンツストア２１８に結果として生じるディジタルコンテンツファイルを格納した後で、典型的なルーチン４００は終了する。
【００３３】
コンテンツの非リフローブロックをディジタルコンテンツファイルに格納することに関して、一実施形態において、すべてのコンテンツの非リフローブロックが、ディジタルコンテンツファイルに複製されるわけではない。特に、コンテンツの一部の非リフローブロック（ヘッダおよび／またはフッタなど）は、情報を与えるために過ぎず、リフロー可能なコンテンツとして不可欠な材料には含まれていない。したがって、非リフローブロックのこれらのタイプおよび他のタイプは、ディジタルコンテンツファイルに複製されてもよく、複製されなくてもよく、ディジタルコンテンツファイルに対する複製が、続いてビューアにおいて表示されることに関して抑制される場合もある。
【００３４】
結果として生じるディジタルコンテンツの格納に関して、結果として生じるコンテンツは、揮発性メモリまたは不揮発性メモリに向けられてもよく、局所データストリーミングまたはリモートデータストリーミングに向けられてもよく、または上述したように、ファイルに書き込まれてもよいことを認識すべきである。したがって、本説明は、コンテンツストア２１８に格納され得るディジタルコンテンツファイルに関して行われるが、例示のために過ぎず、本発明を限定するものとして考えるべきではない。
【００３５】
コンテンツの非リフローブロックに関して、コンテンツの非リフローブロックは、リフローコンテンツに変換されることが可能な一部の文字列のコンテンツを含んでもよい。実際に、多くのタイプのコンテンツの非リフローブロックが、リフローコンテンツに対する変換から恩恵を受け得る文字列のコンテンツを含む。例えば、図１に関して、脚注１１４は、コンピュータ上でユーザに対して表示される場合に、リフローコンテンツへの変換によって恩恵を受け得る文字列のコンテンツから完全に構成される。したがって、図４に示されていないが、静止画像としてリフロードキュメントにコンテンツの任意の識別された非リフローブロックを出力することに加えて、コンテンツの識別された非リフローブロックを有するコンテンツは、個別に処理されてリフローコンテンツとなり、コンテンツの非リフローブロックのリフローコンテンツは、結果として生じるディジタルコンテンツファイルに保存されてもよい。
【００３６】
ディジタル画像においてコンテンツの非リフローブロックを識別することに関して、図５は、ディジタル画像１００におけるコンテンツの非リフローブロックを識別するための、典型的なルーチン５００を示す流れ図である。ブロック５０２から始まり、典型的なルーチンは、以下に述べるように、コンテンツの非リフローブロックに関してディジタル画像１００の走査を始める。
【００３７】
ブロック５０４で、非リフローコンテンツ構成要素３０４は、ヘッダおよび／またはフッタに関してディジタル画像１００を走査する。当業者が容易に認識するように、印刷されたコンテンツ、特に書籍および雑誌の大部分は、１つまたは複数のヘッダおよび／またはフッタを含む。例えば、図１に関して、ディジタル画像１００は、ヘッダ１０６を含む。
【００３８】
例示の実施形態において、ディジタル画像１００においてヘッダおよび／またはフッタを識別することは、ヘッダまたはフッタのパターン特性を特定することに左右される可能性がある。図６は、コンテンツの印刷されたページに対応する典型的なページパターン６００を示す絵図である。コンテンツの「一般的な」ページとして容易に認識されるように、ページパターン６００は、ヘッダ領域６０２、文字列に関する２つの段落、フッタ６０８および分離線６０４および６０６を含む。典型的なルーチン５００におけるページパターンにおいてヘッダおよびフッタを認識することに関して、種々の基準および／または識別特性が用いられてもよい。例えば、ヘッダおよびフッタは、複数の行であってもよいが、ヘッダおよびフッタは、その性質からして、それぞれ、ページの一番上および一番下、すなわち、印刷されたページにおける最初の項目および最後の項目である。ヘッダおよびフッタは、分離線６０４または６１０などの分離線によってページコンテンツの本体から区別されることが多いが、常にというわけではない。しかし、分離線の有無に関係なく、ヘッダおよびフッタはまた、６１４によって示されているように、余白によってページコンテンツの本体から、６１６によって示されているように、段落における行間より大きな量、または６１８によって示されているように、段落間の行間より大きな量だけ、分離されるのが通常である。
【００３９】
ヘッダおよびフッタはまた、コンテンツの複数のページに関して、またはコンテンツの交互のページに関して、同一または類似のコンテンツを含むことができる。例えば、ページの番号付けは、ページごとに増大することが多いが、一部のコンテンツは、複数のページにわたって一定（数十または数百の値など）のままであり、ページまたは交互のページで同一の位置または交互の位置に現れる。（複数のページまたは交互のページにわたって）一連の数、数字または文字（増大または減少のいずれであれ）を有する反復行を見つけることは、ページの番号付けを表すものとして表示されることが多く、ヘッダまたはフッタにおける文字列の１つまたは複数の行を識別するために用いられてもよい。タイトル、章名、段落名などもまた、ヘッダおよびフッタに現れる類似の文字列の例である。
【００４０】
ページの番号付けに関して、当業者は、一部の状況では、ページ番号が増大するのではなく、実際には減少することを認識されよう。例えば、一部の書籍において、書籍の序文および／または前書き部分は、書籍の「最初の」ページまで、降順に配置される。さらに、ローマ数字、英数字または数字の値において、増大および減少する値が表示されてもよい。さらに、ページの番号付けに直面した場合に、コンテンツの特定のブロックがヘッダまたはフッタである信頼格付けは、上昇／増大してもよい。
【００４１】
ヘッダおよびフッタはまた、通常の段落では見られない位置合わせの特徴を組み込むことができる。例えば、ヘッダ６０２は、２つの部分６１０および６１２を含む。部分６１０は、ページ６００の最も左マージンに左寄せされるのに対して、部分６１２は、ページ６００の最も右マージンに右寄せされる。ヘッダに関するこの特定の位置合わせはまた、図１のヘッダ１０６に示されている。この種の位置合わせのほか、他の位置合わせ（外側マージンにおけるページの番号付けを有する中央揃えされたタイトルなど）は、ヘッダおよび／またはフッタが、ヘッダおよび／またはフッタにおける文字列間の余白の実質的なギャップによって識別可能であることが多いことを示している。また、図６には示されていないが、図１に示されているように、ヘッダおよび／またはフッタは、コンテンツの一般的な本体のマージンと位置合わせされていなくてもよい。さらに詳細には、ヘッダ１０６は、この画像では、コンテンツの一般的な本体を表す段落１０２および１０４よりディジタル画像１００の左に対して最も遠い位置にある。
【００４２】
ヘッダおよび／またはフッタを認識することに関して用いられ得る別の「パターン」は、文字列の複数のページにわたって行ごとの平均文字数に関して、コンテンツの行で見られる文字の数を解析することによる。ヘッダおよび特にフッタは、文字列の行平均よりそれらの行において実質的により少ない文字を含むことが多い。
【００４３】
上述の基準のほか、ページコンテンツの他の部分からヘッダおよびフッタを区別する他の基準の１つまたは複数の組み合わせを解析することによって、非リフローコンテンツ構成要素３０４は、ディジタル画像１００におけるヘッダおよび／またはフッタを識別する。さらに、一般的に、コンテンツの各非リフローブロックは、１つまたは複数の態様によって識別可能であってもよい。したがって、非リフローブロックの各タイプを識別する際に、識別は、複数の識別特性／態様の１つまたは複数に基づいてもよい。
【００４４】
再び図５を参照すると、非リフローコンテンツ構成要素３０４が、ディジタル画像１００においてヘッダおよび／またはフッタを識別する場合に、ルーチンは、ブロック５０６に進む。ブロック５０６で、非リフローコンテンツ構成要素３０４は、コンテンツの非リフローブロックとして識別された画像領域に印を付け、その結果、リフローコンテンツ変換構成要素３０６が、リフローコンテンツの変換中に、この非リフローブロックを回避することができるようにする。
【００４５】
コンテンツの非リフローブロックを「印付けすること」に関して、それが必要というわけではなく、「印」という用語の本発明における使用は、印付け情報を有するようにディジタル画像１００を修正したものとして文字通りには考えるべきではない。代わりに、「印付けすること」は、特定のディジタル画像１００において識別された非リフローブロックの大きさのほか、その位置の両方を含む識別された非リフローブロックの境界を指定する情報を少なくとも一時的に保存するものとして解釈すべきである。したがって、印付け情報は、コンテンツの非リフローブロックを識別するデータ構造または一連のデータ構造に配置されてもよい。この「印付け」情報は、リフローコンテンツ変換構成要素３０６によって利用可能であり、コンテンツの識別された非リフローブロックが、コンテンツの一般的な本体を処理することから排除されてもよいようになっている。本発明の実施形態によれば、この印付け情報のほか、信頼情報（以下で説明する）および非リフローブロックタイプなどの他の情報は通常、コンテンツの非リフローブロックによってリフロー可能なディジタルコンテンツファイルにも複製される。
【００４６】
ヘッダまたはフッタが、ディジタル画像１００において識別されなかった場合、またはリフローコンテンツへの処理における排除のために、識別されたヘッダおよび／またはフッタを印付けした後で、ルーチン５００は、ブロック５０８に進む。ブロック５０８で、非リフローコンテンツ構成要素３０４は、図１における絵１１０およびキャプション１０８などの絵および／または関連キャプションに関してディジタル画像を走査する。上述のように、絵および／またはキャプションが識別されると、ブロック５０６で、非リフローコンテンツ構成要素３０４は、非リフローとして識別された１つまたは複数のブロックに印を付け、次に、コンテンツのさらなる非リフローブロックを識別して印を付けることを続ける。
【００４７】
ディジタル画像において絵および関連キャプションを識別することに関して、当業者は、ディジタル画像１００内の絵／図形を識別するための既存の技術があることを認識しており、その任意の技術が、絵を識別する際に用いられてもよい。図形１１０（図１）は包囲する境界がないように示されているが、図形は、包囲する境界またはフレームの内部に存在することが多い。
【００４８】
図１のキャプション１０８などのキャプションは、絵について述べ、対応する絵に対して近い位置に配置される一部の文字列のコンテンツを含む。キャプションは、段落１０２および１０４の位置合わせ以外のキャプション１１０などのリフローコンテンツの通常の本体から余白によって通常分離されるため、識別され得る。さらに、キャプションは通常、対応する絵の境界にきわめて近い位置または対応する絵の境界の上または対応する絵の境界の内部に位置付けられる。
【００４９】
キャプションに関して、本説明は、ディジタル画像１００における絵に関してのみ行っているが、それは、説明および明確にするために過ぎない。キャプションは、表、グラフ、チャート、数式または科学的な式、プログラムリスト、リストなどをはじめとする他のタイプの非リフローコンテンツに関連することが多い。したがって、キャプションが絵に関してのみ本明細書に記載されているが、本発明は、対応する絵に関してのみキャプションの識別を限定するものとして考えるべきではない。
【００５０】
再び図５を参照すると、ブロック５１０で、非リフローコンテンツ構成要素３０４は、図１における脚注１１４などの脚注に関してディジタル画像１００を走査する。脚注が見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、非リフローブロックとして識別された脚注に印を付け、コンテンツのさらなる非リフローブロックの識別および処理を続ける。
【００５１】
ディジタル画像１００において脚注を識別するために用いられ得る種々の特性がある。脚注は、ページの一番下またはその付近に、おそらくフッタ以外の他の文字列より下に位置している。脚注は、分離線によってコンテンツの本体から分離されることが多いが、常にというわけではない。さらに、脚注は通常、脚注番号から始まり、さらに脚注番号は、脚注の本体に対して上付き文字として表示されることが多い。さらに、脚注は通常、ヘッダおよび／またはフッタと同様に、コンテンツの一般的な本体において通常見られる余白より多い余白によって分離される。これらの兆候の多くは、脚注１１４に関して見られる。例えば、ディジタル画像１００は、上付き文字の脚注番号「４」から始まる脚注１１４を含む。脚注１１４は、分離線１１２によって画像において他のコンテンツから分離され、脚注１１４は、相当量の余白によって、コンテンツの本体から分離される。
【００５２】
ブロック５１２で、非リフローコンテンツ構成要素３０４は、黒丸付きリストおよび／または番号付きリストに関して、ディジタル画像１００を走査する。黒丸付きリストおよび／または番号付きリストが見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、コンテンツの非リフローブロックとして識別されたリストに印を付け、コンテンツの他の非リフローブロックの識別および処理の続行に戻る。
【００５３】
黒丸付きリストまたは番号付きリストは、リスト項目間の分離を保持するために、コンテンツの非リフローブロックと見なされる。これは、当然のことながら、個別の要素における文字列のコンテンツが（上述したように、非リフローブロックのコンテンツの処理に関して）リフロー可能ではないことを意味しているわけではなく、リストの要素の箇条書きを維持すべきであることを単に意味している。黒丸付きリストは通常、コンテンツの本体の左（右の場合も時々ある）マージンから字下げされる。字下げ後、黒丸付きリストの項目は、最初の記号または「・」「■」または「◆」などの「黒丸」を含む。黒丸の後で、リスト項目の文字列に対してさらに字下げされる。以下の要素は、黒丸付きリストを示している。
・この黒丸付きリスト項目は、主要なコンテンツの左マージンから字下げされる。
・この黒丸付きリスト項目は、「・」などの黒丸付きリスト項目を表す一般的な記号から始まる。
・この黒丸付きリスト項目は、他のリスト項目と位置合わせされる。
【００５４】
番号付きリストは、字下げおよび位置合わせを含めて黒丸付きリストの特性の多くを共有している。しかし、最初の記号ではなく、番号付きリストは、増分する数字（または文字）から始まる。以下は、典型的な番号付きリストを示している。
１．この番号付き項目は、主要なコンテンツの左マージンから字下げされる。
２．この番号付き項目は、他の番号付き項目と位置合わせされる。
３．この番号付き項目および他の番号付き項目は、増分の主な番号を示している。
【００５５】
ブロック５１４で、非リフローコンテンツ構成要素３０４は、詩に関してディジタル画像１００を走査する。詩が見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、コンテンツの非リフローブロックとして識別された領域に印を付け、コンテンツの他の非リフローブロックの識別および処理の続行に戻る。
【００５６】
詩は、おそらく黒丸付きリストまたは番号付きリストより多く、著者の意図を伝えるために、文字列の配置に左右される。したがって、特にコンテンツの一般的な本体に関する任意のリフローは、散文の意味および／または韻律を潜在的に破壊する可能性がある。詩は、おそらく、共にグループ化された文字列の短い行によって最も特徴付けられる。文字列は、同様に字下げされてもよいが、場合によっては字下げされない。
【００５７】
ブロック５１６で、非リフローコンテンツ構成要素３０４は、プログラムリストに関してディジタル画像１００を走査する。プログラムリストが見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、非リフローブロックとして識別された領域に印を付け、さらなる非リフローコンテンツの識別および処理の続行に戻る。
【００５８】
プログラムリストは通常、一連の命令文（プログラムまたはルーチンの別個の論理命令）によって特徴付けられる。命令文は、１行で見つかることが多いが、これは必要ではない。同様に、命令文は、ページの通常幅に関してきわめて長い場合もある。プログラムリストにおける命令文は普通、処理制御、階層および／または命令文の入れ子を示すために、種々のレベルの字下げを含む。印刷されたコンテンツにおいて、プログラムリストは通常、コンテンツの本体とは異なる字体で見つけられる。
【００５９】
プログラムリストはまた、予約語または記号を含むことが多く、したがって、予約語および記号によって認識可能である。プログラムリストを熟知している人々は、そのような予約語および記号が、プログラミング言語の間で多少変化することを認識しているが、プログラムリストにおいて見つけられることが多い典型的な予約語としては、「ｆｏｒ」、「ｉｆ」、「ｔｈｅｎ、「ｗｈｉｌｅ」、「ｇｏｔｏ」、「ｒｅｔｕｒｎ」などが挙げられるがこれらに限定されるわけではない。同様に、プログラムリストの典型的な記号としては、「｛｝［］（）％＋−＊／＜＞＝」が挙げられるがこれらに限定されるわけではない。これらの記号の一部、特に「｛｝［］（）」は対応する対で見つけられる。すなわち、「（」は「）」と対であるなどである。
【００６０】
ブロック５１８で、非リフローコンテンツ構成要素３０４は、数式および／または科学的な式に関してディジタル画像１００を走査する。数式および／または科学的な式が見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、コンテンツの非リフローブロックとして識別された領域に印を付け、コンテンツのさらなる非リフローブロックの識別および処理の続行に戻る。
【００６１】
数式および／または科学的な式は、特殊な記号および／またはキーワードによって認識され得るという点で、プログラムリストに類似である。さらに詳細には、言語に特有の構文を除き、プログラムリストにおける命令文は、単なる数式と見なされてもよい。例えば、図７Ａは、ボックス６０２および６０４において見られるように、複数の数式を含むコンテンツのディジタル画像７００を示している。見れば分かるように、ボックス６０２における式６０６は、「｛｝（）＋＊−＝」をはじめとするプログラムリストに関して上述した複数の数学記号を含む。「π」および「θ」などのギリシア文字は、数式および／または科学的な式を識別する際のキーとなることがよくある。「ｍｏｄ」、「ｃｏｓ」、「ｓｉｎ」、「ｌｏｇ」などのキーワードもまた、数式および／または科学的な式を象徴している。
【００６２】
数式または科学的な式を認識することに関して、一実施形態によれば、一旦、数式または科学的な式に関連付けられる記号またはキーワードが、見つかるか、または識別されると、その記号／キーワードの周囲の領域は、数式の一部と見なされ得る他の記号に関して調べられる。例えば、図７Ｂは、式６０６の数式を示している。トークン７０１（「＝」）が数式に関して確率の高い候補として認識されると仮定すると、周囲の領域は、潜在的に式の一部である可能性がある他の記号に関して調べられる。この場合、トークン７０３（「ｓ」）は、それ自体は必ずしも数学記号ではないが、数式の一部である可能性があり、本件の場合には、数式６０６を定義する境界が、それを含む部分にまで拡大される。同様に、トークン７０５（「｛｝」は、潜在的な数学記号として認識される可能性があり、数式の境界に含まれるか、または正確に言えば、数式の境界が、トークン７０５を含むように拡大される。周囲の領域の走査は、数式（または科学的な式）の終わりを表す何らかの指標が見つかるまで続けられる。これらの兆候としては、ディジタル画像７００の端部、コンテンツの前に識別された非リフローブロック（絵またはキャプションなど）の境界、閾値量の余白などが挙げられ得るがこれらに限定されるわけではない。さらに、識別されたトークンまたはキーワードの左または右への走査に加えて、上下のコンテンツもまた、数式の境界に含まれる可能性があるかについて走査されるべきである。このように、ボックス７０２に示される両方の数式は、結果として生じるディジタルコンテンツファイルへの次の複製のためにコンテンツの単独の非リフローブロック（数式として）に共にグループ化される可能性がある。
【００６３】
本発明のさらなる実施形態によれば、識別された数式に関して包括的になるようにするために、周囲の領域を処理した後、非リフローコンテンツ構成要素３０４は、コンテンツが非リフロー数式に含まれているべきかどうかを決定するために、含まれるコンテンツを調べてもよい。例えば、再び図７Ａに関して、数式に最初に含まれる行７１０を非リフローコンテンツ構成要素３０４に含めると仮定すると、次の評価処理は、行７１０を含むことが過度に強引であると決定し、それを数式から除去してもよい。すなわち、行７１０を除外するために数式の境界を変更してもよい。
【００６４】
認識可能な数学的キーワードおよび記号に加えて、数式は、リフローコンテンツの一般的な本体から区別される特定の空間的配置を含むことがよくある。さらに詳細には、数式は、互いに近くに位置付けられる（重なる場合もある）「コンテンツ」の複数の行を有し、通常のリフローコンテンツのようなコンテンツの通常のフローおよび間隔を伴っていないことが多い。説明のために、図７Ｃは、数式７２０の空間的な配置態様を説明するのに有用な典型的な数式７２０を示す絵図である。図７Ｃに示されているように、式７２０は、ボックス７２２から７２６に示されているように、文字列のコンテンツの種々の「行」を含む。見れば分かるように、ボックス７２２、７２４は、互いに当接しており、ボックス７２６は、ボックス７２２および７２４の両方に重なっている。明らかに、この数式７２０におけるコンテンツは、図６に示されているような通常のリフローコンテンツとは一致しないように配置され、通常のリフローコンテンツから区別される。
【００６５】
再び図５を参照すると、ブロック５２０で、非リフローコンテンツ構成要素３０４は、補足記事に関してディジタル画像１００を走査する。補足記事が見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、非リフローブロックとして識別された領域に印を付け、さらなるコンテンツの非リフローブロックの識別および処理の続行に戻る。
【００６６】
補足記事は、通常のコンテンツに対する挿入的な命令文のように、リフローコンテンツの対象に多少関連する文字列のコンテンツによって代表される。しかし、リフローコンテンツの通常の本体内部に補足記事のコンテンツを単に含めるだけでは、コンテンツを破壊することになる。文字列のような補足記事は、種々の態様によってリフローコンテンツから区別可能である。例えば、補足記事は、境界をなすボックスにおいて具体化されるか、または通常のリフローコンテンツの外側に位置することが多い。図８は、補足記事８０２を含む典型的なディジタル画像８００を示す絵図である。見れば分かるように、補足記事８０２は、境界をなすボックスによって画定される。さらに、通常のリフローコンテンツと補足記事との間には、大きな余白がある。かなり頻繁に、補足記事は、背景色（図示せず）を含むか、および／または異なる字体または強調体（ボールド体）で提示される。図８には示されていないが、ちょうど絵、式のような補足記事は、キャプションに関連付けられてもよい。
【００６７】
再び図５を参照すると、ブロック５２２で、非リフローコンテンツ構成要素３０４は、グラフおよび／またはチャートに関してディジタル画像１００を走査する。グラフおよび／またはチャートが見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、非リフローブロックとして識別された領域に印を付け、さらなる非リフローコンテンツの識別および処理の続行に戻る。
【００６８】
図９は、チャート９０２を含む典型的なディジタル画像９００を示す絵図である。グラフおよび／またはチャートは通常、図形および文字列の組み合わせを含み、そのようなものとして認識可能である。しかし、チャート９０２などのグラフまたはチャート内の文字列は実際には、グラフ／チャートの配置に関して意味を成しているに過ぎない。したがって、空間的関係が、維持されなければならない。
【００６９】
グラフおよびチャートは通常、大きな余白によって、通常のコンテンツから区別される。グラフおよびチャートは通常、通常の文字列がグラフ／チャートの周囲にフローするか、または周囲を包み込むことができるように位置決めされる。補足記事および絵のように、グラフおよびチャートは、境界をなすフレームによって包囲されることが多いが、チャート９０２は、フレームを有していない。グラフおよびチャートはまた、キャプション９０４などのキャプションに関連付けられることも多い。
【００７０】
ブロック５２４で非リフローコンテンツ構成要素３０４は、表に関してディジタル画像１００を走査する。表が見つかった場合には、ブロック５０６で、非リフローコンテンツ構成要素３０４は、非リフローブロックとして識別された領域に印を付けて戻る。
【００７１】
当業者が認識しているように、表は通常、境界をなすフレームを含むか、またはセルの概して均一な列および行によって縁取られている。さらに詳細には、一部のセルは、１つまたは複数の単独のセルの代わりにより大きなセルを作成するために、他のセルと接合されてもよく、表におけるセルは依然として、一般的な表の列／行構造に適合される。セルは、文字列のコンテンツを含むことが多い。しかし、表の列および行構造は、表セルにおいて情報に対する前後関係および意味を提供することから、セルのコンテンツを自在にリフローすることは、意味を失わせることになる。したがって、表の空間的配置は、維持されなければならない。
【００７２】
図５に関して、種々のタイプの非リフローコンテンツに関してディジタル画像１００を処理した後、典型的なルーチン５００が終了する。しかし、典型的なルーチン５００は、コンテンツの非リフローブロックを処理する際に特定の順序を示しているが、この順序付けは、説明のために過ぎず、本発明を限定するものとして考えるべきではないことを留意すべきである。さらに、ルーチン５００の示された上述のステップは、個別かつ連続的であるが、これは、説明のために過ぎない。実際の実施形態において、任意の数のこれらのステップは、他のステップと並列に実行するように実装されてもよく、または他のステップと組み合わせて実行するように実装されてもよい。
【００７３】
上述したように、数式または科学的な式の境界を識別することに関して、特に、潜在的なコンテンツを含むことに関して最初は積極的であり、次に、過剰に含むことに関してコンテンツを評価することに関して、この実行は、すべてのタイプのコンテンツの非リフローブロックに対して一般に適用され得ることは、認識すべきである。そのために、図１０が、コンテンツの非リフローブロックの境界を決定するのに適した典型的なルーチン１０００を示す流れ図である。
【００７４】
ルーチン１０００は、コンテンツの非リフローブロックの一部であるものとして識別されるいくらかのコンテンツを位置決めすることによって開始される。したがって、ブロック１００２で、コンテンツの非リフローブロックの一部であるものとして識別されたコンテンツを包囲する隣接領域が、調べられる。決定ブロック１００４で、いずれかのさらなる潜在的なコンテンツ（コンテンツの非リフローブロックに含まれる潜在的なコンテンツの場合のように）が、隣接領域に位置決めされるかどうかに関する決定が行われる。さらなる潜在的なコンテンツが見つかった場合には、ブロック１００６で、典型的なルーチンは、コンテンツの非リフローブロックの一部であるものとしてさらなる潜在的なコンテンツを含む。上述したように、これは、周囲の領域から更なる潜在的なコンテンツを含むように、コンテンツの非リフローブロックの境界を拡大することによって行われる可能性が高い。その後で（拡張された非リフローブロックの境界に関して）ルーチン１０００は、ブロック１００２に再び戻る。
【００７５】
一旦、さらなる潜在的なコンテンツが、コンテンツの非リフローブロックに含まれているかが識別されなくなると、ルーチン１０００は、ブロック１００８に進む。ブロック１００８で、コンテンツの非リフローブロックは、非リフローコンテンツを含む確率が所定の閾値内に収まるコンテンツに関して評価される。確率の決定は通常、特定のタイプのコンテンツの非リフローブロックに基づいて適合される経験則に基づいている。決定ブロック１０１０で、（所定の閾値内に収まる）いずれかの確率の低いコンテンツが、コンテンツの非リフローブロックに誤って含まれたかどうかに関する決定が行われる。そのような場合には、ルーチンは、ブロック１０１２に進み、確率の低いコンテンツが、コンテンツの非リフローブロックの境界の内部から除去される。その後で、ルーチン１０００は、上述したように、再評価のためにブロック１００８に再び戻る。一旦、含まれる確率が所定の閾値内に収まるすべてのコンテンツが除去されると、ルーチン１０００は終了する。
【００７６】
明らかに、あるコンテンツが自動手順によって非リフローコンテンツであるかどうかに関する決定に関する問題点の一部は、時々、単に間一髪に過ぎず、例えば、一部のコンテンツが、非リフローコンテンツであるかどうかを高い信頼度で、経験則によって決定することが常に可能であるわけではないことである。信頼度のこの欠如を妥協することが望ましいか、またはディジタル画像１００をほぼ１００％の精度でリフローコンテンツに変換する必要がある。したがって、本発明の態様によれば、すべての非リフローブロックが高い信頼度または確実性で識別されるわけではないため、非リフローコンテンツ識別構成要素３０４は、コンテンツの非リフローブロックを識別する際にその信頼度に関する経験則による決定を行い、ディジタルコンテンツファイルにおける非リフローブロックに関してこの信頼格付けを格納する。信頼格付けの経験則による決定は、コンテンツの非リフローブロックの各タイプ（例えば、ヘッダ、フッタ、補足記事、リスト、詩など）に関して異なっていてもよい。識別された非リフローブロックに関連付けられる信頼格付けを格納することは、本発明のさらなる態様を可能にする。すなわち、ディジタル画像の変換が、自動手順において効率的に処理され、信頼格付けが所定の閾値内に収まるときおよび収まる場所に関して手動で補正されてもよい処理を可能にする。
【００７７】
図１１は、自動処理を用いてディジタル画像を処理し、自動変換の信頼度が所定の閾値に収まる場合に、手動評価および編集を起動するための典型的なルーチン１１００を示す流れ図である。ブロック１１０２で始まり、リフローコンテンツへの自動処理のためのディジタル画像１００が獲得される。ブロック１１０４で、ディジタル画像１００が、リフローコンテンツおよび非リフローコンテンツを含むディジタルコンテンツに処理される。上述した態様によれば、非リフローコンテンツまたはディジタルコンテンツに複製されるコンテンツの識別された非リフローブロックとしては、ブロックの境界、それが位置付けられたディジタル画像における位置、それが収まるリフローコンテンツにおけるディジタル画像における位置、非リフローブロックのタイプおよびコンテンツの非リフローブロックに割り当てられた非リフローコンテンツ変換構成要素３０４の信頼性のレベルを示す信頼格付けに関する情報が挙げられるがこれらに限定されるわけではない。
【００７８】
制御ブロック１１０６で、ループ処理は、ブロック１１０４において獲得されたディジタルコンテンツにおいてコンテンツの各識別された非リフローブロックによって反復し始められる。さらに詳細には、コンテンツの各識別された非リフローブロックに関して、以下のステップが実行される。決定ブロック１１０８で、コンテンツの現在の非リフローブロックに割り当てられた信頼格付けが所定の閾値内に収まるかどうかの決定が行われる。例えば、コンテンツプロバイダは、高精度を確保するために、７５％の信頼格付けに収まるコンテンツのすべての認識された非リフローブロックを評価したいと考える。コンテンツプロバイダの好みに応じて、他の閾値、より高い閾値およびより低い閾値の両方を用いてもよい。
【００７９】
本発明の一態様によれば、複数の所定の閾値を用いてもよく、その結果、コンテンツの非リフローブロックの各タイプに関して対応する所定の閾値（他の所定の閾値とは異なっていてもよい）があるようになっている。例えば、ヘッダに関する所定の閾値は、「９０」（ヘッダは、結果として生じるドキュメントには表示されないため、比較的高く設定する）であってもよいのに対して、キャプションに対応する所定の閾値は、「７５」であってもよい。このように、全体的な変換処理は、具体的に言えば、コンテンツプロバイダの必要性に対して調整され得る。したがって、一部の実施形態において、コンテンツの現在の非リフローブロックに割り当てられる信頼格付けが、すべてのタイプのコンテンツの非リフローブロックに対して適用可能なデフォルトの所定の閾値内に収まるかどうかに関する決定が行われるのに対して、他の実施形態において、非リフロータイプに特有の所定の閾値に関する決定が行われる。
【００８０】
コンテンツの現在の非リフローブロックに割り当てられる信頼格付けが、所定の閾値内に収まる場合には、ルーチン１１００は、ブロック１１１０に進む。ブロック１１１０で、典型的なルーチンは、コンテンツの現在の非リフローブロックの手動評価および編集処理を起動する。評価および編集処理は通常、ディジタル画像１００、コンテンツの識別された非リフローブロックおよびそのタイプを提示し、コンテンツの評価された非リフローブロックに関して任意の補正を行うために人にとって必要なツールも含む。当然のことながら、起動された評価および編集処理は、低い信頼格付けが検出された時点または後の非同期処理のために待ち行列に入れられた時点で行われてもよい。
【００８１】
手動評価および編集処理に関して、一実施形態によれば、信頼格付けはまた、手動評価を行う人にも提示される。この信頼格付けは、値として提示されてもよく、またはあるいは、色および／または色の彩度として提示されてもよい。さらに一般的には、信頼格付けは、特定のフォント、フォントサイズ、色（例えば、色相、飽和度、彩度）、明るさ、連続性または動きまたは他のパラメータによって表されてもよい。記号または数字もまた、信頼格付けを表すために示されてもよい。一実施形態において、手動評価および編集のために非リフローブロックに提示する場合に、人に対して表示される色の彩度は、信頼格付けと所定の閾値との間の差に直接的に関する。さらに、用いられる色は、例えば、ヘッダまたはフッタの場合には赤、グラフの場合には青、表の場合にはマゼンタなど非リフローのタイプに特有であってもよい。あるいは、一定の状況下で、コンテンツの非リフローブロックに関して信頼格付けを表示するのにきわめて有益であり、偏っていない意見が必要とされる場合には、信頼格付けは、手動評価および編集処理に害を及ぼす基準を提供してもよい。したがって、信頼格付けをいかなる形であれ表示することは、任意であり、必須でないものとして見なされるべきである。
【００８２】
別の実施形態において（図示せず）、手動評価および編集処理は、サービスを通じて実行されてもよい。さらに詳細には、コンテンツの非リフローブロックのほか、そのタイプ、取得されたディジタル画像１００からの前後関係（例えば、位置、大きさ）、信頼格付けおよびディジタル画像などの他の関連情報のほか、必要な説明も、サービスプロバイダ（要求されるサービスを行うことができるという意味で）がオファーを達成するか、または許容する位置に配置されて、必要な行為を行う。この場合には、コンテンツの非リフローブロックは、このタイプのサービスに対して、いずれかのコンテンツが誤って含まれていないかを決定するために、サービスプロバイダに非リフローブロックのコンテンツを手動で評価させるように配置されてもよい。手動評価による情報は次に、処理に戻される。
【００８３】
コンテンツの現在の非リフローブロックに割り当てられた信頼格付けが所定の閾値を満たすか、または所定の閾値を超える場合、またはコンテンツの非リフローブロックに関して手動評価および編集処理を起動した後には、ルーチン１１００は、終了制御ブロック１１１２に進む。終了制御ブロック１１１２で、制御ブロック１１０６で始まったループ処理は、評価されるコンテンツのいずれかのさらなる識別された非リフローブロックがあるかどうかに関する決定を行わせる。該当する場合には、ルーチン１１００は、制御ブロック１１０６に進み、上述したように、ループ処理が、評価されるコンテンツの次に識別される非リフローブロックに対して繰り返される。該当しない場合には、典型的なルーチン１１００は、終了する。
【００８４】
当業者は、非リフローブロックに対する手動編集／補正が、他の処理されるコンテンツに著しい影響を及ぼす可能性があることを認識し、リフローブロックおよび非リフローブロックの両方、すなわち、一部のリフローコンテンツがコンテンツの非リフローブロックに誤って含まれている可能性があることを認識する。したがって、図１１には示されていないが、手動評価および編集ステップが終了し、編集が、コンテンツの１つまたは複数の非リフローブロックに対して行われた後、ディジタル画像１００は、再処理される。または言い換えれば、リフロー可能なコンテンツは、コンテンツの識別された（および編集された）非リフローブロックを除くリフローコンテンツに再処理される。
【００８５】
図１１には示されていないが、本発明の少なくとも一実施形態において、特定の順序が、コンテンツの非リフローブロックを評価する際に適用されてもよい。さらに詳細には、対応する所定の閾値内に収まるコンテンツの非リフローブロックは、特定の順序で評価されてもよい。例えば、信頼格付けが対応する所定の閾値内に収まる特定のタイプのコンテンツの非リフローブロック、ヘッダまたはフッタなどは、表または黒丸付きリストなどのコンテンツの他の非リフローブロックの前に、処理されてもよい。あるいは、対応する所定の閾値内に収まるコンテンツの非リフローブロックは、それらの信頼格付けに対応する順序で処理されてもよい。例えば、最も高い信頼格付けを有する非リフローブロックが、最初に処理され、次に、より低い信頼格付けを有する非リフローブロックが続く。
【００８６】
当業者が認識しているように、一旦、非リフローブロックが手動で評価および編集されると、それらの編集は、類似の状況または実質的に類似の状況が検出される場合には、ドキュメント全体を通じて同様に適用されてもよい。例えば、ヘッダは、数々のページにわたって反復される同一または類似の文字列を有し、ヘッダが手動で評価および編集されたと仮定すると、１つのヘッダに対する任意の変更は、他のヘッダの非リフローブロックにも適用可能であってもよい。当然のことながら、ヘッダは、ページ番号、章の番号などが含まれる場合など、全体的に類似でないことが多い。しかし、非リフローブロックのコンテンツが実質的に類似である場合には、手動編集は、適用可能である可能性がかなり高い。この類似性または実質的類似性が生じると、一実施形態によれば、コンテンツの第１の非リフローブロックに対する手動変更／編集は、自動的に、ディジタルコンテンツファイル全体にわたって他の類似のコンテンツの非リフローブロックに適用される。
【００８７】
ディジタル画像１００の処理に加えて、上述したように、一旦、ディジタル画像１００がディジタルコンテンツファイルに処理されると、ディジタルコンテンツファイルは、コンテンツプロバイダまたは別の関係者によってさらなる処理を受ける可能性がある。そのような更なる処理は、その所望の用途のために、ディジタルコンテンツファイルをさらに準備することに向けられる可能性が高いことが多い。例えば、ディジタルコンテンツファイルは、ディジタルコンテンツファイルの格納設置面積を削減するために圧縮技術を用いてさらに処理されてもよく、ディジタルコンテンツファイルをビューアにおける表示および／または販売用に提示されたフォーマットに配置するためにフォーマットしてさらに処理されてもよい。さらに、ディジタル権利管理情報が、ライセンスの許諾下で処理されたディジタルコンテンツの使用を制御するために、加えられてもよい。
【００８８】
本発明の例示の実施形態について図示して記載してきたが、本発明の趣旨および範囲を逸脱することなく、その中で種々の変更が成され得ることは十分に認識されよう。
【図面の簡単な説明】
【００８９】
【図１】コンテンツのリフローブロックおよび非リフローブロックの両方を含むコンテンツの印刷されたページのディジタル画像を示す絵図である。
【図２】本発明の実施形態が実装され得る典型的な計算環境を示す絵図である。
【図３】本発明の態様による、コンテンツのリフローブロックおよび非リフローブロックの両方を含むディジタル画像をリフロードキュメントに処理するための画像処理システムの論理構成要素を示すブロック図である。
【図４】コンテンツのリフローブロックおよび非リフローブロックの両方を有するディジタル画像を処理するための典型的なルーチンを示す流れ図である。
【図５】ディジタル画像においてコンテンツの非リフローブロックを識別するための典型的なルーチンを示す流れ図である。
【図６】コンテンツの印刷されたページに対応する典型的なページパターンを示す絵図である。
【図７Ａ】数式を含むディジタル画像を示す絵図である。
【図７Ｂ】数式を含むディジタル画像を示す絵図である。
【図７Ｃ】数式を含むディジタル画像を示す絵図である。
【図８】補足記事を含むディジタル画像を示す絵図である。
【図９】チャートおよびキャプションを含むディジタル画像を示す絵図である。
【図１０】コンテンツの非リフローブロックの境界を決定するのに適した典型的なルーチンを示す流れ図である。
【図１１】自動変換の信頼性が所定の閾値未満である場合には、自動処理を用いて、手動評価を起動して編集するディジタル画像を処理するための典型的なルーチンを示す流れ図である。
【図１】
2009531790.tif 000003
【図２】
2009531790.tif 000004
【図３】
2009531790.tif 000005
【図４】
2009531790.tif 000006
【図５】
2009531790.tif 000007
【図６】
2009531790.tif 000008
【図７Ａ】
2009531790.tif 000009
【図７Ｂ】
2009531790.tif 000010
【図７Ｃ】
2009531790.tif 000011
【図８】
2009531790.tif 000012
【図９】
2009531790.tif 000013
【図１０】
2009531790.tif 000014
【図１１】
2009531790.tif 000015
【国際調査報告】
2009531790.tif 000016
2009531790.tif 000017