(57)【要約】【課題】レイアウト解析方法、読書補助装置、回路及び媒体を開示する。【解決手段】該レイアウト解析方法は、画像における複数の段落の座標情報に基づいて、該複数の段落を水平方向に配列された１つ以上の欄に分割するステップであって、各欄は該複数の段落における１つ以上の段落を含む、ステップと、該１つ以上の欄における少なくとも一部の欄の各欄に含まれる１つ以上の段落について、段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定するステップと、各欄について、該欄における１つ以上の非主要段落と該主要段落とが主要段落を追加するための幾何学的関係を満たす場合、該１つ以上の非主要段落を該主要段落の追加的主要段落とするステップと、を含む。【選択図】図２
2020191057.tif 000002
【特許請求の範囲】
【請求項１】
画像における複数の段落の座標情報に基づいて、前記複数の段落を水平方向に配列された１つ以上の欄に分割するステップであって、各欄は前記複数の段落における１つ以上の段落を含む、ステップと、
前記１つ以上の欄における少なくとも一部の欄の各欄に含まれる１つ以上の段落について、段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定するステップと、
前記各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップと、を含む、レイアウト解析方法。
【請求項２】
前記複数の段落を水平方向に配列された１つ以上の欄に分割するステップは、
前記複数の段落から１つ以上の欄分割基礎段落を決定するステップであって、前記１つ以上の欄分割基礎段落は、前記複数の段落のうち他の段落よりも大きい幅を有する段落である、ステップと、
前記複数の段落のうち欄分割基礎段落に属さない普通段落について、該普通段落と欄分割基礎段落とが第１所定幾何学的関係を満たす場合、該普通段落を、該欄分割基礎段落が属する欄に分割するステップと、を含む、請求項１に記載のレイアウト解析方法。
【請求項３】
前記第１所定幾何学的関係を満たす必要条件は、条件ａ及び条件ｂの何れかを含み、
前記条件ａは、前記普通段落と前記欄分割基礎段落との水平方向の重なり率が第１重なり率閾値以上であることを含み、
前記条件ｂは、前記普通段落と第１欄分割基礎段落との幅の比が幅の比の閾値以上であり、且つ前記普通段落と前記第１欄分割基礎段落との水平方向の重なり率が第２重なり率閾値よりも大きいことを含み、前記第１欄分割基礎段落は前記複数の段落のうち幅が最も大きい段落であり、前記第２重なり率閾値は第１重なり率閾値以下である、請求項２に記載のレイアウト解析方法。
【請求項４】
前記条件ａは、前記普通段落の前記欄分割基礎段落に対する傾斜度が第１傾斜度閾値以下であることをさらに含み、
前記条件ｂは、前記普通段落の前記第１欄分割基礎段落に対する傾斜度が第２傾斜度閾値以下であることをさらに含む、請求項３に記載のレイアウト解析方法。
【請求項５】
前記複数の段落から１つ以上の欄分割基礎段落を決定するステップは、
前記複数の段落のうち幅が最も大きい段落を第１欄分割基礎段落とするステップと、
前記複数の段落のうち第１欄分割基礎段落以外の候補段落について、該候補段落と前記第１欄分割基礎段落とが第２所定幾何学的関係を満たす場合、該候補段落を第２欄分割基礎段落とするステップと、を含む、請求項２に記載のレイアウト解析方法。
【請求項６】
前記第２所定幾何学的関係を満たす必要条件は、条件ｃを含み、
前記条件ｃは、前記候補段落の幅と前記第１欄分割基礎段落の幅との比が幅の比の閾値以上であり、且つ前記候補段落と前記第１欄分割基礎段落との水平方向の重なり率が第２重なり率閾値以下であることを含む、請求項５に記載のレイアウト解析方法。
【請求項７】
前記条件ｃは、前記候補段落の前記第１欄分割基礎段落に対する傾斜度が第２傾斜度閾値以下であることをさらに含む、請求項６に記載のレイアウト解析方法。
【請求項８】
前記所定の基準は、段落の幅、段落の面積、段落における文字行の数、及び段落の中心点と画像の中心点との距離のうち少なくとも１つの要素に基づくものである、請求項１に記載のレイアウト解析方法。
【請求項９】
段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定するステップは、
該欄における各段落について、段落の幅、段落の面積、段落における文字行の数、及び段落の中心点と画像の中心点との距離のうち少なくとも１つの要素に基づいて、該段落のそれぞれのスコアを算出するステップと、
各要素のスコアに基づいて重み付け合計を算出し、該段落の重み付けスコアを取得するステップと、
重み付けスコアが最も高い段落を該欄の主要段落とするステップと、を含む、請求項８に記載のレイアウト解析方法。
【請求項１０】
前記主要段落を追加するための幾何学的関係は、文字行の平均高さの関係、文字行の傾斜度の関係、段落の境界の関係、段落間の重なり率の関係のうち少なくとも１つの関係を含む、請求項１に記載のレイアウト解析方法。
【請求項１１】
前記各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
非主要段落について、該非主要段落と前記主要段落との文字行の平均高さの差が高さの差の閾値よりも大きく、或いは文字行の傾斜度の差が第３傾斜度閾値よりも大きい場合、前記非主要段落を前記主要段落の追加的主要段落としないステップ、を含む、請求項１に記載のレイアウト解析方法。
【請求項１２】
前記各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
非主要段落について、該非主要段落と前記主要段落との文字行の平均高さの差が高さの差の閾値以下であり、且つ文字行の傾斜度の差が第３傾斜度閾値以下である場合、該非主要段落と該欄における主要段落とが段落の境界の関係及び段落間の重なり率の関係を満たすか否かを判断するステップ、を含む、請求項１に記載のレイアウト解析方法。
【請求項１３】
前記各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
該非主要段落と前記主要段落とが前記段落の境界の関係を満たし、且つその重なり率が第３重なり率閾値以上である場合、前記非主要段落を前記主要段落の追加的主要段落とするステップ、をさらに含む、請求項１２に記載のレイアウト解析方法。
【請求項１４】
前記各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
非主要段落について、該非主要段落と前記主要段落とが段落の境界の関係を満たしておらず、或いはその重なり率が第３重なり率閾値よりも小さい場合、前記非主要段落を前記主要段落の追加的主要段落としないステップ、を含む、請求項１に記載のレイアウト解析方法。
【請求項１５】
前記追加的主要段落が取得された後に、前記追加的主要段落に基づいて、該欄における前記主要段落を追加するための幾何学的関係を満たす非主要段落を、更なる追加的主要段落として選択するステップと、
該欄に前記主要段落を追加するための幾何学的関係を満たす非主要段落がなくなるまで、上記のステップを繰り返すステップと、をさらに含む、請求項１に記載のレイアウト解析方法。
【請求項１６】
請求項１乃至１５の何れかに記載のレイアウト解析方法のステップを実行する回路部、を含むチップ回路。
【請求項１７】
画像を取得するセンサと、
請求項１６に記載のチップ回路と、
音声データを出力する音声出力装置と、を含み、
前記チップ回路は、
前記画像に対して文字認識を行い、文字データを取得する回路部と、
レイアウト解析の結果に基づいて、主要段落における文字データを前記音声データに変換する回路部と、をさらに含む、読書補助装置。
【請求項１８】
処理装置と、
命令を含むプログラムが記憶されている記憶装置と、を含み、
前記命令が前記処理装置により実行される際に、前記処理装置に請求項１乃至１５の何れかに記載のレイアウト解析方法を実行させる、電子機器。
【請求項１９】
前記プログラムは、
前記処理装置により実行される際に、レイアウト解析の結果に基づいて主要段落における文字データを音声データに変換する命令、をさらに含む、請求項１８に記載の電子機器。
【請求項２０】
命令を含むプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記命令が電子機器の処理装置により実行される際に、前記電子機器に請求項１乃至１５の何れかに記載のレイアウト解析方法を実行させる、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、データ処理の分野に関し、特にレイアウト解析方法、読書補助装置、電子機器、並びにその対応するチップ回路及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
画像に含まれる読み物のレイアウトにおける文字を認識する従来技術がある。実際の応用では、該画像は、読み物のレイアウトだけではなく、読み物のレイアウトに関連しない背景物体における文字（背景文字）を含む場合があるため、画像における文字を選別して背景文字を除去してもよい。従来技術におけるレイアウト選別技術は、主に文字の画像データ、テキストの文字列、又は文字の意味情報などに基づいて、画像処理又は意味解析アルゴリズムを用いて除去すべき背景文字を判断する。このような技術は、通常アルゴリズムが複雑であり、計算量が多い。
【０００３】
この部分で説明されている方法は、必ずしも以前に構想、或いは採用されている方法ではない。他の説明がない限り、この部分で説明されている方法がこの部分に含まれているという理由だけで先行技術であると見なされるべきではない。同様に、他の説明がない限り、この部分で言及されている課題が先行技術において認識されていると見なされるべきではない。
【発明の概要】
【０００４】
本開示の１つの態様では、画像における複数の段落の座標情報に基づいて、前記複数の段落を水平方向に配列された１つ以上の欄に分割するステップであって、各欄は前記複数の段落における１つ以上の段落を含む、ステップと、前記１つ以上の欄における少なくとも一部の欄の各欄に含まれる１つ以上の段落について、段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定するステップと、前記各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップと、を含む、レイアウト解析方法を提供する。
【０００５】
本開示のもう１つの態様では、本開示に記載のレイアウト解析方法のステップを実行する回路部、を含むチップ回路を提供する。
【０００６】
本開示のもう１つの態様では、画像を取得するセンサと、上記のチップ回路と、音声データを出力する音声出力装置と、を含み、前記チップ回路は、前記画像に対して文字認識を行い、文字データを取得する回路部と、レイアウト解析の結果に基づいて、主要段落における文字データを前記音声データに変換する回路部と、をさらに含む、読書補助装置を提供する。
【０００７】
本開示のもう１つの態様では、処理装置と、命令を含むプログラムが記憶されている記憶装置と、を含み、前記命令が前記処理装置により実行される際に、前記処理装置に本開示に記載のレイアウト解析方法を実行させる、電子機器を提供する。
【０００８】
本開示のもう１つの態様では、命令を含むプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記命令が電子機器の処理装置により実行される際に、前記電子機器に本開示に記載のレイアウト解析方法を実行させる、記憶媒体を提供する。
【０００９】
以下で図面を参照しながら例示的な実施例を説明することにより、本開示のより多くの特徴及び利点は明らかになる。
【図面の簡単な説明】
【００１０】
図面は実施例を例示し、明細書の一部を構成するものであり、図面及び明細書の文言の説明を参照しながら実施例の例示的な態様を説明する。示される実施例は単なる例示のためのものであり、特許請求の範囲を制限するものではない。全ての図面では、同一の符号は類似の要素を示しているが、必ずしも同一の要素ではない。
【図１】本開示の例示的な実施例に係る読み物のレイアウト及び背景文字を含む画像の一例を示す模式図である。
【図２】本開示の例示的な実施例に係るレイアウト解析方法を示すフローチャートである。
【図３】本開示の例示的な実施例に係る画像における段落に対する欄分割方法の一例を示すフローチャートである。
【図４】本開示の例示的な実施例に係る２つの段落の水平方向の重なり率の計算方法の一例を示す模式図である。
【図５】本開示の例示的な実施例に係る各欄の主要段落の決定方法の一例を示すフローチャートである。
【図６】本開示の例示的な実施例に係る各欄において既存の主要段落に基づいて該主要段落の追加的主要段落を拡張する方法の一例を示すフローチャートである。
【図７（ａ）】図７（ａ）は本開示の例示的な実施例に係る段落の境界の関係及び重なり率の関係の判断方法の一例を示す模式図である。
【図７（ｂ）】図７（ｂ）は本開示の例示的な実施例に係る段落の境界の関係及び重なり率の関係の判断方法の一例を示す模式図である。
【図８】本開示の例示的な実施例に係るレイアウト解析方法を示すフローチャートである。
【図９】本開示の例示的な実施例に係るレイアウト解析の一例を示す模式図である。
【図１０】本開示の例示的な実施例に係る読書補助装置の構成を示すブロック図である。
【図１１】例示的な実施例に適用可能なコンピュータ装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
本開示では、他の説明がない限り、様々な要素を説明するための「第１」、「第２」などの用語は、これらの要素の位置関係、時間的関係又は重要性の関係を限定するものではなく、単に１つの素子と他の素子とを区別するために用いられる。幾つかの例では、第１要素及び第２要素は、該要素の同一の例を表してもよいし、場合によって、文脈上の説明に基づいて、異なる例を表してもよい。
【００１２】
本開示において様々な実施例を説明するために用いられる用語は、単なる特定の例を説明するものであり、限定するものではない。文脈が明らかに他のことを示さない限り、要素の数を特に限定しない場合、該要素は１つでもよいし、複数であってもよい。また、本開示で用いられる用語「及び／又は」は、列挙された項目の何れか又は全ての可能な組み合わせを含む。
【００１３】
本開示では、画像について、「水平」とは文字行と実質的に平行な（例えば夾角は４５度未満である）画像のエッジの方向を意味し、「垂直」とは「平行」に垂直な画像の他のエッジの方向を意味する。
【００１４】
以下の本開示の説明は、主にテキスト行が読者に対して実質的に左右方向に延びること（即ち横書きの読み物）を前提としているが、本開示の態様はこれに限定されず、テキスト行が読者に対して実質的に上下方向に延びること（即ち縦書きの読み物）にも適用されてもよく、即ち本開示のアルゴリズムは縦書きの読み物にも適用されてもよい。テキスト行が実質的に上下方向に延びる場合は、本開示の水平方向は実質的な上下方向を意味してもよく、垂直方向は実質的な左右方向を意味してもよい。言い換えれば、本開示の「水平」、「垂直」等の用語は絶対的な意味を持つものではなく、互いに垂直な方向であればよい。文字行が実質的な上下方向である場合は、本開示における「上下」と「左右」の方向を入れ替えてもよい。
【００１５】
本開示では、閾値は、各種のパラメータの絶対値であってもよいし、比率（例えば絶対値の倍率又は数分の一）であってもよい。
【００１６】
画像に含まれる読み物（例えば書籍、雑誌など）のレイアウトに対して文字認識を行う応用では、該画像は、読み物のレイアウトだけではなく、読み物のレイアウトに関連しない背景物体における文字（背景文字）を含む場合がある。文字認識を行う際に、ユーザの所望する読み物のレイアウトにおける文字のみを処理し、背景文字の干渉を回避するために、レイアウト選別技術を用いて背景文字を決定して該背景文字を除去してもよい。「レイアウト選別」とは、画像における読み物のレイアウトに属すると認識された文字を保留し、或いは画像における読み物のレイアウトに属さないと認識された文字を除去することを意味する。
【００１７】
本開示は、文字画像に対する直接の複雑な画像処理を回避し、テキストに基づいて意味解析を行う必要がなく、段落分け処理により得られた各段落の座標情報を用いて、段落を単位としてレイアウト選別を行うレイアウト解析（レイアウト選別）方法を提供する。
【００１８】
図１は本開示の例示的な実施例に係る読み物のレイアウト及び背景文字を含む画像の一例を示す模式図である。図１の例では、画像は読み物レイアウト１０１を含み、読み物レイアウト１０１は段落１０１−１〜１０１−５を含み、各段落は例えば図示する複数の文字行を有してもよい。この画像は、例えば読み物レイアウト１０１に関連しない背景物体、即ちタブレットコンピュータ１０３をさらに含み、タブレットコンピュータ１０３はそのスクリーンに表示された段落１０３−１〜１０３−３を含んでもよい。また、画像は、例えばミネラルウォーターのパッケージにおける文字の段落１０５をさらに含む。本開示に係るレイアウト解析方法によれば、画像における各段落の座標情報に基づいてレイアウトを選別することで、段落１０１−１〜１０１−５が画像のレイアウト段落であると決定し、段落１０３−１〜１０３−３及び段落１０５が画像の背景段落であると決定することができる。本開示の１つの実施例では、主要段落における文字を音声に順次変換し、例えばスピーカ、イヤホン等の音声出力装置により音声を出力してもよい。
【００１９】
以下は、図面を参照しながら本開示の実施例のレイアウト解析方法を詳細に説明する。
【００２０】
図２は本開示の例示的な実施例に係るレイアウト解析方法を示すフローチャートである。図２に示すように、該レイアウト解析方法は、例えば、画像における段落を欄に分割するステップ（ステップＳ２０１）、各欄の主要段落を決定するステップ（ステップＳ２０３）、及び各欄について既存の主要段落に基づいて該主要段落を拡張して追加的主要段落を取得するステップ（ステップ２０５）を含んでもよい。
【００２１】
ステップＳ２０１：画像における複数の段落の座標情報に基づいて、該複数の段落を水平方向に配列された１つ以上の欄に分割し、各欄は該複数の段落における１つ以上の段落を含む。
【００２２】
画像における背景段落に比べて、画像におけるレイアウト段落は、垂直方向の相対位置が近接し、水平方向の重なり性（即ち整列性）が良いため、画像における複数の段落を欄に分割することでレイアウト段落と背景段落を予備的に分割することができ、後続の欄内の更なる分割に役に立つ。
【００２３】
ここで、段落の座標情報とは、段落の画像における位置及び占有領域を表すことができる座標情報であり、様々な形式を有してもよい。例えば、段落の座標情報は、該段落を含む矩形（例えば該段落を含む最小の矩形、又は該段落を含む最小の矩形を上、下、左及び／又は右に所定の倍率だけ拡大して得られた矩形）の４つの頂点の座標であってもよいし、段落の任意の頂点の座標、並びに段落の長さ及び高さであってもよいが、これらの具体的な形式に限定されない。
【００２４】
図１に示す例では、段落１０３−１〜１０３−３を１つの欄に分割し、段落１０１−１、１０１−３及び１０３−４を１つの欄に分割し、段落１０１−２、１０１−５及び１０５を１つの欄に分割してもよい。
【００２５】
ステップＳ２０３において、該１つ以上の欄における少なくとも一部の欄の各欄に含まれる１つ以上の段落について、段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定する。
【００２６】
このステップでは、該１つ以上の欄における少なくとも一部の欄は、レイアウト段落を含む欄と見なされる。レイアウト段落を含む欄に背景段落も含まれる可能性があるため、このステップにおいて該欄におけるレイアウト段落（主要段落）である可能性の最も高い段落を該欄の最初の主要段落として決定し、その後のステップにおいて主要段落をさらに拡張して該欄の他の主要段落（追加的主要段落）を取得する。１つの欄には、１つの主要段落（即ち最初の主要段落）のみが含まれる可能性があり、複数の主要段落（即ち最初の主要段落及び追加的主要段落）が含まれる可能性がある。
【００２７】
該幾何学的情報は、段落のサイズ、段落の位置（相対位置関係を含む）、文字行の傾斜度、文字行の数、及び文字行のサイズなどのうち少なくとも１つに関連する情報であってもよい。段落の幾何学的情報に関連する所定の基準とは、段落のサイズ、段落の位置（相対位置関係を含む）、文字行の傾斜度、文字行の数、及び文字行のサイズなどのうち少なくとも１つに関連する所定の基準を意味する。
【００２８】
１つの実施例では、欄における主要段落を決定するための該所定の基準は、段落の幅、段落の面積、段落における文字行の数、及び段落の中心点と画像の中心点との距離のうち少なくとも１つの要素に基づくものであってもよい。例えば、段落の幅が大きいほど、且つ／或いは段落の面積が大きいほど、且つ／或いは段落における文字行の数が多いほど、且つ／又は段落の中心点と画像の中心点との距離が近いほど、該段落を欄における主要段落として決定する可能性が高くなる。
【００２９】
図１に示す例では、該１つ以上の欄における少なくとも一部の欄（即ちレイアウト段落を含むと見なされる欄）は、段落１０１−１、１０１−３及び１０１−４が所在する欄（欄１と称される）、並びに段落１０１−２、１０１−５及び１０５が所在する欄（欄２と称される）であってもよい。言い換えれば、段落１０３−１〜１０３−３が所在する欄は、不合格の欄（例えば文字行の傾斜度が大き過ぎ、或いは欄の幅が狭すぎるため）として除外される。この例では、段落１０１−１及び段落１０１−５は、上記の段落の幾何学的情報に関連する所定の基準を最もよく満たすため、それぞれ欄１及び欄２の主要段落として決定される。欄における主要段落として決定されることは、該欄におけるレイアウト段落である可能性が最も高いと決定されることを意味する。
【００３０】
ステップＳ２０５において、各欄について、該欄における１つ以上の非主要段落と該主要段落とが主要段落を追加するための幾何学的関係を満たす場合、該１つ以上の非主要段落を該主要段落の追加的主要段落とする。
【００３１】
このステップでは、各欄の主要段落が決定された後に、他の段落（現在の非主要段落）と既存の主要段落との相対的な関連性が高いか否か（即ち該主要段落を追加するための幾何学的関係を満たすか否か）に基づいて、既存の主要段落を拡張して追加的主要段落を取得する。
【００３２】
該主要段落を追加するための幾何学的関係とは、非主要段落と主要段落との相対位置、段落のサイズ、文字行の傾斜度、文字行の数、及び文字行のサイズなどに関する関連性を意味する。１つの実施例では、該主要段落を追加するための幾何学的関係は、例えば文字行の平均高さの関係、文字行の傾斜度の関係、段落の境界の関係（例えば段落間の距離を表すことができる）、段落間の重なり率の関係のうち少なくとも１つの関係を含んでもよい。非主要段落と主要段落との文字行の平均高さの関係は、例えば非主要段落の文字行の平均高さ（即ち１つの文字行の平均の高さ）と主要段落の文字行の平均高さとの差分又は比率を含んでもよい。段落の傾斜度の関係は、例えば非主要段落における文字行の傾斜度と主要段落における文字行の傾斜度との差分角度を含んでもよい。段落の境界の関係は、例えば非主要段落の段落境界と主要段落の段落境界との相対位置関係（例えば上、下、左、右の位置関係及び／又はその間の距離）を含んでもよい。段落間の重なり率の関係は、例えば非主要段落と主要段落との水平方向／垂直方向の重なり率を含んでもよい。これらの条件は、応用の需要に応じて様々な方法で組み合わせて運用されてもよく、その運用の順序は特定の順序に限定されない。例えば、まず段落の境界の関係を判断し、段落の境界の関係を満たした場合のみ、他の幾何学的関係が主要段落の追加要求を満たすか否かを判断してもよい。また、まず文字行の平均高さの関係及び文字行の傾斜度の関係を判断し、この２つの関係を満たした場合のみ、他の幾何学的関係が主要段落の追加要求を満たすか否かを判断してもよい。これらの幾何学的関係が主要段落の追加要求を満たすか否かを判断する際の幾何学的関係の運用方法及び運用順序は、特定の運用方法及び運用順序に限定されない。
【００３３】
なお、最初に決定された主要段落及び追加的主要段落は共に主要段落の概念的カテゴリに属し、処理が終了した後に、これらの主要段落は、更に処理すべき（例えば文字／音声変換、音声再生など）レイアウト段落とされる。また、非主要段落は処理時に主要段落とされていない段落であるが、非主要段落は後続の処理で主要段落（即ち追加的主要段落）として拡張される可能性がある。
【００３４】
図１に示す例では、段落１０１−１及び１０１−５は、前のステップにおいて既に欄１及び欄２それぞれの主要段落として決定された。そして、このステップにおいて、段落１０１−３と主要段落１０１−１との関連性が高い（即ち上記の主要段落を追加するための幾何学的関係を満たしている）ため、段落１０１−３を欄１における主要段落１０１−１の追加的主要段落として決定する。その後、段落１０１−４と主要段落１０１−３との関連性が高いため、段落１０１−４を欄１における主要段落１０１−３の追加的主要段落として決定する。同様に、段落１０１−２と主要段落１０１−５との関連性が高い（即ち上記の主要段落を追加するための幾何学的関係を満たしている）ため、段落１０１−２を欄２の追加的主要段落として決定する。段落１０５とそれの所在する欄２における主要段落１０１−５との関連性が低い（即ち上記の主要段落を追加するための幾何学的関係を満たしておらず、例えば文字行の高さが大き過ぎ、或いは既存の主要段落との距離が大き過ぎる）ため、段落１０５を欄２の追加的主要段落としない。このように、最終的に得られた主要段落（レイアウト段落）は段落１０１−１〜１０１−５を含む。
【００３５】
図２に示す方法によれば、各段落の座標情報を用いて段落を単位としてレイアウト選別を行うため、文字画像に対する複雑な画像処理、及びテキストに基づく意味解析を行う必要がなく、ある程度のレイアウト解析精度を維持すると共に、アルゴリズムの複雑さ及び計算量を大幅に低減させることができ、コンピュータのレイアウトを解析する時の演算負荷を軽減することができる。
【００３６】
以上は図１〜図２を参照しながら本開示のレイアウト解析方法を説明した。以下は図３〜図９を参照しながら上記ステップＳ２０１、Ｓ２０３及びＳ２０５の例示的な実施形態及び実施例を詳細に説明し、図３はステップＳ２０１における画像における段落に対する欄分割処理の一例を示し、図５はステップＳ２０３における各欄の主要段落の決定処理の一例を示し、図６はステップＳ２０５における各欄において既存の主要段落に基づいて該主要段落の追加的主要段落を拡張する処理の一例を示し、図８は追加的主要段落に基づいて更なる追加的主要段落を反復的に決定する処理の一例を示す。なお、以上で図１〜図２を参照しながら説明された各定義、実施例、態様及び例などは以下で説明される実施例及びその組み合わせに適用されてもよい。
【００３７】
図３は本開示の例示的な実施例に係る画像における段落に対する欄分割方法の一例を示すフローチャートであり、該方法上記のステップＳ２０１の例示的な実施例であってもよく、即ちステップＳ２０１は図３のフローチャートにおけるステップを含んでもよい。
【００３８】
ステップＳ３０１において、該複数の段落から１つ以上の欄分割基礎段落を決定し、該１つ以上の欄分割基礎段落は、該複数の段落のうち他の段落よりも大きい幅を有する段落である。
【００３９】
ステップＳ３０３において、該複数の段落のうち欄分割基礎段落に属さない普通段落について、該普通段落と欄分割基礎段落とが第１所定幾何学的関係を満たす場合、該普通段落を、該欄分割基礎段落が属する欄に分割する。
【００４０】
１つの実施例では、画像における他の段落よりも大きい幅を有する１つ以上の欄分割基礎段落は、例えば画像における該複数の段落を幅の順で並び替えて得られた上位Ｎ個の大きい段落（Ｎは段落数よりも小さい所定の正整数である）であってもよいし、第１幅閾値（該第１幅閾値は例えば画像の幅の数分の一に設定されてもよい）よりも大きい幅を有する段落であってもよいし、上記幅が比較的に大きい段落から所定の条件で一部の段落（例えば文字行の数が少なすぎる段落、又は幅が比較的に大きい他の段落と水平方向に重なっている段落など）を除去して得られた段落であってもよい。ここで、「幅」とは、水平方向のサイズを意味する。
【００４１】
該第１所定幾何学的関係は、普通段落をどの欄に分割すべきかを決定するための基準であり、普通段落と１つの欄分割基礎段落との関係基準を含んでもよい。１つの実施例では、該第１所定幾何学的関係を満たす必要条件は条件ａを含んでもよく、条件ａは、該普通段落と該欄分割基礎段落との水平方向の重なり率が第１重なり率閾値（該第１重なり閾値は、例えば４０％〜７０％の間の値に設定されてもよい）以上であることを含む。１つの実施例では、該条件ａは、該普通段落の該欄分割基礎段落に対する傾斜度が第１傾斜度閾値（該第１傾斜度閾値は、例えば１５度〜３５度の間の値に設定されてもよい）以下であることをさらに含んでもよい。
【００４２】
１つの実施例では、ステップＳ３０１において該複数の段落から１つ以上の欄分割基礎段落を決定するステップは、該複数の段落のうち幅が最も大きい段落を第１欄分割基礎段落とするステップと、画像における該複数の段落のうち第１欄分割基礎段落以外の候補段落について、該候補段落と該第１欄分割基礎段落とが第２所定幾何学的関係を満たす場合、該候補段落を第２欄分割基礎段落とするステップと、を含んでもよい。
【００４３】
１つの実施例では、該第２所定幾何学的関係は、第２欄分割基礎段落も比較的に大きい幅（例えば第１欄分割基礎段落と略同一の幅）を有することを確保すると共に、第２欄分割基礎段落と第１欄分割基礎段落とが同一の欄に分割されないことを確保する。１つの実施例では、該第２所定幾何学的関係を満たす必要条件は条件ｃを含んでもよく、条件ｃは、該候補段落の幅と該第１欄分割基礎段落の幅との比が幅の比の閾値（該幅の比の閾値は、例えば４０％〜８０％の間の値であってもよい）以上であり、且つ該候補段落と該第１欄分割基礎段落との水平方向の重なり率が第２重なり率閾値（該第２重なり率閾値は、例えば２０％〜５０％の間の値に設定されてもよく、第１重なり率閾値に等しくてもよいし、第１重なり率閾値よりも小さくてもよい）以下であることを含む。上記の第２所定幾何学的関係によれば、比較的に大きく、且つ第１欄分割基礎段落と略同一の段落幅を有し、相互の重なり部分が少ない（即ち異なる欄に属すると見なされてもよい）１つ以上の第２欄分割基礎段落を決定することができる。１つの実施例では、該条件ｃは、例えば該候補段落の該第１欄分割基礎段落に対する傾斜度が第２傾斜度閾値（該第２傾斜度閾値は、例えば１５度〜３５度の間の値に設定されてもよく、第１傾斜度閾値に等しくてもよいし、第１傾斜度閾値と異なってもよい）以下であることをさらに含んでもよい。
【００４４】
１つの実施例では、ステップＳ３０１において、候補段落の該第１欄分割基礎段落に対する傾斜度が第２傾斜度閾値以下であり、且つ該候補段落の幅と該第１欄分割基礎段落の幅との比が幅の比の閾値以上であるが、該候補段落と該第１欄分割基礎段落との水平方向の重なり率が第２重なり率閾値よりも大きい場合、ステップＳ３０３において、該候補段落を、該第１欄分割基礎段落が属する欄に分割してもよい。言い換えれば、該第１所定幾何学的関係を満たす必要条件は、条件ａ及び条件ｂの何れかを含んでもよく、即ち条件ａ及び条件ｂの何れかを満たす場合、該第１所定幾何学的関係を満たすと判断してもよい。条件ａは例えば上述したものであってもよく、条件ｂは、例えば該普通段落と第１欄分割基礎段落との幅の比が幅の比の閾値以上であり、且つ該普通段落と該第１欄分割基礎段落との水平方向の重なり率が第２重なり率閾値よりも大きいことを含んでもよい。１つの実施例では、該条件ｂは、該普通段落の該第１欄分割基礎段落に対する傾斜度が第２傾斜度閾値以下であることをさらに含んでもよい。ここで、２つの段落のある方向の重なり部分とは、この２つの段落の該方向の座標軸上の投影の共通部分を意味する。
【００４５】
１つの実施例では、２つの段落のある方向の重なり率は、ＯＶＲ＝ｍａｘ（ＯＶＬ／Ｌ１，ＯＶＬ／Ｌ２）で定義されてもよく、ここで、ｍａｘは括弧内の比較的に大きい数値を表し、ＯＶＬは２つの段落の該方向の重なり部分のサイズを表し、Ｌ１及びＬ２は、２つの段落の該方向のサイズをそれぞれ表す。図４は本開示の例示的な実施例に係る２つの段落の水平方向の重なり率の計算方法の一例を示す模式図である。図４の例では、ＯＶＬ＝１２、Ｌ１＝２０、Ｌ２＝１７となるため、この２つの段落の水平方向の重なり率ＯＶＲ＝ｍａｘ（ＯＶＬ／Ｌ１，ＯＶＬ／Ｌ２）＝１２／１７となる。なお、ここで重なり率の概念と算出方法を示しているが、重なり率の概念及び計算方法はこれに限定されず、２つの段落のある方向の重なり状況を表すことができればよい。
【００４６】
１つの態様では、１つの普通段落と複数の欄分割基礎段落とが第１所定幾何学的関係を満たす場合、任意の方法を用いて、該普通段落をどの欄分割基礎段落が属する欄に分割するかを決定してもよい。例えば、該普通段落を、該普通段落と第１所定幾何学的関係を満たす任意の１つの欄分割基礎段落が属する欄にランダムに分割してもよいし、該普通段落を段落幅が比較的に大きい欄分割基礎段落の属する欄に分割してもよいし、普通段落の複数の欄分割基礎段落に対する傾斜度及び重なり率のスコアを算出し（傾斜度が大きいほどスコアが低くなり、重なり率が大きいほどスコアが高くなる）、該普通段落をスコアが比較的に高い欄分割基礎段落の属する欄に分割してもよい。
【００４７】
図３のフローチャートに示す方法によれば、１つ以上の欄分割基礎段落を決定し、各段落を対応する欄分割基礎段落が属する欄に分割し、即ち該複数の段落の欄分割処理を完成させることができる。
【００４８】
図５は本開示の例示的な実施例に係る各欄の主要段落の決定方法の一例を示すフローチャートであり、該方法上記のステップＳ２０３の例示的な実施例であってもよく、即ちステップＳ２０３は図５のフローチャートにおけるステップを含んでもよい。上述したように、欄の主要段落を決定することは、背景段落でなく、レイアウト段落である可能性のある段落を決定することである。図５におけるフローチャートは、欄における最初の主要段落の決定方法の一例を示している。
【００４９】
図５に示す例示的な実施例では、ステップＳ２０３において段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定するステップは、以下のステップを含んでもよい。
【００５０】
ステップＳ５０１において、該欄における各段落について、段落の幅、段落の面積、段落における文字行の数、及び段落の中心点と画像の中心点との距離のうち少なくとも１つの要素に基づいて、該段落のそれぞれのスコアを算出する。
【００５１】
ステップＳ５０３において、各要素のスコアに基づいて重み付け合計を算出し、該段落の重み付けスコアを取得する。
【００５２】
ステップＳ５０５において、重み付けスコアが最も高い段落を該欄の主要段落とする。
【００５３】
各要素のレイアウトにおける段落の判断に対する影響方式に基づいて、スコアの計算方法を決定する。例えば、段落の幅が大きいほど、段落の幅のスコアが高くなり、段落の面積が大きいほど、段落の面積のスコアが高くなり、段落における文字行の数が多いほど、段落における文字行の数のスコアが高くなり、段落の中心点と画像の中心点との距離が小さいほど、段落における該距離のスコアが高くなる。
【００５４】
各スコアは、各要素の実際の測定値であってもよいし、各要素の実際の測定値の該要素の基準値に対する倍率であってもよい。例えば、段落の幅のスコアは、実際の段落の幅を段落の幅の基準値（例えば、画像の幅、又は画像における最も広い段落の幅など）で割ったものであってもよく、段落の面積のスコアは、実際の段落の面積を段落の面積の基準値（例えば、画像の面積、又は画像における面積が最も大きい段落の面積など）で割ったものであってもよく、段落における文字行の数のスコアは、実際の文字行の数を文字行の数の基準値（例えば、画像における最大の文字行の数を有する段落における文字行の数など）で割ったものであってもよく、段落の中心点と画像の中心点との距離のスコアは、実際の距離を距離の基準値（例えば、画像の１つの辺の長さなど）で割ったものであってもよく、その結果の反数又は逆数を求める。
【００５５】
該重み付けの重みは、具体的な応用における各要素のレイアウト段落の判断に対する寄与度に基づいて決定されもよい。各スコアが各要素の実際の測定値である場合、重みは対応する次元を有し、各スコアが各要素の実際の測定値の該要素の基準値に対する倍率である場合、重みは次元を有しない。なお、１つの態様では、重み付けはステップＳ５０１においてスコアを算出する時に用いられる要素の基準値で既に表されているため、ステップＳ５０３における重みは１である。重みを特に設定せずに（即ち重みは１である）合計を算出する実施例も本開示の「重み付け合計」の範囲内に含まれ、即ち重みを１に設定して重み付け合計を算出すると見なされる。
【００５６】
図６は本開示の例示的な実施例に係る各欄において既存の主要段落に基づいて該主要段落の追加的主要段落を拡張する方法の一例を示すフローチャートである。図６におけるフローチャートの処理は、１つの欄における１つの既存の主要段落に対する処理であるが、全ての欄における全ての主要段落に対して該処理を行ってもよい。ここの既存の主要段落は上記の最初に決定された主要段落（例えば図５におけるフローチャートのステップにおいて決定されたもの）であってもよいし、追加的主要段落（即ち追加的主要段落に基づいて主要段落をさらに追加する）であってもよい。
【００５７】
図６のフローチャートの処理では、該欄における既存の主要段落について、主要段落と非主要段落との幾何学的関係（即ち主要段落を追加するための幾何学的関係）に基づいて、全ての非主要段落を該主要段落に基づいて追加的主要段落として拡張できるか否かを判断する。該幾何学的関係が該主要段落と非主要段落との比較的に高い関連性（例えば距離が近接すること、文字行の特徴が類似すること、整列性が良いこと等）を表している場合、該非主要段落を該主要段落に基づく追加的主要段落として追加する。
【００５８】
図６のフローチャートの例示的な実施例では、まず文字行の平均高さの関係及び文字行の傾斜度の関係を判断し、そして、段落の境界の関係及び段落間の重なり率の関係を判断しているが、このフローチャートにおけるステップの順序は単なる一例であり、本開示の態様はこれに限定されない。上述したように、これらの条件は応用の需要に応じて様々な方法で組み合わせてもよく、これらの条件の全てを用いてもよいし、これらの条件の一部を用いてもよく、その運用の順序は特定の順序に限定されない。例えば、まず段落の境界の関係を判断し、段落の境界の関係が満たされている場合のみ、他の幾何学的関係が主要段落の追加要求を満たすか否かを判断してもよい。例えば、文字行の平均高さの差の条件に対する判断を省略してもよい。これらの幾何学的関係が主要段落の追加要求を満たすか否かを判断する際の幾何学的関係の運用方法及び運用順序は、特定の運用方法及び運用順序に限定されない。
【００５９】
ステップＳ６０１において、該欄における既存の主要段落について、処理されていない非主要段落があるか否かを判断する。該主要段落について全ての非主要段落が既に処理された場合（ステップＳ６０１でＮＯ）、該既存の主要段落の処理を終了する。該主要段落について処理されていない非主要段落がまだある場合（ステップＳ６０１でＹＥＳ）、ステップＳ６０３に進み、まだ処理されていない１つの非主要段落について処理を行う。
【００６０】
ステップＳ６０３において、該非主要段落の文字行の平均高さと該主要段落との文字行の平均高さとの差（即ち文字行の平均高さの差）が高さの差の閾値よりも大きいか否かを判断する。該文字行の平均高さの差が高さの差の閾値よりも大きい場合（ステップＳ６０３でＹＥＳ）、該非主要段落を該主要段落の追加的主要段落としない（ステップＳ６１１）。該文字行の平均高さの差が高さの差の閾値以下である場合（ステップＳ６０３でＮＯ）、主要段落を追加するための幾何学的関係における他の条件を判断し続けてもよい（ステップＳ６０５）。
【００６１】
ステップＳ６０３では、非主要段落の文字行の平均高さと主要段落の文字行の平均高さとが大きく異なる場合、該非主要段落と該主要段落との関連性が高くなく、即ち同一のレイアウトに属する可能性が低いと判断してもよい。一方、該非主要段落を追加的主要段落とする可能性を排除せず、即ち主要段落を追加するための幾何学的関係における他の条件を判断し続ける。
【００６２】
ここで、高さの差の閾値は、文字行の高さの絶対的な値であってもよいし、比率であってもよく、例えばその１つの文字行（例えば高さが最も小さい文字行）の高さの数分の一又は数倍である。例えば、高さの差の閾値は、３〜１０個画素の値に設定されてもよいし、例えば高さが比較的に小さい文字行の高さの１／２等に設定されてもよい。
【００６３】
１つの実施例では、１つの主要段落について、非主要段落が該主要段落の追加的主要段落ではないと決定された場合、他の主要段落について、該非主要段落に対する処理を依然として行う。一方、１つの主要段落について、非主要段落が該主要段落の追加的主要段落であると決定された場合、他の主要段落について、既に追加的主要段落となった該非主要段落を非主要段落として処理する必要がなくなる。
【００６４】
ステップＳ６０５において、該非主要段落の文字行の傾斜度と該主要段落の文字行の傾斜度との差（即ち文字行の傾斜度の差）が第３傾斜度閾値よりも大きいか否かを判断する。該文字行の傾斜度の差が第３傾斜度閾値よりも大きい場合（ステップＳ６０５でＹＥＳ）、該非主要段落を該主要段落の追加的主要段落としない（ステップＳ６１１）。該文字行の傾斜度の差が第３傾斜度閾値以下である場合（ステップＳ６０５でＮＯ）、主要段落を追加するための幾何学的関係における他の条件を判断し続けてもよい（ステップＳ６０７）。
【００６５】
このステップでは、非主要段落の文字行の傾斜度と主要段落の文字行の傾斜度とが大きく異なる場合、該非主要段落と該主要段落との関連性が高くなく、即ち同一のレイアウトに属する可能性が低いと判断してもよい。一方、該非主要段落を追加的主要段落とする可能性を排除せず、即ち主要段落を追加するための幾何学的関係における他の条件を判断し続ける。
【００６６】
ここで、第３傾斜度閾値は、上記の第１傾斜度閾値及び第２傾斜度閾値のうち少なくとも１つと同一であってもよいし、両方と異なってもよい。１つの実施例では、該第３傾斜度閾値は、例えば具体的な応用需要に応じて１５度〜３５度の間の値に設定されてもよい。
【００６７】
ステップＳ６０７において、該非主要段落と該主要段落が段落の境界の関係を満たし、且つその重なり率が第３重なり率閾値以上であるか否かを判断する。該非主要段落と該主要段落が段落の境界の関係を満たし、且つその重なり率が第３重なり率閾値以上である場合（ステップＳ６０７でＹＥＳ）、該非主要段落を該主要段落の追加的主要段落とする（ステップＳ６０９）。該非主要段落と該主要段落が段落の境界の関係を満たせず、或いはその重なり率が第３重なり率閾値よりも小さい場合（ステップＳ６０７でＮＯ）、該非主要段落を該主要段落の追加的主要段落としない（ステップＳ６１１）。
【００６８】
ここで、第３重なり率閾値は、第１重なり率閾値と同一であってもよいし、異なってもよい。１つの実施例では、該第３重なり率閾値は、例えば４０％〜７０％の間の値に設定されてもよい。
【００６９】
該段落の境界の関係は、段落間の位置関係を表し、例えば上、下、左、右の位置関係及び／又はその間の距離を含んでもよい。段落の境界の関係と重なり率の関係とを組み合わせることで、２つの段落が密接に関連するか否かを表すことができる。例えば、非主要段落と主要段落との最も近い段落の境界間の距離が大きく、或いは重なり率が低い場合、該非主要段落と該主要段落との関連性が高くなく、即ち同一のレイアウトに属する可能性が低いと判断してもよい。逆の場合は、上記の条件の判断結果を併せて考慮すると、該非主要段落と該主要段落との関連性が高く、即ち同一のレイアウトに属すると判断してもよい。
【００７０】
ステップＳ６０９の処理及びその後のステップＳ６１１の処理を実行した後に、現在の非主要段落についての処理を終了し、ステップＳ６０１に戻って現在の主要段落について処理されていない非主要段落がまだあるか否かを判断する。
【００７１】
以下は、ステップＳ６０７を実行するための処理を詳細に説明する。
【００７２】
ステップＳ６０７を実行するための処理では、非主要段落と主要段落とが該段落の境界の関係を満たすか否かを判断する。
【００７３】
具体的には、該段落の境界の関係は、非主要段落と主要段落との基本的な相対位置関係及びそれに対応する段落の境界の距離の関係を含んでもよい。基本的な相対位置関係とは、非主要段落が主要段落の上方、下方、左側又は右側に位置することを意味する。段落の境界の距離は、２つの段落の最も近い平行な境界間の距離であってもよく、段落の境界の距離が距離閾値以下である場合、非主要段落と主要段落が該段落の境界の関係を満たすと判断する。この距離閾値は、具体的な応用需要に応じて設定されてもよく、例えば文字行の平均高さの１．５〜４倍の間の値に設定されてもよい。１つの実施例では、以下の条件の少なくとも１つを満たす場合、非主要段落と主要段落とが該段落の境界の関係を満たすと判断する。
【００７４】
非主要段落が主要段落の上方に位置し（例えば非主要段落の上の境界が主要段落の上の境界よりも高いが、これに限定されない）、且つ非主要段落の下の境界と主要段落の上の境界との距離が距離閾値以下であり、或いは非主要段落の下の境界が主要段落の上の境界よりも低い。
【００７５】
非主要段落が主要段落の下方に位置し（例えば非主要段落の下の境界が主要段落の下の境界よりも低いが、これに限定されない）、且つ非主要段落の上の境界と主要段落の下の境界との距離が距離閾値以下であり、或いは非主要段落の上の境界が主要段落の下の境界よりも高い。
【００７６】
非主要段落が主要段落の左側に位置し（例えば非主要段落の左の境界が主要段落の左の境界の左側に位置するが、これに限定されない）、且つ非主要段落の右の境界と主要段落の左の境界との距離が距離閾値以下であり、或いは非主要段落の右の境界が主要段落の左の境界の右側に位置する。
【００７７】
非主要段落が主要段落の右側に位置し（例えば非主要段落の右の境界が主要段落の右の境界の右側に位置するが、これに限定されない）、且つ非主要段落の左の境界と主要段落の右の境界との距離が距離閾値以下であり、或いは非主要段落の左の境界が主要段落の右の境界の左側に位置する。
【００７８】
ステップＳ６０７を実行するための例示的な処理では、非主要段落と主要段落とが段落間の重なり率の関係を満たすか否かをさらに判断する。
【００７９】
該重なり率の定義は、上述したものと同様であり、例えば図４を参照しながら説明された２つの段落のある方向の重なり率の定義を採用してもよい。１つの実施例では、以下の条件のうち少なくとも１つを満たす場合、非主要段落と主要段落とが該重なり率の関係を満たすと判断する。
【００８０】
非主要段落が主要段落の上方又は下方に位置し、且つ非主要段落と主要段落との水平方向の重なり率が第３重なり率閾値以上である。
【００８１】
非主要段落が主要段落の左側又は右側に位置し、且つ非主要段落と主要段落との垂直方向の重なり率が第３重なり率閾値以上である。
【００８２】
以下は図７（ａ）及び図７（ｂ）を参照しながらステップＳ６０７を実行するための例示的な処理を説明する。図７（ａ）及び図７（ｂ）は本開示の例示的な実施例に係る段落の境界の関係及び重なり率の関係の判断方法の一例を示す模式図であり、図７（ａ）は上下関係にある非主要段落７１１及び主要段落７１３を示し、図７（ｂ）は左右関係にある非主要段落７２１及び主要段落７２３を示している。
【００８３】
図７（ａ）に示す図では、非主要段落７１１が主要段落７１３の上方に位置し、且つ非主要段落７１１の下の境界７１１Ｄと主要段落７１３の上の境界７１３Ｕとの距離Ｄ１１が距離閾値（例えば３つの文字行の高さに設定されている）以下であり、非主要段落７１１と主要段落７１３との水平方向の重なり率ＯＶＲ１＝ｍａｘ（ＯＶＬ１／Ｌ１１，ＯＶＬ１／Ｌ１３）が第３重なり率閾値（例えば５０％に設定されている）以上であり、ここで、ＯＶＬ１は非主要段落７１１と主要段落７１３との水平方向の重なり部分のサイズであり、Ｌ１１及びＬ１３はそれぞれ非主要段落７１１及び主要段落７１３の水平方向のサイズであるため、非主要段落７１１と主要段落７１３とが段落の境界の関係を満たし、且つ重なり率の関係を満たす（即ち、その重なり率が第３重なり率閾値以上である）と決定してもよい。該非主要段落と主要段落との行の平均高さの差及び文字行の傾斜度の差を併せて考慮すると、該非主要段落を該主要段落の追加的主要段落としてもよい。
【００８４】
図７（ｂ）に示す図では、非主要段落７２１が主要段落７２３の左側に位置し、且つ非主要段落７２１の右の境界７２１Ｒと主要段落７２３の左の境界７２３Ｌとの距離Ｄ２１が距離閾値（例えば３つの文字行の高さ又は３つの文字の高さなどに設定されている）以下であり、非主要段落７２１と主要段落７２３との垂直方向の重なり率ＯＶＲ２＝ｍａｘ（ＯＶＬ２／Ｌ２１，ＯＶＬ２／Ｌ２３）が第３重なり率閾値（例えば５０％に設定されている）以上であり、ここで、ＯＶＬ２は非主要段落７２１と主要段落７２３との垂直方向の重なり部分のサイズであり、Ｌ２１及びＬ２３はそれぞれ非主要段落７２１及び主要段落７２３の垂直方向のサイズであるため、非主要段落７２１と主要段落７２３とが段落の境界の関係を満たし、且つ重なり率の関係を満たす（即ち、その重なり率が第３重なり率閾値以上である）と決定してもよい。該非主要段落と主要段落との行の平均高さの差及び文字行の傾斜度の差を併せて考慮すると、該非主要段落を該主要段落の追加的主要段落としてもよい。
【００８５】
図１〜図７（ａ）及び図７（ｂ）を参照しながら本開示の例示的な実施形態の各ステップ及びその実施例を説明した。該例示的な方法は、段落を欄に分割し、複数の欄のうち少なくとも一部の欄の各欄について該欄の主要段落を決定し、各欄について既存の主要段落に基づいて追加的主要段落を決定する。得られた主要段落（追加的主要段落）は、レイアウト段落であると判断される可能性が高い段落である。
【００８６】
１つの実施例では、上記の追加的主要段落について、ステップＳ２０５の処理又は図６のフローチャートの処理を繰り返してもよく、既存の主要段落（追加的主要段落）から更なる追加的主要段落を反復的に決定してもよい。言い換えれば、追加的主要段落が取得された後に、該追加的主要段落に基づいて、該欄における該主要段落を追加するための幾何学的関係を満たす非主要段落を、更なる追加的主要段落として選択し、該欄に該主要段落を追加するための幾何学的関係を満たす非主要段落がなくなるまで（即ち、現在の主要段落（追加的主要段落）から追加的主要段落を拡張することができなくなるまで）、上記のステップを繰り返し、最終的に得られた主要段落（追加的主要段落）をレイアウト段落の可能性の高い段落とする。また、１つの実施例では、本開示の方法は、追加的なステップをさらに含んでもよい。
【００８７】
図８は本開示の例示的な実施例に係るレイアウト解析方法を示すフローチャートである。
【００８８】
ステップＳ８０１において、画像における複数の段落の座標情報に基づいて、該複数の段落を水平方向に配列された１つ以上の欄に分割し、各欄は該複数の段落における１つ以上の段落を含む。ステップＳ８０１の実施は、ステップＳ２０１における処理（例えば図３のフローチャートにおける処理）と同様な処理を利用してもよい。
【００８９】
ステップＳ８０３において、ステップＳ８０１において該複数の段落を水平方向に配列された１つ以上の欄に分割した後に、不合格の欄を除外し、該１つ以上の欄のうち少なくとも一部の欄を取得する。該不合格の欄は、その特徴によりレイアウトに属さないと判断される可能性が高い欄である。該不合格の欄は、例えば幅が第２幅閾値よりも小さい欄（該第２幅閾値は例えば画像幅の１／５〜１／３の間の値に設定されてもよいが、これに限定されない）、文字行の数が文字行数閾値よりも少ない欄（該文字行数閾値は例えば１〜３行の間の値に設定されてもよいが、これに限定されない）、欄の面積が欄面積閾値よりも小さい欄（該欄面積閾値は例えば画像面積の１／８〜１／３の間の値に設定されてもよいが、これに限定されない）、文字行の傾斜度が第４傾斜度閾値よりも大きい欄（該第４傾斜度閾値は上記の第１傾斜度閾値、第２傾斜度閾値及び第３傾斜度閾値よりも大きくてもよく、該第４傾斜度閾値は例えば２５度〜４５度の間の値に設定されてもよいが、これに限定されない）の少なくとも１つであってもよいが、これらの欄に限定されない。不合格の欄を除外することで、欄のレベルで読み物のレイアウトに明らかに属さない欄を除去することができるため、レイアウト解析の正確さを向上させると共に、後続処理の計算量を低減させることができる。
【００９０】
ステップＳ８０５において、該１つ以上の欄における少なくとも一部の欄（ステップＳ８０３において不合格の欄を除外した後に残った欄）の各欄に含まれる１つ以上の段落について、段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落（即ち最初に決定された主要段落）を決定する。ステップＳ８０５の実施は、ステップＳ２０３における処理（例えば図５のフローチャートにおける処理）と同様な処理を利用してもよい。
【００９１】
ステップＳ８０７において、該欄に主要段落との関係が主要段落を追加するための幾何学的関係を満たす１つ以上の非主要段落があるか否かを決定する。ステップＳ８０７の実施は、ステップＳ２０５における処理（例えば図６のフローチャートにおける処理）と同様な処理を利用してもよい。
【００９２】
該欄に主要段落との関係が主要段落を追加するための幾何学的関係を満たす１つ以上の非主要段落が存在するとステップＳ８０７において判断された場合（ステップＳ８０７でＹＥＳ）、ステップＳ８０９において、該１つ以上の非主要段落を該主要段落の追加的主要段落とし、追加的主要段落を主要段落とし、該欄に主要段落との関係が主要段落を追加するための幾何学的関係を満たす１つ以上の非主要段落が存在しないとステップＳ８０７において判断されるまで、ステップＳ８０７及びＳ８０９を反復的に繰り返す。該欄に主要段落との関係が主要段落を追加するための幾何学的関係を満たす非主要段落が存在しないとステップＳ８０７において判断された場合（ステップＳ８０７でＮＯ）、残った非主要段落を該主要段落の追加的主要段落とせず、この欄の処理を終了し、次の処理されていない欄があるか否かを判断する（ステップＳ８１１）。残った非主要段落は、全ての主要段落と比較的に大きい特徴の差異を有するため、レイアウト段落に属さない段落（即ち背景段落）であると判断する。
【００９３】
ステップＳ８１１において、次の未処理の欄がまだある場合（ステップＳ８１１でＹＥＳ）、全ての欄が処理されるまで、該次の欄についてステップＳ８０５〜Ｓ８１１における処理を行う。未処理の欄がない場合（ステップＳ８１１でＮＯ）、全ての欄の処理が完了したと判断し、最終的に得られた主要段落（全ての追加的主要段落を含む）は該読み物のレイアウト段落であると判断し、ステップＳ８１３において画像における最終的に得られた全ての主要段落（全ての追加的主要段落を含む）を並び替える。並び替えは、例えば上から下へ、且つ左から右への通常の読み順序に従って全ての主要段落を並び替えてもよい。
【００９４】
図９は本開示の例示的な実施例に係るレイアウト解析の一例を示す模式図であり、ステップＳ８０７及びＳ８０９を繰り返してレイアウト解析を行う例を示している。
【００９５】
図９に示す例では、段落９０１は主要段落である。ステップＳ２０５の処理（又は図６のフローチャートの処理、又はステップＳ８０７の処理）により、段落９０３は段落９０１に基づいて追加的主要段落として決定される。そして、ステップＳ２０５の処理（又は図６のフローチャートの処理、又はステップＳ８０７の処理）により、段落９０５は段落９０３に基づいて追加的主要段落としてさらに決定される。
【００９６】
上記の反復処理により、最初の主要段落だけではなく、追加的主要段落に基づいて更なる追加的主要段落を決定することができるため、例えば撮影角度や読み物のページ変形などにより段落の重なり率、文字行の傾斜度、段落の境界の距離、文字行の高さなどの要素が徐々に変化した場合であっても、主要段落（レイアウト段落）として認識すべき段落を好適に認識することができる。
【００９７】
以上で図１〜図９を参照しながら説明された本開示の少なくとも一部の例示的な実施例によれば、まず欄を予備的に分割して欄の主要段落を決定し、その後に主要段落に基づいて追加的主要段落を決定し続けることで、欄におけるレイアウト段落でない段落を決定することができ、このような段階的なレイアウト解析方法により計算量と解析の正確さを好適に両立させることができる。
【００９８】
以上は図面を参照しながら本開示のレイアウト解析方法の一例を説明した。レイアウト解析を行った後に、後続処理を行ってもよく、例えば文字認識結果、並びに段落選別及び並び替えの結果に基づいて各段落において認識された文字データを音声データに変換してもよく、これは例えばオーディオブックに関連するアプリケーション及び視覚障碍者補助のアプリケーションに適用されてもよい。
【００９９】
本開示の１つの態様は読書補助装置を含んでもよい。図１０は本開示の例示的な実施例に係る読書補助装置の構成を示すブロック図である。図１０に示すように、読書補助装置１１００は、上記の画像（例えば静止画像又はビデオ画像であってもよく、画像は文字を含んでもよい）を取得するセンサ１１０１、及び上記の任意の方法のステップを実行する回路部を有するチップ回路１１０３を含む。該チップ回路は、画像に対して文字認識を行い、文字データを取得する回路部と、レイアウト解析の結果に基づいて主要段落における文字データを音声データに変換する回路部とをさらに含んでもよい。該画像に対して文字認識を行い、文字データを取得する回路部は、例えば任意の文字認識（例えば光学文字認識（ＯＣＲ））ソフトウェア又は回路を用いてもよく、該段落分けの結果に基づいて、各段落における文字データを音声データに変換する回路部は、例えば任意の文字音声変換ソフトウェア又は回路を用いてもよい。これらの回路部は、例えばＡＳＩＣチップ又はＦＰＧＡチップにより実現されてもよい。読書補助装置１１００は、該音声データ（即ちヴォイスデータ）を出力する音声出力装置１１０５（例えば、スピーカ、イヤホンなど）をさらに含んでもよい。
【０１００】
本開示の１つの態様では電子機器をさらに含んでもよく、該電子機器は、処理装置と、命令を含むプログラムが記憶されている記憶装置と、を含み、該命令が該処理装置により実行される際に、該処理装置に上記の任意の方法を実行させてもよい。１つの実施例では、該プログラムは、該処理装置により実行される際に、レイアウト解析の結果に基づいて主要段落における文字データを音声データに変換する命令をさらに含んでもよい。１つの実施例では、該電子機器は、例えば読書補助装置であってもよい。１つの実施例では、該電子機器は、読書補助装置と通信する他の機器（例えば携帯電話、コンピュータ、サーバ等）であってもよい。該電子機器が読書補助装置と通信する他の機器である場合、読書補助装置は撮影された画像を該他の装置に送信し、他の装置は上記の任意の方法を実行し、方法による処理結果（例えばレイアウト解析結果、文字認識結果、及び／又は文字データから変換された音声データ等）を読書補助装置に返送し、読書補助装置は後の処理（例えばユーザに音声データを再生する）を実行してもよい。
【０１０１】
１つの実施例では、該読書補助装置は、ウェアラブルデバイス、例えば眼鏡の形態の着用可能な装置、頭部装着装置（ヘルメット又は帽子など）、耳に装着可能な装置、眼鏡（例えばフレーム、テンプル等）に取り付け可能な付属品、帽子に取り付け可能な付属品などとして実施されてもよい。
【０１０２】
該読書補助装置によれば、視覚障害のあるユーザは、視覚正常の読者と同様に、同様な読書姿勢により通常の読み物（例えば書籍、雑誌など）を「読む」ことができる。「読む」の過程では、読書補助装置は、文字認識及び段落分けを行い、上述した実施例における方法により、段落を自動的にフィルタリングして主要段落（レイアウト段落）を取得し、段落がフィルタリングされた後の主要段落の順に主要段落における文字を音声に順次変換し、スピーカ又はイヤホン等の出力装置によりユーザに音声を再生する。
【０１０３】
本開示の１つの態様は命令を含むプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を含んでもよく、該命令が電子機器の処理装置により実行される際に、該電子機器に上記の任意の方法を実行させる。
【０１０４】
図１１を参照しながらコンピュータ装置２０００を説明し、コンピュータ装置２０００は本開示の各態様のハードウェア装置に適用可能な例である。コンピュータ装置２０００は、処理及び／又は計算を実行する任意の機器であってもよく、例えばワークステーション、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント、スマートフォン、オンボードコンピュータ、ウェアラブルデバイス又はその任意の組み合わせであってもよいが、これらに限定されない。１つの実施例では、上記の読書補助装置又は電子機器の全て又は少なくとも一部は、コンピュータ装置２０００、又は類似の装置若しくはシステムにより実現されてもよい。
【０１０５】
コンピュータ装置２０００は、（場合によっては１つ又は複数のインタフェースを介して）バス２００２に接続され、或いはバス２００２と通信する素子を含んでもよい。例えば、コンピュータ装置２０００は、バス２００２、１つ又は複数の処理装置２００４（上記の読書補助装置に含まれる処理装置又はチップ回路を実施するために用いられてもよい）、１つ又は複数の入力装置２００６、及び１つ又は複数の出力装置２００８を含んでもよい。１つ又は複数の処理装置２００４は、任意のタイプの処理装置であってもよく、１つ又は複数の汎用プロセッサ及び／又は１つ又は複数の専用プロセッサ（例えば特定処理プロセッサ）を含んでもよいが、これに限定されない。入力装置２００６は、コンピュータ装置２０００に情報を入力することができる任意のタイプの装置であってもよく、センサ（例えば上記の画像を取得するセンサ）、マウス、キーボード、タッチパネル、マイクロフォン、及び／又はリモコンを含んでもよいが、これに限定されない。出力装置２００８は、情報を提示することができる任意のタイプの装置であってもよく、ディスプレイ、スピーカ（例えば、上述の音声データを出力する出力装置）、ビデオ／オーディオ出力端末、バイブレータ、及び／又はプリンタを含んでもよいが、これに限定されない。コンピュータ装置２０００は、非一時的な記憶装置２０１０を含み、或いは非一時的な記憶装置２０１０に接続されてもよい。該非一時的な記憶装置２０１０（例えば上記のコンピュータ読み取り可能な記憶媒体を実施するために用いられてもよい）は、データを記憶可能な非一時的な任意の記憶装置であってもよく、ディスクドライブ、光記憶装置、固体メモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ若しくは他の任意の磁気媒体、光ディスク若しくは他の任意の光学媒体、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、キャッシュメモリ及び／又は他の任意のメモリチップ若しくはカートリッジ、及び／又はコンピュータがデータ、命令及び／又はコードを読み取ることができる他の任意の媒体であってもよいが、これらに限定されない。非一時的な記憶装置２０１０はインタフェースから取り外すことができる。非一時的な記憶装置２０１０は、上記の方法及びステップを実現するためのデータ／プログラム（命令を含む）／コードを有してもよい。コンピュータ装置２０００は、通信装置２０１２をさらに含んでもよい。通信装置２０１２は、外部装置及び／又はネットワークと通信を行うことが可能な任意のタイプの装置又はシステムであってもよく、モデム、ネットワークカード、赤外線通信装置、無線通信装置、及び／又はチップセット、例えばブルートゥース（登録商標）装置、１３０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラ通信デバイス及び／又は類似のデバイスであってもよいが、これらに限定されない。
【０１０６】
コンピュータ装置２０００は、作業用記憶装置２０１４（上記の読書補助装置に含まれる記憶装置を実施するために用いられてもよい）をさらに含んでもよく、該作業用記憶装置２０１４は、処理装置２００４の作業のためのプログラム（命令を含む）及び／又はデータを記憶可能な任意の作業用記憶装置であってもよく、ランダムアクセスメモリ及び／又は読み出し専用メモリを含んでもよいが、これらに限定されない。
【０１０７】
作業用記憶装置２０１４にソフトウェア要素（プログラム）があってもよく、該ソフトウェア要素は、オペレーティングシステム２０１６、１つ又は複数のアプリケーションプログラム２０１８、ドライバプログラム及び／又は他のデータ及びコードを含んでもよいが、これらに限定されない。ソフトウェア要素（プログラム）の命令の実行可能なコード又はソースコードは、非一時的なコンピュータ読み取り可能な記憶媒体（例えば上記の記憶装置２０１０）に記憶されてもよく、実行される際に作業用記憶装置２０１４に記憶されてもよい（コンバイルされ、且つ／或いはインストールされてもよい）。ソフトウェア要素（プログラム）の命令の実行可能なコード又はソースコードは遠隔地からダウンロードされてもよい。
【０１０８】
図１１に示すコンピュータ装置２０００が本開示の実施形態に適用される時に、記憶装置２０１４は、本開示のフローチャートのステップを実行するためのプログラムコード及び／又は文字内容を含む認識されるべき画像を記憶してもよい。ここで、アプリケーション２０１８は、第三者により提供される光学文字認識アプリケーション（例えばＡｄｏｂｅ）、音声変換アプリケーション、編集可能な文字処理アプリケーション等を含んでもよい。入力装置２００６は、文字内容を含む画像を取得するためのセンサであってもよい。記憶された文字内容を含む画像又は取得された画像は、ＯＣＲアプリケーションにより処理された後に、文字を含む出力結果となり、文字処理アプリケーションにより段落分けの結果を取得する。出力装置２００８は例えば音声再生のためのスピーカ又はイヤホンであり、処理装置２００４は記憶装置２０１４におけるプログラムコードにより本開示の各態様の方法のステップを実行する。
【０１０９】
なお、具体的な要求に応じて各種の変形を行ってもよい。例えば、カスタムハードウェアを用いてもよいし、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合せで特定の構成要素（上述のチップ回路など）を実現してもよい。例えば、開示された方法及び装置の一部又は全部（例えば、上記のチップ回路における各回路部）は、本開示に係る論理及びアルゴリズムに基づいて、アセンブリ言語又はハードウェアプログラミング言語（例えばＶＥＲＩＬＯＧ、ＶＨＤＬ、Ｃ＋＋等）を用いてハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又はプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）に対してプログラミングを行うことで実現されてもよい。
【０１１０】
コンピュータ装置２０００の構成要素はネットワークに分散されてもよい。例えば、プロセッサを用いて処理を実行し、該プロセッサから離れた他のプロセッサを用いて他の処理を実行してもよい。コンピュータシステム２０００の他の構成要素も同様に分散さてもよい。従って、コンピュータ装置２０００は、複数の場所で処理を実行する分散コンピュータシステムとして解釈されてもよい。
【０１１１】
図面を参照しながら本開示の実施形態又は実施例を説明したが、上述した方法、システム及び装置は例示的な実施形態又は実施例に過ぎず、本発明の範囲はこれらの実施形態又は実施例に制限されず、添付の特許請求の範囲及びその均等物によってのみ限定される。実施形態又は実施例における各要素は、省略されてもよく、それらと同等の要素によって置き換えられてもよい。また、本開示に記載されているものとは異なる順序でステップを実行してもよい。さらに、実施形態又は実施例の各要素を様々な方法で組み合わせてもよい。なお、技術の進化に伴い、本明細書で説明されている要素は本開示の後に現れる同等の要素によって置き換えられてもよい。
【図１】
2020191057.tif 000003
【図２】
2020191057.tif 000004
【図３】
2020191057.tif 000005
【図４】
2020191057.tif 000006
【図５】
2020191057.tif 000007
【図６】
2020191057.tif 000008
【図７（ａ）】
2020191057.tif 000009
【図７（ｂ）】
2020191057.tif 000010
【図８】
2020191057.tif 000011
【図９】
2020191057.tif 000012
【図１０】
2020191057.tif 000013
【図１１】
2020191057.tif 000014
【手続補正書】
【提出日】令和1年12月17日(2019.12.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像における複数の段落の座標情報に基づいて、前記複数の段落を水平方向に配列された１つ以上の欄に分割するステップであって、各欄は前記複数の段落における１つ以上の段落を含む、ステップと、
前記１つ以上の欄について、該欄の幅、面積、文字行の数及び文字行の傾斜度のうち少なくとも１つに基づいて、不合格の欄を除外し、前記１つ以上の欄のうち少なくとも一部の欄を取得するステップと、
前記少なくとも一部の欄の各欄に含まれる１つ以上の段落について、段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定するステップと、
前記少なくとも一部の欄の各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップと、を含む、レイアウト解析方法。
【請求項２】
前記複数の段落を水平方向に配列された１つ以上の欄に分割するステップは、
前記複数の段落から１つ以上の欄分割基礎段落を決定するステップであって、前記１つ以上の欄分割基礎段落は、前記複数の段落のうち他の段落よりも大きい幅を有する段落である、ステップと、
前記複数の段落のうち欄分割基礎段落に属さない普通段落について、該普通段落と欄分割基礎段落とが第１所定幾何学的関係を満たす場合、該普通段落を、該欄分割基礎段落が属する欄に分割するステップと、を含む、請求項１に記載のレイアウト解析方法。
【請求項３】
前記第１所定幾何学的関係を満たす必要条件は、条件ａ及び条件ｂの何れかを含み、
前記条件ａは、前記普通段落と前記欄分割基礎段落との水平方向の重なり率が第１重なり率閾値以上であることを含み、
前記条件ｂは、前記普通段落と第１欄分割基礎段落との幅の比が幅の比の閾値以上であり、且つ前記普通段落と前記第１欄分割基礎段落との水平方向の重なり率が第２重なり率閾値よりも大きいことを含み、前記第１欄分割基礎段落は前記複数の段落のうち幅が最も大きい段落であり、前記第２重なり率閾値は第１重なり率閾値以下である、請求項２に記載のレイアウト解析方法。
【請求項４】
前記条件ａは、前記普通段落の前記欄分割基礎段落に対する傾斜度が第１傾斜度閾値以下であることをさらに含み、
前記条件ｂは、前記普通段落の前記第１欄分割基礎段落に対する傾斜度が第２傾斜度閾値以下であることをさらに含む、請求項３に記載のレイアウト解析方法。
【請求項５】
前記複数の段落から１つ以上の欄分割基礎段落を決定するステップは、
前記複数の段落のうち幅が最も大きい段落を第１欄分割基礎段落とするステップと、
前記複数の段落のうち第１欄分割基礎段落以外の候補段落について、該候補段落と前記第１欄分割基礎段落とが第２所定幾何学的関係を満たす場合、該候補段落を第２欄分割基礎段落とするステップと、を含む、請求項２に記載のレイアウト解析方法。
【請求項６】
前記第２所定幾何学的関係を満たす必要条件は、条件ｃを含み、
前記条件ｃは、前記候補段落の幅と前記第１欄分割基礎段落の幅との比が幅の比の閾値以上であり、且つ前記候補段落と前記第１欄分割基礎段落との水平方向の重なり率が第２重なり率閾値以下であることを含む、請求項５に記載のレイアウト解析方法。
【請求項７】
前記条件ｃは、前記候補段落の前記第１欄分割基礎段落に対する傾斜度が第２傾斜度閾値以下であることをさらに含む、請求項６に記載のレイアウト解析方法。
【請求項８】
前記所定の基準は、段落の幅、段落の面積、段落における文字行の数、及び段落の中心点と画像の中心点との距離のうち少なくとも１つの要素に基づくものである、請求項１に記載のレイアウト解析方法。
【請求項９】
段落の幾何学的情報に関連する所定の基準に基づいて該欄の主要段落を決定するステップは、
該欄における各段落について、段落の幅、段落の面積、段落における文字行の数、及び段落の中心点と画像の中心点との距離のうち少なくとも１つの要素に基づいて、該段落のそれぞれのスコアを算出するステップと、
各要素のスコアに基づいて重み付け合計を算出し、該段落の重み付けスコアを取得するステップと、
重み付けスコアが最も高い段落を該欄の主要段落とするステップと、を含む、請求項８に記載のレイアウト解析方法。
【請求項１０】
前記主要段落を追加するための幾何学的関係は、文字行の平均高さの関係、文字行の傾斜度の関係、段落の境界の関係、段落間の重なり率の関係のうち少なくとも１つの関係を含む、請求項１に記載のレイアウト解析方法。
【請求項１１】
前記少なくとも一部の欄の各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
非主要段落について、該非主要段落と前記主要段落との文字行の平均高さの差が高さの差の閾値よりも大きく、或いは文字行の傾斜度の差が第３傾斜度閾値よりも大きい場合、前記非主要段落を前記主要段落の追加的主要段落としないステップ、を含む、請求項１に記載のレイアウト解析方法。
【請求項１２】
前記少なくとも一部の欄の各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
非主要段落について、該非主要段落と前記主要段落との文字行の平均高さの差が高さの差の閾値以下であり、且つ文字行の傾斜度の差が第３傾斜度閾値以下である場合、該非主要段落と該欄における主要段落とが段落の境界の関係及び段落間の重なり率の関係を満たすか否かを判断するステップ、を含む、請求項１に記載のレイアウト解析方法。
【請求項１３】
前記少なくとも一部の欄の各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
該非主要段落と前記主要段落とが前記段落の境界の関係を満たし、且つその重なり率が第３重なり率閾値以上である場合、前記非主要段落を前記主要段落の追加的主要段落とするステップ、をさらに含む、請求項１２に記載のレイアウト解析方法。
【請求項１４】
前記少なくとも一部の欄の各欄について、該欄における１つ以上の非主要段落と前記主要段落とが主要段落を追加するための幾何学的関係を満たす場合、前記１つ以上の非主要段落を前記主要段落の追加的主要段落とするステップは、
非主要段落について、該非主要段落と前記主要段落とが段落の境界の関係を満たしておらず、或いはその重なり率が第３重なり率閾値よりも小さい場合、前記非主要段落を前記主要段落の追加的主要段落としないステップ、を含む、請求項１に記載のレイアウト解析方法。
【請求項１５】
前記追加的主要段落が取得された後に、前記追加的主要段落に基づいて、該欄における前記主要段落を追加するための幾何学的関係を満たす非主要段落を、更なる追加的主要段落として選択するステップと、
該欄に前記主要段落を追加するための幾何学的関係を満たす非主要段落がなくなるまで、上記のステップを繰り返すステップと、をさらに含む、請求項１に記載のレイアウト解析方法。
【請求項１６】
請求項１乃至１５の何れかに記載のレイアウト解析方法のステップを実行する回路部、を含むチップ回路。
【請求項１７】
画像を取得するセンサと、
請求項１６に記載のチップ回路と、
音声データを出力する音声出力装置と、を含み、
前記チップ回路は、
前記画像に対して文字認識を行い、文字データを取得する回路部と、
レイアウト解析の結果に基づいて、主要段落における文字データを前記音声データに変換する回路部と、をさらに含む、読書補助装置。
【請求項１８】
処理装置と、
命令を含むプログラムが記憶されている記憶装置と、を含み、
前記命令が前記処理装置により実行される際に、前記処理装置に請求項１乃至１５の何れかに記載のレイアウト解析方法を実行させる、電子機器。
【請求項１９】
前記プログラムは、
前記処理装置により実行される際に、レイアウト解析の結果に基づいて主要段落における文字データを音声データに変換する命令、をさらに含む、請求項１８に記載の電子機器。
【請求項２０】
命令を含むプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記命令が電子機器の処理装置により実行される際に、前記電子機器に請求項１乃至１５の何れかに記載のレイアウト解析方法を実行させる、記憶媒体。
【外国語明細書】
2020191057000001.pdf