(57)【要約】【課題】電子化文書に含まれる複数の画像等につき人間の感覚に合ったリスト表示を行えるように当該複数の画像等を整列させる。【解決手段】対象ページの上下方向の各位置につき、画像の幅（左右方向の幅）の和を求め、その和を頻度値とするヒストグラム、すなわち画像の出現頻度の上下方向の分布を示す度数分布曲線としてのヒストグラムＨＧを作成する。このヒストグラムＨＧに基づき、上下方向の位置の近い画像を１組として画像をグループ化すべく対象ページを第１〜第３領域に分割する。これら３つの領域のうち上方の領域ほど順位が高いとして、まず第１領域内の画像Ｉm1〜Ｉm4について順位付けを行い、次に第２領域の画像Ｉm5，Ｉm6について順位付けを行い、最後に第３領域の画像Ｉm7〜Ｉm10について順位付けを行う。このようにして得られた順位付け（１）〜（１０）に従って、対象ページの画像Ｉm1〜Ｉm10を整列させてリスト表示する。【選択図】図１０
2006146533.tif 000002
【特許請求の範囲】
【請求項１】
所定種類の文書構成要素である複数のオブジェクトが１ページ内に配置された電子化文書において当該複数のオブジェクトに対し順位付けを行い、当該順位付けに従って当該複数のオブジェクトを整列させる整列装置であって、
前記１ページの上下方向における各位置につき、前記複数のオブジェクトのいずれかが出現する頻度をオブジェクト出現頻度として算出し、当該オブジェクト出現頻度の当該上下方向における分布を示すヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムに基づき、前記複数のオブジェクトのうち前記上下方向における位置の近いオブジェクトが１つの組となるように前記複数のオブジェクトをグループ化するグループ化手段と、
前記グループ化手段により複数組のオブジェクト群が得られた場合に前記上下方向における位置に基づき当該複数組の間で順位を決定し、かつ前記１ページの左右方向における位置に基づいて各組内のオブジェクトの間で順位を決定することにより、前記複数のオブジェクトの間での順位を決定する順位決定手段と、
を備えることを特徴とする整列装置。
【請求項２】
前記ヒストグラム作成手段は、前記上下方向の各位置における前記複数のオブジェクトの左右方向の幅の和を前記オブジェクト出現頻度として算出することを特徴とする、請求項１に記載の整列装置。
【請求項３】
前記ヒストグラム作成手段は、前記複数のオブジェクトのいずれかが矩形でない場合には、非矩形オブジェクトに外接する矩形の前記左右方向の幅を当該非矩形オブジェクトの前記左右方向の幅と見なして前記オブジェクト出現頻度を算出することを特徴とする、請求項２に記載の整列装置。
【請求項４】
前記グループ化手段は、前記ヒストグラムにおいて前記オブジェクト出現頻度が局所的に小さくなり且つ所定値以下となる前記上下方向の位置を境界として前記１ページの領域を前記上下方向に分割し、同一の分割領域に中心点が含まれるオブジェクトを１組として前記複数のオブジェクトをグループ化し、
前記順位決定手段は、前記複数組の間での各組の順位を当該組のオブジェクトの中心点を含む分割領域の前記上下方向における位置に基づき決定することを特徴とする、請求項１に記載の整列装置。
【請求項５】
前記順位決定手段は、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて左方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行うことを特徴とする、請求項１から４までのいずれか１項に記載の整列装置。
【請求項６】
前記順位付け手段は、
前記電子化文書が左開きの文書である場合には、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて左方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行い、
前記電子化文書が右開きの文書である場合には、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて右方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行うことを特徴とする、請求項１から４までのいずれか１項に記載の整列装置。
【請求項７】
前記複数のオブジェクトは画像であることを特徴とする、請求項１から６のいずれか１項に記載の整列装置。
【請求項８】
所定種類の文書構成要素である複数のオブジェクトが１ページ内に配置された電子化文書において当該複数のオブジェクトに対し順位付けを行い、当該順位付けに従って当該複数のオブジェクトを整列させるための整列方法であって、
前記１ページの上下方向における各位置につき、前記複数のオブジェクトのいずれかが出現する頻度をオブジェクト出現頻度として算出し、当該オブジェクト出現頻度の当該上下方向における分布を示すヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラムに基づき、前記複数のオブジェクトのうち前記上下方向における位置の近いオブジェクトが１つの組となるように前記複数のオブジェクトをグループ化するグループ化ステップと、
前記グループ化ステップにより複数組のオブジェクト群が得られた場合に前記上下方向における位置に基づき当該複数組の間で順位を決定し、かつ前記１ページの左右方向における位置に基づいて各組内のオブジェクトの間で順位を決定することにより、前記複数のオブジェクトの間での順位を決定する順位決定ステップと、
を備えることを特徴とする整列方法。
【請求項９】
前記ヒストグラム作成ステップでは、前記上下方向の各位置における前記複数のオブジェクトの左右方向の幅の和が前記オブジェクト出現頻度として算出されることを特徴とする、請求項８に記載の整列方法。
【請求項１０】
前記グループ化ステップは、
前記ヒストグラムにおいて前記オブジェクト出現頻度が局所的に小さくなり且つ所定値以下となる前記上下方向の位置を境界として前記１ページの領域を前記上下方向に分割するステップと、
前記上下方向の分割によって得られる分割領域のうち同一の分割領域に中心点が含まれるオブジェクトを１組として前記複数のオブジェクトをグループ化するステップとを含み、
前記順位決定ステップでは、前記複数組の間での各組の順位が、当該組のオブジェクトの中心点を含む分割領域の前記上下方向における位置に基づき決定されることを特徴とする、請求項８に記載の整列方法。
【請求項１１】
所定種類の文書構成要素である複数のオブジェクトが１ページ内に配置された電子化文書において当該複数のオブジェクトに対し順位付けを行い、当該順位付けに従って当該複数のオブジェクトを整列させるための整列プログラムであって、
前記１ページの上下方向における各位置につき、前記複数のオブジェクトのいずれかが出現する頻度をオブジェクト出現頻度として算出し、当該オブジェクト出現頻度の当該上下方向における分布を示すヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラムに基づき、前記複数のオブジェクトのうち前記上下方向における位置の近いオブジェクトが１つの組となるように前記複数のオブジェクトをグループ化するグループ化ステップと、
前記グループ化ステップにより複数組のオブジェクト群が得られた場合に前記上下方向における位置に基づき当該複数組の間で順位を決定し、かつ前記１ページの左右方向における位置に基づいて各組内のオブジェクトの間で順位を決定することにより、前記複数のオブジェクトの間での順位を決定する順位決定ステップと、
をコンピュータに実行させることを特徴とする整列プログラム。
【請求項１２】
前記ヒストグラム作成ステップでは、前記上下方向の各位置における前記複数のオブジェクトの左右方向の幅の和が前記オブジェクト出現頻度として算出されることを特徴とする、請求項１１に記載の整列プログラム。
【請求項１３】
前記ヒストグラム作成ステップでは、前記複数のオブジェクトのいずれかが矩形でない場合に、非矩形オブジェクトに外接する矩形の前記左右方向の幅を当該非矩形オブジェクトの前記左右方向の幅と見なして前記オブジェクト出現頻度が算出されることを特徴とする、請求項１２に記載の整列プログラム。
【請求項１４】
前記グループ化ステップは、
前記ヒストグラムにおいて前記オブジェクト出現頻度が局所的に小さくなり且つ所定値以下となる前記上下方向の位置を境界として前記１ページの領域を前記上下方向に分割するステップと、
前記上下方向の分割によって得られる分割領域のうち同一の分割領域に中心点が含まれるオブジェクトを１組として前記複数のオブジェクトをグループ化するステップとを含み、
前記順位決定ステップでは、前記複数組の間での各組の順位が、当該組のオブジェクトの中心点を含む分割領域の前記上下方向における位置に基づき決定されることを特徴とする、請求項１１に記載の整列プログラム。
【請求項１５】
前記順位決定ステップでは、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて左方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けが行われることを特徴とする、請求項１１から１４までのいずれか１項に記載の整列プログラム。
【請求項１６】
前記順位付けステップは、
前記電子化文書が左開きの文書である場合に、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて左方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行うステップと、
前記電子化文書が右開きの文書である場合に、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて右方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行うステップと、
を含むことを特徴とする、請求項１１から１４までのいずれか１項に記載の整列プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子化文書の構成要素としてのオブジェクトを整列させるための整列装置、整列方法、および整列プログラムに関するものであり、例えば、電子化文書の１つのページに配置されるオブジェクトとしての複数の画像を抽出してリスト表示するための整列装置等に関する。
【背景技術】
【０００２】
米国マイクロソフト社のＷｏｒｄ（商標）のフォーマットや米国アドビシステム社で開発されたＰＤＦ(Portable Document Format)等の電子フォーマットについては、そのようなフォーマットによる電子化文書から種々の情報を抽出して表示するためのアプリケーションソフトウェアが開発されている。例えば、ＰＤＦによる文書の作成者や作成日付、当該文書の記載内容の概要、または、当該文書に挿入されている画像等を抽出して表示するアプリケーションソフトウェアが開発されている。そして、当該文書から抽出されたこれらの情報は、それぞれ特有の形態で表示される。
【０００３】
例えば、電子化文書にその構成要素として挿入されている複数の画像が上記アプリケーションソフトウェアによって表示される場合、一覧してわかるようにリスト形式で表示される（以下このような表示を「リスト表示」という）。
【特許文献１】特開２００１−１４２７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のリスト表示における画像の順番は、必ずしも、その電子化文書における当該複数の画像の配置（レイアウト）に沿ったものとはならない。以下、この点につき説明する。
【０００５】
例えばＰＤＦによる電子化文書の１つのページに例えば図１４（ａ）に示すように画像１〜画像３が配置されている場合には、図１４（ｂ）に示すような順番でリスト表示されるのが人間の感覚に合っている。すなわち、１つのページに配置された複数の画像の順位付けを行う場合、上方に位置する画像ほど、また左方に位置する画像ほど、高い順位とするのが、人間の感覚に合っている。しかし、従来のアプリケーションソフトウェアによれば、図１４（ａ）に示す画像１〜画像３について、例えば図１４（ｃ）に示すようにリスト表示されることがある。このように、人間の感覚に合った順番とは異なる順番でリスト表示される原因は、主として次の点にある。
【０００６】
すなわち、電子化文書に含まれるべき画像等のオブジェクトには、それぞれのオブジェクトを識別するためのＩＤが付与され、リスト表示の際にはこのＩＤの順番に基づいて画像の並びが決定される。このようなＩＤが各オブジェクトに付与されるのは、そのオブジェクトが作成された時点である。例えば図１４（ａ）に示した３つの画像が画像１→画像２→画像３の順番で作成された場合には、この順番通りのＩＤが画像１〜３に与えられる。この場合、リスト表示は、図１４（ｂ）に示すようになり、人間の感覚に合ったものとなる。しかし、上記３つの画像が画像２→画像１→画像３の順番で作成された場合には、この順番通りにＩＤが画像１〜３に与えられるので、リスト表示における画像の順番は、図１４（ｃ）に示すようになり、人間の感覚とは異なったものとなる。また、上記３つの画像が画像１→画像２→画像３の順番で作成された場合であっても、作成の途中で電子化文書における上記３つの画像の配置を変えたときには、その配置変更が上記３つの画像のＩＤに反映されないので、リスト表示における画像の順番は結果的に人間の感覚と異なるものとなる。
【０００７】
そこで本発明は、電子化文書に含まれる複数の画像等のオブジェクトにつき人間の感覚に合ったリスト表示を行えるように、当該複数の画像等のオブジェクトを順位付けして整列させる装置や方法等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の発明は、所定種類の文書構成要素である複数のオブジェクトが１ページ内に配置された電子化文書において当該複数のオブジェクトに対し順位付けを行い、当該順位付けに従って当該複数のオブジェクトを整列させる整列装置であって、
前記１ページの上下方向における各位置につき、前記複数のオブジェクトのいずれかが出現する頻度をオブジェクト出現頻度として算出し、当該オブジェクト出現頻度の当該上下方向における分布を示すヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムに基づき、前記複数のオブジェクトのうち前記上下方向における位置の近いオブジェクトが１つの組となるように前記複数のオブジェクトをグループ化するグループ化手段と、
前記グループ化手段により複数組のオブジェクト群が得られた場合に前記上下方向における位置に基づき当該複数組の間で順位を決定し、かつ前記１ページの左右方向における位置に基づいて各組内のオブジェクトの間で順位を決定することにより、前記複数のオブジェクトの間での順位を決定する順位決定手段と、を備えることを特徴とする。
【０００９】
第２の発明は、第１の発明において、
前記ヒストグラム作成手段は、前記上下方向の各位置における前記複数のオブジェクトの左右方向の幅の和を前記オブジェクト出現頻度として算出することを特徴とする。
【００１０】
第３の発明は、第２の発明において、
前記ヒストグラム作成手段は、前記複数のオブジェクトのいずれかが矩形でない場合には、非矩形オブジェクトに外接する矩形の前記左右方向の幅を当該非矩形オブジェクトの前記左右方向の幅と見なして前記オブジェクト出現頻度を算出することを特徴とする。
【００１１】
第４の発明は、第１の発明において、
前記グループ化手段は、前記ヒストグラムにおいて前記オブジェクト出現頻度が局所的に小さくなり且つ所定値以下となる前記上下方向の位置を境界として前記１ページの領域を前記上下方向に分割し、同一の分割領域に中心点が含まれるオブジェクトを１組として前記複数のオブジェクトをグループ化し、
前記順位決定手段は、前記複数組の間での各組の順位を当該組のオブジェクトの中心点を含む分割領域の前記上下方向における位置に基づき決定することを特徴とする。
【００１２】
第５の発明は、第１から第４の発明のいずれかにおいて、
前記順位決定手段は、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて左方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行うことを特徴とする。
【００１３】
第６の発明は、第１から第４の発明のいずれかにおいて、
前記順位付け手段は、
前記電子化文書が左開きの文書である場合には、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて左方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行い、
前記電子化文書が右開きの文書である場合には、前記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では前記１ページにおいて右方に位置するオブジェクトほど順位が高くなるように、前記複数のオブジェクトの間で順位付けを行うことを特徴とする。
【００１４】
第７の発明は、第１から第６の発明のいずれかにおいて、
前記複数のオブジェクトは画像であることを特徴とする。
【００１５】
第８の発明は、所定種類の文書構成要素である複数のオブジェクトが１ページ内に配置された電子化文書において当該複数のオブジェクトに対し順位付けを行い、当該順位付けに従って当該複数のオブジェクトを整列させるための整列方法であって、
前記１ページの上下方向における各位置につき、前記複数のオブジェクトのいずれかが出現する頻度をオブジェクト出現頻度として算出し、当該オブジェクト出現頻度の当該上下方向における分布を示すヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラムに基づき、前記複数のオブジェクトのうち前記上下方向における位置の近いオブジェクトが１つの組となるように前記複数のオブジェクトをグループ化するグループ化ステップと、
前記グループ化ステップにより複数組のオブジェクト群が得られた場合に前記上下方向における位置に基づき当該複数組の間で順位を決定し、かつ前記１ページの左右方向における位置に基づいて各組内のオブジェクトの間で順位を決定することにより、前記複数のオブジェクトの間での順位を決定する順位決定ステップと、を備えることを特徴とする。
【００１６】
第９の発明は、第８の発明において、
前記ヒストグラム作成ステップでは、前記上下方向の各位置における前記複数のオブジェクトの左右方向の幅の和が前記オブジェクト出現頻度として算出されることを特徴とする。
【００１７】
第１０の発明は、第８の発明において、
前記グループ化ステップは、
前記ヒストグラムにおいて前記オブジェクト出現頻度が局所的に小さくなり且つ所定値以下となる前記上下方向の位置を境界として前記１ページの領域を前記上下方向に分割するステップと、
前記上下方向の分割によって得られる分割領域のうち同一の分割領域に中心点が含まれるオブジェクトを１組として前記複数のオブジェクトをグループ化するステップとを含み、
前記順位決定ステップでは、前記複数組の間での各組の順位が、当該組のオブジェクトの中心点を含む分割領域の前記上下方向における位置に基づき決定されることを特徴とする。
【００１８】
第１１の発明は、所定種類の文書構成要素である複数のオブジェクトが１ページ内に配置された電子化文書において当該複数のオブジェクトに対し順位付けを行い、当該順位付けに従って当該複数のオブジェクトを整列させるための整列プログラムであって、
前記１ページの上下方向における各位置につき、前記複数のオブジェクトのいずれかが出現する頻度をオブジェクト出現頻度として算出し、当該オブジェクト出現頻度の当該上下方向における分布を示すヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラムに基づき、前記複数のオブジェクトのうち前記上下方向における位置の近いオブジェクトが１つの組となるように前記複数のオブジェクトをグループ化するグループ化ステップと、
前記グループ化ステップにより複数組のオブジェクト群が得られた場合に前記上下方向における位置に基づき当該複数組の間で順位を決定し、かつ前記１ページの左右方向における位置に基づいて各組内のオブジェクトの間で順位を決定することにより、前記複数のオブジェクトの間での順位を決定する順位決定ステップと、をコンピュータに実行させることを特徴とする。
【００１９】
上記第１〜第１１の発明以外の上記課題の解決手段としての本願に係る発明については、上記第１〜第１１の発明および以下に述べる実施の形態の説明より明らかである。
【発明の効果】
【００２０】
上記第１の発明によれば、電子化文書の１ページにおけるオブジェクトの出現頻度の上下方向における分布を示すヒストグラムが作成され、当該１ページにおけるオブジェクトは、このヒストグラムに基づき、上下方向の位置の近いオブジェクト群を１組としてグループ化される。そして、オブジェクトの組の間での順位付けと各組内のオブジェクトの間での順位付けとに基づき、当該１ページにおけるオブジェクトが順位付けされる。したがって、上下方向の位置の近いオブジェクトについては１つの組として連続的に順位付けが行われるので、当該１ページにおいてサイズの異なるオブジェクトが不規則に配置されていたり、オブジェクト間で重なりがあったりしても、当該１ページにおけるオブジェクトを人間の感覚にあった順序で整列させることができる。
【００２１】
上記第２の発明によれば、上下方向の各位置におけるオブジェクトの左右方向の幅の和がオブジェクト出現頻度として算出され、オブジェクトをグループ化するためのヒストグラムがそのオブジェクト出現頻度に基づいて作成されるので、種々のオブジェクトについて容易にヒストグラムを作成することができる。このため、画像に限らず種々のオブジェクトについて、人間の感覚にあった順序で整列させるような順位付けを行うことができる。
【００２２】
上記第３の発明によれば、上記１ページ内のオブジェクトのいずれかが矩形でない場合には、非矩形オブジェクトに外接する矩形の左右方向の幅を当該非矩形オブジェクトの左右方向の幅と見なしてオブジェクト出現頻度が算出される。このため、上記１ページ内に非矩形のオブジェクトが含まれる場合であっても、オブジェクトをグループ化するためのヒストグラムを容易に作成することができ、これにより、人間の感覚にあった順序で整列させるような順位付けを行うことができる。
【００２３】
上記第４の発明によれば、上記ヒストグラムにおいてオブジェクト出現頻度が局所的に小さくなり且つ所定値以下となる上下方向の位置を境界として上記１ページの領域が上下方向に分割され、同一の分割領域に中心点が含まれるオブジェクトを１組として上記１ページ内のオブジェクトがグループ化されるので、連続的に順位を付与すべきオブジェクトが適切にグループ化され、人間の感覚に合った順位付けをより確実に行うことができる。
【００２４】
上記第５の発明によれば、上記１ページにおいて上方に位置する組のオブジェクト群ほど順位が高くなり、かつ同一組内では上記１ページにおいて左方に位置するオブジェクトほど順位が高くなるように、オブジェクトの順位付けが行われることで、人間の感覚に合った順序でオブジェクトを整列させることができる。
【００２５】
上記第６の発明によれば、電子化文書が左開きか右開きかに応じて同一組内のオブジェクト間での順位付けが変えられるので、左開きか右開きかに拘わらず電子化文書の１ページのオブジェクトを人間の感覚にあった順序でオブジェクトを整列させることができる。
【００２６】
上記第７の発明によれば、電子化文書の１ページに含まれる画像を人間の感覚に合った順序で整列させることができる。
【発明を実施するための最良の形態】
【００２７】
＜０．基礎検討＞
本発明の実施形態について説明する前に、本発明の課題を解決すべく本願発明者によりなされた基礎検討について説明する。
【００２８】
電子化文書に含まれるオブジェクトとしての画像につき人間の感覚に合ったリスト表示をするために、当該電子化文書において画像を含む１つのページ（以下「対象ページ」という）における各画像の位置情報（各画像の基準位置やサイズなど）に基づき、それらの画像の間で順位付けを行い、その順位付けに基づきそれらの画像を並べ替えるという方法が考えられる。
【００２９】
そこで、図１（ａ）に示すように、対象ページの左下角をページ原点Ｐとして、ページのＹ軸方向において遠方を「上方」、近方を「下方」とし、ページのＸ軸方向において近方を「左方」、遠方を「右方」として、各画像の並べ替えを行う。
【００３０】
いま、このような並び替えを行うために、対象ページに含まれる各画像の基準位置として各画像における中心点の位置を求め、対象ページにおいて中心点がページ原点Ｐを基準として遠方（以下、上方とする）にある画像ほど高い順位を付与し、中心点のＹ軸方向位置が同じ画像が複数ある場合は、その複数の画像の間では、対象ページにおいて中心点がページ原点Ｐを基準として近方（以下、左方とする）にある画像ほど高い順位を付与する、という順位付けを行うものとする。この順位付けによれば、図１（ａ）に示すように１ページの電子化文書（対象ページ）１０１に画像１〜画像３が含まれている場合には、画像１→画像２→画像３という順位付けが行われる。したがって、図１（ｂ）に示すように人間の感覚に合ったリスト表示を行うことができる。
【００３１】
しかし、対象ページにサイズの異なる画像が含まれている場合や、画像が重なって配置されている場合等には、上記の順位付けを行うと、人間の感覚に合わないリスト表示がされることがある。例えば、図２（ａ）に示すように１ページの電子化文書（対象ページ）１０３に画像１〜画像３が含まれている場合には、画像２→画像１→画像３という順位付けが行われる。したがって、この順位付けに従ってリスト表示を行うと、図２（ｂ）に示すように人間の感覚に合わないものとなる。
【００３２】
そこで本発明では、対象ページに含まれる画像を上下方向に近い画像同士が１つの組となるように（すなわち上下方向に集まっている複数の画像が１組となるように）グループ化し、１つの組に含まれる画像の間では左右方向の位置に基づいて順位付けを行う。そして、対象ページに含まれる画像が複数組の画像にグループ化された場合には、それら複数組の間で順位付けを行う。
【００３３】
例えば、図２（ａ）に示した電子化文書１０３については、画像１と画像２とからなる第１の組と、画像３のみからなる第２の組とにグループ化し、第１の組は第２の組よりも上方にあるので順位が高いものとする。そして、第１の組に含まれる画像１と画像２とでは、画像１の方が左方にあるので、画像１が画像２よりも順位が高いとものとする。その結果、画像１→画像２→画像３というように順位付けが行われ、人間の感覚に合ったリスト表示が可能となる。また、図３に示すように１０個の画像Ｉm1〜Ｉm10を含む電子化文書（対象ページ）１１０については、画像Ｉm1〜Ｉm4からなる第１の組と、画像Ｉm5およびＩm6からなる第２の組と、画像Ｉm7〜Ｉm10からなる第３の組とにグループ化し、第１〜第３の組の間での順位付けと各組内の画像間での順位付けを行う。これにより、図３の（１）〜（１０）および矢印で示すように画像Ｉm1〜Ｉm10を順位付けし、この順位付けに基づき人間の感覚に合ったリスト表示を行うことができる。
以下、このような本発明の実施形態につき添付図面を参照して説明する。
【００３４】
＜１．実施形態＞
＜１．１  ハードウェア構成＞
図４は、本発明の一実施形態に係る画像整列装置１０のハードウェア構成を示すブロック図である。この画像整列装置１０は、パソコン（パーソナルコンピュータ）等のコンピュータに所定のプログラムをインストールすることによって実現され、ハードウェア的には、コンピュータ本体１５と、キーボード２２やマウス２３等の入力装置と、補助記憶装置としてのハードディスク装置２４と、液晶ディスプレイまたはＣＲＴ等の表示装置２６とを備える。コンピュータ本体１５は、中央処理装置としてのＣＰＵ１１と、ＲＡＭやＲＯＭ等で構成されプログラム格納用および作業用として使用されるメモリ１２と、キーボード２２およびマウス２３を当該画像整列装置１０に接続するための入力インタフェース部１４と、表示装置２６が接続される表示制御部１６と、ハードディスク装置２４を当該画像整列装置１０に接続するためのディスク用Ｉ／Ｏインタフェース部１７とから構成される。
【００３５】
＜１．２  画像整列処理＞
上記の画像整列装置１０において、ハードディスク装置２４に予め格納された所定の画像整列プログラム２０１をＣＰＵ１１がメモリ１２にロードして実行することにより、画像の整列化のための処理（以下「画像整列処理」という）が実現される。図５は、この画像整列処理の手順を示すフローチャートである。この画像整列処理においてＣＰＵ１１は以下のように動作する。なお以下では、整列させるべき画像は矩形であるものとし、図３に示したように１０個の画像Ｉm1〜Ｉm10を含む対象ページとしての電子化文書１１０を例に挙げて説明する。なお、この対象ページとしての電子化文書１１０のデータは、予め、ハードディスク装置２４に格納されているものとする。
【００３６】
まず、対象ページにおいて上下方向に画像の集まっている領域を判断すべく、画像の出現頻度の上下方向における分布を示すヒストグラムを作成する（ステップＳ１１０）。
【００３７】
図６は、このヒストグラム作成の手順（ヒストグラム作成ルーチン）を示すフローチャートである。このヒストグラム作成ルーチンでは、まず、対象ページの各画像の位置情報（例えば各画像の領域である矩形の左上の頂点の座標と縦及び横のサイズ）をハードディスク装置２４内の電子化文書１１０のデータから取得する（ステップＳ１０２）。
【００３８】
次に、取得された各画像の位置情報に基づき、対象ページの上下方向の各位置につき、各画像の幅の和を画像の出現頻度を示す頻度値として算出する（Ｓ１０４）。具体的には、まず、対象ページの上下方向の長さ（高さ）に比べて十分に小さい所定間隔での上下方向の各位置における画像の幅（左右方向の幅）を求め、それらの幅の和（以下、このような上下方向の各位置での画像の幅の和を「積算値」という）を算出する。例えば、図３に示すように１０個の画像Ｉm1〜Ｉm10を含む電子化文書１１０が対象ページである場合、図７に示すように、上下方向の或る位置ｙ１において上記１０個の画像Ｉm1〜Ｉm10のうち４個の画像Ｉm1〜Ｉm4が幅ｗ１〜ｗ４をそれぞれ有しているので、位置ｙ１での積算値ｆ１として
ｆ１＝ｗ１＋ｗ２＋ｗ３＋ｗ４
を算出する。また図７に示すように、上下方向の別の位置ｙ２において上記１０個の画像Ｉm1〜Ｉm10のうち３個の画像Ｉm5，Ｉm6，Ｉm10が幅ｗ５，ｗ６，ｗ１０をそれぞれ有しているので、位置ｙ２での積算値ｆ２として
ｆ２＝ｗ５＋ｗ６＋ｗ１０
を算出する。
【００３９】
このようにして対象ページの上下方向の各位置につき算出された積算値は、当該位置での画像の出現頻度を表していると考えることができる。そこで、これら各位置での積算値に基づき、画像の出現頻度の上下方向の分布を示す分布曲線をヒストグラムとして作成する（ステップＳ１０６）。例えば、上記の電子化文書１１０を対象ページとする場合、図７において“ＨＧ”で示すような度数分布曲線がヒストグラムとして得られる。
【００４０】
上記のようにしてヒストグラムが作成されると、図５のメインルーチンへ戻り、そのヒストグラムに基づき対象ページの画像をグループ化する（ステップＳ１２０）。
【００４１】
図８は、この画像グループ化の手順（画像グループ化ルーチン）を示すフローチャートである。この画像グループ化ルーチンでは、まず、対象ページの上下方向における各位置のうち、ステップＳ１１０で作成されたヒストグラムを表す度数分布曲線における「谷」すなわち局所的に頻度が小さくなる点（極小点）に相当する位置を検出する。例えば図７に示した度数分布曲線ＨＧの場合には、図９（ａ）においてｖ１，ｖ２，ｖ３で示される「谷」の位置を検出する（ここで図９（ａ）に示した度数分布曲線ＨＧは、図７の度数分布曲線ＨＧと実質的に同一である）。
【００４２】
このような「谷」の位置の検出のために、まず、作成されたヒストグラムを表す度数分布曲線の上下方向の各位置での傾きを算出する（ステップＳ２０２）。具体的には、対象ページの上下方向の長さ（高さ）に比べて十分に小さい所定間隔で上下方向に離散点として設定された多数の位置（以下「上下方向位置」という）におけるヒストグラムの頻度値を求め、それらの頻度値の差分値を各位置での傾きとして算出する。次に、上下方向位置のうち、算出された差分値が０または負となる位置につきフラグをセットする（ステップＳ２０４）。その後、フラグがセットされ、かつ、次の位置（下方に隣接する位置）での差分値が正である位置を、上下方向位置の中から検出する（ステップＳ２０６）（以下、このようにして検出された位置を「検出位置」という）。そして、これらの検出位置での頻度値を予め決められた閾値と比較し、頻度値が当該閾値以下となる検出位置を基準頻度位置とする（ステップＳ２０８）。
【００４３】
上記のステップＳ２０２〜Ｓ２０８により、例えば図９（ａ）に示した度数分布曲線ＨＧについては、図９（ｂ）において太線で示す差分値（傾き）の分布が得られ、この差分値の分布に基づき、図９（ｂ）においてｐ１，ｐ２，ｐ３で示される位置が検出位置として得られる。そして、これらの検出位置ｐ１，ｐ２，ｐ３のうち、位置ｐ１における頻度値は予め決められた閾値Ｔｈよりも大きいが、位置ｐ２，ｐ３における頻度値はいずれも閾値Ｔｈよりも小さいので、位置ｐ２，ｐ３が基準頻度位置となる。なお、閾値Ｔｈとしては、当該ヒストグラムにおける最大の頻度値の例えば５０％程度の値を選定すればよい。
【００４４】
上記のようにして基準頻度位置が決定されると、その基準頻度位置を境界として対象ページを上下方向に分割する（ステップＳ２１０）。これにより、対象ページが複数の分割領域に分割される。次に、対象ページにおける各画像の基準位置としての中心点がそれらの複数の分割領域のいずれに含まれるかを判定し、中心点が同一の分割領域に含まれる画像を１組として対象ページにおける画像を複数組にグループ化する（ステップＳ２１２）。ただし、ステップＳ２０８で基準頻度位置が得られない場合、すなわち基準頻度位置が存在しない場合には、対象ページにおける全ての画像が１つの組となる。
【００４５】
例えば対象ページが図７に示したような電子化文書１１０である場合には、既述のように、上下方向における２つの位置ｐ２，ｐ３が基準頻度位置として得られるので、この電子化文書１１０は、図１０に示すように、上下方向の位置ｐ２とｐ３をそれぞれ境界として３つの分割領域に分割される。以下、これらの３つの分割領域を上方から順に第１領域、第２領域、第３領域と呼ぶものとする。図１０からわかるように、電子化文書１１０における１０個の画像Ｉm1〜Ｉm10のうち、画像Ｉm1〜Ｉm4はの中心点はいずれも第１領域に含まれ、画像Ｉm5，Ｉm6の中心点はいずれも第２領域に含まれ、画像Ｉm7〜Ｉm10の中心点はいずれも第３領域に含まれる。したがって、この場合、電子化文書１１０における画像Ｉm1〜Ｉm10は、４個の画像Ｉm1〜Ｉm4からなる第１の組と、２個の画像Ｉm5，Ｉm6からなる第２の組と、４個の画像Ｉm7〜Ｉm10からなる第３の組という３つの組にグループ化される。
【００４６】
上記のようにして対象ページにおける画像がグループ化されると、図５のメインルーチンへ戻り、その画像のグループ化に基づき対象ページの画像の順位付けを行う（ステップＳ１３０）。
【００４７】
図１１は、この画像の順位付けの手順（画像順位付けルーチン）を示すフローチャートである。この画像順位付けルーチンでは、概念的には、グループ化により得られる画像の組の間で順位付けを行うとともに、各組内の画像の間でも順位付けを行い、それらに基づき、対象ページにおける画像を順位付ける。なお、各組の画像は、対象ページのいずれかの分割領域に対応しており、画像の組の間での順位付けは、分割領域の間での順位付けによって決定される。すなわち、分割領域は、対象ページを上下方向に分割して得られるものであるので、上方の分割領域から順に高い順位が付与され、各組の順位は当該組の画像の中心点を含む分割領域の順位となる。
【００４８】
このような画像の順位付けを行うために、この画像順位付けルーチンでは、まず、順位の最も高い分割領域すなわち対象ページにおける最も上方の分割領域に着目する（ステップＳ３０２）。次に、この着目分割領域に中心点が含まれる画像の間で順位付けを行う（ステップＳ３０４）。このとき、着目分割領域において中心点が左方の画像ほど高い順位を付ける。ただし、中心点の左右方向の位置が同じ画像が複数存在する場合には、それらの画像のうち上方に位置する画像から順に高い順位を付与する。次に、着目分割領域が対象ページにおける最も下方の分割領域か否かを判定する（ステップＳ３０６）。その判定の結果、着目分割領域が最も下方の分割領域でなければ、着目分割領域の下方に隣接する分割領域を新たな着目分割領域として（ステップＳ３０８）、ステップＳ３０４へ戻る。以降、着目分割領域が対象ページにおける最も下方の分割領域となるまで、ステップＳ３０４→Ｓ３０６→Ｓ３０８を繰り返し実行する。その間に、ステップＳ３０６で着目分割領域が最も下方の分割領域であると判定されると、画像の順位付けが終了する。
【００４９】
なお、以上では、早く順位付けが行われる画像ほど順位が高いものとする。また、新たな着目分割領域における最も順位の高い画像すなわち最も左方の画像の順位は、直前の着目分割領域における最も低い順位すなわち最も右方の画像の順位の次の順位となる。
【００５０】
例えば対象ページが図７に示した電子化文書１１０である場合には、既述のように、図１０に示すような第１〜第３領域への対象ページの分割とそれに基づく画像のグループ化とが行われる。この場合、まず、最も上方の分割領域である第１領域に中心点を有する第１の組の画像Ｉm1〜Ｉm4に対して、Ｉm1→Ｉm2→Ｉm3→Ｉm4という順に順位付けが行われる。次に、第１領域の下方に隣接する分割領域である第２領域に中心点を有する第２の組の画像Ｉm5，Ｉm6に対して、Ｉm5→Ｉm6という順に順位付けが行われる。最後に、第２領域の下方に隣接する分割領域である第３領域に中心点を有する第３の組の画像Ｉm7〜Ｉm10に対して、Ｉm7→Ｉm8→Ｉm9→Ｉm10という順に順位付けが行われる。したがって、１０個の画像Ｉm1〜Ｉm10に対して図１０において（１）〜（１０）で示すように順位付けが行われる（括弧付きの番号が若いほど順位が高いものとする）。
【００５１】
上記のようにして対象ページにおける画像に対する順位付けが終了すると、図５のメインルーチンへ戻り、その順位付けに従って対象ページにおける画像が整列化されてリスト表示される（ステップＳ１４０）。例えば対象ページが図７に示した電子化文書１１０である場合には、図１０において（１）〜（１０）で示した順に整列化されてリスト表示されることになる。このような画像のリスト表示により、本実施形態における画像整列処理を終了する。
【００５２】
＜１．３  プログラムの提供形態＞
既述のように、電子化文書における画像の整列化は、コンピュータとしてのハードウェアを備える画像整列装置１０においてＣＰＵ１１が既述の画像整列プログラム２０１をメモリ１２にロードして実行することにより実現される。このプログラム２０１の一部または全部は、例えば、そのプログラム２０１を記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体によって提供される。すなわちユーザは、上記プログラム２０１の記録媒体としてのＣＤ−ＲＯＭを購入してＣＤ−ＲＯＭ駆動装置（図示せず）に装着し、そのＣＤ−ＲＯＭからそのプログラム２０１を読み出してハードディスク装置２４にインストールする。また、これに代えて、図示しないＬＡＮ（Local Area Network）またはＷＡＮ（広域ネットワーク）等の通信ネットワークを介して送られてくるプログラム２０１を受信して、ハードディスク装置２４にインストールするようにしてもよい。さらに、メーカが画像整列装置１０を出荷する前に、上記プログラム２０１の一部または全部をハードディスク装置２４にインストールしておいてもよい。
【００５３】
＜１．４  効果＞
上記のような本実施形態によれば、対象ページにおける画像の出現頻度の上下方向における分布を示すヒストグラムが作成され、対象ページにおける画像は、このヒストグラムに基づき対象ページが上下方向に分割されることで、上下方向の位置の近い画像群を１組としてグループ化される。そして、画像の組に対応する分割領域の間での順位付けと、各組内の画像（１つの分割領域に対応する画像群）の間で順位付けとに基づき、対象ページにおける画像が順位付けされ、その順位付けに基づき画像が整列化されてリスト表示される。したがって、上下方向の位置の近い画像については１つの組として連続的に順位付けが行われるので、対象ページ内においてサイズの異なる画像が不規則に配置されていたり、画像間で重なりがあったりしても、対象ページにおける画像を人間の感覚にあった順序で並べ替えてリスト表示することができる。
【００５４】
＜２．変形例＞
上記実施形態では、１つのページに配置された複数の画像の順位付けを行う場合、上方に位置する画像ほど、また左方に位置する画像ほど、高い順位とするのが、人間の感覚に合っていることを前提としているが、左方に位置する画像よりも右方に位置する画像に高い順位を付ける方が人間の感覚に合う場合もある。例えば、複数ページを含む電子化文書またはその印刷物が右開きとなっている場合には、上方に位置する画像ほど、また右方に位置する画像ほど、高い順位とするのが、人間の感覚に合うことがある。したがって、上記実施形態の画像整列処理において電子化文書が左開きか右開きかを判定するステップを挿入し、左開きと判定された場合には上記実施形態通りに画像の順位付けを行い、右開きと判定された場合には次のようにして画像の順位付けを行うようにしてもよい。すなわち、上記実施形態では図１１に示した画像の順位付けルーチンにおけるステップ３０４において着目分割領域に中心点が含まれる画像の間で順位付けを行う際に、中心点が左方の画像ほど高い順位が付与されるが、これに代えて、着目分割領域において中心点が右方の画像ほど高い順位を付与する。
【００５５】
また上記実施形態では、矩形の画像を含む電子化文書を対象として画像の整列化が行われるが、画像以外の文書構成要素としてのオブジェクトを含む電子化文書を対象としてオブジェクトの整列化を行う場合にも、本発明は適用可能である。この場合、オブジェクトが矩形である場合には、上記実施形態と同様にしてオブジェクトの順位付けおよびそれに基づく整列化を行うことができる。また、円や多角形などの矩形以外のオブジェクトに対しても、そのオブジェクトの周囲を囲む矩形を算出して設定することにより、上記実施形態と同様にしてオブジェクトの順位付けおよびそれに基づく整列化が可能である。
【００５６】
例えば図１２（ａ）に示すように、対象ページが円形オブジェクトＯｂ１と多角形オブジェクトＯｂ２とを含む電子化文書１２０である場合には、図１２（ｂ）に示すように、円形オブジェクトＯｂ１に対してはそれに外接する矩形Ｒ１を設定し、多角形オブジェクトＯｂ２に対しては、それに外接する矩形Ｒ２を設定すればよい。そして、これらの矩形Ｒ１，Ｒ２を矩形領域の画像と同様に扱い、上記実施形態と同様にして順位付けおよびそれに基づく整列化を行うことで、矩形以外のオブジェクトであるＯｂ１，Ｏｂ２についても整列化が可能となる。この場合、上記実施形態におけるヒストグラム作成ルーチン（図６）は、図１３に示すように変更される。この図１３のヒストグラム作成ルーチンでは、まず、対象ページの各オブジェクトにつき外接矩形を設定する（ステップＳ１１１）。具体的には、各オブジェクトに対して、そのオブジェクトの周囲点で最も上、最も下、最も右、最も左である４点を求め、その４点をそれぞれ通過する４辺からなる矩形を外接矩形として設定する。その後は、それらの外接矩形について上記実施形態のヒストグラム作成ルーチンのステップＳ１０２〜Ｓ１０６と同様のステップＳ１１２〜Ｓ１１６を実行することにより、オブジェクトの出現頻度の上下方向における分布を示す度数分布曲線をヒストグラムとして作成する。したがって、この変形例では、非矩形のオブジェクトについては、その外接矩形の左右方向の幅を当該オブジェクトの幅と見なしてヒストグラム作成のための頻度値（オブジェクト出現頻度）が算出されることになる。なお、対象ページに矩形のオブジェクトと非矩形のオブジェクトとが混在している場合には、上記の外接矩形は非矩形のオブジェクトにのみ設定すればよい。
【００５７】
このような変形例によれば、対象ページにおけるオブジェクトは、上記ヒストグラムに基づき対象ページが上下方向に分割されることで、上下方向の位置の近いオブジェクトを１組としてグループ化される。そして、各組に相当する分割領域の間での順位付けと、各組内のオブジェクトの間での順位付けとに基づき、対象ページにおけるオブジェクトが順位付けされる。したがって、上記実施形態と同様、対象ページ内においてサイズの異なるオブジェクトが不規則に配置されていたり、オブジェクト間で重なりがあったりしても、対象ページにおけるオブジェクトを人間の感覚にあった順序で並べ替えてリスト表示することができる。
【００５８】
なお、上記の実施形態や変形例では、電子化文書の構成要素としての画像等のオブジェクトは矩形として又は矩形で置き換えてヒストグラムが作成されるが、非矩形のオブジェクトのままで上下方向の各位置における各オブジェクトの幅（左右方向の幅）の和を求め、この和を当該位置の頻度値としてヒストグラムを作成してもよい。
【００５９】
また、対象ページにおける「上」、「下」、「左」、「右」を定義するためのページ原点について、これまでの説明ではページの左下角をページ原点としてきたが、ページ原点の位置はページ左下角に限られない。例えば、ページの左上角をページ原点とした場合には、ページのＹ軸方向において近方を「上方」、遠方を「下方」とすることにより、対象ページにおける各画像の位置情報に基づいた順位付けを行うことが可能となる。
【００６０】
あるいは、ここまでの説明では直交座標系の利用を前提としているが、極座標系を利用したページの位置情報による順位付けを行うようにしてもよい。例えば、ページの左下角をページ原点とする対象ページにおける各画像の中心点のページ原点からの距離と、各画像の中心点とページ原点とを結ぶ線分と対象ページ下辺とのなす角に基づいて、「上」、「下」、「左」、「右」を定義する。この場合、画像の中心点のページ原点からの距離が大であり、画像の中心点とページ原点とを結ぶ線分と対象ページ下辺とのなす角が大である場合は、該画像は対象ページにおいて「上方」、「左方」に位置している、と判定することが可能となる。
【図面の簡単な説明】
【００６１】
【図１】本発明の課題を解決するための基礎検討に係る画像整列化の一例を示す図である。
【図２】上記基礎検討に係る画像整列化の他の例を示す図である。
【図３】人間の感覚に合った順番による画像整列化の例を示す図である。
【図４】本発明の一実施形態に係る画像整列装置のハードウェア構成を示すブロック図である。
【図５】上記実施形態に係る画像整列装置による画像整列処理を示すフローチャートである。
【図６】上記画像整列処理におけるヒストグラム作成ルーチンを示すフローチャートである。
【図７】上記画像整列処理におけるヒストグラム作成を説明するための図である。
【図８】上記画像整列処理における画像グループ化ルーチンを示すフローチャートである。
【図９】上記画像整列処理における画像のグループ化を説明するための図である。
【図１０】上記画像整列処理における画像のグループ化および順位付けを説明するための図である。
【図１１】上記画像整列処理における画像の順位付けルーチンを示すフローチャートである。
【図１２】上記実施形態の変形例を説明するための図である。
【図１３】上記変形例におけるヒストグラム作成ルーチンを示すフローチャートである。
【図１４】従来の画像整列化を説明するための図である。
【符号の説明】
【００６２】
１１            …ＣＰＵ
１２            …メモリ
１６            …表示制御部
２４            …ハードディスク装置
２６            …表示装置
１１０，１２０  …電子化文書（対象ページ）
ＨＧ            …度数分布曲線（ヒストグラム）
ｐ２，ｐ３      …基準頻度位置
Ｉm1〜Ｉm10     …画像
Ｏｂ１，Ｏｂ２  …オブジェクト
Ｒ１，Ｒ２      …外接矩形
【図１】
2006146533.tif 000003
【図２】
2006146533.tif 000004
【図３】
2006146533.tif 000005
【図４】
2006146533.tif 000006
【図５】
2006146533.tif 000007
【図６】
2006146533.tif 000008
【図７】
2006146533.tif 000009
【図８】
2006146533.tif 000010
【図９】
2006146533.tif 000011
【図１０】
2006146533.tif 000012
【図１１】
2006146533.tif 000013
【図１２】
2006146533.tif 000014
【図１３】
2006146533.tif 000015
【図１４】
2006146533.tif 000016