(57)【要約】【課題】ユーザが選んだ画像を全て利用し、かつ自動的に画像の間の関連性を考慮して配置する画像処理装置を提案することを課題とする。【解決手段】複数の画像データそれぞれが有する付随情報を取得する取得手段と、前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段と、前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無および当該関連性の種類を決定する関連性決定手段と、前記複数の画像データ間における関連性の有無を判定し、前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段と、前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段とを有する。【選択図】  図２
2012094067.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データをページに配置する画像処理装置であって、
前記複数の画像データそれぞれが有する付随情報を取得する取得手段と、
前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段と、
前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定手段と、
前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段と、
前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記関連性決定手段は、前記複数の画像データ間の関連性の有無を判定する際に、画像データの付随情報に含まれる撮影場所および撮影日時の少なくとも一方を用いて判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記関連性決定手段は、前記付随情報に含まれる撮影場所および撮影日時それぞれにおいて、基準となる画像データの値から一定の範囲に含まれる値を有する画像データに対して、前記関連性の有無を判定し、当該関連性の種類を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記関連性決定手段は、ページに所定の数の画像データを配置する際に、前記複数の画像データのうち直接的もしくは間接的に関連付けられる画像データの数の平均値が、設定された前記所定の数の近似値となる様に、前記付随情報に含まれる撮影場所および撮影日時それぞれにおいて、基準となる画像データの値から一定の範囲を設定し、前記関連性の有無を判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記関連性決定手段は、関連性が有ると判定した画像データ間において、当該画像データが属する撮影シーンに基づき、予め定義された対応表を用いて、前記関連性の種類を決定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記関連性決定手段は、前記関連性の種類を決定する際に用いる対応表をポリシーごとに定義して保持し、設定されたポリシーに従って当該対応表を変更することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記テンプレートは、前記複数の画像データを配置する複数の配置枠の間において、前記複数の画像データ間に定義される前記関連性の種類に対応する関連性の種類が定義されていることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記テンプレート選択手段は、各テンプレートに含まれる前記複数の配置枠の間の関連性の有無および当該関連性の種類と、前記複数の画像データ間の関連性の有無および当該関連性の種類との類似度を算出し、前記類似度が最も高いテンプレートを選択することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
複数の画像データをページに配置する画像処理方法であって、
取得手段が、前記複数の画像データそれぞれが有する付随情報を取得する取得工程と、
シーン判定手段が、前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定工程と、
関連性決定手段が、前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定工程と、
テンプレート選択手段が、前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択工程と、
配置手段が、前記複数の画像データを前記テンプレート選択工程において選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置工程と
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、
複数の画像データそれぞれが有する付随情報を取得する取得手段、
前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段、
前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定手段、
前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段、
前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデジタル画像をアルバムのように配置して編集する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、専用端末やパーソナルコンピュータを利用して、ユーザが所有する写真の画像データを配置し、アルバムとして画面を表示し印刷を行うシステムが普及してきている。このシステムは、ユーザからアルバムに入れる画像を受け付け、さらにユーザの指示に従ってアルバムの各ページ上に画像を配置する。その後、電子的なアルバムデータを生成し、これを表示あるいは印刷する。アルバムの各ページに画像を配置する際は、画像の位置関係や順序が「ストーリー性」を持つように配置すると見栄えが良くなる。そのためには、画像の間にどのような関連性があるかを判断する必要がある。
【０００３】
ユーザが各画像の間の関連性を判定して配置を決める作業を全て担うには負荷が大き過ぎる。そのため、予め各配置枠に画像の関連性を定義したテンプレートを選択し、そこに画像を嵌め込むという方式をとる画像処理装置が特許文献１に提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３９６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に提案されている手法は、予め選んだテンプレートの配置枠の条件に見合った画像を抽出して自動配置するため、ユーザがアルバムに入れたい画像が抽出されない場合がある。また、ユーザが希望するストーリー性のテンプレートをテンプレートデータベースからユーザ自身が探す必要があるため、手間がかかってしまう。
【０００６】
本発明は上記を鑑みてなされたものであり、ユーザが選んだ画像を全て利用し、かつ自動的に画像の間の関連性を考慮して配置する画像処理装置を提案することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は以下の構成を有する。すなわち、複数の画像データをページに配置する画像処理装置であって、前記複数の画像データそれぞれが有する付随情報を取得する取得手段と、前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段と、前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定手段と、前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段と、前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段とを有する。
【発明の効果】
【０００８】
ユーザが選択した画像について、画像の間の関連性を自動的に判定し、それに見合った配置のテンプレートを選択して画像を配置する。これにより、ユーザが選択した全ての画像を利用することが可能であり、かつストーリー性のある配置を自動的に行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像処理装置のハードウェア構成の一例を示すブロック図。
【図２】本発明に係る画像処理装置のソフトウェア構成の一例を示すブロック図。
【図３】本発明に係る画像間関連性判定部の一例を示すブロック図。
【図４】本発明に係る撮影シーン判定部による撮影シーンの解析処理のフローチャート。
【図５】画像データのメタ情報（撮影日時・撮影場所）と撮影シーンの一例を示す図。
【図６】本発明に係る時刻・距離マッピング部によるマッピング処理のフローチャート。
【図７】図５の画像データを時刻軸・距離軸にマッピングした図。
【図８】本発明に係る関連性判定表の例を示す図。
【図９】図５の画像データに対して判定された関連性とそのデータ構造を示す図。
【図１０】本発明に係る関連性決定の処理を示すフローチャート。
【図１１】本発明に係るテンプレート選択部の例を示すブロック図。
【図１２】本発明に係るテンプレートの例を示す図。
【図１３】本発明に係るテンプレート選択部の処理を示すフローチャート。
【図１４】グルーピングとそのデータ構造を示す図。
【図１５】本発明に係るグループとテンプレートとの類似度スコアの算出処理のフローチャート。
【図１６】ある画像グループに対する２つのテンプレートの類似度スコア算出を示す図。
【図１７】第二実施形態に係る関連付けポリシー設定画面を示す図。
【図１８】第二実施形態に係る各ポリシーの関連性判定表の例を示す図。
【図１９】第二実施形態に係る画像データ間の関連性を説明する図。
【図２０】第二実施形態に係るポリシーごとに関連性判定表を切り替える処理のフローチャート。
【図２１】第三実施形態に係るページあたりの画像数設定画面を示す図。
【図２２】第三実施形態に係る画像間の関連性の有無を判定する処理のフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を用いて説明する。
（第一実施形態）
本実施形態においては、ユーザから受け付けた画像に対して、その画像間の関連性を判定し、その関連性に応じて適切なテンプレートを抽出してページ上に画像を配置する画像処理装置の実施形態を、図面を参照しながら説明する。
【００１１】
＜画像処理装置におけるハードウェア・ソフトウェア構成＞
図１は本発明における画像処理装置のハードウェア構成の一例を示すブロック図である。ＣＰＵ１０２は、各種処理のための演算や論理判断などを行い、バス１０１に接続された各構成要素を制御する。本画像処理装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵ１０２による制御のためのプログラムを格納する。該メモリはＲＯＭ１０３であっても良いし外部記憶装置などからプログラムがロードされるＲＡＭ１０４であっても良い。
【００１２】
外部記憶装置１０６は、本発明に係るプログラムや画像データ、テンプレートデータ等を記憶する。この外部記憶装置１０６は、画像群やテンプレートのセットを格納しておく際にも利用される。この外部記憶装置１０６の実体としては、例えばバス１０１に直接接続されたハードディスクドライブ等のストレージ機器やネットワークインタフェース１０５に接続されたストレージ機器、デジタルカメラのような画像データを保持できる機器であってもよい。ユーザインタフェース１０７は、ユーザからの指示を受け付けるためのユーザインタフェースである。このユーザインタフェース１０７の実態としては、いわゆるキーボードやポインティングデバイスなどを指す。ディスプレイ１０８は、ＣＰＵ１０２で動作するプログラムによる指示に基づいて、ユーザに設定を促すための画面を表示する。
【００１３】
［ソフトウェア構成（その１）］
図２は本発明における画像処理装置のソフトウェア構成の一例を示すブロック図である。図２中の矢印はデータの流れを示す。画像情報管理部２０１は、外部記憶装置１０６に保持されている画像データ群の情報を管理し、他のモジュールの要求に応じて画像データを提供する。設定・開始受け付け部２００は、ユーザがアルバムに配置したい画像データのリストの情報をユーザから受け付ける。その際、画像情報管理部２０１が管理する画像データのリストをユーザに知らせるためにディスプレイ１０８に表示する。画像のリストをユーザから受け付けた後は、画像データのリストを画像間関連性判定部２０３とテンプレート情報管理部２０２に渡し、さらに後述の関連性判定表を画像間関連性判定部２０３に渡す。
【００１４】
テンプレート情報管理部２０２は、画像データの配置位置を示す配置情報が定義されたテンプレートを管理し、他のモジュールの要求に応じてテンプレートデータを提供する。このテンプレートには、画像の配置情報だけでなく、画像データを配置する各配置枠の間には、配置される各画像データの間にあるべき関連性の種類が定義されている。画像間関連性判定部２０３は、画像情報管理部２０１で管理されている画像データを取得し、後述のフローに従って各画像間の関連性を判定する。
【００１５】
テンプレート選択部２０４は、テンプレート情報管理部２０２からテンプレートデータを取得し、画像間関連性判定部２０３が判定した画像間関連性情報を元に、保持しているテンプレートの中から最も適したテンプレートを選択する。画像間関連性情報の詳細については、後述する。画像配置部２０５は、テンプレート選択部２０４が選択したテンプレートに定義された配置枠に対して、画像情報管理部２０１から取得した画像データを配置する。また、必要に応じて、画像データを配置する際に、テンプレート上で定義された配置枠のサイズに拡大／縮小してもよい。出力部２０６は、画像配置部２０５で生成された画像がテンプレート上に配置された情報を元にアルバムデータを生成し、外部記憶装置１０６に出力する。アルバムデータの詳細については、後述する。
【００１６】
＜画像データ間の関連性の判定処理＞
図３は本発明における画像間関連性判定部２０３の一例を示すブロック図である。図３中の矢印はデータの流れを示す。画像データ取得部３０１は、画像情報管理部２０１からアルバムに配置する画像データを取得する。メタ情報抽出部３０２は、画像情報管理部２０１から取得した画像データそれぞれに付与されている色情報以外の付随情報（すなわちメタ情報）を抽出する。ここで扱うメタ情報には、例えば「撮影日時」「撮影場所」といった情報が含まれる。本実施形態で扱うメタ情報である「撮影日時」や「撮影場所」に関する具体的な情報は、図５を用いて後述する。撮影シーン解析部３０３は、画像情報管理部２０１から取得した画像データの各画素が有する色情報を元に、撮影シーンを解析する。撮影シーンとは、例えば「人物」「風景」「夜景」「建物」といった被写体の種類を表すものである。本実施形態にて扱う画像データが属する撮影シーンは４種類として定義され、その具体的な判定処理については、図４を用いて後述する。
【００１７】
時刻・距離マッピング部３０４は、各画像データのメタ情報である「撮影日時」「撮影場所」から、各画像データを時刻軸・距離軸の２次元座標にマッピングする。関連性有無判定部３０５は、２次元座標上にマッピングした各画像データの間の座標位置関係に基づいて画像間に関連性があるかどうかを判定する。設定取得部３０８は、設定・開始受け付け部２００から図８に示す関連性判定表を受け取る。関連性判定表の詳細については後述する。
【００１８】
関連性種類判定部３０６は、画像データの間に関連性があると判定された任意の２つの画像データに対して、各々の撮影シーンと関連性判定表を元に、関連性の種類を判定する。関連性出力部３０７は、関連性有無判定部３０５および関連性種類判定部３０６が判定した関連性の有無とその種類をテンプレート選択部２０４に出力する。
【００１９】
［シーン判定処理］
図４は本発明の撮影シーン解析部３０３における撮影シーンの解析処理の一例を示すフローチャートである。図４のフローの各ステップは記憶部であるＲＯＭ１０３等に格納されたプログラムをＣＰＵ１０２が読み出し、ＣＰＵ１０２の制御に基づいて実行される。
【００２０】
Ｓ４０１では、撮影シーン解析部３０３は、画像データから人物の顔を検出する処理を行う。具体的な手法としては、例えば画像データから肌色周辺の色情報を有する画素を検出し、その画素群の輪郭が扁平率の小さい楕円形状であるかを判定することで人物顔を検出する方法を取っても良い。もちろん、その他の顔検出手法をとっても良い。Ｓ４０２では、撮影シーン解析部３０３は、Ｓ４０１にて画像データから人物の顔が検出されたかどうかを判定する。顔が検出された場合（Ｓ４０２にてＹＥＳ）は、撮影シーン解析部３０３は、Ｓ４０３にて「人物」シーンであると決定し、処理を終了する。一方、顔が検出されなかった場合（Ｓ４０２にてＮＯ）、Ｓ４０４に遷移する。
【００２１】
Ｓ４０４では、撮影シーン解析部３０３は、画像から輝度・色差ヒストグラムを抽出する。一般的に画像データはＲＥＤ・ＧＲＥＥＮ・ＢＬＵＥの３つの色信号（ＲＧＢ）で構成されており、撮影シーン解析部３０３は、それらを輝度・色差信号に変換してからヒストグラムを算出する。本実施形態では輝度・色差信号としてＹＵＶ（Ｙ：輝度、ＵＶ：色差）形式の情報を扱うものとする。ＲＧＢからＹＵＶへの変換には下記の式１を用いる。
【００２２】
（式１）
2012094067.tif 000003
本実施形態では、ＲＧＢ、ＹＵＶともに０〜２５５の８ビットの範囲のデータを有するものとして扱う。また、輝度ヒストグラムは輝度を横軸に頻度を縦軸にとったものとし、色差ヒストグラムは横軸に輝度をとり縦軸にその輝度を有する画素集合の色差の平均値をとったものとする。
【００２３】
Ｓ４０５では、撮影シーン解析部３０３は、画像データが「夜景」シーンであるかを判定する。輝度ヒストグラムより算出した平均輝度が６０未満の場合（Ｓ４０５にてＹＥＳ）は、Ｓ４０６にて撮影シーン解析部３０３は「夜景」シーンと判定し、処理を終了する。平均輝度が６０以上の場合（Ｓ４０５にてＮＯ）は、Ｓ４０７へ遷移する。なお、本フローでは平均輝度に対する基準を６０として判定しているが、これに限定するものではない。輝度の基準値は経験的に変更しても構わない。
【００２４】
Ｓ４０７では、撮影シーン解析部３０３は、画像データが「風景」シーンであるかを判定する。画像データの中心輝度（ミッドポイント：ＭＤと記載）における色差の平均彩度が２０より大きく、かつ画像データの高輝度（ハイライト：ＨＬと記載）における平均彩度が１０より大きい場合（Ｓ４０７にてＹＥＳ）、撮影シーン解析部３０３は、Ｓ４０８にて「風景シーン」と判定し、処理を終了する。
【００２５】
ここで、ＭＤとＨＬの輝度値は輝度ヒストグラムより決定する。具体的には、撮影シーン解析部３０３は、輝度ヒストグラムの度数中心（メディアン）となる輝度値を算出し、その輝度値をＭＤの輝度値とする。また、撮影シーン解析部３０３は、輝度ヒストグラムの度数上位５％に相当する輝度値を算出し、その輝度値をＨＬの輝度値とする。ここで、色差ヒストグラムからＭＤとＨＬに対応するＵＶがＭＤとＨＬの平均色差となる。ＭＤとＨＬの平均彩度は、ＭＤとＨＬの平均色差ＵＶより√｛Ｕ＾２＋Ｖ＾２｝＾２として算出する。ここで、“＾”は、階乗を示し、例えば、“Ｕ＾２”は、Ｕの２乗を示す。なお、彩度の算出方式はこれに限定するものではない。また、ＭＤ彩度に対する基準値を“２０”、ＨＬ彩度に対する基準値を“１０”として判定しているが、これに限定するものではない。彩度の基準値は経験的に変更しても構わない。
【００２６】
Ｓ４０９では、撮影シーン解析部３０３は、Ｓ４０７において「風景」シーンと判定されなかった場合（Ｓ４０７にてＮＯ）に「建物」シーンと判定する。以上で撮影シーン解析処理は終了する。
【００２７】
［時刻・距離マッピング処理］
図６は本発明における時刻・距離マッピング部３０４における時刻・距離マッピング処理の一例を示すフローチャートである。図６のフローの各ステップは記憶部であるＲＯＭ１０３等に格納されたプログラムをＣＰＵ１０２が読み出し、ＣＰＵ１０２の制御に基づいて実行される。説明をわかりやすくするため、サンプルとして図５に示す画像データを扱うこととする。ここでサンプルとして用いる画像データはＡからＧまであり、それぞれの画像データにはメタ情報抽出部３０２と撮影シーン解析部３０３によって判定された撮影日時５０１、撮影場所５０２、撮影シーン５０３を属性として有する。撮影日時５０１は、画像が取得された日時を示す。撮影場所５０２は、画像が取得された場所の座標を示す。撮影シーン５０３は、上記で述べた４つの属性のうちのいずれかが設定される。
【００２８】
Ｓ６０１では、時刻・距離マッピング部３０４は、メタ情報抽出部３０２より取得した各画像データの撮影日時・撮影場所の情報を取得する。Ｓ６０２では、時刻・距離マッピング部３０４は、撮影日時情報より画像を時刻軸にマッピングする。ここで、時刻軸は撮影日時が最も古い画像データ（ここでは画像データＡ）を基点としてそこからの増加値を表す軸である。各画像データの撮影日時はスカラー値として表現できるため、そのまま画像データＡとの差分をもとに時刻軸にマッピングすることが可能である。
【００２９】
Ｓ６０３とＳ６０４では、時刻・距離マッピング部３０４は、撮影日時情報と撮影場所情報より画像を距離軸にマッピングする。距離軸は撮影日時が最も古い画像データ（ここでは画像Ａ）を基点とし、次の撮影日時を取る画像データへ距離の差分をもとに画像データをマッピングしていく。Ｓ６０３では、時刻・距離マッピング部３０４は、最も近い撮影日時を取る画像データ同士の撮影場所の距離を正の差分値として算出する。次に、Ｓ６０４において、時刻・距離マッピング部３０４は、差分値をもとに各画像データを距離軸にマッピングしていく。これにより、時刻軸も距離軸も単調増加的にマッピングされることになる。以上で撮影時刻・場所マッピング処理は終了する。
【００３０】
上記処理フローに基づいてサンプルの画像データＡ〜Ｇを時刻軸・距離軸にマッピングした様子を図７に示す。
【００３１】
［ソフトウェア構成（その２）］
図３の説明に戻る。関連性有無判定部３０５は時刻・距離マッピング部３０４がマッピングした時刻軸・距離軸の２次元座標情報に基づき、各画像データの間に関連性があるかどうかを判定する。本実施形態では、一例として、関連性の有無を判定する条件として、以下の条件を用いる。すなわち、「画像データ間の時刻軸上の差が２０分以内かつ距離軸上の差が１０００ｍ以内」または「画像データ間の時刻軸上の差が６０分以内かつ距離軸上の差が２００ｍ以内」である場合、その画像データ間には関連性があると判定する。その関連性があると判定される一定の範囲を図７にグレーで塗った領域として示す。なお、関連性には向きがあり、撮影日時が古い画像データから撮影日時が新しい画像データへ向かって関連性があるとする（この向きはアルバム上におけるストーリーの向きを表す）。例えば画像データＡと関連がある画像データは画像データＢ、画像データＣである。また、画像データＢを原点とした場合、画像データＣが上記条件に合致する為、画像データＢと画像データＣは関連性がある。また、画像データＣを原点とした場合、画像データＤが上記条件に合致する為、画像データＣと画像データＤは関連性がある。なお、関連性の有無を判定する条件は、上記に限定されるものではなく、例えば、画像処理装置のユーザが設定できるようにしても構わない。また、例えば、経過時刻のみで判定しても構わないし、距離のみで判定しても構わない。
【００３２】
次に、関連性種類判定部３０６は、関連性有無判定部３０５で判定した関連性がある任意の２つの画像データに対し、画像データの撮影シーンに基づいて関連性の種類を判定する。
【００３３】
図８に本実施形態における画像間関連性を判定するための関連性判定表を示す。この関連性判定表は、本実施形態では予め用意した画像データが属する撮影シーンごとの組み合わせの対応を示す固定の対応表であり、その組み合わせごとに関連性が定義されている。また、関連性判定表は、記憶部にて保持されているものとする。関連性判定表は、設定取得部３０８が設定・開始受け付け部２００より取得し、関連性種類判定部３０６に渡す。本実施形態における関連性判定表では、「風景」と「夜景」は同じものとして扱う。画像間の関連性は有向性の関係として定義したため、起点と終点を有する。起点と終点の画像データの撮影シーンを元に関連性の種類を判定する。
【００３４】
例えば画像データＡは人物シーンで画像データＢは建物であるため、「周囲」という関連を有する関連性であると判定する。一方、画像データＢと画像データＣとは関連性有無判定部３０５においては関連性を有すると判定されたが、図８の関連性判定表では「−」となるため関連性がないと再決定される。なお、本実施形態においては、４つの撮影シーンを撮影シーン解析部３０３にて判定し、その撮影シーンに基づく関連性判定表を備えている。しかし、画像処理装置の機能に合わせてさらに詳細な撮影シーンを判定しても良い。その場合は、関連性判定表に定義される組み合わせも増加する。
【００３５】
以上の画像間関連性判定部２０３の処理により決定された画像データＡ〜Ｄの関連性の有無と種類を図９（ａ）に示す。画像データが属する撮影シーンをノードとし、ノード間の関連性を矢印にてリンクさせている。ここで、矢印の元は起点の画像データであり、矢印の先は終点を表している。ここでは、画像データＡは、画像データＢおよび画像データＣと直接的に関連付けられている。また、画像データＡは、画像データＤと、画像データＣを介して間接的に関連付けられている。
【００３６】
［関連性有無判定処理および関連性種類判定処理］
上記の関連性有無判定部３０５と関連性種類判定部３０６の処理のフローチャートを図１０に示す。図１０のフローの各ステップは記憶部であるＲＯＭ１０３等に格納されたプログラムをＣＰＵ１０２が読み出し、ＣＰＵ１０２の制御に基づいて実行される。以下の関連性有無判定処理および関連性類似判定処理により、関連性決定を行う。
【００３７】
Ｓ１００１では、関連性有無判定部３０５は、基準（図７に示す座標系において、原点）とする画像データの番号を表す変数ｉを１で初期化する。次にＳ１００２では、関連性有無判定部３０５は、変数ｉが処理対象の画像データの数より大きいか否かを判定し、大きい場合（Ｓ１００２にてＹＥＳ）は処理を終了する。変数ｉと画像データの数が等しいかそれ以下であれば（Ｓ１００２にてＮＯ）、Ｓ１００３に遷移する。
【００３８】
Ｓ１００３では、関連性有無判定部３０５は、基準とした画像データに対して関連性があるかをチェックする対象の画像データの番号を表す変数ｊをｉ＋１で初期化する。ここで、チェック対象の画像データを示す変数ｊをｉ＋１から始めるのは、基準より撮影日時が古い画像データとは関連性を有さず、画像データの番号は撮影日時順に並んでいることを利用している。したがって、基準となる画像データより新しい画像データだけをチェックすればよい。
【００３９】
Ｓ１００４では、関連性有無判定部３０５は、変数ｊが画像のデータ数より大きいかを判定し、大きい場合（Ｓ１００４にてＹＥＳ）は、変数ｉを１だけインクリメントしてＳ１００２に戻る。変数ｊが画像データの数と等しいか小さい場合（Ｓ１００４にてＮＯ）は、Ｓ１００５へ遷移する。Ｓ１００５では、関連性有無判定部３０５は、画像ｉと画像ｊが「時刻軸上の差が２０分以内かつ距離軸上の差が１０００ｍ以内」または「時刻軸上の差が６０分以内かつ距離軸上の差が２００ｍ以内」であるかを判定し、条件を満足した場合のみＳ１００６に移る。Ｓ１００６では、関連性種類判定部３０６は、図９の関連性判定表と画像データの撮影シーンに基づいて、関連性の種類を決定する。Ｓ１００７では、関連性有無判定部３０５は、変数ｊを１だけインクリメントしてＳ１００４の処理に戻る。
【００４０】
関連性種類判定部３０６は、Ｓ１００６にて画像データの関連性の有無と種類を決定した後、「関連性情報」データとして関連性出力部３０７に出力する。ここで、関連性情報とは、画像データ間の任意の関連性について、その起点となる画像データ、終点となる画像データ、およびその画像データ間の関連性の種類、を定義した情報のことである。図９（ａ）に示した各画像データの関連性を例に取ってそのデータ構造を図９（ｂ）に示す。ここで、データ構造において、Ｒｅｌａｔｉｖｅｎｅｓｓは関連性情報を定義するという意味を表す。また、Ｓｏｕｒｃｅは起点となる画像データ、Ｄｅｓｔｉｎａｔｉｏｎは終点となる画像データ、Ｔｙｐｅは画像データ間の関連性の種類を表す。
【００４１】
＜画像データに対して最適なテンプレートを抽出する処理の説明＞
次に、決定された画像データ間の関連性情報に対して最適なテンプレートを抽出する処理を説明する。図１１は本発明におけるテンプレート選択部２０４の一例を示すブロック図である。画像・関連性取得部１１０１は、画像情報管理部２０１から画像データを取得し、さらに画像間関連性判定部２０３から画像データ間の関連性情報を取得する。グループ抽出部１１０２は、関連性で紐付けられた画像データ群（以降はグループと記載）を抽出する。テンプレート取得部１１０３は、テンプレート情報管理部２０２よりテンプレートデータを取得する。
【００４２】
テンプレートマッチング部１１０４は、グループ抽出部１１０２で抽出した各グループの関連性情報とテンプレート取得部１１０３で取得したテンプレートデータの関連性情報を比較する。そして、テンプレートマッチング部１１０４は、その類似度を表すスコアを算出し、類似度スコアが最も高いテンプレートデータをそのグループに最も適したテンプレートとして抽出する。テンプレート出力部１１０５は、テンプレートマッチング部１１０４が抽出したテンプレートと、テンプレートの配置枠（フレーム）と画像データとの対応関係を出力部２０６に出力する。
【００４３】
［テンプレートデータ構造］
次に、本発明の実施形態で説明するテンプレートデータの構成について説明する。図１２（ａ）に本実施形態で定義するテンプレートデータの一例を示す。ここで示すテンプレート１２００は、Ａ４紙サイズにおいて画像を嵌め込むフレーム（Ｆｒａｍｅ１，Ｆｒａｍｅ２，Ｆｒａｍｅ３，Ｆｒａｍｅ４）を表す座標領域情報（Ｔｏｐ，Ｌｅｆｔ，Ｂｏｔｔｏｍ，Ｒｉｇｈｔ）を有する。テンプレート１２００は、画像が嵌め込まれるフレーム１２０１と、テンプレート内におけるフレーム間の関連性を示す関連性情報１２０２とを有する。ここでの例においては、４つのフレームと、３つの関連性情報が示されている。
【００４４】
図１２（ｂ）にテンプレートのデータ構造の例を示す。Ｐｏｓｉｔｉｏｎタグにはフレームの名称（Ｎａｍｅ）と、それぞれの領域情報（Ｔｏｐ，Ｌｅｆｔ，Ｂｏｔｔｏｍ，Ｒｉｇｈｔ）、フレームの番号（ＩＤ）を規定する。また、Ｒｅｌａｔｉｖｅｎｅｓｓタグには、図９（ｂ）を用いて説明したように、フレーム間の関連性の向き（Ｓｏｕｒｃｅ、Ｄｅｓｔｉｎａｔｉｏｎ）と関連性の種類（広角、周囲、周囲）を規定する。テンプレート情報管理部２０２はこのようなテンプレートデータを多数格納する。ここで、図１２（ｂ）に示すデータ構造がテンプレートを示すために、データには、Ｔｅｍｐｌｅｔｅの記述が含まれる。ここではテンプレートを一意に示すために、“Ｔｅｍｐｌｅｔｅ１”として記載されている。
【００４５】
［テンプレート選択処理］
図１３は、本発明におけるテンプレート選択部２０４において、関連性情報で紐づけられた画像データのグループを抽出する手順を示すフローチャートである。図１３のフローの各ステップは記憶部であるＲＯＭ１０３等に格納されたプログラムをＣＰＵ１０２が読み出し、ＣＰＵ１０２の制御に基づいて実行される。
【００４６】
Ｓ１３０１では、テンプレート選択部２０４は、画像情報管理部２０１より画像データを、画像間関連性判定部２０３より関連性データを取得する。Ｓ１３０２では、テンプレート選択部２０４は、画像データ間の関連性情報で関連付けられた画像データのグループを抽出する。Ｓ１３０３では、テンプレート選択部２０４は、テンプレート情報管理部２０２よりテンプレートデータを取得する。Ｓ１３０４では、テンプレート選択部２０４は、画像データの各グループに対して、類似度スコアが最も高いテンプレートを検出する。Ｓ１３０５では、テンプレート選択部２０４は、グループとテンプレートデータのセットを画像配置部２０５に出力する。
【００４７】
図１４（ａ）に、図５に示す画像データＡ〜Ｇのうち、グルーピングされた画像データＡ〜Ｄにおける関連性情報を示す。図１４（ｂ）は、図１４（ａ）に示すグループをデータ構造として定義したものである。データ構造において、Ｉｍａｇｅｓタグには、各画像データの名前（Ｎａｍｅ）、撮影シーン（Ｓｃｅｎｅ）、および番号（ＩＤ）を規定する。また、データ構造において、Ｒｅｌａｔｉｖｅｎｅｓｓタグには画像データ間の関連性の向き（Ｓｏｕｒｃｅ、Ｄｅｓｔｉｎａｔｉｏｎ）と関連性の種類（広角、周囲、等価）を規定する。ここで、図１４（ｂ）に示すデータ構造がグルーピングされた実データを示すために、データには、Ｇｒｏｕｐの記述が含まれる。ここではグルーピングされたデータを一意に示すために、“Ｇｒｏｕｐ１”として記載されている。
【００４８】
［類似度算出処理］
図１５は、本実施形態におけるテンプレート選択部２０４のテンプレートマッチング部１１０４において、グループとテンプレートデータとの類似度スコアを算出する処理の一例を示すフローチャートである。具体的には、図１３にて示した処理フローにおけるＳ１３０４の中でテンプレートマッチング部１１０４により実行される。図１５のフローの各ステップは記憶部であるＲＯＭ１０３等に格納されたプログラムをＣＰＵ１０２が読み出し、ＣＰＵ１０２の制御に基づいて実行される。
【００４９】
Ｓ１５０１では、テンプレートマッチング部１１０４は、グループ内の画像データの数とテンプレートデータ内のフレームの数が等しいかどうかを判定する。画像データの数とテンプレート内のフレームの数とが等しくない場合（Ｓ１５０１にてＮＯ）は、テンプレートマッチング部１１０４は、Ｓ１５０２にて類似度スコアを“０”と出力して処理を終了する。等しい場合（Ｓ１５０１にてＹＥＳ）は、Ｓ１５０３に遷移する。Ｓ１５０３では、テンプレートマッチング部１１０４は、グループ内の画像データについて、全ての順列パターンを列挙する。ここで、順列パターンは、本実施形態に示したように４つの画像データの場合、２４パターンが考えられる。Ｓ１５０４では、テンプレートマッチング部１１０４は、各順列パターンを配列Ａｒｒａｙ［］の各要素に格納する。Ｓ１５０５では、テンプレートマッチング部１１０４は、各順列をチェックするための変数ｉ、類似度スコアの最大値を管理する変数ＭａｘＳｃｏｒｅ、類似度スコアの最大値を有する順列の番号を示す変数ＭａｘＰａｔｔｅｒｎを初期化する。
【００５０】
Ｓ１５０６では、テンプレートマッチング部１１０４は、変数ｉが全順列の数よりも大きいか否かを判定し、大きい場合（Ｓ１５０６にてＹＥＳ）は、全ての順列をチェックしたとして、Ｓ１５１３へ遷移する。Ｓ１５１３では、テンプレートマッチング部１１０４は、テンプレートデータ、類似度スコア（ＭａｘＳｃｏｒｅ）、およびその時点での順列Ａｒｒａｙ［ｉ］を出力して処理を終了する。
【００５１】
Ｓ１５０６にて変数ｉが全順列の数以下である場合（Ｓ１５０６にてＮＯ）は、Ｓ１５０７へ遷移する。Ｓ１５０７では、テンプレートマッチング部１１０４は、順列パターンをＡｒｒａｙ［ｉ］より取り出す。Ｓ１５０８では、テンプレートマッチング部１１０４は、順列パターンの順序で画像データをテンプレートデータの各フレームに対応させる。この時、各フレームの順序は常にＩＤの若い順とする。Ｓ１５０９では、テンプレートマッチング部１１０４は、画像データの各関連性情報について、ＳｏｕｒｃｅとＤｅｓｔｉｎａｔｉｏｎの各画像データに対応するフレームの間に関連性情報が存在すれば“１”として計算する。さらに関連性の種類が一致すれば“３”、関連性情報がなければ“０”として計算する。つまり、本実施形態において、ＳｏｕｒｃｅとＤｅｓｔｉｎａｔｉｏｎ間の関連性情報に基づく値は、“０”、“１”、“３”のいずれかが適用される。そして、テンプレートマッチング部１１０４は、画像データ間の全ての関連性情報の合計値（Ｓｃｏｒｅ）を算出する。
【００５２】
Ｓ１５１０では、テンプレートマッチング部１１０４は、ＳｃｏｒｅがＭａｘＳｃｏｒｅより大きいか否かを判定する。Ｓｃｏｒｅの方が大きい場合（Ｓ１５１０にてＹＥＳ）は、テンプレートマッチング部１１０４は、Ｓ１５１１にてＭａｘＳｃｏｒｅをＳｃｏｒｅで更新し、ＭａｘＰａｔｔｅｒｎをｉで更新する。Ｓ１５１２では、テンプレートマッチング部１１０４は、変数ｉを１だけインクリメントしてＳ１５０６に戻る。
【００５３】
［類似度算出例］
図１６に、図１４（ａ）に示したグループに対して図１６（ａ）および図１６（ｂ）それぞれに示すテンプレート１とテンプレート２との類似度スコアの算出の様子の例を示す。図１６（ａ）では、テンプレート１に対して類似度スコアを算出する。最も類似度スコアが高い順列は図１６（ａ）で示すようにＢ・Ａ・Ｃ・Ｄの順列で、それぞれＦｒａｍｅ２・Ｆｒａｍｅ１・Ｆｒａｍｅ３・Ｆｒａｍｅ４に対応した場合である。この時、画像データＡと画像データＢとの間に「広角」の関連性があり、画像データＡと画像データＢそれぞれに対応するＦｒａｍｅ１とＦｒａｍｅ２との間にも同じ「広角」の関連性がある。よって、ここはスコアを“３”として算出する。同様に、画像データＡと画像データＣとの間の関連性もＦｒａｍｅ１とＦｒａｍｅ３との間に同じ「周囲」の関連性があるため、スコアを“３”として算出する。一方、画像データＣと画像データＤとの間に「等価」の関連性があるが、画像データＣと画像データＤそれぞれに対応するＦｒａｍｅ３とＦｒａｍｅ４との間には「周囲」の関連性となっており、関連性は一致しない。しかし、関連性は存在しているため、スコアを“１”として算出する。よって、図１６（ａ）のケースでは類似度スコア（Ｓｃｏｒｅ）は合計で“７”となる。
【００５４】
次に、図１６（ｂ）では、テンプレート２に対して類似度スコアを算出する。最も類似度スコアが高い順列は図１６（ｂ）で示すようにＢ・Ａ・Ｃ・Ｄの順列で、それぞれＦｒａｍｅ６・Ｆｒａｍｅ５・Ｆｒａｍｅ７・Ｆｒａｍｅ８で対応した場合である。この時、画像データＡと画像データＢとの間に「広角」の関連性があり、画像データＡと画像データＢそれぞれに対応するＦｒａｍｅ５とＦｒａｍｅ６との間にも同じ「広角」の関連性がある。よって、ここはスコアを“３”として算出する。同様に、画像データＡと画像データＣとの間の関連性もＦｒａｍｅ５とＦｒａｍｅ７との間に同じ「周囲」の関連性があるため、スコアを“３”として算出する。一方、画像データＣと画像データＤとの間に「等価」の関連性があるが、画像データＣと画像データＤそれぞれに対応するＦｒａｍｅ７とＦｒａｍｅ８の間には関連性がない。この場合は、スコアを“０”として算出する。よって、図１６（ｂ）のケースでは類似度スコア（Ｓｃｏｒｅ）は合計で“６”となる。図１６のケースでは、画像データＡ〜Ｄのグループに対しては、テンプレート１の方がテンプレート２より類似度が高いという結果となる。
【００５５】
以上のように、本実施形態の画像処理装置は、ユーザが選択した画像について、画像の間の関連性を自動的に判定し、それに見合った配置のテンプレートを選択して配置する。これによって、ユーザが選択した全ての画像を利用することが可能であり、かつストーリー性のある配置を自動的に行うことが可能となる。
【００５６】
（第二実施形態）
第一実施形態では画像データ間の関連性の種類を判定するための関連性判定表は固定であった。これに対し、本実施形態においては、ユーザの指示に応じて関連性判定表切り替えることを可能にする実施形態を、図面を参照しながら説明する。第二実施形態における画像処理装置の構成は第一実施形態で説明した図１、図２、図３、及び図１０に示す構成と同様であり、説明は省略する。
【００５７】
［ポリシー設定］
図１７は本発明における関連付けポリシー設定画面を示す。設定画面１７００は、設定・開始受け付け部２００が画像処理装置の処理開始時にユーザに表示する画面である。ここでは、ユーザから画像データのリストを受け取る前に、この設定画面１７００を表示してユーザから関連付けのポリシーの指示を受け付ける。ポリシー選択欄１７０１は各画像データに対する関連付けのポリシーを選択するための選択欄である。本実施形態において、ポリシーには一例として「人物中心」、「建物中心」、「風景中心（夜景も含む）」という選択肢を設けている。設定完了ボタン１７０２は、ユーザに押下されると設定・開始受け付け部２００がポリシーに対応した関連性判定表を画像間関連性判定部２０３に渡す。すると、設定取得部３０８が関連性判定表を取得し、関連性種類判定部３０６に関連性判定表を渡す。
【００５８】
図１８に本実施形態における各ポリシーに対応する関連性判定表の一例を示す。図１８（ａ）はポリシーが「人物中心」に設定された場合に用いられる関連性判定表を示す。同様に、図１８（ｂ）はポリシーが「建物中心」に設定された場合に、図１８（ｃ）はポリシーが「風景中心」に設定された場合に用いられる関連性判定表である。それぞれ、図１８（ａ）は人物を起点、図１８（ｂ）は建物を起点、図１８（ｃ）は風景・夜景を起点とした関連性ができやすいという特徴を有する。ユーザが「建物中心」を選んだ場合、例えば図５の画像データＡ〜Ｄにおける関連性は図１９のようになる。第一実施形態と比較して、新たに建物が起点となったグループが形成されていることがわかる。なお、ここでは、３つのポリシー、およびそれぞれのポリシーに対応した関連性判定表を予め定義しておき、ユーザに選択させている。しかし、ポリシーの数は３つに限定されるものではなく、例えば、４以上のポリシーを定義し、それぞれに対応する関連性判定表を用いてもよい。また、グループごとに設定を変更するようにしても構わない。
【００５９】
［関連性判定表出力処理］
図２０に、本実施形態における設定・開始受け付け部２００が関連付けのポリシーごとに関連性判定表を切り替えて画像データの関連性を判定する処理のフローチャートを示す。図２０のフローの各ステップは記憶部であるＲＯＭ１０３等に格納されたプログラムをＣＰＵ１０２が読み出し、ＣＰＵ１０２の制御に基づいて実行される。
【００６０】
Ｓ２００１では、設定・開始受け付け部２００は、ポリシー選択欄１７０１に設定された値に応じて処理を切り替える。関連付けポリシーが「人物中心」である場合は、設定・開始受け付け部２００は、Ｓ２００２にて人物中心の関連性判定表（図１８（ａ））を設定取得部３０８に出力する。関連付けポリシーが「建物中心」である場合は、設定・開始受け付け部２００は、Ｓ２００３にて建物中心の関連性判定表（図１８（ｂ））を設定取得部３０８に出力する。関連付けポリシーが「建物中心」である場合は、設定・開始受け付け部２００は、Ｓ２００４にて建物中心の関連性判定表（図１８（ｃ））を設定取得部３０８に出力する。
【００６１】
以上のように、本実施形態の画像処理装置は、第一実施形態の効果に加え、画像間の関連付けの手法をユーザの指示に応じて切り替えることを可能にする。
【００６２】
（第三実施形態）
第一実施形態では画像データの間の関連性の有無の判定において、時間軸・距離軸の判定条件は固定であった。関連性で関連付けられた複数の画像データを含む１つのグループをアルバムの１ページに収めるとすると、１ページあたりの画像データ数は撮影時刻のバラツキによって制御できないものとなってしまう。そのため、本実施形態においては、１ページあたりの画像データ数をユーザから受け付け、１グループあたりの画像データ数の期待値がその値に近づくように判定条件を切り替えることを可能にする実施形態を、図面を参照しながら説明する。第三実施形態における画像処理装置の構成は第一実施形態で説明した図１、図２、図３、及び図１０に示す構成と同様であり、説明は省略する。
【００６３】
［画像データ数設定］
図２１は本実施形態における１ページあたりの画像数設定画面を示す図である。設定画面２１００は設定・開始受け付け部２００がシステムの処理開始時にユーザに表示する画面である。ユーザから画像リストを受け取る際に、同時にこの設定画面２１００を表示してユーザからページあたりの画像データ数の指示を受け付ける。画像数入力欄２１０１はページあたりの画像数を入力する為の入力欄である。本実施形態では、１ページに配置可能な所定の画像データの数として、１〜１２枚の範囲で設定可能として制限されているとする。設定完了ボタン２１０２は、ユーザに押下されるとページあたりの画像データ数を画像間関連性判定部２０３に渡す。なお、ここでは、ページあたりの画像データ数を一つに固定して設定しているが、これに限定するものではない。例えば、出力するアルバムのサイズ（用紙サイズ）に応じて、１ページあたりの画像データ数を変更できるようにしても構わない。なお、グループとして分類された１ページに含まれる画像データはいずれも、他の画像データと直接的もしくは間接的に関連付けられていることとなる。ここでの“間接的”とは、他の画像データを介して更に別の画像データと関連づいていることを指す。
【００６４】
［関連性有無判定処理］
図２２は本実施形態における画像間関連性判定部２０３の関連性有無判定部３０５において、画像データ間の関連性の有無を判定する処理の一例を示すフローチャートである。図２２のフローの各ステップは記憶部であるＲＯＭ１０３等に格納されたプログラムをＣＰＵ１０２が読み出し、ＣＰＵ１０２の制御に基づいて実行される。
【００６５】
まず、Ｓ２２０１からＳ２２０５の処理では、関連性有無判定部３０５は、ユーザから受け付けた１ページあたりの画像データ数を実現するための時刻軸・距離軸の判定閾値をそれぞれ算出する。距離軸の閾値と時刻軸の閾値とは、全く同じ方法で算出できる。従って、以下では、時刻軸の閾値を求める方法を説明し、距離軸の閾値を求める方法は割愛する。
【００６６】
Ｓ２２０１では、関連性有無判定部３０５は、設定取得部３０８から設定・開始受け付け部２００を介して取得した１ページあたりの画像データ数Ｍを取得する。Ｓ２２０２では、関連性有無判定部３０５は、標準正規分布関数において１ページあたりの画像データ数がＭとなる確率変数ｚの値を算出する。標準正規分布関数は式２に示す関数である。
【００６７】
（式２）
2012094067.tif 000004
１ページあたりの画像データ数がＭということは、Ｍごとにグループ化される、つまりＭごとに１つ関連性が無い確率を取る確率変数ｚを求めればよい。Ｍごとに１つ関連性が無い確率は（Ｍ−１）／Ｍで表される。この確率を取る確率変数ｚを算出するための式は式３で表すことができる。
【００６８】
（式３）
2012094067.tif 000005
式３を直接計算するのは困難であるため、標準正規分布表を元に近似的に確率変数ｚを求める。この近似値を求める手法は既知の手法を用いればよいため、ここでは省略する。
【００６９】
Ｓ２２０３では、関連性有無判定部３０５は、時刻軸上で最も近い画像データそれぞれについて、時刻軸方向の差分値を算出する。差分値は式４に基づいて算出する。
【００７０】
（式４）
2012094067.tif 000006
式４において、ｄｉは画像データ［ｉ］と画像データ［ｉ＋１］の時刻軸方向の差分値を表す。また、ｘｉとｘｉ＋１はそれぞれ画像データ［ｉ］と画像データ［ｉ＋１］の時刻軸上の値を表す。
【００７１】
Ｓ２２０４では、関連性有無判定部３０５は、Ｓ２２０３で求めた画像データ間の差分値ｄｉに基づいて、その平均値μと標準偏差σを算出する。平均値μは式５を用いて算出し、標準偏差σは式６で算出する。Ｎは全画像データの数を表す（すなわち、Ｎ−１が差分値の個数になる）。
【００７２】
（式５）
2012094067.tif 000007
（式６）
2012094067.tif 000008
Ｓ２２０５では、関連性有無判定部３０５は、時刻軸方向の閾値Ｄｔｈを式７を用いて算出する。
【００７３】
（式７）
2012094067.tif 000009
これは、１ページあたりの画像データ数を実現するための確率変数ｚに対し、実際の時刻軸方向の差分値のバラツキを示す標準偏差σをかけ、差分値の平均値μを足すことで、実際の閾値を求めている。距離軸の閾値に関しても以上と全く同じの手法で閾値を求める。
【００７４】
Ｓ２２０６では、関連性有無判定部３０５は、求めた時刻軸・距離軸の閾値を元に、任意の２つの画像データについて、時間軸方向の差分または距離軸方向の差分が閾値に納まるならば、関連性があると判定する。以上で関連性有無判定処理は終了する。
【００７５】
以上の処理に基づき、Ｓ２２０５において算出された値を用いて、第一実施形態にて述べた図１０のＳ１００５における条件を変更することとなる。
【００７６】
以上により、本実施形態の画像処理装置は、第一実施形態の効果に加え、ユーザが設定した１ページあたりの画像データの数に応じて範囲を切り替えることを可能にする。
【００７７】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012094067.tif 000010
【図２】
2012094067.tif 000011
【図３】
2012094067.tif 000012
【図４】
2012094067.tif 000013
【図５】
2012094067.tif 000014
【図６】
2012094067.tif 000015
【図７】
2012094067.tif 000016
【図８】
2012094067.tif 000017
【図９】
2012094067.tif 000018
【図１０】
2012094067.tif 000019
【図１１】
2012094067.tif 000020
【図１２】
2012094067.tif 000021
【図１３】
2012094067.tif 000022
【図１４】
2012094067.tif 000023
【図１５】
2012094067.tif 000024
【図１６】
2012094067.tif 000025
【図１７】
2012094067.tif 000026
【図１８】
2012094067.tif 000027
【図１９】
2012094067.tif 000028
【図２０】
2012094067.tif 000029
【図２１】
2012094067.tif 000030
【図２２】
2012094067.tif 000031