(57)【特許請求の範囲】
【請求項１】
人物を特定する人物情報、前記人物が移動した経路を示す連続した位置情報である移動経路情報、前記位置情報が取得された日を示す日情報及び前記位置情報が取得された時刻を示す時刻情報を含む複数の移動経路データが入力される移動経路データ入力部と、
撮影日時情報を有する画像データが入力される画像データ入力部と、
移動経路データ入力部に入力された複数の前記移動経路データを比較する移動経路データ比較部と、
前記移動経路データ比較部による比較結果に基づいて、イベントの発生、および前記イベントのイベント日時を決定するイベント日時決定部と、
前記イベント日時決定部によって決定されたイベント日時に対応する前記撮影日時情報を有する画像データを、前記決定されたイベント日時のイベント画像として分類する画像データ分類部とを有し、
前記イベント日時決定部は、比較した複数の前記移動経路データの、前記時刻情報が同一であるときの前記位置情報の差から、前記イベントが発生したと決定することを特徴とする画像分類装置。
【請求項２】
前記イベント日時決定部は、前記位置情報の差が予め設定された距離以上であるとき、前記イベントが発生したと決定することを特徴とする請求項１に記載の画像分類装置。
【請求項３】
前記イベント日時決定部は、前記移動経路データが、一人の人物の複数の移動経路データであり、かつ前記位置情報の差が予め設定された距離以上であるとき、前記イベントが発生したと決定することを特徴とする請求項１または２に記載の画像分類装置。
【請求項４】
前記イベント日時決定部は、前記移動経路データが、複数の人物の移動経路データであり、かつ前記複数の人物の移動経路データの前記日情報および前記時刻情報が同一であるときの前記位置情報の差が、予め設定された距離以上であるとき、前記イベントが発生したと決定することを特徴とする請求項１または２に記載の画像分類装置。
【請求項５】
前記イベント日時決定部は、前記位置情報の差が予め設定された距離以下であるとき、前記イベントが発生したと決定することを特徴とする請求項１に記載の画像分類装置。
【請求項６】
前記イベント日時決定部は、前記移動経路データが、複数の人物の移動経路データであり、かつ前記複数の人物の移動経路データの前記日情報および前記時刻情報が同一であるときの前記位置情報の差が、予め設定された距離以下であるとき、前記イベントが発生したと決定することを特徴とする請求項１または５に記載の画像分類装置。
【請求項７】
請求項１〜６のいずれかに記載の画像分類装置であって、
さらに、前記画像データ分類部によって分類された前記イベント画像を出力する画像出力部を備えることを特徴とする画像分類装置。
【請求項８】
さらに、前記画像データ分類部によって分類された前記イベント画像が入力され、該分類された前記イベント画像を前記イベントに関係する他の人物と共有するためのイベント画像共有部を備えることを特徴とする請求項７に記載の画像分類装置。
【請求項９】
さらに、前記画像データ分類部によって分類された前記イベント画像が入力され、該分類された前記イベント画像からフォトブックデータを生成するフォトブックデータ生成部を備えることを特徴とする請求項７に記載の画像分類装置。
【請求項１０】
請求項１〜８のいずれかに記載の画像分類装置と、
被写体を撮影して前記撮影日時情報を有する画像データを取得する撮影手段と、
前記被写体の撮影を行う撮影者の位置情報を取得する撮影者位置情報取得手段と、を有することを特徴とする画像分類システム。
【請求項１１】
前記移動経路データが、複数の人物の移動経路データであるとき、
さらに、前記撮影者と異なる他の人物の位置情報を取得する他者位置情報取得手段とを有することを特徴とする請求項１０に記載の画像分類システム。
【請求項１２】
請求項１〜８のいずれかに記載の画像分類装置により画像を分類する方法であって、
前記移動経路データ入力部により、人物を特定する人物情報、前記人物が移動した経路を示す連続した位置情報である移動経路情報、前記位置情報が取得された日を示す日情報、および前記位置情報が取得された時刻を示す時刻情報と、を含む移動経路データを複数取得すると共に、
前記画像データ入力部により、撮影日時情報を有する画像データを取得し、
前記移動経路データ比較部により、前記画像データ入力部によって取得された複数の前記移動経路データを比較し、
前記イベント日時決定部により、前記移動経路データ比較部によって比較された複数の前記移動経路データの、同一の前記時刻情報における前記位置情報の差に基づいて、イベントの発生、および前記イベントのイベント日時を決定し、
前記画像データ分類部により、前記移動経路データ比較部によって決定されたイベント日時に対応する前記撮影日時情報を有する画像データを、前記決定されたイベント日時のイベント画像として分類することを特徴とする画像分類方法。
【請求項１３】
さらに、前記イベント画像共有部により、前記画像データ分類部によって分類された前記イベント画像を前記イベントに関係する他の人物と共有することを特徴とする請求項１２に記載の画像分類方法。
【請求項１４】
さらに、前記フォトブックデータ生成部により、前記画像データ分類部によって分類された前記イベント画像が入力され、該分類された前記イベント画像からフォトブックデータを生成することを特徴とする請求項１２に記載の画像分類方法。
【請求項１５】
コンピュータに、
人物を特定する人物情報、前記人物が移動した経路を示す連続した位置情報である移動経路情報、前記位置情報が取得された日を示す日情報、および前記位置情報が取得された時刻を示す時刻情報と、を含む移動経路データを複数取得する手順と、
撮影日時情報を有する画像データを取得する手順と、
取得された複数の前記移動経路データを比較する手順と、
比較された複数の前記移動経路データの、同一の前記時刻情報における前記位置情報の差に基づいて、イベントの発生、および前記イベントのイベント日時を決定する手順と、
決定されたイベント日時に対応する前記撮影日時情報を有する画像データを、前記決定されたイベント日時のイベント画像として分類する手順と、を実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の移動経路データをもとに、入力された画像データをイベント画像として分類する画像分類装置、画像分類システム、画像分類方法、画像分類のためのプログラム、およびこのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
従来、例えば複数人で旅行に行き、旅先で写真撮影を行い、撮影者と同行者との間で写真の画像を共有したい場合、共有したい画像を人手で分類する必要があった。また、旅行前後に撮影者が撮影した画像も併せてデジタルカメラ内にあった場合、どの画像が旅行中の画像であるかについても分類する必要があり、非常に煩雑で手間がかかっていた。
【０００３】
これに対し、特許文献１では、コンテンツを一元管理し、複数のユーザが共通のイベントに参画した際のコンテンツに関して、位置情報および時刻情報の少なくともいずれか一方を基にコンテンツをイベント分類し、複数ユーザ間でコンテンツを共有するコンテンツ共有システムが開示されている。
【０００４】
また、特許文献２では、画像データから撮影日時情報、撮影位置情報、撮影条件、撮影者に関するユーザ情報を取り出して解析し、解析結果等を基に画像データのコンテキスト（何をしているところを撮影したのか等）を推定する画像管理システムが開示されている。
【０００５】
また、特許文献３では、撮影画像と、撮影画像の撮影位置を示す撮影位置情報とをダウンロードして、撮影画像を撮影位置ごとに分類された状態で表示する撮影画像表示システムが開示されている。
【０００６】
また、特許文献４では、取得場所を表す場所情報が付与された画像データの該場所情報に基づいて、画像データの取得場所と所定の基準位置との間の距離を算出し、該距離が所定のしきい値を越えるか否かを判定し、該判定結果に応じて前記画像データを分類し、該分類結果に応じたアルバムデータを作成することを特徴とするアルバム作成方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２４９８２１号公報
【特許文献２】特開２００２−１０１７８号公報
【特許文献３】特開２００４−２５２９９１号公報
【特許文献４】特開２００４−１２０４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載のコンテンツ共有システムは、あるイベントに参画はしていたが、自らコンテンツは登録せず、他人が登録し分類されたコンテンツを購入するのみのユーザが、どのイベントに参画していたかを自動的に検出することはできず、ユーザが検索を行う必要があった。このため、当然ながら、コンテンツを登録するユーザが、コンテンツを購入するのみのユーザと同行していた場合、同行していたときに撮影した画像（コンテンツ）のみを自動的に分類することはできない。
【０００９】
また、特許文献２に記載の画像管理システムは、画像データから撮影日時情報、撮影位置情報、撮影条件、撮影者に関するユーザ情報を取り出して解析し、コンテキストを推定しているため、「撮影者が、被写体ではない特定の人物（例えば、同行者）と一緒にいた時に撮影した」というコンテキストを推定することはできない。
【００１０】
また、特許文献３に記載の撮影画像表示システムは、撮影位置情報を有するため、撮影者が普段撮影しない場所で撮影したことは、撮影枚数が少ない位置を抽出することで検出することはできるが、撮影時以外の位置情報がないため、普段訪れない場所で撮影したことは検出することはできない。
【００１１】
また、特許文献４に記載のアルバム作成方法は、所定の基準位置からの距離によって画像データを分類するため、しきい値を超えた画像データを分類する場合には、しきい値を超えない距離で発生したイベントの画像データを分類することはできず、逆の場合も同様である。さらに、移動経路情報から地図データを取得して関連付けることも記載されているが、これは移動先の情報を付加するのみであり、複数の移動経路データの差からイベントの発生を検出することは想定されていない。
【００１２】
本発明の目的は、撮影者や同行者の移動経路を撮影中であるかどうかに関わらず記録することでイベントを検出し、検出されたイベントに応じて画像データを分類することができる画像分類装置、画像分類システム、画像分類方法、プログラム、およびこのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は、
（１）人物を特定する人物情報、前記人物が移動した経路を示す連続した位置情報である移動経路情報、前記位置情報が取得された日を示す日情報及び前記位置情報が取得された時刻を示す時刻情報を含む複数の移動経路データが入力される移動経路データ入力部と、
撮影日時情報を有する画像データが入力される画像データ入力部と、移動経路データ入力部に入力された複数の前記移動経路データを比較する移動経路データ比較部と、前記移動経路データ比較部による比較結果に基づいて、イベントの発生、および前記イベントのイベント日時を決定するイベント日時決定部と、前記イベント日時決定部によって決定されたイベント日時に対応する前記撮影日時情報を有する画像データを、前記決定されたイベント日時のイベント画像として分類する画像データ分類部とを有し、前記イベント日時決定部は、比較した複数の前記移動経路データの、前記時刻情報が同一であるときの前記位置情報の差から、前記イベントが発生したと決定することを特徴とする画像分類装置を提供する。
【００１４】
（２）また、前記イベント日時決定部は、前記位置情報の差が予め設定された距離以上であるとき、前記イベントが発生したと決定するのが好ましい。
（３）また、前記イベント日時決定部は、前記移動経路データが、一人の人物の複数の移動経路データであり、かつ前記位置情報の差が予め設定された距離以上であるとき、前記イベントが発生したと決定するのが好ましい。
（４）また、前記イベント日時決定部は、前記移動経路データが、複数の人物の移動経路データであり、かつ前記複数の人物の移動経路データの前記日情報および前記時刻情報が同一であるときの前記位置情報の差が、予め設定された距離以上であるとき、前記イベントが発生したと決定するのが好ましい。
【００１５】
（５）また、前記イベント日時決定部は、前記位置情報の差が予め設定された距離以下であるとき、前記イベントが発生したと決定するのが好ましい。
（６）また、前記移動経路データは、複数の人物の移動経路データであり、前記複数の人物の移動経路データの前記日情報および前記時刻情報が同一であるときの、前記位置情報の差が、予め設定された距離以下であるとき、前記イベントが発生したと判断するのが好ましい。
【００１６】
（７）また、上記のいずれかに記載の画像分類装置であって、さらに、前記画像データ分類部によって分類された前記イベント画像を出力する画像出力部を備えるのが好ましい。
（８）さらに、前記画像データ分類部によって分類された前記イベント画像が入力され、該分類された前記イベント画像を前記イベントに関係する他の人物と共有するためのイベント画像共有部を備えるのが好ましい。
（９）また、さらに、前記画像データ分類部によって分類された前記イベント画像が入力され、該分類された前記イベント画像からフォトブックデータを生成するフォトブックデータ生成部を備えるのも好ましい。
【００１７】
また、上記課題を解決するために、本発明は、
（１０）上記（１）〜（８）のいずれかに記載の画像分類装置と、被写体を撮影して前記撮影日時情報を有する画像データを取得する撮影手段と、前記被写体の撮影を行う撮影者の位置情報を取得する撮影者位置情報取得手段と、を有することを特徴とする画像分類システムを提供する。
（１１）前記移動経路データが、複数の人物の移動経路データであるとき、
さらに、前記撮影者と異なる他の人物の位置情報を取得する他者位置情報取得手段とを有するのが好ましい。
【００１８】
さらに、上記課題を解決するために、本発明は、
（１２）  上記（１）〜（８）のいずれかに記載の画像分類装置により画像を分類する方法であって、
前記移動経路データ入力部により、人物を特定する人物情報、前記人物が移動した経路を示す連続した位置情報である移動経路情報、前記位置情報が取得された日を示す日情報、および前記位置情報が取得された時刻を示す時刻情報と、を含む移動経路データを複数取得すると共に、前記画像データ入力部により、撮影日時情報を有する画像データを取得し、前記移動経路データ比較部により、前記画像データ入力部によって取得された複数の前記移動経路データを比較し、前記イベント日時決定部により、前記移動経路データ比較部によって比較された複数の前記移動経路データの、同一の前記時刻情報における前記位置情報の差に基づいて、イベントの発生、および前記イベントのイベント日時を決定し、前記画像データ分類部により、前記移動経路データ比較部によって決定されたイベント日時に対応する前記撮影日時情報を有する画像データを、前記決定されたイベント日時のイベント画像として分類することを特徴とする画像分類方法を提供する。
（１３）さらに、前記イベント画像共有部により、前記画像データ分類部によって分類された前記イベント画像を前記イベントに関係する他の人物と共有するのが好ましい。
（１４）さらに、前記フォトブックデータ生成部により、前記画像データ分類部によって分類された前記イベント画像が入力され、該分類された前記イベント画像からフォトブックデータを生成するのが好ましい。
【００１９】
また、上記課題を解決するために、本発明は、
（１５）コンピュータに、人物を特定する人物情報、前記人物が移動した経路を示す連続した位置情報である移動経路情報、前記位置情報が取得された日を示す日情報、および前記位置情報が取得された時刻を示す時刻情報と、を含む移動経路データを複数取得する手順と、撮影日時情報を有する画像データを取得する手順と、取得された複数の前記移動経路データを比較する手順と、比較された複数の前記移動経路データの、同一の前記時刻情報における前記位置情報の差に基づいて、イベントの発生、および前記イベントのイベント日時を決定する手順と、決定されたイベント日時に対応する前記撮影日時情報を有する画像データを、前記決定されたイベント日時のイベント画像として分類するする手順と、を実行させるためのプログラムを提供する。
また、上記課題を解決するために、本発明は、
（１６）上記（１５）のプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００２０】
本発明によれば、撮影者および／または同行者の移動経路をもとに、撮影者が撮影中であるかどうかに関わらず、また、撮影者または同行者が被写体として映っているかどうかに関わらず、イベントを検出することができ、当該検出されたイベントに応じて画像データを分類することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る画像分類装置および画像分類システムの構成の一例を示すブロック図である。
【図２】（ａ）は、本発明の第１実施形態における、撮影者Ａの複数の移動経路および検出されたイベントを平面上に表した一例を示す説明図であり、（ｂ）は、（ａ）の場合における、日々の移動経路と異なった移動経路の位置情報の差からイベントを検出する一例を示す説明図である。
【図３】本発明の第１実施形態における、イベント検出の一例を示すフローチャートである。
【図４】（ａ）〜（ｅ）は、図３に示すフローチャートに対応する移動経路の一例を示す説明図である。
【図５】（ａ）は、本発明の第２実施形態における、撮影者Ａおよび同行者Ｂの移動経路ならびに検出されたイベントを平面上に表した一例を示す説明図であり、（ｂ）は、（ａ）の場合における、撮影者Ａが同行者Ｂと離れた場合の、移動経路の位置情報の差からイベントを検出する一例を示す説明図である。
【図６】（ａ）は、本発明の第３実施形態における、撮影者Ａおよび同行者Ｂの移動経路ならびに検出されたイベントを平面上に表した一例を示す説明図であり、（ｂ）は、（ａ）の場合における、撮影者Ａと同行者Ｂとが一緒に移動していた場合の、移動経路の位置情報の差からイベントを検出する一例を示す説明図である。
【図７】本発明の第３実施形態における、イベント検出の一例を示すフローチャートである。
【図８】（ａ），（ｂ）は、図７に示すフローチャートに対応する移動経路の一例を示す説明図である。
【発明を実施するための形態】
【００２２】
本発明に係る画像分類システムを、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００２３】
図１は、本発明の画像分類システムの構成を表す一実施形態のブロック図である。
図１に示す画像分類システム１は、画像分類装置１０、撮影者の位置検出装置３０、他者の位置検出装置３２、およびデジタルカメラ３４によって構成される。
【００２４】
撮影者の位置検出装置（以下、単に位置検出装置ともいう）３０は、撮影者位置情報取得手段であり、撮影者が自身の人物情報を予め設定し移動時に持ち歩くことで、連続して位置情報が取得され、移動経路情報が得られるものである。ここで、移動経路データとして、人物情報と移動経路情報のほか、位置情報が取得された日を示す日情報と、時刻を示す時刻情報も併せて取得される。
【００２５】
撮影者の位置検出装置３０としては、例えば、ＧＰＳ（Global Positioning System）衛星２８からの電波を受信できるＧＰＳレシーバを用いることができる。また、ＧＰＳに限らず、IEEE802.11シリーズ（いわゆる無線ＬＡＮ）、IEEE802.16シリーズ（いわゆるＷｉＭＡＸ）等を用いて測距することで位置情報が得られる装置、加速度センサおよび磁気方位センサ等の自律センサを用いてマッピングを行うことで位置情報が得られる装置など、自身の位置を知ることができるものであれば、位置検出装置として用いることができる。
また、取得した移動経路データは、撮影者の位置検出装置３０内に設けられたメモリに保存されてもよいし、通信回線を有するならば、後述する画像分類装置に送信されてもよい。
なお、連続して位置情報が取得されるとは、対象の人物の移動経路が判る程度の頻度で位置情報が取得されればよく、例えば、１分間隔で取得されるなど、必ずしも連続的に取得される必要はない。
【００２６】
他者の位置検出装置（以下、単に位置検出装置ともいう）３２は、他者位置情報取得手段であり、位置検出装置としては撮影者の位置検出装置３０と同じものであり、例えば、旅行の同行者等の撮影者以外であって、画像を共有したい人物によって移動時に持ち歩かれるものである。
【００２７】
デジタルカメラ３４は、撮影手段であり、撮影者によって持ち歩かれ、予め設定された人物情報および撮影日時情報を有する写真が撮影される。すなわち、人物情報および撮影日時情報を有する画像データが取得される。取得された画像データは、デジタルカメラ３４内のメモリや、デジタルカメラ３４に装着された、ＳＤ／ＳＤＨＣメモリカード等のメモリカードに保存される。なお、撮影手段は、携帯電話のカメラ等、画像を撮影することができるものであれば何でもよい。
【００２８】
図１に示す画像分類装置１０は、移動経路データ入力部１２、移動経路データ比較部１４、イベント日時決定部１６、画像データ入力部１８、画像データ分類部２０、画像データ出力部２２、イベント画像共有部２４、およびフォトブックデータ生成部２６によって構成される。
【００２９】
移動経路データ入力部１２は、撮影者の位置検出装置３０および他者の位置検出装置３２と有線または無線で接続され、撮影者の位置検出装置３０および他者の位置検出装置３２から、撮影者または他者に関連付けされた移動経路データ（人物情報、移動経路情報、日情報、および時刻情報を含む）の信号が入力される。
移動経路データ入力部１２では、入力された移動経路データの信号から、撮影者および他者のそれぞれの移動経路データ、または、撮影者および／または他者の、日が異なるかあるいは時間帯が異なる複数の移動経路データが取り出されて出力される。
【００３０】
移動経路データ比較部１４には、移動経路データ入力部１２から出力された複数の移動経路データが入力される。移動経路データ比較部１４では、入力された複数の移動経路データが比較されて、移動経路データとともに比較結果が出力される。比較結果としては、例えば、撮影者の日が異なる複数の移動経路データが比較され、異なる日の同一時刻における位置情報の差、すなわち距離が出力される。また、撮影者と同行者の同じ日の同一時刻における位置情報の差（距離）が出力される。
さらに、他の例としては、撮影者の日が異なる複数の移動経路データが、格子状に分割されたマップにプロットされ、多くの経路（例えば、６０％以上）が通過した格子の中心点を繋いで代表移動経路データとし、その代表移動経路データと異なる格子を通過する移動経路データを、比較結果として出力されるようにしてもよい。
【００３１】
イベント日時決定部１６には、移動経路データ比較部１４から出力された移動経路データおよび位置情報の差（距離）が入力される。イベント日時決定部１６では、位置情報の差（距離）が予め設定された距離以下である場合、または、予め設定された距離以上である場合に、イベントが発生したと判断され、イベント発生信号が出力される。イベント発生信号には、移動経路データ、当該イベントの発生日時情報、発生位置情報、終了日時情報、終了位置情報などが含まれる。
【００３２】
画像データ入力部１８は、デジタルカメラ３４と有線または無線で接続され、デジタルカメラ３４で撮影され、デジタルカメラ３４内のメモリや、デジタルカメラ３４に装着された、ＳＤ／ＳＤＨＣメモリカード等のメモリカードに保存されている画像データの信号が入力される。
画像データ入力部１８では、入力された画像データの信号から画像データが取り出されて出力される。
【００３３】
画像データ分類部２０には、イベント日時決定部１６から出力されたイベント発生信号、および画像データ入力部１８から出力された画像データが入力される。画像データ分類部２０では、イベント発生信号に含まれる移動経路データから人物情報が取り出され、画像データに含まれる人物情報と照合が行われる。照合の結果、撮影者が同一であれば、イベントの発生日時情報と終了日時情報の間の期間に撮影された画像データが、当該イベントにおいて撮影された画像データであるとして分類され出力されるか、または、図示しない記憶部に記憶される。
ここで、イベントの発生日時情報、終了日時情報だけでなく、発生位置情報、終了位置情報も用いれば、より正確に分類することができる。
【００３４】
画像データ出力部２２には、画像データ分類部２０から出力された、分類された画像データが入力され、ユーザの要求に応じて出力される。また、ユーザの要求に応じて、一旦、図示しない記憶部に記憶された、分類された画像データが読み込まれて出力されるようにしてもよい。
【００３５】
イベント画像共有部２４には、画像データ出力部２２からユーザの要求に応じて出力された、分類された画像データが入力される。ユーザからイベントで撮影した画像を共有する旨の要求を受けたイベント画像共有部２４では、入力された分類された画像データについて共有するために、予め設定された共有エリア、例えば、インターネットに接続されたサーバ等の画像共有サービスなどの該当エリアへの登録が行われる。
【００３６】
フォトブックデータ生成部２６には、画像データ出力部２２からユーザの要求に応じて出力された、分類された画像データが入力される。ユーザからイベントで撮影した画像について、フォトブックデータの生成の要求を受けたフォトブックデータ生成部２６では、入力された分類された画像データについて、フォトブックのページ割り付け等の画像処理を行ってフォトブック用のデータが生成され、図示しない記憶部に記憶される。また、フォトブック作製用のプリンタや印刷機が画像分類装置１０に接続されている場合には、直接それらのプリンタ等に生成されたフォトブック用のデータを送信してもよい。さらに、フォトブック用のデータはメモリカード等の外部記憶媒体に記憶されてもよい。
【００３７】
次に、本発明に係る画像分類システム１の動作を説明する。
【００３８】
まず、第１実施形態として、撮影者Ａ一人が、位置検出装置３０とデジタルカメラ３４を日々持ち歩き、日々の移動経路と異なった移動経路を検出した場合、特に日々の移動経路の途中で異なった移動経路を検出した場合に、イベントが発生したと判断し、決定する場合を説明する。
【００３９】
例えば、撮影者Ａが、日々の移動経路とは異なる観光地で、デジタルカメラ３４によって写真を撮影し、その後帰宅したとする。この時の移動経路データを日々の移動経路データと併せて、図２（ａ）に示す。図２（ａ）中の点線は、撮影者Ａが日々の生活の中で繰り返す標準的な移動経路データを示している。このような標準的な移動経路データは、空間または時間的な非日常経路を検出するための基準であり、例えば、日々の移動経路の基準となる移動経路を予め移動して取得した基準移動経路データであっても良いし、最近１カ月間に取得された通勤経路の移動経路データを平均した平均移動経路データであっても良い。
なお、空間的な非日常的経路の例としては、日々の移動経路とは異なる観光地に行った日の普段通らない移動経路が挙げられ、時間的な非日常経路の例としては、日々の移動経路であっても時間帯が普段と大きく異なる場合が挙げられる。
【００４０】
ここで、日々の移動経路から標準的な移動経路データの一例として代表移動経路データを求める場合を、図３に示すフローチャート（前半）、および図４（ａ）〜（ｃ）に示す説明図によって説明する。
【００４１】
まず、撮影者Ａが観光地に行った日の移動経路データ（移動経路データ（α）とする）、および日々の移動経路データが入力され（ステップＳ１０）、移動経路データ（α）を含む全ての移動経路データから、閉じた移動経路データが抽出される（ステップＳ１２）。次に、抽出された移動経路データから、図４（ａ）に示すように、類似する移動経路データが分類される（ステップＳ１４）。ここで、類似する移動経路データとは、例えば経路の端点（始点、終点）が一致し、途中の経路の多く（例えば、５０％以上）が一致している移動経路データについて、類似するとして分類することができる。また、分類方法はクラスタリングなどの他の手法を用いることもできる。
【００４２】
類似する移動経路データが分類された後、移動経路データ（α）に対応する複数の類似移動経路データが、格子状に分割されたマップにプロットされ、図４（ｂ）に示すように、各格子における経路の通過数がカウントされる。このうち、図４（ｃ）に示すように、多くの経路（例えば、６０％以上）が通過した格子の中心点を繋いで、代表移動経路データ（代表移動経路データ（β）とする；図２（ａ）の点線に相当）が決定される（ステップＳ１６）。
さらに、時間的な非日常経路を検出するための基準として、複数の類似移動経路データの日情報および時刻情報（つまり、時間帯）の分布から、多くの移動経路データが含まれる時間帯（例えば、３０％以上）を、代表時間帯として検出してもよい。なお、代表時間帯は複数検出してもよく、例えば、外回り営業での午前の巡回ルートと午後の巡回ルート等が挙げられる。
【００４３】
このように、撮影者Ａが日々位置検知装置３０を持ち歩くことで、日々の移動経路データ（図２（ａ）中の点線）が取得される。
また、撮影者Ａは観光地に行った日も位置検知装置３０を持ち歩くことで、図２（ａ）中の実線の移動経路データが取得される。つまり、図２（ａ）中の実線は、撮影者Ａが観光地に行った日の移動経路データを示している。
【００４４】
撮影者Ａは帰宅後、位置検知装置３０を画像分類装置１０の移動経路データ入力部１２に接続し、デジタルカメラ３４を画像分類装置１０の画像データ入力部１８に接続する。
移動経路データ入力部１２には、位置検知装置３０から撮影者Ａの移動経路データの信号が入力される。また、デジタルカメラ３４から画像データ入力部１８を介して、デジタルカメラ３４内のメモリや、デジタルカメラ３４に装着されたＳＤ／ＳＤＨＣメモリカード等のメモリカードから画像データが入力される。
移動経路データ入力部１２からは、撮影者Ａの日々の標準的な移動経路データと、観光地に行った日の移動経路データとが取り出されて出力される。
【００４５】
撮影者Ａの日々の標準的な移動経路データと、観光地に行った日の移動経路データは、移動経路データ比較部１４に入力される。移動経路データ比較部１４では、入力された撮影者Ａの日々の標準的な移動経路データと、観光地に行った日の移動経路データとが比較され、日々の標準的な移動経路データの時刻情報と、観光地に行った日の移動経路データの同一の時刻情報における、それぞれの位置情報の差（距離）が出力される。すなわち、観光地に行った日の移動経路が、日々の移動経路の平均値などの標準的な移動経路からどの程度距離が離れているかが出力される。
【００４６】
また、他の出力される位置情報の差の求め方として、標準的な移動経路データとして代表移動経路データ（β）が用いられ、観光地に行った日の移動経路データとして移動経路データ（α）が用いられてもよい。
図４（ｄ）に示すように、移動経路データ比較部１４に入力された移動経路データ（α）（太線）と代表移動経路データ（β）（細線）の経路中において、同一の時刻情報における一定の空間的な差（つまり、位置情報の差）が生じている部分があれば（図３のステップＳ１８で“Ｙ”，図４（ｅ）参照）、移動経路データ比較部１４から、位置情報の差が生じている格子の情報が出力される。
【００４７】
撮影者Ａの標準的な移動経路データ、観光地に行った日の移動経路データ、および位置情報の差（距離，格子）は、イベント日時決定部１６に入力される。
図２（ｂ）は、時刻を横軸に、距離を縦軸に取ったグラフであり、距離が予め設定された所定のしきい値以下である場合には、同一の移動経路を通っていると判断される。距離がしきい値を超えた場合には、異なる移動経路を通っていると判断され、イベントが発生したと判断して、イベント発生信号が出力される。
また、移動経路データ（α）および代表移動経路データ（β）を用いた場合には、位置情報の差（格子）に対応する期間について、つまり、経路中の差が生じている部分に対応する期間について、イベントが発生したと判断して（図３のステップＳ２０）、イベント発生信号が出力される。
【００４８】
ここで、例えば、移動経路データ（α）として、撮影者Ａが観光地に行くのではなく、日々の移動経路上や、そのすぐ近くにある神社に初詣に行った場合など、代表移動経路データ（β）と移動経路データ（α）との間に、一定の空間的な差が生じていない場合も考えられる（図３のステップＳ１８で“Ｎ”）。このような場合、移動経路データ（α）の複数の類似移動経路データの時間帯の分布から、多くの移動経路データが含まれる時間帯（例えば、３０％以上）が、代表時間帯として検出される（ステップＳ２２）。
【００４９】
移動経路データ（α）の時間帯が含まれる代表時間帯が存在しない場合には（ステップＳ２４で“Ｙ”）、移動経路データ（α）全体に対応する期間について、イベントが発生したと判断して（図３のステップＳ２６）、イベント発生信号が出力される。
移動経路データ（α）の時間帯が含まれる代表時間帯が存在する場合には（ステップＳ２４で“Ｎ”）、イベントは発生したと判断されず、イベント発生信号は出力されない。
【００５０】
イベント発生信号、および画像データ入力部１８を介して入力された画像データは、画像データ分類部２０に入力される。画像データ分類部２０では、イベント発生信号に含まれる移動経路データから撮影者Ａの人物情報が取り出され、画像データに含まれる人物情報と照合が行われる。照合の結果、入力された画像データが撮影者Ａのものであれば、イベントの発生日時情報と終了日時情報の間の期間に撮影された画像データが、当該イベントにおいて撮影された画像データであるとして分類され出力される。
【００５１】
分類された画像データは、画像データ出力部２２に入力される。入力された分類された画像データは、ユーザである撮影者Ａの要求に応じて出力される。
ここで、撮影者Ａがフォトブックデータを生成したい場合、分類された画像データは、フォトブックデータ生成部２６に入力される。フォトブックデータ生成部２６では、入力された分類された画像データについて、フォトブックのページ割り付け等の画像処理を行ってフォトブック用のデータが生成され、図示しない記憶部に記憶される。また、フォトブック作製用のプリンタや印刷機が画像分類装置１０に接続されている場合には、直接それらのプリンタ等に生成されたフォトブック用のデータが送信され、フォトブックの印刷が行われる。
【００５２】
次に、第２実施形態として、撮影者Ａが位置検出装置３０とデジタルカメラ３４とを持ち、同行者Ｂが位置検出装置３２を持って、旅行に行って旅先で写真撮影を行うとき、撮影者Ａが同行者Ｂと離れた場合、つまり、同行者Ｂと異なった移動経路を検出した場合、特にその移動経路の途中で異なった移動経路を検出した場合には、撮影者Ａにとって印象に残っている時間だとして、イベントが発生したと判断し、決定する場合を説明する。ここで、同行者Ｂは、当該旅行の標準的な移動経路を移動する人物としても良いし、また、同行者は福数いてもよく、その場合には同行者Ｂを同行者の代表としてもよいし、複数の同行者の平均値としてもよい。なお、画像分類システム１としては、第１実施形態と同様であるので、その詳細な説明は省略する。
【００５３】
撮影者Ａは同行者Ｂと一緒に旅行に行き、旅先でデジタルカメラ３４によって写真を撮影し、その後帰宅したとする。この時の撮影者Ａと同行者Ｂの移動経路データを併せて図５（ａ）に示す。図５（ａ）中の実線は、撮影者Ａの旅行中の移動経路データを示し、図５（ａ）中の点線は、同行者Ｂの移動経路データを示している。
【００５４】
撮影者Ａは位置検知装置３０を持ち歩くことで、図５（ａ）中の実線の移動経路データが取得される。また、同行者Ｂは位置検知装置３２を持ち歩くことで、図５（ａ）中の点線の移動経路データが取得される。
撮影者Ａは同行者Ｂから位置検知装置３２を受け取って、帰宅後に位置検知装置３０，３２を画像分類装置１０の移動経路データ入力部１２に接続し、デジタルカメラ３４を画像分類装置１０の画像データ入力部１８に接続する。
移動経路データ入力部１２には、位置検知装置３０から撮影者Ａの移動経路データの信号が入力され、位置検知装置３２から同行者Ｂの移動経路データの信号が入力される。また、デジタルカメラ３４から画像データ入力部１８を介して、デジタルカメラ３４内のメモリや、デジタルカメラ３４に装着された、ＳＤ／ＳＤＨＣメモリカード等のメモリカードから画像データが入力される。
移動経路データ入力部１２からは、撮影者Ａの移動経路データと、同行者Ｂの移動経路データとが取り出されて出力される。
【００５５】
撮影者Ａの移動経路データと、同行者Ｂの移動経路データは、移動経路データ比較部１４に入力される。移動経路データ比較部１４では、入力された撮影者Ａの移動経路データと、同行者Ｂの移動経路データが比較され、撮影者Ａの移動経路データの時刻情報と、同行者Ｂの移動経路データの同一の時刻情報における、それぞれの位置情報の差（距離）が出力される。すなわち、撮影者Ａの移動経路が、同行者Ｂの移動経路からどの程度距離が離れているかが出力される。
【００５６】
撮影者Ａの移動経路データ、同行者Ｂの移動経路データ、および位置情報の差（距離）は、イベント日時決定部１６に入力される。
図５（ｂ）は、時刻を横軸に、距離を縦軸に取ったグラフであり、距離が予め設定された所定のしきい値以下である場合には、同一の移動経路を通っていると判断される。距離がしきい値を超えた場合には、異なる移動経路を通っていると判断され、イベントが発生したと判断して、イベント発生信号が出力される。
【００５７】
イベント発生信号、および画像データ入力部１８を介して入力された画像データは、画像データ分類部２０に入力される。画像データ分類部２０では、イベント発生信号に含まれる移動経路データから撮影者Ａの人物情報が取り出され、画像データに含まれる人物情報と照合が行われる。照合の結果、入力された画像データが撮影者Ａのものであれば、イベントの発生日時情報と終了日時情報の間の期間に撮影された画像データが、当該イベントにおいて撮影された画像データであるとして分類され出力される。
【００５８】
分類された画像データは、画像データ出力部２２に入力される。入力された分類された画像データは、ユーザである撮影者Ａの要求に応じて出力される。
ここで、撮影者Ａがイベント発生時のフォトブックデータを生成したい場合、分類された画像データは、フォトブックデータ生成部２６に入力される。フォトブックデータ生成部２６では、入力された分類された画像データについて、フォトブックのページ割り付け等の画像処理を行ってフォトブック用のデータが生成され、図示しない記憶部に記憶される。また、フォトブック作製用のプリンタや印刷機が画像分類装置１０に接続されている場合には、直接それらのプリンタ等に生成されたフォトブック用のデータが送信され、フォトブックの印刷が行われる。
【００５９】
なお、この実施形態の場合、イベント以外の画像データについて共有することもできる。撮影者Ａが同行者Ｂと同じ移動経路を移動中に撮影した画像データを同行者Ｂと共有したい場合には、イベント発生時以外に分類された画像データが、イベント画像共有部２４に入力される。イベント画像共有部２４では、入力されたイベント発生時以外に分類された画像データについて同行者Ｂと共有するために、予め設定された共有エリア、例えば、インターネットに接続されたサーバ等の画像共有サービスなどの該当エリアへの登録が行われることにより、撮影者Ａと同行者Ｂとの間で画像を共有することができる。
【００６０】
次に、第３実施形態として、撮影者Ａが位置検出装置３０とデジタルカメラ３４を持ち、同行者Ｂが位置検出装置３２を持って、旅行に行って旅先で写真撮影を行うとき、撮影者Ａと同行者Ｂとが一緒に移動していた場合、つまり、同行者Ｂと同一の移動経路を検出した場合、特に、その移動経路の始点や終点で異なる移動経路であり、その途中で同一の移動経路を検出した場合に、イベントが発生したと判断する場合を説明する。ここで、同行者は複数いてもよく、その場合には同行者Ｂを同行者の代表としてもよいし、複数の同行者の平均値としてもよい。なお、画像分類システム１としては、第１実施形態と同様であるので、その詳細な説明は省略する。
【００６１】
撮影者Ａは同行者Ｂと途中の駅等で待ち合わせて一緒に旅行に行き、旅先でデジタルカメラ３４によって写真を撮影し、その後途中の駅等で別れて帰宅したとする。この時の撮影者Ａと同行者Ｂの移動経路を併せて図６（ａ）に示す。図６（ａ）中の実線は、撮影者Ａの旅行中の移動経路を示し、図６（ａ）中の点線は、同行者Ｂの移動経路を示している。
【００６２】
撮影者Ａは位置検知装置３０を持ち歩くことで、図６（ａ）中の実線の移動経路データが取得される。また、同行者Ｂは位置検知装置３２を持ち歩くことで、図６（ａ）中の点線の移動経路データが取得される。
撮影者Ａは帰宅後、位置検知装置３０と、同行者Ｂから後日渡された位置検知装置３２を画像分類装置１０の移動経路データ入力部１２に接続し、デジタルカメラ３４を画像分類装置１０の画像データ入力部１８に接続する。
【００６３】
ここで、図７にイベント検出の一例のフローチャートを示す。
移動経路データ入力部１２には、位置検知装置３０から撮影者Ａの移動経路データの信号が入力され、位置検知装置３２から同行者Ｂの移動経路データの信号が入力される（ステップＳ３０）。なお、ここで他の同行者の移動経路データ等も含めて複数の移動経路データが入力されてもよい。
また、デジタルカメラ３４から画像データ入力部１８を介して、デジタルカメラ３４内のメモリや、デジタルカメラ３４に装着された、ＳＤ／ＳＤＨＣメモリカード等のメモリカードから画像データが入力される。
移動経路データ入力部１２からは、入力された全ての移動経路データ、つまり撮影者Ａの移動経路データと、同行者Ｂの移動経路データとが取り出されて出力される。
【００６４】
なお、同行者Ｂの移動経路データは、同行者Ｂが帰宅後、ＰＣ（Personal Computer）に取り込んでデータファイル化し、電子メール等で撮影者Ａに受け渡してもよい。この場合、撮影者Ａは、電子メールを受信したＰＣからＬＡＮ（Local Area Network）、メモリカード等を用い、画像分類装置１０の図示しないＬＡＮインタフェース、メモリカードリーダ等を経由して、移動経路データ入力部１２へ同行者Ｂの移動経路データの信号が入力される。
【００６５】
撮影者Ａの移動経路データと、同行者Ｂの移動経路データは、移動経路データ比較部１４に入力される。移動経路データ比較部１４では、入力された全ての移動経路データから同一の時刻情報における位置の差が一定以下である状態が、一定時間以上継続している移動経路データの組合せが抽出される（ステップＳ３２）。つまり、入力された撮影者Ａの移動経路データと、同行者Ｂの移動経路データが比較され、同一の時刻情報における位置の差が一定以下である状態が一定時間以上継続していれば、撮影者Ａの移動経路データの時刻情報と、同行者Ｂの移動経路データの同一の時刻情報における、それぞれの位置情報の差（距離）が出力される。すなわち、撮影者Ａの移動経路が、同行者Ｂの移動経路からどの程度距離が離れているかが出力される。
【００６６】
ここで、図８（ａ）および（ｂ）に示す他の一例のように、撮影者Ａの移動経路データ（図８中の実線）と同行者Ｂの移動経路データ（図８中の点線）とが、格子状に分割されたマップにプロットされ、例えば、双方の移動経路を含む格子が一定時間以上継続していれば（連続する格子が双方の移動経路を含む等）（ステップＳ３２）、双方の移動経路を含む格子が位置情報の差として出力されてもよい。
【００６７】
撮影者Ａの移動経路データ、同行者Ｂの移動経路データ、および位置情報の差（距離，格子）は、イベント日時決定部１６に入力される。
図６（ｂ）は、時刻を横軸に、距離を縦軸に取ったグラフであり、距離が予め設定された所定のしきい値以下である場合には、同一の移動経路を通っていると判断される。つまり、撮影者Ａと同行者Ｂとが一緒に移動していた期間（図６（ｂ）中のイベント１，２）について、イベントが発生したと判断して、イベント発生信号が出力される。なお、距離がしきい値を超えた場合には、異なる移動経路を通っていると判断される。
ここで、位置情報の差として格子を用いた場合には、位置情報の差（格子）に対応する期間について、つまり、撮影者Ａの移動経路と同行者Ｂの移動経路が同一の格子を通っている期間について、イベントが発生したと判断して（ステップＳ３４）、イベント発生信号が出力される。
【００６８】
イベント発生信号、および画像データ入力部１８を介して入力された画像データは、画像データ分類部２０に入力される。画像データ分類部２０では、イベント発生信号に含まれる移動経路データから撮影者Ａの人物情報が取り出され、画像データに含まれる人物情報と照合が行われる。照合の結果、入力された画像データが撮影者Ａのものであれば、イベントの発生日時情報と終了日時情報の間の期間に撮影された画像データが、当該イベントにおいて撮影された画像データであるとして分類され出力される。
【００６９】
分類された画像データは、画像データ出力部２２に入力される。入力された分類された画像データは、ユーザである撮影者Ａの要求に応じて出力される。
ここで、撮影者Ａが同行者Ｂと同じ移動経路を移動中に撮影した画像データを同行者Ｂと共有したい場合には、分類された画像データが、イベント画像共有部２４に入力される。イベント画像共有部２４では、入力された分類された画像データについて同行者Ｂと共有するために、予め設定された共有エリア、例えば、インターネットに接続されたサーバ等の画像共有サービスなどの該当エリアへの登録が行われることにより、撮影者Ａと同行者Ｂとの間で画像を共有することができる。
【００７０】
また、撮影者Ａと同行者Ｂとが一緒に移動していた期間、すなわち、イベント発生時のフォトブックデータを生成したい場合、分類された画像データは、フォトブックデータ生成部２６に入力される。フォトブックデータ生成部２６では、入力された分類された画像データについて、フォトブックのページ割り付け等の画像処理を行ってフォトブック用のデータが生成され、図示しない記憶部に記憶される。また、フォトブック作製用のプリンタや印刷機が画像分類装置１０に接続されている場合には、直接それらのプリンタ等に生成されたフォトブック用のデータが送信され、フォトブックの印刷が行われる。
【００７１】
なお、本発明においては、上述した画像分類方法の各工程を手順としてコンピュータに実行させるための画像分類プログラムとして構成しても良いし、また、コンピュータを、画像分類方法の各工程を実施する各手段として、または、上述した画像分類装置および画像分類システムを構成する各手段として機能させる画像分類プログラムとして構成しても良い。
また、本発明を、上述した画像分類プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
【００７２】
以上、本発明の画像分類装置、画像分類システム、画像分類方法、プログラムおよび記録媒体について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【００７３】
１  画像分類システム
１０  画像分類装置
１２  移動経路データ入力部
１４  移動経路データ比較部
１６  イベント日時決定部
１８  画像データ入力部
２０  画像データ分類部
２２  画像データ出力部
２４  イベント画像共有部
２６  フォトブックデータ生成部
２８  ＧＰＳ衛星
３０  撮影者の位置検出装置
３２  他者の位置検出装置
３４  デジタルカメラ
【図１】
0005411641.tif 000002
【図２】
0005411641.tif 000003
【図３】
0005411641.tif 000004
【図４】
0005411641.tif 000005
【図５】
0005411641.tif 000006
【図６】
0005411641.tif 000007
【図７】
0005411641.tif 000008
【図８】
0005411641.tif 000009