(57)【要約】【課題】より利便性の高いユーザインターフェースを実現すること。【解決手段】第１の規範に基づく階層型クラスタリングの結果に従って所定階層における各クラスタの代表コンテンツに関する情報が表示され、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報が表示される表示部を備え、所定の条件を満たした場合、前記表示部に表示される情報は、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って抽出された各クラスタの代表コンテンツに関する情報に切り替わる、端末装置が提供される。【選択図】図５０
2013179402.tif 000002
【特許請求の範囲】
【請求項１】
第１の規範に基づく階層型クラスタリングの結果に従って所定階層における各クラスタの代表コンテンツに関する情報が表示され、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報が表示される表示部を備え、
所定の条件を満たした場合、前記表示部に表示される情報は、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って抽出された各クラスタの代表コンテンツに関する情報に切り替わる、
端末装置。
【請求項２】
前記所定の条件には、最下層に位置する各クラスタの代表コンテンツに関する情報が選択されること、が含まれる、
請求項１に記載の端末装置。
【請求項３】
前記所定の条件には、規範を切り替える操作が行われたこと、が含まれる、
請求項１に記載の端末装置。
【請求項４】
前記階層型クラスタリングは、画像コンテンツの集合に対して実行されており、
前記表示部には、前記各クラスタの代表コンテンツに関する情報として抽出された当該各クラスタの代表画像を全てのクラスタについて合成した合成画像が表示される、
請求項１に記載の端末装置。
【請求項５】
前記階層型クラスタリングは、各画像コンテンツに含まれるオブジェクトの構造線を特徴量として実行される、
請求項４に記載の端末装置。
【請求項６】
前記階層型クラスタリングは、各画像コンテンツを領域分割して得られる各分割画像を単位とし、当該各分割画像の特徴量に基づいて実行される、
請求項４に記載の端末装置。
【請求項７】
第１の規範に基づく階層型クラスタリングの結果に従い、所定階層における各クラスタの代表コンテンツに関する情報を表示させ、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報を表示させる表示制御部を備え、
前記表示制御部は、所定の条件を満たした場合に、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って各クラスタの代表コンテンツに関する情報を表示させる、
情報処理装置。
【請求項８】
前記所定の条件には、最下層に位置する各クラスタの代表コンテンツに関する情報が選択されること、が含まれる、
請求項７に記載の情報処理装置。
【請求項９】
前記所定の条件には、規範を切り替える操作が行われたこと、が含まれる、
請求項７に記載の情報処理装置。
【請求項１０】
前記第１又は第２の規範に従ってコンテンツの集合をクラスタリングし、各階層における各クラスタの代表コンテンツを抽出するクラスタリング部と、
画像を合成する画像合成部と、
をさらに備え、
前記クラスタリング部は、画像コンテンツの集合を対象に前記階層型クラスタリングを実行し、
前記画像合成部は、前記各クラスタの代表コンテンツに関する情報として抽出された当該各クラスタの代表画像を全てのクラスタについて合成した合成画像を生成し、
前記表示制御部は、前記合成画像を表示させる、
請求項７に記載の情報処理装置。
【請求項１１】
前記クラスタリング部は、各画像コンテンツに含まれるオブジェクトの構造線を特徴量として前記階層型クラスタリングを実行する、
請求項１０に記載の情報処理装置。
【請求項１２】
前記クラスタリング部は、各画像コンテンツを領域分割して得られる各分割画像を単位とし、当該各分割画像の特徴量に基づいて前記階層型クラスタリングを実行する、
請求項１０に記載の情報処理装置。
【請求項１３】
第１の規範に基づく階層型クラスタリングの結果に従って所定階層における各クラスタの代表コンテンツに関する情報が表示され、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報が表示されるステップと、
所定の条件を満たした場合に、表示情報が、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って抽出された各クラスタの代表コンテンツに関する情報に切り替わるステップと、
を含む、
表示方法。
【請求項１４】
第１の規範に基づく階層型クラスタリングの結果に従い、所定階層における各クラスタの代表コンテンツに関する情報を表示させ、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報を表示させるステップと、
所定の条件を満たした場合に、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って各クラスタの代表コンテンツに関する情報を表示させるステップと、
を含む、
表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、端末装置、情報処理装置、表示方法、及び表示制御方法に関する。
【背景技術】
【０００２】
近年、容量の大きなバッテリを搭載しつつ、コンパクトで携帯性の高いデジタルビデオカメラが広く普及してきた。そのため、一般家庭などにおいて、デジタルビデオカメラを利用する機会が以前に比べると格段に増加している。一方で、撮り貯めた動画が膨大な数になり、所望の動画やシーンを探すのも一苦労である。こうした状況に鑑み、動画の関連性などをユーザに提示して探索容易性を高めたりするための技術が開発されている。
【０００３】
例えば、下記の特許文献１〜３には、撮影された複数の動画を１つのディスプレイで再生する際に、再生する動画間の関連性をユーザが把握できるようにする技術が開示されている。例えば、同文献には、複数の動画に基づいて生成された画像を合成して合成画像を生成し、その合成画像を表示部に表示させる構成が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４１８２０号公報
【特許文献２】特開２００９−１５１８９６号公報
【特許文献３】特開２００９−１５９５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の特許文献１〜３に記載の技術を適用すると、動画間の関連性が分かるため、動画の数が多くても、再生している動画の内容から他の関連する動画の内容を推察するなどして容易に動画の内容を把握することができるようになる。しかしながら、上記の特許文献１〜３の技術において、関連性を評価する基準を途中で切り替えるなどの操作は、あまり想定されていない。つまり、ある所定の基準に基づいて検出された動画間の関連性は示されるが、様々な視点で見た動画間の関連性がシームレスに提示されることはない。
【０００６】
そこで、本技術は、上記のような事情を受けて考案されたものであり、より利便性の高いユーザインターフェースを実現することが可能な、新規かつ改良された端末装置、情報処理装置、表示方法、及び表示制御方法を提供することを意図している。
【課題を解決するための手段】
【０００７】
本技術のある観点によれば、第１の規範に基づく階層型クラスタリングの結果に従って所定階層における各クラスタの代表コンテンツに関する情報が表示され、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報が表示される表示部を備え、所定の条件を満たした場合、前記表示部に表示される情報は、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って抽出された各クラスタの代表コンテンツに関する情報に切り替わる、端末装置が提供される。
【０００８】
また、本技術の別の観点によれば、第１の規範に基づく階層型クラスタリングの結果に従い、所定階層における各クラスタの代表コンテンツに関する情報を表示させ、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報を表示させる表示制御部を備え、前記表示制御部は、所定の条件を満たした場合に、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って各クラスタの代表コンテンツに関する情報を表示させる、情報処理装置が提供される。
【０００９】
また、本技術の別の観点によれば、第１の規範に基づく階層型クラスタリングの結果に従って所定階層における各クラスタの代表コンテンツに関する情報が表示され、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報が表示されるステップと、所定の条件を満たした場合に、表示情報が、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って抽出された各クラスタの代表コンテンツに関する情報に切り替わるステップと、を含む、表示方法が提供される。
【００１０】
また、本技術の別の観点によれば、第１の規範に基づく階層型クラスタリングの結果に従い、所定階層における各クラスタの代表コンテンツに関する情報を表示させ、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報を表示させるステップと、所定の条件を満たした場合に、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って各クラスタの代表コンテンツに関する情報を表示させるステップと、を含む、表示制御方法が提供される。
【発明の効果】
【００１１】
以上説明したように本技術によれば、より利便性の高いユーザインターフェースを実現することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成について説明するための説明図である。
【図２】本実施形態に係る画像分類技術を動画に適用する際に実施される前処理の流れについて説明するための説明図である。
【図３】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図４】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図８】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図９】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１０】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１１】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１２】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１３】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１４】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１５】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１６】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１７】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１８】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図１９】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２０】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２１】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２２】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２３】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２４】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２５】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２６】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２７】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２８】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図２９】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３０】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３１】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３２】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３３】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３４】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３５】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３６】本実施形態に係る画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図３７】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成について説明するための説明図である。
【図３８】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明するための説明図である。
【図３９】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明するための説明図である。
【図４０】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明するための説明図である。
【図４１】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明するための説明図である。
【図４２】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明するための説明図である。
【図４３】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明するための説明図である。
【図４４】本実施形態に係る画像分類技術を実現可能な情報処理装置のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明するための説明図である。
【図４５】本実施形態に係る領域分割を考慮した画像分類技術を実現可能な情報処理装置の機能構成について説明するための説明図である。
【図４６】本実施形態に係る領域分割を考慮した画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図４７】本実施形態に係る領域分割を考慮した画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図４８】本実施形態に係る領域分割を考慮した画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図４９】本実施形態に係る領域分割を考慮した画像分類技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５０】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成について説明するための説明図である。
【図５１】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５２】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５３】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５４】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５５】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５６】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５７】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５８】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図５９】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６０】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６１】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６２】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６３】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６４】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６５】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６６】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６７】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６８】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図６９】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７０】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７１】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７２】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７３】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７４】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７５】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７６】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７７】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７８】本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置の機能構成及び動作について、より詳細に説明するための説明図である。
【図７９】本実施形態に係る画像分類技術及び俯瞰画像生成技術を実現可能なハードウェア構成例を示した説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。
【００１５】
まず、図１を参照しながら、本実施形態に係る画像分類技術を実現可能な情報処理装置１０の機能構成について説明する。次いで、図２を参照しながら、本実施形態に係る画像分類技術を動画に適用する際に実施される前処理の流れについて説明する。次いで、図３〜図３６を参照しながら、本実施形態に係る画像分類技術を実現可能な情報処理装置１０の機能構成及び動作について、より詳細に説明する。
【００１６】
次いで、図３７を参照しながら、本実施形態に係る画像分類技術を実現可能な情報処理装置１０の機能構成（Ｕ／Ｉを考慮した構成例）について説明する。次いで、図３８〜図４４を参照しながら、本実施形態に係る画像分類技術を実現可能な情報処理装置１０のＵ／Ｉを考慮した機能構成及び動作について、より詳細に説明する。
【００１７】
次いで、図４５を参照しながら、本実施形態に係る領域分割を考慮した画像分類技術を実現可能な情報処理装置２０の機能構成について説明する。次いで、図４６〜図４９を参照しながら、本実施形態に係る領域分割を考慮した画像分類技術を実現可能な情報処理装置２０の機能構成及び動作について、より詳細に説明する。
【００１８】
次いで、図５０を参照しながら、本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置３０の機能構成について説明する。次いで、図５１〜図７８を参照しながら、本実施形態に係る画像分類技術を応用した俯瞰画像生成技術を実現可能な情報処理装置３０の機能構成及び動作について、より詳細に説明する。次いで、図７９を参照しながら、本実施形態に係る画像分類技術及び俯瞰画像生成技術を実現可能なハードウェア構成例について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【００１９】
（説明項目）
１：はじめに
１−１：画像分類技術の概要
１−２：俯瞰画像生成技術の概要
１−３：システム構成について
２：画像分類技術の詳細
２−１：構成例＃１（領域分割を考慮しない場合）
２−１−１：情報処理装置１０の全体構成
２−１−２：動画に適用する場合の前処理
２−１−３：情報処理装置１０の詳細な構成及び動作
２−１−４：Ｕ／Ｉを考慮した構成及び動作
２−２：構成例＃２（領域分割を考慮する場合）
２−２−１：情報処理装置２０の全体構成
２−２−２：情報処理装置２０の詳細な構成及び動作
３：俯瞰画像生成技術の詳細
３−１：情報処理装置３０の全体構成
３−２：情報処理装置３０の詳細な構成及び動作
４：ハードウェア構成例
５：まとめ
【００２０】
＜１：はじめに＞
はじめに、本実施形態に係る画像分類技術の概要及び俯瞰画像生成技術の概要について説明する。また、本実施形態に係る画像分類技術及び俯瞰画像生成技術を実現することが可能なシステムの構成について簡単に言及する。
【００２１】
［１−１：画像分類技術の概要］
本実施形態に係る画像分類技術は、画像特徴量に基づいて画像又は画像領域をクラスタリングする技術に関する。また、後段の説明においては、各クラスタの代表画像を抽出し、抽出した代表画像を合成して合成画像を生成する技術についても紹介する。さらに、特徴量座標軸の組み合わせ（以下、規範と呼ぶ。）を複数用意し、各規範について画像の階層的クラスタリングを実施した結果を利用して、規範や階層を自由に行き来して所望の画像群を抽出できるようにしたユーザインターフェースの構成例についても紹介する。
【００２２】
［１−２：俯瞰画像生成技術の概要］
一方、本実施形態に係る俯瞰画像生成技術は、画像特徴量に基づく階層的クラスタリングの結果を利用して画像群の内容を容易に把握できるようにする表示制御方法に関する。また、後述する説明においては、規範や階層を自由に行き来して所望の画像群を抽出できるようにしたユーザインターフェースの実現方法や、画像群を俯瞰的に見る上で好適な合成画像の生成方法などについて紹介する。なお、ここで説明する俯瞰画像生成技術は、上記の画像分類技術を応用したものである。
【００２３】
［１−３：システム構成について］
本実施形態に係る画像分類技術及び俯瞰画像生成技術は、例えば、１台のコンピュータを利用して実現することも可能であるし、ネットワークを介して接続された複数台のコンピュータを利用して実現することも可能である。また、本実施形態に係る画像分類技術及び俯瞰画像生成技術は、クラウドコンピューティングシステムと情報端末とを組み合わせたシステムなどを利用して実現することも可能である。さらに、本実施形態に係る画像分類技術及び俯瞰画像生成技術は、画像のクラスタリング結果を反映した表示データを取得して表示する端末装置を組み合わせたシステムにより実現することも可能である。
【００２４】
以上、本実施形態に係る画像分類技術の概要、俯瞰画像生成技術の概要、これらの技術を実現することが可能なシステムの構成について説明した。以下では、本実施形態に係る画像分類技術及び俯瞰画像生成技術の詳細について順次説明する。
【００２５】
＜２：画像分類技術の詳細＞
以下、本実施形態に係る画像分類技術について説明する。
【００２６】
［２−１：構成例＃１（領域分割を考慮しない場合）］
まず、１枚１枚の画像を単位として画像特徴量を考える構成（構成例＃１）について説明する。
【００２７】
（２−１−１：情報処理装置１０の全体構成（図１））
図１を参照しながら、本実施形態に係る画像分類技術を実現可能な情報処理装置１０の全体構成について説明する。図１は、本実施形態に係る画像分類技術を実現可能な情報処理装置１０の全体構成について説明するための説明図である。
【００２８】
図１に示すように、情報処理装置１０は、主に、特徴検出・分類部１０１と、代表画像抽出部１０２と、合成画像生成部１０３とにより構成される。
【００２９】
情報処理装置１０にクラスタリングの対象となる画像群が入力されると、入力された画像群は、特徴検出・分類部１０１及び代表画像抽出部１０２に入力される。画像群が入力された特徴検出・分類部１０１は、入力された画像群に含まれる各画像から画像特徴量を検出し、検出した画像特徴量に基づいて画像をクラスタリングする。特徴検出・分類部１０１によるクラスタリングの結果（以下、分類結果）は、代表画像抽出部１０２に入力される。
【００３０】
画像群及び分類結果が入力された代表画像抽出部１０２は、入力された画像群及び分類結果に基づいて各クラスタの代表画像を抽出する。代表画像抽出部１０２により抽出された各クラスタの代表画像は、合成画像生成部１０３に入力される。各クラスタの代表画像が入力されると、合成画像生成部１０３は、入力された代表画像を合成して合成画像を生成する。合成画像生成部１０３により生成された合成画像は、表示装置（非図示）に表示される。なお、この表示装置は、情報処理装置１０に搭載されたディスプレイであってもよいし、ネットワークなどを通じて情報のやり取りが可能な端末装置のディスプレイであってもよい。
【００３１】
以上、情報処理装置１０の全体構成について説明した。
【００３２】
（２−１−２：動画に適用する場合の前処理（図２））
ここで、図２を参照しながら、本実施形態に係る画像分類技術を動画に適用する場合の前処理について説明する。図２は、本実施形態に係る画像分類技術を動画に適用する場合の前処理について説明するための説明図である。なお、この前処理は、情報処理装置１０以外の装置が事前に実施するようにシステムが構成されていてもよい。
【００３３】
図２に示すように、前処理を開始した情報処理装置１０は、動画の初期フレーム画像を取得して最新代表画像とする（Ｓ１０１）。次いで、情報処理装置１０は、最新代表画像と、注目フレーム画像との差をとる（Ｓ１０２）。画像の差は、例えば、ＳＳＤ（Ｓｕｍ  Ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）などの評価式を利用して得られる。
【００３４】
次いで、情報処理装置１０は、ステップＳ１０２で得た差が所定の閾値以下であるか否かを判定する（Ｓ１０３）。差が所定の閾値以下である場合、情報処理装置１０は、処理をステップＳ１０５に進める。一方、差が所定の閾値以下でない場合、情報処理装置１０は、処理をステップＳ１０４に進める。
【００３５】
処理をステップＳ１０４に進めた場合、情報処理装置１０は、注目フレーム画像を最新代表画像とする（Ｓ１０４）。次いで、情報処理装置１０は、全フレームについて処理が終了したか否かを判定する（Ｓ１０５）。全フレームについて処理が終了した場合、情報処理装置１０は、代表画像として抽出された画像群を保持して前処理を終了する。一方、全フレームについて処理が終了していない場合、情報処理装置１０は、処理をステップＳ１０６に進める。処理をステップＳ１０６に進めた場合、情報処理装置１０は、注目フレームを次のフレームに更新し（Ｓ１０６）、処理をステップＳ１０１に進める。
【００３６】
以上、動画に適用する場合の前処理について説明した。
【００３７】
（２−１−３：情報処理装置１０の詳細な構成及び動作（図３〜図３６））
次に、図３〜図３６を参照しながら、情報処理装置１０の詳細な構成及び動作について説明する。図３〜図３６は、情報処理装置１０の詳細な構成及び動作について説明するための説明図である。
【００３８】
（特徴検出・分類部１０１の構成及び動作）
まず、図３を参照する。図３に示すように、特徴検出・分類部１０１は、主に、画像特徴検出部１１１と、特徴分類部１１２とにより構成される。画像特徴検出部１１１は、入力された画像群に含まれる各画像の画像特徴量を検出する。画像特徴検出部１１１により検出された画像特徴量は、特徴分類部１１２に入力される。画像特徴量が入力されると、特徴分類部１１２は、入力された画像特徴量に基づいて画像をクラスタリングし、クラスタリングの結果（分類結果）を出力する。以下、より詳細に説明する。
【００３９】
画像特徴検出部１１１による画像特徴量の検出結果は、図４に示すような特徴量テーブルとして纏めることができる。図４の例では、各画像に対して複数の画像特徴量（特徴量１〜Ｍ）及び分類結果が対応付けられている。但し、分類結果の欄は、特徴分類部１１２によるクラスタリングの結果が得られた後で、特徴分類部１１２により追記される。また、画像特徴量としては、例えば、図５に示すような特徴量がある。図５に示すように、画像特徴量の種類は多数存在し、また、その求め方も何種類が存在する。
【００４０】
（ＤＣ成分特徴量検出）
例えば、画像特徴量としてＤＣ成分特徴量を利用する場合、画像特徴検出部１１１は、図６に示すような構成になる。この場合、図６に示すように、画像特徴検出部１１１は、主に、ヒストグラム算出部１２１と、代表値算出部１２２とにより構成される。
【００４１】
ヒストグラム算出部１２１は、ヒストグラムをとるために画像を所定の形式に変換する。例えば、明度・彩度・色相のヒストグラムをとる場合、ヒストグラム算出部１２１は、画像をＨＳＶ色空間に変換し、変換後の値を利用してヒストグラムを求める。また、コントラストなどのヒストグラムをとる場合、ヒストグラム算出部１２１は、注目画素周辺のＮ×Ｍ画素中でコントラスト値を求め、求めたコントラスト値を注目画素のコントラスト値とみなしてヒストグラムを求める。このようにして求められたヒストグラムの情報は、代表値算出部１２２に入力される。
【００４２】
ヒストグラムの情報が入力されると、代表値算出部１２２は、入力されたヒストグラムから代表値を求める。例えば、代表値算出部１２２は、頻度が最大の値、平均値、分散値、標準偏差値などを代表値とする。代表値算出部１２２により算出された代表値は、入力された画像の画像特徴量として出力される。
【００４３】
（テクスチャ成分特徴量検出）
また、画像特徴量としてテクスチャ成分特徴量を利用する場合、画像特徴検出部１１１は、図７に示すような構成になる。この場合、図７に示すように、画像特徴検出部１１１は、主に、ローパスフィルタ１３１と、エッジ検出フィルタ１３２と、ヒストグラム算出部１３３と、代表値算出部１３４とにより構成される。
【００４４】
まず、入力された画像は、ローパスフィルタ１３１を通過して高周波成分がカットされる。ローパスフィルタ１３１により高周波成分がカットされた画像は、エッジ検出フィルタ１３２に入力される。エッジ検出フィルタ１３２としては、例えば、Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓ  ｃｒｏｓｓ、Ｌａｐｌａｃｉａｎ、Ｃａｎｎｙなどのフィルタが利用可能である。エッジ検出フィルタ１３２により検出されたエッジ情報は、ヒストグラム算出部１３３に入力される。
【００４５】
エッジ情報が入力されたヒストグラム算出部１３３は、例えば、エッジ情報に基づいてヒストグラムを生成する。ヒストグラム算出部１３３により生成されたヒストグラムの情報は、代表値算出部１３４に入力される。ヒストグラムの情報が入力されると、代表値算出部１３４は、入力されたヒストグラムから代表値を求める。例えば、代表値算出部１３４は、頻度が最大の値、平均値、分散値、標準偏差値などを代表値とする。代表値算出部１３４により算出された代表値は、入力された画像の画像特徴量として出力される。
【００４６】
（空間周波数特徴量検出）
また、画像特徴量として空間周波数特徴量を利用する場合、画像特徴検出部１１１は、図８に示すような構成になる。この場合、図８に示すように、画像特徴検出部１１１は、主に、２次元ＦＦＴ部１４１と、ＤＣ成分抽出部１４２と、ＡＣ成分抽出部１４３と、２次元ＩＦＦＴ部１４４と、２値化部１４５と、直線成分検出フィルタ１４６とにより構成される。
【００４７】
まず、入力された画像は、２次元ＦＦＴ部１４１により空間領域から周波数領域へと変換される。２次元ＦＦＴ部１４１の出力（以下、ＦＦＴ出力）は、ＤＣ成分抽出部１４２及びＡＣ成分抽出部１４３に入力される。ＦＦＴ出力が入力されたＤＣ成分抽出部１４２は、ＦＦＴ出力からＤＣ成分を抽出し、抽出したＤＣ成分をＤＣ成分特徴量として出力する。また、ＡＣ成分抽出部１４３は、ＦＦＴ出力からＡＣ成分を抽出し、抽出したＡＣ成分を２次元ＩＦＦＴ部１４４に入力する。２次元ＩＦＦＴ部１４４は、入力されたＡＣ成分を周波数領域から空間領域へ変換し、ＦＦＴ出力として２値化部１４５に入力する。２値化部１４５は、入力されたＦＦＴ出力を２値化する。
【００４８】
２値化部１４５の出力（以下、２値化出力）は、直線成分検出フィルタ１４６に入力される。２値化出力が入力されると、直線成分検出フィルタ１４６は、２値化出力から直線成分を検出する。直線成分検出フィルタ１４６としては、例えば、Ｈｏｕｇｈ変換などのフィルタを利用することが可能である。
【００４９】
なお、直線成分検出フィルタ１４６により検出された直線分は、空間周波数領域において多く占める空間周波数帯域の特徴を表す。例えば、水平線の検出は、元の画像で強い水平エッジが多数存在することを表している。つまり、直線分を求めることにより、元の画像において多数を占めるエッジが求められるため、直線分の検出結果を画像特徴量として利用することができるのである。なお、直線成分検出フィルタ１４６により検出された直線分の検出結果は、ＡＣ成分特徴量として出力される。
【００５０】
（顔特徴量検出）
また、画像特徴量として顔特徴量を利用する場合、画像特徴検出部１１１は、図９に示すような構成になる。この場合、図９に示すように、画像特徴検出部１１１は、主に、顔認識部１５１と、顔マッチング部１５２と、顔データベース１５３とにより構成される。
【００５１】
まず、顔認識部１５１に画像が入力される。画像が入力されると、顔認識部１５１は、任意の顔認識技術を利用して、入力された画像に含まれる顔を認識する。顔認識部１５１による顔認識の結果は、顔マッチング部１５２に入力される。顔認識の結果が入力されると、顔マッチング部１５２は、入力された顔認識の結果と、顔データベース１５３に登録された顔の情報とを照合し、画像に含まれる顔が誰かを認識する。例えば、顔データベース１５３には、家族や友人などの顔が登録されている。この場合、画像に家族や友人などの顔が含まれていれば、その検出結果が画像特徴量として出力される。
【００５２】
（シーン認識特徴量検出）
また、画像特徴量としてシーン認識特徴量を利用する場合、画像特徴検出部１１１は、図１０に示すような構成になる。この場合、図１０に示すように、画像特徴検出部１１１は、主に、色分布判定部１６１と、エッジ検出フィルタ１６２と、直線成分検出フィルタ１６３と、長直線数計数部１６４と、シーン判定部１６５と、バンドパスフィルタ１６６と、ヒストグラム算出部１６７とにより構成される。
【００５３】
まず、入力された画像は、色分布判定部１６１、エッジ検出フィルタ１６２、及びバンドパスフィルタ１６６に入力される。色分布判定部１６１は、入力された画像の色分布を判定し、その判定結果をシーン判定部１６５に入力する。また、エッジ検出フィルタ１６２は、入力さえた画像からエッジ情報を検出し、その検出結果を直線成分検出フィルタ１６３に入力する。直線成分検出フィルタ１６３は、入力されたエッジ情報の検出結果から直線分を検出し、その検出結果を長直線数計数部１６４に入力する。
【００５４】
長直線数計数部１６４は、入力された直線分の検出結果から長直線数を計数し、その計数結果をシーン判定部１６５に入力する。また、バンドパスフィルタ１６６を通過した入力画像の成分は、ヒストグラム算出部１６７に入力される。なお、自然物が多く写り込んでいる場合、バンドパスフィルタの出力が強いと推定される。ヒストグラム算出部１６７は、入力された成分のエッジ情報についてヒストグラムを生成し、生成したヒストグラムの情報（以下、ＢＰＨ係数）をシーン判定部１６５に入力する。
【００５５】
シーン判定部１６５は、色分布判定部１６１の判定結果、長直線数計数部１６４の出力、及びＢＰＨ係数に基づいてシーンを判定する。シーン判定部１６５は、例えば、ｌａｎｄｓｃａｐｅ、ｉｎｄｏｏｒ、ｏｕｔｄｏｏｒ、ｕｒｂａｎ、ｐｏｒｔｒａｔｅなどのシーン群から該当するシーンを判定する。例えば、ｕｒｂａｎやｉｎｄｏｏｒシーンの画像は、人工物が多く含まれると想定されるため、長直線数計数部１６４の出力（長線分の数）を判定値として用いることができる。
【００５６】
例えば、シーン判定部１６５は、「長い直線分が多ければｕｒｂａｎ、画像上部が、空存在割合が高く下部に緑存在割合が高ければｌａｎｄｓｃａｐｅ、肌色が多ければｐｏｒｔｒａｔｅ」のようにしてシーンを判定する。シーン判定部１６５による判定結果は、シーンパラメータとして出力される。
【００５７】
ここで、図１１を参照しながら、色分布判定部１６１の構成について、より詳細に説明する。図１１は、色分布判定部１６１の構成について、より詳細に説明するための説明図である。
【００５８】
図１１に示すように、色分布判定部１６１は、主に、ＨＳＶ変換部１６１１と、空色判定部１６１２と、空確率算出部１６１３と、累計部１６１４、１６１７、１６１９と、緑色判定部１６１５と、緑確率算出部１６１６と、肌色判定部１６１８とにより構成される。
【００５９】
色分布判定部１６１に入力された画像は、まず、ＨＳＶ変換部１６１１に入力される。ＨＳＶ変換部１６１１は、入力された画像をＨＳＶ形式の表現に変換する。ＨＳＶ変換部１６１１によりＨＳＶ形式で表現された画像は、空色判定部１６１２、緑色判定部１６１５、及び肌色判定部１６１８に入力される。まず、空色判定部１６１２は、色相Ｈの範囲で注目画像が空色であるか否かを判定し、注目画素が空色ならばｆｌａｇ＝１、空色でないならばｆｌａｇ＝０としてフラグ値ｆｌａｇを出力する。空色判定部１６１２により出力されたフラグ値ｆｌａｇは、空確率算出部１６１３に入力される。
【００６０】
空確率算出部１６１３は、入力されたフラグ値ｆｌａｇに基づいて注目画素ｐｘが空である確率Ｐｓ（ｐｘ）＝（高さ−ｙ）／高さ×ｆｌａｇを算出する。但し、「高さ」は画像の高さであり、ｙは注目画素の高さ方向の座標である。空確率算出部１６１３により算出された確率Ｐｓ（ｐｘ）は、累計部１６１４に入力される。なお、同様にして画像全体で注目画素を移動させながら、順次、フラグ値ｆｌａｇ及び確率Ｐｓが算出され、累計部１６１４に入力される。累計部１６１４は、画像を構成する全画素について算出された確率Ｐｓを累計し、その累計値を空存在判定値として出力する。
【００６１】
同様に、緑色判定部１６１５は、注目画素が緑色か否かを判定し、注目画素が緑色ならばｆｌａｇ＝１、緑色でないならばｆｌａｇ＝０としてフラグ値ｆｌａｇを出力する。緑色判定部１６１５により出力されたフラグ値ｆｌａｇは、緑確率算出部１６１６に入力される。緑確率算出部１６１６は、入力されたフラグ値ｆｌａｇに基づいて注目画素ｐｘが緑である確率Ｐｇ（ｐｘ）＝ｙ／高さ×ｆｌａｇを算出する。緑確率算出部１６１６により算出された確率Ｐｇ（ｐｘ）は、累計部１６１７に入力される。
【００６２】
同様にして画像全体で注目画素を移動させながら、順次、フラグ値ｆｌａｇ及び確率Ｐｇが算出され、累計部１６１７に入力される。累計部１６１７は、画像を構成する全画素について算出された確率Ｐｇを累計し、その累計値を緑存在判定値として出力する。
【００６３】
また、肌色判定部１６１８は、注目画素が肌色か否かを判定し、注目画素が肌色ならばｆｌａｇ＝１、肌色でないならばｆｌａｇ＝０としてフラグ値ｆｌａｇを出力する。肌色判定部１６１８により出力されたフラグ値ｆｌａｇは、累計部１６１９に入力される。さらに、画像全体で注目画素を移動させながら、順次、フラグ値ｆｌａｇが算出され、累計部１６１９に入力される。累計部１６１９は、画像を構成する全画素について算出されたｆｌａｇを累計し、その累計値を肌色存在判定値として出力する。
【００６４】
上述したように、色分布判定部１６１による判定結果（空存在判定値、緑存在判定値、肌色存在判定値）は、シーン判定に利用される。例えば、画像上部を空色が占め、画像下部を緑色が占めている場合、その画像のシーンは、「ｌａｎｄｓｃａｐｅ」シーンであると判定される。このような判定を実施するために、空色及び緑色が画像のどこに主に分布しているのかを判定する判定基準を算出しているのである。なお、肌色については、画像位置との関連性が低いので、肌色が占める面積をそのまま肌存在判定値として用いる。
【００６５】
以上、色分布判定部１６１の構成について説明した。
【００６６】
ここで、図１２を参照しながら、シーン判定部１６５がシーン判定するために用いるシーン判定条件の具体例を紹介する。図１２は、シーン判定部１６５がシーン判定するために用いるシーン判定条件の具体例を示した説明図である。
【００６７】
図１２において、ｔｈ＿ｓｋｉｎは、肌色存在判定スレッショルド値である。また、ｔｈ＿ｓｋｙは、空存在判定スレッショルド値である。さらに、ｔｈ＿ｇｒｅｅｎは、緑存在判定スレッショルド値である。そして、ｔｈ＿ｌｉｎｅは、長直線分存在判定スレッショルド値である。また、ｔｈ＿ｂｐｈは、自然物存在判定スレッショルド値である。なお、図中で「―」と表示される部分は、考慮しないことを意味する。また、図１２の例では、優先順位に従ってシーン判定の処理が実行されるものとする。もちろん、この優先順位は、必要に応じて適宜変更可能である。
【００６８】
上記のように、シーン判定部１６５には、肌色存在判定値、空存在判定値、緑存在判定値、長直線分数、ＢＰＨ係数が入力される。図１２の例において、シーン判定部１６５は、まず、肌色判定値＞ｔｈ＿ｓｋｉｎであるか否かを判定する。肌色判定値＞ｔｈ＿ｓｋｉｎである場合、シーン判定部１６５は、対象とする画像のシーンが「ｐｏｒｔｒａｔｅ」であると判定し、その判定結果をシーン認識結果として出力する。肌色判定値≦ｔｈ＿ｓｋｉｎである場合、シーン判定部１６５は、空色存在判定値＜ｔｈ＿ｓｋｙ、緑存在判定値≦ｔｈ＿ｇｒｅｅｎ、長直線分数＞ｔｈ＿ｌｉｎｅの全条件を満たすか否かを判定する。そして、全条件を満たす場合、シーン判定部１６５は、対象とする画像のシーンが「ｉｎｄｏｏｒ」であると判定し、その判定結果をシーン認識結果として出力する。
【００６９】
同様に、入力値が、優先順位が２の判定条件を満たさない場合、シーン判定部１６５は、優先順位が３の判定条件を満たすか否かを判定する。さらに、入力値が、優先順位が３の判定条件を満たさない場合、シーン判定部１６５は、優先順位が４の判定条件を満たすか否かを判定する。このように、シーン判定部１６５は、優先順位に従って判定条件を順次検証し、判定条件を満たす場合にはシーン認識結果を出力する。また、図１２の例において、優先順位１〜６の判定条件を全て満たさない場合、シーン判定部１６５は、対象とする画像のシーンが認識できないことを示す「ｕｎｋｎｏｗｎ」をシーン認識結果として出力する。
【００７０】
以上、シーン判定部１６５がシーン判定に用いるシーン判定条件の具体例を紹介した。もちろん、ここで紹介した具体例以外にも任意にシーン判定条件を設定することが可能である。また、シーン判定部１６５は、各入力値と各スレッショルド値との比をシーン認識確率として算出し、算出したシーン認識確率をシーン認識結果として出力するように構成されていてもよい。このとき、シーン認識確率を多値化して出力するようにしてもよい。
【００７１】
（階層的クラスタリング）
次に、図１３〜図２３を参照しながら、階層的クラスタリング（例えば、最短距離法やＷａｒｄ’ｓ法）に基づく特徴量の分類が可能な特徴分類部１１２の構成及び動作について説明する。図１３〜図２３は、階層的クラスタリングに基づく特徴量の分類が可能な特徴分類部１１２の構成及び動作について説明するための説明図である。
【００７２】
図１３に示すように、特徴分類部１１２は、主に、階層的クラスタリング処理部１７１と、グルーピング部１７２とにより構成される。
【００７３】
特徴分類部１１２に画像特徴量が入力されると、階層的クラスタリング処理部１７１は、入力された画像特徴量に基づく階層的クラスタリングにより画像を各クラスタに分類する。このとき、クラスタリング結果の系統樹が生成され、グルーピング部１７２に入力される。クラスタリング結果の系統樹が入力されると、グルーピング部１７２は、クラスタリング結果の系統樹に基づいて当該系統樹を構成する各クラスタ要素をグルーピングする。そして、グルーピング部１７２は、グルーピングの結果を分類結果として出力する。
【００７４】
ここで、図１４を参照しながら、階層的クラスタリング処理部１７１の動作について、より詳細に説明する。図１４は、階層的クラスタリング処理部１７１の動作について、より詳細に説明するための説明図である。
【００７５】
図１４に示すように、階層的クラスタリングを開始した階層的クラスタリング処理部１７１は、Ｎ個の画像を、画像を各々１個だけ含むＮ個のクラスタに分割する（Ｓ１１１）。次いで、階層的クラスタリング処理部１７１は、全てのクラスタ間距離を求める（Ｓ１１２）。例えば、階層的クラスタリング処理部１７１は、図１５に示すような手法を用いてクラスタ間距離を求める。
【００７６】
次いで、階層的クラスタリング処理部１７１は、クラスタ間の距離が最小のクラスタを１つのクラスタに纏め、系統樹を更新する（Ｓ１１３）。次いで、階層的クラスタリング処理部１７１は、クラスタが１つになったか否かを判定する（Ｓ１１４）。クラスタが１つになった場合、階層的クラスタリング処理部１７１は、階層的クラスタリング処理を終了する。一方、クラスタが１つになっていない場合、階層的クラスタリング処理部１７１は、処理をステップＳ１１１に戻す。
【００７７】
例えば、図１６に示すように、階層的クラスタリング処理の１回目においては、画像特徴量に基づいて特徴量空間上に配置された点Ａ〜Ｄに対応する画像がそれぞれクラスタＡ〜Ｄに対応付けられる。また、クラスタ間距離は、図１６に示すようなクラスタ間距離行列により表現される。なお、説明を簡単にするため、特徴量空間を２次元的に表現しているが、実際には多次元の特徴量空間が用いられる。
【００７８】
図１６の上図に示したクラスタ間距離行列を参照すると、クラスタＢとクラスタＣとの間のクラスタ間距離が０．６で最小となるため、階層的クラスタリング処理の２回目においてクラスタＢとクラスタＣとが統合され、１つのクラスタＣＬ１にまとめられる。そして、クラスタＣＬ１とクラスタＡ及びＤとの間のクラスタ間距離が算出され、クラスタ間距離行列が更新される。
【００７９】
階層的クラスタリング処理の２回目において生成される系統樹は、図１７のように表現される。つまり、階層的クラスタリング処理の２回目において、図１７に示すように、クラスタＢ及びＣがクラスタＣＬ１に属する系統樹の構造が形成される。また、クラスタＣＬ１は、例えば、図１８に示すようなデータ構造で表現される。図１８の例では、クラスタＣＬ１に属する２つのクラスタについて、「クラスタ間距離≧閾値」を満たすか否かを示すマーク、クラスタ間距離、左側のクラスタへのポインタ、右側のクラスタへのポインタを示したデータが構造的に表現されている。このようなデータ構造を用いることで、クラスタＣＬ１の属性を的確に表現することが可能になる。
【００８０】
次に、図１６の下図に示したクラスタ間距離行列を参照すると、クラスタＣＬ１とクラスタＤとの間のクラスタ間距離が１．３３で最小となるため、階層的クラスタリング処理の３回目においてクラスタＣＬ１とクラスタＤとが統合され、１つのクラスタＣＬ２にまとめられる（図１９の上図参照）。そして、クラスタＣＬ２とクラスタＡとの間のクラスタ間距離が算出され、クラスタ間距離行列が更新される。このとき、階層的クラスタリング処理の３回目において生成される系統樹は、図２０のような構造となる。さらに、階層的クラスタリング処理の４回目を実施すると、図１９の下図に示すように、全てのクラスタが１つのクラスタＣＬ３に統合される。このとき、階層的クラスタリング処理の４回目において生成される系統樹は、図２１のような構造となる。
【００８１】
ここで示した例においては、階層的クラスタリング処理の４回目においてクラスタが１つになったので階層的クラスタリング処理は終了する。このようにして階層的クラスタリング処理が実行される。そして、階層的クラスタリング処理の結果を示す系統樹の情報は、グルーピング部１７２に入力される。
【００８２】
ここで、図２２を参照しながら、グルーピング部１７２の動作について、より詳細に説明する。図２２は、グルーピング部１７２の動作について、より詳細に説明するための説明図である。
【００８３】
図２２に示すように、まず、グルーピング部１７２は、系統樹の分岐における左右の枝間の距離（クラスタ間距離）を判定する（Ｓ１２１）。次いで、グルーピング部１７２は、ステップＳ１２１で判定した距離が閾値より大きいか否かを判定する（Ｓ１２２）。判定した距離が閾値より大きい場合、グルーピング部１７２は、処理をステップＳ１２３に進める。一方、判定した距離が閾値より小さい場合、グルーピング部１７２は、処理をステップＳ１２４に進める。処理をステップＳ１２３に進めた場合、グルーピング部１７２は、分岐にマークを付して処理をステップＳ１２４に進める。
【００８４】
処理をステップＳ１２４に進めた場合、グルーピング部１７２は、全ての分岐の探索を終了するか否かを判定する（Ｓ１２４）。全ての分岐の探索を終了する場合、グルーピング部１７２は、処理をステップＳ１２５に進める。一方、全ての分岐の探索を終了しない場合、グルーピング部１７２は、処理をステップＳ１２１に進める。処理をステップＳ１２５に進めた場合、グルーピング部１７２は、現在の分岐からマークされていない分岐を全て探索し、葉の画像（つまり、分岐にぶら下がるクラスタに対応する画像）を同じクラスタに登録して分類結果を記録する（Ｓ１２５）。
【００８５】
次いで、グルーピング部１７２は、次の分岐を現在の分岐とする（Ｓ１２６）。次いで、グルーピング部１７２は、全ての分岐の探索を終了するか否かを判定する（Ｓ１２７）。全ての分岐の探索を終了する場合、グルーピング部１７２は、分類結果としてグルーピングの結果を出力し、グルーピング処理に係る一連の処理を終了する。一方、全ての分岐の探索を終了しない場合、グルーピング部１７２は、処理をステップＳ１２５に進める。
【００８６】
以上説明した処理の内容は、図２３のように模式的に表現される。図２３に示すように、グルーピング処理の第１ステップとして、距離が閾値よりも大きい分岐が探索される。次に、グルーピング処理の第２ステップとして、距離が閾値より大きい分岐にマークが付される。次に、グルーピング処理の第３ステップとして、マークされた分岐を基準に各分岐にぶら下がる葉の要素がそれぞれグループ化される。このような流れでグルーピング処理が実行され、画像の分類結果が得られる。
【００８７】
（最適化クラスタリング）
上述した階層的クラスタリングの他にも、特徴分類部１１２によるクラスタリング処理には、ｋ−ｍｅａｎｓ法などの最適化クラスタリング手法を適用することが可能である。この場合、図２４に示すように、特徴分類部１１２は、主に、最適化クラスタリング処理部１８１により構成される。ここで、図２５を参照しながら、最適化クラスタリング処理部１８１の動作について詳細に説明する。
【００８８】
図２５に示すように、最適化クラスタリング処理部１８１は、まず、初期値として、Ｍ個の分類種子位置を決める（Ｓ１３１）。このとき、最適化クラスタリング処理部１８１は、例えば、ランダムにＭ個の分類種子位置を決める（図２６の上図参照）。次いで、最適化クラスタリング処理部１８１は、入力画像を一番近い分類種子位置に分類する（Ｓ１３２）。次いで、最適化クラスタリング処理部１８１は、入力画像を一番近い分類種子位置のクラスに分類する（Ｓ１３３）。
【００８９】
次いで、最適化クラスタリング処理部１８１は、各クラスの平均位置又は重心を計算し、その位置を新しいクラスの種子位置とする（Ｓ１３４；図２６の下図参照）。次いで、最適化クラスタリング処理部１８１は、旧種子位置と新種子位置との差が所定の閾値より小さいか否かを判定する（Ｓ１３５）。差が所定の閾値より小さい場合、最適化クラスタリング処理部１８１は、最適化クラスタリング処理に係る一連の処理を終了する。一方、差が所定の閾値より大きい場合、最適化クラスタリング処理部１８１は、処理をステップＳ１３２に進める。
【００９０】
具体的には、図２６に示すように、最適化クラスタリング処理が実行されて分類種子位置が更新され、更新前の分類種子位置と更新後の分類種子位置との差について閾値判定が実施される。そして、差が閾値よりも大きい場合、図２７に示すように、再び分類種子位置が更新され、更新前の分類種子位置と更新後の分類種子位置との差について閾値判定が実施される。例えば、２回目の更新処理後に、更新前の分類種子位置と更新後の分類種子位置との差が閾値よりも小さくなったならば、図２７の下図に示した更新後の分類種子位置が得られた状態で最適化クラスタリング処理は終了される。
【００９１】
以上、最適化クラスタリング手法に基づく特徴量の分類が可能な特徴分類部１１２の構成及び動作について説明した。なお、ここでは簡単のために２次元の特徴量空間を例に説明を進めたが、実際には多次元の特徴量空間で処理が実施される。
【００９２】
以上、特徴検出・分類部１０１の構成及び動作について説明した。
【００９３】
（代表画像抽出部１０２の構成及び動作）
次に、代表画像抽出部１０２の構成及び動作について説明する。代表画像抽出部１０２は、特徴検出・分類部１０１によるクラスタリング結果（図２８を参照）に基づき、各クラスタの代表画像を抽出する。例えば、代表画像抽出部１０２は、各クラスタを構成する画像について、クラスタの軸となっている特徴量の平均値や重心を求め、求めた値に一番近い特徴量を持つ画像を選択することで各クラスタから代表画像を抽出する。また、他の例として、代表画像抽出部１０２は、彩度が一番高い領域が偏っている画像など、目立つ画像を代表画像として抽出するように構成されていてもよい。以下、図２９を参照しながら、代表画像抽出部１０２の構成について、より詳細に説明する。
【００９４】
図２９に示すように、代表画像抽出部１０２は、主に、平均値／重心算出部１９１と、代表画像決定部１９２とにより構成される。
【００９５】
クラスタリングの対象とされた画像群及びその分類結果は、平均値／重心算出部１９１及び代表画像決定部１９２にそれぞれ入力される。これらの入力を受け、まず、平均値／重心算出部１９１は、各クラスタを構成する画像に関する特徴量の平均値又は重心を算出する。平均値／重心算出部１９１により算出された特徴量の平均値又は重心は、代表画像決定部１９２に入力される。特徴量の平均値又は重心が入力されると、代表画像決定部１９２は、例えば、入力された特徴量の平均値又は重心に最も近い特徴量を有する画像を代表画像に決定し、決定した代表画像の情報を出力する。
【００９６】
ここで、図３０を参照しながら、平均値／重心算出部１９１の動作について、より詳細に説明する。但し、ここでは特徴量の平均値を算出する構成を例に挙げて説明する。図３０は、平均値／重心算出部１９１の動作について、より詳細に説明するための説明図である。
【００９７】
図３０に示すように、平均値の算出処理を開始した平均値／重心算出部１９１は、まず、代表画像を求めるクラスタを選択する（Ｓ１４１）。次いで、平均値／重心算出部１９１は、現在の特徴量テーブルの行のクラスタと、代表画像を求めるクラスタとが同じものか否かを判定する（Ｓ１４２）。両者が同じである場合、平均値／重心算出部１９１は、処理をステップＳ１４３に進める。一方、両者が同じでない場合、平均値／重心算出部１９１は、処理をステップＳ１４４に進める。処理をステップＳ１４３に進めた場合、平均値／重心算出部１９１は、特徴量の累計処理を実行する（Ｓ１４３）。
【００９８】
次いで、平均値／重心算出部１９１は、現在の特徴量テーブルの行について処理が終了したか否かを判定する（Ｓ１４５）。現在の特徴量テーブルの行について処理が終了した場合、平均値／重心算出部１９１は、処理をステップＳ１４６に進める。一方、現在の特徴量テーブルの行について処理が終了していない場合、平均値／重心算出部１９１は、処理をステップＳ１４４に進める。処理をステップＳ１４４に進めた場合、平均値／重心算出部１９１は、現在の特徴量テーブルを更新し（Ｓ１４４）、処理をステップＳ１４２に進める。
【００９９】
処理をステップＳ１４６に進めた場合、平均値／重心算出部１９１は、平均値を計算し、現在の処理クラスタにおける特徴量の平均値として登録する（Ｓ１４６）。次いで、平均値／重心算出部１９１は、全てのクラスタについて処理を終了したか否かを判定する（Ｓ１４７）。全てのクラスタについて処理を終了した場合、平均値／重心算出部１９１は、平均値の算出に係る一連の処理を終了する。一方、全てのクラスタについて処理を終了していない場合、平均値／重心算出部１９１は、処理をステップＳ１４８に進める。処理をステップＳ１４８に進めた場合、平均値／重心算出部１９１は、現在の処理クラスタを更新し（Ｓ１４８）、処理をステップＳ１４１に進める。
【０１００】
以上、平均値／重心算出部１９１の動作について説明した。
【０１０１】
次に、図３１を参照しながら、代表画像決定部１９２の動作について、より詳細に説明する。図３１は、代表画像決定部１９２の動作について、より詳細に説明するための説明図である。
【０１０２】
図３１に示すように、代表画像の抽出処理を開始した代表画像決定部１９２は、現在の特徴量テーブルからクラスタと特徴量とを取得する（Ｓ１５１）。次いで、代表画像決定部１９２は、クラスタの平均値と現在の特徴量との差Ａを求める（Ｓ１５２）。次いで、代表画像決定部１９２は、既に求めた他クラスタの代表画像の特徴量と各画像の特徴量との距離を全て求め、その中から最小距離Ｂを算出する（Ｓ１５３）。次いで、代表画像決定部１９２は、差Ａと最小距離Ｂとに基づいて評価値を算出する（Ｓ１５４）。
【０１０３】
次いで、代表画像決定部１９２は、ステップＳ１５４で算出した評価値が最小か否かを判定する（Ｓ１５５）。評価値が最小の場合、代表画像決定部１９２は、処理をステップＳ１５６に進める。一方、評価値が最小でない場合、代表画像決定部１９２は、処理をステップＳ１５８に進める。処理をステップＳ１５６に進めた場合、代表画像決定部１９２は、クラスタの代表画像を更新する（Ｓ１５６）。次いで、代表画像決定部１９２は、現在の特徴量テーブルの行を次の行へと更新し（Ｓ１５７）、処理をステップＳ１５１に進める。
【０１０４】
ステップＳ１５５において処理をステップＳ１５８に進めた場合、代表画像決定部１９２は、全ての特徴量テーブルの行が終了したか否かを判定する（Ｓ１５８）。全ての特徴量テーブルの行が終了した場合、代表画像決定部１９２は、代表画像抽出に係る一連の処理を終了する。一方、全ての特徴量テーブルの行が終了していない場合、代表画像決定部１９２は、処理をステップＳ１５７に進める。
【０１０５】
以上、代表画像決定部１９２の動作について説明した。
【０１０６】
以上、代表画像抽出部１０２の構成及び動作について説明した。
【０１０７】
（合成画像生成部１０３の構成及び動作）
次に、合成画像生成部１０３の構成及び動作について説明する。合成画像生成部１０３は、各クラスタから抽出した代表画像を合成して合成画像を生成する。合成画像の生成方法としては、例えば、図３２に示すように、複数の代表画像を単純に整列させた配置で合成する方法などが考えられる。しかし、ここでは、複数の代表画像をシームレスに合成する画像合成方法を紹介する。この画像合成方法を適用する場合、合成画像生成部１０３の動作は、図３３のようになる。
【０１０８】
図３３に示すように、代表画像の合成処理を開始した合成画像生成部１０３は、まず、最初の代表画像を決定する（Ｓ１６１）。次いで、合成画像生成部１０３は、未合成の画像の辺全てと、現在合成済みの画像の辺全てとの組み合わせについて差を求める（Ｓ１６２；図３４を参照）。画像の差は、例えば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関（ＮＣＣ、Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）などの相違度を求める式により得られる。次いで、合成画像生成部１０３は、ステップＳ１６２で求めた差が最小となる辺の組み合わせを検出する（Ｓ１６３；図３４を参照）。
【０１０９】
次いで、合成画像生成部１０３は、ステップＳ１６３で検出した辺を持ち、かつ、未合成の画像を、その辺で合成済みの画像と合成する（Ｓ１６４）。このとき、最小の辺同士を重ねて合成するため、合成境界が最小となるように、合成画像生成部１０３は、必要に応じて、どちらかの画像の拡大／縮小／回転を実施する。また、自然な境界とするために、合成画像生成部１０３は、合成境界部分においてＬＰＦ処理やモーフィング処理などを施す。これらの処理によって合成境界が目立たなくなる。
【０１１０】
次いで、合成画像生成部１０３は、全ての代表画像について処理を終了したか否かを判定する（Ｓ１６５）。一方、全ての代表画像について処理を終了した場合、合成画像生成部１０３は、代表画像の合成に係る一連の処理を終了する。全ての代表画像について処理を終了していない場合、合成画像生成部１０３は、処理をステップＳ１６２に進め、再びステップＳ１６２〜Ｓ１６５の処理を実行する。例えば、図３５に示すように、合成処理を１回実施後に再び算出される差の最小値は、初期配置に基づいて算出された差の最小値（図３４を参照）と異なる位置に検出されうる。そして、この検出結果に基づいて画像がさらに合成される。同様にして、図３６に示すように代表画像が順次合成され、最終的に出力される合成画像が生成される。
【０１１１】
以上、合成画像生成部１０３の構成及び動作について説明した。
【０１１２】
以上、情報処理装置１０の詳細な構成及び動作について説明した。
【０１１３】
（２−１−４：Ｕ／Ｉを考慮した構成及び動作（図３７〜図４４））
ここで、合成画像を見ながら、ユーザインターフェース（以下、Ｕ／Ｉ）を介してクラスタリングの対象とする画像を取捨選択できるようにし、各種パラメータの調整などを行えるようにした情報処理装置１０の構成及び動作について説明する。この場合、情報処理装置１０は、図３７に示すような構成に変形される。
【０１１４】
図３７に示すように、図１に示した情報処理装置１０との違いは、Ｕ／Ｉ提供部１１及び画像選択処理部１２の存在にある。そこで、図３７〜図４４を参照しながら、Ｕ／Ｉ提供部１１により提供されるＵ／Ｉの構成、及びこのＵ／Ｉを利用して実現されるクラスタリング結果の切り替え処理などについて説明する。
【０１１５】
まず、図３７を参照する。一例として、情報処理装置１０に入力された画像群の中からクラスタリングの対象とする画像を選択するＵ／Ｉを提供する場合について考える。この場合、Ｕ／Ｉ提供部１１により提供されたＵ／Ｉを用いて画像が選択されると、選択された画像の抽出に用いるパラメータ（元画像抽出パラメータ；ＩＤなど）が画像選択処理部１２に入力される。元画像抽出パラメータが入力されると、画像選択処理部１２は、入力された元画像抽出パラメータに基づき、元の画像群からクラスタリングに用いる画像（選択画像）を抽出する。そして、画像選択処理部１２は、選択画像で構成される画像群、当該各選択画像の特徴量、分類結果などを特徴検出・分類部１０１などに入力する。
【０１１６】
なお、選択画像で構成される画像群をクラスタリングの対象とするが、特徴検出・分類部１０１、代表画像抽出部１０２、合成画像生成部１０３の構成及び動作は、図１に示した情報処理装置１０における構成及び動作と実質的に同じである。従って、図３８に示すように、クラスタが生成され、各クラスタの代表画像が得られる。そして、各クラスタの代表画像が合成されて合成画像が生成される。生成された合成画像は、例えば、図３９に示すように、Ｕ／Ｉ画面に表示される。この場合、合成画像の表示は、Ｕ／Ｉ提供部１１の機能により実現される。
【０１１７】
また、Ｕ／Ｉ提供部１１は、図３９に示すように、合成画像が表示されたＵ／Ｉ画面へのユーザ入力を受け付ける。そして、合成画像の中から１つの代表画像が選択された場合、選択された代表画像に対応するクラスタが選択される。図３９の例では、Ｃｌｕｓｔｅｒ１の代表画像Ａに対して選択操作が行われ、Ｃｌｕｓｔｅｒ１が選択されている。なお、ここでは入力方法の一例としてタッチパネルによるタッチ入力を例示しているが、マウスやポインティングデバイスなどを利用した入力方法を用いる場合も同様である。
【０１１８】
上記のようにして１つのクラスタが選択された場合、例えば、図４０に示すように選択されたクラスタに含まれる画像群が抽出され、必要に応じて再びクラスタリング処理が実行される（図４１を参照）。なお、図４０の例ではＣｌｕｓｔｅｒ１に属する画像数が増えたように錯覚されるかもしれないが、クラスタ内の画像が増えたわけではなく、単に解像度を上げて詳細に表示した状態を示しているに過ぎない。図４１に示すように、選択した画像群に対してクラスタリングが実施された場合、図４２に示すように、各クラスタの代表画像がそれぞれ抽出され、抽出された代表画像を合成した合成画像が生成される。
【０１１９】
上記の例は、特徴量空間の座標軸を変えずに解像度を切り替えるためのＵ／Ｉ構成を示したものである。一方、図４３に示すように、特徴量空間の座標軸を切り替えるためのＵ／Ｉ構成も考えられる。図４３に示すＵ／Ｉ構成を適用すると、ユーザは、クラスタリングの基準とする特徴量の種類を切り替えることが可能になる。図４３の例では、「緯度経度」に基づくクラスタリング結果から、「色（Ｃｂ、Ｃｒ）」に基づくクラスタリング結果へと切り替える操作工程、及びその結果が模式的に示されている。
【０１２０】
まず、ユーザがＵ／Ｉを操作して所望する特徴量の種類を選択すると、選択された特徴量の種類に対応する座標軸を基準としてクラスタリング処理が実行され、図４３に示すように、新たなクラスタリング結果が得られる。次いで、図４４に示すように、新たなクラスタリング結果に基づいて各クラスタの代表画像が抽出され、各クラスタの代表画像が合成される。そして、新たに生成された合成画像によりＵ／Ｉ表示が更新される。このようなＵ／Ｉ構成を採用することで、ユーザは、シームレスに様々な分類基準（上述した規範に相当）に基づく画像の分類結果を見ることが可能になる。
【０１２１】
以上、Ｕ／Ｉを考慮した情報処理装置１０の構成及び動作について説明した。
【０１２２】
以上、１枚１枚の画像を単位として画像特徴量を考える構成について説明した。
【０１２３】
［２−２：構成例＃２（領域分割を考慮する場合）］
次に、各画像を分割して得られる複数の分割領域をクラスタリング処理の対象とする構成（構成例＃２）について説明する。
【０１２４】
（２−２−１：情報処理装置２０の全体構成（図４５））
図４５を参照しながら、本実施形態に係る画像分類技術を実現可能な情報処理装置２０の全体構成について説明する。図４５は、本実施形態に係る画像分類技術を実現可能な情報処理装置２０の全体構成について説明するための説明図である。
【０１２５】
図４５に示すように、情報処理装置２０は、主に、画像領域分割部２０１と、特徴検出・分類部２０２と、代表画像抽出部２０３と、合成画像生成部２０４とにより構成される。
【０１２６】
情報処理装置２０にクラスタリングの対象となる画像群が入力されると、入力された画像群は、画像領域分割部２０１に入力される。画像群が入力された画像領域分割部２０１は、入力された画像群に含まれる各画像を複数の領域に分割し、分割画像群を生成する。画像領域分割部２０１により生成された分割画像群は、特徴検出・分類部２０２及び代表画像抽出部２０３に入力される。分割画像群が入力された特徴検出・分類部２０２は、入力された分割画像群に含まれる各分割画像から画像特徴量を検出し、検出した画像特徴量に基づいて画像をクラスタリングする。特徴検出・分類部２０２によるクラスタリングの結果（分類結果）は、代表画像抽出部２０３に入力される。
【０１２７】
分割画像群及び分類結果が入力された代表画像抽出部２０３は、入力された分割画像群及び分類結果に基づいて各クラスタの代表画像を抽出する。代表画像抽出部２０３により抽出された各クラスタの代表画像は、合成画像生成部２０４に入力される。各クラスタの代表画像が入力されると、合成画像生成部２０４は、入力された代表画像を合成して合成画像を生成する。合成画像生成部２０４により生成された合成画像は、表示装置（非図示）に表示される。なお、この表示装置は、情報処理装置２０に搭載されたディスプレイであってもよいし、ネットワークなどを通じて情報のやり取りが可能な端末装置のディスプレイであってもよい。
【０１２８】
以上、情報処理装置２０の全体構成について説明した。上記のように、分割画像を利用する構成以外の構成について、情報処理装置２０の構成は、上述した情報処理装置１０の構成と実質的に同じである。なお、本実施形態に適用可能な領域分割の方法としては、例えば、後述するようなＮ値化した画像を利用する方法、クラスタリング手法を応用した方法、或いは、グラフ理論を応用した方法など様々な方法が考えられる。
【０１２９】
（２−２−２：情報処理装置２０の詳細な構成及び動作（図４６〜図４９））
次に、図４６〜図４９を参照しながら、情報処理装置２０の詳細な構成及び動作について説明する。図４６〜図４９は、情報処理装置２０の詳細な構成及び動作について説明するための説明図である。
【０１３０】
（特徴検出・分類部２０２の構成及び動作）
まず、図４６を参照する。図４６に示すように、特徴検出・分類部２０２は、主に、画像特徴検出部２１１と、特徴分類部２１２とにより構成される。画像特徴検出部２１１は、入力された分割画像群に含まれる各分割画像の画像特徴量を検出する。画像特徴検出部２１１により検出された画像特徴量は、特徴分類部２１２に入力される。画像特徴量が入力されると、特徴分類部２１２は、入力された画像特徴量に基づいて分割画像をクラスタリングし、クラスタリングの結果（分類結果）を出力する。
【０１３１】
画像特徴検出部２１１による画像特徴量の検出結果は、図４７に示すような特徴量テーブルとして纏めることができる。図４７の例では、各画像の各分割領域に対して複数の画像特徴量（特徴量１〜Ｍ）及び分類結果が対応付けられている。但し、分類結果の欄は、特徴分類部２１２によるクラスタリングの結果が得られた後で、特徴分類部２１２により追記される。図４７に示した特徴量テーブルと、図４に示した特徴量テーブルとの主な違いは、分割領域を特定するための識別情報（「分割領域」欄）が追加された点である。つまり、各分割画像を識別するための識別情報が１種類追加されている。
【０１３２】
以上、特徴検出・分類部２０２の構成及び動作について説明した。なお、分割画像を対象としているが、特徴検出・分類部２０２は、上述した特徴検出・分類部１０１と実質的に同じ構成を適用することが可能である。
【０１３３】
（画像領域分割部２０１の構成及び動作）
次に、図４８を参照する。図４８に示すように、画像領域分割部２０１は、主に、Ｎ値化処理部２２１と、領域統合処理部２２２と、領域分割処理部２２３とにより構成される。
【０１３４】
画像領域分割部２０１に分割対象の画像が入力されると、入力された画像は、Ｎ値化処理部２２１に入力される。Ｎ値化処理部２２１は、入力された画像をＮ値化してＮ値の画像を生成する。Ｎ値化処理部２２１により生成されたＮ値の画像は、領域統合処理部２２２に入力される。Ｎ値の画像が入力されると、領域統合処理部２２２は、Ｎ値の画像においてノイズとみなせる画素を他の画素値へと統合する。ここで実行される統合の方法としては、例えば、後述する最大出現画素色フィルタを用いる方法が考えられる。
【０１３５】
領域統合処理部２２２により統合処理が施された画像（以下、Ｎ値化画像）は、領域分割処理部２２３に入力される。領域分割処理部２２３は、入力されたＮ値化画像を構成する画素のうち、同じ画素値を有する画素を同じ領域に含むように領域分割し、各分割領域に対応する分割画像を出力する。
【０１３６】
ここで、図４９を参照しながら、画像領域分割部２０１による領域統合処理の流れについて説明する。図４９に示すように、画像領域分割部２０１は、まず、注目画素の周囲Ｎ×Ｍピクセルを取得する（Ｓ２０１）。次いで、画像領域分割部２０１は、ステップＳ２０１で取得したＮ×Ｍピクセルの中で最も広い面積を持つ画素値Ａを求める（Ｓ２０２）。次いで、画像領域分割部２０１は、ステップＳ２０２で求めた画素値Ａを注目画素の画素値とする（Ｓ２０３）。次いで、画像領域分割部２０１は、全ての画素について処理を終了したか否かを判定する（Ｓ２０４）。全ての画素について処理を終了した場合、画像領域分割部２０１は、領域統合に係る一連の処理を終了する。一方、全ての画素について処理を終了していない場合、画像領域分割部２０１は、処理をステップＳ２０１に進める。
【０１３７】
以上、画像領域分割部２０１の構成及び動作について説明した。
【０１３８】
以上、各画像を分割して得られる複数の分割領域をクラスタリング処理の対象とする構成に係る情報処理装置２０の詳細な構成及び動作について説明した。
【０１３９】
＜３：俯瞰画像生成技術の詳細＞
以下、本実施形態に係る俯瞰画像生成技術の詳細について説明する。
【０１４０】
［３−１：情報処理装置３０の全体構成（図５０）］
まず、図５０を参照しながら、本実施形態に係る俯瞰画像生成技術を実現することが可能な情報処理装置３０の全体構成について説明する。図５０は、本実施形態に係る俯瞰画像生成技術を実現することが可能な情報処理装置３０の全体構成について説明するための説明図である。
【０１４１】
図５０に示すように、情報処理装置３０は、主に、クラスタリング部３０１と、代表画像決定部３０２と、画像合成部３０３と、表示制御部３０４と、表示部３０５と、操作入力部３０６とにより構成される。
【０１４２】
情報処理装置３０にクラスタリングの対象となる画像群が入力されると、入力された画像群は、クラスタリング部３０１に入力される。画像群が入力されたクラスタリング部３０１は、入力された画像群をクラスタリングする。
【０１４３】
クラスタリング部３０１の処理に適用可能なクラスタリング手法としては、例えば、Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ法、ｋ−ｍｅａｎｓ法、ＥＭアルゴリズム、ニューラルネットワーク、サポートベクターマシンなどの手法がある。また、利用可能な画像特徴量の軸としては、例えば、色（ＲＧＢなど）、エッジ（隣接画素の差分値の大きさや方向など）、テクスチャ（ある範囲内における画素の隣接画素差分値の総和）、オブジェクト情報（セグメンテーションの結果、領域のサイズや位置など）、構図情報（画像特徴量の位置関係から推定した風景や構造物などの情報）、メタ情報（時間、場所（ＧＰＳ情報など）、ユーザが付与したタグなど）がある。
【０１４４】
クラスタリング部３０１によるクラスタリング結果は、代表画像決定部３０２に入力される。クラスタリング結果が入力されると、代表画像決定部３０２は、入力されたクラスタリング結果に基づいて各クラスタの代表画像を決定する。例えば、代表画像決定部３０２は、クラスタリングに用いた画像特徴量や、評価値の最大値、最小値、重心などを用いてクラスタ毎に代表画像を決定する。代表画像決定部３０２により決定された各クラスタの代表画像は、画像合成部３０３に入力される。
【０１４５】
各クラスタの代表画像が入力されると、画像合成部３０３は、入力された各クラスタの代表画像を合成して合成画像を生成する。画像合成部３０３により生成された合成画像は、表示制御部３０４に入力される。合成画像が入力されると、表示制御部３０４は、入力された合成画像を表示部３０５に表示させる。また、表示制御部３０４は、操作入力部３０６を介して合成画像に含まれる１つの代表画像が選択された場合、当該代表画像に対応するクラスタについて一段階詳細なクラスタリング結果に基づく合成画像を取得し、取得した合成画像を表示部３０５に表示させる。
【０１４６】
また、最も詳細なクラスタリング結果に基づく合成画像に含まれる代表画像が選択された場合、表示制御部３０４は、画像特徴量の軸（規範）を変更し、変更後の軸に基づくクラスタリング結果から得られる合成画像を取得して、取得した合成画像を表示部３０５に表示させる。なお、操作入力部３０６を介して軸を変更する操作が行われた場合も、表示制御部３０４は、変更後の軸に基づくクラスタリング結果から得られる合成画像を取得して、取得した合成画像を表示部３０５に表示させる。なお、表示制御部３０４は、様々な軸に基づくクラスタリング結果や合成画像を保持していてもよい。
【０１４７】
以上、情報処理装置３０の構成について説明した。
【０１４８】
［３−２：情報処理装置３０の詳細な構成及び動作（図５１〜図７８）］
次に、図５１〜図７８を参照しながら、情報処理装置３０の詳細な構成及び動作について説明する。図５１〜図７８は、情報処理装置３０の詳細な構成及び動作について説明するための説明図である。
【０１４９】
図５１には、クラスタリング部３０１及び代表画像決定部３０２の機能が模式的に示されている。まず、画像群が与えられると、クラスタリング部３０１は、与えられた画像軍をクラスタリングする。このとき、クラスタリング部３０１は、例えば、Ｎ通りの規範（軸の組み合わせ）に基づくクラスタリングを実施し、Ｎ通りのクラスタリング結果を得る。図５１の例では、軸Ａ及び軸Ｂを座標軸とする特徴量空間上のクラスタリング結果（クラスタリング結果１）などが示されている。また、図５１に示した各クラスタリング結果において、ハッチングがかかった矩形は、代表画像を表している。
【０１５０】
代表画像の決定方法としては、例えば、図５２に示すように、各クラスタに属する画像の重心に最も近い画像を選択して代表画像に決定する方法が考えられる。例えば、軸Ａ及びＢで規定される特徴量空間上に分布する画像に対してｋ−ｍｅａｎｓ法に基づくクラスタリングを実施し、得られた各クラスタ内の画像から特徴量空間における重心に最も近い画像が代表画像に決定される。また、図５３に示すように、軸Ａ及びＢで規定される特徴量空間上に分布する画像にＳＶＭによるクラスタリングを実施し、得られた各クラスタ内の画像において、分離面から各画像への距離が最も大きい画像が代表画像に決定される。
【０１５１】
また、代表画像決定部１９２は、セグメンテーションを用いた方法により代表画像を決定するように構成されていてもよい。ここで、セグメンテーションを用いた代表画像の決定方法について、図５４〜図５６を参照しながら説明する。
【０１５２】
まず、図５５を参照する。図５５は、代表画像決定部１９２により実行される処理の流れを示した説明図である。図５５に示すように、代表画像決定部１９２は、まず、画像のセグメンテーションを実施する（Ｓ３０１；図５６を参照）。具体的には、図５４に示すように、セグメンテーションの処理により、エッジ、テクスチャ、色などに基づき、人工物、天然物、人などの領域が各画像から抽出される。なお、セグメンテーションの手法としては、例えば、ｍｅａｎ  ｓｈｉｆｔやｇｒａｐｈ  ｃｕｔなどの手法が挙げられる。
【０１５３】
次いで、代表画像決定部１９２は、各画像のセグメンテーション領域毎に類似領域を探索する（Ｓ３０２；図５６を参照）。例えば、代表画像決定部１９２は、領域内の色（ＲＧＢ）やエッジ情報のヒストグラム形状（最大度数のｂｉｎ、最大値、最小値、平均値など）が最も近い（差分が小さい、つまり、類似度が高い）領域を類似領域とする。また、代表画像決定部１９２は、色やエッジから空や地面のような領域を探索候補から除外して、主要被写体だけを対象に探索処理を実行するように構成されていてもよい。次いで、代表画像決定部１９２は、図５４に示すように、類似領域間にリンク（双方向）をはり、類似度を保存する（Ｓ３０３；図５６を参照）。
【０１５４】
次いで、代表画像決定部１９２は、探索候補となっている全ての領域を探索したか否かを判定する（Ｓ３０４）。全ての領域を探索した場合、代表画像決定部１９２は、処理をステップＳ３０５に進める。一方、全ての領域を探索しきっていない場合、代表画像決定部１９２は、処理をステップＳ３０２に進める。処理をステップＳ３０５に進めた場合、代表画像決定部１９２は、リンク数に基づくクラスタリングを実施し、リンクで結ばれた画像の枚数が多いものから順位クラスタ化していく（Ｓ３０５）。次いで、代表画像決定部１９２は、各クラスタから代表画像を決定し（Ｓ３０６）、代表画像の決定に係る一連の処理を終了する。このとき、代表画像決定部１９２は、例えば、他の領域とのリンクを最も多く持つ領域を含む画像を代表画像とする。
【０１５５】
以上、クラスタリング部３０１及び代表画像決定部３０２の機能について説明した。
【０１５６】
（クラスタリング結果間の移動について）
次に、図５７〜図６５を参照しながら、承継型のクラスタリング結果間の移動及び遷移型のクラスタリング結果間の移動について説明する。図５７〜図６５は、承継型のクラスタリング結果間の移動及び遷移型のクラスタリング結果間の移動について説明するための説明図である。
【０１５７】
クラスタリング結果間の移動には、２種類の移動方法がある。その１つは、図５７に示すように、特徴量空間の座標軸を変えずに、解像度を切り替えてクラスタリング結果間の移動を行う方法である。この方法を以下では「承継型」と呼ぶことにする。もう１つは、図５８に示すように、特徴量空間の座標軸を切り替えてクラスタリング結果間の移動を行う方法である。この方法を以下では「遷移型」と呼ぶことにする。クラスタリング結果間の移動は、図５９に示すような処理の流れに沿って実行される。
【０１５８】
図５９に示すように、クラスタリング結果間の移動が開始されると、情報処理装置３０は、対象となる画像群についてクラスタリングを実施する（Ｓ３１１）。このとき、情報処理装置３０は、Ｎ通りの軸（規範）についてクラスタリングを実施し、Ｎ種類のクラスタリング結果を得る。また、情報処理装置３０は、各クラスタの代表画像を決定する。次いで、情報処理装置３０は、各クラスタの代表画像を合成し、合成画像を表示する（Ｓ３１２）。その後、ユーザにより、あるクラスタ内の画像が選択されると（Ｓ３１３）、情報処理装置３０は、選択されたクラスタ内の画像数が閾値以下であるか否かを判定する（Ｓ３１４）。
【０１５９】
クラスタ内の画像数が閾値以下である場合、情報処理装置３０は、処理をステップＳ３１６に進める。一方、クラスタ内の画像数が閾値以下でない場合、情報処理装置３０は、処理をステップＳ３１５に進める。処理をステップＳ３１５に進めた場合、情報処理装置３０は、承継型のクラスタリング結果間の移動を実施し（Ｓ３１５）、処理をステップＳ３１２に進める。一方、処理をステップＳ３１６に進めた場合、情報処理装置３０は、遷移型のクラスタリング結果間の移動を実施し（Ｓ３１６）、処理をステップＳ３１２に進める。なお、クラスタリング結果間の移動は、予め用意されたクラスタリング結果を用いて実施してもよいし、都度クラスタリング結果を算出してもよい。
【０１６０】
なお、図５９に示した方法の場合、遷移型のクラスタリング結果間の移動を行うと、完全に異なるクラスタリング結果が表示されることになる（ハードスイッチング）。しかし、元のクラスタリング結果を残しつつ、クラスタリング結果間の移動を行いたい場合もある。そこで、別のクラスタリング結果から画像を取得して、元のクラスタリング結果に追加する方法（ソフトスイッチング；図６０を参照）を提案する。
【０１６１】
ソフトスイッチングの場合、図６０に示すように、クラスタリング結果間の移動が開始されると、情報処理装置３０は、対象となる画像群についてクラスタリングを実施する（Ｓ３２１）。このとき、情報処理装置３０は、Ｎ通りの軸（規範）についてクラスタリングを実施し、Ｎ種類のクラスタリング結果を得る。また、情報処理装置３０は、各クラスタの代表画像を決定する。次いで、情報処理装置３０は、各クラスタの代表画像を合成し、合成画像を表示する（Ｓ３２２）。その後、ユーザにより、あるクラスタ内の画像が選択されると（Ｓ３２３）、情報処理装置３０は、選択されたクラスタ内の画像数が閾値以下であるか否かを判定する（Ｓ３２４）。
【０１６２】
クラスタ内の画像数が閾値以下である場合、情報処理装置３０は、処理をステップＳ３２６に進める。一方、クラスタ内の画像数が閾値以下でない場合、情報処理装置３０は、処理をステップＳ３２５に進める。処理をステップＳ３２５に進めた場合、情報処理装置３０は、承継型のクラスタリング結果間の移動を実施し（Ｓ３２５）、処理をステップＳ３２２に進める。一方、処理をステップＳ３２６に進めた場合、情報処理装置３０は、別のクラスタリング結果から画像を取得して、元のクラスタリング結果に追加し（Ｓ３２６）、処理をステップＳ３２２に進める。なお、クラスタリング結果間の移動は、予め用意されたクラスタリング結果を用いて実施してもよいし、都度クラスタリング結果を算出してもよい。
【０１６３】
また、Ｕ／Ｉを介して遷移型又は承継型が選択されるようにしてもよい。
【０１６４】
ハードスイッチングの場合、図６１に示すように、クラスタリング結果間の移動が開始されると、情報処理装置３０は、対象となる画像群についてクラスタリングを実施する（Ｓ３３１）。このとき、情報処理装置３０は、Ｎ通りの軸（規範）についてクラスタリングを実施し、Ｎ種類のクラスタリング結果を得る。また、情報処理装置３０は、各クラスタの代表画像を決定する。次いで、情報処理装置３０は、各クラスタの代表画像を合成し、合成画像を表示する（Ｓ３３２）。その後、ユーザにより、あるクラスタ内の画像が選択されると（Ｓ３３３）、情報処理装置３０は、Ｕ／Ｉを介して遷移型が選択されているか、承継型が選択されているかを判定する（Ｓ３３４）。
【０１６５】
遷移型が選択された場合に発行される遷移型コマンドを受信した場合、情報処理装置３０は、遷移型が選択されたと判定し、処理をステップＳ３３７に進める。一方、承継型が選択された場合に発行される承継型コマンドを受信した場合、情報処理装置３０は、承継型が選択されたと判定し、処理をステップＳ３３５に進める。処理をステップＳ３３５に進めた場合、情報処理装置３０は、選択されたクラスタ内の画像数が閾値以下であるか否かを判定する（Ｓ３３５）。
【０１６６】
クラスタ内の画像数が閾値以下である場合、情報処理装置３０は、処理をステップＳ３３７に進める。一方、クラスタ内の画像数が閾値以下でない場合、情報処理装置３０は、処理をステップＳ３３６に進める。処理をステップＳ３３６に進めた場合、情報処理装置３０は、承継型のクラスタリング結果間の移動を実施し（Ｓ３３６）、処理をステップＳ３３２に進める。一方、処理をステップＳ３３７に進めた場合、情報処理装置３０は、遷移型のクラスタリング結果間の移動を実施し（Ｓ３３７）、処理をステップＳ３３２に進める。なお、クラスタリング結果間の移動は、予め用意されたクラスタリング結果を用いて実施してもよいし、都度クラスタリング結果を算出してもよい。
【０１６７】
一方、ソフトスイッチングの場合、図６２に示すように、クラスタリング結果間の移動が開始されると、情報処理装置３０は、対象となる画像群についてクラスタリングを実施する（Ｓ３４１）。このとき、情報処理装置３０は、Ｎ通りの軸（規範）についてクラスタリングを実施し、Ｎ種類のクラスタリング結果を得る。また、情報処理装置３０は、各クラスタの代表画像を決定する。次いで、情報処理装置３０は、各クラスタの代表画像を合成し、合成画像を表示する（Ｓ３４２）。その後、ユーザにより、あるクラスタ内の画像が選択されると（Ｓ３４３）、情報処理装置３０は、Ｕ／Ｉを介して遷移型が選択されているか、承継型が選択されているかを判定する（Ｓ３４４）。
【０１６８】
遷移型が選択された場合に発行される遷移型コマンドを受信した場合、情報処理装置３０は、遷移型が選択されたと判定し、処理をステップＳ３４７に進める。一方、承継型が選択された場合に発行される承継型コマンドを受信した場合、情報処理装置３０は、承継型が選択されたと判定し、処理をステップＳ３４５に進める。処理をステップＳ３４５に進めた場合、情報処理装置３０は、選択されたクラスタ内の画像数が閾値以下であるか否かを判定する（Ｓ３４５）。
【０１６９】
クラスタ内の画像数が閾値以下である場合、情報処理装置３０は、処理をステップＳ３４７に進める。一方、クラスタ内の画像数が閾値以下でない場合、情報処理装置３０は、処理をステップＳ３４６に進める。処理をステップＳ３４６に進めた場合、情報処理装置３０は、承継型のクラスタリング結果間の移動を実施し（Ｓ３４６）、処理をステップＳ３４２に進める。一方、処理をステップＳ３４７に進めた場合、情報処理装置３０は、別のクラスタリング結果から画像を取得して、元のクラスタリング結果に追加し（Ｓ３４７）、処理をステップＳ３３２に進める。なお、クラスタリング結果間の移動は、予め用意されたクラスタリング結果を用いて実施してもよいし、都度クラスタリング結果を算出してもよい。
【０１７０】
また、遷移型を選択する操作としては、例えば、図６３に示すように、ドラッグ操作やピンチアウト操作で領域指定する操作などが考えられる。また、図６３の例ではタッチパネルを利用することが前提となっているが、他の入力インターフェースを利用した操作に置き換えることも可能である。図６３に例示した操作を行うと、ドラッグ操作で指定した領域に含まれる画像が選択されると共に、遷移型コマンドが発行される。
【０１７１】
また、承継型を選択する操作としては、例えば、図６４に示すように、フリック操作、タップ操作、スライド操作、ドラッグ操作などで画像を指定する操作などが考えられる。また、図６４の例ではタッチパネルを利用することが前提となっているが、他の入力インターフェースを利用した操作に置き換えることも可能である。図６４に例示した操作を行うと、フリック操作で指定した画像が選択されると共に、承継型コマンドが発行される。
【０１７２】
また、図６５に示したように、予め用意されたジェスチャーに対応して遷移型コマンド又は承継型コマンドが発行されるように構成されていてもよい。なお、ジェスチャーの設定は、ユーザにより予め設定されていてもよいし、ユーザの使用履歴に基づいてジェスチャーが自動的に設定されるようにしてもよい。また、図６５に示すように、合成画像上でジェスチャーを行った場合でも、コマンドが発行されるようにする。
【０１７３】
以上、承継型のクラスタリング結果間の移動及び遷移型のクラスタリング結果間の移動について説明した。
【０１７４】
（合成時の配置方法及び合成方法について）
次に、図６６〜図７８を参照しながら、代表画像を合成する際の配置方法及び合成方法について説明する。図６６〜図７８は、代表画像を合成する際の配置方法及び合成方法について説明するための説明図である。ここでは、図６６に示すように、各代表画像から抽出された被写体領域を組み合わせて合成画像を生成する方法や、図６７及び図６８に示すように、複数の代表画像を配置及び合成する方法などについて説明する。これらの方法は、主に画像合成部３０３の機能により実現される。
【０１７５】
まず、図６９を参照する。図６９に示すように、合成処理が開始されると、画像合成部３０３は、代表画像と他の画像との間で４辺の差を算出する（Ｓ４０１；図７３を参照）。算出された差は、例えば、図７４に示すようなテーブル又はリストとして保持される。次いで、画像合成部３０３は、差分値のソートを実施する（Ｓ４０２）。次いで、画像合成部３０３は、差分値が最小の辺から画像を連結する（Ｓ４０３；図７５を参照）。画像合成部３０３は、連結した画像（合成画像）を対象にして順次ステップＳ４０１〜Ｓ４０３の処理を実行し、最終的な合成画像を生成する。
【０１７６】
また、図７０のように処理の内容を変形することも可能である。図７０に示すように、画像合成部３０３は、画像群から画像Ａを選択する（Ｓ４１１；図７６を参照）。次いで、画像合成部３０３は、画像Ａを中心に配置する（Ｓ４１２；図７６を参照）。次いで、画像合成部３０３は、各辺それぞれで差分が小さくなる画像を連結し（Ｓ４１３；図７６を参照）、合成画像を生成する。
【０１７７】
また、図７１のように処理の内容を変形することも可能である。図７１に示すように、画像合成部３０３は、シームカービングなどの手法により代表画像からエネルギーの小さい場所を検出する（Ｓ４２１）。次いで、画像合成部３０３は、合成する画像のスケーリング及び幾何補正を実施する（Ｓ４２２）。次いで、画像合成部３０３は、代表オブジェクトが消えないように、エネルギーの小さい領域を合成する（Ｓ４２３）。このような方法を用いると、図６６に示すような合成画像が生成される。
【０１７８】
また、図７２のように処理の内容を変形することも可能である。図７２に示すように、画像合成部３０３は、シームカービングなどの手法により代表画像から代表オブジェクトを切り取る（Ｓ４３１）。次いで、画像合成部３０３は、切り取ったオブジェクトを背景画像上に配置する（Ｓ４３２）。次いで、画像合成部３０３は、背景画像上に配置したオブジェクトの境界部分を平滑化する（Ｓ４３３）。このような方法を用いると、図７８に示すような合成画像が生成される。
【０１７９】
図７２の方法を簡単に纏めると次のようになる。
【０１８０】
（１）各代表画像内のオブジェクトの周囲をシームカービングやグラフカットなどを用いて切出す。（２）オブジェクトを連結する。このとき、オブジェクトの連結方法としては、例えば、各オブジェクトの周囲(輪郭部分)の画素（赤点線部）を幾つかの輪郭領域(赤点線を青線部で区切った領域)に分割したときに各輪郭領域内の色ヒストグラムが近い輪郭領域同士（正規化したヒストグラムのｂｉｎ毎の差分の総和が小さいもの、最大度数のｂｉｎの差分やヒストグラムの分散の差分が小さいもの、輪郭領域間の差分絶対値が小さいものなど）を連結する方法が考えられる。
【０１８１】
（３）オブジェクトを配置する。オブジェクトの配置方法としては、例えば、以下の一つ又は複数を組み合わせた方法が考えられる。
・他のオブジェクトとの連結部分が多いオブジェクトを中心にする方法。
・オブジェクトの面積が最も大きいものを中心にする方法。
・構造物(直線状のエッジを多く含む領域)又は顔認識などを用いて人であると判定されたオブジェクトを中心にする方法。
・Ｕ／Ｉ操作によりユーザが指定したオブジェクトを中心にする方法。
・オブジェクト領域内部の色情報（ＲＧＢ）から、緑の多いものは地面、青の多いものは空といったように、仮定した構図に基づいて配置する方法。
【０１８２】
（４）合成画像（オブジェクトを連結した画像）の表示方法としては、例えば、以下の方法が考えられる。
・表示画面内に収まるように、合成画像に対しスケーリングを行う方法。
・スケーリングを行わず、表示画面外にはみ出る部分はＵ／Ｉ操作でスクロールして閲覧できるようにする方法。
・Ｕ／Ｉ操作のための適切な大きさにスケーリングを行い、表示画面外にはみ出る部分をＵ／Ｉ操作でスクロールして閲覧できるようにする方法。
【０１８３】
以上、代表画像を合成する際の配置方法及び合成方法について説明した。なお、ここで説明した配置方法及び合成方法は一例であり、図７７に示すように、クラスタ内の画像数が多い順に、回転方向に沿って代表画像を並べて配置する方法なども考えられる。
【０１８４】
以上、本実施形態に係る俯瞰画像生成技術の詳細について説明した。
【０１８５】
＜４：ハードウェア構成例（図７９）＞
上記の情報処理装置１０、２０、３０が有する各構成要素の機能は、例えば、図７９に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図７９に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔの略である。
【０１８６】
図７９に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略である。
【０１８７】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１８８】
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【０１８９】
出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ  ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙの略である。
【０１９０】
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略である。
【０１９１】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略である。
【０１９２】
接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅの略である。
【０１９３】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ  ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅの略である。
【０１９４】
＜５：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム、フォトフレーム等、種々の機器に対して適用することができる。
【０１９５】
上記の情報処理装置の機能構成は次のように表現することができる。例えば、下記（１）のように表現された端末装置は、第１の規範（特徴量座標軸の組み合わせ）に基づくクラスタリング結果を詳細な内容（下層の内容）に順次切り替えて表示することができると共に、第２の規範に基づくクラスタリング結果に表示を切り替えることができる。そのため、当該端末装置を操作するユーザは、情報を掘り下げる操作と、違う視点から見た情報を得る操作とをシームレスに行うことができるようになる。
【０１９６】
（１）
第１の規範に基づく階層型クラスタリングの結果に従って所定階層における各クラスタの代表コンテンツに関する情報が表示され、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報が表示される表示部を備え、
所定の条件を満たした場合、前記表示部に表示される情報は、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って抽出された各クラスタの代表コンテンツに関する情報に切り替わる、
端末装置。
【０１９７】
（２）
前記所定の条件には、最下層に位置する各クラスタの代表コンテンツに関する情報が選択されること、が含まれる、
上記（１）に記載の端末装置。
【０１９８】
（３）
前記所定の条件には、規範を切り替える操作が行われたこと、が含まれる、
上記（１）又は（２）に記載の端末装置。
【０１９９】
（４）
前記階層型クラスタリングは、画像コンテンツの集合に対して実行されており、
前記表示部には、前記各クラスタの代表コンテンツに関する情報として抽出された当該各クラスタの代表画像を全てのクラスタについて合成した合成画像が表示される、
上記（１）〜（３）のいずれか１項に記載の端末装置。
【０２００】
（５）
前記階層型クラスタリングは、各画像コンテンツに含まれるオブジェクトの構造線を特徴量として実行される、
上記（４）に記載の端末装置。
【０２０１】
（６）
前記階層型クラスタリングは、各画像コンテンツを領域分割して得られる各分割画像を単位とし、当該各分割画像の特徴量に基づいて実行される、
上記（４）又は（５）に記載の端末装置。
【０２０２】
（７）
第１の規範に基づく階層型クラスタリングの結果に従い、所定階層における各クラスタの代表コンテンツに関する情報を表示させ、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報を表示させる表示制御部を備え、
前記表示制御部は、所定の条件を満たした場合に、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って各クラスタの代表コンテンツに関する情報を表示させる、
情報処理装置。
【０２０３】
（８）
前記所定の条件には、最下層に位置する各クラスタの代表コンテンツに関する情報が選択されること、が含まれる、
上記（７）に記載の情報処理装置。
【０２０４】
（９）
前記所定の条件には、規範を切り替える操作が行われたこと、が含まれる、
上記（７）又は（８）に記載の情報処理装置。
【０２０５】
（１０）
前記第１又は第２の規範に従ってコンテンツの集合をクラスタリングし、各階層における各クラスタの代表コンテンツを抽出するクラスタリング部と、
画像を合成する画像合成部と、
をさらに備え、
前記クラスタリング部は、画像コンテンツの集合を対象に前記階層型クラスタリングを実行し、
前記画像合成部は、前記各クラスタの代表コンテンツに関する情報として抽出された当該各クラスタの代表画像を全てのクラスタについて合成した合成画像を生成し、
前記表示制御部は、前記合成画像を表示させる、
上記（７）〜（９）のいずれか１項に記載の情報処理装置。
【０２０６】
（１１）
前記クラスタリング部は、各画像コンテンツに含まれるオブジェクトの構造線を特徴量として前記階層型クラスタリングを実行する、
上記（１０）に記載の情報処理装置。
【０２０７】
（１２）
前記クラスタリング部は、各画像コンテンツを領域分割して得られる各分割画像を単位とし、当該各分割画像の特徴量に基づいて前記階層型クラスタリングを実行する、
上記（１０）又は（１１）に記載の情報処理装置。
【０２０８】
（１３）
第１の規範に基づく階層型クラスタリングの結果に従って所定階層における各クラスタの代表コンテンツに関する情報が表示され、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報が表示されるステップと、
所定の条件を満たした場合に、表示情報が、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って抽出された各クラスタの代表コンテンツに関する情報に切り替わるステップと、
を含む、
表示方法。
【０２０９】
（１４）
第１の規範に基づく階層型クラスタリングの結果に従い、所定階層における各クラスタの代表コンテンツに関する情報を表示させ、前記代表コンテンツに関する情報が選択された場合に、当該代表コンテンツが属するクラスタの下層に位置する各クラスタの代表コンテンツに関する情報を表示させるステップと、
所定の条件を満たした場合に、前記第１の規範とは異なる第２の規範に基づく階層型クラスタリングの結果に従って各クラスタの代表コンテンツに関する情報を表示させるステップと、
を含む、
表示制御方法。
【０２１０】
（１５）
上記（１）〜（１２）のいずれか１項に記載の装置が有する各構成要素の機能をコンピュータに実現させることが可能なプログラム。当該プログラムが記録された、コンピュータにより読取り可能な記録媒体。
【０２１１】
以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。
【符号の説明】
【０２１２】
１０    情報処理装置
１１    Ｕ／Ｉ提供部
１２    画像選択処理部
１０１    特徴検出・分類部
１０２    代表画像抽出部
１０３    合成画像生成部
１１１    画像特徴検出部
１１２    特徴分類部
１２１    ヒストグラム算出部
１２２    代表値算出部
１３１    ローパスフィルタ
１３２    エッジ検出フィルタ
１３３    ヒストグラム算出部
１３４    代表値算出部
１４１    ２次元ＦＦＴ部
１４２    ＤＣ成分抽出部
１４３    ＡＣ成分抽出部
１４４    ２次元ＩＦＦＴ部
１４５    ２値化部
１４６    直線成分検出フィルタ
１５１    顔認識部
１５２    顔マッチング部
１５３    顔データベース
１６１    色分布判定部
１６２    エッジ検出フィルタ
１６３    直線成分検出フィルタ
１６４    長直線数計数部
１６５    シーン判定部
１６６    バンドパスフィルタ
１６７    ヒストグラム算出部
１６１１    ＨＳＶ変換部
１６１２    空色判定部
１６１３    空確率算出部
１６１４    累計部
１６１５    緑色判定部
１６１６    緑確率算出部
１６１７    累計部
１６１８    肌色判定部
１６１９    累計部
１７１    階層的クラスタリング処理部
１７２    グルーピング部
１８１    最適化クラスタリング処理部
１９１    平均値／重心算出部
１９２    代表画像決定部
２０    情報処理装置
２０１    画像領域分割部
２０２    特徴検出・分類部
２０３    代表画像抽出部
２０４    合成画像生成部
２１１    画像特徴検出部
２１２    特徴分類部
２２１    Ｎ値化処理部
２２２    領域統合処理部
２２３    領域分割処理部
３０    情報処理装置
３０１    クラスタリング部
３０２    代表画像決定部
３０３    画像合成部
３０４    表示制御部
３０５    表示部
３０６    操作入力部
【図１】
2013179402.tif 000003
【図２】
2013179402.tif 000004
【図３】
2013179402.tif 000005
【図４】
2013179402.tif 000006
【図５】
2013179402.tif 000007
【図６】
2013179402.tif 000008
【図７】
2013179402.tif 000009
【図８】
2013179402.tif 000010
【図９】
2013179402.tif 000011
【図１０】
2013179402.tif 000012
【図１１】
2013179402.tif 000013
【図１２】
2013179402.tif 000014
【図１３】
2013179402.tif 000015
【図１４】
2013179402.tif 000016
【図１５】
2013179402.tif 000017
【図１６】
2013179402.tif 000018
【図１７】
2013179402.tif 000019
【図１８】
2013179402.tif 000020
【図１９】
2013179402.tif 000021
【図２０】
2013179402.tif 000022
【図２１】
2013179402.tif 000023
【図２２】
2013179402.tif 000024
【図２３】
2013179402.tif 000025
【図２４】
2013179402.tif 000026
【図２５】
2013179402.tif 000027
【図２６】
2013179402.tif 000028
【図２７】
2013179402.tif 000029
【図２８】
2013179402.tif 000030
【図２９】
2013179402.tif 000031
【図３０】
2013179402.tif 000032
【図３１】
2013179402.tif 000033
【図３２】
2013179402.tif 000034
【図３３】
2013179402.tif 000035
【図３４】
2013179402.tif 000036
【図３５】
2013179402.tif 000037
【図３６】
2013179402.tif 000038
【図３７】
2013179402.tif 000039
【図３８】
2013179402.tif 000040
【図３９】
2013179402.tif 000041
【図４０】
2013179402.tif 000042
【図４１】
2013179402.tif 000043
【図４２】
2013179402.tif 000044
【図４３】
2013179402.tif 000045
【図４４】
2013179402.tif 000046
【図４５】
2013179402.tif 000047
【図４６】
2013179402.tif 000048
【図４７】
2013179402.tif 000049
【図４８】
2013179402.tif 000050
【図４９】
2013179402.tif 000051
【図５０】
2013179402.tif 000052
【図５１】
2013179402.tif 000053
【図５２】
2013179402.tif 000054
【図５３】
2013179402.tif 000055
【図５４】
2013179402.tif 000056
【図５５】
2013179402.tif 000057
【図５６】
2013179402.tif 000058
【図５７】
2013179402.tif 000059
【図５８】
2013179402.tif 000060
【図５９】
2013179402.tif 000061
【図６０】
2013179402.tif 000062
【図６１】
2013179402.tif 000063
【図６２】
2013179402.tif 000064
【図６３】
2013179402.tif 000065
【図６４】
2013179402.tif 000066
【図６５】
2013179402.tif 000067
【図６６】
2013179402.tif 000068
【図６７】
2013179402.tif 000069
【図６８】
2013179402.tif 000070
【図６９】
2013179402.tif 000071
【図７０】
2013179402.tif 000072
【図７１】
2013179402.tif 000073
【図７２】
2013179402.tif 000074
【図７３】
2013179402.tif 000075
【図７４】
2013179402.tif 000076
【図７５】
2013179402.tif 000077
【図７６】
2013179402.tif 000078
【図７７】
2013179402.tif 000079
【図７８】
2013179402.tif 000080
【図７９】
2013179402.tif 000081