(57)【要約】      （修正有）【課題】限られた画面領域内で画像を閲覧する際に、注目画像に対して複数の異なる方向性で関連した画像を効率的に閲覧できる画像再生装置を提供する。【解決手段】主画像の属性情報を解析する属性情報解析手段と、個々の属性情報に応じて複数の関連情報を選択する関連情報選択手段と、個々の関連情報に合致する管理対象の画像をグルーピングし、グループ数と主画像が含まれるグループの画像数に応じて、どの関連情報を採用するか選択する関連情報選択手段と、関連情報選択手段において選択した関連情報に合致する画像を検索する画像検索手段と、画像検索手段において検索した画像を副画像とする副画像選択手段と、副画像選択手段で選択した画像を表示する副画像表示手段とを有する。【選択図】図６
2018125591.tif 000002
【特許請求の範囲】
【請求項１】
主画像の属性情報を解析する属性情報解析手段と
個々の属性情報に応じて複数の関連情報を選択する関連情報選択手段と
個々の関連情報に合致する管理対象の画像をグルーピングし、グループ数と主画像が含まれるグループの画像数に応じて、どの関連情報を採用するか選択する関連情報選択手段と、
前記関連情報選択手段において選択した関連情報に合致する画像を検索する画像検索手段と、
前記画像検索手段において検索した画像を副画像とする副画像選択手段と、
前記副画像選択手段で選択した画像を表示する副画像表示手段と
を有する画像再生装置。
【請求項２】
前記副画像をユーザーが選択した場合、副画像が次の主画像となり、前記一連の副画像表示処理を行うこと
を特徴とする請求項1に記載の画像再生装置。
【請求項３】
主画像として表示した画像を記憶する主画像記憶手段と
前記主画像記憶手段で記憶した画像について、副画像として表示する優先順位を下げる表示優先順位決定手段と
を有する請求項2に記載の画像再生装置。
【請求項４】
前記属性情報とは、撮影日時、撮影場所、被写体、シーン情報、のいずれかに関する情報であること
を特徴とする請求項1に記載の画像再生装置。
【請求項５】
前記属性情報が撮影日時であった場合、前記関連情報は季節、月、曜日、朝/昼/夕/夜もしくは午前/午後といった一日を構成する時間帯、のいずれかであること
を特徴とする請求項1に記載の画像再生装置。
【請求項６】
前記属性情報が撮影場所であった場合、前記関連情報は階層化された地域情報、ランドマーク情報、地域の特性を示す情報、のいずれかであること
を特徴とする請求項1に記載の画像再生装置。
【請求項７】
前記属性情報が被写体であった場合、前記関連情報は被写体の種類を示す情報、ユーザーとの関係を示す情報、個人または個体の名称、のいずれかであること
を特徴とする請求項1に記載の画像再生装置。
【請求項８】
前記属性情報がシーン情報であった場合、前記関連情報は撮影時にユーザーが指定した情報、イベント情報、シーン解析結果の情報、のいずれかであること
を特徴とする請求項1に記載の画像再生装置。
【請求項９】
ひとつの副画像をユーザーが選択した場合、前記副画像を次の主画像にすると共に、前記副画像に該当する第一の関連情報を保持する関連情報保持手段と、
前記第一の関連情報に合致する副画像を、主画像の上下もしくは左右に表示する第一の副画像表示手段と、
前記一連の関連情報選択手段において選択した第一の関連情報とは異なる第二第三の関連情報に合致する副画像を第一の関連情報に合致する副画像とは異なる位置に表示する第二の副画像表示手段
を有することを特徴とする請求項2に記載の画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を再生する画像再生装置に関する。
【背景技術】
【０００２】
記録媒体の大容量化に伴い、大量画像を携帯電話やデジタルカメラなど画面領域の小さいデバイスで閲覧する機会が増えている。従来、主となる画像に対して関連する画像を表示する画像表示装置がある。(特許文献1参照。)
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００７／１２６０９７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献1において、限られた画面領域内で大量画像を順次閲覧する際に、注目する主画像に対して複数の異なる方向性で関連した画像を効率的に閲覧することができなかった。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本願の画像再生装置は、管理対象の画像を関連情報に基づいて集計し、その結果に応じて関連情報を選択して合致した画像を表示する。
【発明の効果】
【０００６】
注目する主画像に対して複数の異なる方向性で関連した画像を効率的に閲覧することができるようになる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る画像再生装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像再生装置が表示装置に表示する再生画面を示す図である。
【図３】本発明の一実施形態に係る画像再生装置における属性情報と関連情報の対応を示すデータの一例である。
【図４】本発明の一実施形態に係る画像再生装置において使用するデータベースの概念図である。
【図５】本発明の一実施形態に係る画像再生装置において使用するデータベースの概念図である。
【図６】本発明の一実施形態に係る画像再生装置の関連情報処理の工程を示すフローチャート図である。
【図７】本発明の一実施形態に係る画像再生装置において記憶する関連情報のリストの一例である。
【図８】本発明の一実施形態に係る画像再生装置の副画像選択処理の工程を示すフローチャート図である。
【図９】本発明の一実施形態に係る画像再生装置の画像再生処理の工程を示すフローチャート図である。
【図１０】本発明の一実施形態に係る画像再生装置において記憶する関連情報のリストの一例である。
【図１１】本発明の一実施形態に係る画像再生装置の構成を示すブロック図である。
【図１２】本発明の一実施形態に係る画像再生装置が表示装置に表示する再生画面を示す図である。
【図１３】本発明の一実施形態に係る画像再生装置の画像再生処理の工程を示すフローチャート図である。
【図１４】本発明の一実施形態に係る画像再生装置の副画像選択処理の工程を示すフローチャート図である。
【発明を実施するための形態】
【０００８】
［実施例１］
本実施形態の画像再生装置は、固体撮像素子を用いて光学像を電気的な画像データに変換して撮影を行う、デジタルスチルカメラやデジタルビデオカメラ等の電子カメラにより得られた静止画データおよび動画データを表示する。本実施例では、パソコンの機能をベースとして作られた多機能携帯電話であるスマートフォンにて動作する本実施形態の画像再生装置の説明を行う。
【０００９】
本実施形態の画像再生装置は、任意の画像を基準として、前記基準となる画像と共に、関連する画像を表示する。以降、基準となる画像を主画像と記す。関連する画像を副画像と記す。電子カメラにより得られた静止画データおよび動画データは、ファイルのヘッダもしくは関連付けられたファイルに属性情報を保持する。属性情報とは、撮影時の情報や画像の読み出しや再生に必要な情報である。静止画データにおける属性情報とは、撮影日時、撮影場所、シーン情報、撮影モード、被写体情報、イベント情報などである。本実施例においては、撮影場所はGPSを用いて電子カメラが取得した緯度経度の情報とする。
【００１０】
本実施例においては、撮影モードとイベント情報は、ユーザーが撮影時に設定しているものとする。動画データにおける属性情報とは、前記静止画データの属性情報に加え、記録時間、記録開始時刻、記録終了時刻、1秒間あたりに記録したフレーム数、1秒間あたりに再生するフレーム数、音声に関する情報、などである。
【００１１】
本実施形態の画像再生装置は、属性情報を人が解釈しやすい情報へと変換した情報を関連情報と記す。属性情報が撮影日時である場合には、対応する関連情報は、季節、月、曜日、一日を構成する時間帯、である。属性情報が撮影場所である場合には、地名、ランドマーク情報、地域の特性を示す情報である。属性情報が被写体である場合には、被写体の特性を示す情報、所有者との関係を示す情報、個人または個体の名称、である。属性情報がシーンである場合には、ユーザーが撮影時に指定した撮影モード、イベント情報、シーン解析結果の情報である。属性情報と関連情報の詳細については、図3の説明にて後述する。
【００１２】
以降、静止画データおよび動画データを総称して、画像データと記す。スマートフォンをスマホと記す。
[画像再生装置として動作するスマホ]
まず、本実施形態の画像再生装置として動作するスマホについて説明する。また、発明のポイントを明確にするため、スマホの撮影機能や通信機能ではなく記憶媒体内の画像データを再生する画像再生機能に焦点を絞って説明する。
【００１３】
図1は、本発明の一実施形態に係る画像再生装置として動作するスマホを示すブロック図である。スマホにおいて所定の制御プログラムを実行することにより以下に説明する画像再生処理を実現し、画像再生装置として機能する。
【００１４】
図1において、101は本装置全体の制御を司るＣＰＵである。102はＣＰＵ101の動作処理手順（例えばコンピュータの立ち上げ処理や基本入出力処理等のプログラム）を記憶しているＲＯＭである。103はＲＡＭであり、ＣＰＵ101のメインメモリとして機能する。ＲＡＭ103には後述の処理を実現するための制御プログラムを含む各種プログラムがハードディスクドライブ105等からロードされＣＰＵ101によって実行される。また、ＲＡＭ103はＣＰＵ101が各種処理を実行する際のワークエリアを提供する。
【００１５】
105はハードディスクドライブ（以下、ＨＤＤ）を示し、アプリケーションプログラムやデータ、ライブラリなどの保存及び読み込み用に用いられる。106はタッチパネルやボタン等の入力装置である。104はディスプレイでありＣＰＵ101の制御下で各種表示を行なう。
【００１６】
107は記憶媒体装着ユニット（メディアドライブ）であり、着脱可能な記憶媒体を装着し、スチルデジタルカメラで撮影され記憶されたデータを読み出すことを可能とする。108はネットワークインターフェイスであり、通信回線110を介してコンピュータネットワーク111と接続される。このネットワークインターフェイス108により通信可能な機器からデータを送受信する。109は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。
【００１７】
本実施形態の画像再生装置において、処理対象とする画像データ及び動画データは、ＨＤＤ105に保存されているものとする。
【００１８】
[画像再生装置のユーザーインターフェイス]
図2は、本発明の一実施形態に係る画像再生装置として動作するスマホを正面から見た図である。図1の説明と同様、発明のポイントを明確にするため、画像再生機能に焦点を絞って説明する。尚、図2に示す画面は、ユーザーがスマホの起動直後の画面(以下、ホーム画面)から、画像再生機能のアプリケーションソフトウェアを起動した後の画面とする。図2を用いて、本実施形態の画像再生装置のユーザーインターフェイスの詳細について以下に説明する。
【００１９】
201は、各種表示を行うディスプレイ104である。201は、表示機能と共にタッチパネル機能を持ち、入力装置106の機能を果たす。ユーザーが指で画面上の任意の点を押下した時、CPU101はユーザーからの入力指示があったと判定して、押下された位置から操作の内容を判定して、表示更新などの各種処理を行う。
【００２０】
202は、ホームボタンである。画像再生機能のアプリケーションソフトウェアを起動した後に、ホームボタン202をユーザーが押下した場合、CPU101はユーザーからホーム画面に戻る指示があったと判定して、ホーム画面へとディスプレイ201内の表示を更新する。
203は、主画像である。CPU101は、RAM103に記憶されている主画像の情報から画像データを特定し、HDD105から該当する画像データを読み込み、表示する。主画像の情報については、後述する。204、205、206、207は、副画像である。CPU101が後述する画像検索処理を行った後に、決定したHDD105内の画像データを読み込み、表示する。
【００２１】
[画像再生処理]
図9は、本発明の一実施形態に係る画像再生装置における画像再生処理の工程を示すフローチャート図である。尚、本処理はCPU101がRAM103に格納された制御プログラムを実行することにより実行される。
【００２２】
ステップS900にて、CPU101は、RAM103に記憶されている主画像の情報から画像データを特定し、HDD105から該当する画像データを読み込み主画像としてディスプレイ104に表示する。主画像が表示されている状態を図2の203に示す。画像再生装置が起動した直後で、RAM103内に主画像の情報が存在しない場合には、CPU101は後述するデータベースを使用して、最新の撮影日時の画像データを検索し、その画像データを主画像とする。
【００２３】
ステップS901にて、CPU101は、S900で表示した主画像をRAM103に主画像として表示済みの画像データとして記憶する。主画像として表示済みのデータは画像再生装置が起動している間、RAM103に主画像表示済みリストとして保持する。ステップS902にて、CPU101は、図6の説明にて後述する関連情報選択処理を行う。ステップS903にて、CPU101は、図8の説明にて後述する副画像選択処理を行う。ステップS904にて、CPU101は、S903にて選択した副画像をディスプレイ104に表示する。副画像が表示されている状態を図2の204、205、206、207に示す。
【００２４】
ステップS905にて、CPU101は、ユーザーの操作があるか否かを判定する。ステップS905にて、CPU101が、ユーザーの操作があったと判定した場合、ステップS906へ進む。ステップS905にて、CPU101が、ユーザーの操作がないと判定した場合、ステップS905へ戻る。ステップS906にて、CPU101は、ユーザーの操作が終了指示であるか否かを判定する。終了指示とは、ホームボタン202の押下である。ステップS906にて、CPU101が、終了指示であったと判定した場合、RAM103に記憶していた情報を破棄し、画像再生装置を終了する。
【００２５】
ステップS906にて、CPU101が、終了指示ではないと判定した場合、ステップS907へ進む。ステップS907にて、CPU101は、ユーザーの操作が副画像選択指示であるか否かを判定する。副画像選択指示とは、副画像204、205、206、207のいずれかの位置を、ユーザーが指で押下する操作である。ステップS907にて、CPU101が、副画像選択指示であったと判定した場合、ステップS908へ進む。ステップS907にて、CPU101が、副画像選択指示でないと判定した場合、無効な操作として、S905へ戻る。
【００２６】
ステップS908にて、CPU101は、ユーザーが指で押下した座標から、どの副画像がユーザーにより選択されたかを判定し、前記選択された副画像を次の主画像として、RAM103に記憶する。
【００２７】
[属性情報と関連情報のリスト]
図3は、本発明の一実施形態に係る画像再生装置における属性情報と関連情報の対応を示すデータの一例である。HDD105に記憶しているものとする。CPU101が後述するDB登録処理および関連情報選択処理を実行する際にHDD105から読み込んで使用する。301は、属性情報を順次読み込み、後述する処理を実行するための属性情報Noである。302は、属性情報である。303は、関連情報を順次読み込み、後述する処理を実行するための関連情報Noである。304は、関連情報である。
【００２８】
属性情報305は、撮影日時であり、対応する関連情報は、309、310、311、312である。属性情報306は、撮影場所であり、対応する関連情報は、313、314、315、316、317、318、319である。属性情報307は、被写体であり、対応する関連情報は、320、321、322である。属性情報308は、シーンであり、対応する関連情報は、323、324、325である。関連情報309は、季節である。春、夏、秋、冬のいずれかの値になる。関連情報310は、月である。1月〜12月のいずれかの値になる。
【００２９】
関連情報311は、曜日である。日曜〜土曜のいずれかの値になる。関連情報312は、一日を構成する時間帯である。分類した場合、朝、昼、夕、夜、深夜のいずれかの値になる。関連情報313は、地域である。北アメリカ、南アメリカ、アジア、オセアニア、ヨーロッパ、アフリカのいずれかの値になる。関連情報314は、国である。アメリカ合衆国、日本、中国といった国名の値になる。関連情報315は、地方である。国が日本であれば、北海道、東北、関東、中部、近畿、中国、四国、九州のいずれかの値になる。
【００３０】
関連情報316は、県である。国が日本であれば、北海道、青森、岩手、秋田といった県名の値になる。関連情報317は、地名である。国が日本であれば、札幌、東京、大阪、京都、福岡、といった地名の値になる。関連情報318は、ランドマークである。撮影場所付近にある目印となる建物、シンボル的なモニュメント、の名前の値になる。自由の女神、エッフェル塔、スカイツリー、凱旋門、ピサの斜塔などである。
【００３１】
関連情報319は、地域特性である。海、川、湖、池、山、谷、湿地、街、田舎といった地域の特性を示す値になる。関連情報320は、被写体種類である。人物、動物、植物、人工物、自然物、といった被写体の種類を示す値になる。関連情報321は、所有者との関係を示す情報である。家族、友達、ペット、造作物、といった関係を示す値になる。関連情報322は、個人または個体の名称である。人名やペットの名前、造作物の作品の名前、といった個人または個体の名称の値になる。関連情報323は、撮影モードである。ユーザーが撮影時に指定した、風景、ポートレート、夜景、水中、花火、スポーツ、子供、オート、といった値になる。
【００３２】
関連情報324は、イベント情報である。旅行、お散歩、結婚式、運動会、入学式、卒業式、といったイベントを示す値になる。関連情報325は、シーン解析情報である。海、夜景、紅葉、夕焼け、ポートレート、といったシーンを解析した結果の値になる。
【００３３】
[データベース]
図4および図5は、本発明の一実施形態に係る画像再生装置において使用するデータベースの概念図である。図4は、1つの画像データに1つの情報を記憶するためのテーブルであり、図5は、1つの画像データに対して、0から複数個の被写体の情報を記憶するためのテーブルである。本実施形態の画像再生装置において、CPU101は初回起動時にHDD105内に保存されている全ての画像データを読み込み、画像データと属性情報および関連情報を関連付けて、図4および図5に示すデータベースを生成する。そして、CPU101は、HDD105内に前記データベースを保存する。後述する検索処理やグルーピング処理はCPU101が図4および図5に示すデータベースを利用することにより、実現する。以降、データベースのことをDBと記す。
【００３４】
401は、DB内の画像データを一意に特定するためのFileNoを記憶する列である。CPU101が図4に示すDBへのデータ登録する時に画像データ毎に1からインクリメントした値を記憶する。402はファイル名を記憶する列である。各画像データのファイル名をCPU101が読み込み記憶する。403は撮影日時、404は撮影場所の情報を記憶する列である。いずれも各画像データの属性情報をCPU101が読み込み記憶する。405は季節、406は月、407は曜日、408は時間帯の情報を記憶する列である。いずれも各画像データの撮影日時をCPU101が読み込み、各情報に変換した上で、記憶する。変換に際しては、ネットワークインターフェイス108を介して、サーバコンピュータと通信して、取得すればよい。
【００３５】
409は地域、410は国、411は地方、412は県、413は地名、414はランドマーク、415は地域特性の情報を記憶する列である。いずれも各画像データの撮影場所をCPU101が読み込み、各情報に変換した上で、記憶する。変換に際しては、ネットワークインターフェイス108を介して、サーバコンピュータと通信して、取得すればよい。
【００３６】
416は撮影モード、417はイベントの情報を記憶する列である。いずれも各画像データの属性情報をCPU101が読み込み記憶する。418はシーン解析情報を記憶する列である。CPU101が各画像データを解析して画像の内容からシーンを推定した結果を記憶する。解析した結果、海のシーンだと判定した場合には、海。紅葉のシーンだと判定した場合には、紅葉。人物を主被写体としているシーンだと判定した場合には、ポートレートと記憶する。419、420、421、422は、それぞれ、1つの画像データに対応付けられた情報を記憶する行の一例である。
【００３７】
501は、DB内の被写体のデータを一意に特定するための被写体Noを記憶する列である。CPU101が図5に示すDBへデータを登録する時に被写体毎に1からインクリメントした値を記憶する。502は、被写体を含むファイルを特定するためのFileNoを記憶する列である。図4の401に対応する。CPU101は画像データ毎に被写体を解析し、解析した結果、被写体を検出した場合には、図5に示すテーブルに検出した被写体数分、被写体の情報を記憶する。その際に、解析対象となった画像データのFileNoを502に記憶する。
【００３８】
503は被写体種類、504は所有者との関係、505は個人または個体の名称を記憶する列である。CPU101が各画像データを解析して画像の内容から被写体を推定した結果を記憶する。画像データに、複数の被写体が含まれている場合には、検出した被写体数の行分、被写体に対する情報を記憶する。被写体の推定に関しては、一般的な人物認証、動物認証、個体識別の処理を用いる。被写体の検出や認証のために必要な情報はHDD105に予め記憶されているものとし、CPU101が読み込んで被写体検出処理および被写体推定処理を実行する。
【００３９】
506、507、508は検出した被写体の位置に関する情報を記憶する列である。506は被写体の中心座標、507は被写体の幅、508は被写体の高さを記憶する列である。被写体検出処理に関しては、前述の通りである。509、510、511、512、513は、それぞれ1つの被写体に対応付けられた情報を記憶する行の一例である。
【００４０】
419に示す画像データについて、CPU101が被写体を検出できなかった場合、図5のテーブルに、FileNo.1に対応する被写体を記憶しない。420に示す画像データについて、CPU101が被写体を3個検出した場合、図5のテーブルに、FileNo.2に対応する被写体を3行記憶する。509、510、511が該当する。420に示す画像データについて、CPU101が被写体を2個検出した場合、図5のテーブルに、FileNo.3に対応する被写体を2行記憶する。512、513が該当する。
【００４１】
[関連情報の選択基準と理由]
どういう関連性で主画像に関連した画像である副画像が表示されると、ユーザーが効率的に楽しく画像を閲覧できるかの理由を説明する。関連情報でグルーピングした際に、主画像および副画像を含むグループの枚数が、3割以下であることが望ましい。なぜならば、3割より多いと、関連性が低い画像が表示される印象になってしまうからである。主画像および副画像を含むグループの枚数が60枚以上であることが望ましい。なぜならば、同じ関連性で順次画像を閲覧していった場合に、60枚未満だと、すぐ見終わってしまうからである。60枚以上あれば、1枚5秒から10秒閲覧して、5分前後楽しむことができる。
【００４２】
主画像および副画像を含むグループの画像の日時が、違う日時に分散していることが望ましい。なぜならば、同じ関連性で順次画像を閲覧していく場合に、全て同じ日時に集中している画像ばかりだと、日時で閲覧するのと違いがないからである。
【００４３】
上記条件を満たす関連性で、且つ、関連情報でグルーピングした際のグループ数が多いものの方が望ましい。グループ数が多い方が、グループ内の画像の関連性が高い可能性があるからである。
【００４４】
上記条件を満たす関連性で、且つ、属性情報が異なると望ましい。似た方向性で関連する副画像が複数表示されるよりも、異なる方向性で関連する副画像が個々に表示される方が、閲覧者が所望する方向性で関連する画像データを選択できるからである。
【００４５】
[関連情報の選択]
図6は、本発明の一実施形態に係る画像再生装置の関連情報選択処理の工程を示すフローチャート図である。尚、本処理はCPU101がRAM103に格納された制御プログラムを実行することにより実行される。図7は、本発明の一実施形態に係る画像再生装置において記憶する関連情報のリストの一例である。
【００４６】
図3と図6と図7を用いて、CPU101が関連情報を選択する処理について、前述の関連情報の選択基準を前提として説明する。ステップS600にて、CPU101は、後述する一連の処理を実行するために、HDD105から図3に示した属性情報と関連情報のリストを読み込む。ステップS601にて、CPU101は、カウンタkに0を代入する。カウンタkは対象となる属性情報個々について、後述するステップS602からステップS612までの一連の処理をCPU101が実行するためのカウンタである。カウンタkの値は、図3における属性情報Noに該当する。
【００４７】
ステップS602にて、CPU101は、カウンタkが対象とする属性情報の数より少ないか否かを判定する。属性情報の数とは、図3に示した属性情報の数である。ステップS602にて、CPU101がカウンタkが対象となる属性情報の数より少ないと判定した場合には、ステップS603へ進む。ステップS602にて、CPU101がカウンタkが対象となる属性情報の数以上と判定した場合には、対象となる属性情報に対しての一連の処理が完了したと判断して、ステップS613へ進む。
【００４８】
ステップS603にて、CPU101は、図3の属性情報と関連情報のリストを参照し、属性情報Noがkの属性情報から関連情報を読み込む。ステップS604にて、CPU101は、カウンタiに0を代入する。カウンタiは対象となる関連情報個々について、後述するステップS605からステップS611までの一連の処理をCPU101が実行するためのカウンタである。カウンタiの値は、図3における関連情報Noに該当する。
【００４９】
ステップS605にて、CPU101は、カウンタiが対象とする関連情報の数より少ないか否かを判定する。関連情報の数とは、属性情報Noがkの属性情報における図3に示した関連情報の数である。ステップS605にて、CPU101がカウンタiが対象となる関連情報の数より少ないと判定した場合には、ステップS606へ進む。ステップS605にて、CPU101がカウンタiが対象となる関連情報の数以上と判定した場合には、対象となる関連情報に対しての一連の処理が完了したと判断して、ステップS612へ進む。
【００５０】
ステップS606にて、CPU101は、、図3の属性情報と関連情報のリストを参照し、関連情報Noがiの関連情報で、HDD105内の対象となる画像データに対してグルーピングを行う。グルーピングに際しては、図4および図5に示したデータベースを利用する。ステップS607にて、CPU101は、主画像が含まれるグループの枚数の割合が全画像データ数の3割以下か否かを判定する。
【００５１】
ステップS607にて、CPU101が全画像データ数の3割以下と判定した場合には、ステップS608へと進む。ステップS607にて、CPU101が全画像データ数の3割より多いと判定した場合には、ステップS611へと進む。ステップS608にて、CPU101は、主画像が含まれるグループの枚数が60枚以上か否かを判定する。ステップS608にて、CPU101が、60枚以上と判定した場合には、ステップS609へと進む。ステップS608にて、CPU101が、60枚未満と判定した場合には、ステップS611へと進む。
【００５２】
ステップS609にて、CPU101は、主画像が含まれるグループ内の画像が、異なる日時に分散しているか否かを判定する。ステップS609にて、CPU101が、異なる日時に分散していると判定した場合には、ステップS610へと進む。ステップS609にて、CPU101が、連続した日時に集中していると判定した場合には、ステップS611へと進む。ステップS610にて、CPU101は、関連情報Noがiの関連情報について、関連情報とグループの情報をRAM103に記憶する。この時に記憶する情報を図7に示す。図7の説明は後述する。ステップS611にて、CPU101は、カウンタiをインクリメントし、ステップS605へと戻る。
【００５３】
ステップS612にて、CPU101は、カウンタkをインクリメントし、ステップS602へと戻る。ステップS613にて、CPU101は、RAM103内の関連情報情報のリストを参照し、グループ数の多い関連情報を、副画像の数分、選択する。副画像の数とは、図2に示したユーザーインターフェイスに表示する副画像の数である。同じグループ数のものが複数存在し、選択した結果、副画像の数よりも多くなってしまった場合には、選択した関連情報の中から、なるべく異なる属性情報になるように関連情報を選択する。それでも、副画像の数よりも多くなってしまう場合には、関連情報Noの大きい関連情報を選択する。
【００５４】
ステップS614にて、CPU101は、RAM103内の関連情報のリストに、どの関連情報を選択したか記憶する。その際に、選択した順番に0から番号をインクリメントして値を記憶する。そして、一連の処理が完了したものとして、処理を終了する。
【００５５】
701は、関連情報を記憶する列である。S610において、CPU101は関連情報Noがiの関連情報を記憶する。702は、属性情報を記憶する列である。S610において、CPU101は属性情報Noがkの属性情報を記憶する。703は、主画像における関連情報の値を記憶する列である。主画像が図4の421である場合には、703に示した値となる。704は、グループ数を記憶する列である。S610において、CPU101は関連情報Noがiの関連情報でグルーピングした結果のグループ数を記憶する。
【００５６】
705は、主画像を含むグループに属する画像データ数を記憶する列である。CPU101は、関連情報が月で、主画像の値が7月である場合には、撮影日時が7月の画像データ数を記憶する。706は、705の画像データ数の全体の画像データに対する割合を記憶する列である。CPU101は、705の画像データ数が1000で、且つ全画像データ数が6000の場合、小数点以下を四捨五入して、17%を記憶する。707は、選択No.を記憶する列である。S613において、CPU101は関連情報を選択した順番に0から番号をインクリメントして値を記憶する。
【００５７】
[副画像選択]
図8は、本発明の一実施形態に係る画像再生装置の副画像選択処理の工程を示すフローチャート図である。尚、本処理はCPU101がRAM103に格納された制御プログラムを実行することにより実行される。図8を用いてCPU101が、主画像として表示したことのある画像データについては、優先順位を下げて、副画像を選択する処理について、説明する。
【００５８】
ステップS801にて、CPU101は、カウンタnに0を代入する。カウンタnは表示予定の副画像個々について、後述するステップS802からステップS812までの一連の処理をCPU101が実行するためのカウンタである。ステップS802にて、CPU101は、カウンタnが表示予定の副画像の数より少ないか否かを判定する。ステップS802にて、CPU101がカウンタnが表示予定の副画像の数より少ないと判定した場合には、ステップS803へ進む。
【００５９】
ステップS802にて、CPU101がカウンタnが表示予定の副画像の数対象以上と判定した場合には、一連の処理が完了したと判断して処理を終了する。ステップS803にて、CPU101は、RAM103内の関連情報のリストから選択No.がnの関連情報701を読み込む。ステップS804にて、CPU101は、RAM103内の関連情報のリストから選択No.がnの関連情報の主画像の値703を読み込む。ステップS805にて、CPU101は、S803の関連情報がS804の値の画像データを図4および図5に示したDBを利用して、検索する。
【００６０】
ステップS806にて、CPU101はRAM103内の主画像表示済みリストを参照する。そして、S805の検索結果の画像データから主画像になったことのある画像データを除いた画像データをカウントする。ステップS807にて、CPU101は、S806のカウント結果が0か否かを判定する。ステップS807にて、CPU101が0と判定した場合には、ステップS808へと進む。ステップS807にて、CPU101が0ではないと判定した場合には、ステップS809へと進む。ステップS808にて、CPU101は、S805で検索した画像データのうち、現在の主画像を除いた画像データからランダムで1つの画像データを副画像として選択し、RAM103に記憶する。
【００６１】
ステップS809にて、CPU101は、S806のカウント結果が1か否かを判定する。ステップS809にて、CPU101が1と判定した場合には、ステップS810へと進む。ステップS809にて、CPU101が1ではないと判定した場合には、ステップS811へと進む。ステップS810にて、CPU101は、S805で検索した画像データのうち、主画像になったことのない唯一の画像データを副画像として選択し、RAM103に記憶する。ステップS811にて、CPU101は、S805で検索した画像データのうち、主画像になったことのない画像データからランダムで1つの画像データを副画像として選択し、RAM103に記憶する。ステップS812にて、CPU101は、カウンタnをインクリメントし、S802へ戻る。
【００６２】
[主画像に応じた副画像の例]
主画像が、2013年7月10日に横浜で太郎さんと花子さんを撮影したお散歩中の画像データである場合、どのような副画像が表示されるか説明する。前記画像データが図4の421の画像データで、且つ、図6の関連情報選択処理の結果、図7に示す関連情報のリストが作成された場合には、副画像は、花子さんが被写体として写っている画像、太郎さんが被写体として写っている画像、色々な年の7月に撮影された画像、イベント情報がお散歩の画像、の4枚となる。
【００６３】
主画像が、2013年4月7日に高知の桂浜で海を撮影した旅行中の画像データである場合、どのような副画像が表示されるか説明する。前記画像データが図4の419の画像データで、且つ、図6の関連情報選択処理の結果、図10に示す関連情報のリストが作成された場合には、副画像は、色々な年の4月に撮影された画像、海で撮影した画像、風景を撮影した画像、四国で撮影した画像、の4枚となる。
【００６４】
尚、撮影場所に対応する関連情報として、主に国が日本である場合を説明したが、国に応じて変わっても良い。関連情報316は県という表現をしたが、地方の区分よりも細かい地域の区画であればよい。国がアメリカ合衆国であれば、州とする。
【００６５】
関連情報が地方の時の値について、国がアメリカ合衆国であれば、ニューイングランド、ミッドアトランティック、イーストノースセントラル、ウエストノースセントラル、サウスアトランティック、イーストサウスセントラル、ウエストサウスセントラル、マウンテン、パシフィックのいずれかの値になる。
【００６６】
尚、本実施例においては、副画像が4個の場合を例に挙げたが、出力デバイスの画面の大きさに応じて、可変にしてもよいし、ユーザーが設定できるようにしてもよい。
【００６７】
以上説明した通り、本実施形態の画像再生装置によれば、個々の関連情報に合致する管理対象の画像をグルーピングし、グループの数と主画像が含まれるグループの画像数に応じて最適な関連情報を選択することにより、注目する主画像に対して、複数の異なる方向性で関連した画像を効率的に閲覧することができるようになる。
【００６８】
［実施例２］
実施例1においては、主画像が変わる度に副画像の数分、関連情報を選択し直す場合を例に挙げたが、本実施例においては、上下方向の副画像の関連情報は変えず、左右方向の副画像の関連情報だけ選択し直す場合について、説明を行う。また、実施例1においては、スマホにて動作する画像再生装置を説明したが、本実施例においては、デジタルスチルカメラにて動作する画像再生装置の説明を行う。
【００６９】
[画像再生装置として動作するデジタルスチルカメラ]
本実施形態の画像制御装置として動作するデジタルスチルカメラについて説明する。また、発明のポイントを明確にするため、デジタルスチルカメラの撮影機能ではなく記憶媒体内の画像データを再生する画像再生機能に焦点を絞って説明する。
【００７０】
図11は、本発明の一実施形態に係る画像再生装置として動作するデジタルスチルカメラを示すブロック図である。デジタルスチルカメラにおいて所定の制御プログラムを実行することにより以下に説明する画像再生処理を実現し、画像再生装置として機能する。図12は、本発明の一実施形態に係る画像再生装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。図11と図12を用いて、デジタルスチルカメラが画像再生装置として機能することを説明する。
【００７１】
図11において、1100は撮像装置であり、固体撮像素子を用いて光学像を電気的な画像データに変換して画像データを生成する。1101はデジタルスチルカメラ全体の制御を司るＣＰＵである。1102はＣＰＵ1101の動作処理手順（例えばデジタルスチルカメラの電源をONした時の処理や基本入出力処理等のプログラム）を記憶しているフラッシュＲＯＭである。フラッシュＲＯＭには、実施例1の図4および図5に示したDBと同様のデータを記憶する。撮像装置1100にて画像データが生成された場合、CPU1101が画像データの属性情報や画像解析結果から情報を生成し、DBに記憶する。
【００７２】
1103はＲＡＭであり、ＣＰＵ1101のメインメモリとして機能する。ＲＡＭ1103には後述の処理を実現するための制御プログラムを含む各種プログラムがフラッシュＲＯＭ1102等からロードされＣＰＵ1101によって実行される。また、ＲＡＭ1103はＣＰＵ1101が各種処理を実行する際のワークエリアを提供する。1104は図12に示すディスプレイ1201でありＣＰＵ1101の制御下で各種表示を行なう。たとえば、記憶媒体に記憶されたデータの表示を行う。
【００７３】
1105はタッチパネルや図12に示す各種操作を行うためのボタン等の入力装置である。ボタンの詳細な説明は、後述する。1106は記憶媒体装着ユニット（メディアドライブ）であり、着脱可能な記憶媒体を装着し、データを記憶したり、記憶されたデータを読み出すことを可能とする。
【００７４】
1107はネットワークインターフェイスであり、通信回線1109を介してコンピュータネットワーク1110と接続される。このネットワークインターフェイスによりサーバやパーソナルコンピュータからデータを送受信する。また、場所を取得する際にも、CPU1101は、通信回線1109を介してコンピュータネットワーク1110に接続し、衛星測位システム（以降GPSと記す）を利用して場所を算出するサーバと通信して場所を取得する。
1108は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。
【００７５】
[デジタルスチルカメラのユーザーインターフェイス]
本実施形態による画像再生装置として動作するデジタルスチルカメラの各種ボタンとユーザーインターフェイスの詳細について図12を用いて説明する。本実施例で説明するデジタルスチルカメラには3種類のモードがあり、各モードに応じた動作をする。第一に撮影を行う「撮影モード」、第二に記憶媒体内の画像データを表示する「再生モード」、第三に各種設定を行う「設定モード」である。本実施例で主に説明するモードは「再生モード」である。電源ボタン1209以外の全てのボタンに関しては、デジタルスチルカメラに電源が入っているときの動作を説明する。
【００７６】
1200は、レリーズボタンである。ユーザが押下すると、CPU1101がユーザから撮影指示があったと判定し、撮影モードへと切り替え、撮影処理を行う。1201は、ディスプレイであり表示機能については1104で説明した通りである。1201は、表示機能と共にタッチパネル機能を持ち、入力装置1105の機能を果たす。ユーザーが指で画面上の任意の点を押下した時、CPU1101はユーザーからの入力指示があったと判定して、押下された位置から操作の内容を判定して、表示更新などの各種処理を行う。
【００７７】
1202は、電源のON/OFFを切り替える電源ボタンである。デジタルスチルカメラの電源が入っていない状態で、ユーザが押下するとCPU1101はユーザから電源入力の指示があったと判定し、電源を入れる。電源が入っている状態で、ユーザが押下するとCPU1101はユーザから電源切りの指示があったと判定し、電源を切る。1203は、撮影モードボタンである。撮影モードボタン1203をユーザが押下すると、CPU1101がユーザから撮影モードへの切り替え指示があったと判定し、撮影モードへと切り替え、撮像装置1100による撮影の準備をすると共に、結像した画像をディスプレイ1201に表示する。
【００７８】
1204は、再生ボタンである。再生ボタン1204をユーザが押下すると、CPU1101がユーザから再生モードへの切り替え指示があったと判定し、記憶媒体から画像データを読み込みディスプレイ1201に画像を表示する。図12のディスプレイ1201は再生画面を表示している状態を示している。1205は、設定ボタンである。設定ボタン1205をユーザが押下すると、CPU1101がユーザから設定モードへの切り替え指示があったと判定し、設定画面をディスプレイ1201に表示する。
【００７９】
1206は、主画像である。CPU1101は、RAM1103に記憶されている主画像の情報から画像データを特定し、記憶媒体から該当する画像データを読み込み、表示する。1207、1208、1209、1210は、副画像である。CPU1101が後述する副画像選択処理を行った後に、決定した記憶媒体内の画像データを読み込み、表示する。本実施例においては、1207、1208の副画像に関して、図14の説明にて後述する副画像選択処理で画像データを決定する。対して、1209、1210は実施例1と同様の副画像選択処理で画像データを決定する。
【００８０】
[画像再生処理]
図13は、本発明の一実施形態に係る画像再生装置の画像再生処理の工程を示すフローチャート図である。尚、本処理はCPU1101がRAM1103に格納された制御プログラムを実行することにより実行される。図13を用いて、CPU1101が上下方向の副画像の関連情報は変えず、左右方向の副画像の関連情報だけ選択し直す場合について、説明を行う。図9において説明した処理と同じ処理については、図9の対応するステップを記載し、説明を省略する。
【００８１】
ステップS1301にて、CPU1101は、上下方向の副画像の選択処理を行う。S1301における選択処理については、図14の説明にて後述する。ステップS1302にて、CPU1101は、左右方向の副画像の選択処理を行う。S1302における選択処理については、S903とほぼ同様である。異なる点は、S1301における副画像選択処理で選択した副画像の数が2に満たない場合、S1302にて、副画像の選択数を増やし、S1301およびS1302の処理で副画像を4つ選択するように調整する点である。ステップS1303にて、CPU1101は、S908にて記憶した副画像に該当する関連情報を、ユーザーが指定した関連情報として、RAM1103に記憶する。
【００８２】
[副画像選択]
図14は、本発明の一実施形態に係る画像再生装置の副画像選択処理の工程を示すフローチャート図である。本実施例においては、上下方向の副画像選択処理に該当する。尚、本処理はCPU1101がRAM1103に格納された制御プログラムを実行することにより実行される。図14を用いてCPU1101が、ユーザーが指定した関連情報に基づいて、上下方向の副画像を選択する処理について、説明する。
【００８３】
ステップS1401にて、CPU1101は、ユーザーが指定した関連情報がRAM1103に記憶されているか否かを判定する。ユーザーが指定した関連情報とはS1303にて記憶した関連情報である。ステップS1401にて、CPU1101が、ユーザーが指定した関連情報があると判定した場合には、ステップS1402へ進む。ステップS1401にて、CPU1101が、ユーザーが指定した関連情報がないと判定した場合には、ステップS1409へ進む。ステップS1402にて、CPU1101は、ユーザーが指定した関連情報に関する主画像の値を読み込む。
【００８４】
ステップS1403にて、CPU1101は、ユーザーが指定した関連情報がS1402の値の画像データをフラッシュROM1102内のDBを利用して、検索する。ステップS1404にて、CPU1101は、RAM1103内の主画像表示済みリストを参照する。そして、S1403の検索結果の画像データから主画像になったことのある画像データを除いた画像データをカウントする。ステップS1405にて、CPU1101は、S1404のカウント結果が2以上か否かを判定する。ステップS1405にて、CPU1101が2以上と判定した場合、ステップS1406へ進む。ステップS1405にて、CPU1101が2未満と判定した場合、ステップS1407へ進む。
【００８５】
ステップS1406にて、CPU1101は、S1403で検索した画像データのうち、現在の主画像を除いた画像データからランダムで2つの画像データを副画像として選択し、RAM1103に記憶する。ステップS1407にて、CPU1101は、S1404のカウント結果が1か否かを判定する。ステップS1407にて、CPU1101が1と判定した場合、ステップS1408へ進む。ステップS1408にて、CPU1101が1ではないと判定した場合、ステップS1409へ進む。ステップS1408にて、CPU1101は、S1403で検索した画像データのうち、主画像になったことのない唯一の画像データを副画像として選択し、RAM1103に記憶する。
【００８６】
ステップS1409にて、CPU1101は、選択できる副画像がなかったものとして、副画像の選択数を0とする。ステップS1410にて、CPU1101は、S1401からS1409までの一連の副画像選択処理の中で選択した副画像の数をRAM1103に記憶する。
【００８７】
尚、本実施例では、S1301にて、副画像選択数が2に満たなかった場合、S1302にて、副画像の選択枚数を増やすものとしたが、足りない場合、主画像の値の次の値で検索した画像データを副画像として選択してもよい。もし、色々な年の4月の画像を全て表示した場合には、5月の画像を表示する。四国で撮影した画像をすべて表示した場合には、九州の画像を表示する。花子さんが被写体の画像を全て表示した場合には、太郎さんが被写体の画像を表示する。次の値が一意に決まらない場合には、前述の通りS1302にて副画像の選択枚数を増やせばよい。
【００８８】
尚、本実施例では、上下方向の画像の関連性は変えず、左右方向の画像の関連性だけ変わることを例に挙げたが、上下と左右が逆でも、良いことはいうまでもない。また、4方向のうち1方向だけ関連性を変えないようにしても、よい。
【００８９】
以上説明した通り、本実施形態の画像再生装置によれば、上下方向の画像の関連性は変わらず、左右方向の画像の関連性だけ変わっていくので、ユーザーは同一の方向性で関連した画像を閲覧することもできるし、異なる方向性で関連した画像を見たくなった時に切り替えることもできる。
【００９０】
以上説明した通り、本実施形態の画像再生装置によれば、スマホだけではなくデジタルスチルカメラにおいても、注目する主画像に対して、複数の異なる方向性で関連した画像を効率的に閲覧することができるようになる。
【００９１】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００９２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９３】
101  ＣＰＵ
102  ＲＯＭ
103  ＲＡＭ
【図１】
2018125591.tif 000003
【図２】
2018125591.tif 000004
【図３】
2018125591.tif 000005
【図４】
2018125591.tif 000006
【図５】
2018125591.tif 000007
【図６】
2018125591.tif 000008
【図７】
2018125591.tif 000009
【図８】
2018125591.tif 000010
【図９】
2018125591.tif 000011
【図１０】
2018125591.tif 000012
【図１１】
2018125591.tif 000013
【図１２】
2018125591.tif 000014
【図１３】
2018125591.tif 000015
【図１４】
2018125591.tif 000016