(57)【要約】【課題】  類似性の高い大量の画像がある場合これらの画像を全て視聴すると時間の無駄となる場合がある。また、異なる撮影機器間で基準となる時刻情報が異なる場合に時間順でのスライドショー再生を行った場合本来の順番と異なる順で視聴する場合がある。【解決手段】  類似性の高い画像同士をグループに分類し、その中から重要な画像を選択して再生時間・再生順序を決定する。重要な画像のみを決定した順序で適切な時間再生する。  また、画像間の類似度から本来の時刻を類推し、異なる撮影機器間での時間差を修正する。【選択図】図１
2011009976.tif 000002
【特許請求の範囲】
【請求項１】
画像データを再生する画像再生装置において、
画像データを画像特徴の類似度によりグループに分類を行うグループ分類手段と、
前記グループ分類手段により分類されたグループ内から、グループに属する画像がグループ内で重要度の高い画像か否かを判定する重要度判定手段と、
前記重要度判定手段により判定された重要度によって画像の再生時間を画像ごとに設定する再生時間設定手段と、
前記設定された重要度及び再生時間を保持する手段と、
前記設定された再生時間に従って画像を表示するように画像表示手段へ出力する画像出力手段と、
を有することを特徴とする画像再生装置。
【請求項２】
画像データを再生する画像再生装置において、
画像データを画像特徴の類似度によりグループに分類を行うグループ分類手段を有し、
前記グループ分類手段により分類されたグループ内から、グループに属する画像がグループ内で重要度の高い画像か否かを判定する重要度判定手段を有し、
前記重要度判定手段と画像特徴量により画像の再生順を設定する再生順設定手段を有し、
前記設定された重要度及び再生順を保持する手段と、
前記設定された再生順に従って画像を表示するにように画像表示手段へ出力する画像出力手段と、
を有することを特徴とする画像再生装置。
【請求項３】
請求項１または請求項２に記載の画像再生装置であって、
グループ分類手段を複数有し、
ユーザが該複数のグループ分類手段から１つ以上のグループ分類手段を選択できる手段を有すること
を特徴とする画像再生装置。
【請求項４】
請求項１または請求項２に記載の画像再生装置であって、
ユーザが重要度を判定する手段を選択できる手段を有すること
を特徴とする画像再生装置
【請求項５】
請求項１または請求項２に記載の画像再生装置であって、
前記画像出力手段は、再生画像と、グループ分類手段により分類されたグループに属することを同時に表示するように出力すること
を特徴とする画像再生装置。
【請求項６】
請求項１または請求項２に記載の画像再生装置であって、
前記画像出力手段は、再生画像と、グループ分類手段により分類されたグループに属する他の画像とを同一画面に表示すること
を特徴とする画像再生装置。
【請求項７】
請求項１または請求項２に記載の画像再生装置であって、
グループ分類手段により分類されたグループに属する画像の記録時間情報を修正する手段を有すること
を特徴とする画像再生装置。
【請求項８】
画像データを画像特徴の類似度によりグループに分類を行うグループ分類手段と、
前記グループ分類手段により分類されたグループ内から、グループに属する画像のうち所定条件に従って特定画像を判定する判定手段と、
画像データを表示するように画像表示手段へ出力する画像出力手段と、
前記グループに含まれる画像を再生するとき、前記特定画像と他の画像とで異なる再生時間となるように、前記画像出力手段が画像を出力するよう制御する制御手段と、
を有することを特徴とする画像再生装置。
【請求項９】
請求項８において、
前記所定条件は、画像に含まれる手ブレ、顔認識により認識された顔の向き、および、画像の明るさの１つ以上を含む、あらかじめ設定された、またはユーザが設定した条件であること、
を特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報を、再生・編集する画像再生装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開2007-36737号公報（特許文献１）がある。該公報には「［課題］スライドショーの限られた再生時間内でデータベースに記憶されている全画像を表示して、ユーザが画像の全容を把握できる画像表示装置を提供する。［解決手段］画像表示装置１００は、画像データと、画像の撮影日時などのメタ情報、並びに画像特徴量とを関連付けて保存するデータベース１０１、時系列にソーティングされた画像列に対して、各画像間の撮影時間間隔に基づいて一つ以上の画像グループに分割するグルーピング部１０２、分割された各画像グループのグループ評価値を算出するグループ評価部１０３、各画像グループのグループ評価値の割合に基づいて再生時間を決定する再生時間決定部１０４、再生時間に基づいて画像を表示する表示部１０５、再生時間決定部１０４に対してスライドショーの再生時間等を入力する入力部１０６、及び、時系列順に画像をソートして画像の表示順序を決定する表示順序決定部１０７を備える。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-36737号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、デジタルカメラ・デジタルビデオカメラ・カメラ付き携帯電話など様々な機器で写真（静止画画像）を記録することが可能となっている。HDDや内蔵メモリ、SDカードなどの様々な記録媒体があり、またその容量は増加し続けている。これら機器・記録媒体の普及により、ユーザは簡単に大量の静止画撮影ができるようになった。
【０００５】
記録した画像は、記録した機器本体で再生するだけでなく、記録媒体内のデータを別の機器の記録媒体にコピーすることや、記録媒体を別の機器に装着することにより、別の機器で再生することも可能である。例えばデジタルカメラでSDカードに記録した画像を、PC、TVやデジタルフォトフレームなどの機器で再生することが可能となっている。また、記録した画像をユーザ操作によって一枚一枚再生してゆくのではなく、一連の画像を順次またはランダムに自動的に再生してゆくスライドショーといった機能も普及している。
【０００６】
しかし、画像によって長めに視聴したいものや、視聴時間が短くてもよいものなどが混在しているため、スライドショー機能を用いて全ての画像を同じ時間再生するとユーザにとって時間の無駄となる場合がある。
【０００７】
そこで、記録した時間間隔から、単独で撮影された画像であるか連写で撮影された画像であるかを判別し単独撮影の画像は長く、連写撮影の画像は短い時間再生するといった技術も考案されている。
【０００８】
自身がデジタルカメラで記録したデータだけでなく、カメラ付き携帯電話で記録したデータ、または他者の機器で記録したデータを貰うこともあり、同一のイベントで大量のデータを管理する必要がある。また、同一のイベントであるため似たような写真が複数存在することや、機器が異なり基準となる時間がずれているため時系列に並べた際に実際の順と異なるという問題もある。これらをスライドショー機能により視聴した場合、同じような写真を何枚も見なければいけないということや、実際の順番と異なる順で見る必要があり、面倒で分かり難い。
【課題を解決するための手段】
【０００９】
上記課題の全て又は一部を解決または改善するために、本発明は特許請求の範囲に記載の発明を提供する。例えば、本画像再生装置では、画像の特徴量を用いて画像を分類する。分類した画像を解析し、画像によってスライドショーにおける再生時間を決定する。
【００１０】
また、例えば、画像特徴量によって分類する際、異なる機器により記録された画像の時間情報を修正する。
【発明の効果】
【００１１】
本発明によって、画像再生装置の使い勝手が向上する。例えば、ユーザは大量の画像から重要な画像のみを効率良く視聴することができ、面白みのある視聴形態を取ることができる。
【００１２】
また、例えば、時間情報を修正することによって、本来の時系列に画像を並び替えることができるため、従来通りの時系列にスライドショー再生を行った場合でも正しい時間順に視聴することができる。
【００１３】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１４】
【図１】画像再生装置
【図２】再生時間設定処理
【図３】グループ分類処理
【図４】グループ分類手段
【図５】時間による分類
【図６】構図による分類
【図７】重要度決定処理
【図８】重要視する内容とその点数
【図９】再生時間・再生順決定処理
【図１０】再生時間
【図１１】再生順序
【図１２】画像付加情報
【図１３】画像付加情報
【図１４】操作画面
【図１５】表示方法選択
【図１６】表示画面
【図１７】表示画面
【図１８】時間情報の修正
【発明を実施するための形態】
【００１５】
以下、図面を用いて、本発明の実施形態を説明する。
【実施例１】
【００１６】
本発明の実施に好適な実施形態の例を説明する。ただし、本発明は本実施例に限定されない。
【００１７】
図１は、本発明におけるシステム構成である再生装置１００の一例を示す図である。
【００１８】
１０１は操作部であり、ユーザによりスライドショーの開始や設定を行う。１０２はシステム制御部であり、グループ分類部１０８、重要度設定部１０９、表示設定部１１０などを持ち、全体を制御するものである。１０３は読み出し部で、内部メモリ１０５や外部記録媒体１０６からのデータの読み出しを行う。また、１０４は書き込み部で、内部メモリ１０５、外部記録媒体１０６に表示時間情報や記録時間の書き込みを行う。また、システム制御部１０２に設定された表示時間情報を用いて表示部１０７に表示する。
【００１９】
図２に、本実施例における画像の再生時間設定処理フローを示す。
ステップ２０１では、本実施例におけるスライドショー再生を行う対象となる画像群を指定する。これは、ユーザ操作により複数の画像を選択する方法、複数の画像を含むフォルダを選択する方法、複数の画像を含む複数のフォルダを選択する方法などが挙げられる。例えば図１４に示した操作画面のように、イベント１での「私の携帯電話」「私のデジタルカメラ」「Aさんのデジタルカメラ」というフォルダを選択する形式でもよい。また、ユーザによる指定がない方法でもよく、その場合は記録媒体に記録されている画像を全て選択してもよく、ランダムに選択してもよい。ステップ３００では、設定されたグループ分類手段により画像を分類する。このグループ分類手段は、機器において予め設定されるものでもよく、ユーザ操作により設定されるものでもよい。ステップ７００では、グループに分類された、グループに属する全ての画像に対して重要度を決定する。ステップ９００では、画像の再生時間と再生順序を決定する。ステップ２０４では、図１１に示した画像付加情報を内部メモリまたは外部記録媒体に書き込む。
【００２０】
図３に、本実施例におけるグループ分類処理フローを示す。
ステップ３０１では、ステップ２０１で指定された画像から１枚の画像を読み込む。ステップ３０２では、グループ分類手段に応じた特徴量を算出する。ステップ３０３では、ステップ３０２で算出した特徴量を元に類似度の高いグループへ分類する。類似のグループが無ければステップ３０４へ進む。類似のグループがあればステップ３０５へ進む。ステップ３０４では新規グループを追加する。ステップ３０５では、分類した画像が分類すべき最後の画像かどうかを判定する。他に未分類の画像があればステップ３０１へ進む。最後の画像であれば終了する。
【００２１】
図４に、ステップ３０２におけるグループ分類手段の例を示す。時間で分類する場合は特徴として記録時間を利用して分類する。画像の色合いで分類する場合は、画像のヒストグラムを用いる。画像に写っている人物で分類する場合は、画像中の人物の特徴や顔の特徴を用いる。構図によって分類する場合は画像からエッジ特徴といった画像パターンを用いる。分類方法や、使用する特徴はここに挙げた方法のみに限定されない。また、１つの分類手段を用いてもよく、複数の分類手段を組み合わせてもよい。
【００２２】
図５に、時間によるグループ分類手段により分類された画像の例を示す。グループ１は12：00：00に記録されている。グループ２は、13：05：00、13：05：01、13：05：02と、１秒間隔で記録されている。
【００２３】
図６に、構図によるグループ分類手段により分類された画像の例を示す。グループ１は人物が同じ位置で写っているが、顔が横向き、手ぶれが発生、真正面を向いているという画像であり、これらの記録時間の間隔は大きく異なる。
【００２４】
図７に、本実施例における重要度決定処理フローを示す。ステップ７０１では、ステップ３００で分類したグループのうちの１グループに属する１枚の画像を読み込む。ステップ７０２では、重要項目に従い重要度を決定する。ステップ７０３では、グループ内で最後の画像かどうかを判定する。他に重要度を決定すべき画像があればステップ７０１に進む。最後の画像であればステップ７０４に進む。ステップ７０４では、そのグループが重要度を決定すべき最後のグループかどうかを判定する。他に重要度を決定すべきグループがあればステップ７０１に進む。最後のグループであれば終了する。
【００２５】
図８に、ステップ７０２における重要度の決定のための項目を示す。画像が、図8に示す「項目」中で当てはまる「状態」の点数を加算してゆく。たとえば、画像に手ぶれが発生していた場合は0点だが、手ぶれが発生していない場合は10点を加算する。次に、映り方について笑顔の場合は10点、横を向いている場合は5点という風に表情や顔の角度を判別してそれに相当する点数を加算する。
【００２６】
ここで、どの項目を重要視するかどうかは機器が予め設定してあるものでもよく、ユーザが選択する形式でもよい。また、「状態」に対する点数は機器が予め設定してあるものでもよく、ユーザが設定する形式でもよい。
【００２７】
図９に、本実施例における再生時間・再生順決定フローを示す。を示す。ステップ９０１では、ステップ３００で分類したグループのうちの１グループに属する１枚の画像を読み込む。ステップ９０２では、ステップ７００で決定した重要度の点数より決定された順位を元に、図１０に示す順位と再生時間の対応表を元に再生時間を決定する。1位の場合は2.0秒間再生する。2位の場合は1.0秒間、3位の場合は0.5秒間再生し、4位以下の場合は0秒なので再生しない。また、図１１に示す順位と再生順の対応表を元に再生順序を決定する。３位の画像を１番目に、２位のものを２番目に、１位のものを３番目に再生する。ステップ９０３では、グループ内で最後の画像かどうかを判定する。他に重要度を決定すべき画像があればステップ９０１に進む。最後の画像であればステップ９０４に進む。ステップ９０４では、そのグループが重要度を決定すべき最後のグループかどうかを判定する。他に重要度を決定すべきグループがあればステップ９０１に進む。最後のグループであれば終了する。
【００２８】
また、この重要度の順位と再生時間との対応、重要度の順位と再生順序の対応は機器が予め設定してあるものでもよく、ユーザが設定する形式でもよい。
【００２９】
図１２に、画像付加情報を示す。これは、決定した再生時間・再生順などに関する情報で、ステップ３００、ステップ７００、ステップ８００において決定した情報でその都度内部メモリに保持しておくものである。重要度順位、再生順に関しては属するグループ内での順位、再生順である。
【００３０】
図１３に、図１２で示した画像付加情報を修正したものを示す。図１２の情報のうちグループ内での再生順を全画像内での再生順に変更したものである。
【００３１】
内部メモリ、外部記録媒体に書き込む情報はこれらのどちらでもよい。
【００３２】
再生する場合は、図１２または図１３に示した画像付加情報の再生順に画像を参照し、設定された再生順、再生時間で再生を行う。
【００３３】
図１４に、本操作画面例を示す。イベント１の画像として、「私の携帯電話」「私のデジタルカメラ」「Aさんのデジタルカメラ」で撮影された複数の画像から成る。ユーザは、イベント１を選択し、スライドショーによる視聴を行う場合は「スライドショー」開始のボタンを選択する。重要度の決定方法や、画像の表示方法などのユーザによる設定が可能な設定を行う場合は、「設定」ボタンを選択する。各ディレクトリ内の画像を本来の時間順に並び替える場合は、「画像並び替え」ボタンを選択する。
【００３４】
図１５に、同一グループに属する重要度の低い画像の表示方法選択画面の一例を示す。表示しない、または、表示時間をユーザが設定して表示する、背景として表示するといった方法を選択する。
【００３５】
図１６に、スライドショー再生画面の一例を示す。重要度の高い画像を表示しており、同一グループに属する画像が他にある場合である。グループに属する画像が他にもある旨の表示を行っている。情報の表示のみであってもよく、選択できるようなボタンとして実現してもよい。ボタン選択することにより同一グループに属する他の画像を再生するといった機能を実現することも可能である。
【００３６】
図１７に、スライドショー再生画面の一例を示す。重要度の高い画像を表示しており、同一グループに属する画像が他にある場合である。ここでは、図１５で、[背景に表示]を選択した場合の画面を示す。重要度が高く、スライドショー再生の対象となっている画像を中心に大きく表示している。同時に、同一グループに属する他の画像も表示している。これによって、ユーザにとって重要と考えられる画像を視聴しながら、同一グループに属する他の画像に関しても確認できる。他の画像に関しては、表示するだけでもよく、選択できるようなボタンとして実現してもよい。ボタン選択することでスライドショー対象として追加するといった機能を実現することも可能である。また、背景に配置した画像の位置は本例に限定されない。
【００３７】
図１４の操作画面で示した、「画像並び替え」処理について記す。
【００３８】
図１８に、異なる撮影機器で記録し、基準となる記録時間が異なる場合の画像を示す。機器Aでは、画像A-1からA-5を順に記録している。機器Bでは、画像B-1からB-4を順に記録している。ここで、本来、A-1とB-1は同時間帯内で記録したものとする。しかし、それぞれの機器の時刻が異なるために、A-1とB-1の時間情報が異なっている。
【００３９】
機器A及び機器Bの特徴量を算出する。機器Aの画像と機器Bの画像間で最も類似度の高い画像を決定する。例えば画像A-1と画像B-1の類似度が最も高いとする。A-1とB-1の画像の時間情報を基準として、他の画像の時間情報を修正する。機器A、機器Bのどちらを基準とするかは、最初に再生装置に保存した画像群と決定しておいてもよく、最も画像枚数の多い画像群と決定してもよく、またはユーザが決定してもよい。
【００４０】
ここでは、機器Bに属する画像群の時間情報を修正する場合について記す。画像A-1と画像B-1の類似度の高さから、同時間に撮影されたものとし、画像A-1と画像B-1の時間差を算出する。算出した時間差を機器Bに属する画像群の時間情報に足し算または引き算することで時間情報を修正する。画像B-1は、画像Ｂ’−１画像となり、時間情報を画像A-1と同時刻に修正する。他の画像B-2などについても同様に修正する。これにより、機器Aと同じ時間軸に機器Bで撮影した画像群を配置することができ、例えば機器Aと機器Bで撮影した画像を記録時間順で再生した場合、正しい順序で視聴することが可能となる。
【００４１】
以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４２】
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【産業上の利用可能性】
【００４３】
例えば、大量の画像の中からユーザにとって重要と考えられる画像を再生することで、ユーザの利便性を向上させることができる。
【００４４】
本発明に関して実施例に沿って説明を行ったが、本発明はこれらの例に限定されない。例えば、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話などの撮像装置を備えたものだけでなく、TVやPC、デジタルフォトフレームなどの画像再生表示可能な機器に適用することが可能である。
【符号の説明】
【００４５】
１００…画像再生装置
１０１…操作部
１０２…システム制御部
１０３…読み出し部
１０４…書き込み部
１０５…内部メモリ
１０６…外部記録媒体
１０７…表示部
１０８…グループ分類部
１０９…重要度設定部
１１０…表示設定部
【図１】
2011009976.tif 000003
【図２】
2011009976.tif 000004
【図３】
2011009976.tif 000005
【図４】
2011009976.tif 000006
【図５】
2011009976.tif 000007
【図６】
2011009976.tif 000008
【図７】
2011009976.tif 000009
【図８】
2011009976.tif 000010
【図９】
2011009976.tif 000011
【図１０】
2011009976.tif 000012
【図１１】
2011009976.tif 000013
【図１２】
2011009976.tif 000014
【図１３】
2011009976.tif 000015
【図１４】
2011009976.tif 000016
【図１５】
2011009976.tif 000017
【図１６】
2011009976.tif 000018
【図１７】
2011009976.tif 000019
【図１８】
2011009976.tif 000020