(57)【要約】【目的】動画の中から見たい動画部分を比較的簡単に見つける。【構成】１０分間の動画の中から１分ごとの１０駒の画像Ｆ１からＦ１０を代表画像とする。それらの代表画像Ｆ１からＦ１０を類似度にもとづいてグループ化する。グループごとに代表画像を表示する。表示された代表画像の中からつづきを見たい画像があれば，その画像を指定する。すると，指定された画像の続きの動画が再生される。つづきを見たい画像が無ければ，見たい画像に近い画像が選択され，グループ作成処理が行われ，同様の処理が繰り返される。【選択図】　図５
2004048318.tif 000002
【特許請求の範囲】
【請求項１】
動画を表す動画データが記録されている記録媒体から上記動画データを読み出す読み出し手段，
上記読み出し手段によって読み出された動画データによって表される動画を構成する多数駒の画像を，類似している画像同士によって複数のグループに分類するグループ化手段，
上記グループ化手段によって分類された複数のグループのそれぞれを代表する画像を表示画面上に表示するように表示装置を制御する画像表示制御手段，ならびに
上記画像表示制御手段による表示制御にもとづいて表示された代表画像のうち，選択された代表画像につづく動画を上記表示画面に表示するように上記読み出し手段および上記表示制御手段を制御する動画表示制御手段，
を備えた動画表示制御装置。
【請求項２】
上記選択された代表画像をもつグループについてグループ化および代表画像の表示を繰り返すように上記グループ化手段および上記表示制御手段を制御する制御手段をさらに備えた請求項１に記載の動画表示制御装置。
【請求項３】
上記グループ化手段は，上記多数駒の画像のうちから複数駒の代表画像を，複数のグループに分類するものである，請求項１に記載の動画表示制御装置。
【発明の詳細な説明】
【０００１】
【技術分野】
この発明は，動画表示装置に関する。
【０００２】
【発明の背景】
動画を鑑賞しようとする場合において，所望の部分から見始めようとするときには，動画を早送りで再生したり，巻き戻しで再生したりして，所望の部分を見つけることとなる。しかしながら，所望の部分を探し出すのは比較的面倒である。とくに長時間の動画となると，所望の部分を探すのに時間がかかってしまう。
【０００３】
【発明の開示】
この発明は，比較的簡単に動画の所望の部分を見つけだすことを目的とする。
【０００４】
この発明による動画表示制御装置は，動画を表す動画データが記録されている記録媒体から上記動画データを読み出す読み出し手段，上記読み出し手段によって読み出された動画データによって表される動画を構成する多数駒の画像を，類似している画像同士によって複数のグループに分類するグループ化手段，上記グループ化手段によって分類された複数のグループのそれぞれを代表する画像を表示画面上に表示するように表示装置を制御する画像表示制御手段，ならびに上記画像表示制御手段による表示制御にもとづいて表示された代表画像のうち，選択された代表画像につづく動画を上記表示画面に表示するように上記読み出し手段および上記表示制御手段を制御する動画表示制御手段を備えていることを特徴とする。
【０００５】
この発明による動画表示制御装置に適した制御方法を提供するようにしてもよい。すなわち，動画を表す動画データが記録されている記録媒体から上記動画データを読み出し，読み出された動画データによって表される動画を構成する多数駒の画像を，類似している画像同士によって複数のグループに分類し，分類された複数のグループのそれぞれを代表する画像を表示画面上に表示し，表示された代表画像のうち，選択された代表画像につづく動画を上記表示画面に表示するものである。
【０００６】
この発明によると，記録媒体に記録されている動画データによって表される動画を構成する多数駒の画像が，類似している画像同士によって複数のグループに分類される。分類されたグループのそれぞれを代表する複数の画像が表示装置の表示画面に表示される。表示画面に表示された複数の代表画像のうち動画として見たい画像に近い代表画像がユーザによって選択される。選択された代表画像から始まる動画が表示画面上に表示される。
【０００７】
比較的簡単に，ユーザが見たい所望の動画の部分を見つけだすことができるようになる。また，複数駒の代表画像が表示されるので，それらの代表画像を一瞥することにより動画の全体を把握することもできる。
【０００８】
上記選択された代表画像をもつグループについてグループ化および代表画像の表示を繰り返すように上記グループ化手段および上記表示制御手段を制御する制御手段をさらに備えるようにしてもよい。
【０００９】
類似する画像ごとに，さらに動画をグループ化していくことができ，所望の画像部分を比較的簡単に見つけだすことができるようになる。
【００１０】
上記グループ化手段は，上記多数駒の画像のうちから複数駒の代表画像を複数のグループに分類するものでもよい。
【００１１】
【実施例の説明】
図１は，この発明による実施例を示すもので，動画の記録／再生機能を有したディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００１２】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ２０によって統括される。
【００１３】
ディジタル・スチル・カメラには，各種指令を与えるためのスイッチ２１が含まれている。スイッチ２１から出力される信号は，ＣＰＵ２０に入力する。この実施例によるディジタル・スチル・カメラは，動画記録モード，静止画記録モード，再生モード，動画検索モードなどの各種モードの設定が可能である。
【００１４】
スイッチ２１により記録モード（動画記録モードまたは静止画記録モード）が設定されると，撮像レンズ１によって被写体像がＣＣＤ２の受光面上に結像する。被写体像を表す映像信号がＣＣＤ２から出力されアナログ／ディジタル変換回路３に入力する。アナログ／ディジタル変換回路３において変換されたディジタル画像データは信号処理回路４において，ガンマ補正，白バランス調整などの所定の信号処理が行われる。
【００１５】
信号処理回路４から出力された画像データは，ディジタル／アナログの変換回路１１においてアナログ映像信号に変換される。アナログ映像信号が表示装置１２に与えられることにより，撮像により得られた画像が表示される。
【００１６】
動画記録モードに設定されていると，上述のようにして信号処理回路４から出力された画像データは圧縮／伸長回路５に入力する。圧縮／伸長回路５においてモーションＪＰＥＧ（ｊｏｉｎｔ　ｐｈｏｔｏｇｒａｐｈｉｃ　ｅｘｐｅｒｔｓ　ｇｒｏｕｐ）などの動画圧縮が行われる。圧縮された動画データがインターフェイス６を介してメモリ・カード７に与えられ，記録される。静止画モードに設定されていると，シャッタ・レリーズ・ボタンの押下のタイミングに応じて被写体が撮像され，上述のようにして画像データが得られる。得られた画像データが圧縮／伸長回路５においてＪＰＥＧなどの静止画圧縮が行われる。圧縮された画像データがメモリ・カード７に与えられ，記録されることとなる。
【００１７】
再生モードが設定されていると，メモリ・カード７に記録されている画像データがインターフェイス６を介して圧縮／伸長回路５に与えられる。動画データであれば，圧縮／伸長回路５において動画圧縮に対応した伸長が行われる。静止画データであれば，圧縮／伸長回路５において静止画圧縮に対応した伸長が行われる。いずれにしても伸長された画像データは，ディジタル／アナログ変換回路１１に与えられ，アナログ映像信号に変換される。変換されたアナログ映像信号が表示装置１２に与えられることにより，メモリ・カード７に記録されている画像データによって表される動画または静止画が表示される。
【００１８】
この実施例によるディジタル・スチル・カメラにおいては，動画を再生するときに，所望のシーンから動画を再生することができる。所望のシーンを見つけるために動画検索モードが設定される。所望のシーンを見つける動画を表す動画データがメモリ・カード７から読み取られる。動画データは，インターフェイス６を介して圧縮／伸長回路５において伸長される。伸長された動画データは，類似度算出回路８および代表画像抽出回路１０に入力する。
【００１９】
類似度算出回路８において，動画を構成する各画像同士の類似度が算出される。算出された類似度を表すデータが閾値判断回路９に与えられる。所定の閾値以下であれば，類似すると判断される。類似度が閾値以下同士の画像がグループ化され，そのグループの代表画像が代表画像抽出回路１０において抽出される。抽出された代表画像を表す画像データがディジタル／アナログ変換回路１１においてアナログ映像信号に変換される。変換されたアナログ映像信号が表示装置１２に与えられることにより，代表画像が表示される。
【００２０】
このように，動画が各グループごとに分けられ，それらのグループの代表画像が表示される。グループがさらに，複数のサブ・グループに分けられて，サブ・グループの代表画像が表示される。ユーザが見たい代表画像が表示されるまで，グループ分けおよび分けられたグループの代表画像の表示が繰り返される。ユーザが見たい代表画像が表示されると，その代表画像が選択されることにより，選択された代表画像につづく動画が表示されるようになる。
【００２１】
上述した各回路は，ハードウエアにより構成されているがソフトウエアによって実現してもよいのはいうまでもない。また，動画圧縮処理は，モーションＪＰＥＧが用いられているが，ＭＰＥＧ（ｍｏｖｉｎｇ　ｐｉｃｔｕｒｅ　ｅｘｐｅｒｔｓ　ｇｒｏｕｐ）などの他の圧縮手法を用いても良いし，圧縮しなくとも良い。より詳しくは，以下の説明によって明らかとなろう。
【００２２】
図２は，ディジタル・スチル・カメラの背面の一例である。
【００２３】
ディジタル・スチル・カメラの背面にはそのほぼ全面に液晶表示画面３１が形成されている。この液晶表示画面３１に上述した代表画像Ｆ１，Ｆ３およびＦ１０が表示されている。
【００２４】
液晶表示画面３１の下には，動画記録モードまたは静止画記録モードを設定する記録モード・スイッチ２２，再生モードを設定する再生モード・スイッチ２３，上下左右の矢印が形成されている上下左右ボタン２４，動画検索モードを設定する検索スイッチ２５および決定ボタン２６が設けられている。上下左右ボタン２４に形成されている矢印の押下に応じてカーソル３２が移動する。
【００２５】
再生モード・スイッチ２３により再生モードが設定されると，液晶表示画面３１には動画データを表すアイコン，静止画データを表すアイコンなどが表示される。上下左右ボタン２４を用いて所望の動画アイコンを指定して，検索スイッチ２５が押されると，後述のように動画検索処理が開始する。
【００２６】
図３は，動画検索処理を示すフローチャート，図４から図７は，動画データによって表される動画を構成する各画像の一例である。
【００２７】
動画検索処理が開始すると，指定された動画アイコンによって特定される動画データがメモリ・カード７から読み出される。この実施例においては，合計１０分の動画を表す動画データがメモリ・カード７から読み出されるものとする。
【００２８】
この実施例においては，動画は，１秒当たり１５駒の画像から構成されているものとする。図４の上の図に示すように，１０分×６０秒×１５駒／秒＝９０００駒の画像から１０分の動画が構成される。
【００２９】
これらの９０００駒の画像の中から，動画を代表する画像として１０駒の画像がディフォルトで抽出される。この実施例においては，一番最初に表示される画像と１分ごとに現れる画像の合計１０駒の画像がディフォルトの代表画像とされる。最初に表示される画像は，画像Ｉ１であり，１分後，２分後，３分後，４分後，５分後，６分後，７分後，８分後および９分後に表される画像はそれぞれ，１駒目の画像Ｉ１，９０１駒目の画像Ｉ９０１，１８０１駒目の画像Ｉ１８０１，２７０１駒目の画像Ｉ２７０１，３６０１駒目の画像Ｉ３６０１，４５０１駒目の画像Ｉ４５０１，５４０１駒目の画像Ｉ５４０１，６３０１駒目の画像Ｉ６３０１，７２０１駒目の画像Ｉ７２０１および８１０１駒目の画像Ｉ８１０１となる。これらの画像Ｉ１，Ｉ９０１，Ｉ１８０１，Ｉ２７０１，Ｉ３６０１，Ｉ４５０１，Ｉ５４０１，Ｉ６３０１，Ｉ７２０１およびＩ８１０１が代表画像となる。これらの代表画像を表す画像データが動画データからまず抽出される（ステップ４１）。これらの画像Ｉ１，Ｉ９０１，Ｉ１８０１，Ｉ２７０１，Ｉ３６０１，Ｉ４５０１，Ｉ６３０１，Ｉ７２０１およびＩ８１０１を，それぞれＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８およびＦ９とする。また，代表画像Ｆ１とＦ２との間には，図４の下の図に示すように，９００駒の画像Ｉ１からＩ９００がある。
【００３０】
このようにして抽出された１０駒の代表画像の代表画像同士の類似度が算出される（ステップ４２）。この類似度算出処理について詳しくは，後述する。算出された類似度を用いて類似する画像同士から構成されるグループが作成される（ステップ４３）。たとえば，画像Ｆ１，Ｆ２，Ｆ３，Ｆ５，Ｆ７，Ｆ８およびＦ９がそれぞれ類似し，画像Ｆ３，Ｆ４およびＦ６がそれぞれ類似し，画像Ｆ１０はそのほかの画像とは類似しないものとする。すると，図５に示すように，画像Ｆ１，Ｆ２，Ｆ３，Ｆ５，Ｆ７，Ｆ８およびＦ９から構成されるグループ１，画像Ｆ３，Ｆ４およびＦ６から構成されるグループ２，画像Ｆ１０から構成されるグループ３の３つのグループが作成される。
【００３１】
グループが作成されると，各グループの最初の画像Ｆ１，Ｆ３およびＦ１０が代表画像として決定される。図５においては，代表画像がハッチングで示されている。決定された代表画像が図２に示すように表示画面３１に表示される（ステップ４４）。
【００３２】
表示画面３１上に表示されている代表画像の中に，動画として続きを見たい画像が含まれていると，その続きを見たい画像上にカーソル３２が動かされる。その後，決定ボタン２６が押されると再生指令となり（ステップ４５），カーソル３２によって指定された画像の続きを表す動画データがメモリ・カード７から読み出される。読み出された画像データによって表される動画が表示画面３１上に表示されるようになる（ステップ５０）。
【００３３】
表示画面３１上に表示されている代表画像の中に，動画としてつづきを見たい画像が含まれていない場合には，つづきを見たい画像にもっとも近い画像上にカーソル３２が動かされる。その後，検索ボタン２５が押されると検索指令となり（ステップ４５），カーソル３２によって指定された画像を含むグループを構成する画像の類似度が算出される（ステップ４６）。この実施例においては，代表画像１がユーザによって指定され，検索指令が与えられたものとする。
【００３４】
すると，上述したのと同様に，グループ１を構成する画像Ｆ１，Ｆ２，Ｆ５，Ｆ７，Ｆ８およびＦ９のそれぞれの類似度を用いてサブ・グループが作成される（ステップ４７）。たとえば，図６に示すように，画像Ｆ１とＦ２とが類似し，グループ４が作成され，画像Ｆ５，Ｆ７およびＦ８が類似し，グループ５が作成される。画像Ｆ９がグループ６を構成する。サブ・グループの作成に用いられる閾値は，上述したステップ４３のグループ作成処理に用いられるものよりも値が小さくなっている（より細かなグループ分けが可能な閾値が用いられる）のはいうまでもない。
【００３５】
サブ・グループが作成されると，作成されたサブ・グループの最初の画像が代表画像として，表示画面３１に表示される（ステップ４８）。図６にハッチングで示すように，グループ４の代表画像として画像Ｆ１が表示され，グループ５の代表画像として画像Ｆ５が表示され，グループ６の代表画像として画像Ｆ９が表示される。
【００３６】
表示された代表画像の中に動画としてつづきを見たい画像が含まれていれば，カーソル３２によって指定され，決定ボタン２６が押される（ステップ４９）。指定された画像の続きの動画が表示画面３１に表示される（ステップ５０）。
【００３７】
表示された代表画像の中に動画としてつづきを見たい画像が含まれていなければ，続きを見たい画像にもっとも近い画像上にカーソル３２が動かされ，検索ボタン２５が再度押される（ステップ４９）。すると，ステップ４６から４９の処理が繰り返される。たとえば，画像Ｆ５が指定され，検索ボタン２５が押されると，画像Ｆ５が代表画像であるグループ５を構成する各画像がさらにグループ化され，それぞれのグループの代表画像が表示画面３１上に表示される。たとえば，グループ７と８とのグループ化され，代表画像Ｆ５およびＦ７が表示される。
【００３８】
このように，代表画像が徐々に収束していき，所望の動画の部分を見つけだすことができるようになる。また，上述したように動画は１秒当たり１５駒の画像から構成されているから，このようにして選択された代表画像の続きを構成する９００駒の画像をさらにグループ化して，それらの９００駒の画像の中から画像を選択するようにしてもよい。
【００３９】
図８は，類似度算出処理（図３ステップ４２および４６）の手順を示すフローチャートである。
【００４０】
まず，類似度を算出する２駒の画像が選択される（ステップ６１）。選択された２駒の画像を構成する画素同士の輝度の差分が算出され，その差分の重み付け平均が算出される（ステップ６２）。この重み付け平均算出処理を式で表すと式１のようになる。
【００４１】
Ｓ（ｘ，ｙ）＝Σｗｉ×ＤＦｉ（ｘ，ｙ）・・・式１
ただし，Ｓ（ｘ，ｙ）は任意の座標（ｘ，ｙ）の重み付け平均値，ｗｉは，重み付け係数，ＤＦｉ（ｘ，ｙ）は，２つの画像における同じ座標（ｘ，ｙ）にある画素の輝度の差分である。
【００４２】
算出された平均値が最小であれば（ステップ６３でＹＥＳ），最小平均値として記憶される（ステップ６４）。算出された平均値が最小でなければ（ステップ６３でＮＯ），ステップの処理はスキップされる。
【００４３】
２駒の画像のうち，一方の画像が３６０度回転していなければ（ステップ６５でＮＯ），所定角度（たとえば，１０度）回転させられ（ステップ６６），再びステップ６２から６５の処理が繰り返される。
【００４４】
このようにして得られた最小平均値が２駒の画像の類似度となる。類似度算出処理を上述した各グループを構成するすべての画像または代表画像について行い，類似度によって分けられたグループが作成されることとなる。
【図面の簡単な説明】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】ディジタル・スチル・カメラの背面を示している。
【図３】動画検索処理を示すフローチャートである。
【図４】ディフォルトの代表画像を示している。
【図５】作成されたグループを示している。
【図６】作成されたグループを示している。
【図７】作成されたグループを示している。
【図８】類似度算出処理を示すフローチャートである。
【符号の説明】
５　圧縮／伸長回路
７　メモリ・カード
８　類似度算出回路
９　閾値判断回路
１０　代表画像抽出回路
１２　表示装置
２０　ＣＰＵ
３１　表示画面
２３　再生モード・スイッチ
２４　上下左右ボタン
２５　検索スイッチ
２６　決定ボタン
【図１】
2004048318.tif 000003
【図２】
2004048318.tif 000004
【図３】
2004048318.tif 000005
【図４】
2004048318.tif 000006
【図５】
2004048318.tif 000007
【図６】
2004048318.tif 000008
【図７】
2004048318.tif 000009
【図８】
2004048318.tif 000010