(57)【要約】【課題】連続する複数の画像データのフレーム間の差分を提示することができる表示制御装置、撮像装置、表示制御方法およびプログラムを提供する。【解決手段】表示制御装置は、連続する複数の画像データのうちの所定の画像データのサムネイル画像を表示させる際に、所定の画像データより前の第１の画像データと画像データとの第１の差分領域と、画像データより後の第２の画像データと画像データとの第２の差分領域とを異なる表示態様でサムネイル画像に表示させる制御手段、を備える。【選択図】図１
2020085997.tif 000002
【特許請求の範囲】
【請求項１】
連続する複数の画像データのうちの所定の画像データのサムネイル画像を表示させる際に、前記所定の画像データより前の第１の画像データと前記画像データとの第１の差分領域と、前記画像データより後の第２の画像データと前記画像データとの第２の差分領域とを異なる表示態様で前記サムネイル画像に表示させる制御手段、
を備えることを特徴とする表示制御装置。
【請求項２】
前記制御手段は、前記第１の差分領域の広さが第１の閾値以下の場合に前記第１の差分領域を前記サムネイル画像に表示させ、前記第２の差分領域の広さが第２の閾値以下の場合に前記第２の差分領域を前記サムネイル画像に表示させる、
ことを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記制御手段は、前記第１の画像データのサムネイル画像の一部を前記第１の差分領域と同じ表示態様で表示させ、前記第２の画像データのサムネイル画像の一部を前記第２の差分領域と同じ表示態様で表示させる、
ことを特徴とする請求項２記載の表示制御装置。
【請求項４】
前記制御手段は、前記第１の画像データのサムネイル画像の一部と前記第１の差分領域とを同じ第１の色で表示させ、前記第２の画像データのサムネイル画像の一部と前記第２の差分領域とを同じ第２の色で表示させ、
前記第１の色と前記第２の色とは異なる色であること、
を特徴とする請求項３記載の表示制御装置。
【請求項５】
前記制御手段は、前記画像データから複数のオブジェクトを認識し、認識された前記複数のオブジェクトのそれぞれに、異なる値の前記第１の閾値および前記第２の閾値を設定する、
ことを特徴とする請求項２乃至４のうち何れか１項に記載の表示制御装置。
【請求項６】
前記制御手段は、前記第１の差分領域の広さが前記第１の閾値より低い閾値より小さい場合には、前記第１の差分領域を表示させず、前記第２の差分領域の広さが前記第２の閾値より小さい閾値である場合には、前記第２の差分領域を表示させない、
ことを特徴とする請求項２乃至５のうち何れか１項に記載の表示制御装置。
【請求項７】
前記制御手段は、前記第１の差分領域の広さが前記第１の閾値より大きい場合には、前記第１の画像データのサムネイル画像の一部を前記第１の差分領域の表示態様および前記第２の差分領域の表示態様とは異なる態様で表示し、前記第２の差分領域の広さが前記第２の閾値より大きい場合には、前記第２の画像データのサムネイル画像の一部を前記第１の差分領域の表示態様および前記第２の差分領域の表示態様とは異なる態様で表示する、
ことを特徴とする請求項１乃至６のうち何れか１項に記載の表示制御装置。
【請求項８】
前記制御手段は、前記第１の差分領域と前記第２の差分領域とのうち小さい差分領域に対応するサムネイル画像の一部を強調表示する、
ことを特徴とする請求項３乃至５のうち何れか１項に記載の表示制御装置。
【請求項９】
ユーザからの操作を受け付ける入力手段、をさらに備え、
前記制御手段は、前記入力手段に対して操作がされている間は、前記第１の差分領域および前記第２の差分領域を特定する処理を停止する、
ことを特徴とする請求項１乃至８のうち何れか１項に記載の表示制御装置。
【請求項１０】
前記制御手段は、前記第１の差分領域の広さが前記第１の閾値以下であるか否かに応じて、前記第１の差分領域の透過度を変化させ、前記第２の差分領域の広さが前記第２の閾値以下であるか否かに応じて、前記第２の差分領域の透過度を変化させる制御を行う、
ことを特徴とする請求項２記載の表示制御装置。
【請求項１１】
前記制御手段は、前記第１の画像データのサムネイル画像の一部を前記第１の差分領域と同じ透過度で表示させ、前記第２の画像データのサムネイル画像の一部を前記第２の差分領域と同じ透過度で表示させる、
ことを特徴とする請求項１０記載の表示制御装置。
【請求項１２】
前記制御手段は、前記第１の差分領域と前記第２の差分領域とが重複している場合、前記第１の差分領域と前記第２の差分領域とを交互に表示する制御を行う、
ことを特徴とする請求項１乃至１１のうち何れか１項に記載の表示制御装置。
【請求項１３】
前記連続する複数の画像データは、動画像データであることを特徴とする請求項１に記載の表示制御装置。
【請求項１４】
前記連続する複数の画像データは、連写撮影により得られた複数の画像データであることを特徴とする請求項１に記載の表示制御装置。
【請求項１５】
前記表示制御装置は、画像データを撮像する撮像部を有する撮像装置であることを特徴とする請求項１に記載の表示制御装置。
【請求項１６】
連続する複数の画像データのうちの所定の画像データのサムネイル画像を表示させる際に、前記所定の画像データより前の第１の画像データと前記画像データとの第１の差分領域と、前記画像データより後の第２の画像データと前記画像データとの第２の差分領域とを異なる表示態様で前記サムネイル画像に表示させる工程、
を備えることを特徴とする表示制御方法。
【請求項１７】
コンピュータを請求項１乃至１４のいずれか１項に記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続する複数の画像データの所定のフレームを表示させる表示制御装置、表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
動画像データの中から、ユーザが選択したフレーム（画像データ）を記録する技術として、特許文献１の撮像装置が提案されている。特許文献１の撮像装置は、動画再生中にユーザにより一時停止ボタンを押下されると、動画表示を一時停止し、表示中のフレーム画像から指定された枚数分を静止画として切り出す。切り出された静止画は、メモリカードに記録される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−３２２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザは、動画像データから所定のフレームを切り出して、ディスプレイ等に表示させる場合、ユーザは、フレーム間の差分を比較することで、切り出し対象のフレーム（表示対象のフレーム）を選択することがある。特許文献１の技術では、ユーザが、再生中の動画を一時停止して、切り出し対象のフレームを選択している。このため、ユーザは、再生中の動画からフレーム間の差異（特に、フレーム間の細かい差異）を認識することが難しい。
【０００５】
本発明の目的は、連続する複数の画像データのフレーム間の差分を提示することができる表示制御装置、表示制御方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の表示制御装置は、連続する複数の画像データのうちの所定の画像データのサムネイル画像を表示させる際に、前記所定の画像データより前の第１の画像データと前記画像データとの第１の差分領域と、前記画像データより後の第２の画像データと前記画像データとの第２の差分領域とを異なる表示態様で前記サムネイル画像に表示させる制御手段、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、連続する複数の画像データのフレーム間の差分を提示することができる。
【図面の簡単な説明】
【０００８】
【図１】表示制御装置の構成例を示す図である。
【図２】動画像データを構成する各フレームの例を示す図である。
【図３】第１実施形態におけるＧＵＩ表示例を示す図である。
【図４】第１実施形態の流れを示すフローチャートである。
【図５】第２実施形態の流れを示すフローチャートである。
【図６】第２実施形態におけるＧＵＩ表示例を示す図である。
【図７】第３実施形態の流れを示すフローチャートである。
【図８】第４実施形態の流れを示すフローチャートである。
【図９】第４実施形態におけるＧＵＩ表示例を示す図である。
【図１０】第４実施形態における他のＧＵＩ表示例を示す図である。
【図１１】第５実施形態の流れを示すフローチャートである。
【図１２】第５実施形態におけるＧＵＩ表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
【００１０】
＜第１実施形態＞
図１は、表示制御装置１００の構成例を示す図である。表示制御装置１００は、任意の装置に適用され得る。例えば、表示制御装置１００は、パーソナルコンピュータや動画像データ（動画）や連写撮影により画像データを撮像する撮像部を有する撮像装置、スマートフォン等のスマートデバイスに適用されてもよい。表示制御装置１００がパーソナルコンピュータやスマートフォンに適用される場合、パーソナルコンピュータやスマートフォンは、動画像データが記憶されたメディア（外部記憶媒体）から、動画像データを取得して、各実施形態の処理を行う。
【００１１】
表示制御装置１００は、制御部１０１、ハードディスク１０２、メモリ１０３、表示制御部１０４、差分抽出部１０７、デコーダ１０８、ドライブ装置１０９および入力部１１１を有する。各部は、内部バス１０６を介して、相互にデータの授受を行うことができる。図１において、ハードディスクは、「ＨＤＤ」と表記される。表示制御部１０４には、表示部１０５が接続されている。ドライブ装置１０９には、外部記憶媒体１１０が接続されている。制御部１０１は、各実施形態の制御を行う制御手段である。ハードディスク１０２やＲＯＭ等に記憶された制御プログラムが、ＲＡＭ等のメモリ１０３に展開され、ＣＰＵがメモリ１０３に展開されたプログラムを実行することで、制御部１０１の機能が実現されてもよい。ハードディスク１０２は、例えば、画像データ等を記憶する。
【００１２】
入力手段としての入力部１１１は、ユーザ操作を受け付け、操作に応じた制御信号を生成し、制御部１０１に出力する。入力部１１１には、ユーザ操作を受け付ける入力デバイスとして、キーボード等の文字情報入力デバイスや、マウス、タッチパネルといったポインティングデバイス等が適用され得る。タッチパネルは、例えば、平面的に構成された入力部に対して接触された位置に応じた座標情報を出力する入力デバイスである。制御部１０１は、入力デバイスに対して行われたユーザ操作に応じて生成される制御信号に基づいて、各部の制御を行う。以上により、表示制御装置１００は、ユーザ操作に応じた動作を行うことができる。
【００１３】
表示制御部１０４は、表示手段としての表示部１０５に対して画像を表示させるための表示信号を出力する。例えば、制御部１０１は、表示制御部１０４に対して表示制御信号を出力する。表示制御部１０４は、表示制御信号に基づいて表示信号を生成し、表示信号を表示部１０５に対して出力する。例えば、表示制御部１０４は、制御部１０１が生成する表示制御信号に基づいて、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面を表示部１０５に表示する。表示部１０５と入力部１１１とは、タッチパネルディスプレイとして、一体的に構成されてもよい。例えば、タッチパネルディスプレイは、光の透過率が表示部１０５の表示機能を妨げないように構成されており、表示部１０５の表示面の上層に取り付けられていてもよい。タッチパネルディスプレイにおける入力座標と、表示部１０５上の表示座標とが対応付けられることで、ユーザが表示部１０５上に表示された画面を直接的に操作可能なＧＵＩを構成することができる。
【００１４】
制御部１０１は、ハードディスク１０２や外部記憶媒体１１０から動画像データを取得し、デコーダ１０８に対して動画像データをデコードするためのデコード信号を出力する。例えば、デコーダ１０８は、生成されたデコード信号に基づいて、動画像データをデコードし、メモリ１０３に記憶する。デコーダ１０８は、生成したデコード信号に基づき、動画像データをデコードし、デコードされた動画像データを表示部１０５に表示する。これにより、動画（動画像データ）が表示部１０５に表示される。制御部１０１は、表示部１０５に表示している動画像データを、入力部１１１に対してなされたユーザ操作に応じて、再生や一時停止、コマ送り、コマ戻し等の各種の制御を行うことができる。例えば、制御部１０１は、入力部１１１に対して行われたユーザ操作に応じて入力部１１１で生成された制御信号に基づいて、デコーダ１０８によりデコードされた画像データを外部記憶媒体１１０に記憶させることができる。デコーダ１０８の機能は、制御部１０１が行ってもよい。
【００１５】
制御部１０１は、差分抽出部１０７に対して差分抽出信号を出力する。差分抽出部１０７は、生成された差分抽出信号に基づき、フレーム間の差分領域を抽出する。フレームは、動画像データを構成する画像データ（静止画データ）である。例えば、フレームは、４Ｋ対応のフレームであってもよい。差分抽出部１０７は、任意の差分抽出技術を適用して、フレーム間の差分領域を抽出してもよい。例えば、差分抽出部１０７は、フレームの信号量に基づいて、差分領域を抽出してもよい。制御部１０１は、各々の差分領域の面積を加算し、差分量を算出する。制御部１０１は、差分を抽出するフレーム間の位置合わせを行った後に、差分抽出部１０７に差分抽出信号を出力する。例えば、位置合わせ技術としては、主画像と比較画像との背景の位置を合わせるようにして、画像間の全体的な動きベクトルを求め、求めた動きベクトルに従って比較画像を変形させ、主画像と画角を合わせる技術が適用され得る。動きベクトルは、ブロックマッチング法等の技術を適用できる。また、画像の変形はアフィン変換等を適用できる。差分抽出部１０７の機能は、制御部１０１が行ってもよい。
【００１６】
制御部１０１は、動画像データを構成するフレームを分析し、フレームの中のオブジェクトを認識する。例えば、オブジェクト認識手法としては、顔認証技術が適用できる。ドライブ装置１０９には、ＣＤやＤＶＤ、半導体メモリ等の外部記憶媒体１１０が装着可能であり、制御部１０１は、装着された外部記憶媒体１１０からデータの読み出し、または外部記憶媒体１１０に対してデータの書き込みを行う。
【００１７】
上述したように、表示制御装置１００は、任意の装置に適用可能である。例えば、表示部１０５は、デジタルカメラ等の撮像装置の背面ディスプレイ（タッチパネルディスプレイ）であってもよい。この場合、表示制御装置１００は、背面ディスプレイ（タッチパネルディスプレイ）に対する操作に応じて、各種の制御を行う。また、表示制御装置１００は、携帯端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画面選択および確認のためのディスプレイ、デジタルフォトフレーム等に適用可能である。
【００１８】
図２は、動画像データを構成する各フレームの例を示す図である。動画像データは、複数のフレームにより構成されており、図２の例では、それぞれ異なるタイミングのフレーム４０１〜４０５が示されている。例えば、表示部１０５において動画（動画像データ）が再生されている際に、ユーザが、入力部１１１を操作して、所定のフレームを選択することができる。図２の例では、フレーム４０３が選択されたことを示す。フレーム４０３は、Ｎ番目のフレームである。フレーム４０２は、選択されたフレーム４０３の１つ前のフレーム（「Ｎ−１」番目のフレーム）である。フレーム４０４は、選択されたフレーム４０３の１つ後のフレーム（フレーム４０４は、「Ｎ＋１」番目のフレーム）である。
【００１９】
図３は、第１実施形態におけるＧＵＩ表示例を示す図である。図３（Ａ）において、フレーム５０２は、動画像データを構成する各フレームのうち選択されたフレーム（注目フレーム）である。注目フレームは、所定の画像データに対応する。フレーム５０１は、フレーム５０２の１つ前のフレームであり、フレーム５０３は、フレーム５０２の１つ後のフレームである。各フレームおよびサムネイル画像は、表示部１０５に表示される。表示部１０５には、注目フレームの２つ以上前のフレームおよびサムネイル画像が表示されてもよいし、注目フレームの２つ以上後のフレームおよびサムネイル画像が表示されてもよい。注目フレームよりも前のフレームは、第１の画像データに対応する。注目フレームよりも後のフレームは、第２の画像データに対応する。図３（Ａ）に示されるように、フレーム５０２には、フレーム５０２のサムネイル画像部５０４が含まれる。サムネイル画像部５０４は、注目フレーム５０２のサムネイル画像５０５だけでなく、複数の他のフレームのサムネイル画像の一部を含む。他のフレームのサムネイル画像の一部は、枠に囲まれて、注目フレーム５０２のサムネイル画像５０５と重複した形で表示される。サムネイル画像の一部は、枠および枠に含まれるサムネイル画像に対応する。図３の例では、サムネイル画像部５０４は、フレーム５０２の中央下部に表示されている例が示されているが、サムネイル画像部５０４は、フレーム５０２の任意の箇所に表示されてよい。
【００２０】
図３（Ｂ）は、サムネイル画像部５０４を拡大した例を示す。サムネイル画像部５０４は、フレーム５０２のサムネイル画像５０５および前後のフレームを示す複数の枠を含む。サムネイル画像５０５は、第１の差分領域５０６および第２の差分領域５０７を含む。第１の差分領域５０６は、フレーム５０２（注目フレーム）とフレーム５０１（フレーム５０２の１つ前のフレーム）との差分の領域である。第２の差分領域５０７は、フレーム５０２（注目フレーム）とフレーム５０３（フレーム５０２の１つ後のフレーム）との差分の領域である。第１の差分領域は、注目フレームと２つ以上前のフレームとの差分領域であってもよいし、第２の差分領域は、注目フレームと２つ以上後のフレームとの差分領域であってもよい。サムネイル画像５０５に隣接する２つの枠を、第１の枠５０８および第２の枠５０９とする。第１の枠５０８は、第１の差分領域５０６に対応している。第２の枠５０９は、第２の差分領域５０７に対応している。第１の枠５０８は、フレーム５０２（注目フレーム）の前のフレーム５０１のサムネイル画像の一部および当該サムネイル画像を囲う枠を示す。第２の枠５０９は、フレーム５０２（注目フレーム）の後のフレーム５０３のサムネイル画像の一部および当該サムネイル画像を囲う枠を示す。
【００２１】
ユーザが、入力部１１１を操作して、第１の枠５０８を指定する操作を行うと、制御部１０１は、表示部１０５に表示されているフレーム５０２を、前のフレーム５０１に切り替える制御を行う。また、ユーザが、入力部１１１を操作して、第２の枠５０９を指定する操作を行うと、制御部１０１は、表示部１０５に表示されているフレーム５０２を、後のフレーム５０３に切り替える制御を行う。従って、ユーザによりサムネイル画像部５０４の枠を指定する操作が行われることで、表示部１０５に任意のフレームを表示させることができる。例えば、表示部１０５と入力部１１１とがタッチパネルディスプレイとして一体的に構成されている場合を想定する。ユーザが、サムネイル画像部５０４に対してスライド操作（スワイプ操作）を行うことで、任意のタイミングのフレームを素早く表示部１０５に表示させることができる。
【００２２】
図３（Ａ）の例では、３つのフレームが示されているが、動画像データを構成するフレームの数は多い。例えば、ユーザが、タッチパネルディスプレイのサムネイル画像部５０４に対して第１の枠５０８の方向にスライド操作を行うことで、フレームをコマ戻しする操作を行うことができる。また、ユーザが、タッチパネルディスプレイのサムネイル画像部５０４に対して第２の枠５０９の方向にスライド操作を行うことで、フレームをコマ送りする操作を行うことができる。表示制御装置１００がスマートフォン等に適用された場合、ユーザが、スマートフォンのタッチパネルディスプレイに対してコマ戻しする方向またはコマ送りする方向にスライド操作を行うことで、切り出し対象のフレームを素早く表示させることができる。
【００２３】
図３（Ｂ）において、制御部１０１は、第１の枠５０８と第１の差分領域５０６とを同じ表示態様（第１の表示態様）で表示部１０５に強調表示させる制御を行う。これにより、第１の差分領域５０６が、表示中のフレーム５０２と第１の枠５０８に対応する前のフレーム５０１との差分（第１の差分）の領域であることをユーザに提示することができる。制御部１０１は、第２の枠５０９と第２の差分領域５０７とを同じ表示態様（第２の表示態様）で表示部１０５に強調表示させる制御を行う。これにより、第２の差分領域５０７が、表示中のフレーム５０２と第２の枠５０９に対応する後のフレーム５０３との差分（第２の差分）の領域であることをユーザに提示することができる。
【００２４】
制御部１０１は、第１の表示態様と第２の表示態様とを異なる態様で表示部１０５に強調表示させる。例えば、制御部１０１は、第１の枠５０８と第１の差分領域５０６とを第１の色（例えば、赤色）で表示部１０５に表示させる制御を行う。また、制御部１０１は、第２の枠５０９と第２の差分領域５０７とを、第１の色とは異なる第２の色（例えば、青色）で表示部１０５に表示させる制御を行う。これにより、第１の表示態様と第２の表示態様とを異なる態様で表示部１０５に表示させることができる。例えば、第１の差分領域５０６が赤色であれば、第１の差分領域５０６は、表示中のフレーム５０２と前のフレームとの差分領域であることが認識できる。また、第２の差分領域５０７が青色であれば、第２の差分領域５０７は、表示中のフレーム５０２と後のフレームとの差分領域であることが認識できる。制御部１０１は、表示中のサムネイル画像５０５の枠を、第１の色および第２の色とは異なる第３の色（例えば、緑色）で表示してもよい。制御部１０１は、色以外の方法で、第１の表示態様と第２の表示態様とを異なる態様で表示部１０５に表示させてもよい。
【００２５】
次に、図４のフローチャートを参照して、第１実施形態の処理の流れについて説明する。例えば、制御部１０１は、ドライブ装置１０９を制御して、外部記憶媒体１１０から動画像データを取得する。制御部１０１は、ハードディスク１０２から動画像データを取得してもよい。制御部１０１は、デコーダ１０８を制御して、取得した動画像データをデコードし、動画像データを構成する複数のフレームのうち任意の１フレームを注目フレームとして表示部１０５に表示する（Ｓ２１１）。入力部１１１がユーザからの操作を受け付けることで、表示部１０５に表示するフレームを変更することもできる。
【００２６】
制御部１０１は、表示部１０５に表示している注目フレームをリサイズしてサムネイル画像を生成する（Ｓ２１２）。制御部１０１は、フレームとともに（フレームの中に）、サムネイル画像およびサムネイル画像を囲む枠を表示部１０５に表示する（Ｓ２１３）。制御部１０１は、注目フレームの前のフレームのサムネイル画像および第１の枠、注目フレームの後のフレームのサムネイル画像および第２の枠を生成し、表示部１０５に表示させる（Ｓ２１４）。制御部１０１は、表示部１０５に表示している注目フレームと前のフレームとの位置合わせを行う（Ｓ２１５）。制御部１０１は、差分抽出部１０７を制御して、Ｓ２１５で位置合わせした注目フレームと前のフレームとの差分を検出し、第１の差分領域および第１の差分量を特定する（Ｓ２１６）。第１の差分量は、第１の差分領域の広さを示す。第１の差分領域の広さが大きいほど、第１の差分量は大きくなり、第１の差分領域の広さが小さくなるほど、第１の差分量は小さくなる。
【００２７】
制御部１０１は、特定した第１の差分量が第１の閾値以下であるかを判定する（Ｓ２１７）。第１の閾値は、任意に設定することができる。Ｓ２１７でＹｅｓと判定された場合、制御部１０１は、Ｓ２１６で特定した第１の差分領域を、第１の差分領域を示す第１の色で強調して、Ｓ２１２で生成したサムネイル画像に合成する。そして、制御部１０１は、第１の差分領域を合成したサムネイル画像を表示部１０５に表示する（Ｓ２１８）。制御部１０１は、前のフレームを表すサムネイル画像およびサムネイル画像を囲む第１の枠を第１の色に変更して、表示部１０５に表示する（Ｓ２１９）。図３の例では、表示部１０５に、第１の差分領域５０６と第１の枠５０８とが、同じ第１の色で表示される。
【００２８】
Ｓ２１７でＮｏと判定された場合、第１の差分領域５０６の広さは大きい。この場合、Ｓ２１８およびＳ２１９の処理は行われない。制御部１０１は、表示部１０５に表示している注目フレームと後のフレームとの位置合わせを行う（Ｓ２２０）。制御部１０１は、差分抽出部１０７を制御して、Ｓ２２０で位置合わせした注目フレームと後のフレームとの差分を検出し、第２の差分領域および第２の差分量を特定する（Ｓ２２１）。第２の差分量は、第２の差分領域の広さを示す。制御部１０１は、特定した第２の差分量が第２の閾値以下であるかを判定する（Ｓ２２２）。第２の閾値は、任意に設定することができる。第２の閾値は、第１の閾値と同じ値であってもよいし、異なる値であってもよい。Ｓ２２２でＹｅｓと判定された場合、制御部１０１は、Ｓ２２１で特定した第２の差分領域を、第２の差分領域を示す第２の色で強調して、Ｓ２１２で生成したサムネイル画像に合成する。そして、制御部１０１は、第２の差分領域を合成したサムネイル画像を表示部１０５に表示する（Ｓ２２３）。制御部１０１は、前のフレームを示すサムネイル画像およびサムネイル画像を囲む第２の枠を第２の色に変更して、表示部１０５に表示する（Ｓ２２４）。図３の例では、表示部１０５に、第２の差分領域５０７と第２の枠５０９とが、同じ第２の色で表示される。
【００２９】
Ｓ２２２でＮｏと判定された場合、第２の差分領域５０７の広さは大きい。この場合、Ｓ２２３およびＳ２２４の処理は行われない。制御部１０１は、差分表示がされたかを判定する（Ｓ２２５）。Ｓ２１７でＹｅｓと判定された場合、またはＳ２２２でＹｅｓと判定された場合、制御部１０１は、差分表示（差分領域の表示）がされたと判定する。Ｓ２２５でＮｏと判定された場合、制御部１０１は、注目フレームのサムネイル画像を囲む枠を、第１の色および第２の色とは異なる第３の色にして、表示部１０５に表示する。これにより、注目フレームのサムネイル画像には、第１の差分領域および第２の差分領域がないことが、注目フレームのサムネイル画像を囲む枠の第３の色により認識できる。
【００３０】
以上のように、第１実施形態では、制御部１０１は、注目フレームと前のフレームとの差分である第１の差分領域と、注目フレームと後のフレームとの差分である第２の差分領域とを、異なる表示態様で表示する。これにより、動画像データのフレーム間の差分を分かり易く提示することができる。また、第１の差分領域が注目フレームと前のフレームとの差分領域であり、第２の差分領域が注目フレームと後のフレームとの差分領域であることを、ユーザは認識しやすくなる。そして、制御部１０１は、注目フレームの前のフレームのサムネイル画像の一部を表示し、表示されているサムネイル画像の一部を、第１の差分領域と同じ表示態様で表示する。制御部１０１は、注目フレームの後のフレームのサムネイル画像の一部を表示し、表示されているサムネイル画像の一部を、第２の差分領域と同じ表示態様で表示する。これにより、差分領域（第１の差分領域、第２の差分領域）が何れのフレームに対応しているかを分かり易く提示することができる。
【００３１】
上述したように、第１の閾値および第２の閾値は、任意の値に設定できるが、認識された複数のオブジェクトのそれぞれに対して、異なる値を設定することもできる。例えば、制御部１０１は、フレーム中の人や背景等のオブジェクトのそれぞれに異なる閾値（第１の閾値および第２の閾値）を設定してもよい。これにより、フレーム中の人や背景等のオブジェクトを考慮した第１の閾値および第２の閾値を設定することができる。
【００３２】
また、Ｓ２１７においてＮｏと判定された場合、第１の差分量は第１の閾値より大きい。この場合、第１の差分量が大きいため、注目フレームと前のフレームとは、例えば、シーンチェンジ等により、画像データが大きく変化したことが考えられる。制御部１０１は、Ｓ２１７においてＮｏと判定された場合、Ｓ２１８およびＳ２１９の処理は行われない。制御部１０１は、Ｓ２１７でＮｏと判定された場合、第１の枠に対して、シーンチェンジの可能性を示す強調表示を施してもよい。例えば、制御部１０１は、第１の枠または第２の枠の色を、シーンチェンジがされたことを示す第４の色に変更してもよい。シーンチェンジがされたことは、色以外の手法により提示されてもよい。Ｓ２２２においてＹｅｓと判定された場合も同様である。また、Ｓ２１７においてＹｅｓと判定された場合、Ｓ２１８およびＳ２１９の処理が行われる。ただし、第１の差分量が非常に小さい場合等においては、制御部１０１は、Ｓ２１７においてＹｅｓと判定された場合であっても、Ｓ２１８およびＳ２１９の処理を行わなくてもよい。例えば、第１の差分量が第１の閾値より低い閾値より低い場合、注目フレームと前のフレームとの変化量が僅かである可能性が高い。このような場合、制御部１０１は、Ｓ２１８およびＳ２１９の処理を行わなくてもよい。Ｓ２２２でＹｅｓと判定された場合も同様である。
【００３３】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態の制御部１０１は、ユーザが選択したフレームを静止画保存する際に、選択されたフレーム（注目フレーム）と注目フレームの前後のフレームとをそれぞれ比較する。そして、第２実施形態の制御部１０１は、比較結果に基づいて、前後の２つのフレームのうち、差分量が少ないフレームを保存するようにユーザに勧めるために、強調表示を行う。図５は、第２実施形態の処理の流れを示すフローチャートである。図５において、Ｓ３１１〜Ｓ３２６は、第１実施形態の図４のフローチャートにおけるステップＳ２１１〜Ｓ２２６と同様であるため、説明を省略する。
【００３４】
Ｓ３２５でＹｅｓと判定された場合、制御部１０１は、お勧め設定が有効になっているかを判定する（Ｓ３２７）。お勧め設定は、例えば、ユーザが入力部１１１を操作することで、有効または無効の何れかに設定される。Ｓ３２７でＮｏの場合、お勧め設定が無効になっているため、フローは、Ｓ３２６に移行する。Ｓ３２７でＹｅｓの場合、制御部１０１は、Ｓ３１６で特定された第１の差分量が、Ｓ３２１で特定された第２の差分量より小さいかを判定する（Ｓ３２８）。第１の差分量が第２の差分量以下である場合、Ｓ３２８でＹｅｓと判定される。この場合、制御部１０１は、注目フレームよりも前のフレームのサムネイル画像の一部を囲う第１の枠を第１の色で太く強調表示する（Ｓ３２９）。第１の差分量が第２の差分量以上である場合、Ｓ３２８でＮｏと判定される。この場合、制御部１０１は、注目フレームよりも後のフレームのサムネイル画像の一部を囲う第２の枠を第２の色で太く強調表示する（Ｓ３３０）。
【００３５】
図６は、第２実施形態におけるＧＵＩ表示例を示す図である。図６の例では、注目フレームよりも前のフレームが、静止画保存の対象として推奨されるフレームである。この場合、第１の差分量は、第２の差分量より小さい。制御部１０１は、第１の枠６０８を第１の色で太く強調表示する。これにより、差分量（差分領域の広さ）が小さい方の第１の枠６０８に対応するフレームが、保存対象として推奨されるフレームであることを、ユーザに分かり易く提示することができる。制御部１０１は、第１の枠６０８または第２の枠６０９を強調表示するのではなく、第１の枠６０８の中のサムネイル画像または第２の枠６０９の中のサムネイル画像を強調表示してもよい。また、制御部１０１は、第１の枠６０８または第２の枠６０９を強調表示する際に、枠を太くする以外の手法で、強調表示を行ってもよい。
【００３６】
＜第３実施形態＞
次に、第３実施形態について説明する。図７は、第３実施形態の処理の流れを示すフローチャートである。図７のフローチャートのうちＳ７１１〜Ｓ７２６は、第１実施形態の図２のＳ２１１〜Ｓ２２６と同様であるため、説明を省略する。Ｓ７１４の後、制御部１０１は、入力部１１１に対してユーザがタッチ操作を行っているかを判定する（Ｓ７３１）。Ｓ７３１でＹｅｓと判定された場合、フローは、Ｓ７３１に戻る。つまり、入力部１１１に対してタッチ操作がされている間は、Ｓ７１５以降の処理は行われない。ユーザが入力部１１１に対してタッチ操作を行っている最中は、制御部１０１は、第１の差分領域および第２の差分領域を特定する処理を停止する。これにより、差分領域を特定する処理および差分量を特定する処理が停止されるため、処理量の低減が実現できる。
【００３７】
＜第４実施形態＞
次に、第４実施形態について説明する。第４実施形態では、制御部１０１は、差分領域の広さを表す差分量に基づいて、差分領域の表示を変更する。図８のフローチャートにおいて、Ｓ８１１〜Ｓ８１７、Ｓ８２０〜Ｓ８２２、Ｓ８２５〜Ｓ８２６は、第１実施形態の図２におけるＳ２１１〜Ｓ２１７、Ｓ２２０〜Ｓ２２０、Ｓ２２５〜Ｓ２２６と同様であるため、説明を省略する。Ｓ８１７において、制御部１０１は、第１の差分量が第１の閾値以下であるかを判定する。Ｓ８１７でＮｏと判定された場合、制御部１０１は、第１の差分領域をパターン１の態様で表示させる（Ｓ８４２）。Ｓ８１７でＹｅｓと判定された場合、制御部１０１は、第１の差分領域をパターン２の態様で表示させる（Ｓ８４３）。
【００３８】
図９は、第４実施形態におけるＧＵＩ表示例を示す図である。図９（Ａ）は、パターン１の表示例を示し、図９（Ｂ）は、パターン２の表示例を示す。パターン１における第１の差分領域９０６とパターン２における第１の差分領域９１１とでは、透過度が異なる。制御部１０１は、第１の差分領域の広さを表す第１の差分量が第１の閾値より大きい場合、第１の差分領域の透過度を所定値より高くする制御を行う。一方、第１の差分量が第１の閾値以下の場合、制御部１０１は、第１の差分領域の透過度を所定値より低くする。図９（Ａ）に示されるパターン１における第１の差分領域の広さは、図９（Ｂ）に示されるパターン２における第１の差分領域の広さよりも小さい。この場合、制御部１０１は、図９（Ａ）に示されるパターン１における第１の差分領域９０６の透過度を、図９（Ｂ）に示されるパターン２における第１の差分領域９１１の透過度よりも低くする。つまり、制御部１０１は、パターン１とパターン２とで、第１の差分領域の広さによって、透過度を変化させる。制御部１０１は、第１の差分領域と第１の枠とを同じ表示態様で表示させる。従って、パターン１における第１の差分領域９０６は、第１の枠９０８と同じ透過度である。パターン２における第１の差分領域９１１は、第１の枠９１２と同じ透過度である。そして、パターン２における第１の枠９１２および第１の枠９１２に含まれるサムネイル画像の透過度は、パターン１における第１の枠９０８および第１の枠９０８に含まれるサムネイル画像の透過度よりも高い。
【００３９】
Ｓ８２２において、制御部１０１は、第２の差分量が第２の閾値以下であるかを判定する。Ｓ８２２でＹｅｓと判定された場合、制御部１０１は、第２の差分領域をパターン３の態様で表示させる（Ｓ８４３）。Ｓ８２２でＮｏと判定された場合、制御部１０１は、第２の差分領域をパターン４の態様で表示させる（Ｓ８４４）。図１０は、第４実施形態における他のＧＵＩ表示例を示す図である。図１０（Ａ）は、パターン３の表示例を示し、図１０（Ｂ）は、パターン４の表示例を示す。制御部１０１は、第２の差分領域の広さを表す第２の差分量が第２の閾値より大きい場合、第２の差分領域の透過度を所定値より高くする制御を行う。一方、第２の差分量が第２の閾値以下の場合、制御部１０１は、第２の差分領域の透過度を所定値より低くする。
【００４０】
図１０（Ｂ）に示されるパターン４における第２の差分領域１０１２の透過度は、図１０（Ａ）に示されるパターン３における第２の差分領域１００７の透過度よりも高い。制御部１０１は、パターン３における第２の枠１００９と第２の差分領域１００７とを同じ透過度で表示させる。制御部１０１は、パターン４における第２の枠１０１３と第２の差分領域１０１２とを同じ透過度で表示させる。パターン４における第２の枠１０１３および第２の枠１０１３に含まれるサムネイル画像の透過度は、パターン３における第２の枠１００９および第２の枠１０１３に含まれるサムネイル画像の透過度よりも高い。上述したパターン１とパターン３とでは、表示態様が異なっている。また、パターン１〜パターン４の全ての透過度が異なっていてもよい。
【００４１】
以上のように、第４実施形態では、第１の差分領域および第２の差分領域について、差分領域が大きい場合の可視性が高くなり、差分領域の把握が容易となる。また、制御部１０１は、例えば、第１の差分量が第１の閾値より大きい場合、第１の差分領域の表示を点滅表示で行ってもよい。制御部１０１は、例えば、第１の差分量が第１の閾値より大きい場合、第１の差分領域を縞模様で表示してもよい。制御部１０１は、例えば、第１の差分量が第１の閾値より大きい場合、第１の差分領域の境目を縁取りで表示を行ってもよい。制御部１０１は、例えば、第１の差分量が第１の閾値より大きい場合、第１の差分領域の表示を行わず、第１の差分量が第１の閾値より大きいことを示す警告メッセージを表示部１０５に表示してもよい。制御部１０１は、上述した第１の差分領域に対する表示制御を、第２の差分領域に対しても行う。
【００４２】
＜第５実施形態＞
次に、第５実施形態について説明する。第５実施形態では、制御部１０１は、第１の差分領域と第２の差分領域とが重複している場合に、第１の差分領域と第２の差分領域とを交互に表示する制御を行う。図１１は、第５実施形態の処理の流れを示すフローチャートである。図１１のＳ１１１１〜Ｓ１１２６は、第１実施形態の図２のステップＳ２１１〜Ｓ２２６と同様であるため、説明を省略する。Ｓ１１２５でＹｅｓと判定された場合、またはＳ１１２６の処理が行われた場合、制御部１０１は、第１の差分領域と第２の差分領域とが重複しているかを判定する（Ｓ１１５１）。Ｓ１１５１でＹｅｓと判定された場合、制御部１０１は、第１の差分領域と第２の差分領域とを交互に表示する制御を行う。Ｓ１１５１でＮｏと判定された場合、Ｓ１１５２の処理は行われない。
【００４３】
図１２は、第５実施形態におけるＧＵＩ表示例を示す図である。図１２（Ａ）に示されるフレーム１２０１〜１２０３のうち、注目フレームはフレーム１２０２である。図１２の例では、第１の差分領域１２０６と第２の差分領域１２２２とが重複している。この場合、制御部１０１は、図１２（Ｂ）に示されるように、サムネイル画像１２０５とサムネイル画像１２２１とを交互に表示する。サムネイル画像１２０５は、第１の差分領域１２０６を含み、第２の差分領域１２２２を含まない。サムネイル画像１２２１は、第２の差分領域１２２２を含み、第１の差分領域１２０６を含まない。このように、第５実施形態では、第１の差分領域１２０６と第２の差分領域１２２２とが重複している場合に、両者を提示することができる。
【００４４】
＜その他の実施形態＞
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施形態においては、動画像データにおいて、動画像データ中の注目フレームを表示する場合について説明したが、動画像データに限定されず、連続撮影された複数の画像データ、例えば連写撮影された複数の静止画データにも適応可能である。
【００４５】
本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４６】
１００  表示制御装置
１０１  制御部
１０５  表示部
１０７  差分抽出部
１０８  デコーダ
１１１  入力部
【図１】
2020085997.tif 000003
【図２】
2020085997.tif 000004
【図３】
2020085997.tif 000005
【図４】
2020085997.tif 000006
【図５】
2020085997.tif 000007
【図６】
2020085997.tif 000008
【図７】
2020085997.tif 000009
【図８】
2020085997.tif 000010
【図９】
2020085997.tif 000011
【図１０】
2020085997.tif 000012
【図１１】
2020085997.tif 000013
【図１２】
2020085997.tif 000014