(57)【要約】【課題】動画像及び静止画像が撮影された時点の状況を反映した画像表示を行う。【解決手段】動画像及び静止画像を表示する表示部３２と、複数のフレーム画像により構成される動画像を記憶する動画記憶部２２と、静止画像を記憶する静止画記憶部２２と、前記表示部において、前記動画記憶部に記憶されている前記動画像の表示中に、前記動画像を構成する前記フレーム画像の中で前記静止画記憶部に記憶されている前記静止画像と近似性の高い前記フレーム画像の表示を行った後に、前記動画像の表示を一時中断し、前記静止画像の表示を行った後に、前記動画像の残りの部分の表示を行う表示制御部１０とを備える。【選択図】図１
2012094971.tif 000002
【特許請求の範囲】
【請求項１】
動画像及び静止画像を表示する表示部と、
複数のフレーム画像により構成される動画像を記憶する動画記憶部と、
静止画像を記憶する静止画記憶部と、
前記表示部において、前記動画記憶部に記憶されている前記動画像の表示中に、前記動画像を構成する前記フレーム画像の中で前記静止画記憶部に記憶されている前記静止画像と近似性の高い前記フレーム画像の表示を行った後に、前記動画像の表示を一時中断し、前記静止画像の表示を行った後に、前記動画像の残りの部分の表示を行う表示制御部と
を備えることを特徴とする画像表示装置。
【請求項２】
前記動画記憶部に記憶されている前記フレーム画像から、前記静止画記憶部に記憶されている前記静止画像と近似性の高い前記フレーム画像を選別する画像選別部を備えることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記画像選別部は、前記動画像の表示中に前記フレーム画像から前記静止画像と近似性の高い前記フレーム画像を推定して選別することを特徴とする請求項２記載の画像表示装置。
【請求項４】
前記画像選別部は、前記動画像の表示前に予め前記フレーム画像から前記静止画像と近似性の高い前記フレーム画像を選別することを特徴とする請求項２記載の画像表示装置。
【請求項５】
前記画像選別部は、前記フレーム画像から前記静止画像と最も近似性の高い前記フレーム画像を選別することを特徴とする請求項２〜４の何れか一項に記載の画像表示装置。
【請求項６】
前記画像選別部は、前記動画像を構成する１つのフレーム画像に対して、近似性の高い複数の前記静止画像が存在する場合には、最も近似性の高い前記静止画像を選別することを特徴とする請求項２記載の画像表示装置。
【請求項７】
前記画像選別部は、前記動画像を構成する複数のフレーム画像に対して、近似性の高い１つの前記静止画像が存在する場合には、最も近似性の高い前記フレーム画像を選別することを特徴とする請求項２記載の画像表示装置。
【請求項８】
前記動画記憶部に複数の前記動画像が記憶されている場合には、
前記画像選別部は、最も近似性の高い前記フレーム画像を有する前記動画像の前記フレーム画像を選別すること特徴とする請求項２記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関するものである。
【背景技術】
【０００２】
従来、動画像の撮影中に、より高精細な静止画像を撮影し異なる画像データとして記録する装置が存在する。またこのようにして記録された動画像と静止画像を再生する場合に静止画像を動画像内にピクチャーインピクチャーで表示する装置が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３３９６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、静止画像を動画像内にピクチャーインピクチャーで表示する場合には、動画像の一部が視認不可能となり、静止画像と動画像との視聴に不便が生じていた。
【０００５】
本発明の目的は、動画像及び静止画像が撮影された時点の状況を反映した画像表示を行う画像表示装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の画像表示装置は、動画像及び静止画像を表示する表示部と、複数のフレーム画像により構成される動画像を記憶する動画記憶部と、静止画像を記憶する静止画記憶部と、前記表示部において、前記動画記憶部に記憶されている前記動画像の表示中に、前記動画像を構成する前記フレーム画像の中で前記静止画記憶部に記憶されている前記静止画像と近似性の高い前記フレーム画像の表示を行った後に、前記動画像の表示を一時中断し、前記静止画像の表示を行った後に、前記動画像の残りの部分の表示を行う表示制御部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像及び静止画像が撮影された時点の状況を反映した画像表示を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態に係るＤＰＦで表示される表示画像のデータフロー図である。
【図２】第１の実施の形態に係るＤＰＦにおける画像表示の概念図である。
【図３】第２の実施の形態に係るＤＰＦで表示される表示画像のデータフロー図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の第１の実施の形態に係る画像表示装置であるデジタルフォトフレーム（以下、ＤＰＦという。）について説明する。図１は第１の実施の形態に係るＤＰＦで表示される表示画像のデータフロー図である。図１に示すように、ＤＰＦ２の制御部１０は、ＣＰＵコア１２、Ｉ／Ｆホストコントローラ１４、動画エンコーダ１６、静止画エンコーダ１８及び画像比較エンジン２０を備えており、ＣＰＵコア１２は、Ｉ／Ｆホストコントローラ１４、動画エンコーダ１６、静止画エンコーダ１８及び画像比較エンジン２０の制御を行う。Ｉ／Ｆホストコントローラ１４には、ＳＤカード、ＵＳＢメモリ等のマスストレージデバイス２２が接続される。マスストレージデバイス２２に記憶されている動画データは、Ｉ／Ｆホストコントローラ１４により読み出されメモリ２４に記憶される。メモリ２４に記憶された動画データは、圧縮された状態であるため動画エンコーダ１６により圧縮状態から復号化され、動画データがＬＣＤパネル３２に表示可能な情報に変換されグラフィックメモリ２６に記憶される。即ち、グラフィックメモリ２６には、表示用画像（フレーム画像）の集合である表示用フレーム画像データが記憶される。
【００１０】
また、マスストレージデバイス２２に記憶されている静止画データについても、動画データと同様に、Ｉ／Ｆホストコントローラ１４により読み出されメモリ２４に記憶される。また、メモリ２４に記憶された静止画データは、圧縮された状態であるため静止画エンコーダ１８により圧縮状態から復号化され表示用静止画像データとしてグラフィックメモリ２６に記憶される。なお、メモリ２４に記憶された静止画データが非圧縮状態の場合には、図示しない静止画現像エンジンにより、静止画データをＬＣＤパネル３２に表示可能な情報に変換し表示用静止画像データとしてグラフィックメモリ２６に記憶する。
【００１１】
画像比較エンジン２０は、グラフィックメモリ２６に記憶されている表示用フレーム画像データと表示用静止画像データとを比較し、表示用フレーム画像データの中から表示用静止画像データと最も近似性の高いフレーム画像を選別する。即ち、画像比較エンジン２０は、表示用フレーム画像データに基づき、グラフィックコントローラ２８及びＬＣＤドライバ３０を介して動画像をＬＣＤパネル３２へ表示中に、表示用静止画像データと表示用フレーム画像データの各フレーム画像の対応する画素の比較等を行い、比較結果に基づいて表示用静止画像データと表示用フレーム画像データの各フレーム画像との近似度を算出する。また、各フレーム画像について算出された近似度値を用い、近似性を評価するための近似性評価関数によって近似性評価値を算出、得られた近似性評価値の変化率等に基づいて最も近似性が高いフレーム画像を推定して選別する。
【００１２】
図２に示すように、動画ストリームの表示中に、画像比較エンジン２０により最も近似性が高いフレーム画像が選別された場合には、ＬＣＤパネル３２に表示されている動画像について最も近似性の高いフレーム画像が表示された後に動画像の表示を一時中断し、動画像に代えて表示用静止画像データに基づく静止画像をＬＣＤパネル３２に所定時間（例えば１０秒）表示する。表示用静止画像データの静止画像の表示が終了すると、中断した動画像の残りの部分についてＬＣＤパネル３２に表示する。一方、画像比較エンジン２０により近似性の高いフレーム画像が選別されなかった場合には、ＬＣＤパネル３２に表示されている動画像を中断せず、表示用フレーム画像データに基づく動画像を連続的に表示し、その後表示用静止画像データに基づく静止画像を表示する。
【００１３】
本発明の第１の実施の形態に係るＤＰＦによれば、動画像のフレーム画像の中に静止画像と近似性を有するフレーム画像が存在する場合には、ＬＣＤパネルに表示される動画像の表示を最も近似性の高いフレーム画像を表示した後に中断し、動画像に代えて静止画像を所定時間表示し、さらに静止画像の表示終了後に中断された動画像の残りを表示することができる。従って、動画像及び静止画像が撮影された時点の状況を反映した画像表示を行うことが可能となり、撮影者の意図を反映した画像表示ができる。また、視聴者への違和感を与えることを防止することができ、満足度の高い視聴体験を与えることができる。また、動画像のフレーム画像と静止画像の比較に基づいて最も近似性の高いフレーム画像を選別するため、メタデータ等を有さない動画データ及び静止画データについても、上述のような動画像と静止画像の表示を行うことができる。また、動画像を再生しながら画像比較エンジン２０による比較を行うことができるため、ＤＰＦにマスストレージデバイスを接続した場合に時間をかけずに上述のような動画像と静止画像の表示を行うことができる。
【００１４】
次に、本発明の第２の実施の形態に係るＤＰＦについて説明する。図３は、第２の実施の形態に係るＤＰＦ２００で表示される表示画像のデータフロー図である。図３に示す第２の実施の形態に係るＤＰＦ２００の構成は、図１に示すＤＰＦ２の制御部１０にグラフィックコントローラ２８と静止画現像エンジン５０とを備え、制御部１０に内部フラッシュメモリ５２と操作者の指示を入力する操作ＳＷ５８が接続されたものである。従って、第１の実施の形態と同様の構成についての詳細な説明は省略し、異なる部分のみについて説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。
【００１５】
ＤＰＦ２００においては、内蔵フラッシュメモリ５２のユーザ設定情報に画像比較エンジン２０により最も近似性の高いフレーム画像を選別するように予め設定されている。制御部１０の画像比較エンジン２０によりグラフィックメモリ２６に記憶されている表示用フレーム画像データと表示用静止画像データとを比較し、表示用フレーム画像データの中から表示用静止画像データと最も近似性の高いフレーム画像が選別された場合には、表示用フレーム画像データと表示用静止画像データとの関連性、及び選別されたフレーム画像の位置の情報を内蔵フラッシュメモリ５２の画像近似性データベースに記録する。一方、画像比較エンジン２０により近似性の高いフレーム画像が選別されなかった場合には、表示用静止画像データと表示用フレーム画像データとが関与を有さないものである旨の情報を内蔵フラッシュメモリ５２の画像近似性データベースに記録する。
【００１６】
制御部１０は、表示用フレーム画像データと表示用静止画像データとの関連性が画像近似性データベースに記録されている状態では、グラフィックメモリ２６に記憶されている表示用フレーム画像データに基づく動画像を、画像近似性データベースに記録されている情報に基づいてＬＣＤパネル３２に表示する。即ち、ＬＣＤパネル３２に表示されている動画像について最も近似性の高いフレーム画像が表示された後に、動画像の表示を一時中断し、動画像に代えて表示用静止画像データに基づく静止画像をＬＣＤパネル３２に所定時間（例えば１０秒）表示する。表示用静止画像データの静止画像の表示が終了すると、中断した動画像の残りの部分についてＬＣＤパネル３２に表示する。
【００１７】
一方、表示用フレーム画像データと表示用静止画像データとの関連性が画像近似性データベースに記録されていない状態では、表示用フレーム画像データに基づき動画像を連続的に表示する。その後表示用静止画像データに基づく静止画像を表示する。
【００１８】
本発明の第２の実施の形態に係るＤＰＦによれば、動画像のフレーム画像の中に静止画像と近似性を有するフレーム画像が存在する場合には、ＬＣＤパネルに表示される動画像の表示を最も近似性の高いフレーム画像を表示した後に中断し、動画像に代えて静止画像を所定時間表示し、さらに静止画像の表示終了後に中断された動画像の残りを表示することができる。従って、動画像及び静止画像が撮影された時点の状況を反映した画像表示を行うことが可能となり、撮影者の意図を反映した画像表示ができる。また、視聴者への違和感を与えることを防止することができ、満足度の高い視聴体験を与えることができる。また、動画像のフレーム画像と静止画像の比較に基づいて近似性の高いフレーム画像を選別するため、メタデータ等を有さない動画データ及び静止画データについても、上述の動画像及び静止画像の表示を行うことができる。また、動画像の再生中に画像比較エンジン２０による比較を行うリアルタイム性が求められないため、画像比較エンジン２０、動画エンコーダ１６及び静止画エンコーダ１８に求められる処理能力を低く抑えることができ、消費電力や部品コストを低減すること可能となる。また、リアルタイム性が求められないため、動画像の再生中における画像比較エンジン２０による比較と比べて高精度で比較を行うことが可能となる。
【００１９】
なお、上述の実施の形態において、グラフィックメモリ２６に記憶されている表示用フレーム画像データの解像度と表示用静止画像データの解像度とが異なる場合には、表示用フレーム画像データと同じ解像度の表示用静止画像データを作成してもよい。例えば、両者の解像度が同一となる高解像度の表示用フレーム画像データ及び表示用静止画像データを作成した場合には、画像比較エンジン２０による比較について、同じ解像度である表示用フレーム画像データと作成された表示用静止画像データとが用いられるため、画像比較エンジン２０による比較を高精度で行うことができる。
【００２０】
また、上述の実施の形態において、グラフィックメモリ２６に記憶されている表示用フレーム画像データの解像度と表示用静止画像データの解像度とが異なる場合には、両者の解像度が同一となる低解像度の表示用フレーム画像データ及び表示用静止画像データを作成してもよい。これにより、画像比較エンジン２０による比較の精度は低下するが、画像比較エンジン２０に高い演算能力が求められないため、低い演算能力の画像比較エンジンで高速で比較を行うことが可能となり、システムコストの面で有利となる。
【００２１】
また、上述の実施の形態において、表示用フレーム画像データの解像度と表示用静止画像データの解像度とが異なる場合には、操作者の選択により、低解像度または高解像度のどちらで表示用フレーム画像データ及び表示用静止画像データの作成を行うのか予め選択するようにしてもよい。
【００２２】
また、上述の実施の形態において、グラフィックメモリ２６に記憶されている表示用フレーム画像データの解像度と表示用静止画像データの解像度とが異なる場合には、表示用フレーム画像データと表示用静止画像データにおける画像データの形式が同じくなるように、表示用フレーム画像データと表示用静止画像データを作成するようにしてもよい。
【００２３】
また、上述の実施の形態において、画像比較エンジン２０は、グラフィックメモリ２６に記憶されている表示用フレーム画像データの縦横比と表示用静止画像データの縦横比とが異なる場合には、表示用フレーム画像データの縦横比における縦横どちらかの辺を表示用静止画像データの縦横比に合わせるように画素数を調整し比較を行ってもよい。
【００２４】
例えば、表示用静止画像データの縦横比（３２６４×２４８８）を、表示用フレーム画像データの縦横比（１９２０×１０８０）の長辺に合わせるように画素数を１９２０×１４６４に調整する。そして、調整された表示用静止画像データと表示用フレーム画像データとの中央位置または周辺位置を合わせた状態で、最も近似性が高いフレーム画像を模索する。なお、表示用静止画像データと表示用フレーム画像データの中央位置の合わせ方をずらしながら、最も近似性が高いフレーム画像を模索するようにしてもよい。
【００２５】
また、上述の実施の形態において、画像比較エンジン２０は、マスストレージデバイス２２に記憶されている動画データ及び静止画データのタグ情報、メタ情報等に基づいて、動画データの作成開始時間から作成終了時間の間に作成された静止画データのみを対象として、動画データ及び静止画データについて比較を行うようにしてもよい。
【００２６】
また、上述の実施の形態においては、表示に用いられる動画データ及び静止画データは同一機器で作成されたものに限っていないが、動画データ及び静止画データのタグ情報、メタ情報等に基づいて、同じ装置によって作成された動画データ及び静止画データ、または撮影位置や撮影方位が近い動画データ及び静止画データを対象として、動画データ及び静止画データについて比較を行うようにしてもよい。これにより、比較対象である動画データ及び静止画データのカップリングを予め決めた上で、画像比較エンジン２０による比較を行うことにより、画像比較エンジン２０による比較演算の演算量を低減することが可能となる。
【００２７】
また、上述の実施の形態において、画像比較エンジン２０は、表示用フレーム画像データの１つのフレーム画像に対して、所定値以上の近似性を有する複数の表示用静止画像データが存在する場合には、最も高い近似性を有する表示用静止画像データを選別するようにしてもよい。
【００２８】
また、上述の実施の形態においては、ハードウェアにより画像比較エンジン２０を構成しているが、画像比較エンジン２０をＣＰＵコア１２により動作するソフトウェアの機能で代替してもよい。これにより、ＤＰＦ２，２００の部品コストを低減することができる。
【００２９】
また、上述の実施の形態においては、１つの表示用静止画像データに対して所定値以上の近似性を有する表示用フレーム画像データが複数存在する場合には、画像比較エンジン２０により複数の表示用フレーム画像データを近似性の高い表示用フレーム画像データとして選別してもよい。この場合には、さらに最も近似性の高い表示用フレーム画像データを選別するようにしてもよい。
【００３０】
また、上述の実施の形態においては、画像比較エンジン２０を表示する機器の内部に搭載して構成しているが、画像比較エンジンを別装置に設置し、その装置に動画データと静止画データもしくは表示用フレーム画像データと表示用静止画像データ，ユーザ設定情報を送信し、画像比較処理を別装置で行い、画像近似性データベースに記録するためのデータを受信、このデータに基づき表示を行うような構成としても良い。
【００３１】
また、上述の実施の形態において、画像比較エンジン２０により近似性の高いフレーム画像が選別されなかった場合に、画像比較エンジン２０は、動画データ及び静止画データのタグ情報、メタ情報等に基づいて、それぞれの撮影日時や撮影機材等を比較し、両者に関連がある可能性が高いと判断した場合には、両者について詳細な比較を行うようにしてもよい。例えば、動画像の圧縮処理により動画像は背景画像部と移動画像部に分離されて記録されるが、背景画像部及び移動画像部における変動または移動の情報に基づいて、表示用フレーム画像データのフレーム画像と表示用静止画像データの近似性の変動を推測し、最も近似性の高くなるフレーム画像を推定し選別する。
【００３２】
また、上述の第２の実施の形態において、マスストレージデバイス２２に複数の動画データ及び静止画データが記憶されている場合には、画像比較エンジン２０は、複数の動画データ及び静止画データについて比較を行い、各静止画データに対して複数の動画データの中から近似性の高いフレーム画像を選別し、複数の動画データと複数の静止画像データとの関連性等の情報を内蔵フラッシュメモリ５２の画像近似性データベースに記録するようにしてもよい。
【００３３】
この場合に操作者による操作ＳＷ５８の操作により、マスストレージデバイス２２に記憶されている特定の静止画データが選択された場合には、制御部１０のＣＰＵコア１２は、画像近似性データベースの情報に基づいて、特定の静止画データに関連性を有するフレーム画像を含む動画像データを選別し動画像をＬＣＤパネル３２に表示する。即ち、ＬＣＤパネル３２には選別された動画データに基づく動画像が表示され、動画像の表示は静止画データと近似性の高いフレーム画像の表示後一時中断され、動画像に代えて特定の静止画データに基づく静止画像を所定時間表示する。静止画像の表示が終了すると、中断した動画像の残りの部分についてＬＣＤパネル３２に表示する。
【００３４】
また、複数の表示用フレーム画像データを選別するか、最も近似性の高い表示用フレーム画像データを選別するか、などの表示用フレーム画像データの選別方法や、静止画像の表示時間をユーザによって選択し、ユーザ設定情報にその情報を記録するようにしても良い。
【００３５】
また操作者による操作ＳＷ５８の操作により、マスストレージデバイス２２に記憶されている特定の動画データが選択された場合には、制御部１０のＣＰＵコア１２は、画像近似性データベースの情報に基づいて、特定の動画データのフレーム画像に関連性を有する静止画データを選別し動画像をＬＣＤパネル３２に表示する。即ち、ＬＣＤパネル３２には特定の動画データに基づく動画像が表示され、動画像の表示は選別された静止画データと近似性の高いフレーム画像表示後一時中断され、動画像に代えて選別された静止画データに基づく静止画像を所定時間表示する。静止画像の表示が終了すると、中断した動画像の残りの部分についてＬＣＤパネル３２に表示する。
【００３６】
また、上述の第２の実施の形態において、マスストレージデバイス２２に記憶されている動画データの情報量が所定量を超えている場合には、Ｉ／Ｆホストコントローラ１４により動画データを所定のサイズに分割し、分割された動画データをメモリ２４に順次記憶するようにしてもよい。この場合には、画像比較エンジン２０により所定のサイズに分割された動画データの比較が順次行われる。
【符号の説明】
【００３７】
２，２００…ＤＰＦ、１０…制御部、１２…ＣＰＵコア、１４…Ｉ／Ｆホストコントローラ、１６…動画エンコーダ、１８…静止画エンコーダ、２０…画像比較エンジン、２６…グラフィックメモリ、３２…ＬＣＤパネル、５２…内蔵フラッシュメモリ、５８…操作ＳＷ。
【図１】
2012094971.tif 000003
【図２】
2012094971.tif 000004
【図３】
2012094971.tif 000005