(57)【要約】【課題】  動画像符号化データより復号された動画像フレーム信号から、静止画像信号を生成する際、高画質な静止画を生成し記録媒体に記録する事を可能とする画像再生装置を提供する。【解決手段】  動画像符号化データより復号された動画像フレーム信号から、静止画像信号を生成し記録媒体に記録する際、ユーザが記録の対象に指定した動画像フレーム信号中のオブジェクトに対して、動画像生成に必要な情報が、ユーザが記録の対象に指定した動画像フレームより多く含まれている動画像フレーム信号を、ユーザが指定した動画像フレーム信号の近傍の動画像フレーム信号から選択して、記録媒体に記録する静止画像信号の候補としてユーザに表示する。【選択図】  図１
2010147961.tif 000002
【特許請求の範囲】
【請求項１】
動画像符号化データを複数種類のフレームよりなる動画像信号に復号する動画像復号手段と、
前記動画像信号より静止画像を生成する静止画像生成手段
を有する画像再生装置において、
前記静止画像生成手段より生成された静止画像から任意のオブジェクトを選択するオブジェクト選択手段と、
前記静止画像生成手段より生成された静止画像において該静止画像の近傍の複数のフレームより、前記オブジェクト選択手段より選択されたオブジェクトに対して、画像生成に必要な情報量が最も多いフレームを選択するフレーム選択手段を有し、
前記フレーム選択手段により選択されたフレームを、前記静止画像生成手段により静止画像として生成することを特徴とする画像再生装置。
【請求項２】
動画像符号化データを複数種類のフレームよりなる動画像信号に復号する動画像復号手段と、
前記動画像信号より静止画像を生成する静止画像生成手段
を有する画像再生装置において、
前記静止画像生成手段より生成された静止画像から任意のオブジェクトを選択するオブジェクト選択手段と、
前記静止画像生成手段より生成された静止画像において該静止画像の近傍の複数のフレームより、前記オブジェクト選択手段より選択されたオブジェクトに対して、画像生成に必要な情報量が多い複数のフレームを選択するフレーム選択手段を有し、
前記フレーム選択手段により選択されたフレームを、前記静止画像生成手段により静止画像として生成することを特徴とする画像再生装置。
【請求項３】
前記フレーム選択手段は、前記オブジェクト選択手段により選択されたオブジェクト内のイントラブロックの個数、またはオブジェクト内の量子化スケール、のいずれか、またはその両方に応じて増減する重み付けを行なう事を特徴とする請求項１または請求項２に記載の画像再生装置。
【請求項４】
前記フレーム選択手段は、前記オブジェクト選択手段の対象になった静止画像からの時間間隔、または前記オブジェクト選択手段により選択されたオブジェクトの移動量、のいずれか、もしくは両方に応じて増減する重み付けを行なう事を特徴とする請求項１〜請求項３のいずれかに記載の画像再生装置。
【請求項５】
前記静止画像生成手段を行なう為に、前記動画像信号を再生した際、
前記フレーム選択手段は、前記動画像信号の再生方向により増減する重み付けを行なう事を特徴とする請求項１〜請求項４のいずれかに記載の画像再生装置。
【請求項６】
請求項１〜請求項５のいずれかに記載の表示手段を具備した画像再生装置おいて、
前記フレーム選択手段により生成された静止画像を前記表示手段で表示する事を特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置に関するものである。
【背景技術】
【０００２】
動画より静止画を生成する際、指定された近傍のフレームを含む複数のフレームから最も高画質なフレームを選択して、静止画として出力する。
【特許文献１】特開平１０−２５７５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１記載の動画より静止画を生成する際のフレーム選択方法により、動画より静止画を生成する際、高画質な静止画を生成する事が可能になった。
【０００４】
しかし、ユーザが着目しているフレーム内のオブジェクトの画質だけではなく、フレーム全体の画質を静止画として生成するフレーム選択の対象としている為、ユーザが着目しない部分が高画質のフレームもフレーム選択の対象となってしまい、結果、ユーザが所望しない構図のフレームを静止画として出力するという問題があった。
【０００５】
本発明の目的は、動画より静止画を生成する際、ユーザの所望する構図で、かつ高画質な静止画生成方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決する為に、
請求項１記載の画像再生装置は、動画像符号化データを複数種類のフレームよりなる動画像信号に復号する動画像復号手段と、前記動画像信号より静止画像を生成する静止画像生成手段を有する画像再生装置において、前記静止画像生成手段より生成された静止画像から任意のオブジェクトを選択するオブジェクト選択手段と、前記静止画像生成手段より生成された静止画像において該静止画像の近傍の複数のフレームより、前記オブジェクト選択手段より選択されたオブジェクトに対して、画像生成に必要な情報量が最も多いフレームを選択するフレーム選択手段、を有し、前記フレーム選択手段により選択されたフレームを、前記静止画像生成手段により静止画像として生成することを特徴とする。
【０００７】
また、請求項２記載の画像再生装置は、動画像符号化データを複数種類のフレームよりなる動画像信号に復号する動画像復号手段と、前記動画像信号より静止画像を生成する静止画像生成手段
を有する画像再生装置において、前記静止画像生成手段より生成された静止画像から任意のオブジェクトを選択するオブジェクト選択手段と、前記静止画像生成手段より生成された静止画像において該静止画像の近傍の複数のフレームより、前記オブジェクト選択手段より選択されたオブジェクトに対して、画像生成に必要な情報量が多い複数のフレームを選択するフレーム選択手段、を有し前記フレーム選択手段により選択されたフレームを、前記静止画像生成手段により静止画像として生成することを特徴とする。
【０００８】
また、請求項３記載の画像再生装置は、請求項１または請求項２に記載の画像再生装置において前記フレーム選択手段は、前記オブジェクト選択手段により選択されたオブジェクト内のイントラブロックの個数、またはオブジェクト内の量子化スケール、のいずれか、またはその両方に応じて増減する重み付けを行なう事を特徴とする。
【０００９】
また、請求項４記載の画像再生装置は、請求項１から３記載の画像再生装置において、前記フレーム選択手段は、前記オブジェクト選択手段の対象になった静止画像からの時間間隔、または前記オブジェクト選択手段により選択されたオブジェクトの移動量、のいずれか、もしくは両方に応じて増減する重み付けを行なう事を特徴とする。
【００１０】
また、請求項５に画像再生装置は、請求項１から４記載の画像再生装置において、請求項１から４記載の装置に前記動画像信号を再生する手段を具備し、前記静止画像生成手段を行なう為に、前記動画像信号を再生した際、前記フレーム選択手段は、前記動画像信号の再生方向により増減する重み付けを行なう事を特徴とする。
【００１１】
また、請求項６に記載の画像再生装置は、請求項１から５記載の装置に表示手段を具備し、前記フレーム選択手段により生成された静止画像を前記表示手段で表示する事を特徴とする。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、動画より静止画を生成する際、ユーザが着目するオブジェクトの画質に着目して静止画として出力するフレームの選択を行ない、静止画として出力する為、ユーザの所望する構図で、かつ高画質な静止画生成を行う事が可能となる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の詳細を実施例の記述に従って説明する。
【実施例１】
【００１４】
以下、本発明の実施の形態の一例を図面を参照しながら詳述する。
【００１５】
図１は、本発明の実施の形態に係る画像再生装置の内部構成の一例を示すブロック図である。
【００１６】
図１において、画像再生装置は、マイコン１０１、記録媒体制御装置１０２、動画像生成回路１０３、静止画像生成回路１０４、記録媒体１０５、フレーム選択回路１０６、オブジェクト認識回路１０７、表示部１０８、操作部１０９からなる。
【００１７】
マイコン１０１は、画像再生装置のシステム制御を行なうマイクロコンピュータである。システム制御の他に、ユーザに対して情報を提示するＯＳＤ信号を表示部１０８に出力する。
【００１８】
記録媒体制御装置１０２は、マイコン１０１からの指示により、記録媒体１０５を制御し、動画像生成回路１０３に、記録媒体１０５に記録されている動画像符号化データを出力する。また、静止画像生成回路１０４より入力される静止画像信号を、記録媒体１０５を制御し、記録媒体１０５に記録する。
【００１９】
動画像生成回路１０３は、マイコン１０１からの指示により、記録媒体制御装置１０２より入力された動画像符号化データより動画像フレーム信号を生成し、表示部１０８、静止画像生成回路１０４に出力する。また、フレーム選択回路１０６には、動画像フレーム信号と共に、動画像フレーム信号生成時に取得した動画像フレーム信号生成データも出力する。
【００２０】
静止画像生成回路１０４は、マイコン１０１からの指示により、動画像生成回路１０３より入力される動画像フレーム信号を静止画像信号に変換し、オブジェクト認識回路１０７、記録媒体制御回路１０２、表示部１０８に出力する。
【００２１】
記録媒体１０５は、動画像符号化データ、静止画像データなどを記録する。記録媒体１０５は、例えば、ＳＤカード、ＤＶＤ、ＨＤＤなどがあげられる。
【００２２】
フレーム選択回路１０６は、マイコン１０１からの指示により、動画像生成回路１０３より入力される動画像フレーム信号・動画像フレーム信号生成データ、オブジェクト認識回路１０６より入力されるオブジェクト特徴情報をもとに、動画像生成回路１０３より入力される動画像フレーム信号中のオブジェクトに対して動画像生成に必要な情報がどのくらい割り当てられているかをマイコン１０１に出力する。また、動画像フレーム信号全体対して、動画像生成に必要な情報がどのくらい割り当てられているかもマイコン１０１に出力する。
【００２３】
オブジェクト認識回路１０７は、マイコン１０１からの指示により、静止画像生成回路１０４より入力される静止画像信号と、マイコン１０１より入力されるオブジェクト指定情報をもとに、静止画像信号中のオブジェクトを認識して、オブジェクトの位置や形などのオブジェクト特徴情報を、フレーム選択回路１０６に出力する。
【００２４】
表示部１０８は、動画像生成回路１０３より入力される動画像信号、静止画像生成回路１０４より入力される静止画像信号、マイコン１０１より入力されるＯＳＤ信号などを表示する。
【００２５】
操作部１０９は、ユーザの操作を受け付け、マイコン１０１に出力する部分である。例えば、ユーザからの静止画にする動画像フレーム信号の指定や、動画像フレーム信号中のオブジェクトの指定などを受け付け、マイコン１０１に出力する。
【００２６】
図２は、図１の画像再生装置が、動画像フレーム信号を静止画像信号変換して、記録媒体に保存するまでのフローチャートである。
【００２７】
まず、Ｓ２０１では、ユーザは表示部１０８に出力される静止画生成回路１０４により、動画像フレーム信号より生成された静止画像信号を見ながら操作部１０８を操作し、静止画として保存したい動画像フレーム信号より生成された静止画像信号を指定する。操作部１０９は、どの動画像フレーム信号より生成された静止画像信号がユーザにより指定されたかをマイコン１０１に出力する。また、マイコン１０１は、動画像生成回路１０３に対してユーザが指定した映像フレーム信号をフレーム選択回路１０６に出力させる。
【００２８】
Ｓ２０２では、マイコン１０１は、表示部１０８に、Ｓ２０１指定された静止画信号よりも、静止画にした際高画質な静止画信号に変換できる動画像フレーム信号を検索するか？の旨を表示する。ユーザは操作部１０８を操作し、ＹＥＳ／ＮＯを選択する。ユーザがＹＥＳを選択した場合は２０４にＮＯを選択した場合は２０３に進む。
【００２９】
Ｓ２０３では、マイコン１０１は、記録媒体制御回路１０２に対して静止画を記録する旨の指示を出す。記録媒体制御回路１０２は、記録媒体１０５を制御して、Ｓ２０１でユーザにより指定された、動画像フレーム信号より生成された静止画像信号を、記録媒体１０５に記録する。記録が完了すると、マイコン１０１は、表示部１０８に静止画を保存した旨を表示する。
【００３０】
Ｓ２０４では、ユーザは、表示部１０８に表示されているＳ２０１で指定された動画像フレーム信号より生成された静止画像信号を見ながら、静止画像信号中のどのオブジェクトに対して、動画像生成に必要な情報が高く割り当てられている動画像フレーム信号を検索するかを、操作部１０９を操作し指定する。操作部１０９は、オブジェクト指定情報を、マイコン１０１に出力する。
【００３１】
Ｓ２０５では、マイコン１０１は、オブジェクト認識回路にＳ２０４で指定されたオブジェクト指定情報を出力する。また、マイコン１０１は静止画生成回路を制御して、オブジェクト認識回路に、Ｓ２０１でユーザにより指定された、動画像フレーム信号より生成された静止画像信号を出力する。オブジェクト認識回路は１０７、マイコン１０１より入力されたオブジェクト指定情報と、静止画生成回路１０４より入力された静止画像信号をもとに、静止画像信号中のオブジェクトを認識して、フレーム選択回路１０６に対して、オブジェクトの位置や形などのオブジェクト特徴情報を出力する。
【００３２】
Ｓ２０６では、マイコン１０１は、記録媒体制御装置１０２、動画像生成回路１０３に対して、フレーム選択回路１０６に、Ｓ２０１で指定された動画像フレーム信号の近傍の動画像符号化データより動画像フレーム信号を生成してフレーム選択回路１０６に出力するように指示を出す。記録媒体制御回路１０２は、記録媒体１０５を制御して、記録媒体１０５に記録されている動画像符号化データを動画像生成回路１０３に出力する。動画像生成回路１０３は、記録媒体制御回路１０２より入力される動画像符号化データより動画像フレーム信号を生成して、フレーム選択手段１０６に出力する。この際、動画像フレーム信号の生成の過程で取得した動画像フレーム信号生成データもフレーム選択回路１０６に出力する。動画像フレーム信号生成データとしては、動ベクトル情報、Ｓ２０１で指定された動画像フレーム信号よりどのくらい離れた動画像フレーム信号かという時間情報、動画像フレーム信号全体中のイントラブロックの個数、Ｓ２０４で指定されたオブジェクト中のイントラブロックの個数、動画像フレーム信号全体の量子化スケール、Ｓ２０４で指定されたオブジェクトの量子化スケールなどが含まれる。
【００３３】
Ｓ２０７では、マイコン１０１は、フレーム選択回路１０６に対して各動画像フレーム信号の画質、構図などの評価値を、マイコン１０１に出力するように指示をする。また、Ｓ２０１でユーザが静止画として保存したい動画像フレーム信号より生成された静止画像信号を指定する際、映像フレーム信号より生成された静止画信号を正負どちらの方向に動かして指定していたかという再生方向情報も出力する。フレーム選択回路１０６は、Ｓ２０６で動画像生成回路１０３より入力される、動画像フレーム信号生成データと、Ｓ２０１で指定された動画像フレーム信号と、Ｓ２０４により入力さる動画像フレーム信号を用いて、入力動画像フレーム信号に対する評価値を決め、マイコン１０１に出力する。この際、Ｓ２０１でユーザにより指定された動画像フレーム信号の評価値も、マイコン１０１に出力する。評価値の決め方としては、様々だが、一例をあげると、画質についての評価値はイントラブロックの個数、量子化スケールをもとに増減させる、構図としては時間情報、動ベクトル情報、生成方向情報により増減させるという方法がある。
【００３４】
Ｓ２０８では、マイコン１０１は、フレーム選択回路１０６に対して各動画像フレーム信号中のオブジェクトの画質、構図などの評価値を、マイコン１０１に出力するように指示をする。また、Ｓ２０１でユーザが静止画として保存したい動画像フレーム信号より生成された静止画像信号を指定する際、映像フレーム信号より生成された静止画信号を正負どちらの方向に動かして指定していたかという再生方向情報も出力する。フレーム選択回路１０６は、Ｓ２０６で動画像生成回路１０３より入力される、動画像フレーム信号生成データと、Ｓ２０１で指定された動画像フレーム信号と、Ｓ２０４により入力さる動画像フレーム信号と、Ｓ２０５でオブジェクト認識回路２０５より入力されるオブジェクト特徴情報を用いて、入力動画像フレーム信号中のオブジェクトに対する評価値を決め、マイコン１０１に出力する。この際、Ｓ２０１でユーザにより指定された動画像フレーム信号中のオブジェクトに対する評価値も、マイコン１０１に出力する。評価値の決め方としては、様々だが、一例をあげると、画質についての評価値はオブジェクト中のイントラブロックの個数、オブジェクト中の量子化スケールをもとに増減させる、構図としては時間情報、動ベクトル情報、生成方向情報により増減させるという方法がある。
【００３５】
Ｓ２０９では、マイコン１０１はＳ２０７、Ｓ２０８で入力された動画フレーム信号の画質評価値をもとに、静止画出力候補フレームを選択する。
【００３６】
Ｓ２１０では、マイコン１０１は動画像生成回路１０３、静止画生成回路１０４に対して、Ｓ２０９で選択した静止画候補フレームより静止画フレームを生成するように指示をする。動画像生成回路１０３は、動画像フレーム信号を静止画生成回路１０４に出力し、静止画生成回路１０４は動画像生成回路１０３より入力される動画像フレーム信号に対する静止画像信号を生成する。
【００３７】
Ｓ２１１では、マイコン１０１は、表示部１０８に対して、Ｓ２０１で指定された静止画像信号と、Ｓ２１０で生成された静止画信号を表示するように指示をし、表示部１０８に表示される。この際、マイコン１０１は、表示部１０８に対して、Ｓ２０７で入力された動画像フレーム信号に対する評価値、Ｓ２０８で入力された動画像フレーム信号中のオブジェクトに対する評価値も、表示部１０８に表示するように指示を出し、表示部１０８に表示させる。
【００３８】
Ｓ２１２では、ユーザは表示部１０８を見ながら、操作部１０９を操作して静止画として記録媒体１０５に保存する静止画像信号を選択する。操作部１０９は、マイコン１０１に対して、ユーザが選択した静止画像信号の情報を出力する。
【００３９】
Ｓ２１２では、マイコン１０１は、記録媒体制御回路１０２に対して静止画を記録する旨の指示を出す。記録媒体制御回路１０２は、記録媒体１０５を制御して、Ｓ２１１でユーザにより指定された、動画像フレーム信号より生成された静止画像信号を、記録媒体１０５に記録する。記録が完了すると、マイコン１０１は、表示部１０８に静止画を保存した旨を表示する。
【００４０】
図３は、本発明の実施の形態に係る画像再生装置のユーザインターフェースである。
【００４１】
まず、３１０に示すようにユーザは静止画として保存したい動画像フレーム信号より生成された静止画像信号を選択する。
【００４２】
次に、３２０に示すように、ユーザは３１０で選択した動画像フレーム信号より生成された静止画像信号を「保存する」か、「より高画質な静止画を探す」かを選択する。
【００４３】
３２０で「保存する」を選択すると、３３０で示すように３１０で選択した動画像フレーム信号より生成された静止画像信号を保存した事をユーザに知らせる表示を出す。
【００４４】
３２０でより「高画質な静止画を探す」、を選択した場合は３４０で示すようにユーザは動画像フレーム信号より生成された静止画信号中の注目するオブジェクトを指定する。
【００４５】
３５０は検索中の画面である。検索に時間がかからない場合は３５０を省略してもよい。
【００４６】
次に３６０に示すように、３１０でユーザが指定した映像フレーム信号の近傍の映像フレーム信号の中から画質、構図などの評価値より選択した複数の映像フレーム信号より生成した複数の静止画信号を、３１０でユーザが選択した静止画信号と共に表示する。この際、各静止画像信号に対して、３６１で示すように、３４０でユーザが指定したオブジェクトの画質、動画像フレーム信号の画質、３１０で指定した静止画像信号と構図がどのくらい違っているかを明示的に、ユーザに表示する。
【００４７】
３６０で保存する静止画信号をユーザが指定すると、３７０に示すような画面に変わり、３６０で選択した静止画像信号を保存したことをユーザに知らせる表示を出す。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態に係る画像再生装置の内部構成の一例を示すブロック図である。
【図２】本発明の実施の形態に係わる、画像再生装置が動画像フレーム信号を静止画像信号変換して、記録媒体に保存するまでのフローチャートである。
【図３】本発明の実施の形態に係る画像再生装置のユーザインターフェースである。
【符号の説明】
【００４９】
１０１  マイコン
１０２  記録媒体制御回路
１０３  動画像生成回路
１０４  静止画像生成回路
１０５  記録媒体
１０６  フレーム選択回路
１０７  オブジェクト認識回路
１０８  表示部
１０９  操作部
【図１】
2010147961.tif 000003
【図２】
2010147961.tif 000004
【図３】
2010147961.tif 000005