(57)【特許請求の範囲】
【請求項１】
複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御装置であって、
前記符号化された動画像データを復号する復号手段と、
前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、
前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、
前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段とを有し、
前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする画像制御装置。
【請求項２】
前記類似度検出手段は、前記コマ間の画像の輝度差又は前記動画像データに付加された区切り情報を検出することを特徴とする請求項１に記載の画像制御装置。
【請求項３】
前記鮮明度検出手段は、前記コマの画像の輝度のヒストグラム又は前記コマの画像の動きベクトルを検出することを特徴とする請求項１に記載の画像制御装置。
【請求項４】
放送データを受信し、前記放送データを処理してディスプレイに動画像データを出力するテレビ受信機であって、
前記動画像データは複数のコマからなる符号化されたものであり、前記符号化された動画像データを復号する復号手段と、
前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、
前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、
前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段と、
前記選択手段により選択されたコマに対応する静止画像データをプリンタに出力する出力手段とを有し、
前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とするテレビ受信機。
【請求項５】
複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御方法であって、
前記符号化された動画像データを復号するステップと、
前記復号された動画像データの各コマの画像の鮮明度を検出するステップと、
前記復号された動画像データのコマ間の画像の類似度を検出するステップと、
前記復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択するステップとを有し、
前記コマを選択するステップでは、前記類似度を検出するステップにより検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度を検出するステップにより前記鮮明度が最も高いと判定されたコマを選択することを特徴とする画像制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像制御装置、画像制御方法及びテレビ受信機に関する。
【０００２】
【従来の技術】
図２４には、従来のデジタルテレビ受信機において、特に動画像データを受信し、指定されたコマを静止画像として図示しないプリンタ等ヘ出力するための構成を示す。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２８は静止画像出力部、３１はコマ指定操作部である。
【０００３】
次に、図２５のフローチャートを用いて、上記デジタルテレビ受信機での処理動作について説明する。ステップＳ３０１において、放送受信部２１は、１コマの放送を受信する。ステップＳ３０２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【０００４】
ステップＳ３０３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの動画像を動画像出力部２４に出力する。ステップＳ３０４において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作があった場合は、ステップＳ３０５へ進み、そうでなければステップＳ３０１へ戻り、次の１コマを受信する。ステップＳ３０５では、指定のあったコマを静止画像として静止画像出力部２８に出力する。
【０００５】
【発明が解決しようとする課題】
例えば、図４に示すように、あるテレビ番組において司会者がフリップを指しているシーンの後に、フリップがクローズアップされているシーンが数秒間続き、その後に司会者の顔のシーンに切り替わるという状況を例にして説明すれば、フリップのクローズアップシーンにおいて、その内容をメモ等するために、静止画像としてプリンタに出力したいという状況はしばしば起こる。
【０００６】
その際、上述した従来のデジタルテレビ受信機においては、視聴者はリモコンの「印刷ボタン」を押すことにより、その瞬間のコマ（図４に示す指定コマＢ）を静止画像としてプリンタに出力して印刷することができる。
【０００７】
しかしながら、動画像としては十分な画質であっても、１コマだけを静止画像として取り出すと、文字等が不鮮明となる場合が多い。カメラのわずかな動きによるぶれやピントのボケなどによって、同一の内容が映っていても、画像の鮮明度はコマ毎に異なる。通常、視聴者はそれを意識せずに「印刷ボタン」を押すので、不鮮明なコマを印刷してしまうことも多かった。
【０００８】
本発明の上記のような問題に鑑みてなされたものであり、指定コマと同一の内容で、より鮮明なコマを静止画像として出力可能にすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像制御装置は、複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御装置であって、前記符号化された動画像データを復号する復号手段と、前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段とを有し、前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
本発明のテレビ受像機は、放送データを受信し、前記放送データを処理してディスプレイに動画像データを出力するテレビ受信機であって、前記動画像データは複数のコマからなる符号化されたものであり、前記符号化された動画像データを復号する復号手段と、前記復号手段により復号された動画像データの各コマの画像の鮮明度を検出する鮮明度検出手段と、前記復号手段により復号された動画像データのコマ間の画像の類似度を検出する類似度検出手段と、前記復号手段により復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択する選択手段と、前記選択手段により選択されたコマに対応する静止画像データをプリンタに出力する出力手段とを有し、前記選択手段は、前記類似度検出手段により検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度検出手段により前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
本発明の画像制御方法は、複数のコマからなる符号化された動画像データを入力して、任意の指定されたコマに対応する静止画像データを出力する画像制御方法であって、前記符号化された動画像データを復号するステップと、前記復号された動画像データの各コマの画像の鮮明度を検出するステップと、前記復号された動画像データのコマ間の画像の類似度を検出するステップと、前記復号された動画像データのコマの中から任意の指定されたコマに対応する静止画像データを出力するためのコマを選択するステップとを有し、前記コマを選択するステップでは、前記類似度を検出するステップにより検出された前記指定されたコマに対して類似すると判定される類似度を有するコマの中から、Ｉピクチャのコマであって、前記鮮明度を検出するステップにより前記鮮明度が最も高いと判定されたコマを選択することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１６】
（第１の実施の形態）
図１は、デジタルテレビ受信機のハードウェア構成を示すブロック図である。
１はデータの入出力、処理、記憶、通信等を行なう受信機ユニットであり、各種アンテナ、ＣＡＴＶ端子、ディスプレイ、プリンタ、インターネット回線等が接続可能である。
【００１７】
視聴者がリモコン３によってチャンネルを選択すると、アンテナやＣＡＴＶ端子から入力された信号から、チューナ２によって所望のチャンネルの放送データが取得される。デジタルテレビにおける１つのチャンネルの放送データは、動画像データ、音声データ、その他のコードデータが多重化されているので、ＤＥＭＵＸ４によってこれらのデータを分離し、それぞれメモリ８へ記憶する。ＣＰＵ５は、メモリ８に記憶された動画像データに対して復号その他の処理を行ない、ディスプレイＩ／Ｆ６を介してディスプレイヘ動画像データを出力する。
【００１８】
また、動画像データ、音声データ、その他のコードデータは、放送だけでなく、モデム１１を介してインターネットによって配信される場合もある。或いは、磁気テープや磁気ディスク、光ディスク等のリムーバルメディア１０によって配信される場合もある。或いは、放送、インターネット、リムーバルメディア等によって配信されたデータをＨＤＤ９に記憶しておき、後で再生する場合もある。
以下、放送による配信の場合について説明するが、適宜通信や記憶媒体による配信に置き換えて適用することが可能である。
【００１９】
さらに、動画像を構成する各コマのうち、リモコン３によって指定された１コマを、静止画像としてプリンタＩ／Ｆ７を介してプリンタに出力することができる。
【００２０】
図２は、特に動画像データを受信し、コマが指定されたときに所定のコマを静止画像としてプリンタ等ヘ出力する画像出力装置としての機能構成について示したブロック図である。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２６は類似範囲取得部、２７は鮮明度取得部、２８は静止画像出力部、２９は静止画像記憶部、３０は出力コマ決定部、３１はコマ指定操作部である。なお、図１に示したハードウェア構成においては、チューナ２、リモコン３、ＤＥＭＵＸ４、ＣＰＵ５、メモリ８等によりこれら各部が構成される。
【００２１】
次に、図３のフローチャートを用いて、静止画像出力のための処理動作について説明する。ステップＳ１０１において、放送受信部２１は、１コマの放送を受信する。
【００２２】
ステップＳ１０２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。受信データ記憶部２３は少なくとも数秒間〜数十秒間のコマの画像を再現可能な記憶容量を持つものである。
【００２３】
ステップＳ１０３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。
【００２４】
ステップＳ１０４において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作があった場合、ステップＳ１０５へ進み、そうでなければステップＳ１０１へ戻り、次の１コマを受信する。
【００２５】
ステップＳ１０５において、出力コマ決定部３０は、指定コマ（コマ指定操作部３１によって指定されたコマ）に類似するコマがどこから始まるかを過去の受信データに遡って探索する。また、それと並行して、放送データの受信、記憶、解析、出力（ステップＳ１０１〜Ｓ１０３）をリアルタイムで続け、前記指定コマと類似するコマがどこまで続くかを探索する。指定コマとの類似度は、類似範囲取得部２６により求めるが、その具体的手法については後述する。
【００２６】
ステップＳ１０６において、出力コマ決定部３０は、上記ステップＳ１０５により定められた類似範囲の開始コマから終了コマまでの間で、最も鮮明度の高いコマを決定する。コマの鮮明度は鮮明度取得部２７により求めるが、その具体的手法については後述する。
【００２７】
ステップＳ１０７において、出力コマ決定部３０は、上記ステップＳ１０６により決定された最も鮮明度の高いコマを静止画像出力部２８に出力する。
【００２８】
図４の例において、例えば視聴者によってコマＢが指定された場合、当該指定コマＢと内容が同一であるコマＡからコマＤまでが類似範囲として定められ、そのうちで最も鮮明なコマＣがプリンタに出力されることになる。
【００２９】
なお、テレビ放送を受信する例を説明したが、その他にも、インターネットやリムーバルメディアによって配信された動画像を出力する場合、或いはハードディスクに記憶された動画像を再生する場合も、同様の動作で静止画像をプリンタに出力することができる。
【００３０】
また、静止画像はプリンタに出力するだけでなく、ディスプレイの画面に一時停止画像として表示したり、インターネットによって配信したり、リムーバルメディアやハードディスクに記憶したりすることもできる。本実施の形態や他の実施の形態では、プリンタによる出力の場合について説明するが、適宜画面、通信、記憶媒体への出力に置き換えて適用することが可能である。
【００３１】
ここで、上記類似範囲取得部２６での処理動作、すなわち、コマの類似度の求め方について詳しく説明する。類似度を数値化するには、２つコマの画像の対応する画素同士の輝度の差の絶対値を求め、全画素についてそれを合計する方法を用いればよい。或いは、ＤＣＴ等によって符号化されている場合は、各ブロックの直流成分がそのブロックの平均輝度を表わしているので、対応するブロック同士の直流成分の差の絶対値を求め、全ブロックについてそれを合計する方法でもよい。なお、類似度を数値化する方法は、以上述べた方法のいずれを用いてもかまわないし、他の方法を用いてもかまわない。また、複数の方法を組み合わせてもよい。
【００３２】
図５には、図４の例における指定コマＢと各コマとの類似度を示したグラフを示す。この図５に示すように、指定コマＢに対する類似度を求めていき、所定の閾値を超えると類似するものとし、所定の閾値を超えなければ類似しないものとする。図５では、所定の閾値を超えないコマの部分（図中Ａより前、Ｄより後）が類似範囲にないとされ、Ａ〜Ｄの範囲が類似範囲として定められる。
【００３３】
次に、上記鮮明度取得部２７での処理動作、すなわち、鮮明度の求め方について詳しく述べる。図４に示す例において、フリップをクローズアップしている画像の各画素の輝度のヒストグラムを求めると、図８のグラフａように複数のピークを持つ。カメラのぶれやピントのボケなどが生じると、被写体の高輝度部分と低輝度部分とが混じりあって結像するので、図８のグラフｂのように中間輝度の成分が多くなり、ヒストグラムの標準偏差が小さくなる。したがって、標準偏差を求めることによって鮮明度を数値化することができ、標準偏差が大きいほど鮮明度が高いとみなすことができる。
【００３４】
或いは、図９のグラフａのような空間周波数分布の画像において、カメラのぶれやピントのボケなどが生じると、図９のグラフｂのように空間周波数の低周波成分が多くなる。したがって、ＤＣＴなどによって符号化されている場合は、画像の空間周波数の低周波成分と高周波成分とのバランスを求めることによっても鮮明度の数値化が可能である。
【００３５】
或いは、図１０に示すように、符号化において直前の画像との間のブロック毎の動きベクトル情報を持っている場合、動きベクトルの大きさの平均が小さいほどカメラのぶれが少ないので、鮮明であるとみなすことができる。したがって、動きベクトルを求めることによっても鮮明度の数値化が可能である。
【００３６】
また、図１１に示すように、Ｉピクチャ（他のコマからの予測を用いずに符号化したコマ）、Ｐピクチャ（過去のコマから予測した画像との差分を符号化したコマ）、Ｂピクチャ（過去と未来のコマから予測した画像との差分を符号化したコマ）とで構成される動画像の場合、一般にＩピクチャが最も画質が良いといえる。したがって、ＰピクチャやＢピクチャは無視して、Ｉピクチャ同士でこれまで述べた処理を行なうとよい。ただし、Ｉピクチャの動きベクトルを求めるときは、直前や直後のＰピクチャやＢピクチャの符号化データの中に、Ｉピクチャとの動きベクトルが含まれているので、これを利用する。図１２に示すように、ＩピクチャとＰピクチャのみで構成される動画像の場合も同様である。
【００３７】
なお、鮮明度を数値化する方法は、以上述べた方法のいずれを用いてもかまわないし、他の方法を用いてもかまわない。また、複数の方法を組み合わせてもよい。
【００３８】
図７には、図４の例における各コマの鮮明度を示したグラフを示す。この図７に示すように、コマＣの鮮明度が最も高いので、このコマＣが静止画像としてプリンタに出力される。
【００３９】
なお、前記類似範囲に鮮明度がほぼ同等のコマが複数ある場合、鮮明度のわずかな差は無視して同等の鮮明度とみなし、他の条件を加味して出力コマを選んでもよい。例えば、前記指定コマとの類似度がより大きいコマを選ぶようにしてもよい。或いは、前記指定コマに対して時間的により近いコマを選ぶようにしてもよい。このような場合は、厳密には「最も鮮明度が高い」コマを出力することにはならないが、上記ステップＳ１０６において最も鮮明度が高いコマを決定するとは、最も鮮明度の高いコマとほぼ同等の鮮明度のコマを決定することも含むものとする。
【００４０】
（第２の実施の形態）
次に、第２の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図２に示した画像出力装置としての機能構成については同様である。以下、図１３のフローチャートを用いて、第２の実施の形態における静止画像出力のための処理動作について説明する。
【００４１】
ステップＳ２０１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ２０２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ２０３において、放送受信部２１は、１コマの放送を受信する。
【００４２】
ステップＳ２０４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。図１４には、受信データの記憶領域を表わすメモリマップを示す。
【００４３】
ステップＳ２０５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ２０６において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮであればステップＳ２１５へ進み、そうでなければステップＳ２０７へ進む。
【００４４】
ステップＳ２０７において、類似範囲取得部２６は、今受信したコマと現時点での出力候補のコマとの類似度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。そして、ステップＳ２０８において、前記類似度が所定の基準以上であればステップＳ２１０へ進み、そうでなければステップＳ２０９へ進む。ステップＳ２０９では、従来の出力コマの候補を破棄し、今受信したコマを新たな候補として、ステップＳ２１０へ進む。
【００４５】
ステップＳ２１０において、鮮明度取得部２７は、今受信したコマに対する鮮明度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。そして、ステップＳ２１１において、今受信したコマと現時点での出力候補のコマとの鮮明度を比較し、今受信したコマの方が現時点での出力候補のコマより鮮明度が高ければステップＳ２１３へ進み、そうでなければステップＳ２１２へ進む。
【００４６】
ステップＳ２１２では、今受信したコマの静止画像を新たな出力画像候補として静止画像記憶部２９に記憶する。また、鮮明度取得部２７で取得した鮮明度情報も記憶しておく。ステップＳ２１３において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ２０３へ戻り、そうでなければステップＳ２１４へ進み、出力コマ決定部３０は内部のコマ指定操作フラグをＯＮして、ステップＳ２０３へ戻る。
【００４７】
一方、ステップＳ２１５において、類似範囲取得部２６は、今受信したコマと前記操作によって指定された指定コマとの類似度を求める。具体的な方法については第１の実施の形態で説明したのと同様である。ステップＳ２１６において、前記類似度が所定の基準以上であればステップＳ２１０へ進み、そうでなければステップＳ２１７へ進む。ステップＳ２１７において、静止画像出力の候補として最後まで残った１つのコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００４８】
以上述べたように、第２の実施の形態によれば、静止画像出力の候補となる１コマ分の画像を静止画像記憶部２９に記憶しておくことにより、１コマ分の画像記憶容量を有するだけで済むので、より安価な構成とすることが可能となる。
【００４９】
（第３の実施の形態）
次に、第３の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図２に示した画像出力装置としての機能構成については同様である。以下、第３の実施の形態における類似範囲取得部２６の処理動作について述べる。
【００５０】
図５で示したように、図４の例におけるフリップをクローズアップしているコマＡとコマＤの間では、コマＢとの類似度が非常に高いのに対して、シーンの切り替わるコマＡより前、コマＤより後は、コマＢとの類似度が非常に低い。
【００５１】
本発明の趣旨によれば視聴者が指定したコマとその近傍の各コマとの類似度を直接比較すべきであるが、図４の例のような場合はコマＡとコマＤの間のコマはすべてほぼ同一の内容とみなすことができるので、この間のコマのうち最も鮮明なコマをコマＢの代わりに静止画として出力しても差し支えない。すなわち、シーン区切りを検出し、同じシーン内に属するかどうかを判定することによって、間接的に視聴者が指定したコマとの類似度を比較しているとみなすことができる。
【００５２】
シーン区切りＡ及びＤは、図６に示すように、直前のコマとの類似度が非常に低いので、これを検出すればよい。類似度を数値化する方法は、第１の実施の形態で説明したのと同様である。或いは、図１１に示すようにＩピクチャ、Ｐピクチャ、Ｂピクチャとで構成される動画像や、図１２に示すようにＩピクチャ、Ｐピクチャとで構成される動画像の場合は、類似度が高いほど差分が小さいので、これを集計する方法でもよい。
【００５３】
なお、シーンの区切りを検出する手段はシーンの頭出しなどの他の用途にも広く用いられるため、この手段を搭載した機器は今後増えてくると予想される。その場合、この手段を本実施の形態にも流用することができる。
【００５４】
（第４の実施の形態）
動画像データの作成者や編集者によってシーン区切りがあらかじめ求められ、動画像データや音声データと共に配信されるコードデータとしてシーン区切りのコマを指定する情報が配信される場合もありうる。図１５には、シーン区切りフラグの記憶場所を表したメモリマップを示す。この場合、デジタルテレビ受信機は、そのコードデータを取得することでシーン区切りを求めることができる。
【００５５】
すなわち、図１３に示したフローチャートのステップＳ２０４において、受信データ解析部２２は、このコードデータを解析し、受信データ記憶２３に記憶する。ステップＳ２０７において、類似範囲取得部２６は、図１５に示すコードデータを取得して、シーンの区切りを判定する。
【００５６】
このようなシーン区切りをコードデータとして配信するサービスは、シーンの頭出しなどの他の用途にも広く用いられるため、今後普及が予想される。これを利用することで、デジタルテレビ受信機はシーンの検出を行なうための画像処理を行なう必要がないので、演算速度やプログラムサイズが小さくて済み、より安価な構成で本発明を実現できる。
【００５７】
（第５の実施の形態）
動画像データの作成者や編集者によって鮮明度があらかじめ求められ、動画像データや音声デ一夕と共に配信されるコードデータとして各コマの鮮明度の情報が配信される場合もありうる。図１６には、鮮明度情報の記憶場所を表したメモリマップを示す。この場合、デジタルテレビ受信機はそのコードデータを取得することで鮮明度を求めることができる。
【００５８】
すなわち、図１３に示したフローチャートのステップＳ２０４において、受信データ解析部２２は、このコードデータを解析し、受信データ記憶２３に記憶する。ステップＳ２１０において、鮮明度取得部２７は、図１６に示すコードデータを取得して、鮮明度を得る。
【００５９】
もしこのように鮮明度の情報を配信するサービスが行なわれた場合、これを利用すれば、デジタルテレビ受信機は鮮明度を数値化するための画像処理を行なう必要がないので、演算速度やプログラムサイズが小さくて済み、より安価な構成で本発明を実現できる。
【００６０】
（第６の実施の形態）
次に、第６の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成については同様である。
【００６１】
図１７は、特に動画像データを受信し、コマが指定されたときに所定のコマを静止画像としてプリンタ等ヘ出力する画像出力装置としての機能構成について示したブロック図である。図中、２１は放送受信部、２２は受信データ解析部、２３は受信データ記憶部、２４は動画像出力部、２５は動画像復号部、２８は静止画像出力部、２９は静止画像記憶部、３０は出力コマ決定部、３１はコマ指定操作部である。このようにした本実施の形態では、上述した第１の実施の形態等のように類似範囲取得部２６や鮮明度取得部２７により出力する静止画像を特定するのではなく、後述する出力コマ特定データにより出力する静止画像を特定するようにしたものである。なお、図１に示したハードウェア構成においては、チューナ２、リモコン３、ＤＥＭＵＸ４、ＣＰＵ５、メモリ８等によりこれら各部が構成される。
【００６２】
次に、図１８のフローチャートを用いて、静止画像出力のための処理動作について説明する。ステップＳ１１１において、放送受信部２１は、１コマの放送を受信する。
【００６３】
ステップＳ１１２において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。受信データ記憶部２３は少なくとも数秒間〜数十秒間のコマの画像を再現可能な記憶容量を持つものである。なお、受信データの記憶領域を表わすメモリマップは図１４に示したとおりであるが、受信データのその他のコードデータ記憶領域には、図１９に示すように出力コマ特定データが含まれている。
【００６４】
ステップＳ１１３において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。
【００６５】
ステップＳ１１４において、そのコマを表示しているときにコマ指定操作部３１によって静止画像出力を指示する操作があった場合、ステップＳ１１５へ進み、、そうでなければステップＳ１１１へ戻り、次の１コマを受信する。
【００６６】
ステップＳ１１５において、出力コマ決定部３０は、受信データ記憶部２３に記憶されているデータの中から、図１９に示したように、指定コマ（コマ指定操作部３１によって指定されたコマ）に対応する出力コマを特定する出力コマ特定データを取得する。この出力コマ特定データにより特定される出力コマとは、指定コマと内容がほぼ同一で、指定コマよりも鮮明度の高いコマである。出力コマ特定データは、例えば、指定コマから出力コマまでのコマ数で表わすことができ、出力コマが指定コマより過去にあれば負の整数、未来にあれば正の整数、一致すれば０である。また、それと並行して、放送データの受信、記憶、解析、出力（ステップＳ１１１〜Ｓ１１３）をリアルタイムで続け、出力コマが指定コマよりも時間的に後方（未来）にある場合は、出力コマを受信するまで探索する。
【００６７】
ステップＳ１１６において、出力コマ決定部３０は、前記出力コマを静止画像出力部２８に出力する。
【００６８】
図４の例においては、例えば視聴者がコマＢを指定した場合、当該指定コマＢと内容が同一であるコマＡからコマＤのうちで、最も鮮明なコマＣが出力コマ特定データにより特定されてプリンタに出力されることになる。
【００６９】
（第７の実施の形態）
次に、第７の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図１７に示した画像出力装置としての機能構成については同様である。以下、図２０のフローチャートを用いて、第７の実施の形態における静止画像出力のための処理動作について説明する。
【００７０】
ステップＳ２２１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ２２２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ２２３において、放送受信部２１は、１コマの放送を受信する。
【００７１】
ステップＳ２２４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【００７２】
ステップＳ２２５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ２２６において、出力コマ決定部３０は、このコマに、図２１に示すような出力候補データが付加されているかどうかを調べ、付加されていればステップＳ２２７へ進み、そうでなければステップＳ２２９へ進む。出力候補データとは、他のコマから出力候補として対応付けられているコマに付加されているデータである。他のどのコマからも出力候補として対応付けられていないコマには出力候補データが付加されない。
【００７３】
ステップＳ２２７において、今受信したコマの静止画像を新たな出力画像候補として、静止画像記憶部２９に記憶する。ステップＳ２２８において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ２２３へ進み、そうでなければステップＳ２２９へ進む。
【００７４】
ステップＳ２２９において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ２２３へ戻り、そうでなければステップＳ２３０へ進む。
【００７５】
ステップＳ２３０において、出力コマ決定部３０は、図２１に示すようにそのコマに付加されている出力コマ特定データを取得する。出力コマ特定データは、上記第６の実施の形態でも述べたように、指定コマから出力コマまでのコマ数で表わすことができ、出力コマが指定コマより過去にあれば負の整数、未来にあれば正の整数となる。
【００７６】
ステップＳ２３１において、出力コマが未来のコマであれば、ステップＳ２３２へ進み、そうでなければステップＳ２３３へ進む。ステップＳ２３２において、コマ指定操作フラグをＯＮにして、ステップＳ２２３へ戻る。ステップＳ２３３において、静止画像出力の候補のコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００７７】
なお、第７の実施の形態は、コマ指定操作がなされた時点で出力候補として記憶されているコマよりもさらに過去のコマや、コマ指定操作がなされた時点の次の出力候補となるコマよりもさらに未来のコマは、出力コマにはならないという制約のもとに成立するが、実用上はこれで十分であり、１コマ分の画像記憶容量で済むので、より安価な構成とすることができる。
【００７８】
（第８の実施の形態）
次に、第８の実施の形態について説明するが、図１に示したデジタルテレビ受信機のハードウェア構成、図１７に示した画像出力装置としての機能構成については同様である。図２２のフローチャートを用いて、第８の実施の形態における静止画像出力のための処理動作について説明する。
【００７９】
ステップＳ３１１において、出力コマ決定部３０は、出力コマの候補を初期化する。ステップＳ３１２において、出力コマ決定部３０は、内部のコマ指定操作フラグをＯＦＦにする。ステップＳ３１３において、放送受信部２１は、１コマの放送を受信する。
【００８０】
ステップＳ３１４において、受信データ解析部２２は、受信データを解析し、動画像データ、音声データ、その他のデータに分離して、受信データ記憶部２３に記憶する。
【００８１】
ステップＳ３１５において、動画像復号部２５は、符号化されている動画像データを復号し、１コマの画像を動画像出力部２４に出力する。ステップＳ３１６において、出力コマ決定部３０は、このコマに、図２３に示すようなシーン区切りデータが付加されているかどうかを調べ、付加されていればステップＳ３１７へ進み、そうでなければステップＳ３１９へ進む。シーン区切りデータとは、直前のコマとの類似度が所定の基準より低いコマに付加されているデータであり、直前のコマとの類似度が所定の基準以上のコマにはシーン区切りデータが付加されない。
【００８２】
ステップＳ３１７において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ３２６へ進み、そうでなければステップＳ３１８へ進む。
【００８３】
ステップＳ３１８において、出力コマの候補を初期化する。ステップＳ３１９において、出力コマ決定部３０は、そのコマに図２３に示すような出力候補データが付加されているかどうかを調べ、付加されていればステップＳ３２０へ進み、そうでなければステップＳ３２２へ進む。出力候補データとは、他のコマから出力候補として対応付けられているコマに付加されているデータである。他のどのコマからも出力候補として対応付けられていないコマには出力候補データが付加されない。
【００８４】
ステップＳ３２０において、今受信したコマの静止画像を新たな出力画像候補として、静止画像記憶部２９に記憶する。ステップＳ３２１において、出力コマ決定部３０は、内部のコマ指定操作フラグを調べ、ＯＮならばステップＳ３２６へ進み、そうでなければステップＳ３２２へ進む。
【００８５】
ステップＳ３２２において、そのコマについての処理中にコマ指定操作部３１によって静止画像出力を指示する操作がなければステップＳ３１３へ戻り、そうでなければステップＳ３２３へ進む。
【００８６】
ステップＳ３２３において、出力コマ決定部３０は、出力コマの候補が記憶されているかどうかを調べる。記憶されていればステップＳ３２６へ進み、初期化されたまま新たに記憶されていなければステップＳ３２４へ進む。
【００８７】
ステップＳ３２４において、今受信したコマ（すなわちコマ指定操作部３１によって指定されたコマ）を仮の出力コマ候補として記憶する。これは、もしシーン内に出力候補データが付加されたコマが存在しない場合に、コマ指定操作部３１によって指定されたコマを静止画像として出力するためである。
【００８８】
ステップＳ３２５において、コマ指定操作フラグをＯＮにして、ステップＳ３１３へ戻る。ステップＳ３２６において、静止画像出力の候補のコマの画像が記憶されているので、そのコマの画像を静止画像出力部２８に出力する。
【００８９】
第８の実施の形態においては、１コマ毎に出力コマを特定するデータを付加する必要がない。また、シーン区切りをコードデータとして配信するサービスは、シーンの頭出し等に広く用いられるため、今後普及が予想される。このサービスを利用すれば、出力候補データを付加するのみでよいので、動画像配信のデータ構造のわずかな使用変更で実施が可能となる。
【００９０】
（その他の実施の形態）
上述した実施の形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００９１】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９２】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることはいうまでもない。
【００９３】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ない、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれることはいうまでもない。
【００９４】
なお、上記実施の形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００９５】
【発明の効果】
以上述べたように本発明によれば、指定されたコマと内容が同一であり、より鮮明なコマを静止画像として出力することができる。したがって、同一の内容で、文字等が鮮明な静止画像を得て、プリント出力等することが可能となる。
【図面の簡単な説明】
【図１】デジタルテレビ受信機のハードウェア構成の一例を示す図である。
【図２】画像出力装置としての機能構成について示した図である。
【図３】静止画像出力のための処理動作について説明するフローチャートである。
【図４】動画像の具体例を示す図である。
【図５】指定コマと各コマとの類似度を数値化して表わしたグラフを示す図である。
【図６】あるコマと直前のコマとの類似度を数値化して表わしたグラフを示す図である。
【図７】各コマの鮮明度を数値化して表わしたグラフを示す図である。
【図８】各画素の輝度のヒストグラムを表わしたグラフを示す図である。
【図９】空間周波数成分のスペクトルを表わしたグラフを示す図である。
【図１０】ブロック毎の動きベクトルを表わした図である。
【図１１】Ｉピクチャ、Ｐピクチャ、Ｂピクチャで構成される動画像符号化を説明するための図である。
【図１２】Ｉピクチャ、Ｐピクチャで構成される動画像符号化を説明するための図である。
【図１３】静止画像出力のための処理動作について説明するフローチャートである。
【図１４】受信データの記憶領域を表わすメモリマップを示す図である。
【図１５】シーン区切りフラグの記憶場所を表わしたメモリマップを示す図である。
【図１６】鮮明度情報の記憶場所を表わしたメモリマップを示す図である。
【図１７】画像出力装置としての機能構成について示した図である。
【図１８】静止画像出力のための処理動作について説明するフローチャートである。
【図１９】出力コマ特定データの記憶場所を表わしたメモリマップを示す図である。
【図２０】静止画像出力のための処理動作について説明するフローチャートである。
【図２１】出力コマ特定データと出力候補データの記憶場所を表わしたメモリマップを示す図である。
【図２２】静止画像出力のための処理動作について説明するフローチャートである。
【図２３】出力コマ特定データとシーン区切りデータの記憶場所を表わしたメモリマップを示す図である。
【図２４】従来のデジタルテレビ受信機の機能構成を示す図である。
【図２５】従来の静止画像出力のための処理動作について説明するフローチャートである。
【符号の説明】
１      受信機ユニット
２      チューナ
３      リモコン
４      ＤＥＭＵＸ
５      ＣＰＵ
６      ディスプレイＩ／Ｆ
７      プリンタＩ／Ｆ
８      メモリ
９      ＨＤＤ
１０    リムーバルメディア
１１    モデム
２１    放送受信部
２２    受信データ解析部
２３    受信データ記憶部
２４    動画像出力部
２５    動画像複号部
２６    類似範囲取得部
２７    鮮明度取得部
２８    静止画像出力部
２９    静止画像記憶部
３０    出力コマ決定部
３１    コマ指定操作部
【図１】
0004573957.tif 000002
【図２】
0004573957.tif 000003
【図３】
0004573957.tif 000004
【図４】
0004573957.tif 000005
【図５】
0004573957.tif 000006
【図６】
0004573957.tif 000007
【図７】
0004573957.tif 000008
【図８】
0004573957.tif 000009
【図９】
0004573957.tif 000010
【図１０】
0004573957.tif 000011
【図１１】
0004573957.tif 000012
【図１２】
0004573957.tif 000013
【図１３】
0004573957.tif 000014
【図１４】
0004573957.tif 000015
【図１５】
0004573957.tif 000016
【図１６】
0004573957.tif 000017
【図１７】
0004573957.tif 000018
【図１８】
0004573957.tif 000019
【図１９】
0004573957.tif 000020
【図２０】
0004573957.tif 000021
【図２１】
0004573957.tif 000022
【図２２】
0004573957.tif 000023
【図２３】
0004573957.tif 000024
【図２４】
0004573957.tif 000025
【図２５】
0004573957.tif 000026