(57)【要約】【課題】  視聴、録画にかかる処理量を抑えつつリアルタイム視聴時と同様のザッピング視聴を可能とする映像処理装置および映像処理方法を提供する。【解決手段】  複数の映像を取得し、取得した映像のそれぞれが重ならず、１の画像内に配置されるように合成する映像合成手段と、合成された合成映像を記録し、この記録した合成映像から、合成された１の映像について抽出して再生することが可能な映像再生手段とを備える映像処理装置とする。【選択図】  図４
2010016521.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像取得手段と、
前記映像取得手段が取得した映像のそれぞれが重ならず、１の画像内に配置されるように合成された合成映像を出力する映像合成手段と、
前記合成映像を読み出し可能に記憶する記憶手段と、
前記記録した合成映像から、前記映像取得手段の１つが取得した映像について抽出して再生することが可能な映像再生手段と
を備えたことを特徴とする映像処理装置。
【請求項２】
前記映像合成手段は、前記映像手段が取得した映像についてあらかじめ設定された優先度に基づいて、該映像の大きさがそれぞれ異なるように合成することを特徴とする、請求項１に記載の映像処理装置。
【請求項３】
前記優先度は、前記映像の属性に基づいて設定されることを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記映像再生手段は抽出した映像を再生する場合、該映像を再生画像全体に拡大して再生することを特徴とする請求項１に記載の映像処理装置。
【請求項５】
複数の映像を記録、再生する映像処理方法であって、
複数の映像を取得し、
取得した複数の映像のそれぞれが重ならず、１の画面内に配置されるように合成した合成画像を生成し、
前記合成映像を、読み出し可能に記憶装置に記憶し、
前記合成映像から、前記複数の映像から生成された１の映像を抽出し、
この抽出した映像を再生する
ことを特徴とする映像処理方法。
【請求項６】
合成画像を生成する際、前記映像のそれぞれについてあらかじめ設定された優先度に基づいて、該映像の大きさが異なるように合成することを特徴とする、請求項５に記載の映像処理方法。
【請求項７】
前記優先度は、前記映像の属性に基づいて設定されることを特徴とする請求項６に記載の映像処理装置。
【請求項８】
抽出した映像を再生する際、該映像を再生画像全体に拡大して再生することを特徴とする請求項５に記載の映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネルの映像情報の処理に関するもので、特にマルチチャンネルの映像記録、再生処理に関する。
【背景技術】
【０００２】
たとえば、映像配信をともなうテレビジョン放送では、地域によって複数のチャンネルの放送波を受信することができる。ユーザはチャンネルを選択することで放送波に変調された映像情報、つまり番組を視聴することができる。
【０００３】
通常、１つの番組を視聴あるいは録画するには１つのチューナと一連の映像ストリームを記録する記憶装置、たとえばHDD（Hard Disk Drive）があれば良いが、並行して放送される複数の番組を各チャンネルで放送されているように録画するには、並行して視聴あるいは録画する数の設備が必要となる。複数番組録画については、HDDの書き込み速度が許す限り１台のHDDに同時記録できる場合があるが、通常のテレビ視聴時のようなザッピングを許すためにはさらに多くの番組の同時記録がされなければならない。
【０００４】
しかしながら、同時刻に放送されている番組数となれば高度な処理能力が必要となり、また製品コストの面からも実用的ではない。
【０００５】
同時録画方法として、DVD（Digital Versatile Disk）規格のマルチアングル機能を用いて複数番組録画を実現する方法が提案されている（特許文献１参照）。
【特許文献１】特開２００７−５０５５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
同時刻に放送される複数のテレビ番組を視聴、録画する場合、その装置には高度な処理能力が求められる。特許文献１に提案された方法では、DVDの規格に従った視聴、録画に限定されるうえ、本来の機能が制限されるという問題がある。
【０００７】
本発明は上記の問題に鑑みてなされたもので、視聴、録画にかかる処理量を抑えつつリアルタイム視聴時と同様のザッピング視聴を可能とする映像処理装置および映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる映像処理装置とすれば、
複数の映像取得手段と、前記映像取得手段が取得した映像のそれぞれが重ならず、１の画像内に配置されるように合成された合成映像を出力する映像合成手段と、前記合成映像を読み出し可能に記憶する記憶手段と、前記記録した合成映像から、前記映像取得手段の１つが取得した映像について抽出して再生することが可能な映像再生手段とを備えたことを特徴とする映像処理装置が提供される。
【０００９】
また。本発明にかかる映像処理方法は、
複数の映像を記録、再生する映像処理方法であって、複数の映像を取得し、取得した複数の映像のそれぞれが重ならず、１の画面内に配置されるように合成した合成画像を生成し、  前記合成映像を、読み出し可能に記憶装置に記憶し、前記合成映像から、前記複数の映像から生成された１の映像を抽出し、この抽出した映像を再生することを特徴とする。
【発明の効果】
【００１０】
視聴、録画にかかる処理量を抑えつつリアルタイム視聴時と同様のザッピング視聴が可能となる映像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本実施形態にかかる映像処理システムの一例を示す図である。図１には、テレビ１００、アンテナ１０１およびリモコン１０２が示されている。
【００１２】
テレビ１００は、テレビ放送波を受信し配信される番組の映像ストリームを自身が備えるディスプレイ上に再生する機能を有する。また、テレビ１００内部にHDDを備え、受信した番組情報を記録するとともに、記録した番組情報を視聴するためにHDDから読み出してディスプレイ上に再生する機能を備える。
【００１３】
アンテナ１０１は、テレビ放送波を受信しテレビ１００に供給する。
【００１４】
リモコン１０２は、テレビ１００を離れたところから操作することができる機能を有する。テレビ１００はリモコン１０２が送信するコマンドを受信し、そのコマンドにあらかじめ決められている処理を実行する。
【００１５】
図１では番組視聴機能を持ったテレビセットを想定しているが、チューナ付きのPC（Personal Computer）やビデオレコーダであってもかまわない。
【００１６】
図２は、本実施形態にかかるブロック構成図の一例を示す図である。図２には、映像受信部２００、チューナ部２０１、復調部２０２、DEMUX部２０３、デコーダ部２０４、HDD２０５、メモリ２０６、エンコーダ部２０７、内部バス２０８、表示制御部２０９及び表示部２１０が示されている。
【００１７】
デジタルチューナ２００は、アンテナ１０１から入力された電波から特定の放送局の放送波を抽出し、映像イメージや音声イメージからなる番組情報を生成する機能を有する。デジタルチューナ２００は１つの番組に１つが割り当てられ、N個の番組をリアルタイムに視聴、録画するためにN個のデジタルチューナ２００が構成されている。
【００１８】
チューナ部２０１は、入力された信号から特定の周波数を抽出しアナログ信号として出力する機能を備える。
【００１９】
復調部２０２は、チューナ部２０１が抽出したアナログ信号を入力とし、デジタル化された番組情報を出力する機能を有する。本実施形態では放送波で配信されている番組情報がデジタル化されていることを想定している。
【００２０】
DEMUX部２０３は、復調部２０２が出力したデジタル化されたストリームから映像情報を分離する機能を有する。このストリームは時分割で複数のデータを送ることが可能となっており、たとえばデジタル化された映像データ、音声データ、番組表データ、その他付加的なデータなどが含まれる。DEMUX部２０３は、これらのデータを分離して出力することができる。
【００２１】
デコーダ部２０４は、デジタル化されたストリームのデータを再生可能な映像イメージ、音声イメージにデコードする機能を有する。デジタル放送の場合、伝送するデータの量を削減する目的でMPEG等の圧縮符号化が施されていることから、視聴するためにはデコード処理が必要となる。
【００２２】
HDD２０５は、たとえば磁気ディスク装置であって、デジタルデータを記録、読み出しが可能な大容量の記憶装置を指す。本実施形態では主に映像データ、音声データを記憶するために用いる。
【００２３】
メモリ２０６は、たとえば半導体メモリから構成されたRAM（Random Access Memory）である。さまざまな処理の過程で必要となる作業領域、各種テーブル情報を一時的に記憶するために用いられる。
【００２４】
エンコーダ部２０７は、映像イメージ、音声イメージを入力とし、符号化された映像データ、音声データを出力する機能を有する。本機能は、デジタルチューナ２００が出力した番組情報をHDD２０５に記録する場合、デジタルチューナ２００が出力する再生可能なイメージのまま記録するとデータ量が膨大となり短時間の記録しか出来ない。そこでエンコーダ部２０７によりデータを圧縮符号化したものを記録する。
【００２５】
内部バス２０８は、テレビ１００内の各種コンポーネントを接続し、情報の授受を可能とするバス機構である。
【００２６】
表示制御部２０９は、デジタルチューナ２００が出力する映像イメージの表示を所定のレイアウトに配置して表示データを出力する機能を有する。また、圧縮符号化された映像データから映像イメージをデコードするとともに、所定の表示領域のみを選択的に表示する機能を有する。
【００２７】
表示部２１０は、表示制御部２０９が生成した映像イメージをユーザに視聴可能なように表示する機能を有する。たとえばLCD（Liquid Crystal Display）やCRT（Cathode Ray Tube）を用いることができる。
【００２８】
図３は、本実施形態にかかる機能ブロック図の一例を示す図である。図３には、複数のデジタルチューナ２００、HDD２０５、番組情報データベース３００、ユーザ嗜好データベース３０１、レイアウト生成エンジン３０２、レイアウトタイムテーブル３０３及び映像合成エンジン３０４が示されている。
【００２９】
番組情報データベース３００は、チャンネルと放送されている番組の情報を記憶している。各番組は放送局ごとに開始時刻、終了時刻、タイトルを含み、必要に応じて番組のジャンルや出演者といった属性情報も含まれる。
【００３０】
ユーザ嗜好データベース３０１は、ユーザの番組に対する好みをデータベース化したもので、そのユーザが視聴したいと思う番組ほど重みが高く設定されている。重み付けには、たとえばユーザが設定するキーワードが一致する番組タイトル、出演者、ジャンル、あるいは番組の視聴頻度、ユーザが番組録画予約する番組の傾向といった属性に基づいて設定される。本実施形態では、番組情報データベース３００及びユーザ嗜好データベース３０１は、HDD２０５内に記憶される。
【００３１】
レイアウト生成エンジン３０２は、時間ごとに複数あるどの番組を画面上のどの位置にどれくらいの大きさで表示するかというレイアウト情報を決定しレイアウトタイムテーブル３０３を生成する。時間ごとに放送される番組の情報は番組情報データベース３００から取得する。また、番組を表示する大きさについては、ユーザ嗜好データベース３０１に設定された重みにもとづいて決定される。
【００３２】
レイアウトタイムテーブル３０３は、レイアウト生成エンジン３０２が時間ごとに生成したレイアウト情報を記録する。
【００３３】
映像合成エンジン３０４は、複数のデジタルチューナ２００が出力する映像イメージを、レイアウトタイムテーブル３０３に記録したレイアウト情報に従って合成する機能を有する。合成した映像イメージはイメージのまま、あるいはエンコーダ部２０７により圧縮符号化した映像データとして、この合成処理に用いたレイアウト情報とともにHDD２０５に記録される。
【００３４】
このとき、たとえばユーザの嗜好が強い番組ほど画面内で大きなサイズが割り当てられるように構成すると、嗜好性が高い番組ほど大きく、つまり高品質な映像で視聴及び記録しておくことができる。
【００３５】
図４は、本実施形態にかかる映像合成の一例を示す図である。各デジタルチューナ２００が出力した番組４００の映像イメージを、映像合成エンジン３０４により合成し、マルチチャンネル映像４０１を作成している。デジタルチューナ２００でデコードした番組A〜Dの映像イメージは同じ画質で得られるものの、レイアウトタイムテーブル３０３に記録されたレイアウト情報に基づいて縮小あるいは拡大されて、各映像イメージが重複しないよう画面内の指定された位置に合成される。このときユーザ嗜好データベース３０１に記録した重みに従って各番組の映像イメージが大きく合成されるようにすると、ユーザが見たいと思う番組ほど画像イメージの縮小にともなう画像劣化の影響が少ないイメージのままマルチチャンネル映像４０１に残すことができる。
【００３６】
マルチチャンネル映像４０１の解像度は、規格で規定された解像度、たとえばフルHD解像度としても良いが、それ以上の高解像度を採用してもかまわない。映像合成後のマルチチャンネル映像４０１の解像度が高ければ高いほど、画像縮小による画像劣化が避けられることから各番組の映像イメージを高品位なまま合成することが可能となる。
【００３７】
合成後のマルチチャンネル映像４０１の映像イメージは後の再生に備え、エンコーダ部２０７により圧縮符号化処理を受けHDD２０５に記録される。
【００３８】
本実施形態の録画方法とすれば、同時刻に放送される複数の番組を録画する場合にも記録容量を一定に抑えることが可能となる。
【００３９】
図５は、本実施形態にかかるレイアウトタイムテーブル３０３の一例を示す図である。レイアウトタイムテーブル３０３は、レイアウト生成エンジン３０２によりメモリ２０６上に生成される。テーブルは縦軸に時間帯を、横軸にそれぞれの時間帯に放送される番組の映像イメージを合成する座標と大きさを、受信するチャンネルごとに記述したタイムテーブルである。各枠内の数値は、本実施形態では上段が合成するイメージの開始座標、下段がそのイメージのXY方向における大きさを示している。これらの通知で表されるイメージの範囲は、時間帯で見る限りいずれも重複する部分が無い様に指定されているのが分る。
【００４０】
図６は、本実施形態にかかる１番組視聴の一例を示す図である。HDD２０５に記録されたマルチチャンネル映像４０１は、HDD２０５に記録した映像合成の際に使用したレイアウトタイムテーブル３０３の数値情報に基づき、個別の番組の映像イメージとして認識することができる。図６では番組Ｂ及び番組Ｃの映像イメージを抽出する様子を示している。つまりマルチチャンネル映像４０１のどの範囲にどのような大きさで何の番組が合成されていることが分れば、１つの映像イメージから番組ごとの映像イメージを取得することができる。
【００４１】
ユーザはマルチチャンネル映像４０１をそのまま視聴しても良いし、特定の番組を全画面で視聴することもできる。特定の番組を全画面で視聴する場合、映像合成エンジン３０４により映像合成された時点で情報量を削られるため少なからず劣化してしまう。これを全画面に拡大して表示する場合、実際に放送された映像イメージの画質より劣ることは否めない。好適には表示制御部２０９のデコード処理において超解像度処理をすることで劣化した画質を向上させることが望ましい。ここでいう超解像度処理とは、入力された映像イメージを元に拡大された映像イメージの劣化を補完する画像処理技術を指す。
【００４２】
適度な超解像度処理を施すことで、映像合成時に劣化した映像イメージを、合成前に近い画質に近づけることができる。
【００４３】
図７は、本実施形態にかかる映像記録処理フロー図の一例を示す図である。
【００４４】
まず、デジタルチューナ部２００で、受信した放送波に含まれる番組情報を分離して取得する。その中に、現在までに取得した番組情報よりも新しい番組情報が含まれているか否かを判定する（ステップＳ０１）。ここでは、放送波に番組情報が同時に放送されてくる場合の実施形態を示している。図示しないが、番組情報配信サーバからインタネットを経由して取得するようになっていてもかまわない。
【００４５】
新たな番組情報が含まれている場合（Ｙｅｓ）、番組情報データベース３００に格納するとともに、レイアウト生成エンジン３０２によりレイアウトタイムテーブル３０３を更新する（ステップＳ０２）。新規の番組情報がなければ（Ｎｏ）、レイアウトタイムテーブル３０３は更新しない。
【００４６】
次に、テレビ１００に内蔵の時計機能により現在時刻を取得する（ステップＳ０３）
現在の時刻が求まることで、レイアウトタイムテーブル３０３の時間帯が決定され、各チャンネルのレイアウトが一意に取得できる（ステップＳ０４）。
【００４７】
ステップＳ０４で求めたレイアウトと、現在のマルチチャンネル画像４０１で用いているレイアウトが同じかどうかにより、画面レイアウトの更新をするか否かを判定する（ステップＳ０５）。画面レイアウトの更新が必要と判定された場合（Ｙｅｓ）は、チャンネルで示される番組ごとに、画像データをデコードして表示する位置、及び大きさを変更する（ステップＳ０６）。画面レイアウトに変更の必要が無ければ（Ｎｏ）、現在の画面レイアウトのままとする。
【００４８】
次に各番組を、各デジタルチューナ２００のデコーダ部２０４によりデコード処理する（ステップＳ０７）。
【００４９】
次に映像合成エンジン３０４は、レイアウトタイムテーブル３０３より取得した画面レイアウトに従いマルチチャンネル画面４０１を合成し、エンコーダ部２０７によって圧縮符号化する（ステップＳ０８）。
【００５０】
エンコードした圧縮符号化されたマルチチャンネル画像４０１は、これを生成した元となる画面レイアウトの情報とともにHDD２０５に記録、保存される（ステップＳ０９）。
【００５１】
この一連の画像記録処理により、同一の時間帯に放送されている複数の放送局の番組を、マルチチャンネル画像４０１として記録、保存することができる。また、各番組のイメージの大きさはユーザ嗜好データベース３０１の重みに従って生成された画面レイアウトにより、嗜好する番組ほど高品位に保存される。
【００５２】
図８は、本実施形態にかかる映像再生処理フロー図の一例を示す図である。
【００５３】
まずHDD２０５に記録、保存されたマルチチャンネル映像４０１を読み出し（ステップＳ１０）、圧縮符号化されている場合には表示制御部２０９により映像イメージにデコードされる（ステップＳ１１）。
【００５４】
そしてデコードされた映像イメージは表示部２１０によりユーザに表示される（ステップＳ１２）。
【００５５】
このとき、特定の番組を全画面に表示する拡大表示中であるか否かを判定する（ステップＳ１３）。
【００５６】
拡大表示中でない場合（Ｎｏ）、リモコン１０２のチャンネル切り替えを指示するチャンネルボタンが押されたか否かを判定する（ステップＳ１４）。チャンネルボタンが押されていない場合（Ｎｏ）、複数画面を表示するマルチチャンネルボタンが押されたか否かを判定する（ステップＳ１５）。
【００５７】
チャンネルボタンが押されたか（Ｙｅｓ）、あるいはマルチチャンネルボタンが押されていない場合（Ｎｏ）、現在時刻が示すレイアウトタイムテーブル３０３の時間帯を特定して取得（ステップＳ１６）、画面レイアウトの更新が必要か否かを判定する（ステップＳ１７）。画面レイアウト更新が必要な場合（Ｙｅｓ）、チャンネルボタンを押すことで指示された対応チャンネルの番組の領域を全画面に拡大表示する（ステップＳ１８）。レイアウト更新自体が不要であれば（Ｎｏ）何もせずに一連のフローを終了する。
【００５８】
ステップＳ１３で、マルチチャンネル画像を表示中であった場合（Ｙｅｓ）、リモコン１０２のチャンネルボタンが押されたか否かを判定する。押されていない（Ｎｏ）ならば一連の処理を終了する。チャンネルボタンが押されている場合（Ｙｅｓ）、ステップＳ１６以降の処理を行う。
【００５９】
ステップＳ１５で、マルチチャンネル画像４０１のまま表示部２１０に表示するというマルチチャンネルボタンが押されていなければ（Ｎｏ）、ステップＳ１６以降の処理と同じになる。マルチチャンネルボタンが押された場合（Ｙｅｓ）には、特定番組の拡大表示を終了する（ステップＳ２０）。次回からはマルチチャンネル画像４０１が画像イメージとして表示部２１０に表示される。
【００６０】
本実施形態にかかる映像処理装置とすれば、番組間の切り替え時にも視聴、録画にかかる処理量を抑えつつリアルタイム視聴時と同様のザッピング視聴を可能とする映像処理装置および映像処理方法を提供することができる。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６２】
【図１】本実施形態にかかる映像処理システムの一例を示す図である。
【図２】本実施形態にかかるブロック構成図の一例を示す図である。
【図３】本実施形態にかかる機能ブロック図の一例を示す図である。
【図４】本実施形態にかかる映像合成の一例を示す図である。
【図５】本実施形態にかかるレイアウトタイムテーブルの一例を示す図である。
【図６】本実施形態にかかる１番組視聴の一例を示す図である。
【図７】本実施形態にかかる映像記録処理フロー図の一例を示す図である。
【図８】本実施形態にかかる映像再生処理フロー図の一例を示す図である。
【符号の説明】
【００６３】
１００・・・テレビ、１０１・・・アンテナ、１０２・・・リモコン、２００・・・デジタルチューナ、２０１・・・チューナ部、２０２・・・復調部、２０３・・・DEMUX部、２０４・・・デコーダ部、２０５・・・HDD、２０６・・・メモリ、２０７・・・エンコーダ部、２０８・・・内部バス、２０９・・・表示制御部、２１０・・・表示部、３００・・・番組情報データベース、３０１・・・ユーザ嗜好データベース、３０２・・・レイアウト生成エンジン、３０３・・・レイアウトタイムテーブル、３０４・・・映像合成エンジン、４００・・・番組、４０１・・・マルチチャンネル画像
【図１】
2010016521.tif 000003
【図２】
2010016521.tif 000004
【図３】
2010016521.tif 000005
【図４】
2010016521.tif 000006
【図５】
2010016521.tif 000007
【図６】
2010016521.tif 000008
【図７】
2010016521.tif 000009
【図８】
2010016521.tif 000010