(57)【要約】【課題】高解像度映像情報を低解像度の端末装置で表示する際に、受信画像から有用と想定される領域を自動的に選択して、その領域のみを端末装置の限定された表示画面に表示すること。【解決手段】ディジタルテレビ受信回路２１により受信された高解像度映像画面を、ＭＰＥＧ２復号回路２２が複数個のブロックに分割する。次に、動き量演算回路２４が各ブロックの画像のフレーム間差分を求めることにより当該ブロック内画像の動きベクトルを求め、さらに有意ブロック決定回路２５が一つのブロック内画像の動きベクトルを周辺のブロックの動きベクトルと比較してその値が極大になる有意ブロックを求める。最終的にこの有意なブロックを中心とする或る画面領域を高解像度映像画面の中から選択して、画像転送回路２６が当該領域を低解像度端末装置の表示メモリ２７へ転送し、その端末装置の限られた大きさの画面に有意な情報のみを表示する。【選択図】図２
2005269016.tif 000002
【特許請求の範囲】
【請求項１】
テレビ映像画面を複数のブロックに分割する手段と、各ブロック内画像の動き量を計算・比較する手段と、動き量が極大となるブロックを有意ブロックとして選択する手段と、該有意ブロックを表示装置の画素数に合せて表示する手段とを備えることを特徴とする選択的解像度変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル化されたＨＤＴＶの如き高精細な品質を有する画像放送を、携帯電話機などの低解像度の画面を有する端末装置で受信表示する技術に関する。
【背景技術】
【０００２】
従来、ハイビジョン放送などの高品位テレビ放送（ＨＤＴＶ）は、その高解像度（通常１９２０画素×１２８０ライン）に対応する表示機能を有する専用の受信装置を用いて視聴が行われてきた。最近地上波ディジタル放送による映像と情報の提供が開始されるに伴い、携帯電話に代表される携帯端末によってこの放送を受信、利用したいとする需要が高まっている。これはディジタル化により受信機の消費電力の低減と小型化が可能となり、また情報源としての価値が高くなっているためと考えられる。
【０００３】
しかしながら、携帯端末の多くは限定された表示画面（例えば２４０×３２０画素）しか有していないために、この種の端末装置では送信されてくる高解像度画面をそのまま表示することは不可能であり、何らかの変換処理を施すことが必要となる。
【０００４】
この問題の解決のために従来行われてきた方法の一つは高解像度画像を低解像度に変換して表示することで、その変換手法の代表的な例は画素の間引き表示によるものである。
【０００５】
非特許文献１の１６６ページには各種の解像度の変換例が開示されている。その一つに、ダウンサンプリング法もしくはサブサンプリング法と呼ばれる高解像度画像を低解像度に変換する手法があり、これは一定の規則により領域の代表値を選択して取り出す方法である。例えば図１に示すように、水平方向、垂直方向の画素を１つ、あるいは２つ置きに取り出すことによって、低解像度に対応する画面を構成する手法である。
【０００６】
図１の例は、水平方向に１個置き、垂直方向に１行置きの画素を選択する方法であり、選択された画素を黒色で表示している。この方法の適用によって選択される画素数は、水平方向で１／２、垂直方向で１／２となり、合わせて１／４への解像度変換が行われる。これと同様の手続きを行うことで、より低い解像度に変換することも可能である一方、より画質を向上させる目的で、画素の選択時にその周囲の画素の情報も併用して代表値を決定する平均操作法を用いることもある。しかしこの方法では、特に変換による縮小比が大きな場合に、表示する画質が著しく低下するために、高い解像度による視聴を想定して送信される小さな人物像の表情や小さな文字等を判読することは困難である。
【０００７】
低解像度の端末装置で視聴する他の方法としては、限られた画面に全画像の一部だけを表示して視聴者がその表示位置を手動で移動、または自動的に順次表示する方法がある。この方法は携帯端末でインターネットのＷｅｂページを表示する場合には有効である。しかし、動画像であるテレビ画面でこの種の処理を行うことは、操作が煩雑である上に目的の画像を得ることが困難であり、有用な情報を見逃す可能性が高い。
【０００８】
この種の目的のために、予め映像データから自分の見たいシーンを簡単かつ適切に抽出する技術が特許文献１に開示されている。この方法は、関心のある動きのパターンを予め登録することで、全画面中から関心のある画像の部分を自動的に選択して表示する手段を提供している。しかしこの技術は予め登録したシーンを用いた検索が前提とされており、一般的な動画像からの有用情報の表示の目的に適用することはできない。
【０００９】
【特許文献１】特開２００３−２４４６２８号公報
【非特許文献１】貴家仁志著「よくわかるディジタル画像処理」ＣＱ出版社
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする課題は、高解像度映像情報を低解像度の端末装置で表示する際に、受信画像から有用と想定される領域を自動的に選択して、その領域のみを端末装置の限定された表示画面に表示することで、重要な情報のみを高画質で表示することである。
【課題を解決するための手段】
【００１１】
上記の課題は、テレビ映像画面を複数のブロックに分割する手段と、各ブロックの動き量を計算・比較する手段と、動き量が極大となるブロックを有意ブロックとして選択する手段と、該有意ブロックを表示装置の画素数に合せて表示する手段とを備える選択的解像度変換装置により解決することができる。
【００１２】
まず、受信された高解像度映像画面を、それぞれが高々数百個の連続した画素からなる複数個のブロックに分割する。高解像度映像画面は非常に多くの画素からなるが、その一々を処理するのでは計算量が膨大になるからである。次に、連続するフレーム間での各ブロック内画像の差分を求めることにより、当該ブロック内画像の動きベクトルを求める。一つのブロック内画像の動きベクトルの値を周辺のブロックの動きベクトルの値を比較して、その値が他に比較して極大になるものを求める。このようなブロックは他に較べて有意な情報を含んでいる可能性が高いからである。最終的に、この有意なブロックを中心とする或る限られた画面領域を高解像度映像画面の中から選択することで、低解像度端末装置の限られた大きさの画面に有意な情報を表示しようとする。これが本発明の課題解決原理である。
【発明の効果】
【００１３】
本発明により、高解像度映像画面全体の中から重要な情報が存在する領域を自動的に抽出し、重要性の低い背景等を割愛することにより、低解像度端末装置の限られた表示画面の中に効率的な表示を行うことが可能になる。その結果、例えば携帯電話機のような限られた表示機能しか持たない端末装置でも、ＨＤＴＶのような高解像度映像を効果的に受信することが可能になる。また同様の処理によって、視力の衰えた視聴者のために、画像の一部を拡大した映像を提供することも可能になる。
【発明を実施するための最良の形態】
【００１４】
この発明を実施するための最良の形態を、以下の実施例を用いて実説明する。この実施例は、ＨＤＴＶの映像を携帯電話機で受信・表示する例である。
【実施例１】
【００１５】
以下に、ＨＤＴＶ放送を例として、ＭＰＥＧ２を用いる本発明の処理について説明する。
【００１６】
図２は、本発明の実施例としての、携帯端末によるＨＤＴＶ画像受信における画像処理のブロック図を示している。図中の参照符号２１はディジタルテレビの受信回路であり、受信電波から画像符号情報を抽出して、それをＭＰＥＧ復号回路２２に与える。ＭＰＥＧ２復号回路２２は、受け取ったテレビ映像画面を複数のブロックに分割する。すなわち受け取った、例えば（１９２０×１２８０）画素で構成される全画面のデータを、縦横がそれぞれ（１６×１６）の画素からなるブロック（マクロブロック：以下「ＭＢ」と略記））を単位として分割する。
【００１７】
この処理過程で、各ＭＢの動きベクトルから動き量が計算され、ＭＰＥＧ２復号回路２２によって復号した結果は、画面メモリ２３に更新した画像として復元される。各ブロックの動き量を計算・比較する手段としての、動き量演算回路２４は各ＭＢの動き量を、例えば画素数が（１６×１６）であれば、動きベクトルを計算する下記数１の値を最小とするＭＢ内座標（a、b）により算出したスカラー値を、一定画面数時間毎に積算する。
【００１８】
【数１】
2005269016.tif 000003
【００１９】
数１においてＸは画素の値（例えば明るさ）、添え字ｉ及びａ、ｊ及びｂはそれぞれＭＢ内の垂直、水平座標位置、ｋはフレーム番号を表す。数１の式は、フレーム番号がｋであるＭＢ内の座標位置がｉ、ｊである画素の値と、フレーム番号がｋ−１であるＭＢ内の座標位置が（ｉ±a、ｊ±b）である画素の値との差分を全ての（a、b）について求め、その絶対値を全て座標位置について合計し、動きベクトルの量（大きさ）を与える。
【００２０】
動きベクトルはＭＰＥＧ２のデータとして例えば（１９２０×１２８０）画素の画面を（１６×１６）画素のMB（マクロブロック）で構成するとすれば、ＭＢの数は横方向に１２０、縦方向に８０であり９６００個の動きベクトルが得られる。そのＸ軸、Ｙ軸の自乗和の平方根を動きベクトルのスカラー的大きさとする。
【００２１】
ここで表示装置の解像度として（２４０×３２０）画素のものが用いられるとすると、有意ブロックとしては、これに見合うものとして横方向に１５個、縦方向に２０個から成る３００個のＭＢで構成される矩形状のものを用いることが考えられる。従って全画面の（１９２０×１２８０）画素中から、表示すべき有意ブロックを切り出す位置を決定するための有意ブロック決定操作が必要になる。
【００２２】
図３は、有意ブロックを切り出す位置を決定するための有意ブロック決定回路２５の作用を説明する概念図である。有意ブロック決定回路２５は、動き量が極大となるブロックを有意ブロックとして選択し、併せて、当該有意ブロックの上下・左右に隣接する一定個数のＭＢを連結してできる矩形領域を、表示ブロックとして選定する。
【００２３】
表示ブロックの選定に際しては、想定される各種の区切り位置を用いて表示ブロックとする場合の、動き量の積算値を一定の画面数毎に仮に累積し、その各区切り毎の仮積算値を比較して、それが最大となるものを有意な表示ブロックとする。これは全画像中の動きの大きい部分に一般に視聴者にとって関心の高い部分が含まれている可能性が高く、動きの少ない部分は背景などの関心の少ない部分である可能性が高いとの推定に基づいている。
【００２４】
ここでは有意ブロックの最大値を厳密に求める例を示したが、決定方法はこの手段に限るものではなく、例えば画面を複数個のブロックに分割し、それぞれのブロックの動き量積算値の重心を求める手法でも高い確率で最大位置を推定することができる。
【００２５】
また表示画像転送回路２６は、図３に示すように、有意ブロック決定回路２５によって決定された画像メモリ２３内の領域を実際に表示すべき表示ブロックとして選択し、それを表示装置の表示メモリ２７に転送して表示を行う。この転送動作は積算時間の次の周期がきて有意ブロック決定回路２５で新たな有意表示ブロックの領域が決定されるまで、毎画面受信ごとに同じ表示ブロックの領域から行われる。
【００２６】
表示画像転送回路２６により、有意ブロックを表示装置の表示メモリ２７へ転送する際は、表示ブロックの大きさを表示画面の画素数に合わせる調整が以下のように行われる。表示ブロックは一般に表示画面の画素数に合わせて選ばれるが、より広い範囲を表示したい場合にば、例えば縦横を表示画面の画素数の各２倍の大きさに設定して、図１に示した例の如く１／４に縮小表示しても良い。また表示ブロックが表示画面の画素数より若干大きいときは画像の周囲をトリミングし、若干小さいときは表示画面の内側に表示するように調整する。表示ブロックの候補としての動きの積算値に複数の極大値があるときには、それらを交互に選択表示しても良い。
【産業上の利用可能性】
【００２７】
本発明の利用により、携帯電話もしくは携帯型個人情報端末等の限定された大きさの画面にでも、ＨＤＴＶの画像を有効に表示する機能を実装することが可能になる。
【図面の簡単な説明】
【００２８】
【図１】公知の間引き（ダウンサンプリング）による画像変換を示す概念図である。
【図２】携帯電話機によるＨＤＴＶ映像受信の場合の画像処理過程を示すブロック図である。
【図３】有意ブロックと表示画面の対応を示す概念図である。
【符号の説明】
【００２９】
２１  ディジタルテレビ受信回路
２２  ＭＰＥＧ２復号回路
２３  画面メモリ
２４  動き量演算回路
２５  有意ブロック決定回路
２６  画像転送回路
２７  表示メモリ
【図１】
2005269016.tif 000004
【図２】
2005269016.tif 000005
【図３】
2005269016.tif 000006