(57)【要約】【課題】主画面に表示される画像の主要部分が副画面に覆われないよう主画面上に副画面を重ねて画像を表示する携帯端末装置を提供する。【解決手段】画像及びデータを含み構成される２つの番組情報を電波を介して受信し、前記電波より所定チャネルの番組情報の画像を復号し、復号された一方の画像上に他方の画像を重ねた合成画像を表示手段に出力する。この合成画像を作成するに際し、前記一方の画像中の画素により表される物体の速度ベクトルであるオプティカルフローを算出し、前記物体がオプティカルフローの方向に移動しようとする領域を阻害しないように、前記一方画像上に前記他方の画像を重ねる。【選択図】図４
2008228034.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報を表す電波を受信する受信手段と、
前記電波より所定チャネルの前記複数の情報を復号する復号手段と、
前記情報に含まれる主画像を表示する主画面領域とこの主画面領域上に重ねられると共に前記複数の情報のうち前記主画像以外の情報を表示する副画面領域とから構成される表示手段とを具備する携帯端末装置であって、
前記主画面領域に表示される主画像中の物体の速度ベクトルであるオプティカルフローを算出し、前記物体が移動しようとする領域以外の領域に前記副画面領域を重ねる画像処理部を具備することを特徴とする携帯端末装置。
【請求項２】
請求項１に記載する携帯端末装置において、
前記画像処理部は、前記副画面領域の表示位置及びこの表示位置を設定した時刻を記憶する一方、前記時刻から一定時間以上経過していることを条件として、前記物体の移動に伴って前記副画面領域の表示位置を変更することを特徴とする携帯端末装置。
【請求項３】
請求項１又は請求項２に記載する携帯端末装置において、
前記画像処理部は、前記主画面領域が分割された複数の分割領域のうち前記副画面領域が重ねて表示された一つの分割領域について前記オプティカルフローを算出する一方、前記物体が移動しようとする前記一つの分割領域以外の他の分割領域に前記副画面領域を重ねることを特徴とする携帯端末装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載する携帯端末装置において、
前記画像処理部は、
前記オプティカルフローのＸ軸成分及びＹ軸成分の各軸成分について前記オプティカルフローが正である個数と負である個数とを集計すると共に、前記正である個数と前記負である個数との差を算出してこの差を各軸成分の値とする代表オプティカルフローを算出し、
前記代表オプティカルフローの大きさが所定の閾値を超え、且つ前記代表オプティカルフローの前記主画面領域のＸ軸と成す角が所定の角度にあることを条件に予め設定された前記副画面領域を配置する副画面表示位置を選定し、この副画面表示位置に基づいて前記主画面領域に前記副画面領域を重ねることを特徴とする携帯端末装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載する携帯端末装置において、
前記複数の情報は、画像、音声及びデータから構成され地上デジタル放送により配信される２つの番組情報であり、
一方の番組情報の画像は主画面領域に表示され、他方の番組情報の画像は副画面領域に表示されることを特徴とする携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置に関し、特に、画像を表示する主画面上に副画面を重ねて表示する場合に適用して有用なものである。
【背景技術】
【０００２】
近年、我が国では地上デジタル放送が開始された。この地上デジタル放送のうち、主に携帯電話向けにいわゆるワンセグと呼ばれる放送サービスが提供されている。地上デジタル放送においては、主となる番組画像の他に、放送中のチャネル、放送局名、番組名、出演者、録画した番組に関する情報も提供されるため、携帯電話の一つの画面上に、これらの情報と共に前記番組画像を表示することも可能となっている。しかしながら、一般的に携帯電話は画面が小さいことから、主画面を一時的に縮小すると共に、主画面と副画面とを並べて表示することで、複数画面の同時表示を実現している。
【０００３】
主となる番組画像と他の情報とを同時に表示する技術としては、複数の番組画像を主画面と副画面とにそれぞれ同時に表示する機能を具備するテレビ放送受信機能付き携帯端末がある（例えば、特許文献１参照）。
【０００４】
しかしながら、副画面を主画面上に重ねて表示し、複数の番組画像等の同時表示を実現する場合、主画面のうち副画面に覆われた領域を見ることができないという問題がある。特に、球技などのスポーツ番組ではカメラがボールを追従するシーンが多いため、最も注視されるボール周辺が副画面に覆われた領域に入ってしまい、決定的なシーンを視聴し難いなどの問題が生じ得る。
【０００５】
【特許文献１】特開２００６−３３６９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、かかる事情に鑑み、主画面に表示される画像の主要部分が副画面に覆われないよう主画面上に副画面を重ねて画像を表示する携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の第１の態様は、複数の情報を表す電波を受信する受信手段と、前記電波より所定チャネルの前記複数の情報を復号する復号手段と、前記情報に含まれる主画像を表示する主画面領域とこの主画面領域上に重ねられると共に前記複数の情報のうち前記主画像以外の情報を表示する副画面領域とから構成される表示手段とを具備する携帯端末装置であって、前記主画面領域に表示される主画像中の物体の速度ベクトルであるオプティカルフローを算出し、前記物体が移動しようとする領域以外の領域に前記副画面領域を重ねる画像処理部を具備することを特徴とする携帯端末装置にある。
【０００８】
かかる第１の態様では、電波により提供される複数の情報のうち主画像は主画面領域に表示され、主画像以外の情報は副画面領域に表示される。この副画面領域は主画面領域上に重ねて表示されるが、このとき、主画像からオプティカルフローを算出することで、主画像中に表示されている物体の動きを捉えるため、物体が移動しようとする方向を阻害しないように副画面領域は主画面領域上に重ねられる。これにより、携帯端末装置の利用者が注視するであろう物体の動きがある部分が副画面領域に重なって見え難いということを回避でき、番組を快適に視聴することができる。
【０００９】
本発明の第２の態様は、第１の態様に記載する携帯端末装置において、前記画像処理部は、前記副画面領域の表示位置及びこの表示位置を設定した時刻を記憶する一方、前記時刻から一定時間以上経過していることを条件として、前記物体の移動に伴って前記副画面領域の表示位置を変更することを特徴とする携帯端末装置にある。
【００１０】
かかる第２の態様では、主画面領域上に重ねられた副画面領域の表示位置を設定した設定時刻を記憶し、この設定時刻から一定時間経過したことを条件として、実際に副画面領域の表示位置を変更する。これにより、副画面領域の表示位置が頻繁に変更するということを回避することができ、番組をより快適に視聴することができる。
【００１１】
本発明の第３の態様は、第１又は第２の態様に記載する携帯端末装置において、前記画像処理部は、前記主画面領域が分割された複数の分割領域のうち前記副画面領域が重ねて表示された一つの分割領域について前記オプティカルフローを算出する一方、前記物体が移動しようとする前記一つの分割領域以外の他の分割領域に前記副画面領域を重ねることを特徴とする携帯端末装置にある。
【００１２】
かかる第３の態様では、オプティカルフローを算出する対象の領域が一つの分割領域となるため、画像処理部での計算に掛かる負担が軽減される。
【００１３】
本発明の第４の態様は、第１〜第３の何れか一つの態様に記載する携帯端末装置において、前記画像処理部は、前記オプティカルフローのＸ軸成分及びＹ軸成分の各軸成分について前記オプティカルフローが正である個数と負である個数とを集計すると共に、前記正である個数と前記負である個数との差を算出してこの差を各軸成分の値とする代表オプティカルフローを算出し、前記代表オプティカルフローの大きさが所定の閾値を超え、且つ前記代表オプティカルフローの前記主画面領域のＸ軸と成す角が所定の角度にあることを条件に予め設定された前記副画面領域を配置する副画面表示位置を選定し、この副画面表示位置に基づいて前記主画面領域に前記副画面領域を重ねることを特徴とする携帯端末装置にある。
【００１４】
かかる第４の態様では、主画面領域中の各オプティカルフローの各軸成分の値について集計することで代表オプティカルフローを算出する。そしてこの代表オプティカルフローが所定の条件に該当するか否かにより、副画面領域の表示位置が決定される。
【００１５】
本発明の第５の態様は、第１〜第４の何れか一つの態様に記載する携帯端末装置において、前記複数の情報は、画像、音声及びデータから構成され地上デジタル放送により配信される２つの番組情報であり、一方の番組情報の画像は主画面領域に表示され、他方の番組情報の画像は副画面領域に表示されることを特徴とする携帯端末装置にある。
【００１６】
かかる第５の態様では、地上デジタル放送で配信される２つの番組情報を受信し、一方の番組情報の画像を主画面領域に表示し、他方の番組情報の画像を副画面領域に表示することができ、利用者はいわゆるワンセグ放送を快適に視聴することができる。
【発明の効果】
【００１７】
本発明によれば、放送事業者からの番組を受信し、この番組の画像は主画面領域全体に亘り表示され、番組に関する情報は副画面領域に表示されると共に当該副画面領域は主画面領域の一部分に重ねて表示される。このとき、副画面領域は、画像中に表示されている人や物などの動く進行方向上に位置しないように、主画面領域上に重ねて表示される。これにより、利用者は、画像中の最も注視される主要部分である人や物の動く部分が副画面領域に重なって見え難くなるということなく、快適に番組を視聴することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について説明する。なお、本実施形態の説明は例示であり、本発明は以下の説明に限定されない。
【００１９】
本実施形態では、電波により表される複数の情報とは、携帯端末向けの地上デジタル放送（ISDB-T（Integrated Services Digital Broadcasting-Terrestrial））であるワンセグ放送により配信される画像、音声及びデータから構成される番組情報である。本実施形態においては、この番組情報を２つ受信してディスプレイに表示する携帯端末装置１について説明する。図１は、本実施形態に係る携帯端末装置のブロック構成を示す図である。図示するように、携帯端末装置１は、電波を受信してデジタル信号に復号化する受信部と、デジタル信号の処理部とを具備している。詳言すると、前記受信部は、画像、音声及びデータを含む番組情報を受信するアンテナ２と、受信した番組情報をベースバンド信号に変換するＲＦ部３（受信手段）と、ベースバンド信号からＴＳ（トランスポートストリーム）パケットに復元するＯＦＤＭ（Orthogonal Frequency Division Multiplexing：直交波周波数分割多重）復号部４（復号手段）とを含み構成されている。一方、前記デジタル信号の処理部は、ＴＳパケットから画像パケット、音声パケット及びデータパケットに分離する多重信号分離部５と、画像パケット及び音声パケットを復号するデコーダ部６と、復号された２つの番組情報のそれぞれの画像を重ね合わせ処理をする画像処理部７と、画像を表示するディスプレイ８と、音声を出力するスピーカ９とを含み構成されている。また、特に図示しないが、携帯端末装置１は、ボタンなどの入力部を有しており、利用者による入力部の操作により受信するチャネルを選択可能に構成されている。
【００２０】
ワンセグ放送で放送される番組の画像は、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４規格に順じて符号化されており、音声はＭＰＥＧ−２  ＡＡＣ規格に準じて符号化されている。デコーダ部６は、符号化された画像を多重信号分離部５から入力され、この画像を復号化して所定の画素数（例えば、ＱＶＧＡ（４００×２４０））の画像データを画像処理部７に出力する。また、デコーダ部６は、符号化された音声も多重信号分離部５から入力され、この音声を復号化してＤ／Ａコンバータ（図示せず）を介してスピーカ９に出力する。
【００２１】
これらのＲＦ部３、ＯＦＤＭ復号部４、多重信号分離部５及びデコーダ部６はそれぞれ２つの番組情報を扱うよう構成されている。すなわち、一方の番組情報がＲＦ部３及びＯＦＤＭ復号部４を介して受信され、多重信号分離部５及びデコーダ部６を介して当該番組情報の画像が画像処理部７に伝送されると共に、他方の番組情報も同様にして、その画像が画像処理部７に伝送される。なお、各番組情報の音声は選択的に一方の音声がスピーカ９に伝送される。
【００２２】
画像処理部７は、２つの番組情報のそれぞれの画像がデコーダ部６から入力され、一方の画像に他方の画像を重ね合わせ、その結果をＤ／Ａコンバータ（図示せず）を介してディスプレイ８に出力する。
【００２３】
図２は、ディスプレイに表示される画像の例である。ディスプレイ８には、放送事業者により放送される番組（この例ではサッカーの試合中継）の画像（主画像）が表示されると共に、ディスプレイ８の右上の領域には、他の番組の画像（副画像）が重なって表示されている。以下、ディスプレイ８の画像データを表示する全領域を主画面領域１１と称し、ディスプレイ８の副画像が表示される領域を副画面領域１０と称する。なお、本実施形態では、ディスプレイ８は、Ｘ軸（図中、左右方向）に４００個、Ｙ軸（図中、上下方向）に２４０個の画素を有している。
【００２４】
このサッカー等球技の中継番組では、画像データ全体のうち最も注視される主要部分はボール周辺である。また、ボールは主画面領域１１内で最も激しく移動するものであるから、ボールが副画面領域１０に覆われて見えなくなったり、又は副画面領域１０の近傍に近寄りすぎて見え難いという事態が生じる。そこで、画像処理部７は、主画面領域１１上に副画面領域１０を重ね合わせる際に、主画面領域１１に表示される画像データに応じて副画面領域１０の表示位置を変更する処理を行う。
【００２５】
なお、本実施形態では、主画面領域１１を４つの領域に分け、この４つの領域の何れか一つの領域に副画面領域１０を表示する。ここで、主画面領域１１の４つに分けられた右上の領域を分割領域１１RU、右下の領域を分割領域１１RD、左下の領域を分割領域１１LD、左上の領域を分割領域１１LUと称する。また分割領域１１RD、１１RU、１１LU及び１１LDの副画面領域１０が重なっていない領域を非重畳領域１２と称し、この非重畳領域１２に表示される画像データの部分を非重畳画像データと称する。例えば、図２では、分割領域１１RU上に副画面領域１０が重なっているので、符号「１２」に示す破線に囲まれた部分が非重畳領域であり、画像データの非重畳領域１２に相当する部分が非重畳画像データである。
【００２６】
図３は、画像処理部のブロック構成を示す図である。図示するように、画像処理部７は、n番目の非重畳画像データのオプティカルフローを演算するオプティカルフロー演算部２０と、n-1番目の非重畳画像データを記憶するオプティカルフロー記憶部２１と、オプティカルフローから画像データ全体の速度分布状況を算定する速度分布状況算定部２２と、速度分布状況に基づいて副画面領域１０の表示位置を決定する副画面表示位置制御部２３と、前記表示位置に基づいて主画面領域１１上に副画面領域１０を重ね合わせる画像合成部２４とを具備している。
【００２７】
オプティカルフロー演算部２０は、デコーダ部６より入力される画像データのうち、非重畳画像データについてオプティカルフローを演算する。ここでオプティカルフローとは、非重畳画像データ中の各画素の速度ベクトルをいう。ワンセグ放送では毎秒１５フレームの画像が放送されるので、或る時刻tnにおける非重畳画像データの各画素のオプティカルフローは、１フレーム後（1/15秒後）の時刻tn+1における各画素の速度ベクトルを示すことになる。詳細な算出方法については後述する。
【００２８】
速度分布状況算定部２２は、非重畳画像データ中の各画素のオプティカルフローから速度分布状況を算定する。ここで速度分布状況とは、Ｙ軸成分が正であるオプティカルフローの個数及びＹ軸成分が負であるオプティカルフローの個数をオプティカルフローの始点となる画素のＸ座標ごとに集計したものと、Ｘ軸成分が正であるオプティカルフローの個数及びＸ軸成分が負であるオプティカルフローの個数をオプティカルフローの始点となる画素のＹ座標ごとに集計したものである。これにより、非重畳画像データが表示される非重畳領域１２のうち、動きのある部分を特定することができる。詳細な算出方法については後述する。
【００２９】
副画面表示位置制御部２３は、副画面領域１０を重ねるべき分割領域１１RD、１１RU、１１LU及び１１LDの何れか一つを選択する。具体的には速度分布状況から非重畳画像データ中の動きのある部分について、その動きの向きと大きさが所定の値を超えるか否かにより判断する。詳細な算出方法については後述する。
【００３０】
画像合成部２４は、副画面表示位置制御部２３により選択された分割領域上に副画面領域１０を重ね、Ｄ／Ａコンバータを介してディスプレイ８に出力する。これにより主画面領域１１に放送事業者からの番組の画像データが表示され、且つ副画面領域１０に他の番組の画像データが表示される。
【００３１】
図４は、画像処理部で実行される処理を示すフロー図である。まず、画像処理部７は、非重畳画像データの各画素についてオプティカルフローの演算を行う（ステップＳ１）。非重畳画像データのＸ軸の座標ｘ、Ｙ軸の座標ｙの画素の時刻tnにおける輝度値をE(x,y,t)とすると、オプティカルフロー（速度ベクトル）のＸ軸成分un+1、Ｙ軸成分vn+1は、次式に基づいて算出できる。
【００３２】
【数１】
2008228034.tif 000003
式中αは滑らかさの重み係数である。なお、上記の式についての詳細な説明は文献「Determining Optical Flow（Berthold K. P. Horn and Brian G. Schunck, ”Determining optical flow”, Artificial Intelligence, Vol.17 pp.185-203, 1981）」を参照のこと。
【００３３】
図５は、オプティカルフローを直観的に示す図である。図２に示した非重畳領域１２に表示された非重畳画像データについてオプティカルフローを算出すると、図５に示すように、オプティカルフローは、非重畳領域１２中にいるサッカー選手３０を表す画素を始点とする矢印３１（オプティカルフロー）として表示することができる。この例では、或る時刻においては、非重畳領域１２中にいる３人のサッカー選手３０は、次の瞬間にそれぞれ右方向乃至は右上方向に移動しようとしていることが分かる。
【００３４】
図４に戻り、次に、複数のオプティカルフローから速度分布状況を算定する（ステップＳ２）。速度分布状況のうち、オプティカルフローの始点となる画素のＸ座標がiであり、Ｙ軸成分が正であるオプティカルフローの個数V+iについては次式により算出する。
【００３５】
【数２】
2008228034.tif 000004
【００３６】
ここで、vi,kは非重畳画像データの各画素のうち、Ｘ座標がi、Ｙ座標がkである画素について算出したオプティカルフローのＹ軸成分である。同様に、オプティカルフローの始点となる画素のＸ座標がiであり、Ｙ軸成分が負であるオプティカルフローの個数V-jについては次式により算出する。
【００３７】
【数３】
2008228034.tif 000005
【００３８】
同様に、オプティカルフローの始点となる画素のＹ座標がjであり、Ｘ軸成分が正であるオプティカルフローの個数U+iについては次式により算出する。
【００３９】
【数４】
2008228034.tif 000006
【００４０】
ここで、uは非重畳画像データの各画素のうち、Ｘ座標がk、Ｙ座標がjである画素について算出したオプティカルフローのＸ軸成分である。同様に、オプティカルフローの始点となる画素のＹ座標がjであり、Ｘ軸成分が負であるオプティカルフローの個数U-iについては次式により算出する。
【００４１】
【数５】
2008228034.tif 000007
【００４２】
図６は、速度分布状況を直観的に示す図である。図中の複数の格子点３２は、非重畳画像データの各画素を表しており、各画素を始点として複数の矢印３１（オプティカルフロー）が示されている。一方、図の右側には、Ｘ軸成分が正であるオプティカルフローの個数U+i及びＸ軸成分が負であるオプティカルフローの個数U-iがＹ座標ごとに棒グラフ３３として表示されている。例えばＹ座標が５であるとき（i=5）のオプティカルフローの個数U+5は３個となっており、またＹ座標が１であるときのオプティカルフローの個数U-1は１個となっている。同様に、図の下側にはＹ軸成分が正であるオプティカルフローの個数V+j及びＹ軸成分が負であるオプティカルフローの個数V-jがＸ座標ごとに棒グラフ３４として表示されている。例えばＸ座標が５であるとき（j=5）のオプティカルフローの個数V+5は２個となっており、またＸ座標が１であるときのオプティカルフローの個数V-1は１個となっている。
【００４３】
次に、速度分布状況に基づいて、分割領域１１RD、１１RU、１１LU及び１１LDのうち副画面領域を重ね合わせる対象の分割領域を選出する。例えば、副画面領域１０が分割領域１１RU上にある場合において、非重畳領域１２の速度分布状況がＸ軸の正の方向に多く偏り、且つＹ軸の正の方向に偏っており、且つ所定の閾値を越えたか否かを比較する。このことは、非重畳領域１２には右上側に移動しようとする画素（例えばボールを表示する画素。）があるか否かを判断していることになる。速度分布状況が前記閾値を超えた場合は、右上側に移動しようとする画素が副画面領域１０に重ならないように、例えば副画面領域１０の表示位置を左下の分割領域１１LD上とする旨の情報を画像合成部２４に出力する。
【００４４】
分割領域を選出するにあたっては、例えば、速度分布状況から代表オプティカルフローを算定する（ステップＳ３）。ここで、代表オプティカルフローとは、Ｘ軸成分が、速度分布状況U+iをiについて合計したものから速度分布状況U-iをiについて合計したものを引いた差分であり、且つＹ軸成分が、速度分布状況V+jをjについて合計したものから速度分布状況V-jをjについて合計したものを引いた差分であるベクトルをいう。この代表オプティカルフローを算出することで、非重畳画像データの各画素の全体はＸ、Ｙ軸のそれぞれについて正又は負のどちらに移動しようとしているかがわかる。
【００４５】
図７は、非重畳領域の速度分布状況を直観的に示す図である。図中、全画素についてオプティカルフローを示す矢印を記載すると錯綜するため、数本の矢印３５で記載してある。図７左側には、各画素の速度分布状況U-iを示す棒グラフ４０及び速度分布状況U+iを示す棒グラフ４１が示されており、図７下側には、各画素の速度分布状況V-jを示す棒グラフ４２及び速度分布状況V+jを示す棒グラフ４３が示されている。複数の矢印３５は全体的に右向きであるものが多いことから、棒グラフ４１の面積（速度分布状況U+iをiについて合計したもの。）が大きく、棒グラフ４０の面積（速度分布状況U-iをiについて合計したもの。）は小さい。したがって、代表オプティカルフローのＸ軸成分４５は正になる。
【００４６】
一方、複数の矢印３５は全体的に上向きであるものが多いことから、棒グラフ４３の面積（速度分布状況V+jをjについて合計したもの。）が大きく、棒グラフ４２の面積（速度分布状況V-jをjについて合計したもの。）は小さい。したがって、代表オプティカルフローのＹ軸成分４４は正になる。これにより、右上向きの代表オプティカルフロー４６を得ることができる。つまり、非重畳領域１２に表示される非重畳画像データの各画素は全体的に右上に移動しようとしていることが判断できる。
【００４７】
図４に戻り、代表オプティカルフロー４６の大きさが所定の閾値を越えたか否かを判断し（ステップＳ４）、越えていないときは（ステップＳ４；Ｎｏ）、次のフレームについてステップＳ１の処理を行う。また、代表オプティカルフロー４６の大きさが所定の閾値を超えたときは（ステップＳ４；Ｙｅｓ）、前回の副画面領域１０の表示位置の変更時から一定時間経過したか否かを判断する（ステップＳ５）。一定時間経過していないならば（ステップＳ５；Ｎｏ）、次のフレームについてステップＳ１の処理を行う。一定時間経過しているならば（ステップＳ５；Ｙｅｓ）、副画面位置情報に基づいて、副画面領域１０を主画面領域１１に重ね合わせる（ステップＳ６）。
【００４８】
このように、一定時間経過したか否かを判断して実際に副画面位置情報に基づいて副画面領域１０を主画面領域１１に重ね合わせているので、画像上のデータの表示位置が頻繁に変更するということを回避することができる。
【００４９】
ここで、副画面位置情報とは、主画面領域１１の副画面領域１０を表示する座標をいう。副画面位置情報に基づいて、副画面領域１０を主画面領域１１に重ね合わせるとは、主画面領域１１の何れか一つの隅に副画面領域１０を重ね合わせることをいう。例えば、副画面領域１０の画素数を１２０×７２とする場合、図２に示したディスプレイ８においては、副画面位置情報が（０、２３９）であるとき（副画面領域１０を分割領域１１LU上に配置するとき）、主画面領域１１の座標（０、２３９）に副画面領域１０の左上の画素が合うように位置合わせして、主画面領域１１上に副画面領域１０を重ね合わせる。
【００５０】
なお、副画面位置情報は、ステップＳ３で算定した代表オプティカルフロー４６の向きと、副画面領域１０が分割領域１１RD、１１RU、１１LU及び１１LDのうちどの分割領域に表示されているかを条件として、予め決めておく。例えば、副画面領域１０が分割領域１１RU上に表示されているときは、副画面位置情報は次のように設定しておく。代表オプティカルフロー４６がＸ軸となす角をθとすると、π/6＜θ＜π/3  であるならば、副画面位置情報は分割領域１１LD上の座標である（０、１１９）とする。すなわち、θが所定の範囲にあることにより代表オプティカルフロー４６は右上に向いていると判断している。これに対応して副画面位置情報を定めておくことにより、副画面領域１０は、代表オプティカルフロー４６の向き（非重畳領域１２の画素に表示されるサッカー選手３０などの向かう方向）を避けるように左下の分割領域１１LDに表示される。
【００５１】
同様に、−π/6＜θ＜π/6  であるならば、代表オプティカルフロー４６は右方向に向いていると判断して、副画面位置情報は分割領域１１LU上の座標である（０、２３９）とする。更に、π/3＜θ＜2π/3  であるならば、代表オプティカルフロー４６は上方向に向いていると判断して、副画面位置情報は分割領域１１RD上の座標である（２７９、２３９）とする。
【００５２】
最後に、画像データが続いて入力されているか否かを判断し（ステップＳ７）、入力されているならば（ステップＳ７；Ｙｅｓ）、次のフレームについてステップＳ１の処理を実行し、入力されていないならば（ステップＳ７；Ｎｏ）、処理を終了する。
【００５３】
以上に説明したように、本実施形態に係る携帯端末装置は、放送事業者からの番組を受信し、この番組の画像をディスプレイの主画面領域全体に亘り表示する一方、番組に関する情報を表示する副画面領域を主画面領域の一部分に重ねて表示する。このとき、携帯端末装置の画像処理部は、画像のオプティカルフローを算出することで画像中に表示されている人や物などの動きを捉える。副画面領域は、この動き、すなわち主画面領域に表示される人や物などの動く進行方向上に位置しないように、主画面領域上に重ねて表示される。これにより、利用者は、画像中の最も注視される主要部分である人や物の動く部分が副画面領域に重なって見え難くなるということなく、快適に番組を視聴することができる。
【００５４】
なお、副画面領域に表示される画像としては、主画面領域に表示したものとは異なる他の番組の画像であったが、これに限定されない。例えば主画面領域に表示した番組と一緒に配信されるＢＭＬ情報を画像化して副画面領域に表示してもよい。また、本実施形態では、携帯端末装置のように比較的小さなディスプレイを具備するものを例示したが、複数の画像を重ねて表示することが可能な据え置き型のテレビであってもよい。
【図面の簡単な説明】
【００５５】
【図１】本実施形態に係る携帯端末装置のブロック構成を示す図である。
【図２】ディスプレイに表示される画像の例である。
【図３】画像処理部のブロック構成を示す図である。
【図４】画像処理部で実行される処理を示すフロー図である。
【図５】オプティカルフローを直観的に示す図である。
【図６】速度分布状況を直観的に示す図である。
【図７】非重畳領域の速度分布状況を直観的に示す図である。
【符号の説明】
【００５６】
１            携帯端末装置
２            アンテナ
３            ＲＦ部
４            ＯＦＴＭ復号部
５            多重信号分離部
６            デコーダ部
７            画像処理部
８            ディスプレイ
９            スピーカ
１０            副画面領域
１１            主画面領域
１１RU、１１RD、１１LD、１１LU        分割領域
１２            非重畳領域
２０            オプティカルフロー演算部
２１            オプティカルフロー記憶部
２２            速度分布状況算定部
２３            副画面表示位置制御部
２４            画像合成部
３０            サッカー選手
３１            オプティカルフロー
４６            代表オプティカルフロー
【図１】
2008228034.tif 000008
【図２】
2008228034.tif 000009
【図３】
2008228034.tif 000010
【図４】
2008228034.tif 000011
【図５】
2008228034.tif 000012
【図６】
2008228034.tif 000013
【図７】
2008228034.tif 000014