(57)【要約】  所定時間の間、表示画像シーケンスのいくつかの表示画像を表示する表示装置と、前記表示装置にエネルギーを供給するエネルギーリソースとを有するモバイル装置が開示される。当該モバイル装置はさらに、前記エネルギーリソースの利用可能なエネルギー量を推定するエネルギー管理手段と、前記利用可能なエネルギー量に基づき、前記いくつかの表示画像を制御する制御手段とを有する。さらに、モバイル装置は、カメラなどの画像取得ユニットを有する。
2006528855.tif 000002
【特許請求の範囲】
【請求項１】
所定時間の間、表示画像シーケンスのいくつかの表示画像を表示する表示装置と、
前記表示装置にエネルギーを供給するエネルギーリソースと、
を有するモバイル装置であって、
当該モバイル装置はさらに、
前記エネルギーリソースの利用可能なエネルギー量を推定するエネルギー管理手段と、
前記利用可能なエネルギー量に基づき、前記いくつかの表示画像を制御する制御手段と、
を有することを特徴とするモバイル装置。
【請求項２】
請求項１記載のモバイル装置であって、
当該モバイル装置は、前記所定時間の間、さらにいくつかの入力画像を取得する画像取得ユニットを有し、
前記表示画像は、前記入力画像に基づくものである、
ことを特徴とするモバイル装置。
【請求項３】
請求項２記載のモバイル装置であって、
前記制御手段は、前記画像取得ユニットにより取得される前記さらにいくつかの入力画像を、前記利用可能なエネルギー量に基づき制御するよう構成されることを特徴とするモバイル装置。
【請求項４】
請求項２又は３記載のモバイル装置であって、
当該モバイル装置は、前記表示画像を各自の入力画像に基づき計算する補間ユニットを有することを特徴とするモバイル装置。
【請求項５】
請求項４記載のモバイル装置であって、
前記制御手段は、前記利用可能なエネルギー量に基づき、前記いくつかの表示画像と前記さらにいくつかの入力画像との間の比率を制御するよう構成されることを特徴とするモバイル装置。
【請求項６】
請求項４記載のモバイル装置であって、
前記補間ユニットは、時間的アップ変換ユニットであることを特徴とするモバイル装置。
【請求項７】
請求項４岸あのモバイル装置であって、
当該モバイル装置は、前記画像取得ユニットと前記補間ユニットの制御間のトレードオフを行うよう制御手段を制御するユーザインタフェース手段を有することを特徴とするモバイル装置。
【請求項８】
請求項４記載のモバイル装置であって、
前記制御手段は、前記入力画像から導出された動き信号に基づき、前記いくつかの表示画像と前記さらにいくつかの入力画像との間の比率を制御するよう構成されることを特徴とするモバイル装置。
【請求項９】
請求項１記載のモバイル装置であって、さらに、
他の装置とデータを交換する通信手段を有することを特徴とするモバイル装置。
【請求項１０】
請求項９記載のモバイル装置であって、
前記データは、前記表示画像のもととなる入力画像に対応することを特徴とするモバイル装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定時間の間、表示画像シーケンスのいくつかの表示画像を表示する表示装置と、該表示装置にエネルギーを供給するエネルギーリソースとを有するモバイル装置に関する。
【背景技術】
【０００２】
一体化されたカメラ機能を有するモバイル通信装置の出現により、モバイル通信分野に新たな用途が生じてきた。この第１の例として、モバイル装置との間で画像データを送信する手段を提供するＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ  Ｍｅｓｓａｇｉｎｇ  Ｓｅｒｖｉｃｅ）があげられる。第２の例としては、モバイル装置に表示される画像シーケンスの交換がある。適切な表示周波数によりこれらのシーケンスを表示することにより、良好な動画を生成することができる。画像シーケンスは、モバイル装置の一体化されたカメラにより記録され、ブロードキャスト、マルチキャスト又はユニキャストを介し受信され、着脱可能な記憶装置によりインポートされるかもしれない。
【０００３】
モバイル装置は、その動作に対しエネルギーを必要とする。このエネルギーは、電池や燃料電池などのエネルギーリソースにより供給される。モバイルエネルギーリソースの品質は向上している。すなわち、格納エネルギー量単位による物理的サイズは減少し、所定量のエネルギーの格納に要する蓄積時間は短縮される。しかしながら、エネルギー消費は、依然としてモバイル装置の重要な問題点である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、エネルギー消費と認識される画質との間のトレードオフを行うよう構成される導入部に説明されたタイプのモバイル装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の上記課題は、モバイル装置が、エネルギーリソースの利用可能なエネルギー量を推定するエネルギー管理手段と、当該利用可能なエネルギー量に基づき単位時間ごとの表示画像数を制御する制御手段とをさらに有することにより達成される。動画は、認識される画質が重要な点である。一般に、毎秒などの所定時間に表示される異なる画像の個数は、可能な限り多くされるべきである。しかしながら、異なる画像を表示するためには、比較的大きなエネルギー量が必要とされる。従って、本発明によるモバイル装置は、実際に利用可能なエネルギー量に関して、画像を表示するのに多大なエネルギーが浪費されないようにするため、表示画像数を制御する手段を有する。このことは、エネルギー消費と認識される画質との間のトレードオフが行われることを意味する。
【０００６】
本発明のモバイル装置の実施例は、所定時間の間、さらなるいくつかの入力画像を取得する画像取得ユニットを有し、表示画像は入力画像に基づくものとされる。表示画像は、受信した入力画像に基づくものとされてもよいが、本発明による実施例では、表示画像はまた、モバイル装置自体により取得される入力画像に基づくものとすることも可能である。モバイル装置は、このための画像取得ユニットを有する。画像取得ユニットは、レンズなどの光学手段とＣＣＤやＣＭＯＳなどの画像センサを有する。モバイル装置の表示装置は、いわゆるビューファインダとして任意的に用いられる。このことは、モバイル装置のユーザが良好なビューにパンすることをサポートするため、一時的に取得した入力画像が表示装置に転送されることを意味する。当該転送は、任意的には、空間解像度を向上させるため、あるいは、各表示画像の画素間のカラー又はルミナンスコントラストを向上させるためなどの画像処理を有する。
【０００７】
画像取得ユニットを有する本発明によるモバイル装置の実施例は、画像取得ユニットにより取得されるさらにいくつかの入力画像を、利用可能なエネルギー量に基づき制御するよう構成される特徴を有する。毎秒取得される入力画像数と表示画像数は相互に等しいと仮定する。このよき、毎秒取得される入力画像数の現象は、エネルギー消費に対して比較的大きな効果を有する。なぜならば、画像取得ユニット、データバスなどの内部通信手段、画像処理用の処理手段、表示手段などのモバイル装置のいくつかのユニットは、低下された速度で動作するためである。
【０００８】
本発明によるモバイル装置の実施例は、各入力画像に基づき表示画像を計算する補間ユニットを有する。好ましくは、制御手段は、利用可能なエネルギー量に基づき、表示画像数と入力画像数との間の比率を制御するよう構成される。取得画像数の制御と共に、代わりに、あるいは任意的に、本発明による実施例は、入力画像の補間に基づき追加的画像を計算することにより表示画像数を制御するよう構成される。これは時間的アップ変換と呼ばれ、典型的には、時間的アップ変換ユニットにより実行される。本発明者は、多くのケースにおいて、追加的画像の計算は、追加的画像の取得よりエネルギーを要しないことを照明した。言い換えると、センサによる画像データのキャプチャは、しばしば補間による画像データの計算より大きなエネルギーを消費する。
【０００９】
本発明によるモバイル装置の実施例は、画像取得ユニットと補間ユニットの制御間のトレードオフを行うよう制御手段を制御するユーザインタフェース手段を有する。動き補償アップ変換は良好な結果をもたらすが、追加的画像の取得はほとんどのケースにおいて画質の観点からより良いものである。１つの理由としては、計算された中間画像は、当該画像が複数の値の補間に基づくものであるため、多数のケースにおいてシャープさを失うということである。ユーザインタフェースにより、モバイル装置のユーザは、例えば、表示画像数の増加、取得周波数の増大、アップ変換比の増大を選択することが可能とされる。
【００１０】
本発明によるモバイル装置の実施例は、他の装置とデータを交換する通信手段を有する。当該データは、任意的には、表示画像のもととなる入力画像に対応する。あるいは、当該データは、音声又は他の情報に対応する。モバイル装置は、カメラ、携帯電話機又はテレビ電話機、ラップトップ又はＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）であってもよい。
【００１１】
本発明によるモバイル装置の上記及び他の特徴は、添付された図面を参照し、以降に記載される実施例及び実現形態に関して明らかとなるであろう。
【発明を実施するための最良の形態】
【００１２】
図面を通じて、同一の参照番号は同様の部分を記すのに用いられる。
【００１３】
図１は、画像処理機能を有するモバイル装置を概略的に示す。モバイル装置１００は、入力画像シーケンスを取得する一体化されたカメラ１０６を有する。当該カメラは、レンズと、ＣＣＤやＣＭＯＳなどのソリッドステート画像センサとを有する。
【００１４】
モバイル装置１００は、表示画像シーケンスを表示する表示装置１０２を有する。当該表示装置は、ＬＣＤやＬＥＤディスプレイなどである。
【００１５】
モバイル装置１００は、入力画像シーケンスを表示画像シーケンスに変換するよう構成される画像処理ユニット１０４を有する。当該変換は時間的アップ変換からなる。このことは、第１数の入力画像に基づき、第１数の画像より多い第２数の表示画像が時間補間により計算されることを意味する。当該変換は任意的には、空間スケーリング及び／又は空間エンハンスメントを有する。
【００１６】
モバイル装置１００は、画像を一時的に格納する記憶装置１１２を有する。当該記憶装置１１２は、コンパクトフラッシュ（登録商標）などのソリッドステート装置、あるいはＳＦＦＯディスクなどのディスクベース装置であってもよい。任意的には、記憶装置１１２の一部は着脱可能である。
【００１７】
モバイル装置１００は、他の装置とデータを交換するデータ交換ユニット１０８を有する。当該データ交換は、アンテナ１１０又はコネクタ１２０との物理的接続による送受信に基づくものであってもよい。
【００１８】
モバイル装置１００は、データバス１１８などの内部データ交換手段を有する。任意的には、モバイル装置のユニット及び装置の一部は、これら相互間の追加的な直接的接続を有する。例えば、画像処理ユニット１０４と表示装置１０２との間の直接的接続は効果的である。
【００１９】
モバイル装置１００は、当該モバイル装置の他の部分にエネルギーを供給するエネルギーリソース１１６を有する。エネルギーリソース１１６がモバイル装置の他の部分に接続されることは明らかであろう。これらの接続は図示されていない。エネルギーリソースは、電池や燃料電池などである。
【００２０】
モバイル装置１００は、入力画像を取得し、当該入力画像を他の装置に送信するよう構成される。適切な入力画像が取得されたか、及び／又は取得されるか判断するため、ユーザには取得した入力画像に関する表示画像が与えられる。このことは、モバイル装置がいわゆるビューファインダモードにより動作可能であることを意味する。
【００２１】
モバイル装置１００の重要な機能は、入力画像の表示画像への時間的アップ変換である。時間的アップ変換、又は画像レート変換は、例えば、Ｄ．ｄｅ  Ｈａａｎによる「Ｖｉｄｅｏ  ｐｒｏｃｅｓｓｉｎｇ  ｆｏｒ  ｍｕｌｔｉｍｅｄｉａ  ｓｙｓｔｅｍｓ」（ＩＳＢＮ：９０−９０１４０１５−８，Ｅｉｎｄｈｏｖｅｎ  Ｓｅｐ．２０００）の書籍の第４章に開示されている。好ましくは、アップ変換は、スムーズな動画を取得するため動き補償される。当該引用文献のセクション４．３．１では、最小遅延をもたらす動き補償画像反復法が開示されている。ビューファインダには、このタイプのアップ変換が好ましい。
【００２２】
以下においては、取得手段である一体化されたカメラ１０６から表示装置１０２への画像データストリームの制御に関して説明される。一体化されたカメラ１０６は、例えば、毎秒１５画像などの取得周波数ｆＡにより入力画像を取得すると仮定する。これらの入力画像は任意的に処理され、その後、表示画像シーケンスが表示装置１０２に供給される。表示画像シーケンスの各画像が、入力画像シーケンスの各画像から導出される。これにより、表示装置１０２は、毎秒１５画像の表示周波数ｆＤにより表示画像シーケンスを表示している。画像処理ユニット１０４において実現される動き検出ユニット又は画像推定ユニットは、入力画像シーケンスの以降の入力画像が実質的に互いに等しいものであることを判定すると仮定する。このことは、以降の画像間の差が主としてノイズに基づくものであるということを意味する。その後、一体化されたカメラ１０６に当該事実が通知される。この結果、一体化されたカメラ１０６は、それの取得周波数ｆＡを毎秒５画像などに低減させる。毎秒１５画像の表示周波数ｆＤを維持するため、画像処理ユニット１０４は、取得した入力画像に基づき追加的な表示画像を計算する。
【００２３】
あるいは、動き検出ユニット又は動き推定ユニットは、有意な動きが存在することを判定する。この場合、表示周波数ｆＤは良好な動画には低すぎる。毎秒２５〜５０画像など、毎秒１５画像以上の表示周波数ｆＤが必要とされる。取得周波数ｆＡを増大させることなく、これは画像処理ユニット１０４により実行される時間的補間により達成される。言い換えると、１秒間に属する１５個の入力画像を有する入力画像シーケンスに基づき、当該１秒間に属する２５個などの表示画像を有する表示画像シーケンスが計算される。
【００２４】
また、データ交換ユニット１０８により受け付けられる画像が、拡張された表示画像シーケンスを計算するため、画像処理ユニット１０４により実現されるアップ変換ユニットに供給可能であることは明らかであろう。
【００２５】
要約すると、図１に関して、以下の３つのコンポーネント、すなわち、入力画像の取得周波数ｆＡを調整する一体化されたカメラ１０６と、入力画像数と表示画像数との間の比率を制御する、画像処理ユニット１０４において実現されるアップ変換ユニットと、表示画像の表示周波数ｆＤを制御する表示装置１０２が画像量に関して制御されることが説明される。一般に、１秒あたりの画像数は、アップ変換ユニットにより計算される画像数、又は一体化されたカメラ１０６により取得される画像数に等しい。
【００２６】
上記制御は、取得した入力画像の動き検出又は動き推定などの画像コンテンツの比較に基づき行われる。任意的には、当該制御はユーザの入力に基づき行われる。従って、モバイル装置は、任意的に、画像取得ユニットと補間ユニットの制御間のトレードオフを実行するようモバイル装置を制御するユーザインタフェースを有する。例えば、ユーザは高認識画質、中間認識画質及び低認識画質間について、各自のエネルギー消費量に応じて選択することができる。
【００２７】
あるいは、上記制御は、利用可能なエネルギー量に基づき行われる。図２は、さらにエネルギー管理ユニット１１４を有する図１のモバイル装置を概略的に示す。エネルギー管理ユニット１１４には、エネルギーリソース１１６において現在利用可能な推定されるエネルギー量が通知される。エネルギー推定量に基づき、エネルギー管理ユニット１１４は、異なる制御信号を一体化されたカメラ１０６、画像処理ユニット１０４、表示装置１０２などのモバイル装置の他のパーツに供給する。例えば、以下のケースが区別可能である。
【００２８】
比較的高いエネルギーレベル、すなわち、現在利用可能なエネルギー量のケースでは、表示周波数ｆＤは、毎秒２５又は５０画像など比較的高いものとされてもよい。またこの場合、取得周波数ｆＡは比較的高いものとされてもよく、表示周波数ｆＤと等しくされてもよい。
【００２９】
平均的なエネルギーレベルのケースでは、表示周波数ｆＤは、毎秒１５画像などの適度なものとすることが可能である。取得周波数ｆＡは表示周波数ｆＤと等しくされてもよいが、好ましくは、取得周波数ｆＡは、毎秒８画像に低減されるなど、表示周波数ｆＤより低くされる。
【００３０】
比較的低いエネルギーレベルのケースでは、表示周波数ｆＤは、毎秒５又は１０画像などの比較的低いものとされるべきである。取得周波数ｆＡは、表示周波数ｆＤよりも低くされてもよい。
【００３１】
一体化されたカメラ１０６、画像処理ユニット１０４及び表示装置１０２の制御は、上記実施例において述べられたものと異なるものであってもよいということは明らかである。また、取得周波数ｆＡと表示周波数ｆＤの他の組み合わせも異なるエネルギーレベルに対して可能である。
【００３２】
上記実施例は本発明を限定するものではなく、それを例示するためのものであって、当業者は添付された請求項の範囲から逸脱することなく他の実施例を構成可能であるということに留意すべきである。請求項では、括弧の間におかれた参照符号は、請求項を限定するものと解釈されるべきではない。「有する」という用語は、請求項に列挙されていない要素又はステップの存在を排除するものではない。要素に前置される「ある」という単語は、当該要素が複数存在することを排除するものでない。本発明は、複数の相異なる要素を有するハードウェア及び適切にプログラムされたコンピュータにより実現可能である。複数の手段を列挙したユニットクレームでは、当該手段のいくつかは単一かつ同一のハードウェアにより実現可能である。
【図面の簡単な説明】
【００３３】
【図１】図１は、画像センサ、表示装置及びアップ変換ユニットを有するモバイル装置を概略的に示す。
【図２】図２は、エネルギー管理ユニットをさらに有する図１のモバイル装置を概略的に示す。
【図１】
2006528855.tif 000003
【図２】
2006528855.tif 000004
【国際調査報告】
2006528855.tif 000005
2006528855.tif 000006
2006528855.tif 000007