(57)【要約】【課題】ＣＰＵの処理能力が高性能でない場合であっても、良好に動画処理を行うことができる携帯端末を提供する。【解決手段】画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号を記憶する第一の記憶手段と、前記第一の記憶手段から読み出した画像信号を圧縮する圧縮手段と、前記圧縮手段により圧縮された圧縮画像信号を記憶する第二の記憶手段と、前記第二の記憶手段から読み出した圧縮画像信号を伸張する伸張手段と、前記伸張手段から出力された画像信号を表示する表示手段と、前記撮像手段による画像信号の出力が終了した後に自動的に前記伸張手段が前記第二の記憶手段から読み出した圧縮画像信号の伸張を開始して前記表示手段が前記伸張手段から出力された画像信号を表示するように制御する制御手段とを備え、前記制御手段は前記伸張手段による圧縮画像信号の伸張処理を行うとともに前記圧縮手段による画像信号の圧縮処理を行うように制御する。【選択図】　図１
2004088677.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を出力する撮像手段と、
前記撮像手段から出力される画像信号を記憶する第一の記憶手段と、
前記第一の記憶手段から読み出した画像信号を圧縮する圧縮手段と、
前記圧縮手段により圧縮された圧縮画像信号を記憶する第二の記憶手段と、
前記第二の記憶手段から読み出した圧縮画像信号を伸張する伸張手段と、
前記伸張手段から出力された画像信号を表示する表示手段と、
を備えていることを特徴とする携帯端末。
【請求項２】
前記撮像手段による画像信号の出力が終了した後、自動的に前記伸張手段が前記第二の記憶手段から読み出した圧縮画像信号の伸張を開始し、前記表示手段が前記伸張手段から出力された画像信号を表示するように制御する制御手段を備えていることを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記制御手段は、前記伸張手段による圧縮画像信号の伸張処理を行うとともに、前記圧縮手段による画像信号の圧縮処理を行うように制御することを特徴とする請求項２に記載の携帯端末。
【請求項４】
前記撮像手段は、画像信号を所定時間出力あるいは所定データ量の画像信号を出力したとき、画像信号の出力を終了することを特徴とする請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
前記画像信号は、動画信号であることを特徴とする請求項１ないし４のいずれかに記載の携帯端末。
【請求項６】
動画信号を出力するカメラと、前記カメラから出力される動画信号を記憶する第一のメモリと、前記第一のメモリから読み出した動画信号を圧縮するエンコーダと、前記エンコーダにより圧縮された圧縮動画信号を記憶する第二のメモリと、前記第二のメモリから読み出した圧縮動画信号を伸張する伸張手段と、前記伸張手段から出力された動画信号を表示画面に表示する表示手段と、を備え、
前記カメラによる撮影が終了した後に、前記カメラで撮影した動画信号の中から選択した静止画像を前記表示画面に表示することを特徴とする携帯端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画記録再生機能を有する携帯端末に関する。
【０００２】
【従来の技術】
特開２００２−３４０１４号公報には、送信端末の処理量を低減して消費電力を抑制するために、画像入力および符号化処理機能を通信端末から分離し、通信端末とは別に動画像情報作成装置を設置するシステムが開示されている。
【０００３】
【発明が解決しようとする課題】
近年、外出先においても自由に動画像の送受信ができるようにするために、携帯電話等の端末そのものがカメラを有し、端末において動画を録画および再生することが求められている。しかし、前記公報に記載のシステムでは、画像入力およびエンコード、デコードするには通信端末のほかに動画像情報作成装置を要するため、携帯性が損なわれるという問題がある。
【０００４】
また、一般に動画エンコーダの演算処理量は動画デコーダの演算量より多く、例えばＭＰＥＧ４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　ｐｈａｓｅ　４）の場合には３倍の処理量が必要である。そのため、動画エンコーダをソフトウェアで実現する場合はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）に対して高い処理能力が求められる。特に、動画エンコーダをリアルタイムで実現しようとすると、高い演算能力や高速動作が必要になる。
【０００５】
しかし、ＣＰＵやＤＳＰの処理能力を上げようとすると回路規模が大きくなり、コストが高くなるという問題が生じる。また、最高動作速度を上げると、消費電力が上がるのみか、スタンバイ時の電流が増加し、通話可能時間および待受け可能時間が短くなってしまうという問題がある。
【０００６】
そこで、本発明は、ＣＰＵの処理能力が高性能でない場合であっても、良好に動画処理を行うことができる携帯端末を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる携帯端末は、画像信号を出力する撮像手段と、前記撮像手段から出力される画像信号を記憶する第一の記憶手段と、前記第一の記憶手段から読み出した画像信号を圧縮する圧縮手段と、前記圧縮手段により圧縮された圧縮画像信号を記憶する第二の記憶手段と、前記第二の記憶手段から読み出した圧縮画像信号を伸張する伸張手段と、前記伸張手段から出力された画像信号を表示する表示手段と、前記撮像手段による画像信号の出力が終了した後に自動的に前記伸張手段が前記第二の記憶手段から読み出した圧縮画像信号の伸張を開始して前記表示手段が前記伸張手段から出力された画像信号を表示するように制御する制御手段とを備え、前記制御手段は前記伸張手段による圧縮画像信号の伸張処理を行うとともに前記圧縮手段による画像信号の圧縮処理を行うように制御することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施形態を詳細に説明する。
【０００９】
図１は、本発明の第一の実施形態にかかる携帯電話である。なお、本実施形態では、本発明を携帯電話に適用しているが、適用を携帯電話に限定するものではなく、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｃｅ）等の他の携帯端末に適用しても良い。
【００１０】
始めに、図１に示した携帯電話における撮影と録画処理を説明する。カメラ１０１からＣＰＵ１０２に取り込んだ動画信号を、いったんメモリ１０５内の動画像信号記録部１０６に順次記録するとともに、切替手段１０９を経由して表示装置１０８に送り、カメラ１０１で撮影されている映像をそのままリアルタイムに表示する。そして、動画像信号記録部１０６に記録された動画信号を記録された順番でＣＰＵ１０２内の動画エンコーダ１０３に送り、圧縮処理を行う。圧縮信号記録部１０７は、圧縮された動画信号を所定のフォーマットで保存する。
【００１１】
本実施形態では、動画信号記録部１０６を設け、カメラ１０１からの動画像信号をエンコード処理をする前に、いったん前記動画信号記録部１０６に動画信号を記録することにより、エンコード処理をリアルタイムに行うことができない場合であっても、カメラ１０１から入力された動画信号が欠落することを防止することができる。
【００１２】
なお、動画像信号記録部１０６への動画信号の書き込み速度は、動画信号をデコードする処理速度よりも速いため、動画信号を動画信号記録部１０６に記録することによってデコード処理が途中で中断することはない。
【００１３】
また、動画信号を動画エンコーダ１０３でエンコード処理した後、あるいは圧縮動画信号を圧縮信号記録部１０７に記録した後に、記録した動画信号を順次消去するため、動画信号記録部１０６の記録容量が小さくても良いため、携帯電話の小型化を妨げることなく、動画信号の欠落を防止することができる。
【００１４】
次に、携帯電話における再生処理を説明する。圧縮信号記録部１０７に保存した動画信号を、記録された順番でＣＰＵ１０２内の動画デコーダ１０４に入力する。切替手段１０９を経由して、動画デコーダ１０４において伸張処理をされた動画信号を表示装置１０８に順次送り、動画を表示する。なお、切替手段１０９は、カメラ１０１からの動画信号を取り込んでいるときはカメラ１０１側に、圧縮信号記録部１０７に記録した動画信号を再生する場合は動画デコーダ１０４側に、選択的に接続する。
【００１５】
次に、図２を用いて、撮影・録画処理手順を説明する。ユーザがキー操作等により撮影モードに切り換えると開始ボタン押下待ち状態（ステップ２１０）となる。開始ボタンが押下されると、撮影録画処理状態（ステップ２１１）となり、カメラ１０１は撮影を開始する。前述のように、カメラ１０１から出力された動画像信号は動画像信号記録部に記録され、動画エンコーダ１０３で圧縮され、圧縮動画信号を圧縮信号記録部１０７に順次記録する。
【００１６】
そして、一定の撮影時間が経過後したか、あるいは撮影した動画データが一定量になったか否かを判定し、判定結果に応じて撮影を終了するように制御する（ステップ２１２）。一定の撮影時間あるいは一定の動画データ量とは、例えばメールに添付可能なデータ量を超えないように予め設定したものである。このように制御することにより、撮った動画像をメール添付可能なサイズになるまで編集する手間を省くことができ、ユーザの使い勝手を向上することができる。
【００１７】
なお、本実施形態では撮影時間あるいはデータ量を予め設定したが、ユーザが撮影した動画像の使用用途を選択し、選択した用途に応じて自動的に撮影時間またはデータ量を変更するようにしても良い。この方法によれば、ユーザは使用用途に応じて動画像を撮影することができる。また、ユーザが複数の撮影時間あるいはデータ量から任意のものを選択するようにしても良いし、ユーザが撮影時間等を入力するようにしても良い。
【００１８】
撮影を終了した後、動画再生状態（ステップ２１３）となり、自動的に録画した動画信号のデコードおよび再生を開始する。再生が終了したら、「撮影した動画像を保存しますか？」等のメッセージを表示装置に表示する（ステップ２１４）。再生画面を見たユーザが録画内容に不満があり、「Ｎｏ」を選択した場合、圧縮信号記録部１０７に記録した動画信号を消去し、開始ボタン押下待ち状態（ステップ２１０）へ戻る。一方、再生内容に問題がなく、ユーザが「Ｙｅｓ」を選択した場合、圧縮信号記録部１０７に記録された圧縮動画信号をそのまま保存し（ステップ２１５）、処理を終了する。
【００１９】
録画画像をメールに添付する場合、ユーザは添付前にその内容を確認したいという要求がある。また、圧縮および伸張処理することにより、ユーザが撮影時に表示画面でリアルタイムに確認していた画像と、録画した画像が異なってしまうことが少なくない。本実施形態では、撮影終了後に圧縮信号記録部１０７に記録した圧縮動画信号を自動的にデコードして再生するように制御するため、ユーザは圧縮処理後の動画像を確認し、保存するか否かの判断や、メールに添付するか否か、再度録画するか否かの判断をすぐ行うことができる。なお、ユーザが撮影後の自動再生をするか否かを選択登録できるようにしても良い。ユーザによっては、録画した動画像すべてをその場で再生したくないことがあるため、自動再生するか否かを選択できるようにすることにより、使い勝手を向上することができる。
【００２０】
次に、本実施形態におけるエンコードおよびデコード処理について説明する。撮影終了までにエンコード処理を終了させる場合、図３に示すように、ＣＰＵの処理能力が高くなければならない。このような処理能力が高いＣＰＵを用いると、消費電力が高くなってしまうという問題がある。本実施形態では、録画終了後に引き続き動画再生を行う場合、図４に示すようにデコード処理とエンコード処理を並列して行うことを特徴とする。前述のように、本実施形態では、動画信号記録部１０６を備え、カメラ１０１から出力された動画信号を前記動画信号記録部１０６にいったん蓄積するため、撮影が終了しても圧縮処理を引き続いて行うことができる。
【００２１】
図５に、デコード処理とエンコード処置を並行に処理を行う同時処理のタイムチャートを示す。フレームと呼ばれる所定の区間において、表示処理６０１と動画デコード処理６０２、および動画エンコード処理６０３を繰り返して行う。表示処理６０１は、図１におけるＣＰＵ１０２から表示装置１０８にデータを転送する処理である。動画デコード処理６０２は、表示処理６０１に引き続いて行われ、次の表示処理６０１のためのデータを作成する。次の表示処理６０１の処理を行うまでの間は、さらに先の動画デコード処理を行う必要はない。
【００２２】
デコード処理に要するＣＰＵの処理能力はエンコードに要する処理能力よりも低いため、デコード処理のみを行う場合には、ＣＰＵ１０２に処理の空き時間（アイドル状態）が生じることになる。本実施形態では、この間に動画エンコード処理６０２を行う。これにより、優先的にデコーダ処理を行いながらＣＰＵの空き時間を利用して残りのエンコード処理を行うことが可能となる。この動画エンコード処理６０３は、動画信号記録部１０６に格納されているデータを、次のエンコード処理までの空き時間に応じて分断してエンコード処理を行う。
【００２３】
本実施形態のよれば、撮影終了後に引き続いてエンコード処理を行うため、最大動作周波数を押さえたＣＰＵを用いることが可能となりスタンバイ時の消費電力をすくなくすることが出来る。また、エンコード処理とデコード処理を並行して行うことにより、撮影終了までにエンコード処理を完了させていない場合であっても、撮影終了後すぐに録画した動画像を再生することができる。
【００２４】
次に第二の実施形態を、図６および図７を用いて説明する。
【００２５】
図６は、撮影・録画処理手順を示したフローである。図２と同じステップについては、同じ符号を付して説明を省略する。図２に示したフローとは、撮影を終了してから（ステップ２１２）、動画を再生する（ステップ２１３）までの間に、撮影している動画の最終フレームの表示（ステップ２１５）を一定期間おこなう処理を設けた点が異なる。
【００２６】
図７では図６の処理を演算量の視点で表した図である。図６における最終フレームの表示（ステップ２１５）の間、ＣＰＵ１０２はエンコーダ処理を行うことが出来る。
【００２７】
第二の実施形態によれば、最終フレームを表示している間に継続して動画エンコード処理を行うことが可能となる。これにより、処理能力が高くないＣＰＵを用いる場合であっても、ユーザにデコードまでの待ち時間をあまり感じさせることなく、デコードを開始する前にエンコード処理を終了することができる。
【００２８】
なお、本実施形態では最終フレームを表示するようにしたが、録画の最初のフレームあるいは録画中にユーザが指定したフレームを動画信号記録部１０６に記憶しておき、撮影終了後にそのフレームを表示するようにしても良い。また、これらのフレームは保存しておき、検索用のインデックスとして利用しても良い。
【００２９】
【発明の効果】
本発明は、ＣＰＵの処理能力が高性能でない場合であっても、良好に動画処理を行うことができる携帯端末を提供することができる。
【図面の簡単な説明】
【図１】第一の実施形態を示した構成図
【図２】第一の実施形態の処理フロー
【図３】録画終了までにエンコードを終了させる場合の処理負担を示した図
【図４】第一の実施形態での処理負荷の遷移を示した図
【図５】エンコード処理およびデコード処理のタイムチャート
【図６】第二の実施形態の処理フロー
【図７】第二の実施形態での処理負荷の遷移を示した図
【符号の説明】
１０１・・・カメラ、１０２・・・ＣＰＵ、１０３・・・動画エンコーダ、１０４・・・動画デコーダ、１０５・・・メモリ、１０６・・・動画信号記録部、１０７・・・圧縮信号記録部、１０８・・・表示装置、１０９・・・切替手段
【図１】
2004088677.tif 000003
【図２】
2004088677.tif 000004
【図３】
2004088677.tif 000005
【図４】
2004088677.tif 000006
【図５】
2004088677.tif 000007
【図６】
2004088677.tif 000008
【図７】
2004088677.tif 000009