(57)【要約】【課題】動画像における最終フレームの画像だけを再生表示するとき、当該画像を短時間で再生表示できるようにする。【解決手段】入力された画像データを符号化手段によりフレーム単位で符号化するとき、複数のフレームで構成されるビデオストリームの最終フレームに対応する画像データを、常にフレーム内符号化するようにして、動画像における最終フレームの画像だけを再生表示する際には、最終フレームの符号化データだけをデコードすることで画像を表示できるようにする。【選択図】  図３
2005020203.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
上記入力された画像データを、フレーム内符号化する第１の符号化処理、またはフレーム間符号化する第２の符号化処理によりフレーム単位で符号化する符号化手段と、
上記符号化された画像データを記憶媒体に記憶する記憶手段とを備え、
上記符号化手段は、複数のフレームで構成されるビデオストリーム中の少なくとも１つのフレームの画像データを上記第２の符号化処理により符号化するとともに、最終フレームに対応する画像データを上記第１の符号化処理により符号化することを特徴とする画像処理装置。
【請求項２】
上記符号化手段にて符号化する上記ビデオストリームの最終フレームの画像データとして、予め任意の最終画像データを設定できることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記最終画像データまたは上記入力手段から入力された画像データを、上記ビデオストリームの最終フレームの画像データに選択する選択手段をさらに備えることを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記選択手段は、上記最終画像データが設定されているときには、上記最終画像データを選択し、上記最終画像データが設定されていないときには、上記入力手段から入力された画像データを選択することを特徴とする請求項３記載の画像処理装置。
【請求項５】
上記入力手段は、動画像を撮影可能な撮像手段であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
上記記憶媒体に記憶した画像データを再生し、当該画像データに係る画像を表示装置に表示させる再生手段をさらに備えることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
上記最終画像データを表示装置に表示させる際に、撮影日時、撮影者、及び再生時間の少なくとも１つに関する情報を前記表示装置に表示させることを特徴とする請求項６記載の画像処理装置。
【請求項８】
画像データを入力する入力ステップと、
上記入力された画像データを、フレーム内符号化する第１の符号化処理、またはフレーム間符号化する第２の符号化処理によりフレーム単位で順次符号化する符号化ステップと、
上記符号化された画像データを記憶媒体に記憶する記憶ステップとを有し、
上記符号化ステップにて、複数のフレームで構成されるビデオストリーム中の少なくとも１つのフレームの画像データは上記第２の符号化処理により符号化し、最終フレームに対応する画像データは上記第１の符号化処理により符号化することを特徴とする画像処理方法。
【請求項９】
撮像装置及び表示装置を有し、上記撮影装置にて生成される画像データに対してフレーム内符号化とフレーム間符号化とを適応的に用いた符号化処理を適用して動画像が撮影可能であるとともに、撮影した動画像を上記表示装置に再生表示可能な携帯情報端末装置であって、
撮影する動画像のビデオストリームの最終フレームに対応する画像データは、フレーム内符号化されることを特徴とする携帯情報端末装置。
【請求項１０】
画像データを入力する入力工程と、
フレーム内符号化する第１の符号化処理、またはフレーム間符号化する第２の符号化処理により上記入力された画像データをフレーム単位で符号化し、かつ複数のフレームで構成されるビデオストリーム中の少なくとも１つのフレームの画像データを上記第２の符号化処理により符号化するとともに、最終フレームに対応する画像データを上記第１の符号化処理により符号化する符号化工程と、
上記符号化された画像データを記憶媒体に記憶する記憶工程とをコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、携帯情報端末装置、記録媒体及びプログラムに関し、特に、撮影した動画像をＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に準拠した符号化方式で符号化して記憶する携帯情報機器に用いて好適なものである。
【０００２】
【従来の技術】
現在、携帯電話や小型ビデオカメラ等の携帯機器において動画（ビデオ）信号を符号化及び復号化する動画コーデックとしては、主に低ビットレートの動画コーデックに利用されているＭＰＥＧ４がある。ＭＰＥＧ４には、Ｉフレーム（フレーム内符号化画像）、Ｐフレーム（フレーム間順方向予測符号化画像）及びＢフレーム（双方向予測符号化画像）の３種類のビデオフレームがある。
【０００３】
Ｉフレームは、対象となる１フレームの画像データのみをエンコード（フレーム内符号化）して生成され、その１フレームの符号化データのみでデコード（復号化）することが可能である。Ｐフレームは、前フレームの画像を参照画像として生成され、デコードには前フレームの符号化データを必要とする。Ｂフレームは、前後フレームの画像を参照画像として生成され、デコードには前後フレームの符号化データを必要とする。尚、Ｐ、Ｂフレームのように他の画面の画像を参照して符号化することを一般的にフレーム間符号化という。
【０００４】
ここで、動画像データの符号化方式がＭＰＥＧ４方式であるＭＰＥＧ４動画の撮影機能を持つ、携帯機器向けの小型動画カメラは、ＩフレームとＰフレームのみを使ったエンコードが主流である。Ｉフレームは、Ｐフレームに比べてエンコード後のデータ量が大きくなるが、対象のフレーム単独の符号化データだけでデコードが可能である。また、Ｐフレームは、符号化誤差を累積しうる欠点がある。そのため、ＭＰＥＧ４ビデオストリーム中の先頭フレームやランダムアクセスが求められる位置のフレームにおける符号化では、Ｉフレームが利用されている。
【０００５】
つまり、ＭＰＥＧ４動画の撮影機能を持つデジタル動画カメラにおいては、Ｉフレームが、所定のフレーム数毎（等間隔で）、あるいはエンコードされるビデオストリームのビットレートに合わせて適当にビデオストリーム中に挿入される（例えば、特許文献１参照。）。
【０００６】
【特許文献１】
特開平１１−２７５５７６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上述のようにＩフレームとＰフレームとがビデオストリーム中に混在する場合に、ＭＰＥＧ４動画の再生において任意の１フレームの画像だけを画面表示させるには、該当フレームの種類に応じて表示されるまでの時間が異なる。すなわち、該当フレームがＩフレームであればそのフレームデータだけをデコードすれば良いが、Ｐフレームであれば前のＩフレームまで逆戻り、そのＩフレームから該当フレームまでの各フレームのデータを順にデコードする必要があった。
【０００８】
したがって、撮影した動画像の内容確認や検索等を行えるように、再生アプリケーションが、ＭＰＥＧ４動画のビデオストリームにおける最終フレームの画像を表示させたい場合、最終フレームがＰフレームであると、データのデコードに必要な計算量が多くなることがあり、画像を表示するまでに多大な時間を要してしまうという問題があった。
【０００９】
本発明は、このような問題を解決するためになされたものであり、動画像における最終フレームの画像だけを再生表示するとき、当該画像を短時間で再生表示できるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
本発明の画像処理装置は、画像データを入力する入力手段と、上記入力された画像データを、フレーム内符号化する第１の符号化処理、またはフレーム間符号化する第２の符号化処理によりフレーム単位で符号化する符号化手段と、上記符号化された画像データを記憶媒体に記憶する記憶手段とを備え、上記符号化手段は、複数のフレームで構成されるビデオストリーム中の少なくとも１つのフレームの画像データを上記第２の符号化処理により符号化するとともに、最終フレームに対応する画像データを上記第１の符号化処理により符号化することを特徴とする。
【００１１】
本発明の画像処理方法は、画像データを入力する入力ステップと、上記入力された画像データを、フレーム内符号化する第１の符号化処理、またはフレーム間符号化する第２の符号化処理によりフレーム単位で順次符号化する符号化ステップと、上記符号化された画像データを記憶媒体に記憶する記憶ステップとを有し、上記符号化ステップにて、複数のフレームで構成されるビデオストリーム中の少なくとも１つのフレームの画像データは上記第２の符号化処理により符号化し、最終フレームに対応する画像データは上記第１の符号化処理により符号化することを特徴とする。
【００１２】
本発明の携帯情報端末装置は、撮像装置及び表示装置を有し、上記撮影装置にて生成される画像データに対してフレーム内符号化とフレーム間符号化とを適応的に用いた符号化処理を適用して動画像が撮影可能であるとともに、撮影した動画像を上記表示装置に再生表示可能な携帯情報端末装置であって、撮影する動画像のビデオストリームの最終フレームに対応する画像データは、フレーム内符号化されることを特徴とする。
【００１３】
本発明のプログラムは、画像データを入力する入力工程と、フレーム内符号化する第１の符号化処理、またはフレーム間符号化する第２の符号化処理により上記入力された画像データをフレーム単位で符号化し、かつ複数のフレームで構成されるビデオストリーム中の少なくとも１つのフレームの画像データを上記第２の符号化処理により符号化するとともに、最終フレームに対応する画像データを上記第１の符号化処理により符号化する符号化工程と、上記符号化された画像データを記憶媒体に記憶する記憶工程とをコンピュータに実行させる。
本発明のコンピュータ読み取り可能な記録媒体は、上述したプログラムを記録したことを特徴とする。
【００１４】
本発明によれば、ビデオストリームにおける最終フレームに対応する画像データは、常にフレーム内符号化される。これにより、再生表示する際、最終フレームの符号化データだけをデコードして最終フレームの画像を表示できるようになる。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
なお、以下の説明において、対象となる１フレームの画像データを他のフレームの画像を参照することなく当該画像データのみで符号化する（フレーム内符号化）ことを「Ｉフレームでエンコードする」と記す。また、対象となる１フレームの画像データを前フレームの画像を参照画像として用い、その差分情報に基づいて符号化する（フレーム間順方向予測符号化）ことを「Ｐフレームでエンコードする」と記す。
【００１６】
図１は、本発明の実施形態による画像処理装置を適用した携帯情報端末装置１００の構成例を示すブロック図である。本実施形態における携帯情報端末装置１００は、動画像データの符号化方式がＭＰＥＧ４規格に準拠した符号化方式（以下、「ＭＰＥＧ４方式」とも称す。）であるＭＰＥＧ４動画の撮影が可能なデジタルカメラ機能を有する。
【００１７】
携帯情報端末装置１００は、図１に示すように、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、電源装置１０５、表示制御装置１０７、操作部１０８、外部記憶装置１０９、画像符号化装置１１０、及び撮像装置１１０を有し、これら各構成部がシステムバス１０１を介して互いに通信可能なように接続されている。また、携帯情報端末装置１００は、表示制御装置１０７に接続された表示装置１０６を有する。
【００１８】
ＲＯＭ（システムプログラムメモリ）１０３は、システムプログラムが格納されている記憶装置であり、ＲＡＭ１０４は、システムプログラム実行時に使用される一時記憶装置である。
ＣＰＵ（中央演算処理装置）１０２は、ＲＯＭ１０３からＲＡＭ１０４に読み込まれたシステムプログラムを実行することで、システムバス１０１を介して接続されている各構成部を制御する。電源装置１０５は、携帯情報端末装置１００を構成する各構成部に対して電力を供給するためのものである。
【００１９】
表示装置１０６は、例えば液晶ディスプレイ装置であり、表示制御装置１０７によって画面表示が制御される。表示制御装置１０７は、システムプログラムによる画面出力信号をシステムバス１０１を介して受け取り、当該画像出力信号に従って表示装置１０６を制御する。
【００２０】
操作部１０８は、ユーザーによる各種動作指示等を入力するためのものであり、端末本体が備えるキー入力装置、表示装置１０６における画面のディジタイザを含む。すなわち、表示装置１０６に表示されるＧＵＩ（グラフィカルユーザインターフェース）を触れることによる操作を可能とする。
【００２１】
外部記憶装置１０９は、符号化された画像データ等を記憶する記憶装置である。外部記憶装置１０９は、携帯情報端末装置１００の本体に対して記憶素子部分が着脱可能であり、着脱可能な記憶素子部分（記憶媒体）としては、例えばＳＤメモリカード、ＭＭＣカード（マルチメディアカード）、ＣＦ（コンパクトフラッシュ（Ｒ））メモリカード、ＰＣカードが挙げられる。なお、外部記憶装置１０９として、ハードディスク装置（ＨＤＤ）や光ディスク（ＣＤ、ＤＶＤ等）を記録媒体として使用する記憶装置を用いても良い。
【００２２】
撮像装置（デジタルカメラ装置）１１１は、カメラユニットのレンズ、モーター、及び撮像素子（例えばＣＣＤ）等を含み構成され、静止画や動画の撮影時にファインダー画像を生成する機能を持つ。画像符号化装置１１０は、撮像装置１１１から取り込まれたファインダー画像を、ＪＰＥＧ形式の静止画像やＭＰＥＧ４形式の動画に符号化する。ここで、ファインダー画像をＭＰＥＧ４形式の動画に符号化処理する場合には、画像符号化装置１１０は、Ｉフレーム及びＰフレームでのエンコードが可能である。
【００２３】
なお、画像符号化装置１１０は、さらに上述したＢフレームのように、前後フレームの画像を参照画像に用いて画像データを符号化する（双方向予測符号化）ようにしても良いが、以下では説明の便宜上、画像符号化装置１１０は、ＩフレームとＰフレームのみでエンコードするものとする。
【００２４】
次に、本実施形態におけるＭＰＥＧ４動画のビデオストリームについて図２を用いて説明する。図２は、ビデオストリームを示す概念図であり、ビデオストリームをフレーム単位で区切って示している。
【００２５】
図２において、２０１はビデオストリームのフレーム列である。また、図２では、斜線を施したフレームはＩフレーム２０２を表し、斜線を施していないフレームはＰフレーム２０３を表す。
【００２６】
上述したように本実施形態の携帯情報端末装置１００により撮影して得られる動画像（ＭＰＥＧ４動画）は、フレーム画像をＩフレームまたはＰフレームでエンコードする。Ｐフレームは符号化誤差を累積しうるので、撮影時には図２に示すようにビデオストリーム中の適当な位置のフレーム画像をＩフレームでエンコードする。また、ビデオストリームの開始フレーム２０４の画像はＩフレームでエンコードされる。ここで本実施形態では、最終フレーム２０５の画像を必ずＩフレームでエンコードする。
【００２７】
次に、本実施形態での撮影時の画像処理動作について説明する。
図３は、本実施形態における撮影時の画像処理動作を示すフローチャートであり、撮影して得られるＭＰＥＧ４動画のビデオストリームにおいて最終フレームの画像データをＩフレームでエンコードする処理を示している。
【００２８】
図３において、撮影開始（３０１）後のステップ３０２〜３０５は、撮影中のフレーム画像データの符号化処理ループを示している。まず、ステップ３０２にて、撮影装置１１１から入力される次のフレーム画像データをＩフレームまたはＰフレームのどちらでエンコードするかを決定する。
【００２９】
その結果、Ｉフレームに決定した場合には、ステップ３０３に進み、画像符号化装置１１０にて入力フレーム画像データをＩフレームでエンコードする。一方、Ｐフレームに決定した場合には、ステップ３０４に進み、画像符号化装置１１０にて入力フレーム画像データをＰフレームでエンコードする。
【００３０】
次に、ステップ３０５にて、ＣＰＵ１０２は、ユーザーがアプリケーションの操作によって撮影停止を指示しているか否かを調べる。撮影停止の指示がなければステップ３０２に戻り、次に入力されるフレーム画像データのエンコードを開始する。
【００３１】
一方、ステップ３０５において撮影停止の指示があれば、ステップ３０６に進む。ステップ３０６では、撮影装置１１１から供給される次の１フレーム分のフレーム画像を最終フレームとして、その画像データを画像符号化装置１１０にてＩフレームでエンコードする。
【００３２】
その後、ＣＰＵ１０２は、ステップ３０７にて撮像装置１１１からのフレーム画像データの入力を停止させる。さらに、ステップ３０８にて撮影終了処理を実行し、処理動作を終了する（３０９）。
以上のように処理を実行することで、撮影して得られるＭＰＥＧ４動画のビデオストリームにおける最終フレームはＩフレームとなる。
【００３３】
ＭＰＥＧ４動画のビデオストリームにおいて最終フレームの画像をＩフレームでエンコードする処理について、他の処理の流れを図４に基づいて説明する。図４は、本実施形態における撮影時の画像処理動作の他の例を示すフローチャートである
【００３４】
図４において、撮影開始（４０１）後のステップ４０２〜４０５は、撮影中のフレーム画像データの符号化処理ループを示している。まず、ステップ４０２にて、撮影装置１１１から入力される次のフレーム画像データを、ＩフレームまたはＰフレームのどちらでエンコードするかを決定する。
【００３５】
その結果、Ｉフレームに決定した場合には、ステップ４０３に進み、画像符号化装置１１０にて入力フレーム画像データをＩフレームでエンコードする。一方、Ｐフレームに決定した場合には、ステップ４０４に進み、画像符号化装置１１０にて入力画像データをＰフレームでエンコードする。
【００３６】
次に、ステップ４０５にて、ＣＰＵ１０２は、ユーザーがアプリケーションの操作によって撮影停止を指示しているか否かを調べる。撮影停止の指示がなければステップ４０２に戻り、次に入力されるフレーム画像データのエンコードを開始する。一方、ステップ４０５において撮影停止の指示があれば、ステップ４０６に進み、ＣＰＵ１０２は、ステップ４０５までの処理で最後にエンコードしたフレームが、Ｉフレームであるか否かを調べる。
【００３７】
その結果、最後にエンコードしたフレームがＩフレームならばステップ４０８に進む。一方、最後にエンコードしたフレームがＰフレームならば、ステップ４０７にて最後にエンコードしたフレームデータを捨て、再度、最後に入力されたフレーム画像データ（ステップ４０５までの処理において最後にエンコードされたフレーム画像データ）をＩフレームでエンコードする。
【００３８】
その後、ＣＰＵ１０２は、ステップ４０８にて撮像装置１１１からのフレーム画像データの入力を停止させる。さらに、ステップ４０９にて撮影終了処理を実行し、処理動作を終了する（４１０）。
以上、図４に示したように処理を実行しても、撮影して得られるＭＰＥＧ４動画のビデオストリームにおける最終フレームはＩフレームとなる。
【００３９】
次に、ＭＰＥＧ４動画における最終フレームがＩフレームであることを利用した再生アプリケーションの一例を、図５を用いて説明する。図５は、携帯情報端末装置１００で実行可能な動画再生アプリケーションの表示画面の一例を示す図である。
【００４０】
図５において、５０１は動画再生アプリケーションのＧＵＩ画面（表示画面、表示ウィンドウ）を表す。５０２は再生する動画が表示される画像表示領域である。５０３は動画再生アプリケーションにおけるメニュータイプのＧＵＩ、５０４は再生動作を操作し制御するためのボタンタイプのＧＵＩである。５０５は動画の再生位置の表示や、ユーザーが再生位置を移動させるために使用するインターフェース（シークバー）である。５０６は再生経過時間を表示する時間表示領域であり、５０７は現在開いている（再生している）動画ファイルについての情報を表示する情報表示領域である。
【００４１】
このアプリケーションでは、ユーザーは撮影した動画を実際に再生させなくとも、シークバー５０５を用いて任意のフレーム位置を指定し、その位置に対応するフレーム画像を画像表示領域５０２に表示させることで動画の内容を確認することが可能である。
【００４２】
ここで、図５に示すように、表示すべきフレーム位置としてシークバー５０５により最後を指示された場合には、動画のビデオストリームにおける最終フレームの画像を画像表示領域５０２にて表示する。このとき、本実施形態では撮影時にビデオストリームにおける最終フレームをＩフレームとしてエンコードしているので、最終フレームの符号化データだけをデコードすることで最終フレームの画像を表示することができる。したがって、最終フレームの画像を表示するためのデコードに要する計算量及び時間の増加を抑制でき、短時間で最終フレームの画像を表示することができる。
【００４３】
なお、上述した説明では、ビデオストリームにおける最終フレームの画像データに撮影装置１１１から入力されるフレーム画像データを使用しているが、ユーザーが予め設定した最終フレームの画像データを使用することも可能である。すなわち、ユーザーが操作部１０８等を用いて行う携帯情報端末装置１００の設定によって、最終フレームに使用する画像データを予め用意しておき、当該画像データを撮影終了時にＩフレームでエンコードして撮影動画の最終フレームとして使用することも可能である。
【００４４】
最終フレームに使用する画像データは、撮影動画の表示サイズ（表示時の画像の大きさ）に合うように設定する。ユーザーが最終フレームで使用するために用意する画像データは、任意の画像ファイル形式の画像データが使用できる。例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）形式、ＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）形式などの画像データが使用できる。この画像データは、一度デコードされた後、ＭＰＥＧ４動画のビデオフレームにエンコード可能なＹＣｂＣｒ４：２：０形式（輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒの標本化周波数の比が４：２：０）のデータに変換されて、最終フレームに使用する画像データとして設定される。
【００４５】
次に、本実施形態における撮影時の画像処理動作の他の例について説明する。
以下に説明する処理動作は、ユーザーにより最終フレームに使用する画像データが設定されている場合には、設定された当該画像データを撮影動画の最終フレームとして使用し、設定されていない場合には、撮影装置１１１から入力されるフレーム画像データを最終フレームに使用するものである。
【００４６】
図６は、本実施形態における撮影時の画像処理動作の他の例を示すフローチャートである。
図６において、撮影開始（６０１）後のステップ６０２〜６０５は、撮影中のフレーム画像データの符号化処理ループを示しており、上記図３に示したステップ３０２〜３０５と同じ処理であるので説明は省略する。
【００４７】
ステップ６０５において撮影停止の指示があれば、ステップ６０６に進む。ステップ６０６では、ＣＰＵ１０２は、ユーザーが最終フレームに使用する画像データを予め設定しているか否かを判別する。上記判別の結果、ユーザーにより最終フレームに使用する画像データが設定されていれば、ステップ６０７に進む。ステップ６０７ではユーザーにより設定された最終フレームの画像データを画像符号化装置１１０にてＩフレームでエンコードし、ステップ６０９に進む。
【００４８】
一方、ステップ６０６での判別の結果、最終フレームに使用する画像データが設定されていないならば、ステップ６０８に進む。ステップ６０８では、撮像装置１１１から入力される１フレーム分のフレーム画像データを、最終フレーム画像データとして画像符号化装置１１０にてＩフレームでエンコードし、ステップ６０９に進む。
【００４９】
ステップ６０９ではＣＰＵ１０２は、撮像装置１１１からのフレーム画像データの入力を停止させる。その後、ステップ６１０にて撮影終了処理を行い、処理動作を終了する（６１１）。
【００５０】
以上のように処理を実行することで、撮影して得られるＭＰＥＧ４動画のビデオストリームにおける最終フレームはＩフレームとなる。さらに、ユーザーにより最終フレームに使用する画像データが設定されているか否かに応じて、ユーザーにより設定された画像データまたは撮像装置１１１から入力される画像データをＣＰＵ１０２等により選択し、撮影動画のビデオストリームにおける最終フレームとして使用することができる。
【００５１】
なお、上述した説明では、ユーザーにより最終フレームの画像データが設定されていない場合には、撮像装置１１１から入力される次のフレーム画像データを最終フレームの画像データとしてＩフレームにエンコードしているが、上記図４に示したように、撮影停止を指示されたとき、それまでの処理で最後にエンコードしたフレームがＩフレームであるか否かを判別するようにしても良い。
【００５２】
この場合には、最後にエンコードしたフレームがＩフレームならば、そのまま最後にエンコードしたフレームをビデオストリームの最終フレームとする。一方、最後にエンコードしたフレームがＰフレームならば、当該Ｐフレームのデータを捨て、最後に入力されたフレーム画像データをＩフレームでエンコードし直して、ビデオストリームの最終フレームとするようにしても良い。
【００５３】
また、ユーザーが設定する最終フレームの画像に撮影日時や撮影者名などの任意の文字情報を表示可能なように埋め込めるようにしても良い。
図７は、ユーザーがビデオストリームにおける最終フレームの画像データを設定するためのアプリケーション画面の一例を示す図である。
【００５４】
図７において、７０１は最終フレームの画像を設定するアプリケーションの表示画面である。７０２はアプリケーションのメニュータイプのＧＵＩであり、７０３は、ユーザーにより設定される最終フレームの画像を使用するか否かを設定するためのチェックボックスタイプのＧＵＩである。７０４は設定する最終フレームの画像サイズを決定するためのラジオボタンタイプのＧＵＩである。
【００５５】
７０５は設定中の最終フレーム画像を簡易表示（簡易プレビュー）する画像表示領域である。７０６は最終フレームの画像に埋め込んで表示させる文字情報を選択するチェックボックスとテキストボックスタイプのＧＵＩである。７０７はボタンタイプのＧＵＩであり、このボタン７０７を押下すると表示画像が切り替わり、最終フレームの画像をプレビュー表示することができる。
【００５６】
図７に示した例では、最終フレームの画像に撮影者名と撮影日時を埋め込むようにＧＵＩ７０６により設定しており、この設定が反映され、撮影者名と撮影日時を埋め込んだ画像が画像表示領域７０５にて簡易表示されている。また、例えば撮影日時と再生時間の文字情報を画像に埋め込むようにＧＵＩ７０６で設定すると、実際に撮影日時や再生にかかる時間が動的に最終フレームの画像に埋め込まれる。
【００５７】
なお、ＧＵＩ（チェックボックス）７０３をオフ（チェックなし）にすると、ユーザーによる最終フレームの画像の設定はすべて無効になる。このＧＵＩ（チェックボックス）７０３の設定によるオンまたはオフの指示が、上記図６に示したステップ６０６での判定で使用され、ユーザーにより最終フレームの画像データが設定されているか否かが判別される。以上のようにして、ユーザーは最終フレームの画像を任意に設定することが可能である。
【００５８】
なお、上述した実施形態では、撮影して得られる動画像データの符号化方式がＭＰＥＧ４方式である場合を一例として説明したが、本発明はＭＰＥＧ４に限らず、動画像データの符号化方式がＭＰＥＧ１、ＭＰＥＧ２規格に準拠した符号化方式である場合にも適用可能である。また、ＭＰＥＧ方式で動画像データを符号化する場合に限らず、他の符号化方式、具体的には、動画像のビデオストリーム中に、他の画像を参照せずに当該画像の画像データのみで符号化した符号化データと、他の画像を参照してその差分情報に基づいて符号化した符号化データとが混在する符号化方式に対して適用することができる。
【００５９】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００６０】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。また、そのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６１】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００６２】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００６３】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００６４】
【発明の効果】
以上、説明したように本発明によれば、ビデオストリームにおける最後のフレームに対応する画像データを、フレーム内符号化する。これにより、再生アプリケーションによりビデオストリームの最終フレームの画像だけを表示する際、データのデコードに必要な計算量の増加を抑制することができ、表示までにかかる時間を短縮し短時間で当該画像を表示することができる。したがって、ユーザー操作に対する早い表示レスポンスが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置を適用した携帯情報端末装置の構成例を示すブロック図である。
【図２】ビデオストリームを示す概念図である。
【図３】本実施形態における撮影時の画像処理動作を示すフローチャートである。
【図４】本実施形態における撮影時の画像処理動作の他の例を示すフローチャートである。
【図５】携帯情報端末装置で実行可能な動画再生アプリケーションの表示画面の一例を示す図である。
【図６】本実施形態における撮影時の画像処理動作の他の例を示すフローチャートである。
【図７】最終フレームの画像データを設定するためのアプリケーション画面の一例を示す図である。
【符号の説明】
１０１  システムバス
１０２  ＣＰＵ
１０３  ＲＯＭ
１０４  ＲＡＭ
１０５  電源装置
１０６  表示装置
１０７  表示制御装置
１０８  操作部
１０９  外部記憶装置
１１０  画像符号化装置
１１１  撮像装置
【図１】
2005020203.tif 000003
【図２】
2005020203.tif 000004
【図３】
2005020203.tif 000005
【図４】
2005020203.tif 000006
【図５】
2005020203.tif 000007
【図６】
2005020203.tif 000008
【図７】
2005020203.tif 000009