(57)【要約】【課題】  テレビ電話の通信時に動画処理に特化したＬＳＩを用いることなく、テレビ電話中の画像を録画可能なテレビ電話装置を提供する。【解決手段】  主制御部１はテレビ電話通信中に、テレビ電話画像の記録処理を開始すると、テレビ電話画像の記録処理を開始することを動画処理部３に伝え、動画処理部３によってその直後の動画デコード画像と、その時に使用している動画制御パラメータとを収集する。主制御部１は動画処理部３から収集した動画デコード画像を先頭画像記憶部４１に、その時の動画制御パラメータを動画制御情報記憶部４２にそれぞれ記憶する。主制御部１は相手局からの動画ビットストリームデータを通信制御部２を通して受信すると、その受信した動画ビットストリームデータをデコードせずに動画ビットストリーム記憶部４３に記録する。【選択図】      図１                                                  
2006013644.tif 000002
【特許請求の範囲】
【請求項１】
テレビ電話による通話中の任意の時点で通話相手先からの動画像を録画する機能を備えたテレビ電話装置であって、
前記動画像の録画開始後に前記通話相手先からの画像情報を一番最初にデコードして取得した画像データを記録する第１の記憶手段と、前記動画像の録画開始時の画像動作パラメータを記録する第２の記憶手段と、前記第１の記憶手段に記録した画像データに続く画像データを取得してそのまま動画ビットストリームデータとして記録する第３の記憶手段と、前記動画像の再生時に前記第１の記憶手段に記憶された画像データから得られる画像を先頭画像として使用しかつ前記第２の記憶手段に記憶された画像動作パラメータを用いて前記第３の記憶手段に記憶された動画ビットストリームデータから順次画像を再生する再生手段とを有することを特徴とするテレビ電話装置。
【請求項２】
前記第１の記憶手段は、前記動画像の録画開始後に一番最初にデコードすることができた画像データを記憶することを特徴とする請求項１記載のテレビ電話装置。
【請求項３】
前記第２の記憶手段は、前記テレビ電話中に画像再生に使用しているパラメータを少なくとも記憶することを特徴とする請求項１または請求項２記載のテレビ電話装置。
【請求項４】
前記動画像の録画開始後に表示している画像データを保存する第１の保存手段と、前記動画像の録画開始からデコード完了するまでの時間を保存する第２の保存手段とを含み、
前記第１の保存手段に保存した画像データを表示し、前記第２の保存手段に保存した時間が経過した後、前記再生手段による前記動画像の再生処理を行うことを特徴とする請求項１から請求項３のいずれか記載のテレビ電話装置。
【請求項５】
テレビ電話による通話中の任意の時点で通話相手先からの動画像を録画する機能を備えたテレビ電話装置に用いる画像録画方法であって、前記テレビ電話装置側に、前記動画像の録画開始後に前記通話相手先からの画像情報を一番最初にデコードして取得した画像データを第１の記憶手段に記録するステップと、前記動画像の録画開始時の画像動作パラメータを第２の記憶手段に記録するステップと、前記第１の記憶手段に記録した画像データに続く画像データを取得してそのまま動画ビットストリームデータとして第３の記憶手段に記録するステップと、前記動画像の再生時に前記第１の記憶手段に記憶された画像データから得られる画像を先頭画像として使用しかつ前記第２の記憶手段に記憶された画像動作パラメータを用いて前記第３の記憶手段に記憶された動画ビットストリームデータから順次画像を再生するステップとを有することを特徴とする画像録画方法。
【請求項６】
前記動画像の録画開始後に一番最初にデコードすることができた画像データを前記第１の記憶手段に記憶することを特徴とする請求項５記載の画像録画方法。
【請求項７】
前記テレビ電話中に画像再生に使用しているパラメータを前記第２の記憶手段に少なくとも記憶することを特徴とする請求項５または請求項６記載の画像録画方法。
【請求項８】
前記動画像の録画開始後に表示している画像データを第１の保存手段に保存し、前記動画像の録画開始からデコード完了するまでの時間を第２の保存手段に保存するとともに、前記第１の保存手段に保存した画像データを表示し、前記第２の保存手段に保存した時間が経過した後、前記再生手段による前記動画像の再生処理を行うことを特徴とする請求項５から請求項７のいずれか記載の画像録画方法。
【請求項９】
テレビ電話による通話中の任意の時点で通話相手先からの動画像を録画する機能を備えたテレビ電話装置に用いる画像録画方法のプログラムであって、コンピュータに、前記動画像の録画開始後に前記通話相手先からの画像情報を一番最初にデコードして取得した画像データを第１の記憶手段に記録する処理と、前記動画像の録画開始時の画像動作パラメータを第２の記憶手段に記録する処理と、前記第１の記憶手段に記録した画像データに続く画像データを取得してそのまま動画ビットストリームデータとして第３の記憶手段に記録する処理と、前記動画像の再生時に前記第１の記憶手段に記憶された画像データから得られる画像を先頭画像として使用しかつ前記第２の記憶手段に記憶された画像動作パラメータを用いて前記第３の記憶手段に記憶された動画ビットストリームデータから順次画像を再生する処理とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はテレビ電話装置及びそれに用いる画像録画方法並びにそのプログラムに関し、特にテレビ電話装置における画像の録画方法に関する。
【背景技術】
【０００２】
近年、携帯電話端末においては、内部機能の高性能化やデータ転送速度の向上に伴って、テレビ電話が実現されるようになってきており、今後よりいっそうの普及が見込まれる。
【０００３】
このテレビ電話装置の留守番電話機能や通話メモ機能等では、音声だけが録音され、画像が録画されない場合がある。また、テレビ電話装置の留守番電話機能や通話メモ機能等においては、音声だけが録音され、画像が録画されない装置の場合、テレビ電話における動画のエンコード／デコードをソフトウェアによるエンコーダ／デコーダを使用して行っているが、エンコーダ／デコーダをそれぞれ１つずつしか持っていない。
【０００４】
上記のテレビ電話装置では、ソフトウェアによるエンコーダ／デコーダの処理量が大きく、２つ以上のエンコーダ／デコーダを搭載するのが困難である。
【０００５】
テレビ電話装置の留守番電話機能や通話メモ機能では、音声だけでなく画像も含めて録画できるものも存在するが、これらは動画処理に特化したＬＳＩ（大規模集積回路）を搭載した装置である。
【０００６】
この動画処理に特化したＬＳＩはエンコーダ／デコーダをそれぞれ２つずつ持っており、テレビ電話通信用の画像のエンコード／デコードを行いながら、記録用画像のエンコードや再生用画像のデコードが可能である。
【０００７】
動画データはフレーム間の依存関係がないＩフレームと、フレーム間の依存関係があるＰフレームとで構成されており、フレーム間の依存関係がないＩフレームから始まる必要がある。
【０００８】
テレビ電話時には通信開始時のみＩフレームが生成され、その後の動画ストリームデータはフレーム間の依存関係があるＰフレームからなる。この場合、テレビ電話の最中にＩフレームを受信することは期待できないため、テレビ電話の最中に記録を開始した場合、その動画ストリームデータを記録しただけでは正しく再生することができない。
【０００９】
動画のデコードに必要なパラメータ情報についても、Ｉフレームと同様、通信開始時のみ情報が存在するものがあるため、テレビ電話中にその動画ストリームデータを記録しただけでは再生することができない。
【００１０】
そこで、動画データの保存方法としては、動画データの操作直後に、相手の電話機に対してＩフレームの送信を要求し、受信したＩフレームから保存する方法が提案されている（例えば、特許文献１〜３参照）。
【００１１】
また、他の動画データの保存方法としては、データ保持手段に一時保持されている再生フレームデータを記録指示が入力された時点に対応するものから順に記録媒体に記録する方法も提案されている（例えば、特許文献４参照）。この方法の場合には、全てデコードした後にそれらのデータを保存しており、デコードされたデータを圧縮せずに記憶するものと、デコードされたデータを再エンコードして記憶するものとがある。
【００１２】
【特許文献１】特開平０５−０９５５４７号公報
【特許文献２】特開平０７−２４５７４７号公報
【特許文献３】特開平１０−２８５５４６号公報
【特許文献４】特開２００１−２５１５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上述した従来のテレビ電話装置における画像の録画方法では、エンコーダ及びデコーダが１つずつしかないテレビ電話装置において、画像の録画も可能な通信内容記録機能を実現することが困難である。
【００１４】
また、上記の画像の録画方法では、動画再生時に必要なＩフレームの情報や動作パラメータ情報が、テレビ電話の通信開始時にしか存在しないため、テレビ電話中の動画ストリームデータを記録しただけでは、そのデータを再生することができない。
【００１５】
そこで、本発明の目的は上記の問題点を解消し、テレビ電話の通信時に動画処理に特化したＬＳＩを用いることなく、テレビ電話中の画像を録画することができるテレビ電話装置及びそれに用いる画像録画方法並びにそのプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明によるテレビ電話装置は、テレビ電話による通話中の任意の時点で通話相手先からの動画像を録画する機能を備えたテレビ電話装置であって、
前記動画像の録画開始後に前記通話相手先からの画像情報を一番最初にデコードして取得した画像データを記録する第１の記憶手段と、前記動画像の録画開始時の画像動作パラメータを記録する第２の記憶手段と、前記第１の記憶手段に記録した画像データに続く画像データを取得してそのまま動画ビットストリームデータとして記録する第３の記憶手段と、前記動画像の再生時に前記第１の記憶手段に記憶された画像データから得られる画像を先頭画像として使用しかつ前記第２の記憶手段に記憶された画像動作パラメータを用いて前記第３の記憶手段に記憶された動画ビットストリームデータから順次画像を再生する再生手段とを備えている。
【００１７】
本発明による画像録画方法は、テレビ電話による通話中の任意の時点で通話相手先からの動画像を録画する機能を備えたテレビ電話装置に用いる画像録画方法であって、前記テレビ電話装置側に、前記動画像の録画開始後に前記通話相手先からの画像情報を一番最初にデコードして取得した画像データを第１の記憶手段に記録するステップと、前記動画像の録画開始時の画像動作パラメータを第２の記憶手段に記録するステップと、前記第１の記憶手段に記録した画像データに続く画像データを取得してそのまま動画ビットストリームデータとして第３の記憶手段に記録するステップと、前記動画像の再生時に前記第１の記憶手段に記憶された画像データから得られる画像を先頭画像として使用しかつ前記第２の記憶手段に記憶された画像動作パラメータを用いて前記第３の記憶手段に記憶された動画ビットストリームデータから順次画像を再生するステップとを備えている。
【００１８】
本発明による画像録画方法のプログラムは、テレビ電話による通話中の任意の時点で通話相手先からの動画像を録画する機能を備えたテレビ電話装置に用いる画像録画方法のプログラムであって、コンピュータに、前記動画像の録画開始後に前記通話相手先からの画像情報を一番最初にデコードして取得した画像データを第１の記憶手段に記録する処理と、前記動画像の録画開始時の画像動作パラメータを第２の記憶手段に記録する処理と、前記第１の記憶手段に記録した画像データに続く画像データを取得してそのまま動画ビットストリームデータとして第３の記憶手段に記録する処理と、前記動画像の再生時に前記第１の記憶手段に記憶された画像データから得られる画像を先頭画像として使用しかつ前記第２の記憶手段に記憶された画像動作パラメータを用いて前記第３の記憶手段に記憶された動画ビットストリームデータから順次画像を再生する処理とを実行させている。
【００１９】
すなわち、本発明のテレビ電話装置は、テレビ電話中の相手局の画像データを簡易な構成で録画可能とし、テレビ電話中に録画開始を可能とすることを特徴とする。
【００２０】
つまり、本発明のテレビ電話装置では、テレビ電話による通話中の任意の時点で通話相手先からの動画像を録画する機能を備えたテレビ電話画像情報録画方法において、前記録画開始後、前記通話の一番最初に相手先からの画像情報をデコードして取得した画像データを記録する第１の記憶手段と、録画開始時の画像動作パラメータを記録する第２の記憶手段と、通話相手先からの録画開始後の一番最初にデコードして取得した画像情報フレームに続く画像情報を取得してそのまま動画ビットストリームデータとして記録する第３の記憶手段とを備え、録画された通話相手先からの画像情報から画像を再生する時、第１の記憶手段に記憶された画像データから得られる画像を先頭画像として使用し、第２の記憶手段に記憶された画像動作パラメータを用いて、第３の記憶手段に記憶された動画ビットストリームデータから順次画像を再生している。
【００２１】
本発明のテレビ電話装置では、第１の記憶手段に、録画開始後（テレビ電話中の任意の時点）、一番最初にデコードした画像を記憶し、第２の記憶手段に、ＴＶ電話中、画像再生に使用しているパラメータ等を記憶し、第３の記憶手段に、録画開始後、一番最初にデコードした画像に続く画像データを記憶している。この場合、第３の記憶手段に記憶するデータは受信したデータをそのまま保存するものであり、受信したデータをデコードしたデータではない。
【００２２】
より具体的に説明すると、本発明のテレビ電話装置では、テレビ電話画像記録開始後、最初にデコードに成功した画像を記録する先頭画像記憶手段と、テレビ電話画像記録開始時の動作パラメータを記録する動画制御情報記憶手段と、テレビ電話画像記録中、相手端末から受信した動画ビットストリームデータを保存する動画ビットストリーム記憶手段とを有している。
【００２３】
これらの記憶手段は、テレビ電話画像記録によって記録されたデータを再生する際に、（１）先頭画像記憶手段に記憶されたデータを先頭画像として使用し、（２）動画制御情報記憶手段に記憶されたデータをデコード時の動作パラメータとして使用し、（３）動画ビットストリーム記憶手段に記憶された動画ビットストリームデータを、先頭画像記憶手段に記憶されたデータを参照画像として使用して再生することに用いられる。
【００２４】
これによって、本発明のテレビ電話装置では、テレビ電話時、動画処理に特化したＬＳＩ（大規模集積回路）を用いることなく、ソフトウェア処理にそれほど負荷がかからない方法で、テレビ電話中の画像を録画することが可能となり、テレビ電話中、いつでもテレビ電話画像の録画開始及び終了を行うことが可能となる。
【発明の効果】
【００２５】
本発明は、以下に述べるような構成及び動作とすることで、テレビ電話の通信時に動画処理に特化したＬＳＩを用いることなく、テレビ電話中の画像を録画することができるという効果が得られる。
【発明を実施するための最良の形態】
【００２６】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の一実施例によるテレビ電話装置の構成を示すブロック図である。図１において、本発明の一実施例によるテレビ電話装置は装置全体の制御を行う主制御部１と、通信に関する制御を行う通信制御部２と、テレビ電話時、動画撮影時、動画再生時等に動画処理を行う動画処理部３と、テレビ電話画像情報記憶部４と、テレビ電話時相手局の動画データを表示したり、自局のカメラ画像や、動画再生画像を表示する表示部５と、テレビ電話時、自局側の動画データを撮影するためのカメラ６と、使用者が操作を行うための操作部７と、主制御部１が実行するプログラム（コンピュータで実行可能なプログラム）を格納する記録媒体８とから構成されている。
【００２７】
動画処理部３はカメラ６から入力された画像等のエンコードを行う動画エンコード部３１と、テレビ電話時の相手画像の情報や、動画ファイルに含まれる動画情報をデコードする動画デコード部３２とをそれぞれ１つずつ備えている。
【００２８】
テレビ電話画像情報記憶部４はテレビ電話画像の記録開始後、最初にデコードに成功した画像を記録する先頭画像記録部４１と、テレビ電話画像の記録開始時に動作パラメータを記憶する動画制御情報記憶部４２と、テレビ電話画像の記録開始時に相手局から受信した動画ビットストリームデータを記録する動画ビットストリーム記憶部４３とからなる。
【００２９】
動画ビットストリーム記憶部４３に記憶される動画ビットストリームデータは、テレビ電話動画データのＰフレーム情報である。Ｐフレームはフレーム間の依存関係を含む情報であり、それだけでは動画データとはなりえない。そのため、動画ビットストリームデータを再生する直前に、テレビ電話動画データでいうところのＩフレームに相当するデータ（それ自体で画像データを再生することができるデータ）が必要となる。そのＩフレームに相当するデータとして、先頭画像記憶部４１に記憶した画像データを用いる。この先頭画像を参照して、動画ビットストリームデータの再生を行う。
【００３０】
ここで、主制御部１は図示せぬＣＰＵ（中央処理装置）及びＲＡＭ（ランダムアクセスメモリ）を含む場合、ＣＰＵが記録媒体８のプログラムをＲＡＭに移して実行することで、装置全体の制御や各種の処理動作を実行することができる。
【００３１】
図２〜図４は本発明の一実施例によるテレビ電話装置の動作を示すフローチャートである。これら図１〜図４を参照して本発明の一実施例によるテレビ電話装置の動作について説明する。図２〜図４に示す動作は主制御部１が記録媒体８のプログラムを実行することで実現される。
【００３２】
まず、本発明の一実施例によるテレビ電話装置におけるテレビ電話動作の概要について説明する。
【００３３】
主制御部１はテレビ電話通信が開始されると、カメラ６から入力された画像データが動画エンコード部３１によってエンコードした後（図２ステップＳ１，Ｓ２）、通信制御部２によって相手局（図示せず）に送信する（図２ステップＳ３）。
【００３４】
また、主制御部１は相手局からの動画データを受信すると（図２ステップＳ１，Ｓ４）、その動画データを動画デコード部３２によってデコードし（図２ステップＳ５）、表示部５に表示する（図２ステップＳ６）。主制御部１はテレビ電話通信が終了するまで、上記の各処理を繰り返し行う（図２ステップＳ１〜Ｓ７）。
【００３５】
次に、本発明の一実施例によるテレビ電話装置におけるテレビ電話画像の記録動作について説明する。
【００３６】
主制御部１はテレビ電話通信中に、テレビ電話画像の記録処理を開始すると、テレビ電話画像の記録処理を開始することを動画処理部３に伝える（図３ステップＳ１１）。このテレビ電話画像の記録処理は使用者の操作によって開始されたり、使用者の設定によって主制御部１が自動的に開始したりする場合がある。
【００３７】
主制御部１はテレビ電話画像の記録処理の開始を通知することで、動画処理部３によってその直後の動画デコード画像と、その時に使用している動画制御パラメータとを収集する（図３ステップＳ１２）。
【００３８】
主制御部１は動画処理部３から収集した動画デコード画像を先頭画像記憶部４１に、その時の動画制御パラメータを動画制御情報記憶部４２にそれぞれ記憶する（図３ステップＳ１３）。
【００３９】
主制御部１は相手局からの動画ビットストリームデータを通信制御部２を通して受信すると、その受信した動画ビットストリームデータをデコードせずに動画ビットストリーム記憶部４３に記録する（図３ステップＳ１４）。
【００４０】
主制御部１はテレビ電話画像の記録処理が終了すると、動画ビットストリームデータの記録を終了する。テレビ電話画像の記録処理は使用者の操作によって終了されたり、使用者の設定によって主制御部１が自動的に終了したりする場合がある。
【００４１】
続いて、本発明の一実施例によるテレビ電話装置におけるテレビ電話画像の再生動作について説明する。
【００４２】
主制御部１はテレビ電話画像の再生操作が開始されると、テレビ電話画像の再生処理を開始することを動画処理部３に伝え（図４ステップＳ２１）、先頭画像記憶部４１に記憶された画像データと、動画制御情報記憶部４２に記憶された動作パラメータとを動画処理部３に送出する（図４ステップＳ２２）。
【００４３】
主制御部１は動画処理部３に送出した動作パラメータを動画デコード部３２の動作用パラメータとして設定するよう制御し（図４ステップＳ２３）、動画処理部３からの先頭画像データのデコード画像を受信すると（図４ステップＳ２４）、その先頭画像データのデコード画像を表示部５に表示する（図４ステップＳ２５）。
【００４４】
主制御部１は動画ビットストリーム記憶部４３に記録した動画ビットストリームデータを動画処理部３に送出し（図４ステップＳ２６）、動画処理部３にて直前のデコード画像を参照画像として、動画ビットストリームデータのデコード処理が行われ（図４ステップＳ２７）、その動画処理部３からのデコード画像を受信すると（図４ステップＳ２８）、受信したデコード画像を表示部５に表示する（図４ステップＳ２９）。主制御部１はテレビ電話画像の再生処理を継続する場合（図４ステップＳ３０）、上記のステップＳ２６からの処理を繰り返し行う。
【００４５】
このように、本実施例では、テレビ電話時、動画処理に特化したＬＳＩを搭載することなく、ソフトウェア処理にそれほど負荷がかからない方法で、テレビ電話中の画像を録画することができる。また、本実施例では、テレビ電話中、いつでもテレビ電話画像の録画の開始及び終了を行うことができる。
【００４６】
図５は本発明の一実施例によるテレビ電話画像の記録動作を示す図であり、図６は本発明の他の実施例によるテレビ電話画像の記録動作を示す図である。これら図５及び図６を参照して本発明の他の実施例について説明する。
【００４７】
本発明の他の実施例では、上述した本発明の一実施例に加え、（Ａ）テレビ電話画像の記録処理を開始した時点で表示している画像データ、（Ｂ）テレビ電話画像の記録処理が開始してから、その直後にデコード完了するまでの時間をそれぞれ保存する点が本発明の一実施例と異なっている。図５及び図６においては、斜線部分が保存するデータを示しており、これらのデータ以外に、録画開始時点でのパラメータ情報等も保存される。
【００４８】
本実施例では、まず上記の（Ａ）にて記録した画像を表示し、上記の（Ｂ）にて記録した時間が経過した後、上述した本発明の一の実施例によるテレビ電話画像の再生動作（ステップＳ２以降の処理）を行う。尚、本実施例では、図６において、デコードデータ「Ｆｒａｍｅ０」を表示している時点で録画を開始した場合、デコードデータ「Ｆｒａｍｅ０」と録画開始からデコードデータ「Ｆｒａｍｅ１」を表示するまでの時間「ｉｎｉｔｉａｌ  ｔｉｍｅ  Ｔｉ」とが記録される。
【００４９】
上述した本発明の一実施例では、録画を開始してから実際に録画が開始されるまでにタイムラグが生じるが、本発明の他の実施例では、録画開始直後の画像データから保存が可能である。
【００５０】
上記のように、従来、テレビ電話画像の記録動作においては、デコード化したデータをそのまま保存するためデータ量が多いが、本発明によるテレビ電話画像の記録動作では、エンコードされたまま保存するためデータ量が少なくて済む。
【００５１】
また、従来、「再エンコード」を行うためエンコーダ（符号器）が２つ必要となるが、本発明ではエンコーダが１つしか必要ではない。つまり、「再エンコード」するためには、従来、エンコーダ＃１によるＴＶ電話送信用のエンコード、デコーダ＃１によるＴＶ電話受信データのデコード、エンコーダ＃２によるデコーダ＃１でデコードしたデータの再エンコードという動作を同時に行う必要がある。
【００５２】
さらに、従来、全てのデコードデータを一旦記憶し、そのデータを再エンコードするため、一次的に大きな記憶領域を確保する必要があるが、本発明では、大きな記憶領域は必要ない。
【産業上の利用可能性】
【００５３】
本発明の各実施例ではテレビ電話装置について述べているが、テレビ電話機能を搭載した有線電話装置や無線電話装置、及びパーソナルコンピュータ用のソフトウェアにも適用可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の一実施例によるテレビ電話装置の構成を示すブロック図である。
【図２】本発明の一実施例によるテレビ電話装置の動作を示すフローチャートである。
【図３】本発明の一実施例によるテレビ電話装置の動作を示すフローチャートである。
【図４】本発明の一実施例によるテレビ電話装置の動作を示すフローチャートである。
【図５】本発明の一実施例によるテレビ電話画像の記録動作を示す図である。
【図６】本発明の他の実施例によるテレビ電話画像の記録動作を示す図である。
【符号の説明】
【００５５】
１  主制御部
２  通信制御部
３  動画処理部
４  テレビ電話画像情報記憶部
５  表示部
６  カメラ
７  操作部７
８  記録媒体
３１  動画エンコード部
３２  動画デコード部
４１  先頭画像記録部
４２  動画制御情報記憶部
４３  動画ビットストリーム記憶部
【図１】
2006013644.tif 000003
【図２】
2006013644.tif 000004
【図３】
2006013644.tif 000005
【図４】
2006013644.tif 000006
【図５】
2006013644.tif 000007
【図６】
2006013644.tif 000008