(57)【要約】【課題】録画開始に際し、イントラリフレッシュ要求信号に基づいて受信したイントラフレームデータに誤りがあっても、録画動画像の画質低下を防止する。【解決手段】通信手段である無線部１２で受信したフレームデータを分離多重化部１１で分離多重し、録画ファイル１４に録画する際に、録画制御部６の制御により端末間制御信号処理部７から送信したイントラリフレッシュ要求信号に対応して通信相手端末から受信されたイントラフレームデータの処理に当たり、無線誤り検出部１７ｃ、分離多重誤り検出部１７ｂ、動画デコード誤り検出部１７ａで検出された合計の誤り率と、動画デコーダ部９にてデコードされて出力フレームメモリ５から再生中の再生フレームデータに関し、再生情報誤り検出部１６で検出された誤り率とをエラー率検出／比較部１８で比較して、誤り率の低い方のフレームデータ側に録画操作部１３のスイッチを切り替えて録画ファイル１４に録画する。【選択図】        図１
2004187075.tif 000002
【特許請求の範囲】
【請求項１】
通信相手端末との間で動画像情報に関する通信を行なう通信手段と、該通信手段において送受信する該動画像情報に関するフレームデータを分離多重する分離多重手段と、前記分離多重手段にて分離された動画像情報に関するフレームデータをデコードする動画像デコード手段と、前記分離多重化手段にて分離された動画像情報に関するフレームデータ、あるいは、前記動画像デコード手段においてデコードされて現在再生中の状態にある動画像情報に関する再生フレームデータのいずれかを録画する録画手段とを具備した動画像通信装置において、前記通信相手端末から受信される前記動画像情報に関するフレームデータを前記録画手段に録画開始させる場合に、前記通信相手端末に対して、当該動画像情報に関するイントラフレームデータの送信を要求するイントラリフレッシュ要求信号を送信するリフレッシュ要求手段と、該イントラリフレッシュ要求信号に対応して、当該動画像情報に関する前記イントラフレームデータが送信されてきた際に、前記通信手段と前記分離多重手段と前記動画像デコード手段とのそれぞれにおいて送信されてきた前記イントラフレームデータに対する処理時に発生する合計の誤り率を取得する誤り率取得手段と、前記動画像デコード手段においてデコードされて現在再生中の状態にある当該動画像情報に関する再生フレームデータの誤り率を検出する再生情報誤り率検出手段と、前記誤り率取得手段と前記再生情報誤り率検出手段とから得られる２つの誤り率を比較する誤り率比較手段と、該誤り率比較手段における誤り率の比較結果に基づいて、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択することができる選択手段と、を具備していることを特徴とする動画像通信装置。
【請求項２】
請求項１に記載の動画像通信装置において、前記選択手段において録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択する場合、前記誤り率比較手段において前記誤り率取得手段から出力される前記イントラフレームデータの誤り率と前記再生情報誤り率検出手段から出力される前記再生フレームデータの誤り率との比較結果として、より低い誤り率を示しているフレームデータが選択されることを特徴とする動画像通信装置。
【請求項３】
請求項１に記載の動画像通信装置において、前記リフレッシュ要求手段により前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータを受信していたとしても、前記通信手段において通信誤りが検出されていた場合、及び／又は、前記分離多重手段において分離多重誤りが検出されていた場合、及び／又は、前記動画デコード手段において動画デコード誤りが検出されていた場合、のいずれかの場合においては、前記選択手段において録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、前記動画像デコード手段においてデコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択されることを特徴とする動画像通信装置。
【請求項４】
請求項１又は２に記載の動画像通信装置において、前記リフレッシュ要求手段により前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータが受信されなかった場合においては、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、前記動画像デコード手段においてデコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択されることを特徴とする動画像通信装置。
【請求項５】
請求項１乃至４のいずれかに記載の動画像通信装置において、録画されるフレームデータを再符号化することができる再符号化手段を具備し、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、前記選択手段において現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択された場合においては、前記録画手段に録画する際に、録画する前記再生フレームデータを前記再符号化手段によりリアルタイムで再符号化した後前記録画手段に録画すること、あるいは、前記録画手段に一旦録画された前記再生フレームデータを読み出して、前記再符号化手段により再符号化して録画し直すことを特徴とする動画像通信装置。
【請求項６】
通信相手端末から受信した動画像情報に関するフレームデータを多重分離した後、多重分離された該動画像情報に関するフレームデータを録画するか、あるいは、多重分離された該動画像情報に関するフレームデータがデコードされて現在再生中の状態にある動画像情報に関する再生フレームデータを録画する動画像通信方法において、前記通信相手端末から受信される前記動画像情報に関するフレームデータを前記録画手段に対して録画開始させる場合に、前記通信相手端末に対して、当該動画像情報に関するイントラフレームデータの送信を要求するイントラリフレッシュ要求信号を送信し、該イントラリフレッシュ要求信号に対応して当該動画像情報に関する前記イントラフレームデータが送信されてきた際に、受信動作時と分離多重動作時と動画像デコード時とのそれぞれにおいて送信されてきた前記イントラフレームデータに対する処理時に発生する合計の誤り率と、現在再生中の状態にある当該動画像情報に関する再生フレームデータの誤り率との比較結果に基づいて、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択することができることを特徴とする動画像通信方法。
【請求項７】
請求項６に記載の動画像通信方法において、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択する場合、受信動作時と分離多重動作時と動画像デコード時とのそれぞれにおいて送信されてきた前記イントラフレームデータに対する処理時に発生する誤り率と再生フレームデータの誤り率との比較結果として、より低い誤り率を示しているフレームデータが選択されることを特徴とする動画像通信方法。
【請求項８】
請求項６に記載の動画像通信方法において、前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータを受信していたとしても、通信誤りが検出されていた場合、及び／又は、分離多重誤りが検出されていた場合、及び／又は、動画デコード誤りが検出されていた場合、のいずれかの場合においては、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、デコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択されることを特徴とする動画像通信方法。
【請求項９】
請求項６又は７に記載の動画像通信方法において、前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータが受信されなかった場合においては、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、デコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択されることを特徴とする動画像通信方法。
【請求項１０】
請求項６乃至９のいずれかに記載の動画像通信方法において、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、デコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択された場合においては、録画する前記再生フレームデータをリアルタイムで再符号化した後に録画すること、あるいは、一旦録画された前記再生フレームデータを読み出して、再符号化して録画し直すことを特徴とする動画像通信方法。
【請求項１１】
請求項６乃至１０のいずれかに記載の前記動画像通信方法をコンピュータにより実行させることが可能なプログラムとして実現していることを特徴とする動画像通信プログラム。
【請求項１２】
請求項１１に記載の前記動画像通信プログラムを記録していることを特徴とするコンピュータ読み取り可能なプログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像通信装置、動画像通信方法、動画像通信プログラム及びプログラム記録媒体に関し、特に、離れた多地点間において、音声情報のみならず、動画像やデータ等を伝送するマルチメディア通信装置やマルチメディア通信システムにも適用可能な録画機能を具備した動画像通信装置、該録画機能を実現する動画像通信方法、該動画像通信方法を実現する動画像通信プログラム及び該動画像通信プログラムを記録したプログラム記録媒体に関する。
【０００２】
【従来の技術】
従来より、ＴＶ電話等において、動画像情報の録画開始時に、最初の録画用動画像情報としてイントラ符号化がなされているイントラフレームデータを必要とする場合に、通信相手端末に対して当該動画像情報に関するイントラフレームデータの送信要求を行なうイントラリフレッシュ要求信号を送信して、該通信相手端末から送信されてきたイントラフレームデータを録画開始時のデータとして使用する技術が用いられている。
例えば、特許文献１として示した特開平５−９５５４７号公報において開示されている技術について、図５に示すブロック構成図と図６に示す録画動作時の動作シーケンスチャートを用いて、説明する。ここに、図５は、従来技術における動画像通信装置の構成を示すブロック構成図であり、ＴＶ電話録画システムに適用された場合の基本構成を示している。図６は、図５に示す動画像通信装置における録画動作を説明するためのシーケンスチャートである。
【０００３】
図５に示す動画像通信装置２００は、画像入力デバイス２１と、画像出力デバイス２２と、ユーザ／アプリケーション部２３と、入力フレームメモリ２４と、出力フレームメモリ２５と、録画制御部２６と、端末間制御信号処理部２７と、動画エンコーダ部２８と、動画デコーダ部２９と、Ｉフレーム検出部３０と、分離多重化部３１と、無線部３２と、録画操作部３３と、録画ファイル３４とが、図５に示すごとく互いに接続されて構成されている。図５において、実線の矢印は、データ信号の流れを示し、破線の矢印は、制御信号の流れを示している。
【０００４】
ユーザ／アプリケーション部２３を介してユーザから録画開始の要求があった場合、図６のシーケンスチャートに示すように、録画制御部２６から端末間制御信号処理部２７に対してイントラリフレッシュ要求が送出されて、端末間制御信号処理部２７から、分離多重化部３１及び無線部３２を介して、通信相手端末に対してイントラリフレッシュ要求信号が送信される。
イントラリフレッシュ要求信号を受信した通信相手端末から送信されてきた録画用動画像情報に関するイントラフレームデータは、無線部３２及び分離多重化部３１にて分離されて動画デコーダ部２９に送出されてくる。動画デコーダ部２９において入力されてきたイントラフレームデータのデコード処理がなされた後、Ｉフレーム検出部３０において、イントラフレームデータ（Ｉフレーム）が検出されると、イントラフレームデータが検出されたことが録画制御部２６に通知される。
【０００５】
イントラフレームデータ（Ｉフレーム）が検出されたことを録画制御部２６が確認すると、録画制御部２６から録画操作部３３のスイッチをオンに設定することを指示し、録画操作部３３のスイッチが分離多重化部３１側と接続された状態に設定される。而して、通信相手端末から送信されてくるイントラフレームデータは、自端末における録画開始時のイントラフレームデータとして、無線部３２及び分離多重化部３１を介して、録画ファイル３４に録画されていくと共に、後続して通信相手端末から送信されてくる動画像情報に関するフレームデータが順次録画されていく。
【０００６】
録画ファイル３４に対する録画動作が開始された以降において、ユーザ／アプリケーション部２３を介してユーザから録画停止要求が入力されてきた場合は、かかる録画停止要求を受け取った録画制御部２６により、録画操作部３３に対しスイッチをオフに設定する指示がなされて、分離多重化部３１と録画ファイル３４との接続が切り離されて、録画動作が停止される。
【０００７】
一方、通信相手端末から受信されて、動画デコーダ部２９においてデコード処理が施されたイントラフレームデータ及び後続する動画像情報に関するフレームデータは、出力フレームメモリ２５から画像出力デバイス２２に出力されて、例えばモニタ装置に画面表示されるように構成されている。
なお、通信相手端末も、図５に示す動画像通信装置２００と同様の構成からなっている場合、端末間制御信号処理部２７において、無線部３２及び分離多重化部３１を介してイントラリフレッシュ要求信号が通信相手端末から受信されたことを検出すると、かかる検出結果を録画制御部２６に通知することにより、入力フレームメモリ２４及び動画エンコーダ部２８及び分離多重化部３１の動作が制御されて、画像入力デバイス２１から入力されて入力フレームメモリ２４に蓄積されている要求された動画像情報に関するイントラフレームデータを得るべく、動画エンコーダ部２８にてイントラ符号化処理を施した後、通信相手端末に対して送信するために、分離多重化部３１及び無線部３２を介して通信相手端末に対して送信する動作を行なう。
【０００８】
【特許文献１】
特開平５−９５５４７号（第２頁−第３頁、図１）
【０００９】
【発明が解決しようとする課題】
しかしながら、従来技術に示した図５のごとき構成からなる動画像通信装置にあっては、イントラリフレッシュ要求信号に基づいて送信されてきたイントラフレームデータに誤りがあった場合でも、そのまま、録画ファイルに録画されてしまい、録画データの品質が低下する可能性があり、好ましくない。
本発明は、かかる事情に着目してなされたものであり、録画開始時において、通信相手端末に対してイントラリフレッシュ要求信号を送信することにより受信された録画対象の最初の動画像情報に関するイントラフレームデータと当該動画像通信装置において現在再生中の状態にある再生フレームデータとの間で、誤り率の比較を行ない、より誤り率の低い方のデータを、録画開始時に用いる動画像情報に関するイントラフレームデータとして適応的に選択することを可能とすることにより、高品質の動画像情報を録画する実現手段を提供せんとするものである。
【００１０】
【課題を解決するための手段】
第１の技術手段は、通信相手端末との間で動画像情報に関する通信を行なう通信手段と、該通信手段において送受信する該動画像情報に関するフレームデータを分離多重する分離多重手段と、前記分離多重手段にて分離された動画像情報に関するフレームデータをデコードする動画像デコード手段と、前記分離多重化手段にて分離された動画像情報に関するフレームデータ、あるいは、前記動画像デコード手段においてデコードされて現在再生中の状態にある動画像情報に関する再生フレームデータのいずれかを録画する録画手段とを具備した動画像通信装置において、前記通信相手端末から受信される前記動画像情報に関するフレームデータを前記録画手段に録画開始させる場合に、前記通信相手端末に対して、当該動画像情報に関するイントラフレームデータの送信を要求するイントラリフレッシュ要求信号を送信するリフレッシュ要求手段と、該イントラリフレッシュ要求信号に対応して、当該動画像情報に関する前記イントラフレームデータが送信されてきた際に、前記通信手段と前記分離多重手段と前記動画像デコード手段とのそれぞれにおいて送信されてきた前記イントラフレームデータに対する処理時に発生する合計の誤り率を取得する誤り率取得手段と、前記動画像デコード手段においてデコードされて現在再生中の状態にある当該動画像情報に関する再生フレームデータの誤り率を検出する再生情報誤り率検出手段と、前記誤り率取得手段と前記再生情報誤り率検出手段とから得られる２つの誤り率を比較する誤り率比較手段と、該誤り率比較手段における誤り率の比較結果に基づいて、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択することができる選択手段と、を具備している動画像通信装置とすることを特徴とするものである。
【００１１】
第２の技術手段は、前記第１の技術手段に記載の動画像通信装置において、前記選択手段において録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択する場合、前記誤り率比較手段において前記誤り率取得手段から出力される前記イントラフレームデータの誤り率と前記再生情報誤り率検出手段から出力される前記再生フレームデータの誤り率との比較結果として、より低い誤り率を示しているフレームデータが選択される動画像通信装置とすることを特徴とするものである。
【００１２】
第３の技術手段は、前記第１の技術手段に記載の動画像通信装置において、前記リフレッシュ要求手段により前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータを受信していたとしても、前記通信手段において通信誤りが検出されていた場合、及び／又は、前記分離多重手段において分離多重誤りが検出されていた場合、及び／又は、前記動画デコード手段において動画デコード誤りが検出されていた場合、のいずれかの場合においては、前記選択手段において録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、前記動画像デコード手段においてデコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択される動画像通信装置とすることを特徴とするものである。
【００１３】
第４の技術手段は、前記第１又は第２の技術手段に記載の動画像通信装置において、前記リフレッシュ要求手段により前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータが受信されなかった場合においては、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、前記動画像デコード手段においてデコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択される動画像通信装置とすることを特徴とするものである。
【００１４】
第５の技術手段は、前記第１乃至第４の技術手段のいずれかに記載の動画像通信装置において、録画されるフレームデータを再符号化することができる再符号化手段を具備し、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、前記選択手段において現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択された場合においては、前記録画手段に録画する際に、録画する前記再生フレームデータを前記再符号化手段によりリアルタイムで再符号化した後前記録画手段に録画すること、あるいは、前記録画手段に一旦録画された前記再生フレームデータを読み出して、前記再符号化手段により再符号化して録画し直す動画像通信装置とすることを特徴とするものである。
【００１５】
第６の技術手段は、通信相手端末から受信した動画像情報に関するフレームデータを多重分離した後、多重分離された該動画像情報に関するフレームデータを録画するか、あるいは、多重分離された該動画像情報に関するフレームデータがデコードされて現在再生中の状態にある動画像情報に関する再生フレームデータを録画する動画像通信方法において、前記通信相手端末から受信される前記動画像情報に関するフレームデータを前記録画手段に対して録画開始させる場合に、前記通信相手端末に対して、当該動画像情報に関するイントラフレームデータの送信を要求するイントラリフレッシュ要求信号を送信し、該イントラリフレッシュ要求信号に対応して当該動画像情報に関する前記イントラフレームデータが送信されてきた際に、受信動作時と分離多重動作時と動画像デコード時とのそれぞれにおいて送信されてきた前記イントラフレームデータに対する処理時に発生する合計の誤り率と、現在再生中の状態にある当該動画像情報に関する再生フレームデータの誤り率との比較結果に基づいて、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択することができる動画像通信方法とすることを特徴とするものである。
【００１６】
第７の技術手段は、前記第６の技術手段に記載の動画像通信方法において、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択する場合、受信動作時と分離多重動作時と動画像デコード時とのそれぞれにおいて送信されてきた前記イントラフレームデータに対する処理時に発生する誤り率と再生フレームデータの誤り率との比較結果として、より低い誤り率を示しているフレームデータが選択される動画像通信方法とすることを特徴とするものである。
【００１７】
第８の技術手段は、前記第６の技術手段に記載の動画像通信方法において、前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータを受信していたとしても、通信誤りが検出されていた場合、及び／又は、分離多重誤りが検出されていた場合、及び／又は、動画デコード誤りが検出されていた場合、のいずれかの場合においては、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、デコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択される動画像通信方法とすることを特徴とするものである。
【００１８】
第９の技術手段は、前記第６又は第７の技術手段に記載の動画像通信方法において、前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に前記動画像情報に関する前記イントラフレームデータが受信されなかった場合においては、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、デコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択される動画像通信方法とすることを特徴とするものである。
【００１９】
第１０の技術手段は、前記第６乃至第９の技術手段のいずれかに記載の動画像通信方法において、録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータとして、デコードされて現在再生中の状態にある前記動画像情報に関する前記再生フレームデータが選択された場合においては、録画する前記再生フレームデータをリアルタイムで再符号化した後に録画すること、あるいは、一旦録画された前記再生フレームデータを読み出して、再符号化して録画し直す動画像通信方法とすることを特徴とするものである。
【００２０】
第１１の技術手段は、前記第６乃至第１０の技術手段のいずれかに記載の前記動画像通信方法をコンピュータにより実行させることが可能なプログラムとして実現している動画像通信プログラムとすることを特徴とするものである。
【００２１】
第１２の技術手段は、前記第１１の技術手段に記載の前記動画像通信プログラムを記録しているコンピュータ読み取り可能なプログラム記録媒体とすることを特徴とするものである。
【００２２】
而して、前記第１乃至第１２の技術手段のいずれか１乃至複数の技術手段によれば、通信相手端末から受信される動画像情報を録画せんとする際に、該動画像情報の録画開始時において最初の録画用フレームデータとして用いられるイントラフレームデータとして、イントラリフレッシュ要求信号の送信結果通信相手端末から送信されてくるイントラフレームデータを利用するか、又は、通信相手端末からの動画像情報として現在再生されて表示されている状態にある再生フレームデータを利用し、更には再符号化したものを利用するか、のいずれを利用するかを、両者のフレームデータの誤り率に基づいて、誤りが少ない方のフレームデータを適応的に選択すること、あるいは、送信されてきたイントラフレームデータの処理時に誤りが検出された場合には再生フレームデータを選択して利用し、更には再符号化して録画することを可能とすることにより、録画する動画像情報の画像品質を向上させることができる。
【００２３】
【発明の実施の形態】
以下、本発明に係る動画像通信装置、動画像通信方法、動画像通信プログラム及びプログラム記録媒体に関する一実施例を、図面を参照しながら説明する。
図１は、本発明に係る動画像通信装置の構成の一実施例を示すブロック構成図であり、本発明に係る動画像通信装置の一例として、通信相手端末との間で行なわれるテレビ電話の動画像を録画することができるＴＶ電話録画システムに適用される場合を例に取って、本発明に係る動画像通信装置における基本構成例を示している。なお、本発明は、かかるＴＶ電話録画システムに適用される場合のみに限るものではなく、有線、無線を問わず、通信相手端末との間で送受信される動画像を録画することができる動画像録画機能を具備した動画像通信装置であれば、一般的な画像通信により送受信される動画像情報を録画する画像通信システムに対しても適用することが可能である。
【００２４】
また、図２乃至図４は、図１に示す動画像通信装置１００のそれぞれの動作を説明するためのシーケンスチャートである。
即ち、図２は、本発明に係る動画像通信装置１００において、録画開始時の最初の録画用動画像情報に用いられるべくイントラ符号化されたイントラフレームデータとして、イントラリフレッシュ要求信号に応答して返送されてきたイントラフレームデータ（Ｉフレームデータ）を使用する場合を示すシーケンスチャートであり、図３は、本発明に係る動画像通信装置１００において、録画開始時のイントラフレームデータとして、現在再生中の状態にある再生フレームデータを使用する場合を示すシーケンスチャートである。また、図４は、本発明に係る動画像通信装置１００において、イントラリフレッシュ要求信号に応答して返送されてくるべきイントラフレームデータの返送時間がタイムアウトした際に、録画開始時のイントラフレームデータとして、現在再生中の状態にある再生フレームデータを使用する場合を示すシーケンス図である。
【００２５】
図１に示す動画像通信装置１００は、画像入力デバイス１と、画像出力デバイス２と、ユーザ／アプリケーション部３と、入力フレームメモリ４と、出力フレームメモリ５と、録画制御部６と、端末間制御信号処理部７と、動画エンコーダ部８と、動画デコーダ部９と、Ｉフレーム検出部１０と、分離多重化部１１と、無線部１２と、録画操作部１３と、録画ファイル１４と、Ｉフレーム検出タイマ１５と、再生情報誤り検出部１６と、動画デコード誤り検出部１７ａと、分離多重誤り検出部１７ｂと、無線誤り検出部１７ｃと、エラー率検出／比較部１８と、再符号化部１９とが、図１に示すごとく互いに接続されて構成されている。図１において、実線の矢印は、データ信号の流れを示し、破線の矢印は、制御信号の流れを示している。
【００２６】
ここに、無線部１２は、通信相手端末との間で動画像情報に関する通信を行なう通信手段を提供するものであり、有線あるいは無線いずれの通信手段を用いても構わないが、図１においては、無線通信により通信相手端末と動画像情報を通信する場合について例示している。分離多重化部１１は、無線部１２において送受信する該動画像情報を分離多重する分離多重手段を提供している。また、動画デコーダ部９は、分離多重化部１１にて分離された動画像情報をデコードする動画像デコード手段を提供し、また、録画制御部６は、分離多重化部１１にて分離された動画像情報に関するデコード処理前のフレームデータ、あるいは、動画デコーダ部９においてデコードされて、出力フレームメモリ５に格納された後、画像出力デバイス２に送出されて、現在再生中の状態にある動画像情報に関する再生フレームデータのいずれかを録画ファイル１４に録画する録画手段を提供しているものである。
【００２７】
また、端末間制御信号処理部７は、録画制御部６により通信相手端末から受信される動画像情報に関するフレームデータを録画ファイル１４に対して録画開始させる場合に、通信相手端末に対して、当該動画像情報に関するイントラフレームデータ（即ち、イントラ符号化されているフレームデータ）の送信を要求するイントラリフレッシュ要求信号を送信するリフレッシュ要求手段と送信されてきた前記イントラリフレッシュ要求信号を解読するリフレッシュ解読手段とを提供しているものである。また、無線誤り検出部１７ｃと、分離多重誤り検出部１７ｂと、動画デコード誤り検出部１７ａとは、前記イントラリフレッシュ要求信号に対応して、通信相手端末から当該動画像情報に関する前記イントラフレームデータが送信されてきた際に、それぞれ、無線部１２と、分離多重化部１１と、動画デコーダ部９とのそれぞれにおいて送信されてきた前記イントラフレームデータに対して施される処理時に発生する誤り率をそれぞれ取得し、後段のエラー率検出／比較部１８において各誤り率の合計が算出される誤り率取得手段を提供しているものである。
【００２８】
また、再生情報誤り検出部１６は、動画デコーダ部９においてデコードされて現在再生中の状態にある当該動画像情報に関する再生フレームデータの誤り率を検出する再生情報誤り率検出手段を提供し、エラー率検出／比較部１８は、前記誤り率取得手段（即ち、無線誤り検出部１７ｃと、分離多重誤り検出部１７ｂと、動画デコード誤り検出部１７ａとの各検出部）から得られる誤り率を合計した合計の誤り率と前記再生情報誤り率検出手段（即ち、再生情報誤り検出部１６）からの誤り率とから得られる２つの誤り率を比較する誤り率比較手段を提供するものである。
【００２９】
更に、録画操作部１３は、エラー率検出／比較部１８における誤り率の比較結果に基づいて、録画制御部６からの制御により、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータ（即ち、分離多重化部１１から出力されるフレームデータ）と現在再生中の状態にある再生フレームデータ（即ち、出力フレームメモリ５から出力されるフレームデータ）とのいずれかを選択することができる選択手段を提供するものである。
【００３０】
即ち、前記選択手段を提供する録画操作部１３は、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータとして、前記イントラリフレッシュ要求信号に対応して送信されてきた前記イントラフレームデータと現在再生中の状態にある前記再生フレームデータとのいずれかを選択する場合、エラー率検出／比較部１８において前記誤り率取得手段から出力される前記イントラフレームデータの誤り率（即ち、無線誤り検出部１７ｃと、分離多重誤り検出部１７ｂと、動画デコード誤り検出部１７ａとの各検出部からの各誤り率を合計した合計の誤り率）と前記再生情報誤り率検出手段から出力される前記再生フレームデータの誤り率（即ち、再生情報誤り検出部１６からの誤り率）との比較結果として、より低い誤り率を示しているフレームデータが選択されるように、録画制御部６から制御されることが可能である。
【００３１】
あるいは、前記選択手段を提供する録画操作部１３は、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータを選択する場合、端末間制御信号処理部７により前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後、予め定められている基準時間（即ち、Ｉフレーム検出タイマ１５に設定されている基準時間）以内に、当該動画像情報に関する前記イントラフレームデータを受信していたとしても、無線誤り検出部１７ｃにおいて無線通信誤りが検出されていた場合、及び／又は、分離多重誤り検出部１７ｂにおいて分離多重誤りが検出されていた場合、及び／又は、動画デコード誤り検出部１７ａにおいて動画デコード誤りが検出されていた場合、のいずれかの場合においては、動画デコーダ部９においてデコードされて、出力フレームメモリ５に格納された後、画像出力デバイス２に送出されて、現在再生中の状態にある当該動画像情報に関する再生フレームデータが選択されるように、録画制御部６から制御されることも可能である。
【００３２】
あるいは、前記選択手段を提供する録画操作部１３は、端末間制御信号処理部７により前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている前記基準時間以内に当該動画像情報に関する前記イントラフレームデータが受信されなかった場合においては、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータを選択する場合、動画デコーダ部９においてデコードされて、出力フレームメモリ５に格納された後、画像出力デバイス２に送出されて、現在再生中の状態にある当該動画像情報に関する再生フレームデータが選択されるように、録画制御部６から制御されることも可能である。
【００３３】
また、再符号化部１９は、録画されるフレームデータを再符号化することができる再符号化手段を提供するものであり、録画を開始させる際に用いる当該動画像情報に関するイントラフレームデータとして、録画操作部１３において出力フレームメモリ５に格納されている現在再生中の状態にある当該動画像情報に関する前記再生フレームデータが選択された場合において、録画ファイル１４に録画する際に、録画する前記再生フレームデータを再符号化部１９によりリアルタイムで再符号化した後録画ファイル１４に録画すること、あるいは、録画ファイル１４に一旦録画された前記再生フレームデータを読み出して、再符号化部１９により再符号化して録画ファイルに録画し直すことのいずれかを可能としている。
【００３４】
次に、図１に示す動画像通信装置の動作の詳細について、図２乃至図４に示すシーケンスチャートに基づいて説明する。ユーザ／アプリケーション部３を介してユーザから録画開始の要求があった場合、録画開始時における最初の録画用の動画像情報としてイントラ符号化されたイントラフレームデータを取得するために、図２のシーケンスチャートに示すように、録画制御部６から端末間制御信号処理部７に対してイントラリフレッシュ要求信号が送出され、端末間制御信号処理部７から、分離多重化部１１及び無線部１２を介して、通信相手端末に対してイントラリフレッシュ要求信号が送信されると同時に、予め定められた基準時間内に通信相手端末からイントラフレームデータが送出されてこなかった場合を検出するために、Ｉフレーム検出タイマ１５をスタートさせる。
ここで言う前記基準時間とは、ユーザから録画開始要求がなされてから、実際に、通信相手端末からのイントラフレームデータを受信して録画が開始されるまでのレスポンスが余りにも長い時間を要してしまう場合に備えて、かかる事態が発生した場合においては、異なる録画動作に切り替える指示を行なうことを可能とするための時間を指している。
【００３５】
通信相手端末に対するイントラリフレッシュ要求信号の送信に対応して、通信相手端末から返送されてきたイントラフレームデータ（Ｉフレームデータ）は、無線部１２及び分離多重化部１１にて分離されて動画デコーダ部９に送出されてくる。動画デコーダ部９においては、入力されてきたイントラフレームデータ（Ｉフレームデータ）のデコード処理がなされることにより、Ｉフレーム検出部１０において、イントラフレームデータ（Ｉフレームデータ）が検出される。Ｉフレーム検出部１０において、イントラフレームデータ（Ｉフレームデータ）が検出されると、図２及び図３のシーケンスチャートに示すように、イントラフレームデータ（Ｉフレームデータ）が検出されたことが録画制御部６に通知される。
【００３６】
また、図２及び図３のシーケンスチャートに示すように、通信相手端末からイントラフレームデータ（Ｉフレームデータ）が返送されてきていることが、Ｉフレーム検出タイマ１５に予め設定されている前記基準時間以内に、Ｉフレーム検出部１０において検出された場合は、録画制御部６は、Ｉフレーム検出タイマ１５の動作を停止させた後、エラー率検出／比較部１８に対して、無線誤り検出部１７ｃと、分離多重誤り検出部１７ｂと、動画デコード誤り検出部１７ａとのそれぞれにおける誤り検出結果を用いて、前記イントラリフレッシュ要求信号に対応して返送されてきた前記イントラフレームデータ（Ｉフレームデータ）のそれぞれの処理時において検出された誤り率の合計を算出して、動画デコーダ部９から出力フレームメモリ５を介して現在再生中の状態にある再生フレームデータの誤り率とのそれぞれの誤り率を比較することを指示する。而して、エラー率検出／比較部１８においては、前記イントラフレームデータ（Ｉフレームデータ）と現在再生中の状態にある前記再生フレームデータとの誤り率の比較結果を録画制御部６に通知する。録画制御部６は、エラー率検出／比較部１８から通知されてくる誤り率比較結果に基づいて、誤り率が低い方のデータを録画開始時のイントラフレームデータとして使用するように選択する。
【００３７】
エラー率検出／比較部１８における誤り率の比較結果として、返送されてきた前記イントラフレームデータ（Ｉフレームデータ）の誤り率が、より低いものと判定されている場合においては、図２のシーケンスチャートに示すように、録画開始時に用いられる最初の録画用の動画像情報に関するイントラフレームデータとして、イントラリフレッシュ要求信号に対応して返送されてきた前記イントラフレームデータ（Ｉフレームデータ）が選択されて、録画制御部６から録画操作部１３に対して、スイッチを分離多重化部１１側と接続された状態に設定するように指示する。録画操作部１３のスイッチが、分離多重化部１１側と接続された状態に設定されることにより、通信相手端末から返送されてくるイントラフレームデータ（Ｉフレームデータ）は、自端末における録画開始時のイントラフレームデータとして、無線部１２及び分離多重化部１１を介して、録画ファイル１４に録画されていくと共に、後続して通信相手端末から送信されてくる動画像情報に関するフレームデータが、分離多重化部１１において多重分離されて、順次録画ファイル１４に録画されていく。
【００３８】
録画ファイル１４に対する録画動作が開始された以降において、ユーザ／アプリケーション部３を介してユーザから録画停止要求が入力されてきた場合は、かかる録画停止要求を受け取った録画制御部６により、録画操作部１３に対してスイッチをオフに設定する指示がなされて、分離多重化部１１と録画ファイル１４との接続が切り離されて、録画動作が停止される。
【００３９】
また、通信相手端末から受信されて、動画デコーダ部９においてデコード処理が施された動画像情報に関するイントラフレームデータ及び後続する動画像情報に関するフレームデータは、出力フレームメモリ５から画像出力デバイス２に出力されて、例えばモニタ装置に画面表示されるように構成されている。
なお、通信相手端末も、図１に示す動画像通信装置１００と同様の構成からなっている場合、端末間制御信号処理部７において、無線部１２及び分離多重化部１１を介してイントラリフレッシュ要求信号が通信相手端末から受信されたことを検出すると、かかる検出結果を録画制御部６に通知することにより、入力フレームメモリ４及び動画エンコーダ部８及び分離多重化部１１の動作が制御されて、画像入力デバイス１から入力されて入力フレームメモリ４に蓄積されている要求された動画像情報に関するイントラフレームデータを得るべく、動画エンコーダ部８にてイントラ符号化処理を施した後、通信相手端末に対して送信するために、分離多重化部１１及び無線部１２を介して通信相手端末に対して送信する動作を行なう。
【００４０】
一方、エラー率検出／比較部１８における誤り率の比較結果として、前記再生フレームデータの誤り率が、より低いものと判定されている場合においては、図３のシーケンスチャートに示すように、録画開始時に用いられる最初の録画用動画像情報に関するイントラフレームデータとして、現在再生中の状態にある前記再生フレームデータが選択されて、録画制御部６から録画操作部１３に対して、スイッチを出力フレームメモリ５側と接続された状態に設定するように指示する。録画操作部１３のスイッチが、出力フレームメモリ５側と接続された状態に設定されることにより、出力フレームメモリ５から現在再生中の状態にある前記再生フレームデータが、自端末における録画開始時のイントラフレームデータとして、録画ファイル１４に録画されていく。
【００４１】
録画開始時のイントラフレームデータが録画ファイル１４に録画された後においては、無線部１２、分離多重化部１１及び動画デコーダ部９を介して出力フレームメモリ５側に蓄積されていく再生フレームデータを用いて、通信相手端末から送信されてくる動画像情報に関するフレームデータが、順次録画ファイル１４に録画されていく。
ここで、録画ファイル１４に録画される出力フレームメモリ５からの再生フレームデータは、動画デコーダ部９においてデコードされた後の符号化されていないデータとされている。
【００４２】
録画ファイル１４に対する録画動作が開始された以降において、ユーザ／アプリケーション部３を介してユーザから録画停止要求が入力されてきた場合は、かかる録画停止要求を受け取った録画制御部６により、録画操作部１３に対してスイッチをオフに設定する指示がなされて、出力フレームメモリ５と録画ファイル１４との接続が切り離されて、録画動作が停止される。
しかる後において、録画制御部６は、再符号化部１９を起動させて、録画ファイル１４に録画されている出力フレームメモリ５からの符号化されていないフレームデータを読み出して、再符号化部１９により逐次再符号化を行ない、録画ファイル１４の記録内容を書き換えさせる。
【００４３】
なお、前述の実施例においては、録画ファイル１４への録画終了後において、再符号化部１９を起動して録画ファイル１４に一旦録画されているフレームデータの再符号化を行なうこととしているが、本発明は、かかる場合に限るものではなく、出力フレームメモリ５からのフレームデータを録画ファイル１４に録画する際に、録画対象のフレームデータをリアルタイムで再符号化を行なって、録画ファイル１４へ録画させるように構成することとしても構わない。
【００４４】
また、前述の実施例においては、前記通信相手端末に対して前記イントラリフレッシュ要求信号を送信した後予め定められている基準時間以内に動画像情報に関する前記イントラフレームデータ（Ｉフレームデータ）を受信していたとしても、通信相手端末から送信されてきた前記イントラフレームデータ（Ｉフレームデータ）又は現在再生中の状態にある再生フレームデータのうち、誤り率が少ない方のフレームデータが適応的に選択される場合を例示したが、本発明においては、かかる場合のみに限定されるものではない。例えば、無線誤り検出部１７ｃにおいて通信誤りが検出されていた場合、及び／又は、分離多重誤り検出部１７ｂにおいて分離多重誤りが検出されていた場合、及び／又は、動画デコード誤り検出部１７ａにおいて動画デコード誤りが検出されていた場合、のいずれかの場合においては、録画操作部１３において録画を開始させる際に用いる前記動画像情報に関するイントラフレームデータを選択する場合、動画デコーダ部９においてデコードされて出力フレームメモリ５に格納されて、現在再生中の状態にある動画像情報に関する再生フレームデータが選択されるように、録画制御部６により録画操作部１３のスイッチを制御するようにしても良い。
【００４５】
而して、通信相手端末から受信される動画像情報を録画せんとする際に、該動画像情報の録画開始時において最初の録画用のフレームデータとして用いられるイントラフレームデータとして、イントラリフレッシュ要求信号の送信結果通信相手端末から送信されてくるイントラフレームデータ（Ｉフレームデータ）を利用するか、又は、通信相手端末からの動画像情報として現在再生されて表示されている状態にある再生フレームデータを利用し、更には再符号化したものを利用するか、のいずれを利用するかを、両者のフレームデータの誤り率に基づいて、誤りが少ない方のフレームデータを適応的に選択すること、あるいは、送信されてきたイントラフレームデータの処理時に誤りが検出された場合には再生フレームデータを選択して利用し、更には再符号化して録画することを可能とすることにより、録画する動画像情報の画像品質を向上させることができる。
【００４６】
また、Ｉフレーム検出タイマ１５に予め設定されている前記基準時間以内に、通信相手端末からイントラフレームデータ（Ｉフレームデータ）が返送されてきていることが、Ｉフレーム検出部１０において検出されなかった場合は、図４のシーケンスチャートに示すように、Ｉフレーム検出タイマ１５から、前記基準時間のタイムアウトが発生していることが、録画制御部６に通知されてきて、録画制御部６においては、録画開始時に用いられる最初の録画用の動画像情報に関するイントラフレームデータとして、現在再生中の状態にある前記再生フレームデータが選択されて、録画制御部６から録画操作部１３に対して、スイッチを出力フレームメモリ５側と接続された状態に設定するように指示する。録画操作部１３のスイッチが、出力フレームメモリ５側と接続された状態に設定されることにより、出力フレームメモリ５から現在再生中の状態にある前記再生フレームデータが、自端末における録画開始時のイントラフレームデータとして、録画ファイル１４に録画されていく。
【００４７】
録画開始時のイントラフレームデータが録画ファイル１４に録画された後においては、無線部１２、分離多重化部１１及び動画デコーダ部９を介して出力フレームメモリ５側に蓄積されていく再生フレームデータを用いて、通信相手端末から送信されてくる動画像情報に関するフレームデータが、順次録画ファイル１４に録画されていく。
ここで、録画ファイル１４に録画される出力フレームメモリ５からの再生フレームデータは、動画デコーダ部９においてデコードされた後の符号化されていないデータとされている。
【００４８】
録画ファイル１４に対する録画動作が開始された以降において、ユーザ／アプリケーション部３を介してユーザから録画停止要求が入力されてきた場合は、かかる録画停止要求を受け取った録画制御部６により、録画操作部１３に対してスイッチをオフに設定する指示がなされて、出力フレームメモリ５と録画ファイル１４との接続が切り離されて、録画動作が停止される。
しかる後において、録画制御部６は、再符号化部１９を起動させて、録画ファイル１４に録画されている出力フレームメモリ５からの符号化されていないフレームデータを読み出して、再符号化部１９により逐次再符号化を行ない、録画ファイル１４の記録内容を書き換えさせる。
【００４９】
なお、図４に示すシーケンスチャートにおいても、図３に示したシーケンスチャートの場合と同様に、録画終了後において、再符号化部１９を起動して録画ファイル１４に一旦録画されているフレームデータの再符号化を行なうこととしているが、本発明は、かかる場合に限るものではなく、出力フレームメモリ５からのフレームデータを録画ファイル１４に録画する際に、録画対象のフレームデータをリアルタイムで再符号化を行なって、録画ファイル１４へ録画させるように構成することとしても構わない。
【００５０】
【発明の効果】
本発明に係る動画像通信装置、動画像通信方法、動画像通信プログラム及びプログラム記録媒体によれば、以下のごとき効果が得られる。
即ち、通信相手端末から受信される動画像情報を録画せんとする際に、動画像情報の録画開始時において最初の録画用のフレームデータとして使用されるイントラフレームデータとして、イントラリフレッシュ要求信号の送信結果通信相手端末から送信されてくるイントラフレームデータを利用するか、又は、通信相手端末からの動画像として現在再生されて表示されている状態にある再生フレームデータを利用し、更には再符号化したものを利用するか、のいずれを利用するかを、両者のフレームデータの誤り率に基づいて、誤りが少ない方のフレームデータを適応的に選択すること、あるいは、送信されてきたイントラフレームデータの処理時に誤りが検出された場合には再生フレームデータを選択して利用し、更には再符号化して録画することを可能とすることにより、録画する動画像情報の画像品質を向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る動画像通信装置の構成の一実施例を示すブロック構成図である。
【図２】本発明に係る動画像通信装置において、録画開始時の最初の録画用動画像情報に用いられるべくイントラ符号化されたイントラフレームデータとして、イントラリフレッシュ要求信号に応答して返送されてきたイントラフレームデータ（Ｉフレームデータ）を使用する場合を示すシーケンスチャートである。
【図３】本発明に係る動画像通信装置において、録画開始時のイントラフレームデータとして、現在再生中の状態にある再生フレームデータを使用する場合を示すシーケンスチャートである。
【図４】本発明に係る動画像通信装置において、イントラリフレッシュ要求信号に応答して返送されてくるべきイントラフレームデータの返送時間がタイムアウトした際に、録画開始時のイントラフレームデータとして、現在再生中の状態にある再生フレームデータを使用する場合を示すシーケンス図である。
【図５】従来技術における動画像通信装置の構成を示すブロック構成図である。
【図６】図５に示す動画像通信装置における録画動作を説明するためのシーケンスチャートである。
【符号の説明】
１…画像入力デバイス、２…画像出力デバイス、３…ユーザ／アプリケーション部、４…入力フレームメモリ、５…出力フレームメモリ、６…録画制御部、７…端末間制御信号処理部、８…動画エンコーダ部、９…動画デコーダ部、１０…Ｉフレーム検出部、１１…分離多重化部、１２…無線部、１３…録画操作部、１４…録画ファイル、１５…Ｉフレーム検出タイマ、１６…再生情報誤り検出部、１７ａ…動画デコード誤り検出部、１７ｂ…分離多重誤り検出部、１７ｃ…無線誤り検出部、１８…エラー率検出／比較部、１９…再符号化部、２１…画像入力デバイス、２２…画像出力デバイス、２３…ユーザ／アプリケーション部、２４…入力フレームメモリ、２５…出力フレームメモリ、２６…録画制御部、２７…端末間制御信号処理部、２８…動画エンコーダ部、２９…動画デコーダ部、３０…Ｉフレーム検出部、３１…分離多重化部、３２…無線部、３３…録画操作部、３４…録画ファイル、１００…動画像通信装置、２００…動画像通信装置。
【図１】
2004187075.tif 000003
【図２】
2004187075.tif 000004
【図３】
2004187075.tif 000005
【図４】
2004187075.tif 000006
【図５】
2004187075.tif 000007
【図６】
2004187075.tif 000008