(57)【要約】【課題】  フレームレート指定動画録画時のフレームイメージ転送データ容量をシステム規定値内におさめ、圧縮率変更が頻繁に起こらないようにし、再生時に画像表示と音声再生との同期が取りやすい、録画イメージ転送容量制御方式を提供する。【解決手段】  一定フレームレートのフレームイメージに対し、一律の圧縮率で圧縮を行うのではなく、イメージ間の単位時間あたりの特徴と容量差変化を基に、フレーム単位で圧縮を行い一定フレームレートイメージの転送容量を一定にし、再生時の負荷を軽減する。【選択図】  図１
2007074248.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア機能を有し、動画記録機能及び音声録音機能を備えた情報機器において、
前記情報機器は、
映像をデジタル撮影することが可能なデジタルキャプチャー手段と、
上記デジタルキャプチャー手段によって取り込まれたデジタル映像の画像圧縮処理を行う画像処理手段と、
前記デジタルキャプチャー手段によって取り込まれたデジタル映像を入力とするMPEG4圧縮処理等を実行するMPEG4エンコーダ手段と、
前記MPEG4エンコード手段によって、シーンチェンジを検出する手段と、
前記キャプチャされたデジタル映像を記録する記録管理手段と、
上記記録管理手段にて、記録するデジタル映像のフレーム間での容量差を算出し、履歴をキャシュする容量差キャッシュ手段と、
上記容量差キャッシュ手段にてキャッシュされた容量差を解析し、容量差の変化をメッセージとして送信する手段と、
前記シーンチェンジ検出手段によって、立てられたシーンチェンジフラグと、前記容量差メッセージの両方を判断して、前記画像処理手段における圧縮パラメータを変更する手段と、
を有することを特徴とする情報機器
【請求項２】
マルチメディア機能を有し、動画記録機能及び音声録音機能を備えた情報機器において、
前記情報機器は、
映像を入力するレンズ手段と、前記レンズ手段からの入力映像をキャプチャする撮像手段と、前記撮像手段によってキャプチャされたデジタル映像を録画圧縮等の画処理を行う画像処理手段と、
上記レンズ手段手段におけるキャプチャパラメータを入力として、入力映像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記キャプチャされたデジタル映像を記録する記録管理手段と、
上記記録管理手段にて、記録するデジタル映像のフレーム間での容量差を算出し、履歴キャシュする容量差キャッシュ手段と、
上記容量差キャッシュ手段にてキャッシュされた容量差を解析し、容量差の変化をメッセージとして送信する手段と、
前記シーンチェンジ検出手段によって立てられたシーンチェンジ検出フラグと、前記容量差メッセージとの両方を判断することにより前記画像処理手段における圧縮パラメータを変更する手段と、
を有することを特徴とする情報機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画のデジタル録画機能と音声のデジタル録音機能と動画・音声の編集可能な機能を備えた情報機器に関するものである。さらに詳しく述べると、前記情報機器は、動画・音声データへのランダムアクセスが可能で、かつ着脱可能なソリッドメモリ記憶部を備え、また、多彩な再生機能を備えた情報機器に関するものである。
【背景技術】
【０００２】
一般に、動画像を扱うシステム特に、モバイルと呼ばれる携帯端末では、記憶容量・バス・プロセッサの処理能力・電源容量等の観点から転送時のデータ量の多さが問題となるため、圧縮率を上げて転送時のデータ量を減らすということが行われていた。しかしながら、転送データ量が減るのと比例して画質劣化が起こるというトレードオフがあった。さらに、動画圧縮方式としてMotion-JPEGを用いフレームレートを一定で録画していても、被写体映像によって、各々のフレームイメージのデータ量がまちまちになっていた。
【０００３】
その為、録画したストリームを再生する再に、フレームレート一定での再生で音声との同期ずれが起きてしまっていた。
【０００４】
特開平06-113279の‘画像圧縮装置'の請求項1のように、一つ前のイメージのDCT成分を一時記憶しておき、前記一時記憶されたDCT成分と次のイメージのDCT成分との差分演算によってイメージの変化量を抽出し、当該変化量に応じて圧縮パラメータを設定し、当該圧縮パラメータによりイメージの圧縮・伸張をおこなう手段によって、一律の圧縮率で圧縮を行わず、画像の特徴からフレーム単位で圧縮を行って、画質劣化を抑えつつ圧縮率を上げる画像圧縮装置が提案されている。
【特許文献１】特開平06-113279号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のように動画を扱うシステムにおいて、圧縮率を上げてフレームイメージ転送時のデータ量を減らすことが行われるのであるが、単純に圧縮率を上げてしまうと、画質がますます劣化するという問題と、1フレーム毎に圧縮率が変わって記録されると再生時の処理が高負荷になるという問題と、さらに、動画圧縮方式と被写体映像に因っては、上げた圧縮率でもフレームイメージ転送時のデータ量がシステム規定値より増えてしまい、再生時に画像表示と音声再生との間の同期がとりずらくなるという、再生時画像・音声同期ズレ問題という複数の問題があった。
【０００６】
本発明は、前記問題を鑑み、フレームレート指定動画録画時のフレームイメージ転送データ容量をシステム規定値内におさめ、圧縮率変更が頻繁に起こらないようにし、再生時に画像表示と音声再生との同期が取りやすい、録画イメージ転送容量制御方式を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明ではマルチメディア機能を有し、動画記録機能及び音声録音機能を備えた情報機器において、前記情報機器は、映像をデジタル撮影することが可能なデジタルキャプチャー手段と、上記デジタルキャプチャー手段によって取り込まれたデジタル映像の画像圧縮処理を行う画像処理手段と、前記デジタルキャプチャー手段によって取り込まれたデジタル映像を入力とするMPEG4圧縮処理等を実行するMPEG4エンコーダ手段と、前記MPEG4エンコード手段によって、シーンチェンジを検出する手段と、前記キャプチャされたデジタル映像を記録する記録管理手段と、上記記録管理手段にて、記録するデジタル映像のフレーム間での容量差を算出し、履歴をキャシュする容量差キャッシュ手段と、上記容量差キャッシュ手段にてキャッシュされた容量差を解析し、容量差の変化をメッセージとして送信する手段と前記シーンチェンジ検出手段によって、立てられたシーンチェンジフラグと、前記容量差メッセージの両方を判断して、前記画像処理手段における圧縮パラメータを変更する手段とを有し、情報機器に内蔵されているモジュールの有効活用をすることによってシーンチェンジ検出を行わせるとともに、フレームイメージ転送データ量をシステム規定値内におさめる指標を与えさせる。
【０００８】
本出願は、特開平06-113279の‘画像圧縮装置'の請求項1とは異なり、DCT成分の差分を取るのではなく、記録時のフレームイメージ間容量差分をキャッシュして当該容量差分のキャッシュ解析結果を基に、フレームイメージ転送データ量を一定にする構成をとる。
【発明の効果】
【０００９】
以上説明したように、本出願に係わる第一の発明によれば、マルチメディア機能を有し、動画記録機能及び音声録音機能を備えた情報機器において、前記情報機器における映像をデジタル撮影する際に記録方式のことなるハードウェアコーデックを用いること及び、記録時のフレームイメージ間容量差分をキャッシュして一定時間間隔で解析し、フレームイメージ容量の時間変化量との両方を判断することによって、記録動画データの再生時の転送容量を録画記録時に一定にすると伴に、圧縮率変更を一定時間間隔に抑えることによって再生時の負荷が軽減可能である録画イメージ転送容量制御方式を提供することが出来るという効果がある。また、本出願に係わる第二の発明によれば、マルチメディア機能を有し、動画記録機能及び音声録音機能を備えた情報機器において、前記情報機器における映像をデジタル撮影する際に、撮像時のレンズ及び撮像素子パラメータを利用すること及び、記録時のフレームイメージ間容量差分をキャッシュして一定時間間隔で解析し、フレームイメージ容量の時間変化量との両方を判断することによって、記録動画データの再生時の転送容量を録画記録時に一定にすると伴に、圧縮率変更を一定時間間隔に抑えることによって再生時の負荷が軽減可能である録画イメージ転送容量制御方式を提供することが出来るという効果がある。
【発明を実施するための最良の形態】
【００１０】
次に本発明の録画イメージ転送容量制御方式について図面を元に詳細に説明する。
【実施例１】
【００１１】
以下、図1〜図6に基づき、本発明による録画イメージ転送容量制御方式を具現化した録画イメージ転送容量制御方式の好適な実施例を説明する。
【００１２】
図1は本発明の録画イメージ転送容量制御方式を具現化したブロック図である。
【００１３】
100: 外部映像を取込むレンズ部。
【００１４】
101: レンズ部で取込まれた外部映像をデジタルデータ化する撮像部。
【００１５】
102: リサイズ・圧縮等を行う画像処理部。
【００１６】
103: MPEG4処理を行うMPEG4エンコーダ部。
【００１７】
104: デジタル圧縮映像を動画として保存を行う記録管理部。
【００１８】
105: 動画が実際保存されるメモリデバイス。
【００１９】
図2は、本発明における第一の実施の形態についてのフロー図である。
【００２０】
以下の説明において、動画録画方式は、特に断らない限りMotion-JPEG録画方式である。
【００２１】
外部の映像をレンズ部100で輝度やホワイトバランス、フォーカス等を調整した画を作り出し(S1010)、撮像部（CCD や CMOSセンサー等)101にて電子データとして単位時間（1フレーム）分取込むと共に、当該連続静止画電子データを次の２つのブロックへの入力として複製し、送出する(S1020)。
【００２２】
一つ目のブロックである画像処理部102は、入力として取込んだ1フレーム単位の静止画電子データを指定取り込みサイズへのサイズ変換、指定圧縮率での圧縮を行い(S1090)、データバスを介して記録管理部104に転送する(S1030)。
【００２３】
二つ目のブロックであるMPEG4エンコーダ部103は、入力として取込んだ1フレーム単位の静止画連続電子データの動き補償パラメータ等からシーンチェンジを検出すると、コントロールバスを介して画像処理部102にシーンチェンジ検出信号を送出する(S1040)。
【００２４】
コントロールバスを介してMPEG4エンコーダ部103からのシーンチェンジ検出信号を受信した画像処理部102は、シーンチェンジ検出フラグをトグルする。
【００２５】
その後、記録管理部104にて、メモリデバイス105に1フレームイメージを記録する(S1060)。前記メモリデバイス105に1フレームイメージを記録する際に、1フレームイメージ間容量差を複数枚前のフレームからキャッシュしながらチェックする。具体的には、現フレームと一つ前フレーム、現フレームと二つ前フレーム、現フレームと三つ前フレーム、現フレームと四つ前フレーム、現フレームと五つ前フレーム等の各々の容量差を求めキャッシュする。なお、複数枚前の枚数は、フレームレートに対応して変化させる。
【００２６】
前記キャッシュされた容量差を一定時間毎に解析し（単位時間あたりの変化量を割り出し）、その結果が、急増加して一定の場合には、低ビットレート信号を、急減少して一定の場合には、高ビットレート信号をコントロールバスを介して画像処理部102に送出する。なお、前記一定時間は、フレームレートに対応して変化させる(S1050)。
【００２７】
前記ビットレート信号をコントロールバスを介して記録管理部104より受信した画像処理部102は、前記一定時間内にシーンチェンジフラグが変化しているかどうかの判定を行う(S1070)
前記判定にて、シーンチェンジフラグ変化があった場合には、前記容量変化が今後続くものと判断し、圧縮パラメータ（Qパラメータ）を受け取ったビットレート信号に応じて変化させる(S1080)。
【００２８】
前記判定にて、シーンチェンジフラグ変化がなかった場合には、前記容量変化は一時的なものと判断し、圧縮パラメータは変更しない。
【００２９】
本第一の実施例を実施することにより、以下のような特有の効果がある。
【００３０】
フレームレート指定時のフレームイメージ容量の変化度合いを、一フレーム単位で圧縮パラメータを変化させること無く、比較的長いフレームレートに同期した一定間隔で一定化することが可能となり、処理軽減にもなるという効果がある。
【実施例２】
【００３１】
本発明における第二の実施例について、図面を元に詳細に説明する。
【００３２】
図3は、本発明における第二の実施の形態を説明するためのブロック図である。
【００３３】
20: カメラ装置
200: 外部映像を取込むレンズ部。
【００３４】
201: レンズ部で取込まれた外部映像をデジタルデータ化する撮像部。
【００３５】
202: リサイズ・圧縮等を行う画像処理部。
【００３６】
203: 画像を本体部に転送するメモリ転送部。
【００３７】
204: レンズパラメータからシーンチェンジを検出するシーンチェンジ検出部。
【００３８】
205: 本体部からの制御情報を送受する通信部。
【００３９】
10: 本体装置
210: カメラ部からの画像を受信する本体メモリ転送部。
【００４０】
211: カメラ部との制御情報を送受する本体通信部。
【００４１】
212: デジタル圧縮映像を動画として保存を行う記録管理部。
【００４２】
213: 動画が実際保存されるメモリデバイス。
【００４３】
以下、図4のフロー図に基づき、本発明による録画イメージ転送容量制御方式を具現化した本体装置及びカメラ装置の好適な第二の実施例を説明する。
【００４４】
以下の説明において、動画録画方式は、特に断らない限りMotion-JPEG録画方式である。
【００４５】
外部の映像をカメラ装置20のレンズ部100で輝度やホワイトバランス、フォーカス等を調整した画を作り出し(S2010)、撮像部（CCD や CMOSセンサー等)101にて電子データとして単位時間（1フレーム）分取込む(S2030)と共に、当該撮像時のオートフォーカス値(AF)、オート露出値(AE)、オートホワイトバランス値(AWB)等をシーンチェンジ検出部204の入力として送信する。
【００４６】
カメラ装置20の画像処理部202は、入力として取込んだ1フレーム単位の静止画電子データを指定取り込みサイズへのサイズ変換、指定圧縮率での圧縮を行い(S2110)、メモリ転送部203に本体装置10の記録管理部212への転送を依頼する。
【００４７】
カメラ装置20のシーンチェンジ検出部204は、入力として取込んだ1フレーム単位の静止画連続電子データの撮像時のオートフォーカス値(AF)、オート露出値(AE)、オートホワイトバランス値(AWB)等からシーンチェンジが起きているかの判定計算を実施し、シーンチェンジが起きていると判定された場合、画像処理部202にシーンチェンジ検出信号を送信する(S2020)。
【００４８】
カメラ装置20のシーンチェンジ検出部204からのシーンチェンジ検出信号を受信したカメラ装置20の画像処理部202は、シーンチェンジ検出フラグをトグルする。
【００４９】
また、カメラ装置20の画像処理部202から1フレーム単位の静止画電子圧縮データを本体装置10の記録管理部212への転送依頼を受け取ったカメラ装置20のメモリ転送部203は、外部バスを介して、本体装置10のメモリ転送部210に1フレーム単位の静止画電子圧縮データを転送し、当該1フレーム単位の静止画電子圧縮データを本体装置10の記録管理部212への送信メッセージを通信部205を介して本体部10のメモリ転送部211に送信する(S2050)。
【００５０】
1フレーム単位の静止画電子圧縮データを外部バスを介して受信すると伴に、本体措置10の通信部211から1フレーム単位の静止画電子圧縮データを本体装置10の記録管理部212への送信メッセージを受信した本体装置10のメモリ転送部210は、内部バスを介して本体装置10の記録管理部212に当該1フレーム単位の静止画電子圧縮データを送信する。
【００５１】
1フレーム単位の静止画電子圧縮データを受信した本体装置10の記録管理部212は、本体装置10のメモリデバイス213に1フレームイメージを記録する(S2060)。前記本体装置10のメモリデバイス213に1フレームイメージを記録する際に、1フレームイメージ間容量差を複数枚前のフレームからキャッシュしながらチェックする。具体的には、現フレームと一つ前フレーム、現フレームと二つ前フレーム、現フレームと三つ前フレーム、現フレームと四つ前フレーム、現フレームと五つ前フレーム等の各々の容量差を求めキャッシュする。なお、複数枚前の枚数は、フレームレートに対応して変化させる。
【００５２】
前記キャッシュされた容量差を一定時間毎に解析し（単位時間あたりの変化量を割り出し）、その結果が、急増加して一定の場合には、低ビットレート信号メッセージを、急減少して一定の場合には、高ビットレート信号メッセージをコントロールバスを介して本体装置10の通信部211にカメラ装置20の画像処理部202へ向けての送信を依頼する(S2070)。なお、前記一定時間は、フレームレートに対応して変化させる。
【００５３】
ビットレート信号メッセージをカメラ装置20の画像処理部202へ向けて送信する依頼を受信した本体装置10の通信部211は、外部通信ラインを介してカメラ装置20の通信部205にビットレート信号メッセージを送信する(S2080)。
【００５４】
ビットレート信号メッセージを受信したカメラ装置20の通信部205は、カメラ装置20の画像処理部202に当該ビットレート信号メッセージを送信する。
【００５５】
前記ビットレート信号をカメラ装置20の通信部205より受信したカメラ装置20の画像処理部202は、前記一定時間内にシーンチェンジフラグが変化しているかどうかの判定を行う(S2090)。
【００５６】
前記カメラ装置20の画像処理部202での判定にて、シーンチェンジフラグ変化があった場合には、前記容量変化が今後続くものと判断し、圧縮パラメータ（Qパラメータ）を受け取ったビットレート信号メッセージのパラメータに応じて変化させる(S2100)。
【００５７】
前記カメラ装置20の画像処理部202での判定にて、シーンチェンジフラグ変化がなかった場合には、前記容量変化は一時的なものと判断し、圧縮パラメータは変更しない。
【００５８】
本第二の実施例を実施することにより、以下のような特有の効果がある。
【００５９】
（１）映像を撮像するカメラ装置と映像を記録する本体装置とに分離合体した構成においても、記録映像容量を一定にできるという効果がある。
【００６０】
（２）映像を撮像するカメラ装置と映像を記録する本体装置とを接続ケーブルで分離した構成においても記録映像容量を一定にできるという効果もある。
【００６１】
（他の実施の形態）
なお、本発明は上記各々の実施の形態に限定されるものではなく、さらに以下のような変形が可能である。
【００６２】
第一実施例において、シーンチェンジ検出手段としてMPEG4Encorder部を用いているが、本構成にとらわれることなく、シーンチェンジが検出できれば何を用いてもよい。
【００６３】
第二実施例において、カメラ装置20のメモリ転送部203からの1フレーム単位の静止画電子圧縮データの転送依頼メッセージをカメラ装置20の通信部205と本体装置10の通信部211を介して、本体装置10のメモリ転送部210に送信しているが、カメラ装置20のメモリ転送部203と本体装置10のメモリ転送部210間で、データの先頭のヘッダ情報として前記1フレーム単位の静止画電子圧縮データの転送依頼メッセージを送信するようにしてもよい。
【００６４】
第一実施例及び第二実施例において、jpeg圧縮率を変えるパラメータとしての圧縮パラメータ(Qパラメータ)を用いているが、このパラメータを与えることにとらわれることなく、jpeg圧縮時にQパラメータによって決定されるQテーブルを予め異なる圧縮率で複数テーブル記憶部に持っていて、当該Qテーブルを可変させることで圧縮率を可変させる構成にしても良い。この場合、QパラメータからQテーブルを決定する処理分の負荷が軽減されるという効果がある。
【図面の簡単な説明】
【００６５】
【図１】本発明の第一の実施例を示すブロック図である。
【図２】第一の実施例におけるフロー図である。
【図３】本発明の第二の実施例を示すブロック図である。
【図４】第二の実施例におけるフロー図である。
【符号の説明】
【００６６】
100、200  レンズ部
101、201  撮像部
102、202  画像処理部
103  MPEG4Encorder部
104、212  記録管理部
105、213  メモリデバイス
204  シーンチェンジ検出部
203、210  メモリ転送部
205、211  通信部
10  本体装置
20  カメラ装置
【図１】
2007074248.tif 000003
【図２】
2007074248.tif 000004
【図３】
2007074248.tif 000005
【図４】
2007074248.tif 000006