(57)【要約】【課題】  伝送レートが一定でない伝送路を介して動画を送信する場合に、フレームの間引きを避ける。【解決手段】  撮像素子（１４）による撮影画像は、ＭＰＥＧ方式で圧縮符号化され、記録媒体（２００，２１０）に記録される。システム制御回路（５０）は、外部機器からの動画フレーム転送要求に応じて、転送可能な動画フレームから転送すべき動画フレームを選択する。その際、Ｉピクチャ及びＩピクチャに続く１つ以上のＰピクチャを優先選択する。通信回路（１１０）は、選択されたデータを外部機器に送信する。【選択図】  図２
2011181989.tif 000002
【特許請求の範囲】
【請求項１】
動画撮影処理を実行する撮像手段と、
前記撮像手段から出力された動画信号をフレーム内符号化及びフレーム間予測符号化を用いて符号化し、フレーム内符号化フレームとフレーム間予測符号化フレームとからなる符号化動画信号を生成する符号化手段と、
前記符号化手段により生成された符号化動画信号を記憶するメモリと、
外部機器から繰り返し送信される転送要求を受け、前記転送要求に応じて、前記メモリに記憶された符号化動画信号を前記外部機器に送信する通信手段と、
前記外部機器からの転送要求を受ける毎に前記外部機器に対して送信可能な前記符号化動画信号のデータ量を算出し、前記算出したレートに基づいて前記メモリに記憶された符号化動画信号のうち前記外部機器に送信するフレームを選択する選択手段
とを備え、
前記通信手段は、前記転送要求に応じて、前記選択手段によって選択されたフレームを前記外部機器に送信する
ことを特徴とする撮像装置。
【請求項２】
前記選択手段は、前記メモリに記憶された符号化動画信号のデータ量が前記算出したデータ量よりも多い場合に、前記メモリに記憶された符号化動画データのうち最も古いフレームが前記フレーム間予測符号化フレームであるか否かを判断し、前記最も古いフレームが前記フレーム間予測符号化フレームであった場合にはこの最も古いフレームを前記外部機器に対して送信するフレームから除外することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段は、前記メモリに記憶された符号化動画信号のデータ量が前記算出したデータ量よりも多い場合に、前記メモリに記憶された符号化動画データのうち最も新しいフレームが前記フレーム間予測符号化フレームであるか否かを判断し、前記最も新しいフレームが前記フレーム間予測符号化フレームであった場合にはこの最も新しいフレームを前記外部機器に対して送信するフレームから除外することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記符号化手段は、１フレームの前記フレーム内符号化フレームと所定数の前記フレーム間予測符号化フレームとからなるＧＯＰを単位として前記動画信号を符号化し、前記選択手段は、前記メモリに記憶された符号化動画信号のデータ量が前記算出したデータ量よりも多い場合に、前記メモリに記憶された符号化動画データのうち前記ＧＯＰの中で最も新しいフレームを前記外部機器に対して送信するフレームから除外することを特徴とする請求項１に記載の撮像装置。
【請求項５】
動画撮影処理を実行する撮像手段と、
前記撮像手段から出力された動画信号をフレーム内符号化及びフレーム間予測符号化を用いて符号化し、それぞれ１フレームのフレーム内符号化フレームと１以上のフレーム間予測符号化フレームとからなる複数のＧＯＰからなる符号化動画信号を生成する符号化手段と、
前記符号化手段により生成された符号化動画信号を記憶するメモリと、
外部機器から繰り返し送信される転送要求を受け、前記転送要求に応じて、前記メモリに記憶された符号化動画信号を前記外部機器に送信する通信手段と、
前記外部機器からの転送要求を受ける毎に前記外部機器に対して送信可能な前記符号化動画信号のレートを算出し、前記算出したレートに基づいて、前記前記メモリに記憶された符号化動画信号のうち前記外部機器に送信するフレームを選択する選択手段
とを備え、
前記通信手段は、前記転送要求に応じて、前記選択手段によって選択されたフレームを前記外部機器に送信する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影機能を有する撮像装置に関する。
【背景技術】
【０００２】
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３２８２８０号公報
【０００４】
従来、動画データを撮影し、外部機器に送信する装置が知られている（特許文献１参照）。また、ＭＰＥＧ等の圧縮符号化方式に従って動画データを圧縮し、外部機器に送信する装置も知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画データを外部機器に送信する場合、伝送路によっては、伝送可能なレートが動画データの符号化レートよりも低く、転送できなくなる場合がある。伝送可能なレートが低い場合には、動画データの圧縮率を高くして符号化レートを下げればよいかが、その場合、動画の画質が低下してしまう。
【０００６】
また、動画データを間引いて送信することも考えられる。しかし、例えば、ＭＰＥＧ方式におけるＩピクチャを間引いてしまった場合、間引いたＩピクチャを参照しているフレームを復号できなくなる。
【０００７】
また、伝送路のレートが一定ではなく、時間と共に変化する場合、一律にフレームを間引いてしまうと、伝送路の帯域を有効に使うことができない。
【０００８】
本発明は、このような不都合を解消する撮像装置を提示することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、動画撮影処理を実行する撮像手段と、前記撮像手段から出力された動画信号をフレーム内符号化及びフレーム間予測符号化を用いて符号化し、フレーム内符号化フレームとフレーム間予測符号化フレームとからなる符号化動画信号を生成する符号化手段と、前記符号化手段により生成された符号化動画信号を記憶するメモリと、外部機器から繰り返し送信される転送要求を受け、前記転送要求に応じて、前記メモリに記憶された符号化動画信号を前記外部機器に送信する通信手段と、前記外部機器からの転送要求を受ける毎に前記外部機器に対して送信可能な前記符号化動画信号のデータ量を算出し、前記算出したレートに基づいて前記メモリに記憶された符号化動画信号のうち前記外部機器に送信するフレームを選択する選択手段とを備え、前記通信手段は、前記転送要求に応じて、前記選択手段によって選択されたフレームを前記外部機器に送信することを特徴とする。
【００１０】
本発明に係る撮像装置は、動画撮影処理を実行する撮像手段と、前記撮像手段から出力された動画信号をフレーム内符号化及びフレーム間予測符号化を用いて符号化し、それぞれ１フレームのフレーム内符号化フレームと１以上のフレーム間予測符号化フレームとからなる複数のＧＯＰからなる符号化動画信号を生成する符号化手段と、前記符号化手段により生成された符号化動画信号を記憶するメモリと、外部機器から繰り返し送信される転送要求を受け、前記転送要求に応じて、前記メモリに記憶された符号化動画信号を前記外部機器に送信する通信手段と、前記外部機器からの転送要求を受ける毎に前記外部機器に対して送信可能な前記符号化動画信号のレートを算出し、前記算出したレートに基づいて、前記前記メモリに記憶された符号化動画信号のうち前記外部機器に送信するフレームを選択する選択手段とを備え、前記通信手段は、前記転送要求に応じて、前記選択手段によって選択されたフレームを前記外部機器に送信することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画撮影中に外部機器に動画フレームを転送する場合、外部機器からの転送要求タイミングに応じて転送すべきフレームを選択するので、効率的な転送を実現できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例の外観斜視図である。
【図２】本実施例の概略構成ブロック図である。
【図３】動画撮影中の外部機器転送のシーケンスを説明するフローチャートである。
【図４】動画撮影を説明するタイミングチャートである。
【図５】動画記録処理のシーケンスを説明するフローチャートである。
【図６】動画転送処理のシーケンスを説明するフローチャートである。
【図７】動画フレーム選択処理を説明するフローチャートである。
【図８】動画フレーム選択処理の例を説明する図である。
【図９】動画フレーム選択処理の優先順位を説明する図である。
【図１０】動画撮影中の外部転送のシーケンスの別例を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１４】
図１は、本発明に係る撮像装置の一実施例であるデジタルカメラ１００の外観斜視図である。カメラ１００の本体の上部には、アクセサリシュー、光学ファインダ１０４、ＡＥ（自動露出）ロックボタン１１２、ＡＦ（オートフォーカス）の測距点選択ボタン１１３、レリーズボタン１１４が設けられている。また、電子ダイアル４１１、モードダイアル６０及び外部表示装置４０９も設けられている。電子ダイアル４１１は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。外部表示装置４０９は液晶表示装置から構成され、シャッタスピード、絞り及び撮影モードなどの撮影条件や、他の情報を表示する。
【００１５】
カメラ１００の背面には、撮影された画像や各種設定画面などを表示するＬＣＤモニタ装置４１７と、ＬＣＤモニタ装置４１７による撮影画像の表示を指示する再生スイッチ６６が設けられている。更には、単写／連写スイッチ６８、十字配置スイッチ１１６、ＳＥＴボタン１１７、メニューボタン１２４及び電源スイッチ７２が設けられている。単写／連写スイッチ６８は、撮影モードとして単写モード又は連写モードを設定する。単写モードは、シャッタスイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態となる撮影モードである。連写モードは、シャッタスイッチＳＷ２（６４）を押している間、連続して撮影を行い続ける撮影モードである。
【００１６】
十字配置スイッチ１１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタンからなる。十字配置スイッチ１１６は、ユーザがＬＣＤモニタ装置４１７に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。
【００１７】
メニューボタン１２４は、ＬＣＤモニタ装置４１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、このメニューボタン１２４を押した後、十字配置スイッチ１１６の上下左右ボタンで希望の項目又は選択肢等を選択し、ＳＥＴボタン１１７を押すことにより、設定が完了する。
【００１８】
図２は、図１に示すデジタルカメラの概略構成ブロック図を示す。１０は撮影レンズ、１２は絞り機能を備えるシャッタ、１４は光学像を電気信号に変換する撮像素子である。１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１９】
１８は撮像素子１４、Ａ／Ｄ変換器１６及びＤ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００２０】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０は、撮像した画像データに、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理のための演算処理を行う。システム制御回路５０は、得られた演算結果に基づいて露光制御手段４０、測距制御手段４２及びフラッシュ４８を制御する。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ処理及びＥＦ（フラッシュプリ発光）処理が行われる。画像処理回路２０はまた、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理として、撮像した画像データの色バランスを調整する。
【００２１】
撮像素子１４、Ａ／Ｄ変換器１６及び画像処理回路２０は、動画撮影処理を実行する撮像手段として機能する。
【００２２】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６の出力データが、画像処理回路２０及びメモリ制御回路２２を介して、又は、メモリ制御回路２２を介して、画像表示メモリ２４とメモリ３０に書き込まれる。
【００２３】
２４は画像表示メモリ、２６はＤ／Ａ変換器である。２８は液晶表示素子（ＬＣＤ）等から成る画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８に供給され、画像表示される。画像表示部２８が、撮像した画像データを逐次表示することで、電子ファインダ機能を実現できる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフできる。画像表示部２８の表示をオフにした場合、カメラ１００の電力消費を大幅に低減出来る。
【００２４】
３０は撮影した静止画像や動画像の画像データを格納するメモリである。メモリ３０は、所定枚数の静止画像又は所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、大量の画像を高速にメモリ３０に書き込める。メモリ３０は、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０は、システム制御回路５０の作業領域としても使用される。
【００２５】
圧縮伸長回路３２は、撮影時には、撮影された静止画をＪＰＥＧ方式に従って圧縮符号化し、撮影された動画データを動画圧縮方式であるＭＰＥＧ方式に従って圧縮符号化する。再生時には、圧縮伸長回路３２は、圧縮された静止画データ又は動画データを伸長する。圧縮伸長回路３２は、メモリ３０の画像データを読み込んで圧縮又は伸長し、処理後のデータをメモリ３０に書き込む。
【００２６】
４０はシャッタ１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も実現する。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段である。４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。
【００２７】
４８はフラッシュであり、ＡＦ補助光の投光機能とフラッシュ調光機能を有する。露光制御手段４０及び測距制御手段４２はＴＴＬ方式で制御される。すなわち、システム制御回路５０が、撮像した画像データに対する画像処理回路２０の演算結果に基づき、露光制御手段４０及び測距制御手段４２を制御する。
【００２８】
５０はカメラ１００を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００２９】
５４はシステム制御回路５０の制御下で、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置及びスピーカ等からなる表示部である。表示部５４は、カメラ１００の操作部近辺の視認し易い位置に単数又は複数、設置される、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせからなる。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００３０】
表示部５４のＬＣＤ等には、シングルショット／連写撮影、セルフタイマ、圧縮率、記録画素数、記録枚数、残撮影可能枚数、シャッタスピード及び絞り値を表示する。また、露出補正、フラッシュ、赤目緩和、マクロ撮影及びブザーの設定を表示する。時計用電池残量、電池残量、エラー、記録媒体２００，２１０の着脱状態、通信Ｉ／Ｆの動作状態、日時等も表示する。他に、複数桁の数字による情報も表示できる。
【００３１】
表示部５４の表示内容のうち、光学ファインダ１０４内には、合焦、手振れ警告、フラッシュ充電、シャッタスピード、絞り値及び露出補正等を表示する。
【００３２】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００３３】
６０、６２、６４及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段である。これらの操作手段は、スイッチ、ダイアル、タッチパネル、視線検知によるポインティング又は音声認識装置等、若しくはこれらの組み合わせからなる。モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、動画撮影モード等の各機能モードを設定する。
【００３４】
６２は、シャッタボタンの半押しでオンとなるシャッタスイッチ（ＳＷ１）であり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始のトリガーとなる。
【００３５】
６４は、シャッタボタンの全押しでオンとなるシャッタスイッチ（ＳＷ２）である。露光処理、現像処理及び記録処理からなる一連の撮像動作のトリガーとなる。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む処理が露光処理である。画像処理回路２０やメモリ制御回路２２での演算が現像処理である。メモリ３０から画像データを読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体２００又は２１０に画像データを書き込む処理が、記録処理である。
【００３６】
７０は各種ボタンやタッチパネル等からなる操作部である。ライブビュー開始／停止ボタン、動画記録開始／停止ボタン、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタンがある。更に、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。
【００３７】
７４はＧＰＳ衛星からの電波を受信するＧＰＳアンテナである。７６は、ＧＰＳアンテナ７４の受信データから演算を行い、現在の位置を検出するＧＰＳユニットである。位置情報により、不揮発性メモリ５６やメモリ３０に格納された地図情報から現在地の地図を取り出せ、インターフェース９０，９４又は通信回路１１０を通して外部機器から現在地の地図を取り込める。７８は、現在の時刻情報（年月日、時分秒及び曜日）を保持する時計ユニットである。
【００３８】
８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御手段８０は、電池の装着の有無、電池の種類及び電池残量を検出し、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。
【００３９】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００４０】
９０，９４は、メモリカードやハードディスク等の記録媒体２００，２１０とのインターフェースである。９２，９６は記録媒体２００，２１０と接続するコネクタである。９８はコネクタ９２，９６に記録媒体２００，２１０が装着されているか否かを検知する記録媒体着脱検知手段である。
【００４１】
本実施例では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、１系統でも、３系統以上でもよく、着脱可能な記録媒体でなくとも良い。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
【００４２】
インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやメモリカード等の規格に準拠したものを用いて構成して構わない。これらの規格に準拠する種々の通信カードを利用できるようになる。例えば、ＬＡＮカード、モデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等がある。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００４３】
１０２は、カメラ１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００４４】
１０４は光学ファインダである。画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことが可能である。光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦、手振れ警告、フラッシュ充電、シャッタースピード、絞り値及び露出補正等の表示手段が配置されている。
【００４５】
１１０は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種の通信回路である。通信回路１１０により、他のコンピュータやプリンタ等の外部機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４６】
１１２は通信回路１１０によりカメラ１００を他の外部機器と接続するコネクタ、或いは無線通信の場合はアンテナである。
【００４７】
記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ１００の本体とのインターフェース２０４、カメラ１００の本体と接続を行うコネクタ２０６からなる。同様に、記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、カメラ１００の本体とのインターフェース２１４、カメラ１００の本体と接続を行うコネクタ２１６からなる。
【００４８】
図３は、本実施例における動画撮影中の外部機器転送のシーケンスを説明するフローチャートである。この処理は、システム制御回路５０が不揮発性メモリ５６に記憶されたプログラムを実行することにより実施される。図４は、本実施例における動画撮影を説明するタイミングチャートである。
【００４９】
動画撮影をするためには、まずメニューボタン１２４やモードダイアル６０を用いて、撮影モードを静止画撮影モードから動画撮影モードに変更する必要がある。動画撮影モードに設定されると、システム制御回路５０がミラーアップを行い、撮影光路外にミラー１３０を退避させ、シャッタ１２を開放して、撮像素子１４に被写体光を露光させる。撮像素子１４から読み出した画像データは、動画フレーム周期（４０１）でフレームバッファメモリ（４０２）として作用するメモリ３０に連続的に書き込まれる。
【００５０】
動画撮影モードにおいて、撮像素子１４は、１秒につき３０フレームの画像データを取得し、これを動画データとして出力する。つまり、撮像素子１４から、１／３０秒周期で１フレームの画像データが出力され、メモリ３０に記憶される。ＬＣＤモニタ装置４１７が電子ビューファインダー（ＥＶＦ）として機能する。必要に応じて画像処理回路２０を用いて、フレームバッファ（４０２）の画像データを読み出して各種画像処理を行った後、逐次、ＬＣＤモニタ装置４１７が表示する（Ｓ３０１）。
【００５１】
動画撮影モード時に、操作部７０の動画記録開始ボタンがオンされた（例えば、ＳＥＴボタン１１７が動画撮影モード時に押された）のを検知することで、動画撮影が開始され、動画記録処理が実行される（Ｓ３０２）。続いて、コネクタ１１２に接続する外部機器に通信回路１１０を用いて動画を転送するための動画転送処理を行う（Ｓ３０３）。最後に、動画撮影が終了したか否かを判定し（Ｓ３０４）、終了していない場合は動画記録処理（Ｓ３０２）に戻る。
【００５２】
図５は、動画記録処理のシーケンスを説明するフローチャートである。動画撮影が開始されてフレームバッファ（４０２）に画像データが書き込まれる（Ｓ５０１）。圧縮伸長回路３２がメモリ３０から画像データを読み出し、ＭＰＥＧ方式に従い画像圧縮処理を行う（Ｓ５０２）。ＭＰＥＧ方式は、フレーム内符号化、前方予測動き補償フレーム間符号化及び双方向予測動き補償フレーム間符号化を選択的に用いて動画データを符号化する方式である。フレーム毎にこれらの符号化が選択される。フレーム内符号化により符号化されたフレーム、すなわち、フレーム内符号化フレームをＩピクチャと呼ぶ。前方予測動き補償フレーム間符号化により符号化されたフレームをＰピクチャと呼ぶ。双方向予測動き補償フレーム間符号化により符号化されたフレームをＢピクチャと呼ぶ。Ｐピクチャ及びＢピクチャは、フレーム間予測符号化フレームである。また、フレーム毎の符号化方式（Ｉ／Ｐ／Ｂ）は、システム制御回路５０により圧縮伸長回路３２に対して指示するパラメータによって決定される。また、ＭＰＥＧでは、ＧＯＰ（Group Of Pictures）と呼ばれる単位で符号化を行う。ＧＯＰは、１フレームのＩフレームと１以上の所定数のＰ，Ｂフレームから構成される。なお、本実施例では、１ＧＯＰにおけるＰ，Ｂピクチャのフレーム数を固定している。
【００５３】
符号化された動画データはメモリ３０に記憶される。本実施例では、所定数のフレーム分の符号化動画データをメモリ３０に記憶することができる。システム制御回路５０は、メモリ３０から符号化動画データを読み出し、順次、記録媒体２００又は２１０に記録する（Ｓ５０３）。
【００５４】
図６は、動画転送処理のシーケンスを説明するフローチャートである。外部機器からの転送要求に従い、システム制御回路５０がメモリ３０の動画データの、転送すべきフレームを優先的に選択して通信回路１１０により外部機器に送信する。なお、この説明例では、動画データをＩピクチャとＰピクチャとにより符号化し、Ｂピクチャを用いない。また、１ＧＯＰが、１フレームのＩピクチャと３フレームのＰピクチャで構成されるとする。また、本実施例では、外部機器から繰り返し転送要求が送信される。
【００５５】
外部機器からの転送要求の有無を確認し、転送要求が無ければ転送処理は行わずに終了し、転送要求があった場合は次の処理を行う（Ｓ６０１）。転送レートから算出された転送可能なデータ量に基づいて、メモリ３０の動画フレームから送信すべきフレームを選択し（Ｓ６０２）、選択された動画フレームを転送する（Ｓ６０３）。転送可能なデータ量を算出するための転送レートを算出する（Ｓ６０４）。すなわち、システム制御回路５０は、外部機器への転送速度を測定する測定手段として機能する。例えば、「転送レート＝転送データ量／転送時間」で計算できる。または、外部装置側でのデータ伸長処理や表示処理のオーバーヘッドを加味し、「転送レート＝転送データ量／転送要求間隔」でも計算できる。ここで算出された転送レートは、次回以降の動画フレーム選択処理で使用される。
【００５６】
図７及び図８は、動画フレーム選択処理のシーケンスを説明する図である。図８において、時間軸方向に、Ｉ−１，Ｐ−１，Ｐ−２，Ｐ−３，Ｉ−２，Ｐ−４，…の順に動画フレームが生成されるものとする。外部機器からの転送要求は転送要求タイミングＴ１〜Ｔ５で示している。なお、図８において、Ｉ−１からＩ−５はそれぞれＩピクチャであり、Ｐ−１からＰ−１５はそれぞれＰピクチャである。
【００５７】
外部機器から転送要求を受信すると、その時点で転送候補の動画フレームのデータ量と転送可能なデータ量を比較し（Ｓ７０１）、転送可能と判断した場合はその転送候補の動画フレームを転送する。転送候補の動画フレームとは、生成済みかつ未転送かつ転送候補から除外していないフレームを示す。図８では、転送要求タイミングＴ１に対し、その時点での転送候補の動画フレーム（Ｉ−１からＰ−２）のデータ量と転送可能なデータ量を比較して転送可能と判断し、その転送候補の動画フレーム（Ｉ−１からＰ−２）を転送している。
【００５８】
Ｓ７０１において転送可能なデータ量を超えていると判断した場合、以下の条件１、２に基づいて送信候補のフレームを順次除外することで、送信候補のフレームを選択する。条件１、２に該当しない場合には、予め決められた優先度に従い、優先度が低いフレームを転送候補から外す。条件１は、転送対象のフレームのうち、最も古いフレームがＰピクチャである。条件２は、転送対象のフレームのうち、最も新しいフレームがＰピクチャである。
【００５９】
転送対象のフレームのうち条件１に該当するフレームがある場合（Ｓ７０２）、その該当フレームを転送候補から除外する（Ｓ７０５）。新たな転送候補の動画フレームが転送可能か否か判断し（Ｓ７０６）、転送可能と判断した場合はその転送候補の動画フレームを転送する。図８では、転送要求タイミングＴ２に対し、その時点での転送候補の動画フレーム（Ｐ−３からＰ−６）のデータ量と転送可能なデータ量を比較して転送不可と判断している。そして、条件１に該当するフレーム（Ｐ−３）を転送候補から除外し、新たな転送候補の動画フレーム（Ｉ−２からＰ−６）を転送する。
【００６０】
Ｓ７０２において条件１に該当しない場合、条件２に該当するフレームがあるか否か判定し（Ｓ７０３）、該当するフレームがある場合、該当フレームを転送候補から除外する（Ｓ７０５）。新たな転送候補の動画フレームが転送可能か否か判断し（Ｓ７０６）、転送可能と判断した場合はその転送候補の動画フレームを転送する。図８では、転送要求タイミングＴ３に対し、その時点での転送候補の動画フレーム（Ｉ−３からＰ−９）のデータ量と転送可能なデータ量を比較して転送不可と判断する。そして、条件２に該当するフレーム（Ｐ−９）を転送候補から除外し、新たな転送候補の動画フレーム（Ｉ−３からＰ−８）を転送する。
【００６１】
条件１によれば、転送対象となっているフレームのうち、前回の転送時に、直前のＧＯＰで転送されずに残っていたＰピクチャのうち、最も古いフレームが転送対象から除外される。その結果、外部機器では、直前のＧＯＰで最後に送信したフレームから、次のＧＯＰの先頭のＩピクチャまでが間引かれて復号され、表示されることになる。
【００６２】
条件２によれば、今回転送対象となっているＩピクチャを含むＧＯＰのうち、転送対象となっている最後のＰピクチャが転送対象から除外される。その結果、外部機器では、今回転送対象となっているＧＯＰのうち、除外されたフレームから、次のＧＯＰの先頭のＩピクチャまでが間引かれて復号され、表示されることになる。
【００６３】
Ｓ７０３において条件２に該当するフレームが存在しない場合、予め決められた優先順位に従い、優先順位の低いフレームを選択して転送候補から除外する（Ｓ７０５）。この優先順位を条件３とする。本実施例では、図９に示す様に、１ＧＯＰ中でフレームが古い順に優先順位が高くなるものとする。従って、ＧＯＰ中で最後のＰピクチャの優先順位が最も低くなる。また、ＧＯＰ中で先頭のＩピクチャの優先度が最も高い。この様にフレームを除外した結果、新たな転送候補の動画フレームが転送可能か否か判断し（Ｓ７０６）、転送可能と判断した場合はその転送候補の動画フレームを転送する。
【００６４】
この様に、本実施例では、外部機器からの動画信号の転送要求を受ける毎に、外部機器に対して送信可能な動画信号のデータ量を算出する。そして、メモリに記憶されている、符号化動画信号のデータ量が、算出されたデータ量よりも多い場合には、決められた条件に従って実際に転送するフレームを選択する。これにより、外部機器から転送要求を受ける毎に送信可能なデータ量が変わる場合でも、それに合わせて送信するフレームを選択するので、外部機器にて表示されるフレームが不用意に欠落することがない。
【００６５】
動画記録処理と動画転送処理を順次処理する実施例を説明したが、リアルタイムシステム等のように、動画記録処理と動画転送処理を並列処理するシステムにも適用可能である。
【００６６】
ＩピクチャとＰピクチャから構成された動画データの例を説明したが、Ｂピクチャを含む場合には、条件１の前に、Ｂピクチャを先に候補から除外し、転送可能サイズとなるかどうかを判定する。また、転送候補の動画フレーム内に複数のＧＯＰが含まれる場合、各ＧＯＰにおいて均等に転送候補から除外することによって、表示更新が滑らかになる。
【実施例２】
【００６７】
図１０は、動画撮影中の外部転送のシーケンスを説明するフローチャートである。
【００６８】
ＥＶＦ表示中（Ｓ１００１）に動画記録が開始されると、動画記録処理を行う（Ｓ１００２）。コネクタ１１２に接続する外部機器に通信回路１１０を用いて動画を転送するための動画転送処理を行う（Ｓ１００３）。転送レートから導いたＧＯＰ構成を圧縮伸長回路３２に設定する（Ｓ１００４）。例えば、フレーム落ちの頻度が高い場合にはＧＯＰを小さくし、逆にフレーム落ちが無い場合にはＧＯＰを大きくする。動画撮影が終了したか否かを判定し（Ｓ１００４）、終了していない場合は動画記録処理（Ｓ１００２）に戻る。
【００６９】
この様に、本実施例では、動画送信中に外部機器から転送要求を受けると、転送要求毎に送信可能なレートを算出する。そして、算出したレートに基づいて、符号化動画信号の全てのフレームを外部機器に送信できるように、ＧＯＰの大きさ、即ち、一つのＧＯＰに含まれるフレーム間予測符号化フレームの数を決定している。この様にすることによって、動的に変化する転送レートに適した表示レートを効率的に達成できる。
【図１】
2011181989.tif 000003
【図２】
2011181989.tif 000004
【図３】
2011181989.tif 000005
【図４】
2011181989.tif 000006
【図５】
2011181989.tif 000007
【図６】
2011181989.tif 000008
【図７】
2011181989.tif 000009
【図８】
2011181989.tif 000010
【図９】
2011181989.tif 000011
【図１０】
2011181989.tif 000012