(57)【特許請求の範囲】
【請求項１】
移動体に搭載されたカメラにより撮影された映像を送信先に送信する、前記移動体に搭載された映像送信装置であって、
前記カメラにより撮影された前記映像を取得する映像取得部と、
前記映像のフレームごとに、前に入力されたフレームの前記映像との差分から映像シーン変動量を算出する映像シーン変動量算出部と、
前記映像取得部で取得した映像を送信先へ送信する送信部と、
前記送信先との通信が可能であるか否かを判定する通信判定部と、
前記通信判定部により通信が不可能であると判定された場合に、前記映像シーン変動量に応じて記憶するフレーム数を変化させることで、前記映像のフレームレートを減少させて記憶するフレームレート変更記憶部と、を備え、
前記送信部は、前記通信判定部により一旦通信が不可能であると判定された後通信が可能であると判定された場合に前記フレームレート変更記憶部に記憶した映像を送信する、
ことを特徴とする映像送信装置。
【請求項２】
前記映像の送信不可能となる時間の割合を示す遮断率を、前記移動体から取得した少なくとも姿勢情報と位置情報を含む移動体情報に基づいて算出する遮断率算出部をさらに備え、
前記通信判定部は、前記遮断率算出部で算出した遮断率が予め定められた値以上である場合に前記送信先との通信が不可能であると判定する、
ことを特徴とする請求項１に記載の映像送信装置。
【請求項３】
前記フレームレート変更記憶部に記憶された前記映像が前記送信部により送信される度に前記フレームレート変更記憶部から、送信された映像を削除する映像削除部と、
前記フレームレート変更記憶部に記憶された前記映像がすべて削除されたか否かを判定する削除判定部と、を更に備え、
前記フレームレート変更記憶部は、前記通信判定部により通信が不可能であると判定されてから前記削除判定部により前記映像の削除が完了したと判定されるまでの期間に前記映像取得部で取得した前記映像のフレームレートを減少させて記憶する、
ことを特徴とする請求項１又は２に記載の映像送信装置。
【請求項４】
移動体に搭載されたカメラにより撮影された映像を前記移動体から送信先に送信する映像送信方法であって、
前記カメラにより撮影された前記映像を取得する映像取得ステップと、
前記映像のフレームごとに、前に入力されたフレームの前記映像との差分から映像シーン変動量を算出する映像シーン変動量算出ステップと、
前記映像取得ステップで取得した映像を送信先へ送信する送信ステップと、
前記送信先との通信が可能であるか否かを判定する通信判定ステップと、
前記通信判定ステップにより通信が不可能であると判定された場合に、前記映像シーン変動量に応じて記憶するフレーム数を変化させることで、前記映像のフレームレートを減少させて記憶するフレームレート変更記憶ステップと、を備え、
前記送信ステップは、前記通信判定ステップにより一旦通信が不可能であると判定された後通信が可能であると判定された場合に前記フレームレート変更記憶ステップで記憶された映像を送信する、
ことを特徴とする映像送信方法。
【請求項５】
移動体に搭載されたコンピュータを、
前記移動体に搭載されたカメラにより撮影された映像を取得する映像取得手段、
前記映像のフレームごとに、前に入力されたフレームの前記映像との差分から映像シーン変動量を算出する映像シーン変動量算出手段、
前記映像取得手段で取得した映像を送信先へ送信する送信手段、
前記送信先との通信が可能であるか否かを判定する通信判定手段、
前記通信判定手段により通信が不可能であると判定された場合に、前記映像シーン変動量に応じて記憶するフレーム数を変化させることで、前記映像のフレームレートを減少させて記憶するフレームレート変更記憶手段、として機能させ、
前記送信手段は、前記通信判定手段により一旦通信が不可能であると判定された後通信が可能であると判定された場合に前記フレームレート変更記憶手段に記憶した映像を送信する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像送信装置、映像送信方法、および、プログラムに関する。
【背景技術】
【０００２】
近年、緊急自動車やドクターヘリ内の救急救命士が救命行為を行う際に、搬送中においては傷病者の状態や情報を双方向無線回線等で情報をやり取りし、また一部の情報を電子データとして搬送先病院に送信し、搬送先病院の指示を受ける通信システムが提案されている。
【０００３】
しかし、このような通信システムは走行中の緊急自動車やヘリコプターから衛星通信を利用し、傷病者の情報、動画、準動画の映像情報を病院に送信しているため、送信電波は自動車走行路の路側帯に設置されている電柱、樹木、建築物やヘリコプターの回転翼などの障害物によりしばしば遮断され、動画像がフリーズするなどその伝送品質が低下する問題があった。
【０００４】
そのため、緊急自動車やヘリコプター等の移動体から発信される電波が電柱、樹木、建築物やヘリコプターの回転翼などの障害物により遮断されても、動画像がフリーズするなどその伝送品質が低下することを防止する様々な提案がなされている。
【０００５】
例えば、特許文献１には、障害物によって一時的に遮断された映像情報をメモリに蓄積しておき、通信が再開された後にメモリから読み出して伝送を再開する動画像伝送装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２６３５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の動画像伝送装置では、通信が遮断される時間や頻度が多くなるにつれ、メモリに蓄積される映像情報の量が増加するため、メモリがオーバーフローしてしまうおそれがあった。
【０００８】
この発明は、上記実情に鑑みてなされたものであり、メモリのオーバーフローを防止することのできる映像送信装置、映像送信方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る映像送信装置は、
移動体に搭載されたカメラにより撮影された映像を送信先に送信する、前記移動体に搭載された映像送信装置であって、
前記カメラにより撮影された前記映像を取得する映像取得部と、
前記映像のフレームごとに、前に入力されたフレームの前記映像との差分から映像シーン変動量を算出する映像シーン変動量算出部と、
前記映像取得部で取得した映像を送信先へ送信する送信部と、
前記送信先との通信が可能であるか否かを判定する通信判定部と、
前記通信判定部により通信が不可能であると判定された場合に、前記映像シーン変動量に応じて記憶するフレーム数を変化させることで、前記映像のフレームレートを減少させて記憶するフレームレート変更記憶部と、を備え、
前記送信部は、前記通信判定部により一旦通信が不可能であると判定された後通信が可能であると判定された場合に前記フレームレート変更記憶部に記憶した映像を送信する、
ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、メモリのオーバーフローを防止することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る映像通信システムの構成を示すブロック図である。
【図２】映像送信装置の構成を示すブロック図である。
【図３】遮断率とパラメータの関係を説明するための図である。
【図４】映像送信装置の処理の一例を示すフローチャートである。
【図５】入力映像と出力映像、及びメモリに蓄積される映像の一例を示す図である。
【発明を実施するための形態】
【００１２】
この発明の実施形態について、図面を参照して詳細に説明する。
【００１３】
本実施形態では、本発明に係る映像送信装置を、当該映像送信装置が搭載されるヘリコプターと、映像送信装置から送信された映像を地上局通信装置へ送信する通信衛星と、通信衛星から送信された映像を所望の受信先へと送信する地上局通信装置と、から構成される映像通信システムに適用した例について説明する。
【００１４】
映像通信システムは、図１に示すように、ヘリコプター１００と、通信衛星５００と、地上局通信装置７００と、から構成され、これらは通信可能に接続されている。
【００１５】
ヘリコプター１００は、図示は省略するが、映像送信装置２００と、カメラなどを備えており、カメラで撮影された映像は映像送信装置２００に入力される。
【００１６】
映像送信装置２００は、例えば一般的なコンピュータであり、図２に示すように、記憶部２１０と、制御部２３０と、通信部２５０と、上記各部を相互に接続するシステムバス２７０を備えている。
【００１７】
記憶部２１０は、例えば、フラッシュメモリ、ハードディスク等のメモリから構成され、制御部２３０の各機能部を実現させるためのプログラムが格納されている。また、記憶部２１０には、送信が遮断された場合における映像データが、制御部２３０の処理により格納される。
【００１８】
制御部２３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等から構成される。制御部２３０は、プログラムに従って動作し、後述する所定の機能を提供する。制御部２３０は、プログラムにより提供される主要な機能部として、映像シーン変動量算出部２３１と、遮断率算出部２３３と、映像制御部２３４と、フレームレート制御部２３５と、映像圧縮符号化部２３６と、変調部２３７と、を備えている。
【００１９】
映像シーン変動量算出部２３１は、フレーム単位で入力されるカメラで撮影された映像の変動率を算出する機能を有しており、カメラで撮影された映像信号が入力されたことに応じて、当該映像信号により表される映像のフレーム毎の変動の程度を示す映像シーン変動量を算出し、映像制御部２３４に算出結果を供給する。映像シーン変動量は、例えば、カメラで撮影された映像信号であって、制御部２３０に入力されたフレームにより表される映像と、前回入力されたフレームにより表される映像とのフレーム間差分を求めることにより算出する。映像シーン変動量が大きいほど、すなわち、フレーム間差分が大きいほどカメラパンや被写体の動作が大きいことを示している。映像シーン変動量は、例えば、フレーム間の差分二乗和や差分絶対値和を用いて算出すればよく、この実施形態では、フレーム間における同座標の画素値の差分二乗和を算出し、これを映像シーン変動量とする。
【００２０】
遮断率算出部２３３は、ヘリコプター１００の機体情報をヘリコプター１００の内部に設けられた制御部から取得し、取得した機体情報等に基づいて、障害物等により通信が遮断される時間率（遮断率）を算出する機能を有している。ここで、ヘリコプター１００に搭載される衛星通信用のアンテナ装置は、通常、回転翼の下方のヘリコプター胴体部分に設置されるため、ヘリコプター１００の姿勢あるいは地理的な位置によって、アンテナ装置から通信衛星５００方向は変化し、その結果、アンテナ装置から送信されるビームが回転翼により遮断される時間率が変化する。すなわち、回転翼の幅が一定の値とすれば、通信衛星５００に向かう送信ビームの方向が回転翼の根元から離れるほど、回転翼が１周する間に回転翼により遮断される時間率が小さくなる。例として、約４０ｍｓｅｃ周期で回転翼による遮断が発生し、遮断時間の時間率は通信衛星５００に向かう送信ビームの方向に応じて、０％〜１００％まで変化する。遮断時間の時間率は、図示しない遮断タイミング算出回路により出力される遮断タイミング信号に基づいて算出される。
【００２１】
具体的には、遮断タイミング算出回路は、ヘリコプター１００の姿勢情報と位置情報等からなる慣性航法データと遮断タイミング算出回路５００に記憶されている通信衛星５００の位置情報とからヘリコプター１００から送信される送信ビームの方向を計算し、その結果と回転翼検出信号とから回転翼により送信ビームが遮断されるタイミングを計算する。ここで、回転翼検出信号は、回転翼がその回転軸まわりに１回転する毎に特定回転位置において検出される信号であり、例えば、回転翼あるいは回転軸（回転側）に設けた目印（磁性材料のピンなどによる目印）を、胴体側（固定側）の特定角度に設けた検出器（磁気検出器）により検出し出力する信号である。この検出信号によって回転翼が特定角度位置を通過する時刻が判り、また、検出信号を計数して平均的な翼回転速度が計算されるので、これらに基づいて、回転翼の角度位置の時間変化を算出することができる。遮断タイミング推定回路５００は、回転翼の角度位置の時間変化とビーム方向とからビームが回転翼により遮断される期間と次に回転翼がビームを遮断するまでの期間（送信可能期間）を算出し、遮断タイミング信号を生成して出力する。遮断率算出部２３３は、遮断タイミング推定回路５００から入力された遮断タイミング信号により示される遮断される期間と次に遮断されるまでの期間に基づいて、遮断率を算出し、映像制御部２３４に提供する。
【００２２】
映像制御部２３４は、遮断率算出部２３３から提供された遮断率に基づいて送信データの圧縮パラメータを選定する機能を有している。原理的には、遮断タイミング信号と通信帯域幅とにより伝送可能な伝送ビットレートを算出することができ、この伝送ビットレートから、誤り訂正符号化による冗長分や、フレーム同期語及びプリアンブルなどの付加信号分を差し引くことにより、最大の情報速度を決定することができ、この最大の情報速度に送信データの圧縮符号化後の情報速度が一致するよう圧縮パラメータを設定すれば、最も高品質な通信を行うことができる。
【００２３】
実際には、ヘリコプター１００の機首方向や姿勢、ロータ回転速度によって、時々刻々と遮断タイミングが変化するので、これに合わせて連続的に圧縮パラメータを変化させることは処理を高負荷としてしまうので、数種類の圧縮パラメータをプリセットしておいて、遮断タイミング信号に基づくしきい値判定を行って、圧縮パラメータを選択する手法が好ましい。例えば、映像制御部２３４は、図３に示すように、遮断期間率が時間変化したときに、しきい値である遮断期間率５０％、８０％により判定して送信データの圧縮パラメータを選定する。遮断期間率が５０％未満であるときには、情報速度を高めることができるので高画質・高音質モードに、５０％以上８０％未満では中画質・中音質モードに、８０％以上では情報速度を低くするために低画質・低音質モードに選定する。選定する映像の圧縮パラメータとしては、例えば、単位時間フレーム数、画像サイズなどがあり、音声については音声サンプリング周波数などがある。
【００２４】
また、映像制御部２３４は、遮断率算出部２３３から供給された遮断率に基づいて３０ｆｐｓで入力されるフレーム群から所定のフレームを取り除きフレームレートを変更するコマ落とし処理の実行をフレームレート制御部２３５へ指示する。具体的には、遮断率算出部２３３から供給された遮断率が８０％以上であるか否かを判定し、８０％以上である場合には、コマ落とし処理の実行を開始するようフレームレート制御部２３５に実行指示情報を供給する。また、映像制御部２３４は、一旦遮断率が８０％以上であると判定した場合、メモリに蓄積されたフレームが全て読み込まれたことを示す伝送完了情報が、後述する映像圧縮符号化部２３６から供給されるまでの間、映像シーン変動量算出部２３１から供給された映像変動量をフレームレート制御部２３５へ供給する。具体的には、映像制御部２３４は、遮断率が８０％以上であると判定した場合、記憶部２１０に設けられたメモリ蓄積フラグをオンにセットし、伝送完了情報が供給された場合に、当該メモリ蓄積フラグをリセットする。これにより、メモリ蓄積フラグがオンの間、フレームレート制御部２３５へ映像変動量が供給され、フレーム群がフレームレート制御部２３５によりコマ落とし処理され、メモリに蓄積されることとなる。映像制御部２３４は、遮断率算出部２３３から供給された遮断率が８０％未満となったと判定した場合には、その旨を示す伝送再開情報を映像圧縮符号化部２３６へ供給することで、メモリに蓄積された映像フレームの伝送を開始するよう指示する。
【００２５】
フレームレート制御部２３５は、映像制御部２３４からの指示に応じてフレーム群から所定のフレームを除き、残りのフレームをメモリに格納するコマ落とし処理を実行する機能を備えている。具体的には、３０ｆｐｓで入力されるフレーム群のうち、メモリへの書き込みを行わないフレームに対するメモリのライトイネーブルをディセーブル状態にすることにより、コマ落としするフレームをメモリに書き込まないように制御する。具体的には、映像制御部２３４から供給された映像シーン変動量に基づいて、元のフレーム群からメモリに蓄積すべきフレームの数を決定し、これに応じてコマ落とし処理を実行する。
【００２６】
例えば、フレーム群に含まれる各フレーム間の差分二乗和（映像シーン変動量）が８ビットで表されている場合（０〜２５５までの値で表されている場合）、これらの平均値が０〜８５の範囲であれば、１０ｆｐｓとなるように、８６〜１７０の範囲であれば、１５ｆｐｓとなるように、１７１〜２５５の範囲であれば、３０ｆｐｓとなるように、フレームレート制御部２３５はフレーム群に含まれる映像フレームのうち、メモリに蓄積するフレーム数を決定し、決定した数の映像フレームをメモリに蓄積する。なお、メモリに蓄積される映像フレームと蓄積されない映像フレームとが、元のフレーム群に対して均等に割り振られるようにコマ落としされ、メモリに蓄積されればよい。これによれば、映像シーン変動量が小さいほどメモリに蓄積されない、すなわち、コマ落としされる映像フレームが多くなり、映像シーン変動量が大きいほどコマ落としされる映像フレームの数が少なくなる。すなわち、映像の動き（変化）が小さい映像フレームほどコマ落としされる映像フレームの数が多くなり、映像の動き（変化）が大きい映像フレームほどコマ落としされる映像フレームの数が少なくなる。したがって、コマ落とし処理が実行されてフレーム群から所定の映像フレームがコマ落としされたとしても、受信側で映像を監視する人にとって違和感のない、連続した映像をメモリに格納することができる。また、コマ落とし処理によりメモリに格納されるフレーム数が元のフレーム群に含まれるフレーム数と比較して少なくなるため、通信が遮断される時間や頻度が多くなった場合でも、メモリのオーバーフローを防止することができる。
【００２７】
映像圧縮符号化部２３６は、映像や音声等の送信データを圧縮符号化する圧縮符号化回路である。圧縮符号化の代表的な例としては例えば、ＭＰＥＧ２Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１３８１８−２ Ｖｉｄｅｏ）などが知られている。映像圧縮符号化部２３６は、映像制御部２３４からの指示により、メモリに蓄積されたフレームにより表される映像等の送信データを圧縮符号化し、変調部２３７へ供給する。また、映像圧縮符号化部２３６は、映像制御部２３４から供給されたフレームにより表される映像等の送信データを圧縮符号化し、変調部２３７へ供給する。映像圧縮符号化部２３６は、メモリに蓄積されたフレームを読み込む度に、読み込んだフレームを削除するとともに、メモリ内に蓄積されたフレームが全て読み込まれたか否かを判定する。
【００２８】
変調部２３７は、映像圧縮符号化部２３６から供給された圧縮符号化された送信データを変調し、通信部２５０へ供給する機能を備えている。
【００２９】
通信部２５０は、変調後の送信信号を高周波変換し高出力増幅する機能を有している。当該通信部２５０で増幅された送信信号は、ヘリコプター１００に搭載されている図示しないアンテナ装置を介して通信衛星５００へ送信される。
【００３０】
以上が本実施形態に係る映像通信システムの構成である。
【００３１】
次に、映像通信システムの動作について、映像送信装置２００の動作を中心に、図４〜図６を参照して説明する。映像通信システムは、ヘリコプター１００に搭載されたカメラにより映像を撮影することにより処理を開始し、通信衛星５００を介して地上局通信装置７００へ映像を送信する。カメラにより撮影された映像は、図４に示すように、映像送信装置２００に入力され、映像送信装置２００は、カメラから映像が入力されることにより処理を開始する。
【００３２】
カメラで撮影された映像は、フレーム毎に映像送信装置２００の映像シーン変動量算出部２３１に入力される。映像シーン変動量算出部２３１は、カメラから入力された映像信号により表される映像の映像シーン変動量を算出し（ステップＳ１０１）、入力映像（映像フレーム）とともに映像制御部２３４に供給する。
【００３３】
映像制御部２３４は、映像シーン変動量算出部２３１から映像シーン変動量が供給されると、遮断率を算出する指示を示す遮断率算出要求情報を遮断率算出部２３３に供給し、遮断率算出部２３３がヘリコプター１００から機体情報を取得する（ステップＳ１０２）。そして、取得した機体情報に基づいて遮断率を算出し（ステップＳ１０３）、映像制御部２３４に供給する。
【００３４】
映像制御部２３４は、遮断率算出部２３３から取得した遮断率が８０％以上であるか否かを判定する（ステップＳ１０４）。８０％以上であると判定した場合には（ステップＳ１０４；Ｙｅｓ）、メモリ蓄積フラグをオンにセットする（ステップＳ１０５）。
【００３５】
一方、ステップＳ１０４の処理にて８０％未満であると判定した場合（ステップＳ１０４；Ｎｏ）、映像制御部２３４は、メモリ蓄積フラグがオンであるか否かを判定する（ステップＳ１０６）。メモリ蓄積フラグがオフであると判定した場合（ステップＳ１０６；Ｎｏ）、映像制御部２３４は、映像フレームを映像圧縮符号化部２３６に供給する（ステップＳ１０７）。ステップＳ１０６の処理にてメモリ蓄積フラグがオンであると判定した場合（ステップＳ１０６；Ｙｅｓ）、一度遮断率が８０％以上となった後に遮断率が８０％未満となったことを示していることから、映像制御部２３４は、送信可能であると判断し、送信再開情報を映像圧縮符号化部２３６へ供給することで、メモリに蓄積された映像フレームの送信を再開するよう指示する（ステップＳ１０８）。
【００３６】
ステップＳ１０５またはＳ１０８の処理を実行した後、映像制御部２３４は、映像シーン変動量算出部２３１から取得した映像シーン変動量と、コマ落とし処理の実行を指示する指示情報を、映像フレームとともにフレームレート制御部２３５へ供給する（ステップＳ１０９）。フレームレート制御部２３５は、映像制御部２３４から指示情報を取得すると、映像制御部２３４から取得した映像シーン変動量に基づいてコマ落とし処理を実行し（ステップＳ１１０）、フレーム群をメモリに格納する。
【００３７】
ステップＳ１０７またはＳ１１０の処理を実行した後、映像圧縮符号化部２３６は、映像制御部２３４から送信再開情報を取得したか否かを判定する（ステップＳ１１１）。送信再開情報を取得したと判定した場合には（ステップＳ１１１；Ｙｅｓ）、メモリに蓄積された映像フレームを読み込み、当該フレームにより表される映像等の送信データを圧縮符号化し（ステップＳ１１２）、変調部２３７へ供給する。そして、映像暗号符号化部２３６は、メモリ内に蓄積された映像フレームが全て読み込まれたか否かを判定し（ステップＳ１１３）、全て読み込まれたと判定した場合には（ステップＳ１１３；Ｙｅｓ）、伝送完了情報を映像制御部２３４へ供給し、メモリ蓄積フラグをリセットする（ステップＳ１１４）。
【００３８】
一方、伝送再開情報を取得していないと判定した場合には（ステップＳ１１１；Ｎｏ）、映像制御部２３４から供給された映像フレームにより表される映像等の送信データを圧縮符号化する（ステップＳ１１５）。ステップＳ１１３の処理にてメモリ内に蓄積された映像フレームが全て読み込まれていないと判定した場合や（ステップＳ１１３；Ｎｏ）、ステップＳ１１４の処理を実行した後、またはステップＳ１１５の処理を実行した後、変調部２３７は、映像圧縮符号化部２３６から供給された圧縮符号化された送信データを変調し（ステップＳ１１６）、通信部２５０へ供給する。
【００３９】
通信部２５０は、変調後の送信信号を高周波変換し高出力増幅して（ステップＳ１１７）、ヘリコプター１００に搭載されている図示しないアンテナ装置に出力し（ステップＳ１１８）、処理を終了する。そして、当該アンテナ装置に出力された送信信号が、通信衛星５００を介して地上局通信装置７００へ送信されることで、映像通信システムは処理を終了する。
【００４０】
例えば、図５に示す例では、フレーム番号が１〜１３で示される映像フレームは、遮断率が８０％未満である期間に入力される映像フレームであるため、図４のステップＳ１０７の処理により、映像制御部２３４から映像圧縮符号化部２３６に映像フレームが供給され、ステップＳ１１５〜Ｓ１１８の処理を経て、メモリに蓄積されることなく送信される。
【００４１】
図５に戻り、フレーム番号が１４〜２３で示される映像フレームは、遮断率が８０％である期間に入力される映像フレームであるため、図４のステップＳ１０５の処理により、メモリ蓄積フラグがオンとなり、ステップＳ１０９やＳ１１０の処理により、送信されずにメモリに蓄積されることとなる。そして、図５において遮断率が８０％未満となったときに（図５中の（ａ））、図４のステップＳ１０８の処理により、映像制御部２３４から映像圧縮符号化部２３６へ送信再開情報が供給され、ステップＳ１１２の処理により、メモリに蓄積されたフレームが順に読み込まれることとなる。その際、可能な限りリアルタイム伝送が望ましいため、実時間に早めに追いつくことができるよう、メモリに蓄積された映像フレームが全て読み込まれるまでの間、すなわち、図４のステップＳ１１４の処理により送信完了情報が映像制御部２３４へ供給されてメモリ蓄積フラグがリセットされるまでの間、コマ落とし処理が行われ、映像フレームがメモリに蓄積されることとなる。図５に示す例では、遮断率が８０％未満となった場合においても（図５中の（ａ））、フレーム番号が２４〜３２で示される映像フレームについては、図４のステップＳ１０６の処理にてメモリ蓄積フラグがオンであると判定され、ステップＳ１０９やＳ１１０の処理によりコマ落とし処理が実行されることとなる。図５のフレーム番号が３３で示される映像フレームについては（図５中の（ｂ））、図４のステップＳ１１３にてメモリ内に蓄積された映像フレームが全て読み込まれたと判定され、ステップＳ１１４の処理にてメモリ蓄積フラグがリセットされることにより、カメラにより撮影した映像信号をリアルタイムで送信するリアルタイム伝送を再開する。
【００４２】
以上が、映像送信装置２００を中心とした映像通信システムにおける動作である。このように、本実施形態にかかる映像送信装置２００は、遮断率が８０％以上となった場合に伝送不可能な映像フレーム群のうち、コマ落とし処理にてフレーム数を減少させてメモリ記憶し、遮断率が８０％未満となり伝送可能となったことに応じて記憶した映像フレームを送信する。したがって、伝送不可能なフレームを全て記憶する必要がなく、メモリのオーバーフローを防止することができる。また、コマ落とし処理において、フレーム間の動きが平均的に小さいほど削除されるフレーム数が多くなり、動きが大きいほど削除されるフレーム数が少なくなることから、受信側で映像を監視する人にとって連続した映像を提供することが可能となる。さらに、メモリに蓄積される映像フレームはコマ落とし処理により元のフレーム群に含まれるフレーム数よりも少なくなっていることから、メモリから読み込む映像フレームの数も少なくてすみ、早期にリアルタイム伝送を実現することができる。
【００４３】
（変形例）
この発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。上記実施形態では、遮断率が８０％以上となった場合にコマ落とし処理を実行する例を示したが、これは一例である。例えば、遮断率が８０％未満である場合においても、コマ落とし処理を実行するようにしてもよい。
【００４４】
さらにこの場合、例えば、リアルタイム系の処理とノンリアルタイム系の処理を行う機能部とをそれぞれ分担させるようにしてもよい。具体的には、リアルタイム系の処理を行うフレームレート制御部Ｂとノンリアルタイム系の処理を行うフレームレート制御部Ｃとを設け、セレクタにより、遮断率に応じて野リアルタイム系の処理を実行するかノンリアルタイム系の処理を実行するかを選択するようにすればよい。
【００４５】
これによれば、ノンリアルタイム系の処理が実行不可能となった場合でも、セレクタにより強制的にリアルタイム系の処理に切り替えることができ、動作を継続することが可能となる。
【００４６】
また、上記実施形態では、コマ落とし処理において、差分二乗和が８ｂｉｔで表されている場合、０〜２５５までの値を、１０ｆｐｓと１５ｆｐｓと３０ｆｐｓといった３つのフレームレートに分類する例を示したが、これは一例である。分類するフレームレートの数は、例えば、４つでも５つでもよく、任意である。また、フレームレートの値も、３０以下であれば任意の値であってよい。
【００４７】
また、上記実施形態では、映像シーン変動量に基づいて、元のフレーム群からメモリに蓄積すべきフレームの数を決定する例を示したが、これは一例である。メモリに蓄積すべきフレームの数は、例えば、映像圧縮符号化を行う場合における圧縮率の程度を示す符号化難易度と映像シーン変動量とに基づいて決定するようにしてもよい。これによれば、入力される映像フレームの特徴により適合させてコマ落とし処理を実行することができ、映像の連続性の精度を高めることができる。
【００４８】
また、上述の機能を、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、ＯＳ以外の部分のみを媒体に格納してもよい。
【００４９】
また、搬送波に各プログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ、Ｂｕｌｌｅｔｉｎ  Ｂｏａｒｄ  Ｓｙｓｔｅｍ）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、オペレーティングシステムの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。
【符号の説明】
【００５０】
１００  ヘリコプター
２００  映像送信装置
２１０  記憶部
２３０  制御部
２３１  映像シーン変動量算出部
２３３  遮断率算出部
２３４  映像制御部
２３５  フレームレート制御部
２３６  映像圧縮符号化部
２３７  変調部
２５０  通信部
２７０  システムバス
５００  通信衛星
７００  地上通信装置
【図１】
0005889055.tif 000002
【図２】
0005889055.tif 000003
【図３】
0005889055.tif 000004
【図４】
0005889055.tif 000005
【図５】
0005889055.tif 000006