【手続補正書】
【提出日】平成28年1月6日(2016.1.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第１の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第２の優先度を記憶するメモリと、
ネットワークの状況を監視するネットワーク監視部と、
前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、
前記ネットワークが混雑していると前記装置制御部が判断した場合に、前記第１の優先度が第１の閾値以上で、かつ、前記第２の優先度が第２の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、
前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、を備え、
前記メモリ制御部は、前記メモリのデータ量が第３の閾値以上となった場合には、前記第１の優先度及び前記第２の優先度の低い優先度処理フレームから順に削除することで、前記メモリの空き領域を増やすこと
を特徴とする映像処理装置。
【請求項２】
イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第１の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第２の優先度を記憶するメモリと、
ネットワークの状況を監視するネットワーク監視部と、
前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、
前記装置制御部が、前記ネットワークが混雑していると判断した場合に、前記第１の優先度が第１の閾値以上で、かつ、前記第２の優先度が第２の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、
前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、
前記圧縮された画像データを展開して、より圧縮率が高くなるように再圧縮する再圧縮部と、を備え、
前記メモリ制御部は、前記メモリのデータ量が第３の閾値以上となった場合には、前記第１の優先度及び前記第２の優先度の低い優先度処理フレームに含まれている圧縮された画像データから順に前記再圧縮部に再圧縮させることで、前記メモリの空き領域を増やすこと
を特徴とする映像処理装置。
【請求項３】
対象を撮影して映像データを取得する撮像部と、
前記撮像部で撮影されている対象の時間的経過に応じて値が変化するイベント数値の入力を受けるイベント数値インタフェースと、
前記イベント数値インタフェースに入力されたイベント数値に基づいて、前記撮像部で取得された映像データに含まれている画像データの優先度を示す第１の優先度を決定する優先制御部と、
前記撮像部で取得された映像データに含まれている画像データを圧縮するとともに、前記優先制御部で決定された第１の優先度を当該圧縮された画像データに付加することで、前記優先度処理フレームを生成する圧縮部と、をさらに備え、
前記装置制御部は、前記イベント数値インタフェースが入力を受け付けたイベント数値に基づいて、イベントを特定し、当該特定されたイベントに対応する画像データに対して前記優先制御部が決定した第１の優先度に基づいて、当該特定されたイベントの優先度を示す第２の優先度を決定し、
前記メモリ制御部は、前記装置制御部が特定したイベント毎に、前記装置制御部が決定した第２の優先度とともに前記優先度処理フレームを前記メモリに記憶させること
を特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記メモリ制御部は、
前記メモリに、前記第１の優先度の各々に対応する優先度領域を備えるイベント領域を、前記装置制御部が特定したイベント毎に形成し、
前記第２の優先度及び前記優先度処理フレームを、対応する前記イベント領域の対応する前記優先度領域に格納すること
を特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記メモリ制御部は、
前記メモリに、前記優先度処理フレームを一時的に記憶する並べ替え用領域をさらに形成し、
前記圧縮部で生成された優先度処理フレームを時系列に前記並べ替え用領域に記憶させ、前記並べ替え用領域に記憶された優先度処理フレームに、時系列において前後の優先度処理フレームの格納位置を特定することのできるポインタを付加して、対応する前記イベント領域の対応する前記優先度領域に格納すること
を特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記圧縮部は、前記撮像部で取得された映像データに含まれる１フレームの画像データ毎に圧縮を行なうことで、前記圧縮された画像データを生成すること、
を特徴とする請求項３から５の何れか一項に記載の映像処理装置。
【請求項７】
前記圧縮部は、前記撮像部で取得された映像データに含まれる複数のフレームの画像データに対してフレーム間圧縮を行なうことで、Ｉフレーム、Ｐフレーム及びＢフレームを生成し、Ｉフレームから次のＩフレームの１つ前のフレームまでのデータにより、前記圧縮された画像データを生成すること
を特徴とする請求項３から５の何れか一項に記載の映像処理装置。
【請求項８】
前記メモリ制御部は、
前記メモリに、前記優先度処理フレームを削除することにより空き領域となった領域を示す情報を格納する空き領域管理領域を形成し、
前記空き領域管理領域に格納されている情報で示される空き領域を詰めるように、前記優先度処理フレームを移動させること
を特徴とする請求項１に記載の映像処理装置。
【請求項９】
前記メモリ制御部は、
前記メモリに、再圧縮により空き領域となった領域を示す情報を格納する空き領域管理領域を形成し、
前記空き領域管理領域に格納されている情報で示される空き領域を詰めるように、前記優先度処理フレームを移動させること
を特徴とする請求項２に記載の映像処理装置。
【請求項１０】
前記メモリに記憶されている前記優先度処理フレームは、時系列において前後の優先度処理フレームの格納位置を特定することのできるポインタが付加されており、
前記メモリ制御部は、前記優先度処理フレームを移動する際には、前記ポインタを更新すること
を特徴とする請求項８又は９に記載の映像処理装置。
【請求項１１】
対象を撮影して映像データを取得する撮像部と、
前記撮像部で取得された映像データに含まれる１フレームの画像データを分割した分割領域毎に、当該分割領域の優先度を示す第１の優先度を決定する優先制御部と、
前記撮像部で取得された映像データに含まれる１フレームの画像データを分割した分割画像データを圧縮することで、前記圧縮された画像データを生成するとともに、前記優先制御部で決定された第１の優先度を前記圧縮された画像データに付加することで、前記優先度処理フレームを生成する圧縮部と、
前記撮像部で撮影されている対象に応じて値が変化するイベント数値の入力を受けるイベント数値インタフェースと、をさらに備え、
前記装置制御部は、前記イベント数値インタフェースが入力を受け付けたイベント数値に基づいて、イベントを特定し、当該特定されたイベントに対応する画像データに対して前記優先制御部が決定した第１の優先度に基づいて、当該特定されたイベントの優先度を示す第２の優先度を決定し、
前記メモリ制御部は、前記装置制御部が特定したイベント毎に、前記装置制御部が決定した第２の優先度とともに前記優先度処理フレームを前記メモリに記憶させること
を特徴とする請求項１又は２に記載の映像処理装置。
【請求項１２】
前記装置制御部が、前記ネットワーク監視部で監視されている状況から、前記ネットワークの混雑が解消したと判断した場合に、前記メモリ制御部は、前記圧縮された映像データの送信先からの要求に対応する前記優先度処理フレームに含まれている圧縮された映像データを前記メモリから読み出して、当該読み出された圧縮された映像データを前記送信部に出力させること
を特徴とする請求項１から１１の何れか一項に記載の映像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
メモリ制御部１１７は、６つ機能を備える。メモリ制御部１１７が備える１つ目の機能は、圧縮部１１６から与えられる優先度処理フレームをメモリ１１８に書き込む処理である。メモリ１１８への書き込みは、ＣＰＵ１１５の指示に従い行う。
メモリ制御部１１７が備える２つ目の機能は、１つ目の機能でメモリ１１８に書き込まれた優先度処理フレームを、イベント毎に優先度順に並べ替える機能である。ここで、メモリ制御部１１７は、ＣＰＵ１１５からイベントの開始及び終了と、イベントの優先度を示すイベント優先度（第２の優先度）とを取得して、イベント毎に、優先度処理フレームを優先度順に並べ替えるとともに、イベント優先度をこれらの優先度処理フレームに対応付けてメモリ１１８に記憶させる。
メモリ制御部１１７が備える３つ目の機能は、２つ目の機能で並べ替えられた優先度処理フレームを、メモリ１１８の空き領域確保のために削除する機能である。例えば、メモリ制御部１１７は、メモリ１１８のデータ量が予め定められた閾値（第３の閾値）以上となった場合に、イベント優先度及び優先度処理フレームに含まれている優先度の低い優先度処理フレームから順に削除することで、メモリ１１８の空き領域を増やす。
メモリ制御部１１７が備える４つ目の機能は、１つ目の機能でメモリ１１８に書き込まれた優先度処理フレームを、メモリ１１８の空き領域確保のために、再圧縮部１１９に再圧縮させる機能である。例えば、メモリ制御部１１７は、メモリ１１８のデータ量が予め定められた閾値（第３の閾値）以上となった場合に、イベント優先度及び優先度処理フレームに含まれている優先度の低い優先度処理フレームに含まれている圧縮された画像データから順に再圧縮部１１９に再圧縮させることで、メモリ１１８の空き領域を増やす。
メモリ制御部１１７が備える５つ目の機能は、３つ目の機能又は４つ目の機能により、メモリ１１８に確保された空き領域を整理する機能である。例えば、メモリ制御部１１７は、優先度処理フレームの削除又は再圧縮により空き領域となった領域を詰めるように、優先度処理フレームを移動させる。
メモリ制御部１１７が備える６つ目の機能は、メモリ１１８に記憶されている優先度処理フレームから必要なデータを抽出して、送信部１２０に与えて出力させる機能である。例えば、ネットワークが混雑している場合に、メモリ制御部１１７は、優先度処理フレームに含まれている優先度が予め定められた閾値（第１の閾値）以上であり、かつ、イベント優先度が予め定められた閾値（第２の閾値）以上である優先度処理フレームに含まれている圧縮された画像データをメモリ１１８から読み出し、読み出された圧縮された画像データを送信部１２０から出力させる。また、ネットワークの混雑が解消した場合に、メモリ制御部１１７は、情報処理装置１３０から指示された優先度処理フレームに含まれている圧縮された画像データをメモリ１１８から読み出し、読み出された圧縮された画像データを送信部１２０から出力させる。
以上の６つの機能については、後ほど詳細に説明する。
なお、メモリ制御部１１７が備える３つ目の機能及び４つ目の機能は、ＣＰＵ１１５からの指示に応じて、何れか一方が行われる。ＣＰＵ１１５は、例えば、情報処理装置１３０からの制御に応じて、メモリ制御部１１７に、３つ目の機能及び４つ目の機能の何れかを実行させてもよい。さらに、ＣＰＵ１１５は、まず、４つ目の機能により、圧縮を行なわせても、まだ、メモリ１１８のデータ量が予め定められた閾値（第４の閾値）以上である場合に、３つ目の機能を実行させてもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
ステップＳ１５及びＳ１６の処理は、ＣＰＵ１１５がネットワーク１５０の混雑が解消したと判定されるまで（Ｓ１７でＹｅｓ）、継続される。ステップＳ１７におけるネットワーク混雑解消の判定方法は、ステップＳ１２で行なわれるネットワーク混雑の判定方法と同様である。即ち、ネットワーク１５０のビットレートがカメラ１１０の映像伝送レートを規定回数下回った場合には、ＣＰＵ１１５は、ネットワーク１５０が混雑していると判断し、ネットワーク１５０のビットレートがカメラ１１０の映像伝送レートを上回った場合には、ＣＰＵ１１５は、ネットワーク１５０の混雑が解消されたと判断する。ここで、例えば、ＣＰＵ１１５は、ネットワーク１５０のビットレートがカメラ１１０の映像伝送レートを規定回数上回った場合に、ネットワーク１５０の混雑が解消されたと判断してもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図６は、イベント期間を取得する処理を説明する概略図である。
図６に示されているように、ＣＰＵ１１５は、イベント数値Ｉ／Ｆ部１１３から与えられるイベント数値が、予め設定されたイベント開始閾値以上となった場合に、イベントの開始と判断し、そのイベント数値が、予め設定されたイベント終了閾値以下となった場合に、イベントの終了と判断する。例えば、図６に示されているように、ＣＰＵ１１５は、予め設定されたイベント開始閾値及びイベント終了閾値により、イベントＸ（開始時刻Ｘ０、終了時刻Ｘ１）及びイベントＹ（開始時刻Ｙ０、終了時刻Ｙ１）の期間を判定する。ＣＰＵ１１５は、図３のステップＳ１５において、これら開始時刻と終了時刻との間のイベント期間のみ、メモリ制御部１１７に優先度処理フレームをメモリ１１８に書き込むよう指示を出す。なお、ネットワーク１５０が混雑しておらず、カメラ１１０が図３のステップＳ１３及びＳ１４の処理を行っているときは、イベント期間はネットワーク１５０が混雑していない期間全体とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
図８に示されているフローにより、並べ替え用領域Ｒ１には、１イベント分の優先度処理フレームが書き込まれると、メモリ制御部１１７は、並べ替え用領域Ｒ１に書き込んだ優先度処理フレームを、映像記憶領域Ｒ３のそのイベント用に確保された領域に優先度順に書き込む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
図７（Ｃ）は、イベントＤ用領域Ｒ３Ｄに格納される情報を示す概略図である。
イベント識別情報領域Ｒ４は、イベント内容Ｄ２０、タイムスタンプＤ２１、イベント優先度Ｄ２２、イベントサイズＤ２３及び先頭ポインタＤ２４を格納する。
イベント内容Ｄ２０は、イベントの内容を示す情報である。例えば、映像処理システム１００で河川の水位を監視している場合、イベント内容Ｄ２０は、そのイベント期間中の平均水位を示す。なお、イベント内容Ｄ２０は、ＣＰＵ１１５が生成しメモリ制御部１１７に通知する。
タイムスタンプＤ２１は、イベントの開始時刻と終了時刻とを示す情報である。タイムスタンプＤ２１で示される開始時刻と終了時刻は、優先度別領域Ｒ５に格納される優先度処理フレームを時系列に並べたときに、最初の優先度処理フレームのタイムスタンプと最後の優先度処理フレームのタイムスタンプとそれぞれ一致する。
イベント優先度Ｄ２２は、１つのイベント期間中のイベント数値の平均値により定まるそのイベントの優先度を示す情報である。例えば、ＣＰＵ１１５は、イベント優先度平均値Ｖ、イベント優先度閾値ｄ及びイベント優先度の段階数ＤＳを予め定めておき、１つのイベント期間中のイベント数値の平均値をＶａとすると、下記の（１）式により、イベント優先度を求める。
（ＤＳ／２）＋（Ｖａ−Ｖ）／ｄ                              （１）
ここで、（ＤＳ／２）及び（Ｖａ−Ｖ）／ｄにおいては、小数点以下は切り捨てられる。また、（１）で算出された値がＤＳを超える場合は、ＣＰＵ１１５は、イベント優先度をＤＳとし、その値が１未満である場合には、イベント優先度を１とする。（１）式からも分かるように、イベント優先度は、イベント数値の平均値Ｖａが大きい程大きな値となる。イベント優先度の値が大きいほど、そのイベントの優先度は高くなる。
イベントサイズＤ２３は、イベントＤ領域Ｒ３Ｄのデータサイズを示す情報である。
先頭ポインタＤ２４は、優先度別領域Ｒ５に格納される優先度処理フレームのうち、時系列で最初となるフレームがどの領域に書き込まれているかを指し示すポインタである。例えば、先頭ポインタＤ２４は、その優先度処理フレームに付加された前ポインタの先頭アドレスを示す。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
メモリ制御部１１７は、ＣＰＵ１１５によって指示されるデータの削除処理を、各ポインタ付き優先度処理フレームの前ポインタ及び後ポインタを操作することで実現する。図１０（Ａ）〜（Ｃ）は、削除時におけるメモリ制御部１１７の前ポインタ及び後ポインタの操作例を示す概略図である。
図１０（Ａ）に示されているように、ポインタ付き優先度処理フレームＰＰＦ４１、ポインタ付き優先度処理フレームＰＰＦ４２及びポインタ付き優先度処理フレームＰＰＦ４３は、時系列的に上記の順で前ポインタ及び後ポインタによってつながれている。なお、ポインタ付き優先度処理フレームＰＰＦ４１、ＰＰＦ４２、ＰＰＦ４３の優先度領域は異なっていても良い。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
圧縮部２１６から優先度処理フレームを受け取ったメモリ制御部１１７での処理については、実施の形態１と同様である。なお、優先度及び分割領域数が等しく設定されているため、メモリ１１８の優先度別領域Ｒ５における、それぞれの優先度領域の先頭からｍ番目の優先度処理フレームは、イベントのｍ番目の分割領域の圧縮画像データを含むフレームとなる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
ネットワーク１５０への出力制御においては、ＣＰＵ２１５はネットワーク混雑時、優先度の高いイベントの優先度の高い優先度処理フレームのみを出力するようメモリ制御部１１７に指示を出力する。具体的には、イベント優先度Ｄ２２が一定の閾値以上の、優先度１領域に格納されている優先度処理フレームのみを出力するというような指示を与える。メモリ制御部１１７は、このような指示に従い、イベント優先度Ｄ２２が一定の閾値以上のイベントの、優先度１領域に格納されている優先度処理フレームを先頭から順番に出力する。優先度１領域は、先頭から順番に１フレーム毎の分割領域が並んでいるため、図１４の例では出力は元の映像の１／９の解像度となるが、毎フレームの映像となる。なお、送信部１２０へのデータ出力は、前ポインタ及び後ポインタを除いた優先度処理フレームであり、優先度情報Ｄ２１、タイムスタンプＤ２２、データサイズＤ２３、フレーム内情報Ｄ２４のそれぞれの一部又は全部、並びに、分割領域圧縮データＤ２５が出力される。また、優先度情報Ｄ２１、タイムスタンプＤ２２、データサイズＤ２３及びフレーム内情報Ｄ２４は全てが出力される必要はなく、これらの何れかは出力されなくてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
また、ネットワーク混雑解消時における、情報処理装置１３０が要求するイベント情報のやりとり及び制御は、実施の形態１と同じであるが、ＣＰＵ２１５はその制御をもとにメモリ制御部１１７に一つのイベントのすべての優先度処理フレームの出力を指示する。メモリ制御部１１７はその指示に従い、イベントのデータを時系列で読み出し、優先度処理フレームから１フレームを構成する。