(57)【要約】【課題】  遠隔地で撮影した画像からモザイク画像を実時間で生成する際に、撮影画像をそのまま伝送すると大きな帯域を使用してしまい撮影画像を符号化して伝送すると撮影画像に符号化歪が生じるためモザイク画像生成時に高精度な位置合わせが行えず、生成したモザイク画像に歪が生じてしまうという問題がある。【解決手段】  遠隔地において撮影した画像から直接モザイク画像を生成することで符号化歪の影響を受けないモザイク画像生成を行い、撮影枚数が増えるにつれてモザイク画像は拡大するが、モザイク画像更新毎に更新した領域の領域情報と領域画像のみを符号化して伝送し、受信後に更新した領域の領域情報と領域画像からモザイク画像を復元することで伝送帯域削減を行う。【選択図】  図３
2014057228.tif 000002
【特許請求の範囲】
【請求項１】
画像処理部と画像復元部を備えた画像生成システムにおける画像生成方法であって、
画像処理部において、
複数の画像を繋ぎ合わせてモザイク画像を更新する手段と、
入力画像を繋ぎ合わせた際の位置関係を含む更新領域情報と更新領域の画像データを表す更新画像を生成する手段と
前記更新領域情報と更新画像を伝送する手段と、を備え、
前記画像復元部において、
前記更新領域情報と更新画像から前記モザイク画像を復元する手段
を備えることを特徴とする画像伝送方法。
【請求項２】
前記画像処理部において、
前記更新画像を符号化した更新画像ストリームデータを生成する手段と
前記更新領域情報と前記更新画像ストリームデータを伝送する手段と、を備え、
前記画像復元部において、
前記更新画像ストリームデータから更新画像を復号化する手段
を備えることを特徴とする請求項１に記載の画像伝送方法。
【請求項３】
前記更新領域情報は、前記モザイク画像の原点に対する前記入力画像の位置及び更新前のモザイク画像と入力画像との差分領域の形状に関する情報を含むことを特徴とする請求項２に記載の画像生成方法。
【請求項４】
前記更新領域情報は、入力画像と前記入力画像の一つ前に入力された入力画像との位置合わせ情報を含むことを特徴とする請求項２に記載の画像生成方法。
【請求項５】
前記更新領域情報は、入力画像の画像サイズを含むことを特徴とする請求項４に記載の画像生盛方法。
【請求項６】
前記画像処理部は、入力した画像同士を比較入力した画像間で重複する領域から変化領域を抽出する手段を備え、
前記更新領域情報は、前記変化領域の位置と形状を表す変化領域情報を含み、
前記更新画像は、前記変化領域の画像データを表す変化画像を含むことを特徴とする請求項２に記載の画像伝送方法。
【請求項７】
前記画像処理部は、
前記更新領域情報と更新画像をバッファする手段と、
前記バッファバッファ使用量と前記更新画像の有効画素数に基づいて符号化パラメータを調整する手段と、
を備えることを特徴とする請求項２に記載の画像伝送方法。
【請求項８】
前記画像処理部は、
前記更新したモザイク画像の歪の有無を判定する手段と、
前記更新したモザイク画像に歪が生じたと判定された場合に前記モザイク画像をクリアする手段と
モザイク画像をクリアしたことを表すモザイク画像初期化設定を伝送する手段と
を備えることを特徴とする請求項１に記載の画像伝送方法。
【請求項９】
前記モザイク画像の画像サイズに合わせて、該モザイク画像を格納するメモリ領域を拡大する手段
を備えることを特徴とする請求項１に記載の画像伝送方法。
【請求項１０】
画像処理部と画像復元部を備えた画像生成システムであって、
画像処理部は、
複数の画像を繋ぎ合わせてモザイク画像を更新し、入力画像を繋ぎ合わせた際の位置関係を含む更新領域情報と更新領域の画像データを表す更新画像を生成するモザイク画像更新部と、
前記更新領域情報と更新画像を伝送する送信部、を備え、
前記画像復元部は、
前記更新領域情報と更新画像から前記モザイク画像を復元する画像重畳部
を備えることを特徴とする画像伝送システム。
【請求項１１】
前記画像処理部において、
前記更新画像を符号化した更新画像ストリームデータを生成する更新画像符号化部を備え、
前記送信部から前記更新領域情報と前記更新画像ストリームデータを伝送し、
前記画像復元部は、
前記更新画像ストリームデータから更新画像を復号化する復号化部
を備えることを特徴とする請求項１０に記載の画像伝送システム。
【請求項１２】
前記更新領域情報は、前記モザイク画像の原点に対する前記入力画像の位置及び更新前のモザイク画像と入力画像との差分領域の形状に関する情報を含むことを特徴とする請求項１１に記載の画像伝送システム。
【請求項１３】
前記更新領域情報は、入力画像と前記入力画像の一つ前に入力された入力画像との位置合わせ情報を含むことを特徴とする請求項１１に記載の画像伝送システム。
【請求項１４】
前記更新領域情報は、入力画像の画像サイズを含むことを特徴とする請求項４１３に記載の画像伝送システム。
【請求項１５】
前記モザイク画像更新部は、入力した画像同士を比較入力した画像間で重複する領域から変化領域を抽出し、
前記更新領域情報は、前記変化領域の位置と形状を表す変化領域情報を含み、
前記更新画像は、前記変化領域の画像データを表す変化画像を含むことを特徴とする請求項１１に記載の画像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像伝送装置および画像伝送方法に関して、特に複数の撮影画像を繋ぎ合わせてモザイク画像を生成し伝送する画像伝送装置および画像伝送方法に関する。
【背景技術】
【０００２】
近年、被災地での情報収集や農耕地や山林などの観測のために航空機が情報収集に利用されている。航空機が収集する情報の中でも特に地上を撮影した画像情報はさまざまな用途に利用される。その中でも複数の撮影画像を繋ぎ合わせることで生成できるモザイク画像は、撮影地域全体を俯瞰する事ができるため撮影地域全体の状況把握に有効である。そのため、航空機に搭載したカメラで撮影した複数の撮影画像を繋ぎ合わせて広域かつ高解像度なモザイク画像を生成する技術が重要となっている
次に一般的なモザイク画像の生成方法を説明する。図１はモザイク画像生成処理の概要を示す図である。画像111aは複数の画像を繋ぎ合せて生成したモザイク画像であり、画像111bは新たに撮影された画像である。画像111dは111bの一つ前に撮影され、モザイク画像111aに繋ぎ合せられた画像である。まず画像111dと画像111bの特徴点を検出する。特徴点検出では、画像111dと画像111bから木や人工物などの形状を特徴として検出する（S111）。その後、画像111ｄと画像111bとの画像間で特徴点同士の対応付けを行い、画像間の位置関係を求める（S112）。最後に、対応付けした特徴点同士が１つの画像内の同じ位置になるように、片方の画像111bを変形しもう一方のモザイク画像111aに重ねることでモザイク画像111cを生成する（S113）。
【０００３】
これに対して、特許文献１では高精度な位置合せに基づいた歪の少ないモザイク画像生成の提案がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許公開２００２−１５０２６４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図２は従来方式のモザイク画像生成の運用イメージを示す図である。航空機１００は、地上局１１０から指示を受けて飛行を行い、取得した情報を地上局１１０に伝送する。地上局１１０は、航空機１００から受信する情報に基づいてさらに航空機１００に飛行経路の指示を行う。
【０００６】
しかし、航空機１００と地上局１１０との間は数ｋｍ以上もあるため確保できる通信帯域は低帯域である。そのため、航空機１００に搭載されるカメラで撮影した撮影画像は航空機１００内部の記憶装置に蓄積しておき、着陸後に記憶装置から撮影画像を吸い出して地上でモザイク画像を生成していた。
【０００７】
しかし航空機が着陸した後に地上でモザイク画像を生成すると、地上局１１０でモザイク画像を見ながら実時間で飛行中の飛行機の飛行経路を変更するなどの高度な操作や、迅速な情報収集が行えない。
【０００８】
そこで、特許文献１では、航空機１００に搭載したカメラで撮影した撮影画像をＪＰＥＧやＭＰＥＧに代表される画像符号化技術により符号化することで、伝送レートを削減して地上局１１０に伝送し、地上局１１０側で実時間でモザイク画像を生成し表示していた。
【０００９】
ところが、モザイク画像生成に用いる画像が符号化した画像の場合、位置合わせを行う際に使用する画像に符号化劣化を含んでしまい、モザイク画像生成に必要な高精度な位置合わせが行えず、生成したモザイク画像が実際の地形と一致しない問題が生じてしまう。
【００１０】
特許文献１はこの問題に言及しておらず、高精度な位置合せによるモザイク画像の生成と、遠隔地での実時間でのモザイク画像の閲覧を両立することができないという課題があった。本発明は上記の問題を鑑みて行われたもので、低帯域な通信環境におけるモザイク画像の生成および伝送において、高精度な位置合わせによるモザイク画像の生成と実時間かつ低帯域なモザイク画像の伝送を両立することを目的としている。
【課題を解決するための手段】
【００１１】
画像処理部は、複数の画像を繋ぎ合わせてモザイク画像を更新する手段と、入力画像を繋ぎ合わせた際の位置関係を含む更新領域情報と更新領域の画像データを表す更新画像を生成する手段と前記更新領域情報と更新画像を伝送する手段と、を備え、画像復元部は、前記更新領域情報と更新画像から前記モザイク画像を復元する手段を備える。
【発明の効果】
【００１２】
本発明によると複数枚の撮影画像から高精度に位置合わせして生成したモザイク画像を、低帯域な通信環境でも実時間で遠隔地に安定的に伝送することができる。
【図面の簡単な説明】
【００１３】
【図１】モザイク画像生成処理の概要
【図２】従来方式のモザイク画像生成の運用イメージ
【図３】モザイク画像伝送装置の構成
【図４】画像処理部の構成
【図５】位置合わせ部の処理内容
【図６】モザイク画像更新部の処理内容
【図７】差分領域の概念図
【図８】更新画像符号化部の構成図
【図９】画像復元部
【図１０】画像重畳部の処理内容
【図１１】画像処理部の構成
【図１２】画像重畳部の処理内容
【図１３】モザイク画像更新部の処理内容
【図１４】変化領域の概念図
【発明を実施するための形態】
【実施例１】
【００１４】
図３は、本発明のモザイク画像伝送システムの構成を示す図である。モザイク画像伝送システムは、カメラ２００と画像処理部２１０と送信部２２０と受信部２３０と画像復元部２４０と表示部２５０を備える。本装置の実施形態の一例として、航空機にカメラ２００と画像処理部２１０と送信部２２０を搭載し、受信部２３０と画像復元部２４０と表示部２５０を地上局に設置する構成が考えられる。
【００１５】
カメラ２００は、任意の時間間隔で対象の画像を撮影し、画像処理部２１０に撮像画像として送出する。
【００１６】
画像処理部２１０は、複数の撮影画像からモザイク画像を生成し、モザイク画像の更新領域を符号化した更新画像ストリームと、更新画像の領域を示す更新領域情報を送信部２２０に出力する。
【００１７】
送信部２２０は更新画像と更新領域情報を遠隔地に送出する。
【００１８】
受信部２３０は送信部２２０が送出した更新画像と更新領域情報を受け取り、画像復元部２４０に出力する。
【００１９】
画像復元部２４０は、更新画像と更新領域情報からモザイク画像を復元し表示部２５０に出力する。
【００２０】
表示部２５０は受け取ったモザイク画像を表示してユーザに提示する。
【００２１】
図７に差分領域の概念を示す。一つ前の撮影画像704までで作成したモザイク画像である画像７０１を、次の撮像画像７０２を用いて更新した画像がモザイク画像７０３である。このとき、右の画像７０２を変形した画像のうち、一つ前の撮影画像704までで作成したモザイク画像である左の画像７０１と重複していない領域が差分領域７００である。また、差分領域７００の位置と形状が差分領域情報、差分領域７００の画像が差分領域画像である。
【００２２】
図４は本発明による画像処理部２１０の構成を示す図である。画像処理部２１０は、カメラ２００から入力される撮像画像３５０と該撮影画像が入力される一つ前に入力された撮像画像との位置合せを行い位置合せ情報３６０とモザイク画像初期化設定３８０とを生成する位置合せ部３００と、位置合せ情報３６０と撮像画像３５０から更新領域情報３７０と更新画像３９０とを生成するモザイク画像更新部３１０と、更新画像３９０を画像符号化して更新画像ストリーム４００を出力する更新画像符号化部３２０を備える。
【００２３】
画像処理部２１０は、画像処理部２１０の外部から入力される撮影画像３５０を位置合せ部３００に送出する。
【００２４】
位置合せ部３００は、画像処理部２１０の外部から入力される撮像画像３５０（図７の７０２）と、該撮影画像が入力される一つ前に入力され位置合わせ部３００内部に記憶されている撮像画像３５０（図７の７０４）との間で画像の位置合せを行い、位置合せ情報３６０を出力する。
【００２５】
モザイク画像更新部３１０は、位置合わせ部３００から入力される位置合せ情報３６０と画像処理部２１０の外部から入力される撮像画像３５０とモザイク画像更新部３１０の内部に記憶している既に作成されているモザイク画像（図７の７０１）の形状の情報であるモザイク画像領域情報とから更新領域情報３７０と更新画像３９０を生成し、モザイク画像およびモザイク画像領域情報の更新を行う。モザイク画像７０１はモザイク画像７０３に示すように更新される。
【００２６】
更新画像符号化部３２０は、モザイク画像更新部３１０から入力される更新画像３９０の画像符号化を行い、更新画像ストリーム４００を生成し出力する。
【００２７】
本発明によれば、符号化劣化を含まない撮影画像３５０を用いて画像処理部でモザイク画像を生成するため、高精度な位置合せを行ったモザイク画像が生成できる。
【００２８】
さらに、逐次拡大していくモザイク画像において、随時モザイク画像の更新領域のみの画像を符号化して送信するため伝送する画像情報を大幅に削減することができ、低帯域な通信環境でも実時間でモザイク画像の伝送を行うことができる。
【００２９】
図５は位置合せ部３００の処理内容を示したフロー図である。位置合せ部３００は、処理を開始すると、フレーム番号初期化ステップ５００を実行する。
【００３０】
フレーム番号初期化ステップ５００では、フレーム番号ｋを０に設定し、画像読込ステップ５１０を実行する。
【００３１】
画像読込ステップ５１０では、位置合わせ部３００の外部から撮影画像３５０の読み込みを行い、特徴点検出ステップ５２０を実行する。
【００３２】
特徴点検出ステップ５２０では、撮像画像３５０からコーナー特徴などの画像特徴を用いて特徴点の検出を行い特徴点群情報を生成し、フレーム番号判定ステップ５３０を実行する。なお、特徴点検出ステップ５２０で使用する画像特徴は、特徴点同士の対応付けが可能であれば、コーナー特徴に限らない。
【００３３】
フレーム番号判定ステップ５３０では、フレーム番号ｋが０ならば位置初期化ステップ５４０を、フレーム番号ｋが０でないならば特徴点対応付けステップ５５０を実行する。
【００３４】
位置初期化ステップ５４０では、位置合せ情報３６０をモザイク画像の原点に設定し、モザイク画像初期化設定３８０をアサートして出力して、継続判定ステップ５７０を実行する。
【００３５】
特徴点対応付けステップ５５０では、撮像画像３５０から検出された特徴点群情報と一つ前の撮像画像３５０から検出された特徴点群情報との対応付けを行い、対応した特徴点の組を特徴点ペアとして扱い、特徴点ペア群を出力し、位置推定ステップ５６０を実行する。
【００３６】
位置推定ステップ５６０では、特徴点ペア同士の位置関係から画面全体の位置関係を推定し、位置合わせ情報３６０として出力し、モザイク画像初期化設定３８０をディアサートして出力し、継続判定ステップ５７０を実行する。このとき、位置合わせ情報３６０は、特徴点ペア同士の位置関係から導かれるアフィン変換や射影変換などの変換行列として表現される。
【００３７】
継続判定ステップ５７０では、モザイク画像生成を継続するか判定処理を行い、継続実行する場合はフレーム番号加算ステップ５８０を実行、継続実行しない場合はフレーム番号初期化ステップ５００を実行する。モザイク画像生成の継続判定ステップ５７０では以下の三つの判定処理が行われる。
【００３８】
一つ目の判定処理は、フレーム番号が設定されたフレーム制限数以上の場合はモザイク画像生成を継続実行しないと判定し、フレーム番号が設定されたフレーム制限数未満の場合は二つ目の判定を実行する。これにより、モザイク画像生成時の誤差蓄積を一定間隔でリセットする
二つ目の判定処理は、特徴点検出ステップ５２０で検出された特徴点群が含む特徴点数が設定された許容特徴点数よりも少ない場合はモザイク画像生成を継続実行しないと判定し、特徴点検出ステップ５２０で検出された特徴点群が含む特徴点数が設定された許容特徴点数と同じかもしくは多い場合は三つ目の判定を実行する。これにより、画像同士の位置合せに十分な特徴点数が得られなかった場合にはモザイク画像生成しない。
【００３９】
三つ目の判定処理は、特徴点ペアが既定の数得られ、かつ位置合せ情報３６０を評価し正常と評価した場合にはモザイク画像生成を継続実行すると判定し、特徴点ペアが既定の数得られなかった場合もしくは位置合せ情報３６０を評価し異常と評価した場合にはモザイク画像生成を継続実行しないと判定する。これにより、異常な位置合せ情報３６０が得られた場合にモザイク画像を生成しない。
【００４０】
フレーム番号加算処理５８０では、フレーム番号ｋをインクリメントし、画像読込ステップ５１０を実行する。
【００４１】
図６は本実施の形態におけるモザイク画像更新部３１０の処理内容を示したフロー図である。モザイク画像更新部３１０では処理を開始したら、画像読込処理を実行する。
【００４２】
画像読込ステップ６００では、画像処理部２１０の外部から撮影画像３５０の読込を行い、位置合せ情報取得ステップ６１０を実行する。
【００４３】
位置合せ情報取得ステップ６１０では、位置合せ部３００から位置合せ情報３６０を取得し初期化設定取得ステップ６２０を実行する。
【００４４】
初期化設定取得ステップ６２０では、位置合せ部３００からモザイク画像初期化設定３８０を取得し、画像変形ステップ６３０を実行する。
【００４５】
画像変形ステップ６３０では、位置合せ情報３６０を基に撮影画像３５０を変形して変形撮影画像として出力し差分領域情報生成ステップ６４０を実行する。
【００４６】
差分領域情報生成ステップ６４０では、変形撮影画像の領域の内、前の撮影画像までで生成されているモザイク画像と重複していない領域部分を差分領域７００として、モザイク画像の原点に対する差分領域の位置と形状を表す差分領域情報を生成し、差分領域情報を更新領域情報３７０として送信部に出力し、差分画像生成ステップ６４０を実行する。なお、差分領域情報はマスク画像や更新領域の各頂点を順番に列挙したベクトル群など、モザイク画像内での差分領域の位置と形状を表現できるものであれば構わない。また、差分領域情報を記述する単位はモザイク画像の画素単位に変換できるものであれば制限されるものでなく、直接モザイク画像内での画素座標でも、ＧＰＳなどから得られる実環境での絶対位置情報などでも良い。また、起動直後もしくはモザイク画像生成打ち切り直後の位置合わせ情報は位置合わせ部によってモザイク画像の原点に設定され、かつ前撮影画像までを用いて生成したモザイク画像と重複している領域が無いため、撮影画像３５０がそのまま差分領域に撮影画像３５０の位置と形状が差分領域となる。
【００４７】
差分画像生成ステップ６５０では、変形撮影画像のうち差分領域情報の示す位置と形状の部分を抽出して差分画像を生成し、差分画像を更新画像３９０として更新画像符号化部３２０に出力し、モザイク画像生成ステップ６８０を実行する。
【００４８】
モザイク画像生成ステップ６８０では、前の撮影画像３５０までで生成されているモザイク画像に差分領域情報が示す領域に差分画像を重畳することでモザイク画像を更新して、初期化判定ステップ６７０を実行する。
【００４９】
初期化判定ステップ６７０では、モザイク画像初期化設定３８０がディアサートされているなら画像読込ステップ６００を実行、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ６８０を実行する。
【００５０】
モザイク画像初期化ステップ６８０では、保持しているモザイク画像をクリアし、画像読込処理ステップ６００する。
【００５１】
モザイク画像更新部では、システム内に保持しているメモリのうち、逐次拡大していくモザイク画像の画像サイズに合わせて、モザイク画像を保持するメモリ領域を拡大する。一方で、モザイク画像初期化ステップ６８０で、保持しているモザイク画像をクリアする場合は、モザイク画像が使用していたメモリ領域を解放する。従って本発明のモザイク画像更新部では、最初から大規模なメモリ領域を確保する必要が無く、常にモザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。  図８は更新画像符号化部の構成を示す図である。更新画像符号化部３２０は、更新画像３９０を符号化する画像符号化部８００と、符号化した更新画像ストリーム４００をバッファリングし外部に出力する送出バッファ８１０と、送出バッファの使用状況に応じて符号化パラメータを出力する符号化制御部８２０を備える。
【００５２】
画像符号化部８００は、モザイク画像更新部３１０から更新画像３９０を、符号化制御部８２０から符号化パラメータ８７０を入力し、符号化パラメータ８７０に応じて画像符号化を行い、送出バッファ８１０に符号化結果である更新画像ストリーム８５０を出力し、更新画像３９０の有効画素数である更新画像有効画素数８８０を符号化制御部８２０に出力する。なお、画像符号化部８００で使用する符号化方式は、ＪＰＥＧやＭＰＥＧなどの一般的な符号化方式で構わない。
【００５３】
送出バッファ８２０は画像符号化部８００から入力した更新画像ストリーム８５０をバッファリングし、更新画像ストリーム４００を出力し、送出バッファ８２０のバッファ使用量８６０を符号化制御部８２０に出力する。
【００５４】
符号化制御部８２０では画像符号化部８００から入力した更新画像有効画素数８８０と送出バッファ８１０から入力したバッファ使用量８６０から符号化パラメータ８７０を決定し画像符号化部８００に符号化パラメータ８７０を出力する。
【００５５】
符号化パラメータ８７０の決定方法は符号化方式の実装によって異なるため、一例としてＪＰＥＧで実装した場合を説明する。一般的な画像符号化方式では、画質と符号量はトレードオフの関係にあり、符号化方式がＪＰＥＧで実装された場合は、量子化係数という符号化パラメータ８７０で、画質と符号量を調節できる。また、更新画像ストリーム８５０の符号量は符号化対象となる更新画像の画素数である更新画像有効画素数８８０と相関がある。
【００５６】
本発明による更新画像符号化部３２０では、この特性を利用して、符号化制御部８２０は、送出バッファ８１０のバッファ使用量と更新画像有効画素数８８０に応じて、符号化パラメータ８７０を決定する。これにより、確保できた伝送レートで実時間で転送できる最良な画質で符号化を行うことができる。
【００５７】
具体的には符号化制御部８２０は、送出バッファ８１０のバッファ使用量８６０が多ければ量子化係数を低画質かつ低レートな設定に、送出バッファの使用量が少なければ量子化係数を高画質かつ高レートな設定に、さらに更新画像有効画素数８８０が多ければ量子化係数を低画質かつ低レートな設定に、更新画像有効画素数８８０が少なければ量子化係数を高画質かつ高レートな設定することで、符号化パラメータ８７０を決定する。
【００５８】
本発明の更新画像符号化部３２０によって伝送レートに応じて最適な符号量で符号化されるため、伝送レート超過による伝送漏れを防止することで、通信環境の変動に対して安定なモザイク画像の伝送を行うことができる。
【００５９】
図９は画像復元部２４０の構成を表す図である。画像復元部２４０は、更新画像ストリーム４００を復号化する復号化部９００と、復元更新画像９５０と更新領域情報３７０およびモザイク画像初期化設定３８０からモザイク画像を再構成して復元モザイク画像９６０を生成する画像重畳部９１０から構成される。
【００６０】
画像復元部２４０は、外部から更新画像ストリーム４００と更新領域情報３７０とモザイク画像初期化設定３８０を入力し、モザイク画像を再構成して復元モザイク画像と９６０として外部に出力する。
【００６１】
復号化部９００は、更新画像ストリーム４００を復号化し復元更新画像９５０を生成し画像重畳部９１０に出力する。
【００６２】
画像重畳部９１０は、復元更新画像９５０と更新領域情報３７０とモザイク画像初期化設定３８０を入力してモザイク画像を再構成し復元モザイク画像９６０として画像復元部２４０外部に出力する。
【００６３】
本実施形態によれば、モザイク画像の更新領域情報３７０と更新画像３９０が合わせて送信されるため、一部の更新情報の伝送漏れが発生した場合でも、通信再開後にモザイク画像の再構成処理を再開することができ、安定なモザイク画像の伝送を行うことができる。
【００６４】
図１０は画像重畳部９１０の処理内容を表したフロー図である。画像重畳部９１０は処理を開始すると更新画像読込ステップ１０００を実行する。
【００６５】
更新画像読込ステップ１０００では、復号化部９００から復元更新画像９５０を入力し更新領域情報取得ステップ１０１０を実行する。
【００６６】
更新領域情報取得ステップ１０１０は画像復元部２４０の外部から更新領域情報３７０を入力し、初期化設定取得ステップ１０２０を実行する。
【００６７】
初期化設定取得ステップ１０２０は画像復元部２４０の外部からモザイク画像初期化設定３８０を入力し、モザイク画像更新ステップ１０３０を実行する。
【００６８】
モザイク画像更新ステップ１０３０は、一つ前の復元更新画像９５０までで作成した復元モザイク画像９６０の原点に対して更新領域情報３７０に基づいた位置に復元更新画像９５０を重畳することで復元モザイク画像９６０を更新し、画像復元部２４０の外部に出力し、初期化判定ステップ１０４０を実行する。
【００６９】
初期化判定ステップ１０４０は、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ１０５０を実行、モザイク画像初期化設定３８０がディアサートされているなら復号更新画像読込ステップ１０００を実行する。
【００７０】
モザイク画像初期化ステップ１０５０では、保持している復元モザイク画像９６０をクリアし、復号画像読込ステップ１０００を実行する。なお画像重畳部では、システム内に保持しているメモリのうち、逐次拡大していく復元モザイク画像に合わせて、復元モザイク画像を保持するメモリ領域を拡大する。従って、本発明の画像重畳部では最初から大規模なメモリ領域を使用する必要が無く、常に復元モザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。
【００７１】
本実施形態によれば、符号化前に位置合わせを行うため、高精度な位置合せを行ったモザイク画像を生成することができる。また、撮像枚数が増えるにつれてモザイク画像自体は拡大してくが、更新画像３９０と更新領域情報３７０のみを伝送することで、低帯域な通信環境でも高画質な画像を実時間で伝送することができる。また、本実施形態によれば、更新画像符号化部３２０によって伝送レートに応じて最適な符号量で符号化されるため、伝送レート超過による伝送漏れを防止でき、また通信の完全遮断などにより一時的な伝送漏れが避けられない場合でも、更新領域情報と更新画像を一緒に転送する事により、通信再開後に途中の画像からモザイク画像の再構築を再開することができ、通信環境の変動に対して安定なモザイク画像の伝送を行うことができる。
【００７２】
なお、本実施形態は実装方法によらず電気回路やソフトウェアによる実装でも本実施形態に含まれるものとする
【実施例２】
【００７３】
図１１は本実施形態による画像処理部２１０の構成を示す図である。画像処理部２１０は、撮像画像３５０を入力し一つ前の撮像画像との位置合せを行いモザイク画像初期化設定３８０を生成する位置合せ部３００と、位置合せ情報３６０と撮像画像３５０から更新画像３９０とを生成するモザイク画像更新部３１０と、更新画像３９０を画像符号化して更新画像ストリーム４００を出力する符号化部３２０を備える。
【００７４】
画像処理部２１０は画像処理部２１０の外部から撮影画像３５０を入力し位置合せ部３００に送出する。
【００７５】
位置合せ部３００は、画像処理部２１０の外部から入力する撮像画像３５０と、位置合わせ部３００内部に記憶している前の撮像画像３５０の間で画像の位置合せを行い、位置合せ情報３６０をモザイク画像更新部３８０に出力し、位置合せ情報３６０と撮影画像３５０の画像サイズ１１００を更新領域情報として画像処理部外部２１０に出力する。
【００７６】
モザイク画像更新部３１０は、位置合わせ部３００から入力する位置合せ情報３６０と画像処理部２１０の外部から入力する撮像画像３５０とモザイク画像更新部３１０の内部に記憶しているモザイク画像領域情報から更新画像３９０を生成し、モザイク画像の更新を行う。更新画像符号化部３２０は、モザイク画像更新部３１０から入力した更新画像３９０の画像符号化を行い、更新画像ストリーム４００を生成し出力する。
【００７７】
本発明の形態によれば、モザイク画像の生成を符号化劣化を含まない撮影画像３５０で行うため、高精度な位置合せを行ったモザイク画像が生成できる。さらに、逐次拡大していくモザイク画像において、随時モザイク画像の更新領域のみの画像を符号化して送信するため伝送する画像情報を大幅に削減することができ、低帯域な通信環境でも実時間でモザイク画像の伝送を行うことができる。
【００７８】
図１２は画像重畳部９１０の処理内容を表したフロー図である。画像重畳部９１０は処理を開始すると復号更新画像読込ステップ１２００を実行する。更新画像読込ステップ１０００では、復号化部９００から復元更新画像９５０を入力し初期化設定取得ステップ１２１０を実行する。初期化設定取得ステップ１２１０は画像復元部２４０の外部からモザイク画像初期化設定３８０を入力し、位置合わせ情報取得ステップ１２２０を実行する。
【００７９】
位置合わせ情報取得ステップ１２２０は、画像復元部２４０の外部から位置合わせ情報３６０と撮影画像の画像サイズ１１００を入力し、差分領域情報生成ステップ１２３０を実行する。差分領域情報生成ステップ１２３０では、位置合わせ情報３６０と撮影画像の画像サイズ１１００から画変形撮影画像の領域の内、前の撮影画像までで生成されているモザイク画像と重複していない領域部分を差分領域として、モザイク画像の原点に対する差分領域の位置と形状を表す差分領域情報を生成し、差分領域情報を送信部に出力し、モザイク画像更新ステップ１２４０を実行する。
【００８０】
モザイク画像更新ステップ１２４０は、一つ前の前の復元更新画像９５０までで作成した復元モザイク画像９６０の原点に対して差分領域情報に基づいた位置に復元更新画像９５０を重畳することで復元モザイク画像９６０を更新し、画像復元部２４０の外部に出力し、初期化判定ステップ１２５０を実行する。初期化判定ステップ１２５０は、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ１２６０を実行、モザイク画像初期化設定３８０がディアサートされいているなら復号更新画像読込ステップ１２００を実行する。
【００８１】
モザイク画像初期化ステップ１２６０では、保持している復元モザイク画像９６０をクリアし、復号画像読込ステップ１２００を実行する。画像重畳部では、システム内に保持しているメモリのうち、逐次拡大していく復元モザイク画像に合わせて、復元モザイク画像を保持するメモリ領域を拡大する。従って、本発明の画像重畳部では最初から大規模なメモリ領域を使用する必要が無く、常に復元モザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。
【００８２】
なお、本実施の形態は画像処理部２１０と画像重畳部９１０以外の構成は実施例１と同じになるため詳細の説明を省く。
【００８３】
本実施形態によると更新領域が複雑な形状になるとき、実施例１の場合は更新領域情報３７０の情報量が多くなってしまうのに対して、本実施形態では画像処理部２１０から画像重畳部９１０へは情報量が少ない位置合わせ情報３６０と撮影画像の画像サイズ１１００を更新領域情報として送り、画像重畳部９１０側で再度差分領域情報を計算することで実施例１よりも伝送レートの低減を抑えることができる。尚、撮影画像の画像サイズが一定である場合は、画像処理部２１０は画像復元部９１０に、位置合わせ情報のみを更新領域情報として送信すればよい。
【実施例３】
【００８４】
実施例３では、元のモザイク画像と次の撮影画像の重複している領域のうち特に大きく変化している領域（変化領域）も更新領域として更新画像及び更新領域を画像処理部から画像復元部に送信する場合を説明する。
【００８５】
図１４に変化領域の概念を示す。一つ前の撮影画像までで作成したモザイク画像である画像１５００を、次の撮像画像１５１０を用いて更新した画像がモザイク画像１５２０である。
【００８６】
モザイク画像１５２０のうち、元のモザイク画像１５００と次の撮影画像１５１０の重複している領域１５３０のうち特に大きく変化している領域と変化領域１５４０する。変化領域１５４０の位置と形状を変化領域情報、変化領域１５４０の画像を変化領域画像とする。
【００８７】
図１３は本実施の形態におけるモザイク画像更新部３１０の処理内容を示したフロー図である。モザイク画像更新部３１０では処理を開始すると、画像読込処理を実行する。画像読込ステップ１３００では、画像処理部２１０の外部から撮影画像１５１０の読込を行い、位置合せ情報取得ステップ１３１０を実行する。位置合せ情報取得ステップ１３１０では、位置合せ部３００から位置合せ情報３６０を取得し初期化設定取得ステップ１３２０を実行する。初期化設定取得ステップ１３２０では、位置合せ部３００からモザイク画像初期化設定３８０を取得し、画像変形ステップ１３３０を実行する。画像変形ステップ１３３０では、位置合せ情報３６０を基に撮影画像１５１０を変形して変形撮影画像として出力し差分領域情報生成ステップ１３４０を実行する。
【００８８】
差分領域情報生成ステップ１３４０では、変形撮影画像の領域の内、前の撮影画像までで生成されているモザイク画像１５００と重複していない領域部分１５５０を差分領域として、モザイク画像の原点に対する差分領域の位置と形状を表す差分領域情報を生成し、差分領域情報を更新領域情報３７０として画像処理装置外部に出力し、差分画像生成ステップ１３４０を実行する。なお、差分領域情報はマスク画像や更新領域の各頂点を順番に列挙したベクトル群など、モザイク画像内での差分領域の位置と形状を表現できるものであれば構わない。また、起動直後もしくはモザイク画像生成打ち切り直後の位置合わせ情報は位置合わせ部によってモザイク画像の原点に設定され、かつ前画像までで生成されているモザイク画像と重複している領域が無いため、撮影画像３５０がそのまま差分領域に撮影画像３５０の位置と形状がそのまま差分領域となる。
【００８９】
差分画像生成ステップ１３５０では、変形撮影画像のうち差分領域情報の示す位置と形状の部分を抽出して差分画像を生成し、差分画像を更新画像３９０として更新画像符号化部３２０に出力し、モザイク画像生成ステップ１３８０を実行する。
【００９０】
変化領域情報生成ステップ１３６０では、変形撮影画像の領域で前の撮影画像までで生成されているモザイク画像１５００と重複している領域部分のうち、大きな画像変化があった領域を変化領域１５４０として抽出し、モザイク画像１５００の原点に対する変化領域１５４０の位置と形状を表す変化領域情報を生成し、変化領域情報を更新領域情報３７０として画像処理装置外部に出力し、変化画像生成処理１３８０を実行する。なお、変化領域情報はマスク画像や変化領域の各頂点を順番に列挙したベクトル群など、モザイク画像内での変化領域の位置と形状を表現できるものであれば構わない。また、起動直後もしくはモザイク画像生成打ち切り直後は、モザイク画像と重複している領域が無いため変化領域は存在しない。変化画像生成ステップ１３８０では、変形撮影画像のうち変化領域情報の示す位置と形状の部分を抽出して変化画像を生成し、変化画像を更新画像３９０として更新画像符号化部３２０に出力し、モザイク画像更新ステップ１３９０を実行する。
【００９１】
モザイク画像更新ステップ１３９０では、前の撮影画像３５０までで生成されているモザイク画像に差分領域情報の示す領域に差分画像を、変化領域情報の示す位置に変化画像を重畳することでモザイク画像を更新して初期化判定ステップ１４００を実行する。
【００９２】
初期化判定ステップ１４００では、モザイク画像初期化設定３８０がディアサートされているなら画像読込ステップ１３００を実行、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ１４１０を実行する。
【００９３】
モザイク画像初期化ステップ１４１０では、保持しているモザイク画像をクリアし、画像読込処理ステップ１３００する。モザイク画像更新部では、システム内に保持しているメモリのうち、逐次拡大していくモザイク画像に合わせて、モザイク画像を保持するメモリ領域を拡大する。従って本発明のモザイク画像更新部では、最初から大規模なメモリ領域を確保する必要が無く、常にモザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。
【００９４】
本実施形態によると、撮影画像内で移動物体があった場合に、撮影時間の異なる撮像画像間での差分が大きくなるため、変化領域として検出される。検出された変化領域は更新領域の一つとして更新画像符号化部３２０で画像符号化され画像復元部２４０に送信される。画像復元部２４０は、画像重畳部９１０にて変化領域を更新領域の一つとしてモザイク画像を更新し、変化領域が更新されたモザイク画像を表示する。
【００９５】
従って、本実施形態によると、移動体などによってモザイク画像内で変化があった場合にも、変化領域のみを画像表示部に送ることで、帯域増加を最低減に抑えたまま移動体を含んだモザイク画像を表示することができる。
【符号の説明】
【００９６】
１００  航空機、１１０  地上局、２００  カメラ、２１０  画像処理部、２２０  送信部、２３０  受信部、２４０  画像復元部、２５０  表示部、３００  位置合わせ部、３１０  モザイク画像更新部、３２０  更新画像符号化部、３５０  撮影画像、３６０  位置合わせ情報、３７０  更新領域情報、３８０  モザイク画像初期化設定、３９０  更新画像、４００  更新画像ストリーム、５００  フレーム番号初期化ステップ、５１０  画像読込ステップ、５２０  特徴点検出ステップ、５３０  フレーム番号判定ステップ、５４０  位置初期化ステップ、５５０  特徴点対応付けステップ、５６０  位置推定ステップ、５７０  継続判定ステップ、５８０  フレーム番号加算ステップ、６００  画像読込ステップ、６１０  位置合わせ情報取得ステップ、６２０  初期化設定取得ステップ、６３０  画像変形ステップ、６４０  差分領域情報生成ステップ、６５０  差分画像生成ステップ、６６０  モザイク画像更新ステップ、６７０  初期化判定ステップ、６８０  モザイク画像初期化ステップ、７００  差分領域、８００  画像符号化部、８１０  送出バッファ、８２０  符号化制御部、８５０  更新画像ストリーム、８６０  バッファ使用量、８７０  符号化パラメータ、８８０  更新画像有効画素数、９００  復号化部、９１０  画像重畳部、９５０  復元更新画像、９６０  復元モザイク画像、１０００  復号更新画像読込ステップ、１０１０  更新領域情報取得ステップ、１０２０  初期化設定取得ステップ、１０３０  モザイク画像更新ステップ、１０４０  初期化判定ステップ、１０５０  モザイク画像初期化ステップ、１１００  画像サイズ、１２００  復号更新画像読込ステップ、１２１０  初期化設定取得ステップ、１２２０  位置合わせ情報取得ステップ、１２３０  差分領域情報取得ステップ、１２４０  モザイク画像更新ステップ、１２５０  初期化判定ステップ、１２６０  モザイク画像初期化ステップ、１３００  画像読込ステップ、１３１０  位置合わせ情報取得ステップ、１３２０  初期化設定取得ステップ、１３３０  画像変形ステップ、１３４０  差分領域情報生成ステップ、１３５０  差分画像生成ステップ、１３６０  変化領域検出、１３７０  変化領域情報生成、１３８０  変化画像生成、１３９０  モザイク画像更新ステップ、１４００  初期化判定ステップ、１４１０  モザイク画像初期化ステップ
【図４】
2014057228.tif 000003
【図５】
2014057228.tif 000004
【図６】
2014057228.tif 000005
【図８】
2014057228.tif 000006
【図９】
2014057228.tif 000007
【図１０】
2014057228.tif 000008
【図１１】
2014057228.tif 000009
【図１２】
2014057228.tif 000010
【図１３】
2014057228.tif 000011
【図１】
2014057228.tif 000012
【図２】
2014057228.tif 000013
【図３】
2014057228.tif 000014
【図７】
2014057228.tif 000015
【図１４】
2014057228.tif 000016