(57)【要約】【課題】撮影画像中に、撮影者が入っているかどうかを判断し、撮影者が撮影画像中に入っていれば、その部分を、撮影画像から削除する、又は、その部分のみを残す事が出来、特に撮影画像が全方位画像の場合、撮影者が向かっている側（撮影者の目線方向）を中心に展開するよう編集する事が出来る。【解決手段】画像データを入力する、画像データ入力手段と、画像データ入力手段に、入力された画像データから、被写体を検出する、被写体検出手段と、被写体検出手段により検出された、被写体の、画像内の位置を検出する位置検出手段と、被写体検出手段及び、前記位置検出手段からの検出結果により、撮影者を判断する、撮影者判断手段と、画像データ入力手段より入力された画像データを、編集加工する、画像編集手段とを有し、前記撮影者判断手段によって、撮影者と判断した被写体の、画像内での位置に基づいて、画像編集手段によって、画像データの編集を行う。【選択図】図１
2016019249.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する、画像データ入力手段と、
前記画像データ入力手段に、入力された画像データから、被写体を検出する、被写体検出手段と、
前記被写体検出手段により検出された、被写体の、画像内の位置を検出する位置検出手段と、
前記被写体検出手段及び、前記位置検出手段からの検出結果により、撮影者を判断する、撮影者判断手段と、
前記画像データ入力手段より入力された画像データを、編集加工する、画像編集手段とを有し、前記撮影者判断手段によって、撮影者と判断した被写体の、画像内での位置に基づいて、画像編集手段によって、画像データの編集を行うことを特徴とする画像処理装置。
【請求項２】
前記被写体検出手段によって、検出された被写体について、前記位置検出手段により検出された画像内での被写体の位置が、予め決められたフレーム数、予め決められた一定の範囲内に入っていた場合、撮影者と判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像編集手段は、入力画像より、撮影者と判断した被写体を削除するよう、画像の切り出しを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像編集手段は、撮影者と判断した被写体を切り出すことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像編集手段は、前記画像データ入力手段に入力された全方位画像を、撮影者が検出された位置と逆側（撮影者から１８０度の位置）を中心に、パノラマ展開することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置に関するものであり、特に、入力動画像内に、撮影者が入っている場合、撮影者を検出する動画像処理装置に関する。
【背景技術】
【０００２】
撮影者が、撮影画像内に入り込む画像として、全方位画像撮影を例にして説明する。全方位画像とは、専用の全方位カメラや、通常のカメラに全方位撮影ユニットを取り付ける事によって撮影された、水平面360度全てを画角内に収めた画像である。
【０００３】
全方位画像は図7Aに示すようなドーナツ形状となり、そのままでは、ユーザから見て、非常に視認しにくい画像となる。そのため、撮影画像を、外部パソコン等により、デジタル処理を行う事により、図７Aのような全方位画像を、図７Bのようなパノラマ画像に展開(以降、パノラマ展開と表記)することが一般に行われている。
【０００４】
このとき、もともと360度全てが、円形に連続していた全方位画像を、パノラマ展開することによって、垂直方向（ドーナツ形状の半径方向）のどこかで分割し、表示範囲を決定し、ドーナツ形状の全方位画像の円周方向を直線に沿うように、画像処理して全方位が写っているパノラマ画像が生成される。
【０００５】
以上説明したような全方位画像を撮影する際、図８Aに示したように、全方位カメラを撮影者が手に持ち、画像を撮影する場合、水平面360度全てを画角内に収めた画像であるため、図８B（パノラマ展開画像図８C）に示すように、撮影する意思の有る無しに関わらず、撮影者が、画角内に入る場合がある。
【０００６】
特許文献1は、全方位画像をパノラマ展開した画像より一部を切り出し表示するもので、特に、撮影画像内の動体を検出し、その部分を切り出す事を提案している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−３０３３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、先行技術は、撮影された画像内の動体を検出し、パノラマ展開画像より、動体部分を切り出し表示するものであり、撮影された画像内の撮影者を検出し、撮影者が検出された場合について、撮影者を切り出し表示する等の画像編集をする事は出来ない。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、撮影された画像より、撮影者を検出し、撮影者が検出された場合、画像内の撮影者の位置により、撮影者を切り出す、又は、撮影者を削除する等の、画像編集を行う事を、目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置の構成は、画像データを入力する、画像データ入力手段と、前記画像データ入力手段より、入力された画像データより、被写体を検出する、被写体検出手段と、前記被写体検出手段により検出された、被写体の、画像内の位置を検出する位置検出手段と、前記画像データ入力手段より入力された画像データを、編集加工する、画像編集手段とを有し、被写体検出手段によって、検出された被写体について、位置検出手段により検出された画像内での被写体の位置が、予め決められたフレーム数、予めきまられた一定の範囲内に入っていた場合、撮影者と判断し、撮影者と判断した被写体の画像内での位置に基ずいて、画像編集手段によって、画像データの編集を行うことを特徴とし、
前記画像編集手段は、入力画像より、撮影者と判断した被写体を削除するよう、画像の切り出しを行うことを特徴とし、前記画像編集手段は、撮影者と判断した被写体を切り出すことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影画像中に、撮影者が入っているかどうかを判断し、撮影者が撮影画像中に入っていれば、その部分を、撮影画像から削除する、又は、その部分のみを残す事が出来、特に撮影画像が全方位画像の場合、撮影者が向かっている側（撮影者の目線方向）を中心に展開するよう編集する事が出来る。
【図面の簡単な説明】
【００１２】
【図１】実施例1の構成図
【図２】実施例１及び実施例２のシーケンスを示すフローチャート
【図３】Aは実施例１の入力画像を説明する図、Bは実施例１の入力画像のパノラマ展開を説明する図、Cは実施例１の被写体位置を説明する図、Dは実施例１の画像編集を説明する図、Eは実施例１の画像編集を説明する図
【図４】実施例２の使用方を説明する図
【図５】実施例２の構成図
【図６】Aは実施例２の入力画像を説明する図、Bは実施例２の被写体位置を説明する図、Cは実施例２の被写体位置を説明する図、Dは実施例２の画像編集を説明する図、Eは実施例２の画像編集を説明する図
【図７】Aは背景技術を説明する図  全方位画像の一例、Bは背景技術を説明する図  パノラマ展開画像の一例
【図８】Aは背景技術を説明する図  全方位撮影を説明する図、Bは背景技術を説明する図  全方位撮影画像の一例、Cは背景技術を説明する図  全方位撮影画像のパノラマ展開画像の一例
【発明を実施するための形態】
【００１３】
［実施例１］
第一の実施例では、全方位動画像を撮影する全方位ビデオカメラに対して、本発明を適用した場合について説明する。
【００１４】
図１に、本実施例の全方位ビデオカメラの構成図を示す。
【００１５】
図１において、符号100は、画像データ入力手段としてのカメラ部であり、符号101〜符号104を含む。符号101は、全方位ユニットであり、水平面360度全ての光を、後述する符号102レンズ部へ出力する。符号102は、焦点距離や絞りの状態を変更可能なレンズ部である。符号103は、例えばCCD（Charge Coupled Device）のような撮像素子でレンズ102により結像した光を電気信号に変換する機能を有する。
【００１６】
符号104は、画像処理部であり、入力画像信号に対し、後述する符号107操作部によって、設定された、撮影モードに応じた、ホワイトバランス、γ補正等の所定の画像処理を行い、得られた画像データを入力画像データとして、後述する符号108メモリに一時蓄積する。尚、本発明では、画像入力部を上記全方位カメラとしたが、これを限定するものではない。
【００１７】
符号105は、表示部であり、撮影時のビューファインダーとしての機能も有する。また、後述する符号107操作部と連動し、本装置を操作する場合の、操作画面としての機能も兼ね備える。符号106は、撮像装置全体の制御を担う制御部であり、後述する符号107操作部からの入力に応じて、装置全体を制御する。また、制御部106は、画像処理部104によって、後述する符号108メモリに蓄積した入力画像データに、撮影者が入っているかどうかを、後述する符号111被写体検出部の結果を使用し、判断する処理も行う。
【００１８】
符号107は、ユーザーインターフェースとしての操作部である。操作部は複数の種類のSWから構成され、表示部105に設定値等を表示し、操作する。符号108は、メモリであり、入力画像データ、符号化データのバッファメモリ、復号化データのバッファメモリ、制御部106のワークメモリ等に使用される。符号109は、動画符号復号化部であり、メモリ108に一時蓄積された入力画像データを、制御部106から指示された圧縮パラメータで、MPEGデータに符号化し、メモリ108に書き戻す。
【００１９】
また、動画符号復号化部109は、後述する符号112記録媒体制御部により、後述する符号113記録媒体より読み出され、メモリ108に一時蓄積されたMPEGデータを、復号画像データに、復号化し、メモリ108に書き戻す機能を有する。符号110は、画像編集部であり、メモリ108に蓄積された、入力画像データを、編集し、入力画像としてメモリ108に書き戻す。符号111は、被写体検出部であり、メモリ108に蓄積された入力画像データ内の、人物検出を行い、人物が検出された際、検出した人物の画像内の位置を、制御部106に通知する。
【００２０】
符号112、113は、記録媒体制御部及び、記録媒体であり、記録媒体制御部112は、メモリ108に蓄積された、データを、記録媒体113に記録する。また、記録媒体113に記録されたデータを、読み出し、メモリ108へ書き込む。符号114はデータバスであり、制御部106から、各機能ブロックへのアクセスおよび、メモリ108を介しての各機能ブロック間のデータ転送等に使用される。
【００２１】
次に、本発明の被写体検出及び、編集動作について図２、図３を用いて説明する。
尚、下記説明する動作は、動画像の処理であり、毎フレーム、同一処理が繰り返し行われるものである。
【００２２】
図2-S201で、操作部107より、制御部106に撮像が指示がされると、動画像の撮像状態が開始される。図2-S202で、全方位ユニット101によりレンズ部102を通過した光は、撮像素子103の撮像面上に結像し、撮像面の光学像が電気信号に変換され、電気信号に変換されたデータを、画像処理部104で、ホワイトバランス、γ補正等の画像処理を行い、メモリ108へ入力画像データとして蓄積する。
【００２３】
図2-S203で、被写体検出部111は、メモリ108に蓄積した入力画像データを読み出し、読み出した入力画像データ内の人物の検出を行う。尚、人物検出の方法は、既知の方法（特開2010-067102、特開2008-185480  等）であり、方法を特定するものではない。被写体が検出された場合、図2-204へ進み、検出されない場合、図2-S202へ戻る。図2-S204で、被写体検出部111は、被写体の画像内の位置を、制御部106へ通知する。本実施例では、図3Cに示したように、全方位画像を、中心より、円周方向に均等に16分割したエリアの何処に被写体が入っているか通知する。図３Cに示した例は、被写体が、10分割目及び、11分割目に被写体が入っているものである。
【００２４】
図2−S205で、制御部106は、通知された被写体位置が、何フレーム連続して同じであるかを判断し、Nフレーム連続して同一であった場合、図2-S206へ進み、同じで無い場合は、図2-S202へ戻る。図2-S206で、制御部106は、検出された被写体を撮影者と判断する。図2-S207で、制御部106は、被写体検出部111から通知された被写体の位置（10分割目、11分割目に被写体が存在）より、図3Dに示したように、11分割、12分割の境界をA点、9分割、10分割の境界をB点、2分割、3分割の境界をC点とする。
【００２５】
ここで、C点は、撮影者が検出された場所の反対側であり、撮影者が向いている方向（撮影者の目線方向）となる。
【００２６】
図2-S208で、制御部106は、画像編集部110に、決定したA,B,C点を通知し、パノラマ展開するよう指示する。画像編集部110は、メモリ108に蓄積された入力画像データを読み出し、C点を中心に、パノラマ展開を行うが、その際、A-B間の画像は破棄し、展開する。パノラマ展開した画像は、入力画像データとして、メモリ108へ書き戻す。
【００２７】
図2-S209で、処理を停止する。本処理（図2-S201〜図2-S209）は、動画像の撮像中は常に毎フレーム連続して処理されているものである。
【００２８】
本実施例の画像例を図３に示す。図3Aは、画像入力部100によって、メモリ108に蓄積された入力画像データである。図3Bは、画像編集部110にて、画像上部を中心にパノラマ展開した場合のパノラマ展開画像である。図3Bでは、前記説明した、A,B,C点による処理を行っていないため、パノラマ展開画像に、被写体が含まれている。
【００２９】
図3Eが、前記説明したパノラマ展開画像の例であり、A、B点間の画像を破棄し、C点を中心としてパノラマ展開している。よって、検出された被写体部分は削除される。また、C点は、撮影者が検出された場所の反対側であり、撮影者が向いている方向（撮影者の目線方向）であるため、撮影者の向いている方向を中心に、パノラマ展開された事となる。
【００３０】
記録動作は、前記説明したように、メモリ108に入力画像として蓄積された画像データを、画像符号復号部109によって、MPEGデータに符号化し、メモリ108へ符号化データとして書き戻され、書き戻された符号化データを、記録媒体制御部112により、記録媒体113に記録する。尚、図2-S207で決定したA,B,C点の座標を、前記符号化データの付加情報（メタデータ）として、同時に記録してもよい。
【００３１】
［実施例2］
第二の実施例では、通常の動画像を撮影するビデオカメラに対して、本発明を適用した場合であり、図4に示すように、ビデオカメラを撮影者に向けている場合である。
【００３２】
図4に、ビデオカメラの構成を示す。本実施例の構成は、図4に示すように、第一の実施例の構成図、図１の構成より、全方位ユニットを削除した構成と同一であり、全方位ユニット(図１-101)以外は、同一であり、本実施例は、第一の実施例で説明した動作と、図2-S204、図2-S207及び、図2-S208で示した、被写体位置通知方法、A,B,C点の決定の仕方及び、画像編集方法のみが異なるものである。他の動作は、実施例1と同一のため説明を省略する。
【００３３】
図2-S203までは、第一の実施例同様の動作をする。図2-S204で、被写体検出部111は、被写体の画像内の位置を、制御部106へ通知する。本実施例では、図6Bに示したように、画像を、縦５分割、横8分割の40の領域に分割し、40分割した領域の何処に被写体が入っているか通知する。図6Aに示した入力画像の場合、図6Cに示したように、被写体が、12,13,20,21,28,29,36,37の領域に被写体が入っているものである。
【００３４】
図2−S205で、制御部106は、通知された被写体位置が、何フレーム連続して同じであるかを判断し、Nフレーム連続して同一であった場合、図2-S206へ進み、同じで無い場合は、図2-S202へ戻る。図2-S206で、制御部106は、検出された被写体を撮影者と判断する。図2-S207で、制御部106は、被写体検出部111から通知された被写体の位置（12,13,20,21,28,29,36,37の領域に被写体が存在）より、図6Cに示したように、4,11,12領域の境界をA点、5,13,14領域の境界をB点、35,36領域の境界をC点とする。
【００３５】
図2-S208で、制御部106は、画像編集部110に、決定したA,B,C点を通知し、画像のトリミングをするよう指示する。画像編集部110は、メモリ108に蓄積された入力画像データを読み出し、A,B,C点を頂点とした長方形のエリアを抜き出し、画角に合わせて拡大処理する。トリミングした画像は、入力画像データとして、メモリ108に書き戻す。トリミング処理を行った例を、図６D、図６Eに示す。
【００３６】
その後の記録動作は、第一の実施例同様である。
【００３７】
（他の実施形態）
上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行することでも本発明は実現可能である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００３８】
１００  画像入力部、１０１  全方位ユニット、１０２  レンズ部、１０３  撮像素子、
１０４  画像処理部、１０５  表示部、１０６  制御部、１０７  操作部、
１０８  メモリ、１０９  動画符号復号部、１１０  画像編集部、
１１１  被写体検出部、１１２  記録媒体制御部、１１３  記録媒体、１１４  バス
【図１】
2016019249.tif 000003
【図２】
2016019249.tif 000004
【図３】
2016019249.tif 000005
【図４】
2016019249.tif 000006
【図５】
2016019249.tif 000007
【図６】
2016019249.tif 000008
【図７】
2016019249.tif 000009
【図８】
2016019249.tif 000010