(57)【要約】【課題】動画内の注目物体を高精度に追跡できる画像処理装置を提供すること。【解決手段】動画に撮影されている注目物体を表示する画像処理装置１００であって、表示順が前の第一フレームの部分画像から前記注目物体を検出する注目物体検出手段１０６と、前記第一フレームにおける前記注目物体の位置から、前記第一フレームよりも表示順が後の第二フレームにおける前記注目物体の位置を予測する注目物体位置予測手段１０４と、前記第二フレームで位置が予測された前記注目物体の三次元座標を仮想平面に透視投影して得られる部分画像を前記第二フレームから抽出する部分画像抽出手段１０５と、前記第二フレームから抽出された前記部分画像を表示装置に表示する部分画像表示手段１０７と、を有することを特徴とする。【選択図】図３
2016212784.tif 000002
【特許請求の範囲】
【請求項１】
動画に撮影されている注目物体を表示する画像処理装置であって、
表示順が前の第一フレームの部分画像から前記注目物体を検出する注目物体検出手段と、
前記第一フレームにおける前記注目物体の位置から、前記第一フレームよりも表示順が後の第二フレームにおける前記注目物体の位置を予測する注目物体位置予測手段と、
前記第二フレームにおける位置が予測された前記注目物体の三次元座標を仮想平面に透視投影して得られる部分画像を前記第二フレームから抽出する部分画像抽出手段と、
前記第二フレームから抽出された前記部分画像を表示装置に表示する部分画像表示手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記部分画像抽出手段は、前記注目物体の位置を中心とする前記仮想平面に、前記第二フレームにおける位置が予測された前記注目物体の三次元座標を透視投影する透視投影行列を用いて、前記第二フレームから前記部分画像を抽出する請求項１に記載の画像処理装置。
【請求項３】
前記部分画像抽出手段は、
前記動画の撮影装置の撮影面に前記第二フレームにおける位置が予測された前記注目物体の三次元座標を透視投影する第一透視投影行列と、前記仮想平面に前記第二フレームにおける位置が予測された前記注目物体の三次元座標を透視投影する第二透視投影行列の逆行列との積に、前記仮想平面の座標を全て入力し、得られた前記第二フレームの各座標の画素値を前記部分画像として抽出する請求項２に記載の画像処理装置。
【請求項４】
前記部分画像抽出手段は、
単位球の中心を投影中心として前記注目物体を中心に撮影する仮想カメラの撮影面に、前記第二フレームで位置が予測された前記注目物体の三次元座標を透視投影する透視投影行列を生成し、
前記撮影面の画素ごとに前記透視投影行列を用いて表された、前記撮影面と前記投影中心を通る直線により前記単位球上の各位置を特定し、
特定された前記各位置に対応する前記第二フレームの画素の画素値を前記部分画像として抽出する請求項１に記載の画像処理装置。
【請求項５】
前記注目物体を指定するための操作を受け付けて前記注目物体の位置を抽出する注目物体位置抽出手段を有し、
前記注目物体位置予測手段は、前記注目物体位置抽出手段が抽出した前記注目物体の位置を用いて、前記第二フレームにおける前記注目物体の位置を予測する請求項１〜４いずれか１項に記載の画像処理装置。
【請求項６】
前記第一フレームに画像処理を施して前記注目物体を抽出する注目物体位置抽出手段を有し、
前記注目物体位置予測手段は、前記注目物体位置抽出手段が抽出した前記注目物体の位置を用いて、前記第二フレームにおける前記注目物体の位置を予測する請求項１〜４いずれか１項に記載の画像処理装置。
【請求項７】
１つのフレームに複数の前記注目物体が撮影されている場合、
前記部分画像抽出手段は、それぞれの前記注目物体の位置を含む複数の前記部分画像を抽出し、
前記部分画像表示手段は複数の前記部分画像を同時に表示装置に表示する請求項１〜６いずれか１項に記載の画像処理装置。
【請求項８】
前記動画は全方位画像の動画である請求項１〜７いずれか１項に記載の画像処理装置。
【請求項９】
動画に撮影されている注目物体を表示する画像処理装置によって行われる画像処理方法であって、
注目物体検出手段が、表示順が前の第一フレームの部分画像から前記注目物体を検出するステップと、
注目物体位置予測手段が、前記第一フレームにおける前記注目物体の位置から、前記第一フレームよりも表示順が後の第二フレームにおける前記注目物体の位置を予測するステップと、
部分画像抽出手段が、前記第二フレームで位置が予測された前記注目物体の三次元座標を仮想平面に透視投影して得られる部分画像を前記第二フレームから抽出するステップと、
部分画像表示手段が、前記第二フレームから抽出された前記部分画像を表示装置に表示するステップと、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
スマートフォンやヘッドアップディスプレイなどのように画面の小さい情報処理装置が普及している。このような情報処理装置では画面に画像の全てを一度に表示できない場合がある。また、光学技術や画像処理技術の向上により１回の撮影で広域の画像を撮影できる撮影装置が普及するようになった。このような撮影装置で撮影された広角画像は画素数が多いため、情報処理装置によっては画面に広角画像の全てを一度に表示できない場合がある。また、これらの画像が静止画であればユーザは画像をスクロールさせるなどして注目したい領域を探すことも難しくないが、動画として撮影されている場合には、次々と画像が変化するため、注目したい領域を画面に表示させることが容易でない場合がある。
【０００３】
従来から、動画における注目領域を特定し、表示する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、広域動画像内を移動する選手等を高精度に抽出・追跡することを目的に、過去の複数フレームにおける追跡物体の位置情報を記憶しておき、記憶した追跡物体の複数の位置情報に基づき今回のフレームにおける追跡物体の予測位置を求める移動物体追跡装置が開示されている。移動物体追跡装置は、今回のフレームから追跡物体に特有の特徴を持つ候補物体を抽出して、予測位置により近い候補物体を追跡物体として割り当てる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているように、動きのある物体を検出し追跡することで動画から注目の領域を決定する技術では、追跡精度の限界などに起因して適切な領域を表示できない場合があるという問題がある。
【０００５】
例えば、動画が極めて広角な画像（たとえば魚眼カメラや全方位カメラで撮影されている画像）である場合、注目物体が占める解像度が低く、また画像中の注目物体の位置によっては歪みが生じ、追跡が困難になる場合がある。
【０００６】
また、全方位カメラが撮影する画像は、周囲３６０度が撮影されていることを活かすため端部が生じないように画像の端部同士が接合されている場合がある。このような画像では画像境界をまたぐ物体の追跡のためには全方位画像に特有の処理が必要となり、処理が煩雑になるという問題がある。
【０００７】
本発明は上記課題を鑑みたものであり、動画内の注目物体を高精度に追跡できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題に鑑み、本発明は、動画に撮影されている注目物体を表示する画像処理装置であって、表示順が前の第一フレームの部分画像から前記注目物体を検出する注目物体検出手段と、前記第一フレームにおける前記注目物体の位置から、前記第一フレームよりも表示順が後の第二フレームにおける前記注目物体の位置を予測する注目物体位置予測手段と、前記第二フレームで位置が予測された前記注目物体の三次元座標を仮想平面に透視投影して得られる部分画像を前記第二フレームから抽出する部分画像抽出手段と、前記第二フレームから抽出された前記部分画像を表示装置に表示する部分画像表示手段と、を有することを特徴とする。
【発明の効果】
【０００９】
動画内の注目物体を高精度に追跡できる画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の外観図の一例である。
【図２】画像処理装置又は画像処理サーバのハードウェア構成の一例を示す図である。
【図３】画像処理装置の機能ブロック図の一例である。
【図４】ピンホールカメラモデルを説明する図の一例である。
【図５】ワールド座標系とカメラ座標系を模式的に説明する図の一例である。
【図６】広角画像の撮影面と仮想カメラの撮影面の関係を説明する図の一例である。
【図７】画像処理装置が部分画像を表示する手順を示すフローチャート図の一例である。
【図８】全方位画像と正距円筒画像との対応を示す図の一例である。
【図９】全方位画像に対する仮想カメラの撮影面を模式的に示す図の一例である。
【図１０】顕著性の検出を説明する図の一例である。
【図１１】出力装置に表示された複数の部分画像の表示例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【実施例１】
【００１２】
本実施例の画像処理装置は、注目物体の位置を含む部分画像を透視投影により抽出することが特徴の１つになっている。注目物体が部分画像に含まれているので、注目物体を探索する際の探索範囲を絞り込むことができる。また、透視投影による部分画像の抽出により画像の歪みを低減することができるので、周囲３６０が撮影された全方位画像や魚眼カメラなどで撮影された広角画像においても高い追跡精度を実現することができる。以下、詳細に説明する。
【００１３】
＜構成例＞
図１（ａ）は、画像処理装置１００の外観図の一例を示す。画像処理装置１００は、全方位画像などの広角画像の動画から注目物体が撮影されている部分画像を抽出する。画像処理装置１００は、具体的には、例えばＰＣ（Personal Computer）、スマートフォン、タブレット装置、携帯電話機、カーナビゲーション端末、ウェアラブルコンピュータ（ヘッドマウントディスプレイ、腕時計）、カメラ、電子黒板、プロジェクタ、ゲーム機、又は、ＭＦＰ（Multifunction Peripheral/Printer/Product）などが挙げられる。
【００１４】
また、図１（ｂ）に示すようにクライアントサーバの態様で画像処理装置が使用されてもよい。図１（ｂ）は、画像処理システム２００のシステム構成図の一例を示す。図示するように、画像処理システム２００では、情報処理端末１８及び画像処理サーバ１９がネットワークＮを介して通信可能に接続されている。
【００１５】
このような形態では、ユーザは情報処理端末１８を操作して画像処理サーバ１９にアクセスし閲覧したい動画を選択する。画像処理サーバは注目物体が撮影されている部分画像を抽出し、抽出した部分画像を情報処理端末１８に送信する。したがって、画像処理サーバ１９は広角画像の一部を送信すればよいので動画の送信時間を低減でき、また、ユーザが注目したい部分だけを情報処理端末１８が表示することができる。
【００１６】
本実施形態の部分画像の抽出処理はいずれの態様に適用されてもよいが、以下では、図１（ａ）のように主に画像処理装置１００が部分画像を抽出する態様を説明する。また、本実施形態の部分画像の抽出処理を適用可能な態様が図１に限られるものではない。
【００１７】
＜ハードウェア構成図＞
図２は、画像処理装置１００又は画像処理サーバ１９のハードウェア構成の一例を示す図である。本実施形態の画像処理装置１００は情報処理装置としての構成を有する。画像処理装置１００はそれぞれバスＢで相互に接続されている入力装置２０１、出力装置２０２、ドライブ装置２０３、補助記憶装置２０４、メモリ装置２０５、演算処理装置２０６、及び、通信インタフェース装置２０７を有する。
【００１８】
入力装置２０１は、例えばマウスやキーボードであり、各種の情報を入力するために用いられる。出力装置２０２は、例えばディスプレイ等であり、各種信号の表示（出力）に用いられる。ドライブ装置２０３は、各種の記録媒体２０８に対しデータの書き込み及びデータの読み出しを行う。記録媒体２０８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＵＳＢメモリやフラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００１９】
補助記憶装置２０４は、ハードディスクドライブやＳＳＤ（Solid State Drive）などの不揮発性の記憶装置である。補助記憶装置２０４には画像処理プログラム、オペレーティングシステム、動画やその他のファイル、及び、データ等が格納されている。
【００２０】
メモリ装置２０５は、ＤＲＡＭなどの主記憶装置であり、補助記憶装置２０４から画像処理プログラムや動画が読み出されて格納される。
【００２１】
演算処理装置２０６は例えばＣＰＵなどであり、メモリ装置２０５に格納された画像処理プログラム等にしたがって、画像処理装置１００の全体を制御する。また、後述するように各種の機能又は手段を実現する。
【００２２】
通信インタフェース装置２０７は、モデム，ＬＡＮカード等であり、ネットワークＮに接続するための処理を行う。
【００２３】
上記の画像処理プログラムは、例えば実行可能形式や配布形式で記録媒体２０８に記憶された状態で配布される。また、プログラムの配布用のサーバ装置からネットワークを介してダウンロードされる形態で配布されてもよい。
【００２４】
なお、画像処理システム２００に用いられる画像処理サーバ１９及び情報処理端末１８も一般の情報処理装置として構成され、そのハードウェア構成は、画像処理装置１００と同様であるものとする。また、相違があるにしても、本実施形態を説明する上で支障がないものとする。
【００２５】
＜機能について＞
図３は、本実施例における画像処理装置１００の機能ブロック図の一例を示す。画像処理装置１００は、動画入力部１０１、フレーム読み込み部１０２、初期位置抽出部１０３、注目物体位置予測部１０４、部分画像抽出部１０５、注目物体検出部１０６、部分画像表示部１０７、及び、記憶部１０８を有している。
【００２６】
画像処理装置１００が有する各機能は、図２に示されている各構成要素のいずれかが、補助記憶装置２０４からメモリ装置２０５に展開された画像処理プログラム２１００に従った演算処理装置２０６からの命令によって動作することで実現される機能、又は機能される手段である。
【００２７】
また、記憶部１０８は、例えば図２に示されている補助記憶装置２０４、メモリ装置２０５及びドライブ装置２０３のいずれか１つ以上によって構築される揮発性又は不揮発性の記憶手段である。記憶部１０８には、画像処理プログラム２１００、広角画像の動画、及び、部分画像を抽出する際に得られる各種の値（例えば、注目物体の位置、部分画像の位置など）が記憶されている。
【００２８】
動画入力部１０１は、例えば図２の演算処理装置２０６、通信インタフェース装置２０７及び補助記憶装置２０４等により実現され、外部から広角画像の動画の入力を受け付ける。
【００２９】
フレーム読み込み部１０２は、例えば図２の演算処理装置２０６等により実現され、広角画像の動画の最初のフレームを読み込む。フレームとは動画を構成する１枚の画像をいい、各フレームは表示順に格納されている。
【００３０】
初期位置抽出部１０３は、例えば図２の演算処理装置２０６等により実現され、読み込んだフレームから注目物体の初期位置を抽出する。例えば、出力装置２０２にフレームを表示して、ユーザに注目物体をポインティングデバイスで囲ませる。あるいは、注目物体の種類（人間、車など）を出力装置２０２に表示してユーザから注目物体の種類を受け付け、注目物体の初期位置を自動的に抽出してもよい。この場合、受け付けた物体の標準テンプレートでテンプレートマッチングを行いフレームから注目物体の初期位置を抽出する。注目物体の位置は注目物体の外接矩形及びその重心や中心などで特定される。ユーザの注目物体の種類の選択なしに予め定められた種類の注目物体を抽出してもよい。
【００３１】
注目物体位置予測部１０４は、例えば図２の演算処理装置２０６等により実現され、表示順が前の前フレーム（例えば最初のフレーム。第一フレームの一例。）の注目物体の位置から表示順が後のカレントフレーム（現在のフレーム。第二フレームの一例。）における注目物体の位置を予測する。最も簡単な方法として、前フレームの注目物体の位置をカレントフレームにおける注目物体の位置とする。
【００３２】
部分画像抽出部１０５は、例えば図２の演算処理装置２０６等により実現され、カレントフレームから注目物体の位置を含む部分画像を抽出する。本実施例では部分画像の抽出に透視投影を用いることが特徴の１つとなっている。詳細は後述する。
【００３３】
注目物体検出部１０６は、部分画像抽出部１０５によって抽出されたカレントフレームの部分画像から注目物体の位置を検出する。注目物体の検出方法は特に制約がなく、画像からの物体検出方法として適切な手法を用いることができる。例えば、ＨＯＧ特徴量やHaar-like 特徴量を用いて各種の機械学習により学習した識別器が注目物体を検出する。あるいは、過去のいくつかのフレームの注目物体を用いて、カレントフレームからテンプレートマッチングなどで注目物体を検出してもよい。その他、注目物体の検出方法は制限されない。
【００３４】
部分画像表示部１０７は、例えば図２の演算処理装置２０６及び出力装置２０２等により実現され、部分画像抽出部１０５が抽出した部分画像を出力装置２０２（表示装置の一例）に表示する。
【００３５】
＜部分画像の抽出＞
図４〜６を用いて部分画像抽出部１０５の動作について説明する。部分画像抽出部１０５は注目物体の位置を含むように、カレントフレームから部分画像を抽出する。注目物体の位置は、初期位置として与えられる場合と注目物体位置予測部１０４により予測される場合がある。いずれにしても注目物体の位置（例えば外接矩形と重心又は中心）は既知である。
【００３６】
本実施例では透視投影という手法で部分画像を抽出する。そのための準備について説明する。まず、透視投影は、三次元空間の座標を二次元平面に投影する図法である。三次元の物体は視点から見たとおりに二次元平面に描画される。
【００３７】
図４は、ピンホールカメラモデルを説明する図の一例である。ピンホールカメラでは形成される画像が逆さまになるため、図４ではカメラ撮影面４０１の画像が逆さまにならないように、投影中心Ｏよりも物体側にカメラ撮影面４０１が配置されている。投影中心Ｏからカメラ撮影面４０１までの距離が焦点距離ｆである。
【００３８】
投影中心Ｏを通ってカメラ撮影面４０１に垂直な方向がＺ軸、鉛直方向をＸ軸、水平方向をＹ軸とする。Ｚ軸を光軸という。また、カメラ撮影面４０１とＺ軸との交点ｏをカメラ撮影面４０１の原点とし、鉛直方向をｕ軸、水平方向をｖ軸とする平面座標が設定される。
【００３９】
ピンホールカメラモデルでは、三次元点Ａ(Ｘ，Ｙ,Ｚ)がカメラ撮影面上の撮影点ｑ(u, v)に変換（投影）される。撮影点ｑ(u, v)は、三次元点Ａ(Ｘ,Ｙ,Ｚ)と投影中心Ｏとを結ぶ直線と、カメラ撮影面４０１の交点として得られる。図示されている関係からが次式が成り立つ。
ｕ＝ｆ×Ｙ／Ｚ
ｖ＝ｆ×Ｘ／Ｚ
しかし、現実のデジタルカメラでは、光軸（Ｚ軸）はカメラ撮影面４０１の座標の原点からずれている。また、カメラ撮影面４０１の画素格子は正方形（長方形になっている）になっていない。また、カメラ撮影面４０１の座標(u,v)でのスケールと三次元座標(Ｘ,Ｙ,Ｚ)のスケールが異なる。
【００４０】
そこで、光軸とカメラ撮影面４０１の交点を改めて座標(cx, cy)とし、画素格子の縦横スケールを加味した焦点距離を(fu, fv)とする。三次元点Ａ(Ｘ,Ｙ,Ｚ)と撮影点ｑ(ｕ,ｖ)の関係は次の通りとなる。
【００４１】
なお、本実施例のデジタルカメラは広角画像の静止画及び動画を撮影することが可能であり、以下では広角画像を撮影したデジタルカメラを広角画像カメラ（撮影装置）と称する。広角画像カメラは通常の画角の画像を撮影することも可能であり、本実施例が広角画像に制限されることはない。また、広角画像を撮影した広角画像カメラのパラメータ（焦点距離ｆ、投影中心Ｏ等）は既知であるものとする。
【００４２】
【数１】
2016212784.tif 000003
Ｋを内部パラメータ行列と呼ぶ。また、式（１）の左辺と右辺を結ぶ記号は、以下の式を満たす非零のスカラーsが存在することを意味する。
【００４３】
【数２】
2016212784.tif 000004
つまり左右のベクトルが定数倍を許して等しいという意味である。
【００４４】
ここで、カメラ撮影面４０１の撮影点ｑ(ｕ,ｖ)はカメラ座標における座標であり、三次元点Ａ(Ｘ,Ｙ,Ｚ)は世界座標（ワールド座標）の座標である。このため、三次元点Ａ(Ｘ,Ｙ,Ｚ)をカメラ座標で表せるように、カメラ座標に対して世界座標が回転行列Ｒで回転し、tの並進を行ったものとする。すなわち、以下のような座標変換を行う。
【００４５】
図５を用いて座標系の回転と並進について説明する。図５は、ワールド座標系３０２とカメラ座標系３０１を模式的に説明する図の一例である。ｒx、ｒy、ｒzをワールド座標系３０２におけるカメラ座標のｘ軸、ｙ軸、ｚ軸の方向を表す単位ベクトルとする。カメラ座標で x = (x, y, z)T で与えられる点のワールド座標をＡ=(Ｘ、Ｙ、Ｚ)Tとする。したがって、点Ａをカメラ座標で表すと以下のようになる。
【００４６】
【数３】
2016212784.tif 000005
式（５）-１を変形すると、カメラ座標のx = (x, y, z)をワールド座標系の点Ａを用いて次式により表すことができる。
【００４７】
【数４】
2016212784.tif 000006
Ｒを回転行列、tを並進ベクトルという。回転行列Ｒ、並進ベクトルtを用いると、撮影点(u, v)と三次元点(Ｘ,Ｙ,Ｚ)を以下のように表すことができる。
【００４８】
【数５】
2016212784.tif 000007
式（６）で［Ｒ｜t］は回転と並進が行われることを示す。
【００４９】
さらに、以下のような置き換えを行う。
【００５０】
【数６】
2016212784.tif 000008
したがって、三次元点の回転と並進を考慮しても式（１）を簡潔な形式で表すことができる。Ｐは３×４の行列でありＰを透視投影行列と呼び、透視投影行列Ｐによる座標変換を透視投影変換と呼ぶ。
【００５１】
なお、現実の広角画像カメラのレンズはレンズ歪みを有する。レンズの歪みモデルについては，Wengらのモデルが知られている。歪み補正後の画像中の座標を
【００５２】
【数６−２】
2016212784.tif 000009
とする。
また、補正前の座標を(u0,v0)、歪みパラメータをκ1（予め既知）とすると以下が成り立つ。
【００５３】
【数７】
2016212784.tif 000010
この他、レンズ歪みは既存の手法により除去されていてもよい。
【００５４】
本実施例では、少なくとも内部パラメータ行列Ｋが既知であり、カメラ座標系と世界座標系を設定すれば回転行列Ｒ、並進ベクトルｔも求めることができる。なお、カメラ座標の世界座標に対する回転行列Ｒを単位行列、並進ベクトルtを０とおいても一般性を失わない（カメラ座標系と世界座標系が一致するとみなしてもよい）。そこで、本実施形態ではカメラ座標の世界座標に対する回転行列Ｒを単位行列、並進ベクトルtを０とする。よって、透視投影行列Ｐは既知となる。あるいは、少なくとも６つの三次元点Ａの座標を測定者などが実測し（実在する立体物の座標を測定し、広角画像カメラで撮影するなどして式（１０）又は式（１１）の拘束式に代入することでＰの１２個の要素を求めることができる。この場合は、本実施例の透視投影行列Ｐを実測できる。
【００５５】
透視投影行列Ｐが既知であることは、三次元点Ａをカメラ撮影面４０１の任意の撮影点ｑに変換できることを意味する。実際には注目物体の三次元座標は不明であるが、後述するように注目物体の三次元座標は消去されるので、実際の値は不明でよい。
【００５６】
続いて、図６を用いて部分画像を抽出するための仮想カメラについて説明する。この仮想カメラの撮影面４０２（仮想平面）に投影される広角画像の範囲が部分画像である。図６は、広角画像のカメラ撮影面４０１と仮想カメラの撮影面４０２の関係を説明する図の一例である。まず、広角画像の動画を撮影した広角画像カメラの透視投影行列をＰvideoと表記する（Ｐvideoは第一透視投影行列の一例。）。上記のようにこれは既知である。
【００５７】
また、仮想カメラの透視投影行列をＰpartialと表記する（Ｐpartial は第二透視投影行列の一例。）。広角画像カメラの回転行列Ｒは単位行列、並進ベクトルtは０なので、仮想カメラの世界座標系に対する回転・並進は、広角画像カメラに対する回転・並進となる。したがって、計算が簡潔になる。Ｐpartialも内部パラメータ行列Ｋpartial、広角画像カメラに対する回転行列Ｒ、並進ベクトルtを用いて以下のように表すことができる。
【００５８】
【数８】
2016212784.tif 000011
次に、仮想カメラの投影中心Ｏは広角画像カメラの投影中心Ｏと一致するものとする。したがって、並進ベクトルtはt =0でよい。回転行列Ｒは注目物体４０３の位置（例えば重心や中心）が仮想カメラの撮影面４０２の中心に来るように設定する。つまり、仮想カメラの撮影面４０２の中心に注目物体４０３が撮影されているように回転行列Ｒが設定される。カメラ座標系３０１は規定されているので、この回転行列Ｒも既知である。また、仮想カメラの内部パラメータ行列Ｋpartialは部分画像の好ましい広さなどから決定することができる。以上からＰpartialも既知となる。
【００５９】
仮想カメラの撮影面４０２の中心に注目物体４０３が撮影されるので、仮想カメラの撮影面４０２を部分画像４０４とすることができる。
【００６０】
以上が透視投影という手法で部分画像を抽出するための準備である。以上の準備を元に仮想カメラで注目物体４０３を撮影した場合の画像を生成する。この画像が部分画像である。仮想カメラの撮影面４０２上の点pは、次式により、広角画像のカメラ撮影面４０１上の点qに変換できる。
【００６１】
【数９】
2016212784.tif 000012
なお、式（１３）を求める際、式（１０）を広角画像カメラと仮想カメラにそれぞれ適用した次の式を使用している。
ｑ＝ＰvideoＭ    …ａ
ｐ＝ＰpartialＭ   …ｂ
式ｂのＭをｐとＰpartialの逆行列で表し式ａに代入すると、qをＰvideoとＰpartialの逆行列で表すことができる。Ｐpartialは正則でないので疑似逆行列の関係式（Ｐpartial -1＝Ｐpartial T（ＰpartialＰpartial T））を用いると式（１３）が得られる。
【００６２】
式（１３）を用いることで、部分画像抽出部１０５は仮想カメラの撮影面４０２の１画素ごとに広角画像のカレントフレームに対応する座標を求めて広角画像の画素値を得ることができる。したがって、仮想カメラの撮影面４０２又は点pから変換された点ｑの集合を目的の部分画像４０４とすることができる。
【００６３】
なお、実際には、仮想カメラの撮影面４０２上の整数座標は式（１３）により実数となるため、実際の画素値の取得にはニアリストネイバー、バイリニア、バイキュービックといった補間手法を用いる。
【００６４】
＜動作手順＞
図７は、画像処理装置１００が部分画像を表示する手順を示すフローチャート図の一例である。
【００６５】
まず、動画入力部１０１が広角画像の動画の入力を受け付け、記憶部１０８に保存する（Ｓ１０１）。具体的には、ユーザが例えば選択した広角画像の動画を記憶部１０８に保存する。
【００６６】
次に、フレーム読み込み部１０２は記憶部１０８に保存された広角画像の動画の最初のフレームを記憶部１０８から読み出す（Ｓ１０２）。
【００６７】
次に、読み出したフレームから注目物体４０３の初期位置を抽出する（Ｓ１０３）。上記のように例えばユーザが注目物体を選択したものとする。
【００６８】
次に、部分画像抽出部１０５は上述した方法で注目物体４０３の初期位置を含む部分画像を抽出する（Ｓ１０４）。部分画像表示部１０７は部分画像４０４を出力装置２０２に表示する。
【００６９】
次に、フレーム読み込み部１０２は入力された広角画像の動画から次のフレームを読み出しそれをカレントフレームとする（Ｓ１０５）。
【００７０】
次に、注目物体位置予測部１０４は前フレームの注目物体４０３の位置からカレントフレームにおける注目物体４０３の位置を予測する（Ｓ１０６）。例えば、前フレームの注目物体４０３の位置をカレントフレームにおける注目物体４０３の位置とする。ステップＳ１０６については後に補足される。
【００７１】
次に、部分画像抽出部１０５は、注目物体４０３の予測された位置を含むようにカレントフレームから部分画像４０４を抽出する（Ｓ１０７）。この処理もステップＳ１０４と同様に行われる。
【００７２】
次に、注目物体検出部１０６は、抽出された部分画像４０４から注目物体４０３の位置を検出する（Ｓ１０８）。すなわち、特徴認識などの画像処理を用いて注目物体４０３を認識し、その外接矩形及び重心や中心を注目物体４０３の位置として抽出する。
【００７３】
次に、部分画像抽出部１０５が検出した注目物体４０３の位置を含むようにカレントフレームから部分画像４０４を抽出し、部分画像表示部１０７が部分画像を出力装置２０２に表示する（Ｓ１０９）。すなわち、予測された位置に基づいて部分画像を抽出する（Ｓ１０７）のでなく、実際にカレントフレームから位置が抽出された注目物体４０３の位置を含むようにカレントフレームから部分画像４０４を抽出する。これにより、注目物体４０３が中央に撮影された部分画像４０４が得られる。このステップＳ１０９で新しく部分画像を抽出するのではなく、処理ステップＳ１０７で抽出した部分画像４０４を再利用しても良い。これにより処理時間を短縮できる。
【００７４】
フレーム読み込み部１０２は入力された広角画像の動画のすべてのフレームを読み出したか否かを判定する（Ｓ１１０）。すべてのフレームを読み出した場合は処理を終了し、そうでない場合は処理ステップＳ１０５に戻る。
【００７５】
<<処理ステップＳ１０６>>
処理ステップＳ１０６の注目物体の位置の予測について説明する。前フレームの注目物体の位置をカレントフレームにおける注目物体の位置とする他に、注目物体位置予測部１０４は状態空間モデルを利用して注目物体４０３の位置を予測することができる。状態空間モデルでは、t番目のフレームにおける注目物体４０３の状態値をｘt、注目物体４０３の観測位置をｙtとして、次の関係を考える。
【００７６】
【数１０】
2016212784.tif 000013
ここでfは状態遷移関数,gは観測関数、ε、ηはノイズである。ｘtの要素としては、注目物体４０３の真の位置、速度、加速度、などを並べたベクトルを考えることができる。式(11)の関係を用いて、f, gが線形変換であればカルマンフィルタ（拡張カルマンフィルタ、無香カルマンフィルタ、αβフィルタ等）、非線形変換であればパーティクルフィルタを用いて、t番目までの観測値ｙtから、１フレーム先の内部状態xt+1を求めることができる。内部状態xt+1のうち位置がカレントフレームの注目物体４０３の位置である。
【００７７】
以上説明した処理により、ユーザが注目する注目物体４０３を広角画像の動画中から自動追跡して出力装置２０２に表示することが可能となる。注目物体４０３の予測位置に基づいて透視投影変換により部分画像４０４を抽出するので、探索範囲を絞り込んでから物体追跡を行うことができる。したがって、高速に注目物体４０３を検出しやすい。また、透視投影変換により画像の射影的な歪みを低減することができるので、高い追跡精度を実現できる。
【実施例２】
【００７８】
本実施例では、入力された正距円筒画像の動画から注目物体４０３の位置を検出し、注目物体４０３を含む部分画像４０４を表示する画像処理装置１００について説明する。
【００７９】
図８は、全方位画像５０１と正距円筒画像５０２との対応を示す図の一例である。図８に示すように、正距円筒画像５０２とは、全方位画像５０１を表す単位球（半径１の球）の中心から撮影方向を緯度θ、経度φで指定し、緯度θ、経度φの等しい間隔ごとに全方位画像５０１から画素値をサンプリングして得られる画像である。すなわち、撮影方向を緯度、経度で指定すると一点が定まり、それを緯度、経度をそれぞれ軸とする二次元平面に配置することで正距円筒画像が得られる。正距円筒画像５０２は、全方位画像５０１の動画を記録する方式として実用上よく用いられている。図の全方位画像５０１は全方位画像の１フレームを示している。
【００８０】
本実施例における画像処理装置１００の機能ブロック図は実施例１の図３と同様でよい。また、動作手順も実施例１の図７と同様でよい。本明細書において、同一の符号を付した構成要素については、同様の機能を果たすので、一度説明した構成要素の説明を省略あるいは相違点についてのみ説明する場合がある。本実施例では部分画像抽出部１０５の動作が実施例１と異なる。
【００８１】
以下、図９を用いて、本実施例における部分画像抽出部１０５の処理について説明する。図９は、全方位画像５０１に対する仮想カメラの撮影面４０２を模式的に示す図の一例である。まず、注目物体４０３の位置が画像中心に撮影される仮想カメラが設定される。この仮想カメラの透視投影行列をＰとする。注目物体４０３と仮想カメラの投影中心Ｏを結ぶ直線５０４が仮想カメラの撮影面４０２の中心を通る。
【００８２】
また、仮想カメラの投影中心Ｏと全方位画像５０１を表す単位球の中心（正距円筒画像の投影中心）が一致している。
【００８３】
そして、仮想カメラによる撮影面４０２上の点(x, y)と投影中心Ｏを通過する三次元空間中の直線５０４を求める。この直線５０４の方向をｅ、直線上の任意の一点をｍとする。ｅ, ｍは仮想カメラの透視投影行列Ｐから次式で算出することができる。
【００８４】
【数１１】
2016212784.tif 000014
pijは透視投影行列Ｐのi行j番目の要素である。式（１５）（１６）によれば、撮影面４０２上の点(x, y)を指定すれば、直線５０４の方向e及び点ｍを求めることができる。本実施例のように正距円筒画像の投影中心（単位球の中心）Ｏと仮想カメラの投影中心Ｏが一致する場合は、計算を簡略化することができる。この場合はｍ=０と置いてよく、直線５０４の方向eからθ、φを算出可能である。
【００８５】
【数１２】
2016212784.tif 000015
e１〜e3はカメラ座標系のｘ軸、ｙ軸、ｚ軸の方向の単位ベクトルである。e１〜e3により直線５０４の方向がθ（経度）及びφ（緯度）として求められる。θ、φにより指定される単位球上の点の画素の画素値を正距円筒画像５０２から得ることで、仮想カメラによる撮影画像を得ることができる。したがって、実施例１と同様に、この撮影画像を部分画像４０４とすることができる。
【００８６】
以上の方法により、仮想カメラの撮影面４０２に注目物体４０３を透視投影変換することで、正距円筒画像５０２の動画から部分画像４０４を抽出することが可能となる。抽出した部分画像４０４に対して物体追跡を行うことで、探索範囲を絞り込み、かつ正距円筒画像５０２の歪みを低減することができるので、高い追跡精度を実現できる。
【００８７】
また、正距円筒画像５０２の動画では画像端同士がつながっている。従来では、θ=２πからθ=０に移動する物体を追跡するには、追加処理（例えば、θ＝２πの付近に物体があることを検出して次のフレームではθ=０付近の画像を探索する）が必要であった。本実施例では、追加の処理を施すことなく抽出された部分画像４０４に対して物体追跡処理を実行することができる。
【実施例３】
【００８８】
本実施例では、入力された広角画像の動画から重要物体の位置を検出し、重要物体を含む部分画像を表示する画像処理装置１００について説明する。
【００８９】
本実施例における画像処理装置１００の機能ブロック図は実施例１の図３と同様でよい。ただし、本実施例では初期位置抽出部１０３の動作が実施例１と異なる。また、動作手順も実施例１の図３と同様でよい。
【００９０】
本実施例の初期位置抽出部１０３は、入力動画の初期フレームから重要な物体の位置を検出する。重要な物体の検出には顕著性検出技術を用いることができる。
【００９１】
図１０は顕著性の検出を説明する図の一例である。図１０（ａ）（ｂ）に示すように、初期位置抽出部１０３はたとえば、ラプラシアンフィルタやガボールフィルタなどで画像中の各位置でエッジ量を求める。
【００９２】
図１０（ｃ）に示すように、特定のウィンドウ６０１で画像を走査し、ウィンドウ内（例えば中央を含む所定範囲）のエッジ量分布がウィンドウ周辺部分のエッジ量分布と統計的に差異がある場合に、ウィンドウ内に重要物体があると検知することができる。
【００９３】
初期位置抽出部１０３は、統計的な差異はエッジの分布間の距離をカルバックライブラー情報量（相対エントロピー、カルバック・ライブラー・ダイバージェンスとも呼ばれる）や、バタチャタリヤ（Bhattacharyya）距離により算出し、閾値判定を行うことで実現できる。カルバックライブラー情報量は、２つの確率分布間の距離を表す尺度であり、確率分布の変わりにウィンドウ内のエッジ量分布と周辺部分のエッジ量分布を用いる。バタチャタリヤ距離は２つの離散的確率分布間の距離の尺度であり、ウィンドウ内のエッジ量分布と周辺部分のエッジ量分布をヒストグラム（各エッジ強度のエッジ数）で表すことで算出できる。
【００９４】
なお、特徴量としてはエッジ量の他、様々なものを使用することができる。色分布、明度、コントラスト、点滅、又は、方位などが使用されうる。また、ニューラルネットワーク（例えばディープラーニングなど）などの機械学習に訓練用画像データを適用して、特徴量を自動的に抽出することも有効である。また、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）により特徴量を抽出してもよい。
【００９５】
なお本実施例は、実施例１の広角画像の動画、実施例２の正距円筒画像の動画のいずれに対しても実施することが可能である。
【００９６】
以上のように、本実施例では動画像中から重要物体を検出し、検出された重要物体の位置を初期位置とすることで、ユーザが明示的に注目物体を指定することなく、自動的に重要な物体を追跡する動画を表示することが可能となる。
【実施例４】
【００９７】
本実施例では、入力された広角画像の動画から複数の注目物体４０３の位置を検出し、注目物体４０３を含む部分画像を表示する画像処理装置１００について説明する。
【００９８】
本実施例では、初期位置抽出部１０３及び注目物体検出部１０６が実施例１又は３に記載された方法で複数の注目物体４０３を検出する。注目物体４０３が複数あるため、部分画像抽出部１０５は注目物体４０３の数だけ部分画像を抽出する。
【００９９】
部分画像表示部１０７は、複数の部分画像４０４を並べて１つの画像に合成して表示する。図１１は出力装置２０２に表示された複数の部分画像４０４の表示例を示す図の一例である。重要度が異なる場合、図１１に示すように重要度が大きい注目物体４０３ほど大きく表示してよい。
【０１００】
また、注目物体４０３が表示される画面には、各部分画像４０４の配置の変更、大きさの変更、及び、表示の有無の切り替えを受け付けるようなユーザインタフェースを部分画像表示部１０７が表示することが好ましい。これにより、複数の注目物体４０３が表示されてもユーザは任意の注目物体４０３に注目できる。
【０１０１】
したがって、本実施例によれば、複数物体を同時に追跡する動画を生成することができる。
【０１０２】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１０３】
例えば、図３では画像処理装置１００の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像処理装置１００の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。
【符号の説明】
【０１０４】
１８    情報処理端末
１９    画像処理サーバ
１００  画像処理装置
１０１  動画入力部
１０２  フレーム読み込み部
１０３  初期位置抽出部
１０４  注目物体位置予測部
１０５  部分画像抽出部
１０６  注目物体検出部
１０７  部分画像表示部
１０８  記憶部
２００  画像処理システム
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開２００４−４６６４７号公報
【図１】
2016212784.tif 000016
【図２】
2016212784.tif 000017
【図３】
2016212784.tif 000018
【図４】
2016212784.tif 000019
【図５】
2016212784.tif 000020
【図６】
2016212784.tif 000021
【図７】
2016212784.tif 000022
【図８】
2016212784.tif 000023
【図９】
2016212784.tif 000024
【図１０】
2016212784.tif 000025
【図１１】
2016212784.tif 000026