(57)【要約】【課題】  ユーザが撮像装置を意識的に動かすことなく連続的に撮像した画像から、奥行き情報を取得することである。【解決手段】  撮像装置２０により、被写体を連続的に撮像する（Ｓ１１）。画像処理装置１０は、撮像装置２０により連続的に撮像された画像を、画像群（画像の集合）として記憶する（Ｓ１２）。画像処理装置１０は、連続的に撮像された画像（即ち、画像群）から基準画像を選択し、その基準画像と、画像群を構成するその他の画像から動きベクトルを画素毎に算出する（Ｓ１３）。画像処理装置１０は、ステップＳ１３で算出した動きベクトルから奥行き情報の算出に使用することができない動きベクトルを除外し、さらに動物体の動きベクトルを棄却等した後に、動きベクトルの大きさを積算する（Ｓ１４）。画像処理装置１０は、積算された動きベクトルから奥行き画像を生成する（Ｓ１５）。【選択図】図５
2017021638.tif 000002
【特許請求の範囲】
【請求項１】
連続的に撮像された画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶された画像から基準となる画像を選択する基準画像選択手段と、
前記基準画像選択手段により選択された基準画像と、前記画像記憶手段に記憶された基準画像以外の画像とから動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトル算出手段により算出した動きベクトルを動きベクトルの大きさに変換する動きベクトル大きさ変換手段と、
前記動きベクトル大きさ変換手段により変換された動きベクトルの大きさを積算する動きベクトル積算手段と、
前記動きベクトル積算手段により積算した結果を積算値として格納する積算値格納手段と、
を有する画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記基準画像選択手段により選択された基準画像と前記積算値格納手段に格納された積算値から、ぼけ画像を生成する画像生成手段を有する画像処理装置。
【請求項３】
請求項１又は２に記載された画像処理装置において、
前記動きベクトル算出手段により算出された動きベクトルの角度のばらつきを算出するばらつき算出手段と、
前記ばらつき算出手段により算出されたばらつきが所定の値以上であることを条件に、前記動きベクトル算出手段により算出された動きベクトルを除外する動きベクトル除外手段と、
を有する画像処理装置。
【請求項４】
請求項１又は２に記載された画像処理装置において、
前記動きベクトル算出手段により算出された動きベクトルの角度の平均を算出する平均角度算出手段と、
前記平均角度算出手段により算出された、動きベクトルの角度の平均から所定の閾値以上離れた動きベクトルを棄却する動きベクトル棄却手段と、
を有する画像処理装置。
【請求項５】
請求項１又は２に記載された画像処理装置において、
前記動きベクトル大きさ変換手段により変換した動きベクトルの大きさの平均を算出する平均算出手段と、
前記動きベクトル大きさ変換手段により変換した動きベクトルの大きさから前記平均算出手段により算出された動きベクトルの大きさの平均を定数倍して減算する減算手段と、
を有する画像処理装置。
【請求項６】
請求項１ないし５のいずれかに記載された画像処理装置であって、
前記動きベクトル算出手段が画素毎に動きベクトルを算出する画像処理装置。
【請求項７】
被写体を連続的に撮像する撮像装置と、請求項１ないし６のいずれかに記載された画像処理装置とを有する画像処理システム。
【請求項８】
連続的に撮像された画像を画像記憶手段に記憶する画像記憶工程と、
基準画像選択手段による、前記画像記憶工程において記憶された画像から基準となる画像を選択する基準画像選択工程と、
動きベクトル算出手段による、前記基準画像選択工程において選択された基準画像と、前記画像記憶工程において記憶された基準画像以外の画像とから動きベクトルを算出する動きベクトル算出工程と、
動きベクトル大きさ変換手段による、前記動きベクトル算出工程において算出した動きベクトルを動きベクトルの大きさに変換する動きベクトル大きさ変換工程と、
動きベクトル積算手段による、前記動きベクトル大きさ変換工程において変換された動きベクトルの大きさを積算する動きベクトル積算工程と、
積算値格納手段による、前記動きベクトル積算工程において積算した結果を積算値として格納する積算値格納工程と、
を有する画像処理装置における画像処理方法。
【請求項９】
画像処理装置のコンピュータを、
画像記憶手段に記憶された画像から基準となる画像を選択する基準画像選択手段、
前記基準画像選択手段により選択された基準画像と、前記画像記憶手段に記憶された基準画像以外の画像とから動きベクトルを算出する動きベクトル算出手段、
前記動きベクトル算出手段により算出した動きベクトルを動きベクトルの大きさに変換する動きベクトル大きさ変換手段、並びに
前記動きベクトル大きさ変換手段により変換された動きベクトルの大きさを積算する動きベクトル積算手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、奥行き情報を生成する画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、撮像機能を有する携帯情報端末（例えば、スマートフォン等の多機能型携帯電話）の普及に伴い、携帯情報端末で画像を撮像する機会が増加している。
また、携帯情報端末で撮像するときに、「ぼけ」のある画像を撮像したいというニーズも多く存在している。
【０００３】
一般に「ぼけ」のある画像を撮像するには、撮像の際に、撮像対象物である被写体を強調する目的で、撮像装置において被写体までの距離に焦点を合わせて、それ以外の位置（距離）にあるオブジェクトを敢えてぼかして撮像する必要がある。
但し、現況の携帯情報端末に搭載されている撮像機能では、この方法で「ぼけ」のある画像を撮像することは困難である。
【０００４】
他方で、撮像機能と汎用的な演算装置を有する携帯情報端末の普及は目覚ましく、携帯情報端末で撮像した画像に対して、携帯情報端末内で画像処理を行うことで疑似的に「ぼけ」のある画像を生成する方法が提供されている。
しかしながら、携帯情報端末に実装される撮像装置で撮像した画像には距離情報が含まれていないため、「ぼけ」のある画像を生成するには（即ち、撮像対象物である被写体を強調するには）、ユーザが、携帯情報端末において、ぼかす領域を手動で指定しなければならなかった。
【０００５】
このことから、携帯情報端末において「ぼけ」のある画像を自動で生成するために、携帯情報端末において撮像した画像から距離情報（奥行き情報）を取得したいという要望が存在する。
距離情報が画像から取得できると、携帯情報端末において、その距離情報に基づいて、ぼかす領域やぼかしの強弱の程度を自動的に決定できるようになる。
【０００６】
ここで、画像から距離情報を取得する方法として、プロジェクタや複数の撮像装置を利用する方法が従来より知られているが、どちらの方法も携帯情報端末において安易に用いることはできない。
また、単眼の撮像装置であっても、モーションステレオ法（例えば、非特許文献１）を適用する場合を除いて、特殊なレンズを用いなければ、被写体までの距離を取得することができない。
さらに、モーションステレオ法を用いる場合であっても、撮像する際に、撮像装置を意識的に移動させなければならず（動かさなければならず）、撮像に手間がかかるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、ユーザが撮像装置を意識的に動かすことなく連続的に撮像した画像から、奥行き情報を取得することである。
【課題を解決するための手段】
【０００８】
本発明は、連続的に撮像された画像を記憶する画像記憶手段と、前記画像記憶手段に記憶された画像から基準となる画像を選択する基準画像選択手段と、前記基準画像選択手段により選択された基準画像と、前記画像記憶手段に記憶された基準画像以外の画像とから動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段により算出した動きベクトルを動きベクトルの大きさに変換する動きベクトル大きさ変換手段と、前記動きベクトル大きさ変換手段により変換された動きベクトルの大きさを積算する動きベクトル積算手段と、前記動きベクトル積算手段により積算した結果を積算値として格納する積算値格納手段と、を有する画像処理装置である。
【発明の効果】
【０００９】
本発明の画像処理装置によれば、ユーザが撮像装置を意識的に動かすことなく連続的に撮像した画像から、奥行き情報を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置を含む画像処理システムを示す図である。
【図２】本発明の実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の実施形態に係る画像処理装置の機能ブロック図である。
【図４】動きベクトル処理部の機能を説明する図である。
【図５】本発明の実施形態に係る画像処理装置における処理の概要を示すフロー図である。
【図６】本発明の実施形態に係る画像処理装置における、動きベクトルの算出処理から動きベクトルの積算処理までの詳細な手順を示すフロー図である。
【図７】本発明の実施形態に係る画像処理装置における、動きベクトルを算出する処理から奥行き画像を生成する処理までの概要を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態に係る画像処理装置１０を含む画像処理システム１を示す図である。
この画像処理システム１は、画像処理装置１０と、それぞれが画像処理装置１０に接続された撮像装置２０、入力装置３０、及び出力装置４０を備えている。
【００１２】
画像処理装置１０は、例えば、ＰＣ（Personal Computer）等であり、撮像装置２０を用いて連続的に撮像された画像群（画像の集合）に対して、画像処理を施すことで、奥行き情報を提供する。
また、画像処理装置１０は、算出した奥行き情報に基づいて、「ぼけ」のある画像（即ち、ぼけ画像）を生成する。
なお、画像処理装置１０は、記憶媒体等から移行される画像データも処理の対象とすることができる。
【００１３】
撮像装置２０は、例えば、ｗｅｂカメラ等の電子カメラであり、被写体を撮像するように配置される。
入力装置３０は、例えば、キーボード、マウス等であり、ユーザが画像処理装置１０に対して種々の指示を与えるための装置である。
【００１４】
出力装置４０は、例えば、モニタ等の表示装置であり、撮像装置２０から入力される画像、または画像処理装置１０により画像処理された画像等を、必要に応じて出力する。
なお、画像処理システム１に関して、例えば、多機能携帯電話、またデジタルカメラ等のように、画像処理装置１０の内部に、撮像装置２０、入力装置３０、及び出力装置４０を実装することで実現することもできる。
【００１５】
図２は、本発明の実施形態に係る画像処理装置１０のハードウェア構成図である。
画像処理装置１０は、図２に示すように、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、画像入力インタフェース（Ｉ／Ｆ）１０５、入力インタフェース１０６、出力インタフェース１０７を備える。
【００１６】
ＣＰＵ１０１は、ＲＯＭ１０３に記憶される各種プログラムを実行することで、画像処理装置１０を制御する。
ＲＡＭ１０２は、ＣＰＵ１０１において実行されるプログラム、また画像処理装置１０において設定される各種データ等を一時的に記憶（格納）する。
ＲＯＭ１０３は、ＣＰＵ１０１において実行される各種プログラムを記憶する。
【００１７】
ＨＤＤ１０４は、撮像装置２０から入力された画像データを保存（記憶）する。
なお、ＨＤＤ１０４には、前述のように、記憶媒体等から移行される画像データも保存することができる。
【００１８】
画像入力インタフェース１０５は、撮像装置２０により撮像された画像を、画像データとして受信するためのインタフェースである。
入力インタフェース１０６は、ユーザが入力装置３０を用いて、画像処理装置１０に対して操作するためのインタフェースである。
出力インタフェース１０７は、例えば、画像処理装置１０において生成される「ぼけ」のある画像、また奥行き画像等を、出力装置４０に送信するためのインタフェースである。
【００１９】
図３は、本発明の実施形態に係る画像処理装置１０の機能ブロック図である。
画像処理装置１０は、画像データ格納部１１１、基準画像選択部１１２、動きベクトル処理部１１３、動きベクトル大きさ変換部１１４、動きベクトル積算部１１５、積算値格納部１１６、画像生成部１１７を備える。
なお、以上の各部のうち、基準画像選択部１１２、動きベクトル処理部１１３、動きベクトル大きさ変換部１１４、動きベクトル積算部１１５、積算値格納部１１６、画像生成部１１７は、画像処理装置１０のコンピュータにプログラムを読み取らせることにより生成される機能実現手段である。
【００２０】
画像データ格納部１１１は、本発明の画像記憶手段に対応し、画像処理の対象とする画像群を格納する。
なお、ここで、画像群とは、撮像装置２０により連続的に撮像された画像の集合のことであり、例えば、６４０×４８０画素の画像、３０枚で構成することができる。
また、画像群を構成する画像（画像データ）の形式は、画像処理装置１０において処理を実行することが可能であれば、特に限定されない。
【００２１】
基準画像選択部１１２は、奥行き情報の取得対象とする画像（即ち、基準画像）を、画像データ格納部１１１に格納された画像群から、ユーザの命令（指示）に基づき、又は機械的に選択する。
基準画像選択部１１２は、選択した基準画像を動きベクトル処理部１１３に転送する。
なお、基準画像選択部１１２は、奥行き情報に基づいた画像処理を行う場合（即ち、「ぼけ」のある画像を生成する場合）も、同様に、選択した基準画像を画像生成部１１７に転送する。
【００２２】
動きベクトル処理部１１３は、動きベクトル算出部１１３Ａ、動きベクトル使用判定部１１３Ｂ、動物体動きベクトル棄却部１１３Ｃ、推定誤差低減部１１３Ｄより構成される。
なお、動きベクトル使用判定部１１３Ｂ、動物体動きベクトル棄却部１１３Ｃ、推定誤差低減部１１３Ｄは、奥行き情報を生成する上で適当でない動きベクトルを除外、棄却等するための機能であることから、撮像した画像にその必要がなければ、特別に実装しなくてもよい。
【００２３】
動きベクトル算出部１１３Ａは、基準画像を受け取ると、画像データ格納部１１１より、基準画像以外の画像を比較画像として読み込み、基準画像と比較画像から動きベクトル（即ち、基本画像に表示されている物体が、比較画像においてどの位置に動いたかを示す２次元の情報（オプティカルフロー））を算出する。
なお、動きベクトルの算出は、各画素レベルで算出することが望ましいが、奥行き情報が疎らでもよい、又は疎らな奥行き情報から奥行き情報がない部分を線形補完等により補完することが可能であれば、各画素レベルで算出する必要はない。
また、動きベクトル処理部１１３は、算出した動きベクトルの集合を、動きベクトル画像として生成する。
【００２４】
動きベクトル使用判定部１１３Ｂは、動きベクトル算出部１１３Ａにおいて算出された動きベクトルの妥当性を判定することで、その動きベクトルが奥行き情報の算出のために使用可能な動きベクトルであるか否かを判定する。
これは、撮像装置２０の動く方向（例えば、前後方向）によって検出される動きベクトルの性質が異なるためである。
なお、動きベクトル使用判定部１１３Ｂにおける処理は、図４Ｂ及び図６を用いて後述する。
【００２５】
動物体動きベクトル棄却部１１３Ｃは、動物体により検出された動きベクトルを棄却する。
なお、動物体動きベクトル棄却部１１３Ｃにおける処理は、図４Ｃ及び図６を用いて後述する。
【００２６】
推定誤差低減部１１３Ｄは、誤って推定された動きベクトルの影響を低減させる。
なお、推定誤差低減部１１３Ｄにおける処理は、図６を用いて後述する。
【００２７】
動きベクトル大きさ変換部１１４は、算出された動きベクトルを大きさに変換する。
動きベクトル積算部１１５は、積算値格納部１１６のデータ（即ち、同じ画素位置の動きベクトルの大きさ）を参照し、その参照したデータに動きベクトル大きさ変換部１１４により変換された動きベクトルの大きさを積算し、積算値格納部１１６に格納する。
【００２８】
積算値格納部１１６は、動きベクトルの大きさを、画素毎に積算値として格納する。
画像生成部１１７は、基準画像選択部１１２において選択された基準画像と、積算値格納部１１６に保持（記憶）した積算値（即ち、奥行き情報）から、基準画像に関する「ぼけ」のある画像を生成する。
なお、画像生成部１１７は、積算値格納部１１６に格納（記憶）した積算値に基づき、奥行き画像も生成する。
【００２９】
図４は、動きベクトル処理部１１３（動きベクトル算出部１１３Ａ、動きベクトル使用判定部１１３Ｂ、動物体動きベクトル棄却部１１３Ｃ）の機能を説明する図であり、左から基準画像、比較画像、動きベクトル画像の順に示している。
【００３０】
なお、図４の基準画像及び比較画像において、近くに位置する物体を灰色で、遠くに位置する物体を黒色で示している。
また、図４に示すように、動きベクトル画像は、被写体の移動を示すものであるが、撮像装置２０が撮像面に対して平行に動いた場合、動きベクトルの大きさ（長さ）が撮像装置２０から近いところでは大きく（長く）、遠いところでは小さく（短く）なる。
本発明の実施形態に係る画像処理装置１０では、この特性を利用することで、奥行き情報を生成する。
【００３１】
図４Ａは、理想的な動きベクトルの検出例を示している。
図４Ａの理想的な動きベクトル画像では、動きベクトルの大きさと、その動きベクトルがある領域の遠近が対応して示されている。
【００３２】
図４Ｂは、撮像装置２０を前後方向に移動させた場合の動きベクトルの検出例を示している。
図４Ａに示す動きベクトル画像と図４Ｂに示す動きベクトル画像の違いに着目すると、図４Ｂに示す動きベクトルは放射状に広がっている。
即ち、図４Ｂに示す動きベクトルの角度は全体的にばらついており、動きベクトルの向きに規則性がない。
【００３３】
そのため、図４Ｂに示す動きベクトルの大きさは、その動きベクトルの領域の遠近に対応しておらず、この場合の動きベクトルを、奥行き情報の算出に用いることは適切ではない。
動きベクトル使用判定部１１３Ｂは、図４Ｂに示すような動きベクトルの状態から動きベクトルの妥当性を判定し、動きベクトルが奥行き情報の算出のために使用可能な動きベクトルであるか否かを判定する。
なお、動きベクトル使用判定部１１３Ｂは、奥行き情報の算出のために使用可能な動きベクトルではないと判定すると、その全ての動きベクトル（即ち、図４Ｂに示される、全ての動きベクトル）を使用不可とする。
【００３４】
図４Ｃは、動物体が存在した場合の動きベクトルの検出例を示している。
図４Ｃの基準画像及び比較画像において動物体を「塗り円」で示しており、図４Ｃの動きベクトル画像では、その動物体の運動に応じた動きベクトルが検出されている。
図４Ｃに示すように、動きベクトル画像において示される動物体の動きベクトルは、手振れ方向とは異なる方向（角度）に動いているものであり、その物体の遠近情報に対応したものではないことから、動物体動きベクトル棄却部１１３Ｃは、動物体の動きベクトルを棄却する。
【００３５】
図５は、本発明の実施形態に係る画像処理装置１０における処理の概要を示すフロー図である。
撮像装置２０により、被写体を連続的に撮像する（Ｓ１１）。
なお、この場合、撮像された画像は、ほとんど同一の画像となるが、本発明の実施形態では、撮像装置２０により連続的に撮像された画像に手振れ等により微妙な違いがあることを前提としている。
【００３６】
画像処理装置１０は、撮像装置２０により連続的に撮像された画像を、画像群（画像の集合）として記憶する（Ｓ１２）。
画像処理装置１０は、連続的に撮像された画像（即ち、画像群）から基準画像を選択し、その基準画像と、画像群を構成するその他の画像から動きベクトルを画素毎に算出する（Ｓ１３）。
なお、ステップＳ１３における処理は、奥行き情報の信頼性を高めるため、画像群を構成する全ての画像に対して実行することが好ましい。
また、画像処理装置１０は、算出した動きベクトルの集合を、動きベクトル画像として生成する。
【００３７】
画像処理装置１０は、ステップＳ１３で算出した動きベクトルから奥行き情報の算出に使用することができない動きベクトルを除外し、さらに動物体の動きベクトルを棄却等した後に、動きベクトルの大きさを積算する（Ｓ１４）。
画像処理装置１０は、積算された動きベクトルから奥行き画像を生成する（Ｓ１５）。
【００３８】
図６は、本発明の実施形態に係る画像処理装置１０における、動きベクトルの算出処理から動きベクトルの積算処理までの詳細な手順を示すフロー図である。
即ち、図６は、図５のステップＳ１３、ステップＳ１４における処理の詳細な手順を示すフロー図である。
基準画像選択部１１２は、図５のステップＳ１２において撮像装置２０により連続的に撮像された画像が画像群として記憶されると、その画像群から基準画像（即ち、奥行き情報の取得対象とする画像）を選択する（Ｓ１３１）。
【００３９】
本発明の実施形態に係る画像処理装置１０では、前述のように、連続的に撮像された画像に手振れ等により微妙な違いがあることを前提とするが、基準画像を選択する上では、ぶれの少ない綺麗な画像を選択することが好ましい。
ここで、ぶれの少ない綺麗な画像とは、例えば、画素値のヒストグラムにおいて、分散が所定の値よりも高い画像のことである。
なお、基準画像選択部１１２は、連続的に撮像された画像から、機械的に「ｎ番目」に位置する画像を、基準画像として選択してもよい。
【００４０】
動きベクトル算出部１１３Ａは、基準画像選択部１１２において基準画像が選択されると、画像データ格納部１１１より、動きベクトルの算出対象とする画像を比較画像として選択する（Ｓ１３２）。
動きベクトル算出部１１３Ａは、基準画像選択部１１２により選択された基準画像とステップＳ１３２で選択した比較画像から動きベクトルを算出する（Ｓ１３３）。
動きベクトルは、例えば、オープンソースライブラリであるＯｐｅｎＣＶ（登録商標）を用いて算出することができる。
【００４１】
動きベクトル使用判定部１１３Ｂは、動きベクトルの角度のばらつきを算出する（Ｓ１４１）。
ここでは、角度のばらつきの度合いを示す指標として、標準偏差を用いる。
なお、標準偏差は、分散の正の平方根であることから、動きベクトルの角度の分散を算出する。
【００４２】
分散を算出する上で、動きベクトルの角度の平均との差分を用いることから、動きベクトルの角度の平均を求める必要がある。
但し、角度の平均の算出において、単純な算術平均を用いると、想定した値とならない場合がある。具体的には、動きベクトルの角度が１度の場合と３５９度の場合、その平均は０度であるが、単純な算術平均を用いると１８０度となり、想定した値とはならない。
【００４３】
そのため、例えば、全ての動きベクトルを合成し、その合成したベクトルの角度を平均として取り扱うこともできる。
また、動きベクトルの合成において、正規化したものを用いることもできる。
【００４４】
合成により得られたベクトルと動きベクトルがなす角度を平均との差分として分散を算出する。
あるいは、動きベクトルの角度と角度の平均との差分として、その差分の絶対値が１８０度以下となるように、動きベクトルの角度又は角度の平均の一方を角度の周期性に対応させ、その角度を用いて算出した差分を用いて分散を算出してもよい。
【００４５】
動きベクトル使用判定部１１３Ｂは、ステップＳ１４１で算出した動きベクトルの角度のばらつき（即ち、標準偏差）を用いて、動きベクトルの除外判定を行う（Ｓ１４２）。
例えば、標準偏差が４５度以上であれば、それは、角度の平均から４５度以上ずれているものがある程度（正規分布であれば、１／３程度）存在していることを意味し、前述の図４Ｂにおいて示したように、動きベクトルの向きに規則性がない状態といえる。
このような状態にある動きベクトルは、いずれも遠近情報に対応するものではないため、その動きベクトルの全てを積算に用いない。
【００４６】
即ち、動きベクトル使用判定部１１３Ｂは、その基準画像から得られた動きベクトルを全て除外する（Ｓ１４２ 「Ｎｏ」）。
なお、動きベクトル使用判定部１１３Ｂは、以上のように、動きベクトルの角度のばらつきを算出するばらつき算出手段、また角度のばらつきの大きい動きベクトルを除外する動きベクトル除外手段として機能する。
【００４７】
動物体動きベクトル棄却部１１３Ｃは、動きベクトル使用判定部１１３Ｂにおいて角度のばらつきが小さい（Ｓ１４２ 「Ｙｅｓ」）と判定された動きベクトルから、積算の対象としない動きベクトルを棄却する。
ここで、積算の対象としない動きベクトルとは、前述の図４Ｃにおいて示したように、動物体の動きベクトルのような遠近に対応しない動きベクトルのことである。
【００４８】
積算の対象としない動きベクトルを棄却する方法としては、例えば、各動きベクトルからその動きベクトルの角度の平均を算出し、その角度の平均から所定の閾値以上離れたベクトル（即ち、動物体の動きベクトル）を棄却する方法がある。
そこで、動物体動きベクトル棄却部１１３Ｃは、動きベクトルの角度の平均を算出する（Ｓ１４３）。
なお、ステップＳ１４３における処理は、ステップＳ１４１において角度の平均を算出していれば、その算出した値を用いることで、省略することもできる。
【００４９】
動物体動きベクトル棄却部１１３Ｃは、角度の平均から所定の閾値以上離れた動きベクトルを棄却する（Ｓ１４４）。
閾値としては、例えば、４５度で設定することができる。このように設定することで、極端に角度の異なる動きベクトルを棄却することができる。
【００５０】
また、動物体動きベクトル棄却部１１３Ｃは、動きベクトルを棄却する代わりに、その棄却対象とする動きベクトルを零ベクトルに置き換えることもできる。
なお、動物体動きベクトル棄却部１１３Ｃは、以上のように、動きベクトルの角度の平均を算出する平均角度算出手段、また角度の平均から所定の閾値以上離れた動きベクトルを棄却する動きベクトル棄却手段として機能する。
【００５１】
推定誤差低減部１１３Ｄは、動物体動きベクトル棄却部１１３Ｃにより積算の対象としない動きベクトルを棄却すると、誤って推定された動きベクトルの影響を低減させる。
ここで、誤って推定された動きベクトルとして、例えば、雑音等の影響により、動きベクトルの大きさが小さいものを仮定することができる。
このように仮定する場合、推定誤差低減部１１３Ｄは、その影響を低減するために（即ち、動きベクトルの大きさが小さい動きベクトルを除外するために）、動きベクトルの大きさの平均を算出しておき、各動きベクトルに関して、動きベクトルの大きさから平均値を基準にその定数倍を減算する。
【００５２】
即ち、推定誤差低減部１１３Ｄは、先ず、動きベクトルの大きさの平均を算出する（Ｓ１４５）。
動きベクトルの大きさは、動きベクトル大きさ変換部１１４により、ユーグリッド距離である、横方向と縦方向の移動量の二乗和の平方根で求めることができる。
なお、動きベクトルの大きさと遠近が対応していればよいことから、動きベクトルの大きさとして、単純に、横方向と縦方向の移動量の二乗和とすることもできる。例えば、ある動きベクトルが横方向に３、縦方向に４であった場合、動きベクトルの大きさは、３＾２＋４＾２＝２５となる。
【００５３】
推定誤差低減部１１３Ｄは、前述のように、次に、動きベクトルの大きさから、ステップＳ１４５で算出した動きベクトルの大きさの平均の定数倍を減算する（Ｓ１４６）。
定数倍の定数としては、任意の値を用いてよく、また動きベクトルの状況に応じて可変させてもよい。
【００５４】
なお、推定誤差低減部１１３Ｄは、以上のように、動きベクトルの大きさの平均を算出する平均算出手段、または動きベクトルの大きさの平均の定数倍を減算する減算手段として機能する。
推定誤差低減部１１３Ｄにより誤って推定された動きベクトルの影響を低減させると、動きベクトルの大きさは、各画素に対応するように格納される。
【００５５】
動きベクトル積算部１１５は、動きベクトルの大きさを画素毎に積算する（Ｓ１４７）。
なお、動きベクトルの大きさを画素毎に積算する前に、動きベクトルに重み付けを行ってもよい。
ここで、重み付けを行わず、動きベクトルの大きさを単純に積算した場合、撮像装置２０が大きく動いたときは動きベクトルが大きくなるため、その動きベクトルが奥行き情報に与える影響は大きくなる。他方、例えば、動きベクトルの最大値、最小値を０から１の間に正規化してから積算した場合、動きベクトルの重みが等しくなり、撮像装置２０が大きく動いた場合でも小さく動いた場合でも奥行き情報に与える影響の大きさは同じになる。
【００５６】
積算の具体的な方法としては、例えば、最初に基準画像と同じ画素数に対応する大きさの記憶領域を確保して初期化しておき、画素毎に動きベクトルの大きさを加算していく方法がある。
画像処理装置１０は、ステップＳ１４７までの処理が完了すると、画像データ格納部１１１に動きベクトルの算出に用いられていない画像があるか否かを判定し（Ｓ１４８）、画像データ格納部１１１に記憶されている全ての画像に対して、動きベクトルの算出処理が完了していれば（Ｓ１４８ 「Ｙｅｓ」）、処理を終了する。また、画像データ格納部１１１に、動きベクトルの算出処理が完了していない画像があれば（Ｓ１４８ 「Ｎｏ」）、ステップＳ１３２に処理を返す。
【００５７】
なお、画像データ格納部１１１に記憶されている全ての画像に対して、比較画像として選択する必要はないが、微小な変化を積算して奥行き情報を強調するという手法の特性上、なるべく多くの画像に対して処理を実行することが好ましい。
画像処理装置１０は、ステップＳ１４８において「Ｙｅｓ」と判定すると（即ち、図５のステップＳ１４の処理が完了すると）、積算された動きベクトルから奥行き画像を生成する。
【００５８】
図７は、本発明の実施形態に係る画像処理装置１０における、動きベクトルを算出する処理から奥行き画像を生成する処理までの概要を示す図である。
画像処理装置１０は、図７に示すように、動きベクトル算出部１１３Ａにより基準画像と比較画像から画素毎に動きベクトルを算出し、動きベクトル大きさ変換部１１４により算出した動きベクトルを動きベクトルの大きさに変換する。
【００５９】
図７では、比較画像ｎの動きベクトル（左上）に関して、動きベクトルの横方向が１、縦方向が２であることから、動きベクトルの大きさを１＾２＋２＾２＝５と算出している。
画像処理装置１０は、算出した動きベクトルの大きさである「５」を、該当する画素位置（左上）に記憶する。
【００６０】
画像処理装置１０は、図７に示すように、比較画像１〜ｎの各々に対して算出した動きベクトルの大きさを、画素毎に積算する。
画像処理装置１０は、画素毎に積算した結果（積算値）に基づき、奥行き画像を生成する。
【００６１】
前述のように、本発明の実施形態に係る画像処理装置１０では、動きベクトルの大きさが撮像装置２０から近いところでは大きく、遠いところでは小さくなるという特性を利用することから、画像処理装置１０は、画像生成部１１７により、積算値の大きい画素は淡いイメージとして、また積算値の小さい画素は濃いイメージとして画像を生成する。
また、画素毎に積算した結果（積算値）と基準画像から、「ぼけ」のある画像を生成することができる。
【００６２】
以上、説明したように、本発明の実施形態に係る画像処理装置によれば、ユーザが撮像装置を意識的に動かすことなく連続的に撮像した画像から、奥行き情報を取得することができる。
【符号の説明】
【００６３】
１…画像処理システム、１０…画像処理装置、２０…撮像装置、３０…入力装置、４０…出力装置、１１１…画像データ格納部、１１２…基準画像選択部、１１３…動きベクトル処理部、１１４…動きベクトル大きさ変換部、１１５…動きベクトル積算部、１１６…積算値格納部、１１７…画像生成部。
【先行技術文献】
【非特許文献】
【００６４】
【非特許文献１】Sandini G. and Tistrarelli M., “Active tracking strategy for monocular depth inference over multiple frames”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.12, No.1, pp.13-27, 1990
【図１】
2017021638.tif 000003
【図２】
2017021638.tif 000004
【図３】
2017021638.tif 000005
【図４】
2017021638.tif 000006
【図５】
2017021638.tif 000007
【図６】
2017021638.tif 000008
【図７】
2017021638.tif 000009