(57)【要約】      （修正有）【課題】演算の処理量を軽減する撮像装置および移動システムを提供することを目的とする。【解決手段】移動システム３６０において、移動体３５０に搭載される撮像装置３００であって、画像を撮像する撮像ユニット２９と、移動体３５０の移動に伴う撮像ユニット２９の動作を検出するセンサ群４０と、撮像ユニット２９で撮像した画像の画像情報に、該画像を撮像した時点で検出された６個の動き情報を重畳する重畳部３０と、重畳部で６個の動き情報が重畳された画像情報を出力する出力部３２とを有する。【選択図】図３
2019115006.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載される撮像装置であって、
画像を撮像する撮像部と、
前記移動体の移動に伴う前記撮像装置の動作を検出する動作検出部と、
前記撮像部で撮像した画像の画像情報に、該画像を撮像した時点で検出された前記動作の動作情報を重畳する重畳部と、
前記重畳部で前記動作情報が重畳された前記画像情報を出力する出力部とを有する撮像装置。
【請求項２】
前記撮像部で撮像する画像は、動画像である、請求項１に記載の撮像装置。
【請求項３】
前記重畳部は、前記動画像の１フレームの前記画像情報ごとに前記動作情報を重畳させる、請求項２に記載の撮像装置。
【請求項４】
前記重畳部は、前記動作情報を画像に変換して前記撮像部で撮像した画像に合成することで、前記動作情報を前記画像情報に重畳させる、請求項１〜請求項３いずれかに記載の撮像装置。
【請求項５】
前記動作検出部は、前記撮像装置の加速度を検出する加速度センサ、および前記撮像装置の角速度を検出する角速度センサのうち少なくとも１つを含み、
前記動作情報は、前記加速度センサで検出した前記撮像装置の加速度、および前記角速度センサで検出した前記撮像装置の角速度のうち少なくとも１つを含む、請求項１〜請求項４いずれかに記載の撮像装置。
【請求項６】
前記加速度センサで検出した前記撮像装置の加速度、および前記角速度センサで検出した前記撮像装置の角速度のうち少なくとも１つ値に基づいて、前記撮像部のブレを補正する第１補正部と、
前記第１補正部で前記撮像部のブレを補正した補正値を、前記動作情報から減算する第２補正部とを備える、請求項５に記載の撮像装置。
【請求項７】
前記撮像部は、撮像する画角を変更可能であり、
前記画角を検出する画角検出部をさらに備え、
前記重畳部は、前記撮像部で撮像した画像の前記画像情報に、該画像を撮像した時点で検出された前記画角の画角情報を重畳する、請求項１〜６いずれか１項に記載の撮像装置。
【請求項８】
前記動作検出部は、前記撮像装置の位置を検出する位置センサを含み、
前記動作情報は、前記位置センサで検出した前記撮像装置の位置の位置情報を含み、
前記出力部は、前記撮像部が物体の所定箇所を撮像した場合に、該所定箇所を撮像した画像の前記画像情報に、該画像を撮像した時点で検出された前記位置情報を重畳させて出力する、請求項１〜請求項７いずれか１項に記載の撮像装置。
【請求項９】
前記物体の所定箇所は、該物体の破損個所を含む、請求項８に記載の撮像装置。
【請求項１０】
前記撮像装置の環境を検出する環境検出部と、
前記重畳部は、前記撮像部で撮像した画像の画像情報に、該画像を撮像した時点で検出された前記環境の環境情報を重畳する、請求項１〜９いずれか１項に記載の撮像装置。
【請求項１１】
撮像装置と、該撮像装置を搭載する移動体とを備える移動システムであって、
画像を撮像する撮像部と、
前記移動体の移動に伴う前記撮像装置の動作を検出する動作検出部と、
前記撮像部で撮像した画像の画像情報に、該画像を撮像した時点で検出された前記動作の動作情報を重畳する重畳部と、
前記重畳部で前記動作情報が重畳された前記画像情報を前記移動体に出力する出力部と、
前記出力部から出力された前記画像情報を解析する解析部と、
前記解析部での解析結果に基づき前記移動体を制御する制御部とを備える、移動システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および移動システムに関する。
【背景技術】
【０００２】
従来、たとえば、自動車の自動運転システムでは、交通標識、走行している車両、歩行者などを撮像装置で撮像した画像情報に基づいて、交通標識の内容を認識したり、自車両と他の車両や歩行者との相対的な位置関係（他の車両や歩行者の動き）を把握したりして自動車の運転を制御している。特に、撮像装置で撮像した画像情報から自車両と他の車両や歩行者との相対的な位置関係を把握することは重要な技術課題であり、特許文献１記載の技術では、車載カメラ（撮像装置）で撮像された動画像の１コマの画像をずらして差分を算出し、該差分から動きベクトルを算出することで他の車両や歩行者の動きを検出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９９９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１記載の発明では、フレームの異なる複数の画像から動きベクトルを算出するための演算が必要であった。そのため、特許文献１記載の発明では、該演算の処理量が増大するという課題があった。
【０００５】
そこで、本発明は、上記のような課題を解決するためになされたものであり、演算の処理量を軽減する撮像装置および移動システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある局面によれば、移動体に搭載される撮像装置であって、画像を撮像する撮像部と、移動体の移動に伴う撮像装置の動作を検出する動作検出部と、撮像部で撮像した画像の画像情報に、該画像を撮像した時点で検出された動作の動作情報を重畳する重畳部と、重畳部で動作情報が重畳された画像情報を出力する出力部とを有する。
【０００７】
本発明の他のある局面によれば、撮像装置と、該撮像装置を搭載する移動体とを備える移動システムであって、画像を撮像する撮像部と、移動体の移動に伴う撮像装置の動作を検出する動作検出部と、撮像部で撮像した画像の画像情報に、該画像を撮像した時点で検出された動作の動作情報を重畳する重畳部と、重畳部で動作情報が重畳された画像情報を移動体に出力する出力部と、出力部から出力された画像情報を解析する解析部と、解析部での解析結果に基づき移動体を制御する制御部とを備える。
【発明の効果】
【０００８】
本発明によれば、演算の処理量を軽減する撮像装置および移動システムを提供することである。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の移動システムが適用される状況の一例を示す図である。
【図２】本実施形態の撮像装置などのハードウェア構成を示す図である。
【図３】本実施形態の撮像装置などの機能構成例を示す図である。
【図４】各種の信号を模式的に示す図である。
【図５】動き画像信号などを示す図である。
【図６】信号変換部の機能構成例を示す図である。
【図７】開始コードなどを示す図である。
【図８】本実施形態の撮像装置の処理フローを示す図である。
【図９】別の実施形態の撮像装置などの機能構成例を示す図である。
【図１０】別の実施形態の撮像装置などの機能構成例を示す図である。
【図１１】信号変換部の機能構成例を示す図である。
【図１２】別の実施形態などの思想を示す図である。
【図１３】別の実施形態の撮像装置などの機能構成例を示す図である。
【図１４】別の実施形態の信号変換部の機能構成例を示す図である。
【図１５】別の実施形態の撮像装置の処理フローを示す図である。
【図１６】別の実施形態の記憶内容を示す図である。
【図１７】別の実施形態の撮像装置などの機能構成例を示す図である。
【図１８】別の実施形態の信号変換部の機能構成例を示す図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
＜適用例＞
まず、図１を用いて、本実施形態の移動システムが適用される場面の一例について説明する。本実施形態の移動システムは、様々なシステムに適用できる。図１は、移動システムが、移動体の自動運転システム（運転支援システム）に適用された例を示した図である。移動システムは、撮像装置と、移動体などを備える。移動体は、たとえば、自動車、オートバイ、電車、家庭用ロボット、および飛行体などを含む。飛行体は、飛行機、ヘリコプター、ドローンなどを含む。なお、以下の説明において、同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。図１の例では、移動体は車両、または自車両という場合もある。
【００１１】
図１（Ａ）の例では、撮像装置は、被写体としての対向車両が自車両に向かって移動する動画を撮像する。撮像装置は、該撮像された動画の最小単位の画像（つまり静止画像）を取得する。図１の例では、最小単位は、１フレームであるとする。
【００１２】
また、図１（Ｂ）の例では、撮像装置は、該撮像装置のＸ軸加速度と、該撮像装置のＹ軸加速度と、該撮像装置のＺ軸加速度と、該撮像装置のＸ軸角速度と、該撮像装置のＹ軸角速度と、該撮像装置のＺ軸角速度とのうち少なくとも１つを検出する。以下では、撮像装置のＸ軸加速度と、撮像装置のＹ軸加速度と、撮像装置のＺ軸加速度と、撮像装置のＸ軸角速度と、撮像装置のＹ軸角速度と、撮像装置のＺ軸角速度とをまとめて６個の動き情報という。図１の例では、図１（Ａ）に示すように、撮像装置は、６個の動き情報の全てを検出する。また、この６個の動き情報は、１フレームの画像が撮像された時点で検出された情報である。なお、変形例として、角速度については、たとえば、角加速度としてもよい。
【００１３】
図１（Ｃ）に示すように、６個の動き情報は、動き画像情報に変換される。図１の例では、動き画像情報は、１次元画像情報である。１次元画像情報は、たとえば、１次元画像に係る情報であり、バーコード情報である。
【００１４】
図１（Ｄ）に示すように、１フレームの画像に対して、１次元画像情報が重畳される。ここで、該１次元画像情報は、該１フレームの画像が撮像された時点での６個の動き情報が変換された情報である。以下では、該１フレームの画像に対して、１次元画像情報が重畳された画像を重畳画像、または重畳画像情報ともいう。この重畳画像は、撮像した動画の全てのフレームの画像に対して生成される。たとえば、１秒＝３０フレームとした場合において、２０秒の動画が撮像された場合には、６００フレーム分の重畳画像が生成される。
【００１５】
図１（Ｅ）に示すように、撮像装置は、重畳画像を自車両に対して出力する。自車両は、該重畳画像などの情報に基づいて自動運転を実行する。
【００１６】
このように、撮像装置を搭載している自車両は、重畳画像を解析することにより、自車両の加速度および角速度を特定できる。したがって、自車両の動きベクトル（たとえば、自車両の加速度および角速度を特定するためのベクトル）を算出するための演算を実行する必要がないことから、演算の処理量を削減できる。
【００１７】
また、仮に、画像情報と動作情報とが個別に自車両に出力される構成を採用した例（以下、「比較例という。」では、画像情報が撮像装置から移動体に入力される入力回路と、動作情報が撮像装置から移動体に入力される入力回路とが別になる。したがって、入力回路が複雑になることから、システム構造が複雑になってしまう。
【００１８】
そこで、適用例のように、動き情報（６個の動き情報）が重畳された画像情報（１フレームの画像）が自車両に出力される。この場合には、比較例と比較して、入力回路を簡素化できることから、システムの簡素化を図ることができる。
【００１９】
また、特許文献１で開示されている自動運転装置において、該自動運転装置が適用される自動車にはカメラが搭載されている。該自動運転装置の制御部は、該カメラで撮像した動画に基づいて、自動車の自動運転制御を実行している。
【００２０】
ここで、特許文献１記載の技術では、該カメラ（自動車）の動きは停止しているが該カメラが撮像した被写体が動いているのか、該カメラ（自動車）は動いているが該被写体が停止しているのかが判別できない。
【００２１】
一方、適用例では、１フレームの画像情報に対して、撮像装置の動き画像情報が重畳されている。自車両は、該動き画像情報を解析することにより、撮像装置の動きを認識することができる。したがって、自車両は、撮像装置の動きは停止しているが該撮像装置が撮像した被写体（対向車両）が動いているのか、撮像装置は動いているが該被写体（対向車両）が停止しているのかを判別できる。このような判別が実行できることにより奏する効果については後述する。
【００２２】
＜ハードウェア構成＞
図２は、本実施形態の撮像装置３００のハードウェア構成を示した図である。図２を参照して、撮像装置３００は、プログラムを実行するＣＰＵ（Central Processing Unit）１０１と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１０２と、データを揮発的に格納するＲＡＭ（Random Access Memory）１０３と、センサ群４０と、通信ＩＦ１０８と、撮像ユニット２９（撮像部）とを有する。
【００２３】
撮像装置３００における処理は、各ハードウェアおよびＣＰＵ１０１により実行されるソフトウェアによって実現される。このようなソフトウェアは、フラッシュメモリ（図示せず）に予め記憶されている場合がある。同図に示される撮像装置３００を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュメモリ、メモリカードその他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。
【００２４】
なお、記録媒体としては、ＤＶＤ-ＲＯＭ、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。
【００２５】
ここでいうプログラムは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００２６】
また、通信ＩＦ１０８は、他の外部機器（たとえば、移動体）と通信可能に接続されている。センサ群４０と、撮像ユニット２９とについては後述する。また、移動体のハードウェア構成は、図２に示した構成から、センサ群４０と、撮像ユニット２９とを省略した構成であって、他の構成を付加したものとなる。他の構成とは、たとえば、移動体を駆動させる駆動部と、ユーザからの操作を受付ける操作受付部などを含む。
【００２７】
次に、実施の形態１の撮像装置を説明する。実施の形態１は、移動体（たとえば、自動車）の自動運転システムに係る実施形態である。
【００２８】
［機能構成例］
本実施形態の撮像装置３００と、該撮像装置３００が搭載される移動体３５０との機能構成例を説明する。図３は、該機能構成例を示す図である。撮像装置３００は、センサ群４０と、撮像ユニット２９と、信号変換部２８と、重畳部３０と、出力部３２とを含む。また、移動体３５０は、撮像装置３００と、制御部５０と、駆動部５２とを含む。このように、移動システム３６０は、撮像装置３００と、移動体３５０などを含むシステムである。
【００２９】
撮像ユニット２９は、レンズ２２と、撮像素子２４と、ＡＤ変換部２６（アナログディジタル変換部）とを含む。レンズ２２は、入射光を集光する。撮像素子２４の撮像面には、レンズ２２により集光された入射光に基づいて、光学像が形成される。レンズ２２（または撮像ユニット２９）などの駆動は、撮像装置３００の制御部２７により実行される。
【００３０】
撮像素子２４は、ＣＣＤ（Charge Coupled Device ）固体撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）固体撮像素子などにより形成される。撮像素子２４は、撮像面に形成された光学像を光電変換処理して動画像又は静止画像による撮像結果を出力する。
【００３１】
ＡＤ変換部２６は、撮像素子２４から出力される撮像結果に対して、アナログディジタル変換処理を実行し、その処理結果による画像情報（画像データ）を出力する。このように、撮像ユニット２９は、画像（動画）を撮像し、画像情報を出力する（図１（Ａ）も参照）。該出力された画像情報は、重畳部３０に入力される。
【００３２】
センサ群４０は、移動体の移動に伴う撮像ユニット２９の動きを検出する。センサ群４０は、撮像ユニット２９の近傍に配置されている。センサ群４０は、Ｘ軸加速度センサ１０と、Ｙ軸加速度センサ１２と、Ｚ軸加速度センサ１４と、Ｘ軸角速度センサ１６と、Ｙ軸角速度センサ１８と、Ｚ軸角速度センサ２０とを含む。なお、変形例として、センサ群４０は、Ｘ軸加速度センサ１０と、Ｙ軸加速度センサ１２と、Ｚ軸加速度センサ１４と、Ｘ軸角速度センサ１６と、Ｙ軸角速度センサ１８と、Ｚ軸角速度センサ２０とのうち少なくとも１つのセンサを含むようにしてもよい。角速度センサはたとえば、ジャイロセンサとしてもよい。
【００３３】
Ｘ軸加速度センサ１０は、撮像ユニット２９のＸ軸方向の加速度を検出する。Ｙ軸加速度センサ１２は、撮像ユニット２９のＹ軸方向の加速度を検出する。Ｚ軸加速度センサ１４は、撮像ユニット２９のＺ軸方向の加速度を検出する。Ｘ軸角速度センサ１６は、撮像ユニット２９のＸ軸方向の角速度を検出する。Ｙ軸角速度センサ１８は、撮像ユニット２９のＹ軸方向の角速度を検出する。Ｚ軸角速度センサ２０は、撮像ユニット２９のＺ軸方向の角速度を検出する。前述のように、撮像ユニット２９のＸ軸加速度と、撮像ユニット２９のＹ軸加速度と、撮像ユニット２９のＺ軸加速度と、撮像ユニット２９のＸ軸角速度と、撮像ユニット２９のＹ軸角速度と、撮像ユニット２９のＺ軸角速度とをまとめて「６個の動き情報」という。このように、本実施形態では、移動体３５０の移動に伴う撮像ユニット２９の動作を検出する動作検出部は、センサ群４０を含む。センサ群４０は、移動体の移動に伴う撮像ユニット２９の動作として、６個の動きを検出する（図１（Ｂ）も参照）。また、撮像ユニットの動作を示す動作情報は、動き情報（６個の動き情報）を含む。この６個の動き情報は、信号変換部２８に入力される。
【００３４】
信号変換部２８は、動き情報を画像に変換する。つまり、信号変換部２８は、動き情報を動き画像情報に変換する（図１（Ｃ）も参照）。動き画像情報は、重畳部３０に入力される。
【００３５】
重畳部３０は、撮像ユニット２９からの１フレームに相当する画像情報に対して、該画像情報に対応する画像が撮像された時点で検出された６個の動き情報から変換された動き画像情報を重畳させる（図１（Ｄ）も参照）。この重畳処理は、画像情報に対して動き画像情報を合成することにより実行される。重畳部３０は、この重畳処理により、重畳画像情報を出力する。
【００３６】
出力部３２は、重畳画像を出力する。本実施形態では、出力部３２は、重畳画像を移動体３５０の制御部５０に対して出力する（図１（Ｅ）も参照）。なお、変形例として、出力部３２は、他の箇所に重畳画像を出力し、該他の箇所が制御部５０に対して出力するようにしてもよい。つまり、出力部３２は、間接的に、該重畳画像を制御部５０に対して出力するようにしてもよい。
【００３７】
制御部５０は、重畳画像を解析し、該解析の結果に基づいて、駆動部５２を制御する。また、制御部５０は、該解析の結果のみならず、他の情報にも基づいて駆動部５２を制御する。他の情報とは、たとえば、移動体３５０の位置情報（経度および緯度など）、ユーザに入力された目的地までのルートなどの情報を含む。この駆動部５２の制御により、移動体３５０の自動運転（運転支援）を実現できる。制御部５０は、たとえば、人工知能（AI:artificial intelligence）の概念を有する。
【００３８】
［各信号について］
図４は、信号を模式的に示した図である。図４（Ａ）は、垂直同期信号を示す。図４（Ｂ）は、水平同期信号を示す。図４（Ｃ）は、画像信号（撮像ユニット２９からの画像情報）を示す。図４（Ｄ）は、動きデータ信号（センサ群４０からの６個の動き情報）を示す。図４（Ｅ）は、動き画像信号（信号変換部２８からの動き画像情報）を示す。図４（Ｆ）は、重畳画像信号（重畳部３０からの重畳画像情報）を示す。
【００３９】
たとえば、制御部２７が、垂直同期信号、および水平同期信号を出力する。垂直同期信号および水平同期信号は画像信号のタイミングを示す信号である。垂直同期信号は１フレームごとに１回変化する信号である。ここで、垂直同期信号は１フレーム毎のタイミングで、制御部２７からの出力がオフとなり、それ以外のときはオンとなっている構成としてもよい。また、垂直同期信号は１フレーム毎のタイミングで、制御部２７からの出力がオンとなり、それ以外のときはオフとなっている構成としてもよい。
【００４０】
また、水平同期信号は画像の１ライン毎に１回変化する信号である。ここで、水平同期信号は画像の１ライン毎のタイミングで制御部２７からの出力がオフとなり、それ以外のときはオンとなっている構成としてもよい。また、水平同期信号は画像の１ライン毎のタイミングで制御部２７からの出力がオンとなり、それ以外のときはオフとなっている構成としてもよい。
【００４１】
垂直同期信号の出力と水平同期信号の出力とに従って、撮像ユニット２９は画像信号を出力する。また、センサ群４０から出力される６個の動き情報それぞれは、垂直同期信号に同期して更新される。つまり、撮像ユニットから、１フレームの画像信号が出力される毎に、６個の動き情報それぞれは更新される。このように、センサ群４０からは、１フレームの画像信号（画像情報）に対応する画像が撮像された時点での６個の動き情報が出力され、かつ信号変換部２８で該動き情報から動き画像情報に変換される。
【００４２】
また、本実施形態では、図４（Ｅ）に示すように、動き画像情報は、１フレームの画像の最初のラインの前に、信号変換部２８により出力される。なお、変形例として、動き画像情報は、１フレームの画像のＮ個（Ｎは２以上の整数）のうち、ｎ（２≦ｎ≦Ｎを満たす整数）番目ラインの前に、信号変換部２８により出力されるようにしてもよい。
【００４３】
図４（Ｆ）に示すように、重畳部３０により、１フレームの画像信号と、該１フレームの画像信号（画像情報）に対応する画像が撮像された時点での６個の動き情報とが重畳される。
【００４４】
図５は、重畳信号２０４（重畳画像）の一例を示す図である。重畳信号２０４は、画像信号２００と、動き画像信号２０２とを含む。画像信号２００は、被写体α（対向車）が撮像された画像に係る信号である。図５の例では、動き画像信号２０２は１次元画像の信号となっている。また、図５の例では、動き画像信号２０２は、画像信号２００の最も上のラインに位置している。このように、重畳信号２０４に係る画像を表示した場合には、動き画像信号２０２は、画像信号２００の最も上のラインに表示される。
【００４５】
なお、変形例して、動き画像信号２０２は、画像信号２００の表示エリア外に位置するようにしてもよい。また、動き画像信号２０２は、画像信号２００の左右のいずれか一方に位置するようにしてもよい。また、動き画像信号２０２は、画像信号２００の最も下のラインに位置するようにしてもよい。
【００４６】
［信号変換部２８の機能構成例］
次に、図３で示した信号変換部２８の機能構成例を説明する。図６は、信号変換部２８の機能構成例を示す図である。図６の例では、信号変換部２８は、データ選択部２８２と、パターン変換部２８４と、信号選択部２８６とを含む。
【００４７】
図６の例では、Ｘ軸加速度センサ１０は、Ｘ軸加速度を所定ケタ数の整数で出力する。Ｙ軸加速度センサ１２は、Ｙ軸加速度を所定ケタ数の整数で出力する。Ｚ軸加速度センサ１４は、Ｚ軸加速度を所定ケタ数の整数で出力する。Ｘ軸角速度センサ１６は、Ｘ軸角速度を所定ケタ数の整数で出力する。Ｙ軸角速度センサ１８は、Ｙ軸角速度を所定ケタ数の整数で出力する。Ｚ軸角速度センサ２０は、Ｚ軸角速度を所定ケタ数の整数で出力する。
【００４８】
本実施形態においては、所定ケタ数は８ケタであるとする。なお、変形例として、Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度のうち少なくとも１つは、８ケタとは異なるケタ数としてもよい。
【００４９】
また、Ｘ軸加速度センサ１０から出力される８ケタの整数は、Ｘ軸加速度に応じた値となる。Ｙ軸加速度センサ１２から出力される８ケタの整数は、Ｙ軸加速度に応じた値となる。Ｚ軸加速度センサ１４から出力される８ケタの整数は、Ｚ軸加速度に応じた値となる。Ｘ軸角速度センサ１６から出力される８ケタの整数は、Ｘ軸角速度に応じた値となる。Ｙ軸角速度センサ１８から出力される８ケタの整数は、Ｙ軸角速度に応じた値となる。Ｚ軸角速度センサ２０から出力される８ケタの整数は、Ｚ軸角速度に応じた値となる。
【００５０】
つまり、たとえば、Ｘ軸加速度が大きければ大きいほど、Ｘ軸加速度センサ１０から出力される８ケタの整数も大きくなる。
【００５１】
Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度（つまり、６個の動き情報）は、データ選択部２８２に入力される。
【００５２】
データ選択部２８２は、１フレームの画像情報の６個の動き情報について、Ｘ軸加速度の最上位の数値からＺ軸加速度の最下位までの数値（つまり、４８個の数値）までを順番に１つ（１ケタ）ずつ一定時間Ｔごとに選択する。この一定時間Ｔについては予め定められた時間である、詳細は後述する。
【００５３】
データ選択部２８２により選択された１ケタの数値は、パターン変換部２８４に入力される。パターン変換部２８４は、該１ケタの数値を、予め設定されたパターン（コード）に変換する。図６の例では、該パターンは、２進数で６ケタのコードである。図６の例では、たとえば、入力された１ケタの数値が「０」である場合には、パターン変換部２８４は、該１ケタの数値である「０」を、「００１１０１」というコードに変換する。このようにパターン変換部２８４は、Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度（６個の動き情報）それぞれについて、１ケタずつ６ケタのコードに変換する。つまり、パターン変換部２８４は、Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度（６個の動き情報）それぞれについて、４８ケタのコード（４８個の０または１の数値）に変換する。
【００５４】
図７は、パターン変換部２８４から出力されるパターンであって、１フレームの画像に対応するパターンを模式的に示したものである。図７に示すように、パターン変換部２８４は、１フレームの画像に対応するパターンを出力する際には、開始コードである「０００１０１」を設定する。パターン変換部２８４は、該開始コードに対して、Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度それぞれに対応するコードを付加して、出力する。本実施形態では、Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度それぞれに対応するコードは、全て４８ケタ（４８個）の数値である。なお、図６のパターン変換部２８４に記載されている「０〜９それぞれに対応するコード、および開始コード」は、コードテーブルとして規定されている。該コードテーブルは、撮像装置３００の所定の記憶領域（図示せず）に記憶されている。また、このコードテーブルは、移動体３５０の所定の記憶領域（図示せず）にも記憶されている。
【００５５】
該出力された開始コードおよび変換したコードは、信号選択部２８６に入力される。信号選択部２８６は、該コードをハイレベルの信号またはローレベルの信号に変換する。たとえば、入力されたコードのうち「１」をハイレベルの信号に変換して出力し、「０」をローレベルの信号に変換して出力する。
【００５６】
次に、信号変換部２８の処理の具体例を説明する。たとえば、Ｘ軸加速度センサ１０から出力されたＸ軸加速度（８ケタの整数）が、「６０８９４３５６」である場合について説明する。この場合には、まず、データ選択部２８２により「６」（上位１ケタ目の数値）が選択される。該選択された「６」は、パターン変換部２８４に入力される。パターン変換部２８４は、入力された「６」を、対応するパターンに変換する。図６の例では、パターン変換部２８４は、「６」を、「１０１１１１」に変換する。
【００５７】
続いて、データ選択部２８２により「０」（上位２ケタ目の数値）が選択される。該選択された「０」は、パターン変換部２８４に入力される。パターン変換部２８４は、入力された「０」を、対応するパターンに変換する。図６の例では、パターン変換部２８４は、「０」を、「００１１０１」に変換する。
【００５８】
このように、パターン変換部２８４は、Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度それぞれの１ケタの数値を６ケタのコードに変換する。このように、信号変換部２８は、１次元の情報である動き画像情報を出力する。
【００５９】
次に、上述の一定時間Ｔについて説明する。センサ群４０を構成する６個のセンサそれぞれから出力される数字の全て（つまり、４８個）について、データ選択部２８２が選択する合計時間は、「１つ目の水平同期信号が入力されたときから２つ目の水平同期信号が入力されるまで時間」以下とすることが好ましい。また、信号変換部２８により、動き情報から動き画像情報までの変換時間は、１フレームの時間以下とすることが好ましい。
【００６０】
また、動き画像情報が合成（重畳）された重畳画像情報が、出力部３２から出力される。移動体３５０の制御部５０は、重畳画像から、動き画像情報を抽出し、該抽出された動き画像情報を解析する。この解析により、撮像ユニット２９のＸ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度それぞれを特定する。また、この解析の手法として、たとえば、信号変換部２８の処理の順序と逆の順序での処理を実行する。
【００６１】
たとえば、制御部５０は、ハイレベルおよびローレベルの信号をそれぞれ「１」、「０」であると認識する。制御部５０は、開始コードである「０００１０１」を、１フレームの画像に対応するパターンであると特定する。制御部５０は、それ以後のコードを、移動体３５０が有するコードテーブルを参照して、０〜９の整数に変換する。該変換された０〜９の整数が４８個あることから、制御部５０は、８個ずつ抽出することにより、６個のグループを抽出する。この６個のグループそれぞれは、８個の整数により構成されている。制御部５０は、該６個のグループを順に、Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度それぞれに対応する８ケタの整数であると特定する。このように、制御部５０は、撮像ユニット２９のＸ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度（６個の動き情報）それぞれを特定することができる。
【００６２】
制御部５０は、該特定された６個の動き情報に基づいて、駆動部５２を駆動することにより、移動体３５０の自動運転を実現する。また、制御部５０は、６個の動き情報とは別の情報（前述のように、移動体３５０の位置情報（経度および緯度など）、ユーザに入力された目的地までのルートなどの情報）にも基づいて、駆動部５２を駆動する。
【００６３】
なお、信号変換部２８の変換の手法はあくまで一例であり、他の手法を用いるようにしてもよい。たとえば、６個の動き情報それぞれを制御部５０が特定可能にする情報に、信号変換部２８は、該６個の動き情報を変換するようにしてもよい。また、図７の例では、開始コードは、１フレームの画像に対応する動き画像情報の最初に付加された例を示した。しかしながら。たとえば、６個の動き情報それぞれに対応するコードの前に付加するようにしてもよい。たとえば、Ｘ軸加速度のコード、Ｙ軸加速度のコード、Ｚ軸加速度のコード、Ｘ軸角速度のコード、Ｙ軸角速度のコード、Ｚ軸角速度のコードそれぞれの前に開始コードを付加するようにしてもよい。
【００６４】
図８は、本実施形態の撮像装置３００の処理を示すフローチャートである。移動体３５０の自動運転モードに制御されたときに、図８のフローチャートの処理は開始される。図８に示すように、Ｓ２において、撮像ユニット２９は、撮像した動画像の１フレームずつの画像の画像情報を出力する。また、Ｓ２においてセンサ群４０は、該画像を撮像した時点での６個の動き情報を出力する。このように、Ｓ２において、撮像ユニット２９による１フレームの画像情報の出力と、Ｓ４でのセンサ群４０による６個の動き情報の出力は同期される。この同期は、図４に示すように、一例として、垂直同期信号を用いて実行される。
【００６５】
次に、Ｓ６において、信号変換部２８は、６個の動き情報を動き画像情報に変換する。次に、Ｓ６において、重畳部３０は、Ｓ２での１フレームの画像情報に対して、Ｓ４で変換された動き画像情報を重畳することにより重畳画像情報を生成する。次に、Ｓ８において、出力部３２は、該生成された重畳画像情報を移動体３５０に対して出力する。Ｓ８の処理が終了すると、Ｓ２の処理に戻る。また、自動運転モードへの制御が終了したときに、図８の処理は終了する。
【００６６】
なお、移動体３５０の平坦な道で自動運転で走行している場合において、速度が定速に到達した場合には、６個の動き情報（Ｘ軸加速度、Ｙ軸加速度、Ｚ軸加速度、Ｘ軸角速度、Ｙ軸角速度、およびＺ軸角速度）の全てが理論上、０になる、つまり、移動体３５０が停止している場合と同一の６個の動き情報になることが理論上考えられる。しかしながら、実際は、移動体３５０が走行している限りでは、６個の動き情報の全てが０になることは極めて稀である。仮に、移動体３５０が走行していて６個の動き情報の全てが０になったとしても、該６個の動き情報の全てが０になる期間は極めて短い。よって、移動体３５０が走行している場合には６個の動き情報の全てが０になるという状況は考慮せずに、本実施形態は適用される。
【００６７】
また、本実施形態の重畳画像のデータ構造は以下のようにも表現できる。該データ構造は、移動体に搭載された撮像装置により撮像された動画のデータ構造である。また、該データ構造は、移動体の移動に伴う撮像装置の動作の情報であって、動画の最小単位（たとえば、１フレーム）の画像が撮像された時点で検出された動作情報が、該動作の最小単位の画像それぞれに重畳されている。
【００６８】
［本実施形態の撮像装置３００が奏する効果］
次に、本実施形態の撮像装置３００が奏する効果について説明する。
【００６９】
（１）  特許文献１記載の技術では、動きベクトルを算出するための演算が必要であった。しかしながら、本実施形態の撮像装置を搭載している自車両は、重畳画像を解析することにより、自車両の加速度および角速度を特定できる。したがって、自車両の動きベクトル（たとえば、自車両の加速度および角速度を特定するためのベクトル）を算出するための演算を実行する必要がないことから、演算の処理量を削減できる。また、特許文献１記載の技術と比較して、動きベクトルの演算に伴う消費電力を低減できる。
【００７０】
（２）  本実施形態の撮像装置３００は、撮像ユニット２９が撮像した動画像の１フレームずつの画像それぞれに対して６個の動き情報を重畳させて出力している。つまり、撮像ユニット２９が撮像した画像と、６個の動き情報とが１の画像で出力される。したがって、前述の比較例と比較して、本実施形態の撮像装置３００から移動体３５０へ入力される信号数を少なくできると共に、入力回路などの構成を簡素化でき、システム構造を簡素化できる。
【００７１】
（３）  また、特許文献１で開示されている自動運転装置において、該自動運転装置が適用される自動車にはカメラが搭載されている。該自動運転装置の制御部は、該カメラで撮像した動画に基づいて、自動車の自動運転制御を実行している。
【００７２】
ここで、特許文献１記載の技術では、該カメラ（自動車）の動きは停止しているが該カメラが撮像した被写体が動いているのか、該カメラ（自動車）は動いているが該被写体が停止しているのかが判別できない。
【００７３】
一方、本実施形態の移動システム３６０では、１フレームの画像情報に対して、撮像ユニット２９の動き画像情報が重畳されている。移動体３５０の制御部５０は、該動き画像情報を解析することにより、撮像ユニット２９（移動体３５０）の動きを認識することができる。たとえば、制御部５０が、６個の動き情報の全てが「０」であると判断した場合には、制御部５０は、撮像ユニット２９が停止していると判断する。一方、制御部５０が、６個の動き情報のうち少なくとも１つが「０」ではないと判断した場合には、制御部５０は、撮像ユニット２９が動いていると判断する。
【００７４】
したがって、制御部５０は、撮像ユニット２９の動きは停止しているが該撮像ユニット２９が撮像した被写体が動いているのか、該撮像ユニット２９は動いているが該被写体が停止しているのかを判別できる。
【００７５】
移動システム３６０は、このような判別を実行することにより、以下の処理を実行することができる。たとえば、撮像装置３００が、自動運転中で、自動運転を実行するために必要な被写体であって、停止している自動運転用被写体（たとえば、道路の交通標識）と類似する類似物体を撮像する場合がある。この場合において、移動システム３６０が、撮像ユニット２９の動きは停止しているが該類似物体が動いていると判断した場合には、該類似物体を標識の候補から外して自動運転を実行することができる。一方、移動システム３６０が、該類似物体が動いていないと判断した場合には、該類似物体を標識であると判断して自動運転を実行する。したがって、移動システム３６０は、自動運転用被写体と類似する類似物体が自動運転用被写体であるか否かの判断を正確に行うことができる。
【００７６】
また、たとえば、撮像装置３００は、移動することおよび停止することが可能な移動被写体（たとえば、自転車）を撮像する場合がある。この場合において、移動システム３６０が移動被写体の動きを予測して、自動運転を実行する場合には、移動被写体が停止しているか移動しているかに応じて、該移動被写体の動き予測結果が異なってくる。たとえば、移動被写体が移動していると判断された場合には、該移動被写体は、移動方向に加速して移動スピードを上げる第１の場合と、移動方向とは逆方向に加速をかけて移動スピードを低下させる第２の場合とがある。したがって、移動システム３６０は、移動被写体が移動していると判断した場合には、第１の場合と第２の場合とのうちのいずれかが生じるという予測を行うことができる。一方、移動システム３６０が該移動被写体は停止していると判断した場合には、該移動被写体は、加速して移動を開始する第３の場合と、移動せずに停止したままという第４の場合とがある。したがって、移動システム３６０は、移動被写体が移動していないと判断された場合には、第３の場合と第４の場合とのうちのいずれかが生じるという予測を行うことができる。
【００７７】
（４）  また、撮像ユニット２９は、自動運転のための動画像を撮像する。また、移動体３５０の制御部５０は、動き画像情報が重畳された動画像を解析することにより、細やかな自動運転を実行することができる。
【００７８】
（５）  また、本実施形態の移動システム３６０では、撮像された動画像の１フレーム毎の画像情報に対して、撮像ユニット２９の動き画像情報が重畳されており、制御部５０は、該１フレームの重畳画像を解析して、該解析結果に基づいて、自動運転を実行する。したがって、たとえば、１の動画像（たとえば、１０秒の動画像）に対して１の動き画像情報が重畳された画像情報を解析することにより自動運転を実行する移動システムと比較して、細やかな自動運転を実行することができる。また、撮像された動画像の１フレーム毎の画像情報に対して、撮像ユニット２９の動き画像情報が重畳されていることから、１フレームの１の画像情報（重畳画像情報）を制御部５０は解析すればよい。したがって、本実施形態の移動システム３６０は、撮像された動画像の１フレーム毎の画像情報と、撮像ユニット２９の動き画像情報とを別個に解析する移動システムと比較して、制御部５０の解析処理を簡素にすることができる。
【００７９】
（６）  また、本実施形態の撮像装置は、撮像ユニットが撮像した動画像に対して、動き情報を重畳させるものであり、本実施形態の思想を適用するにあたって、該撮像ユニットを変更する必要がない。したがって、ユーザは、既存の撮像ユニットを用いて、本実施形態の撮像装置を実施することが出来る。
【００８０】
（７）  また、本実施形態では、１フレームの画像情報と、該画像情報に対応する６個の動き情報とが同期された状態で、重畳画像が、移動体の制御部に入力される。したがって、該制御部において、同期をとる必要がないことから、制御部の構成を簡素化できる。
【００８１】
実施の形態２．
次に、実施の形態２について説明する。移動体３５０を自動運転させていると、たとえば、起伏の激しい道や、砂利道を走行する場合がある。この場合には、移動体３５０とともに撮像ユニットが揺れてしまう。そうすると、撮像ユニットにブレが生じ、適切に動画像を撮像できなくなる。そこで、実施の形態２では、撮像ユニットに生じたブレを補正する実施形態を説明する。
【００８２】
図９は、実施の形態２の撮像装置３０２と、移動体３５０との機能構成例を示す。図３と図９とを比較すると、図９に示すように、撮像装置３０２は演算部６２を備え、撮像ユニット６４はレンズ駆動部６０を備える点で、両図面は異なる。
【００８３】
センサ群４０から出力された６個の動き情報は、演算部６２と、レンズ駆動部６０とに入力される。レンズ駆動部６０（第１補正部）は、６個の動き情報に基づいて、撮像ユニット６４のブレを補正する。本実施形態では、レンズ駆動部６０は、レンズ２２の位置および向きなどを駆動する。
【００８４】
以下に、この補正の手法の一例を説明する。この手法では、センサ群４０から出力された６個の動き情報を用いたフィードバック制御により、撮像ユニット６４のブレを補正する。
【００８５】
一般的に、移動体３５０が平坦な道で自動運転を実行している場合において、撮像ユニット６４の加速度および角速度について急激な変化が起こり難い。一方、移動体３５０が砂利道などで自動運転を実行している場合において、撮像ユニット６４の加速度および角速度について大きな変化が起こり易い。このように、６個の動き情報のうち少なくとも１つの動き情報の変化量が予め定められた閾値以上である場合には、変化量が該閾値以上である動き情報（以下、「大変化動き情報」という。）の変化量を補正するように、レンズ駆動部６０は、レンズ２２を駆動する。
【００８６】
たとえば、レンズ駆動部６０は、Ｘ軸加速度が、大変化動き情報であると判断した場合には、閾値以上であると判断された変化量を打ち消す（減算する）ようにレンズ２２を駆動する。このように、レンズ駆動部６０は、変化量が該閾値以上である動き情報の変化量を補正するように、レンズ２２を駆動することから、撮像ユニット６４は、ブレの少ない動画像を撮像できる。
【００８７】
また、演算部６２（第２補正部）は、撮像ユニット６４のブレを補正した補正値を、センサ群４０から出力された動作情報（６個の動き情報）から減算する。たとえば、演算部６２は、６個の動き情報のうち、大変化動き情報が存在するか否かを判断する。演算部６２は、大変化動き情報が存在すると判断した場合には、該大変化動き情報から、閾値以上であると判断された変化量を打ち消す（減算する）。
【００８８】
また、１フレームの画像についての６個の動き情報を用いて、レンズ駆動部６０はレンズ２２を駆動する（撮像ユニット６４のブレを補正する）と共に、該６個の動き情報を補正する。したがって、撮像ユニット６４のブレの補正と、６個の動き情報の補正とで、補正量を同一とすることができ、かつ同期をとることができる。つまり、実施の形態２の移動システムでは、１フレームの画像と、該画像に対応する６個の動き情報とについて、共に、ブレが補正された１フレームの画像および該６個の動き情報を生成することができる。
【００８９】
なお、レンズ駆動部６０および演算部６２による、撮像ユニット６４のブレの補正については、大変化動き情報が存在すると判断した場合には、該大変化動き情報を０とする補正を行ってもよい。たとえば、Ｘ軸加速度が、大変化動き情報であると判断した場合には、レンズ駆動部６０および演算部６２は、Ｘ軸加速度を０とする補正を行うようにしてもよい。
【００９０】
ブレが補正された１フレームの画像は、ＡＤ変換部２６によりディジタル変換された後に、重畳部３０に入力される。また、演算部６２により、ブレが補正された６個の動き情報は重畳部３０に入力される。
【００９１】
このような構成によれば、レンズ駆動部６０は、撮像ユニット６４が撮像するブレを補正できる。これとともに、演算部６２は、６個の動き情報のうちの大変化動き情報から、該補正した補正値を減算させる。したがって、ブレの観点で、撮像ユニット６４で撮像した動画像と、６個の動き情報との差分を小さくできることから、移動体３５０は、高精度な自動運転を実行できる。
【００９２】
なお、実施の形態２の移動システムでは、６個の動き情報を用いたフィードバック制御により、ブレを補正する手法を説明したが、他の手法によりブレを補正するようにしてもよい。
【００９３】
実施の形態３．
次に、実施の形態３について説明する。実施の形態３では、撮像ユニット６６が撮像する画角（たとえば、ズーム）を変更可能な実施形態を説明する。つまり、実施の形態３の撮像ユニットは、ズーム機能を有する。図１０は、実施の形態３の撮像装置３０４と、移動体３５０との機能構成例を示す。図３と図１０とを比較すると、図１０に示すように、撮像ユニット６６は駆動レンズ２３と、画角センサ７０（画角検出部）とを有する点で両図面は異なる。
【００９４】
駆動レンズ２３は、制御部２７の制御により駆動可能である。なお、本実施形態では、レンズ２２の位置は固定であるとする。駆動レンズ２３の駆動により、レンズ２２と駆動レンズ２３との距離は変更可能となる。制御部２７が、この距離を変更することにより、撮像ユニット６６が撮像する画像の画角を変化する。
【００９５】
また、画角センサ７０は、駆動レンズ２３の位置を特定することにより、撮像ユニット６６が撮像する画像の画角を検出することができる。該検出された画角の画角情報は信号変換部７２に入力される。
【００９６】
図１１は、信号変換部７２の機能構成例を示した図である。信号変換部２８の機能構成例を示した図６と、図１１とを比較すると、データ選択部２８２には、６個の動き情報のみならず、画角センサ７０からの画角情報も入力される。該画角センサ７０からは、８ケタの整数の画角情報が入力される。そして、信号変換部７２では、６個の動き情報と、画角情報とに基づいて１次元画像情報を生成する。重畳部３０は、撮像部で撮像した画像の画像情報（１フレームの画像データ）に、１次元画像情報を重畳する。また、この１次元画像情報は、該１次元画像情報が重畳される画像データの画像が撮像された時点での６個の動き情報と、該時点での画角情報とから構成される。
【００９７】
また、移動体３５０の制御部５０は、入力された重畳画像を解析することにより、６個の動き情報と、画角情報とを取得できる。制御部５０は、６個の動き情報と、画角情報とに基づいて、駆動部５２を駆動する。
【００９８】
実施の形態３の撮像装置３０４は、６個の動き情報のみならず、画角情報を加味した重畳画像を移動体３５０に出力する。該移動体３５０は、６個の動き情報のみならず、画角情報も加味した自動運転を実行することから、精度よく自動運転を実行することができる。
【００９９】
実施の形態４．
次に、実施の形態４について説明する。図１２は、実施の形態４が適用される状況の一例を示した図である。実施の形態４では、撮像装置３０６が移動体としての飛行体３５２（たとえば、ドローン）に搭載される実施形態である。図１２に示すように、たとえば、飛行体３５２が、物体を撮像する。図１２の例では、この物体は、大規模な工場１０００（プラント）であるとする。また、工場１０００において破損個所１００２が存在しているとする。飛行体３５２は、工場１０００を撮像し、該撮像された画像から破損個所１００２を発見するために、該飛行体３５２が用いられる場合がある。たとえば、このような場合に、実施の形態４は適用される。このように、本実施形態では、所定箇所が、破損個所１００２である場合について説明する。しかしながら、所定箇所は、他の箇所としてもよい。たとえば、所定箇所は、工場１０００の修繕箇所としてもよい。
【０１００】
図１２に示すように、飛行体３５２に搭載される撮像装置３０６は、撮像している動画像（たとえば、工場１０００の動画像）の画像情報を受信装置１２００に対して送信する。さらに、撮像装置３０６が、工場１０００の破損個所１００２を撮像した場合に所定箇所を撮像した画像の画像情報（１フレームの画像情報）に、該画像を撮像した時点で検出された位置情報を重畳させた重畳画像、受信装置１２００に対して出力する。
【０１０１】
ここで、撮像装置３０６が、工場１０００の破損個所１００２を撮像したか否かの判断処理については、たとえば、飛行体３５２の制御部などが画像認識処理により、該判断処理を実行するようにしてもよい。また、位置情報とは、飛行体３５２（撮像装置３０６）の経度情報と、飛行体３５２（撮像装置３０６）の緯度情報と、方位情報とを含む。方位情報とは、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向において、所定の基準点（たとえば、北極点）からの、撮像装置３０６の撮像方向（撮像面の向き）を示す情報である。方位情報の単位としてたとえば、角度が用いられる。本実施形態では、方位情報は、Ｘ軸方位情報、Ｙ軸方位情報、およびＺ軸方位情報のうち少なくとも１つを含む。なお、本実施形態では、方位情報は、Ｘ軸方位情報、Ｙ軸方位情報、およびＺ軸方位情報の全てを含む。
【０１０２】
受信装置１２００の制御部１２０１は、該重畳画像を解析することにより、撮像された動画像と、位置情報を取得する。さらに、制御部１２０１は、位置情報を解析することにより、該取得した動画像のうちの各フレーム毎の飛行体３５２の経度情報と、飛行体３５２の緯度情報と、Ｘ軸方位情報と、Ｙ軸方位情報と、Ｚ軸方位情報とを取得する。また、制御部１２０１の制御により、表示部１２０４に撮像した動画像を表示するようにしてもよい。これにより、ユーザは、撮像装置３０６が撮像している動画像を視認することができる。
【０１０３】
図１３は、実施の形態４の撮像装置３０６と、飛行体３５２（移動体）との機能構成例を示す。図１０と図１３とを比較すると、図１３に示すように、センサ群９０は、Ｘ軸加速度センサ１０と、Ｙ軸加速度センサ１２と、Ｚ軸加速度センサ１４と、Ｘ軸角速度センサ１６と、Ｙ軸角速度センサ１８と、Ｚ軸角速度センサ２０とではなく、緯度センサ９２と、経度センサ９４と、Ｘ軸方位センサ９６と、Ｙ軸方位センサ９８と、Ｚ軸方位センサ１００とを含む点で両図面は異なる。また、図１３の例では、飛行体３５２の制御部および駆動部（たとえば、飛行体３５２のプロペラを駆動させる箇所）の記載を省略しているが、実際は、飛行体３５２には、制御部および駆動部が搭載されている。
【０１０４】
緯度センサ９２は、撮像ユニット６６の緯度を検出する。経度センサ９４は、撮像ユニット６６の経度を検出する。Ｘ軸方位センサ９６は、撮像ユニット６６のＸ軸の撮像方向（方位）を検出する。Ｙ軸方位センサ９８は、撮像ユニット６６のＹ軸の撮像方向（方位）を検出する。Ｚ軸方位センサ１００は、撮像ユニット６６のＺ軸の撮像方向（方位）を検出する。緯度センサ９２と経度センサ９４とは、たとえば、ＧＰＳ（Global Positioning System）機能を用いたセンサである。方位センサは、たとえば、地磁気センサ、および電子コンパスのいずれかなどである。
【０１０５】
なお、変形例として、センサ群９０は、緯度センサ９２と、経度センサ９４と、Ｘ軸方位センサ９６と、Ｙ軸方位センサ９８と、Ｚ軸方位センサ１００とのうち、少なくとも１つのセンサを含むようにしてもよい。これら５個のセンサそれぞれから出力される、また、撮像ユニット６６の緯度と、撮像ユニット６６の経度と、撮像ユニット６６のＸ軸方位と、撮像ユニット６６のＹ軸方位と、撮像ユニット６６のＺ軸方位とをまとめて「５個の位置情報」という。このように、本実施形態では、動作検出部はセンサ群９０（位置センサ）を含む。また、動作情報は、位置センサで検出した撮像ユニット６６の位置の位置情報（５個の位置情報）を含む。この５個の動き情報は、信号変換部１２０に入力される。
【０１０６】
また、図１３の例では、撮像ユニット６６（図１０参照）が適用されている。しかしながら撮像ユニットは、他の撮像ユニット（たとえば、図３で説明した撮像ユニット２９）を適用するようにしてもよい。
【０１０７】
図１４は、信号変換部１２０の機能構成例を示した図である。信号変換部７２の機能構成例を示した図１１と、図１４とを比較すると、データ選択部２８２には、６個の動き情報ではなく５個の位置情報が入力される点で両図面は異なる。緯度センサ９２からは８ケタの整数の緯度情報が入力される。経度センサ９４からは８ケタの整数の緯度情報が入力される。経度センサ９４からは８ケタの整数の緯度情報が入力される。Ｘ軸方位センサ９６からは８ケタの整数のＸ軸方位情報が入力される。Ｙ軸方位センサ９８からは８ケタの整数のＹ軸方位情報が入力される。Ｚ軸方位センサ１００からは８ケタの整数のＺ軸方位情報が入力される。
【０１０８】
また、撮像装置３０６の出力部３２は、重畳画像を受信装置１２００に対して出力する。
【０１０９】
図１５は、本実施形態の撮像装置３０６の処理を示すフローチャートである。図１５の処理は、たとえば、撮像装置３０６が、工場１０００の破損個所１００２を撮像したと判断したときに開始される。図１５に示すように、Ｓ１０２において、撮像ユニット６６は、撮像した動画像の１フレームずつの画像の画像情報を出力する。また、Ｓ１０２においてセンサ群９０は、該画像を撮像した時点での５個の位置情報を出力する。このように、Ｓ１０２において撮像ユニット２９による１フレームの画像情報の出力と、センサ群９０による５個の動き情報の出力は同期される。この同期は、図４に示すように、一例として、垂直同期信号を用いて実行される。
【０１１０】
次に、Ｓ１０４において、信号変換部１２０は、５個の位置情報を位置画像情報に変換する。次に、Ｓ１０６において、重畳部３０は、Ｓ２での１フレームの画像情報に対して、Ｓ１０４で変換された位置画像情報を重畳することにより重畳画像情報を生成する。次に、Ｓ１０８において、出力部３２は、該生成された重畳画像情報を受信装置１２００に対して出力する。また、撮像装置３０６が、工場１０００の破損個所１００２を撮像しなくなったと判断したときに、図１５の処理は終了する。
【０１１１】
実施の形態４の撮像装置３０６は、撮像ユニット６６が撮像した動画像の１フレームずつの画像それぞれに対して５個の位置情報を重畳させて出力している。受信装置１２００は、たとえば、撮像ユニット６６が撮像した動画像が、工場１０００の破損個所１００２の画像である場合には、該画像が撮像された位置情報（緯度、経度、各軸の方位）を特定できる。そして、受信装置１２００が、該位置情報をユーザに通知することにより、ユーザに対して、破損個所１００２が撮像された位置情報を認識させることができる。
【０１１２】
また、本実施形態の飛行体３５２に制御（運転）については、飛行体３５２の制御部が運転する自動運転としてもよい。また、本実施形態の飛行体３５２の制御（運転）については、人間（ユーザ）が運転するようにしてもよい。飛行体３５２が自動運転を実行する場合には、実施の形態１などで説明した動き情報（６個の動き情報）も動画像の１フレームずつの画像に重畳させるようにしてもよい。
【０１１３】
また、撮像装置３０６が、１回目に破損個所１００２を撮像した場合において、２回目以降、該破損個所１００２を撮像する場合について説明する。この場合には、１回目に破損個所１００２を撮像した位置情報から示される緯度、経度、各軸の方位となるように、飛行体３５２を移動させて撮像すればよい。このような構成によれば、２回目以降、破損個所１００２を撮像する場合において、破損個所１００２を探索する処理を省略することができる。
【０１１４】
実施の形態５．
次に、実施の形態５について説明する。たとえば、工場の破損個所１００２について、時間経過による変化をユーザが認識したい場合がある。実施の形態５は、このような場合に適用されることが好ましい実施形態である。
【０１１５】
実施の形態５では、実施の形態４の撮像装置３０６（飛行体３５２）が、１フレームの画像情報に対して、位置情報のみならず時間情報も重畳させることにより重畳画像を生成し、該重畳画像を出力する。
【０１１６】
時間情報とは、動画像のうちの１フレームの画像が撮像された時点での時間を示す情報である。時間情報は、例えば、西暦、年月日、時刻などのうちの少なくとも１つを含む。時間情報については、図１２の括弧書きに示す通りである。
【０１１７】
受信装置１２００は、１フレーム毎の画像情報に位置情報と時間情報とが重畳された重畳画像情報を受信する。制御部１２０１は、該重畳画像情報を解析することにより、撮像された動画像と、位置情報と、時間情報とを取得する。制御部１２０１は、位置情報を解析することにより、該取得した動画像のうちの各フレーム毎の飛行体３５２の経度情報と、飛行体３５２の緯度情報と、Ｘ軸方位情報と、Ｙ軸方位情報と、Ｚ軸方位情報とを取得する。さらに、制御部１２０１は、時間情報を解析することにより、該取得した動画像のうちの各フレーム毎の時間（西暦、年月日、時刻などのうちの少なくとも１つ）を取得する。
【０１１８】
制御部１２０１は、時間情報および位置情報に基づいて、破損個所１００２が撮像された動画像を記憶部１２０２に記憶させる。
【０１１９】
図１６は、該記憶部１２０２の記憶形式の一例を示す図である。図１３の例では、２０１１／１／１５の１３時から１か月毎に、撮像装置３０６が工場１０００の破損個所１００２を撮像して、記憶されている場合を示す。図１３の例では、破損個所１００２を撮像した５つの位置情報である緯度、経度、各軸の方位それぞれの値が、Ａ１、Ｂ１、Ｃ１、Ｄ１、Ｅ１として記憶されている。図１３の例では、時間経過とともに、破損個所１００２が修理されることにより、該破損個所１００２が小さくなっていることが示されている。
【０１２０】
制御部１２０１は、記憶部１２０２に記憶されている情報に基づいて表示部１２０４に表示させるようにしてもよい。つまり、ユーザに対して、時間経過とともに、破損個所１００２が小さくなっていることを認識させることができる。
【０１２１】
実施の形態５によれば、撮像された動画像に対して、位置情報のみならず、時間情報も重畳させる。したがって、受信装置１２００は、撮像した個所（本実施形態では破損個所１００２）の画像を時系列に沿って記憶することができる。また、該記憶した画像を表示することにより、撮像した箇所の時間経過による変化などをユーザに認識させることができる。したがって、受信装置１２００は、時間経過とともに変化する工場の外観などにおいて、以前の工場の外観と、現在の工場の外観との比較をすることができる。この比較により、受信装置１２００またはユーザは、高精度に、工場１０００の破損個所の修復具合の判定などが可能となる。
【０１２２】
なお、図１３にも示したように、破損個所１００２が、時間経過とともに小さくなる状況に対して本実施形態の思想が適用されるとして説明した。しかしながら、破損個所１００２は、時間経過とともに大きくなる状況に対して本実施形態の思想を適用するようにしてもよい。たとえば、図１３の例では、時間経過とともに破損個所１００２は大きくなる。このような状況に本実施形態の思想を適用すると、破損個所１００２の大きさ（たとえば、面積）が、基準値以上となると、ユーザは、該破損個所１００２への修繕作業を開始するといった事項を実現できる。
【０１２３】
実施の形態６．
次に、実施の形態６について説明する。実施の形態６は、撮像ユニット（移動体）の周囲の環境の環境情報を用いたものである。移動体が自動運転を実行している場合において、雨の場合や夜の場合には、撮像ユニットが撮像した画像は暗くなる傾向にある。このように、撮像ユニットが撮像した画像は暗くなった場合には、自動運転を実行するために必要な被写体（たとえば、交通標識）の色が変わってしまい（色が暗くなってしまい）、移動体の制御部は、実際は交通標識であるのに、交通標識と認識しないという状況などが発生する。
【０１２４】
そこで、本実施形態では、撮像ユニット（移動体）の周囲の環境を用いて、重畳画像を生成するものである。本実施形態では、該環境とは、撮像ユニットが撮像する空間の明度、撮像ユニットが撮像する画像の明度などである。
【０１２５】
図１７は、実施の形態６の撮像装置３０８と、移動体３５０との機能構成例を示す。図３と図１７とを比較すると、図１７に示すように、センサ群１０２は、環境センサ１５０（環境検出部）を備える点で両図面は異なる。
【０１２６】
環境センサ１５０は、撮像ユニット２９（移動体３５０）の環境を検出する。本実施形態では、環境は、明度を含む。明度が暗くなる状況の一例として、移動体３５０の自動運転中の天候が、雨が降っている場合や、夜である場合がある。たとえば、環境センサ１５０が雨が降っていることを検出すれば、明度が暗いということを特定できる。雨が降っているか否かの判断については、たとえは、移動体の外部の所定箇所に水滴を検知できるセンサを設け、予め定められた所定時間に亘って水滴を検知した場合には、環境センサ１５０は、雨が降っていると判断するようにしてもよい。また、環境センサ１５０は、動画像のうちの１フレームの画像を撮像された時点において、現在自動運転を実行している位置において雨が降っているか否かを示す情報を、天気に関する情報を提供している外部のサーバ装置からネットワーク通信などにより取得するようにしてもよい。
【０１２７】
また、環境センサ１５０が、現在が夜であるか否かの判断については、たとえば、撮像ユニット２９が、動画像のうちの１フレームの画像を撮像された時点での時刻（現在の時刻）を取得すればよい。取得した時間が夜の時間帯（たとえば、ＰＭ８時〜ＡＭ６時）に属していると、環境センサ１５０が判断すれば、現在は夜であると判断する。一方、取得した時間が夜の時間帯（たとえば、ＰＭ８時〜ＡＭ６時）に属していると、環境センサ１５０が判断すれば、現在は夜ではないと判断する。
【０１２８】
環境センサ１５０が、雨が降っていると判断した場合、または夜であると判断した場合には、環境センサ１５０は、明度が低い旨の明度情報を出力する。一方、雨が降っていると判断した場合、および夜であると判断した場合のいずれでもない場合には、環境センサ１５０は、明度が低い旨の明度情報を出力する。
【０１２９】
図１８は、信号変換部１３０の機能構成例を示す図である。図１８の例では、データ選択部２８２には、６個の動き情報の他に、環境センサ１５０から環境情報が入力される。本実施形態では、環境情報とは、撮像ユニット２９の周囲の明度が暗い（雨が降っている、または夜である）か否かを示す情報である。
【０１３０】
そして、信号変換部１３０では、６個の動き情報と、環境情報とに基づいて１次元画像情報を生成する。重畳部３０は、撮像部で撮像した画像の画像情報（１フレームの画像データ）に、１次元画像情報を重畳する。また、この１次元画像情報は、該１次元画像情報が重畳される画像データの画像が撮像された時点での６個の動き情報と、該時点での環境情報とから構成される。
【０１３１】
移動体３５０の制御部５０は、入力された重畳画像を解析することにより、撮像された動画像と、環境情報を取得する。さらに、制御部５０は、環境情報を解析することにより、明度が暗いか否かを判断する。制御部５０は、環境情報の解析結果が、明度が暗い旨である場合には、該環境情報に対応する１フレームの画像の明度を上げるように補正する。一方、制御部５０は、環境情報の解析結果が、明度が暗くない旨である場合には、該環境情報に対応する１フレームの画像に対して補正しないようにする。
【０１３２】
実施の形態６の撮像装置３０６は、６個の動き情報のみならず、環境情報を加味した重畳画像を移動体３５０に出力する。該移動体３５０は、６個の動き情報のみならず、環境情報（たとえば、明度）も加味した自動運転を実行することから、精度よく自動運転を実行することができる。
【０１３３】
また、雪が積もっている状況において、移動体３５０の自動運転を実行している場合において、撮像ユニットの移動体での取付箇所によっては、該積もっている雪での太陽光の反射により、撮像した画像の明度が上がってしまう場合がある。そこで、環境情報は、たとえば、移動体３５０が、自動運転で走行している道路、または、該道路の近傍（たとえば、道路の脇）に雪が積もっているか否かを示す情報を含むようにしてもよい。この情報については、環境センサ１５０は、たとえば、天気に関する情報を提供している外部のサーバ装置からネットワーク通信などにより取得する。
【０１３４】
該環境情報が重畳された重畳画像を制御部５０に入力されたときにおいて、該制御部５０が、該環境情報を解析することにより、自動運転している道路などに雪が積もっているか否かを判断する。制御部５０は、環境情報の解析結果が、雪が積もっている旨である場合において、現在の１フレームの画像の明度が、以前の１フレームの画像の明度よりも、予め定められた閾値以上高いと判断したとする。この場合には、現在の１フレームの画像の明度は、積もっている雪から反射光により過度に高くなっている可能性が高いことから、制御部５０は、明度が高くなったとされる環境情報に対応する１フレームの画像（現在の１フレームの画像）の明度を下げるように補正する。一方、制御部５０は、環境情報の解析結果が、雪が積もっていない旨である場合には、このような補正をしないようにする。
【０１３５】
また、強風が吹いている状況において、移動体３５０の自動運転を実行している場合には、自動運転を実行するために必要な自動運転用被写体（たとえば、道路の交通標識など）が揺れる場合がある。この場合において、撮像ユニット２９が、揺れたままの自動運転用被写体を撮像すると、制御部５０は、ブレが生じた交通標識に基づいて自動運転を実行する場合がある。
【０１３６】
そこで、環境情報は、たとえば、移動体３５０が自動運転している状況において強風が吹いているか否かを示す情報を含むようにしてもよい。この情報については、環境センサ１５０は、たとえば、天気に関する情報を提供している外部のサーバ装置からネットワーク通信などにより取得する。たとえば、環境センサ１５０は、該環境センサ１５０の現在位置の風速を該サーバ装置から取得し、該取得した風速が予め定められた基準値よりも大きいと判断したときには、強風が吹いていると判断し、該風速が該基準値以下であると判断したときには、強風が吹いていないと判断する。
【０１３７】
該環境情報が重畳された重畳画像を制御部５０に入力されたときにおいて、該制御部５０が、該環境情報を解析することにより、強風が吹いているか否かを判断する。制御部５０は、環境情報の解析結果が、強風が吹いているという結果である場合には、１フレームの画像のブレを消失させるように補正する。一方、制御部５０は、環境情報の解析結果が、強風が吹いていないという結果である場合には、このような補正をしないようにする。
【０１３８】
このように、実施の形態６の撮像装置３０６は、６個の動き情報のみならず、環境情報を加味した重畳画像を移動体３５０に出力する。該移動体３５０は、６個の動き情報のみならず、環境情報（たとえば、明度）も加味した自動運転を実行することから、精度よく自動運転を実行することができる。
【０１３９】
［変形例］
本願の実施形態は、上記の実施形態に限られず、さらに種々の変形、応用が可能である。以下、本実施形態に適用可能な変形例について説明する。
【０１４０】
（１）  前述の実施形態の信号変換部は、６個の動き情報などを、バーコード情報のような１次元画像情報（ディジタル信号）に変換するとして説明した。しかしながら、信号変換部は、６個の動き情報などを、１次元画像情報（ディジタル信号）ではなく、アナログ信号に変換するようにしてもよい。このアナログ信号とは、たとえば、６個の動き情報それぞれをアナログ的に示す信号（たとえば、０〜９を示す信号）である。また、信号変換部が、アナログ信号に変換する構成の場合には、動画像の１フレーム毎に、該１フレームの画像に対応するアナログ信号を重畳させるようにしてもよい。このように、アナログ信号を重畳させる構成の場合には、移動体の制御部は、該アナログ信号を解析することにより、６個の動き情報などを取得できる。
【０１４１】
（２）  また、動作情報は、撮像ユニット（移動体）の速度を含む構成を採用するようにしてもよい。この場合には、センサ群に、撮像ユニット（移動体）の速度を検出する速度センサを設けるようにしてもよい。この場合には、１フレーム毎の画像情報に対して動作情報が重畳された画像情報が、移動体に出力される。移動体の制御部は、該画像情報を解析することにより、該画像情報の画像を撮像した撮像ユニットの速度を検出できる。該制御部は、該速度が０である場合には、撮像ユニットは移動していないことを特定できる。一方、該制御部は、該速度が０ではない場合には、撮像ユニットは移動していることを特定できる。
【０１４２】
また、撮像装置は、撮像ユニット（移動体）の速度の検出については、速度センサを設けずに他の手法で、該速度を検出するようにしてもよい。たとえば、撮像装置は、移動体の速度を移動体から取得するようにしてもよい。
【０１４３】
（３）  本実施形態では、１フレームの動画像に対して動作情報を重畳させるとして説明した。しかしながら、本変形例の撮像装置は、Ｍフレーム（Ｍは２以上の整数）の動画像に、該動作情報を重畳させるようにしてもよい。たとえば、本変形例の撮像装置は、Ｍフレームのうちｍ（２≦ｍ≦Ｍを満たす整数）番目の画像が撮像された時点での動作情報を重畳させるようにしてもよい。このような構成の場合には、１フレームの動画像に対して動作情報を重畳させる構成と比較して、重畳部の処理の負担を軽減できる。
【０１４４】
（４）  また、本実施形態では、撮像ユニットが撮像する画像は、動画像であるとして説明した。しかしながら、撮像ユニットが撮像する画像は、静止画像であってもよい。このような構成の場合には、１以上の静止画像それぞれに対して、動作情報を重畳させるようにすればよい。このような構成を採用した撮像装置であっても、本実施形態の撮像装置と同様の効果を奏する。
【０１４５】
（５）  今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１４６】
２２  レンズ、２４  撮像素子、２６  変換部、２７  制御部、２８  信号変換部、２９  撮像ユニット、３０  重畳部、３２  出力部、３００  撮像装置、３５０  移動体。
【図１】
2019115006.tif 000003
【図２】
2019115006.tif 000004
【図３】
2019115006.tif 000005
【図４】
2019115006.tif 000006
【図５】
2019115006.tif 000007
【図６】
2019115006.tif 000008
【図７】
2019115006.tif 000009
【図８】
2019115006.tif 000010
【図９】
2019115006.tif 000011
【図１０】
2019115006.tif 000012
【図１１】
2019115006.tif 000013
【図１２】
2019115006.tif 000014
【図１３】
2019115006.tif 000015
【図１４】
2019115006.tif 000016
【図１５】
2019115006.tif 000017
【図１６】
2019115006.tif 000018
【図１７】
2019115006.tif 000019
【図１８】
2019115006.tif 000020