(57)【要約】【課題】距離情報を用いて画像データを圧縮することができるようにする。【解決手段】画像処理装置は、所定の画像の画像領域を測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、２つの領域が異なる画質となるように画像の２つの領域の少なくとも１つに画像処理を実行する画像処理部を備える。本技術は、例えば、撮像装置等に適用できる。【選択図】図２
2017224970.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像の画像領域を測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する画像処理部を備える
画像処理装置。
【請求項２】
前記画像処理部は、前記画像処理として、前記２つの領域の解像度が異なるように解像度を変換する解像度変換処理を実行する
請求項１に記載の画像処理装置。
【請求項３】
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の解像度が第１の解像度である第１の画像と、前記第２の領域の解像度が前記第１の解像度よりも低い第２の解像度である第２の画像の２枚の画像を生成する処理を実行する
請求項２に記載の画像処理装置。
【請求項４】
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の解像度が第１の解像度で、前記第２の領域の解像度が前記第１の解像度よりも低い第２の解像度である１枚の画像を生成する処理を実行する
請求項２に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記画像処理として、前記２つの領域の階調数が異なるように階調数を変換する階調数変換処理を実行する
請求項１に記載の画像処理装置。
【請求項６】
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の階調数が第１の階調数である第１の画像と、前記第２の領域の階調数が前記第１の階調数よりも低い第２の階調数である第２の画像の２枚の画像を生成する処理を実行する
請求項５に記載の画像処理装置。
【請求項７】
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の階調数が第１の階調数で、前記第２の領域の階調数が前記第１の階調数よりも低い第２の階調数である１枚の画像を生成する処理を実行する
請求項５に記載の画像処理装置。
【請求項８】
前記画像処理部は、前記画像処理として、前記２つの領域のフレームレートが異なるようにフレームレートを変換するフレームレート変換処理を実行する
請求項１に記載の画像処理装置。
【請求項９】
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域のフレームレートが第１のフレームレートである第１の画像と、前記第２の領域のフレームレートが前記第１のフレームレートよりも低い第２のフレームレートである第２の画像の２枚の画像を生成する処理を実行する
請求項８に記載の画像処理装置。
【請求項１０】
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域に対して第１の画像処理を実行した第１の画像と、前記第２の領域に対して第２の画像処理を実行した第２の画像とを対応付けるフレーム合成情報を生成し、前記第１の画像または前記第２の画像に付加する
請求項１に記載の画像処理装置。
【請求項１１】
前記測距センサは、アクティブタイプの測距センサである
請求項１に記載の画像処理装置。
【請求項１２】
前記測距センサは、パッシブタイプの測距センサである
請求項１に記載の画像処理装置。
【請求項１３】
前記測距センサと、
被写体を撮像する撮像センサと
をさらに備え、
前記所定の画像は、前記撮像センサで撮像された画像である
請求項１に記載の画像処理装置。
【請求項１４】
画像処理装置が、
所定の画像の画像領域を測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する
ステップを含む画像処理方法。
【請求項１５】
被写体を撮像する撮像センサと、
前記被写体までの距離情報を取得する測距センサと、
前記撮像センサで得られた画像の画像領域を前記測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する画像処理部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および撮像装置に関し、特に、距離情報を用いて画像データを圧縮することができるようにした画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
動画像を伝送する際、動画像が高解像度または高フレームレートとなるほど、伝送するデータ量は大きくなり、十分な通信帯域が確保できない場合には、コマ落ちが発生する。コマ落ちを防止するためには、解像度を落としたり、フレームレートを落とす等の対応が必要になる。
【０００３】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置には、例えばToF方式により被写体までの距離を計測する測距センサを備えるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１３８２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、測距センサにより得られた被写体までの距離情報を用いて撮像画像のぼけ除去処理を行うことが提案されているが、距離情報を用いた画像データの圧縮技術は開示されていない。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、距離情報を用いて画像データを圧縮することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１側面の画像処理装置は、所定の画像の画像領域を測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する画像処理部を備える。
【０００８】
本技術の第２側面の画像処理方法は、画像処理装置が、所定の画像の画像領域を測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行するステップを含む。
【０００９】
本技術の第１及び第２側面においては、所定の画像の画像領域が、測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割され、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理が実行される。
【００１０】
本技術の第３側面の撮像装置は、被写体を撮像する撮像センサと、前記被写体までの距離情報を取得する測距センサと、前記撮像センサで得られた画像の画像領域を前記測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する画像処理部とを備える。
【００１１】
本技術の第３側面においては、撮像センサで得られた画像の画像領域が測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割され、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理が実行される。
【００１２】
画像処理装置及び撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術の第１乃至第３側面によれば、距離情報を用いて画像データを圧縮することができるようにする。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した画像処理システムの構成例を示すブロック図である。
【図２】撮像装置の第１構成例を示すブロック図である。
【図３】撮像装置の第２構成例を示すブロック図である。
【図４】画像処理部が行う解像度変換処理を説明する図である。
【図５】解像度変換処理後の第１の画像及び第２の画像を合成する合成処理を説明する図である。
【図６】フレームレート変換処理を説明する図である。
【図７】低フレームレート側に黒画像を挿入する場合の例を示す図である。
【図８】解像度・フレームレート変換処理を説明する図である。
【図９】撮像装置による画像送信処理を説明するフローチャートである。
【図１０】図９のステップＳ６の画質変換処理を説明するフローチャートである。
【図１１】受信装置による画像受信処理を説明するフローチャートである。
【図１２】１枚の画像を送信する場合の画像送信処理を説明するフローチャートである。
【図１３】１枚の画像を受信する場合の画像受信処理を説明するフローチャートである。
【図１４】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．システム構成例
２．撮像装置の第１構成例
３．撮像装置の第２構成例
４．画像処理の説明
５．フローチャートによる説明
６．まとめ
７．本技術を適用したコンピュータの説明
【００１７】
＜１．システム構成例＞
図１は、本技術を適用した画像処理システムの構成例を示すブロック図である。
【００１８】
図１の画像処理システム１は、撮像装置１１、受信装置１３、及び、表示装置１４を含んで構成され、撮像装置１１と受信装置１３がネットワーク１２を介して接続される。
【００１９】
撮像装置１１は、例えば、１眼レフのデジタルカメラ、ミラーレスのデジタルカメラ、レンズ交換式のデジタルカメラ、コンパクトデジタルカメラ、デジタルビデオカメラなどで構成され、被写体を撮像し、その結果として画像を生成する。また、撮像装置１１は、民生用カメラ、放送用カメラ、監視カメラでもよい。さらに、撮像装置１１は、機能の一部として撮像機能を有する、モバイル機器、ゲーム機器、スマートフォンなどの電子機器であってもよい。
【００２０】
撮像装置１１は、撮像して得られた画像に対して、伝送する際のデータ量を削減する所定の画像処理を実行し、画像処理後の画像を、ネットワーク１２を介して受信装置１３に送信する。ネットワーク１２は、例えば、インターネット、電話回線網、衛星通信網、LAN（Local Area Network）、WAN（Wide Area Network）などで構成される。
【００２１】
受信装置１３は、撮像装置１１からネットワーク１２を介して送信されてくる画像を受信し、受信した画像を表示装置１４に出力して表示させる。また、受信装置１３は、送信されてきた画像に付加された付加情報に基づいて、受信した複数の画像を合成する合成処理等の所定の画像処理を実行し、処理後の画像を表示装置１４に出力して表示させる。
【００２２】
＜２．撮像装置の第１構成例＞
図２は、撮像装置１１の第１構成例を示すブロック図である。
【００２３】
撮像装置１１は、制御部３１、光学系３２、発光部３３、測距センサ３４、撮像センサ３５、画像処理部３６、記憶部３７、通信部３８、表示部３９、及び、操作部４０を有する。
【００２４】
制御部３１は、例えば、CPU（Central Processing Unit）やMPU（Micro Processing Unit）などの演算処理装置と周辺回路などで構成され、記憶部３７に記録されている所定の制御プログラムを読み出して実行することにより、撮像装置１１の全体の動作を制御する。
【００２５】
例えば、制御部３１は、光学系３２を構成するフォーカスレンズ、ズームレンズ、手振れ補正レンズなどの各種のレンズのレンズ位置を制御したり、発光部３３による発光のオンオフを制御する。あるいはまた、制御部３１は、撮像センサ３５や測距センサ３４の撮像動作を制御したり、画像処理部３６に所定の画像処理を実行させる。
【００２６】
光学系３２は、例えば、フォーカスレンズ、ズームレンズ、手振れ補正レンズなどの各種のレンズで構成され、制御部３１の制御に従って、所定の位置に移動される。
【００２７】
発光部３３は、例えば、IR光（赤外光）を発光するLED（Light Emitting Diode）光源を含んで構成され、制御部３１の制御に従って、IR光の発光をオンオフする。発光部３３は、所定の発光パターン（オンオフの繰り返しパターン）でIR光を発光させることができる。
【００２８】
測距センサ３４は、発光部３３が発したIR光を受光する受光部として機能し、例えば、ToF（Time of Flight）方式を用いて被写体までの距離を計測する。ToF方式では、発光部３３が発したIR光が被写体の表面で反射して返ってくるまでの経過時間が計測され、経過時間に基づいて被写体までの距離が測定される。ToF方式の測距センサ３４は、高速に（短い周期で）距離情報を生成することができ、また、IR光を用いていることから、周囲の明るさに関係なく、暗所でも距離情報を生成することができる。
【００２９】
測距センサ３４は、例えば、フォトダイオードを形成した各画素が２次元配置された撮像素子（イメージセンサ）で構成され、IR光を受光するまでの経過時間を画素ごとに計測することで、一点だけでなく被写体の様々な部分の測距が可能である。上記の経過時間を計測する方法として、IR光をパルス照射し、被写体の表面で反射して返ってくるまでの時間を直接計測する方法や、IR光を変調し、照射時の光の位相と、反射して返って来た光の位相との位相差に基づいて算出する方法などがある。
【００３０】
測距センサ３４によって計測された距離情報は、画像処理部３６に供給される。
【００３１】
発光部３３と測距センサ３４は、撮像センサ３５が撮像した画像に含まれる被写体までの距離情報を取得する距離情報取得部４１を構成する。なお、距離情報取得部４１が行う被写体までの距離情報の取得方法は、ToF方式に限定されない。例えば、ストラクチャライト法などを用いて、被写体までの距離情報を取得してもよい。ストラクチャライト法とは、物体の表面に特殊な設計の光パターンを投射し、その被投射パターンの変形を分析することによって物体までの距離を推定する方法である。
【００３２】
また、測距センサ３４が受光したIR光の光量に基づいてIR画像を生成し、所定周期で更新されるIR画像どうしのずれ量を、手振れ補正の補正量として用いることも可能である。
【００３３】
撮像センサ３５は、例えば、CCD(Charge Coupled Device)またはCMOS（Complementary Mental Oxide Semiconductor）センサなどの、２次元の撮像領域を有する撮像素子で構成される。撮像センサ３５は、制御部３１の制御に従い、被写体を撮像し、画像データを生成して、画像処理部３６に供給する。
【００３４】
画像処理部３６は、測距センサ３４から供給される距離情報に基づいて、撮像センサ３５から供給される撮像画像に対して所定の画像処理を実行する。なお、撮像センサ３５の各画素の画素位置と、測距センサ３４の各画素の画素位置との対応関係、換言すれば、撮像センサ３５と測距センサ３４の位置関係は、予め校正されて、記憶部３７に記憶されている。
【００３５】
また、画像処理部３６は、撮像センサ３５から供給される画像データを、表示部３９が表示可能な所定の表示フォーマットの画像信号に変換して表示部７９に供給する処理や、所定のファイル形式の画像データに変換して記憶部３７に記録させる処理なども行う。
【００３６】
記憶部３７は、例えば半導体メモリ等の記憶媒体で構成され、撮像センサ３５で撮像された静止画像や動画像を記憶する。また、記憶部３７は、制御部３１で実行されるプログラムや、撮像センサ３５と測距センサ３４の位置関係を示すキャリブレーション情報なども記憶する。
【００３７】
通信部３８は、制御部３１の制御にしたがい、他の装置と所定のデータやプログラムなどの送受信を行う。例えば、通信部３８は、画像処理部３６による所定の画像処理後の撮像画像の画像データを受信装置１３に送信する。
【００３８】
表示部３９は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、撮像センサ３５で撮像された画像（動画または静止画）を表示する。また、表示部３９は、フォーカス対象エリアを表すAFウインドウなども表示する。表示部３９は、撮像センサ３５で撮像された画像をリアルタイムに表示するライブビュー画像の表示や、記憶部３７に記録された記録画像の表示なども行うことができる。
【００３９】
操作部４０は、例えば、シャッタボタン等のハードウエアキー、表示部３９に積層されたタッチパネルによるソフトウェアキーを含み、ユーザが行う所定の操作を受け付けて、その操作信号を制御部３１に供給する。ユーザは、例えば、表示部３９に表示されたライブビュー画像の所定の位置をタッチし、操作部４０としてのタッチパネルが、ユーザのタッチ位置を検出することにより、撮像画像内のフォーカス対象エリアや注目領域を特定し、制御部３１に供給する。
【００４０】
＜３．撮像装置の第２構成例＞
図３は、撮像装置１１の第２構成例を示すブロック図である。
【００４１】
図３においては、図２に示した第１構成例と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【００４２】
図３に示される第２構成例を図２の第１構成例と比較すると、第２構成例では、距離情報取得部４１において、発光部３３が省略されている。
【００４３】
第１構成例の測距センサ３４の測距方式は、発光部３３が発した光を測距センサ３４が受光することで被写体までの距離を計測する、いわゆるアクティブタイプの測距方式である。
【００４４】
一方、第２構成例の測距センサ３４の測距方式は、発光部３３を必要とせずに被写体までの距離を計測する、いわゆるパッシブタイプの測距方式である。
【００４５】
パッシブタイプの測距センサ３４は、可視光を受光する第１の撮像素子４３Aと第２の撮像素子４３Bを有し、第１の撮像素子４３Aと第２の撮像素子４３Bは、水平方向（横方向）に所定間隔離れて配置されている。この測距センサ３４は、第１の撮像素子４３Aと第２の撮像素子４３Bで撮像された２つの画像から、いわゆるステレオカメラ方式により、被写体までの距離を計測する。
【００４６】
なお、測距センサ３４の第１の撮像素子４３Aと第２の撮像素子４３Bは、IR光を受光する撮像素子としてもよい。この場合、周囲の明るさに関係なく、被写体までの距離を計測することができる。
【００４７】
あるいはまた、測距センサ３４は、１つの撮像素子（第１の撮像素子４３Aと第２の撮像素子４３Bのいずれか一方）のみを有し、測距センサ３４を撮像センサ３５に対して、水平方向（横方向）に所定間隔離れるように配置して、測距センサ３４が、測距センサ３４が捉えた画像と、撮像センサ３５が捉えた画像を用いて、被写体までの距離を計測する構成とすることもできる。
【００４８】
測距センサ３４と撮像センサ３５は、いずれも撮像素子で構成することができるので、測距センサ３４を第１の基板に形成し、撮像センサ３５を第２の基板に形成して、第１の基板と第２の基板を積層した一体型の構成を採用することができる。
【００４９】
以上のように、撮像装置１１は、被写体を撮像する撮像機能と、被写体までの距離情報を取得する測距機能とを備える装置である。撮像装置１１の測距機能によれば、撮像機能により得られる撮像画像の各画素と１対１に距離情報を取得することができる。この測距機能には、アクティブタイプまたはパッシブタイプの測距方式を用いることができ、また、アクティブタイプとパッシブタイプの両方を備えたハイブリットタイプであってもよい。
【００５０】
＜４．画像処理の説明＞
＜解像度変換処理の例＞
次に、図４を参照して、画像処理部３６が行う解像度変換処理について説明する。
【００５１】
画像処理部３６には、撮像センサ３５から撮像画像６１が供給されるとともに、測距センサ３４から、距離情報としてデプスマップ６２が供給される。撮像画像６１は、例えば、フレームレートが６０FPS（freme per second）で、解像度が４K（3840ｘ2160）の動画像であるとする。デプスマップ６２は、例えば、測距センサ３４が計測した距離情報を、距離が遠いほど暗い値となるように撮像画像６１の画素単位にグレイスケールで表したデータである。
【００５２】
ユーザは、例えば、表示部３９に表示されたライブビュー画像の所定の領域をタッチすることにより、撮像画像６１内の注目領域８１を指定する。操作部４０は、ユーザのタッチ位置を検出し、検出した画像の位置情報を制御部３１に供給する。制御部３１に供給された画像の位置情報は、制御部３１から画像処理部３６へ供給される。
【００５３】
画像処理部３６は、制御部３１から供給されたユーザが指定した画像の位置情報と測距センサ３４から供給された距離情報（デプスマップ６２）とから、ユーザによって指定された注目領域８１を特定する。具体的には、画像処理部３６は、ユーザが指定した位置周辺で、同じ距離情報を有するオブジェクト領域を検出し、検出された領域を注目領域８１として決定する。撮像画像６１の注目領域８１以外の領域を、非注目領域８２とする。
【００５４】
なお、注目領域８１の指定方法は、この例に限られない。例えば、ユーザが表示部３９に表示されたライブビュー画像の所定の領域をタッチすると、タッチした位置の距離情報が表示部３９に表示され、ユーザが表示された距離情報をテンキー等で入力することで注目領域８１を指定してもよい。あるいはまた、ユーザが注目領域８１を矩形領域で指定してもよい。
【００５５】
次に、画像処理部３６は、注目領域８１について撮像画像６１と同じ高解像度（第１の解像度）とした第１の画像９１と、非注目領域８２について撮像画像６１の解像度よりも低い解像度（第２の解像度）とした第２の画像９２の２枚の画像を生成する。
【００５６】
例えば、図４に示されるように、画像処理部３６は、撮像画像６１と同じ４Kの解像度の第１の画像９１と、撮像画像６１の解像度より低解像度のFHD（Full HD:1920ｘ1080）の第２の画像９２の２枚の画像を生成する。
【００５７】
第１の画像９１は、注目領域８１の画像情報のみが保証されていればよいので、第１の画像９１の非注目領域８２の各画素の画素値は同一の値に置き換えられる。同様に、第２の画像９２は、非注目領域８２の画像情報のみが保証されていればよいので、第２の画像９２の注目領域８１の各画素の画素値は同一の値に置き換えられる。各画素の画素値を同一の値に置き換える処理を、本実施の形態では、マスキング処理という。
【００５８】
以上のように、画像処理部３６は、撮像画像６１を測距センサ３４で得られた距離情報に基づいて第１の領域（注目領域８１）と第２の領域（非注目領域８２）とに分割し、第１の領域と第２の領域とで解像度が異なるように解像度を変換した２枚の画像を生成する解像度変換処理を実行する。
【００５９】
生成された２枚の画像は、撮像装置１１の通信部３８から受信装置１３へ送信され、受信装置１３側で、受信した２枚の画像が合成される。
【００６０】
図５を参照して、受信装置１３が、撮像装置１１から送信されてきた第１の画像９１及び第２の画像９２を合成する合成処理について説明する。
【００６１】
図５には、撮像画像６１が動画像であるとして、連続する８フレームの第１の画像９１−１乃至９１−８及び第２の画像９２−１乃至９２−８と、対応する第１の画像９１と第２の画像９２とを合成した合成画像９３−１乃至９３−８が示されている。
【００６２】
撮像装置１１から送信される第１の画像９１及び第２の画像９２には、受信装置１３が２枚の画像の合成処理を行う場合に、合成対象の２枚の画像を対応付けるためのフレーム合成情報が、付加情報として付与されている。
【００６３】
第１の画像９１と第２の画像９２で解像度を変換した場合には、例えば、図５に示されるように、「フレーム識別番号＋分割数＋サブフレーム識別番号」が、フレーム合成情報として第１の画像９１と第２の画像９２のそれぞれに付加されている。ここで、フレームは撮像画像６１に対応し、サブフレームは第１の画像９１と第２の画像９２に対応する。「フレーム識別番号」は、撮像装置１１が解像度変換処理を行う前の撮像画像６１の識別番号であり、合成処理後の合成画像９３の識別番号にも対応する。「分割数」は、撮像装置１１が解像度変換処理を行うことによって１枚の撮像画像６１から生成した画像の数に対応し、いまの場合、「２」である。「サブフレーム識別番号」は、撮像装置１１が解像度変換処理を行うことによって１枚の撮像画像６１から生成した２枚の画像を識別する番号であり、いまの場合、第１の画像９１には「１」が割り当てられ、第２の画像９２には「２」が割り当てられている。
【００６４】
受信装置１３は、画像に付加されたフレーム合成情報に基づいて合成対象の２枚の画像、即ち、第１の画像９１と第２の画像９２を特定し、それらを合成した合成画像９３を生成する。
【００６５】
具体的には、受信装置１３は、第１の画像９１−１と第２の画像９２−１を合成して合成画像９３−１を生成し、第１の画像９１−２と第２の画像９２−２を合成して合成画像９３−２を生成する。以下同様に、合成画像９３−３、９３−４、・・・が生成される。
【００６６】
合成画像９３は、４Kの解像度を有し、FHDの１画素に対して合成画像の対応位置の４画素を割り当てることで補間して生成される。
【００６７】
＜フレームレート変換処理の例＞
図４及び図５に示した例は、撮像画像６１から生成する第１の画像９１と第２の画像９２とで解像度に違いを持たせた例であるが、次に、フレームレートに違いを持たせた例について説明する。
【００６８】
図６は、撮像装置１１がフレームレート変換処理を行って生成した第１の画像９１及び第２の画像９２と、それらを合成した合成画像９３を示している。
【００６９】
画像処理部３６は、撮像画像６１を測距センサ３４で得られた距離情報に基づいて第１の領域（注目領域８１）と第２の領域（非注目領域８２）とに分割し、第１の領域と第２の領域とでフレームレートが異なるようにフレームレートを変換した２枚の画像を生成するフレームレート変換処理を実行する。
【００７０】
具体的には、画像処理部３６は、撮像画像６１と同じ６０FPSのフレームレートの第１の画像９１と、撮像画像６１のフレームレートより低フレームレートの３０FPSの第２の画像９２の２枚の画像を生成する。
【００７１】
第１の画像９１の非注目領域８２及び第２の画像９２の注目領域８１に対して、領域内の各画素の画素値を固定値に置き換えるマスキング処理を行う点は、上述した解像度変換処理と同様である。
【００７２】
いま、図６に示されるように、画像処理部３６が、高フレームレートである第１の画像９１を、第１の画像９１−１乃至９１−８の８フレーム生成したとすると、フレームレートが半分の第２の画像９２については、第２の画像９２−１乃至９２−４の４フレームが生成される。
【００７３】
画像処理部３６は、フレーム合成情報として、「フレーム識別番号＋分割数＋サブフレーム識別番号＋繰り返し数」を生成して、第１の画像９１と第２の画像９２のそれぞれに付加する。「繰り返し数」は、そのフレーム合成情報が付加された画像が繰り返し利用される数を表す。
【００７４】
第２の画像９２−１の「繰り返し数」は、“２”となっているので、第２の画像９２−１は２回の合成処理に利用される。即ち、受信装置１３は、第１の画像９１−１と第２の画像９２−１を合成して、合成画像９３−１を生成し、次に、第１の画像９１−２と第２の画像９２−１を合成して、合成画像９３−２を生成する。同様に、受信装置１３は、第１の画像９１−３と第２の画像９２−２を合成して、合成画像９３−３を生成し、次に、第１の画像９１−４と第２の画像９２−２を合成して、合成画像９３−４を生成する。
【００７５】
＜黒画像挿入処理の例＞
次に、図７を参照して、図６で説明したようなフレームレート変換処理において、低フレームレート側に黒画像を挿入する場合の例について説明する。なお、図７の例は、第１の画像９１と第２の画像９２とで解像度も異なる例であるが、同一の解像度でも同様の処理が可能である。
【００７６】
図６のフレームレート変換処理において、高フレームレート側の被写体の動きによっては、動きによって生じるフレーム間の画のズレが影となって見える場合がある。この画のズレによる影を視覚上なくすため、受信装置１３側において低フレームレート側に黒画像が挿入されて、合成画像９３が生成される。
【００７７】
画像処理部３６は、図６と同様に、高フレームレートである６０FPSの第１の画像９１と、低フレームレートである３０FPSの第２の画像９２の２枚の画像を生成する。生成された２枚の画像は、受信装置１３に送信される。
【００７８】
黒画像を挿入する場合のフレーム合成情報としては、「フレーム識別番号＋分割数＋サブフレーム識別番号＋送信フレーム数」が、第１の画像９１と第２の画像９２のそれぞれに付加される。「送信フレーム数」は、フレーム識別番号で識別される各フレームにおいて撮像装置１１から受信装置１３へ送信される総フレーム数を表す。例えば、フレーム識別番号“１”のフレームでは、第１の画像９１−１と第２の画像９２−１の２枚の画像が送信されるので“２”となり、フレーム識別番号“２”のフレームでは、第１の画像９１−２の１枚の画像のみが送信されるので“１”となる。
【００７９】
受信装置１３は、フレーム合成情報の「分割数」が“２”であり、「送信フレーム数」が“２”である場合には、第１の画像９１と第２の画像９２を合成して、合成画像９３を生成する。一方、受信装置１３は、フレーム合成情報の「分割数」が“２”であり、「送信フレーム数」が“１”である場合には、高フレームレート側の第１の画像９１と黒画像を合成して、合成画像９３を生成する。
【００８０】
図７の例では、第１の画像９１−１と第２の画像９２−１が合成されて、合成画像９３−１が生成され、第１の画像９１−２と黒画像が合成されて、合成画像９３−２が生成されている。合成画像９３−２は、第１の画像９１−２の非注目領域８２の画素値を黒画像の画素値で補完することで生成することができる。
【００８１】
このように、フレームレート変換処理を行った場合、低フレームレート側に黒画像を挿入し、高フレームレートの第１の画像９１と合成してもよい。
【００８２】
＜解像度・フレームレート変換処理の例＞
図８は、撮像画像６１に対して解像度とフレームレートの両方を変換した第１の画像９１及び第２の画像９２を生成する解像度・フレームレート変換処理の例を示している。
【００８３】
図８において、フレーム合成情報の付加方法は、図６におけるフレームレート変換処理と同様であり、合成処理する第１の画像９１と第２の画像９２の対応付けは、フレームレート変換処理と同様となる。
【００８４】
解像度・フレームレート変換処理による第１の画像９１及び第２の画像９２の合成処理では、上述したフレームレート変換処理による第１の画像９１及び第２の画像９２の合成処理に、図５の解像度変換処理に対応する合成処理で行われた、低解像度の画素を高解像度の４倍画素に補間する処理が追加される。
【００８５】
＜階調数変換処理の例＞
次に、撮像画像６１から生成する第１の画像９１と第２の画像９２とで階調数に違いを持たせる階調数変換処理について説明する。
【００８６】
画像処理部３６は、撮像画像６１を測距センサ３４で得られた距離情報に基づいて第１の領域（注目領域８１）と第２の領域（非注目領域８２）とに分割し、第１の領域と第２の領域とで階調数が異なるように階調数を変換した２枚の画像を生成する階調数変換処理を実行する。
【００８７】
例えば、画像処理部３６は、撮像画像６１と同じ３２ビットの階調数の第１の画像９１と、撮像画像６１の階調数より低階調数の１６ビットの階調数の第２の画像９２の２枚の画像を生成する。
【００８８】
第１の画像９１の非注目領域８２及び第２の画像９２の注目領域８１に対してマスキング処理を行う点は、上述した解像度変換処理などと同様である。
【００８９】
階調数が異なる第１の画像９１と第２の画像９２を受信した受信装置１３は、注目領域８１については第１の画像９１の画素値を使用し、非注目領域８２については第２の画像９２の画素値を使用した合成画像９３を生成し、表示装置１４に表示する。
【００９０】
なお、画像処理部３６は、階調数の変換と、解像度の変換またはフレームレートの変換とを適宜組み合わせた変換処理を行うことも可能である。
【００９１】
＜５．フローチャートによる説明＞
＜画像送信処理フロー＞
次に、図９のフローチャートを参照して、撮像装置１１が撮像した画像を受信装置１３に送信する画像送信処理について説明する。撮像装置１１では、撮像した画像のライブビュー画像が表示部３９に表示されており、例えば、ユーザがライブビュー画像の所定の領域をタッチすることによって撮像画像６１内の注目領域８１を指定したとき、図９の処理が開始される。
【００９２】
初めに、ステップＳ１において、操作部４０は、ユーザのタッチ位置を検出し、注目領域の指定を受け付ける。ユーザが指定した画像の位置情報は、制御部３１を介して画像処理部３６へ供給される。
【００９３】
ステップＳ２において、測距センサ３４は、制御部３１の制御に従い、発光部３３が発したIR光を受光して距離情報を生成し、画像処理部３６に供給する。
【００９４】
ステップＳ３において、撮像センサ３５は、制御部３１の制御に従い、被写体を撮像して撮像画像６１を生成し、画像処理部３６に供給する。
【００９５】
ステップＳ４において、画像処理部３６は、測距センサ３４から供給された距離情報に基づいて、撮像画像６１に対して注目領域８１を特定する。即ち、画像処理部３６は、ユーザがライブビュー画像で指定した位置周辺で、同じ距離情報を有するオブジェクト領域を撮像画像６１において検出し、検出された領域を注目領域８１として決定する。また、画像処理部３６は、撮像画像６１の注目領域８１以外の領域を非注目領域８２とする。
【００９６】
ステップＳ５において、画像処理部３６は、図４に示したような、非注目領域８２についてマスキング処理を施した第１の画像９１と、注目領域８１についてマスキング処理を施した第２の画像９２を生成する。この段階では、第１の画像９１及び第２の画像９２は、撮像画像６１とマスキング処理の有無のみが異なる画像である。
【００９７】
ステップＳ６において、画像処理部３６は、第１の画像９１と第２の画像９２との間で、解像度、フレームレート、及び階調数のなかの少なくとも１つが異なるように変換する画質変換処理を実行する。
【００９８】
ここで、第１の画像９１と第２の画像９２との間で、解像度、フレームレート、及び階調数のどれが異なるように変換処理を行うかについては、例えば、設定画面等でユーザが指定するなどして、予め決定されている。第１の画像９１と第２の画像９２のそれぞれについて、解像度、フレームレート、及び階調数をユーザが設定できるようにしてもよい。
【００９９】
図１０は、図９のステップＳ６において実行される画質変換処理の詳細を説明するフローチャートである。
【０１００】
なお、以下のステップＳ２１乃至Ｓ２７の処理は、図４乃至図８で説明した例のように、撮像画像６１と第１の画像９１が、マスキング処理の有無を除いて、解像度、フレームレート、及び階調数のいずれも同じである場合には、第２の画像９２に対してのみ実行される。
【０１０１】
一方、例えば、撮像画像６１の解像度が８K（7680ｘ4320）で、第１の画像９１の解像度を４K、第２の画像９２の解像度をFHDとする例のように、第１の画像９１の解像度、フレームレート、または階調数が撮像画像６１と異なる場合には、以下のステップＳ２１乃至Ｓ２７の処理は、第１の画像９１及び第２の画像９２の両方に対して実行される。
【０１０２】
画質変換処理では、初めに、ステップＳ２１において、画像処理部３６は、解像度変換を行うかを判定する。
【０１０３】
ステップＳ２１で、解像度変換を行うと判定された場合、処理はステップＳ２２に進み、画像処理部３６は、第１の画像９１または第２の画像９２の解像度を変換する解像度変換処理を実行する。
【０１０４】
一方、ステップＳ２１で、解像度変換を行わないと判定された場合、ステップＳ２２の処理はスキップされる。
【０１０５】
次に、ステップＳ２３において、画像処理部３６は、階調数変換を行うかを判定する。
【０１０６】
ステップＳ２３で、階調数変換を行うと判定された場合、処理はステップＳ２４に進み、画像処理部３６は、第１の画像９１または第２の画像９２の階調数を変換する階調数変換処理を実行する。
【０１０７】
一方、ステップＳ２３で、階調数変換を行わないと判定された場合、ステップＳ２４の処理はスキップされる。
【０１０８】
次に、ステップＳ２５において、画像処理部３６は、フレームレート変換を行うかを判定する。
【０１０９】
ステップＳ２５で、フレームレート変換を行うと判定された場合、処理はステップＳ２６に進み、画像処理部３６は、第１の画像９１または第２の画像９２のフレームレートを変換するフレームレート変換処理を実行する。
【０１１０】
一方、ステップＳ２５で、フレームレート変換を行わないと判定された場合、ステップＳ２６の処理はスキップされる。
【０１１１】
次に、ステップＳ２７において、画像処理部３６は、第１の画像９１及び第２の画像９２それぞれに対し、フレーム合成情報を生成し、付加する。
【０１１２】
ステップＳ２７の処理が終了すると、図９のステップＳ６としての画質変換処理が終了し、処理は図９に戻り、ステップＳ７に進む。
【０１１３】
ステップＳ７において、通信部３８は、画像処理部３６によって生成された第１の画像９１と第２の画像９２を受信装置１３に送信する。第１の画像９１と第２の画像９２の画像データには、フレーム合成情報も含まれる。
【０１１４】
ステップＳ８において、制御部３１は、送信を終了するかを判定する。例えば、ユーザによって撮像した画像の送信を停止する操作が行われた場合や所定期間の画像の送信が終了した場合、ステップＳ８で、送信を終了すると判定される。
【０１１５】
ステップＳ８で、送信を終了しないと判定された場合、処理はステップＳ２に戻り、上述したステップＳ２乃至Ｓ８の処理が繰り返される。これにより、次に撮像された撮像画像６１に対して第１の画像９１と第２の画像９２が生成され、受信装置１３に送信される。
【０１１６】
一方、ステップＳ８で、送信を終了すると判定された場合、図９の画像送信処理が終了する。
【０１１７】
＜画像受信処理フロー＞
次に、図１１のフローチャートを参照して、撮像装置１１の画像送信処理に対応して受信装置１３で実行される画像受信処理について説明する。
【０１１８】
初めに、ステップＳ４１において、受信装置１３は、撮像装置１１から送信されてきた第１の画像９１と第２の画像９２を受信（取得）する。
【０１１９】
ステップＳ４２において、受信装置１３は、受信した第１の画像９１と第２の画像９２それぞれに付加されたフレーム合成情報に基づいて、第１の画像９１と第２の画像９２を合成し、合成画像９３を生成する。
【０１２０】
ステップＳ４３において、受信装置１３は、生成した合成画像９３を表示装置１４に出力し、表示させる。
【０１２１】
ステップＳ４４において、受信装置１３は、受信を終了するかを判定する。ステップＳ４４では、例えば、撮像装置１１から画像が送信されてこなくなった場合や、画像の受信を終了する操作が行われた場合、受信を終了すると判定される。
【０１２２】
ステップＳ４４で、受信を終了しないと判定された場合、処理はステップＳ４１に戻り、上述したステップＳ４１乃至Ｓ４４の処理が繰り返される。これにより、撮像装置１１から次に送信されてきた第１の画像９１と第２の画像９２が受信され、合成画像９３が生成されて、表示装置１４に表示される。
【０１２３】
一方、ステップＳ４４で、受信を終了すると判定された場合、図１１の画像受信処理が終了する。
【０１２４】
以上説明した撮像装置１１による画像送信処理と、受信装置１３による画像受信処理では、撮像装置１１が、第１の画像９１と第２の画像９２を生成して送信し、受信装置１３が、第１の画像９１と第２の画像９２を受信して合成し、表示装置１４に表示するようにした。
【０１２５】
なお、第１の画像９１と第２の画像９２を合成する処理は、撮像装置１１側で行ってもよい。即ち、撮像装置１１が、生成した第１の画像９１と第２の画像９２から合成画像９３を生成して送信し、受信装置１３が、合成画像９３を受信して表示装置１４に表示させるようにしてもよい。
【０１２６】
＜１枚の画像を生成して送信する場合の画像送信処理フロー＞
画質変換処理としてフレームレートを変換しない場合には、撮像画像６１から、第１の画像９１と第２の画像９２の２枚の画像を生成する必要はなく、撮像画像６１に対して解像度または階調数の少なくとも一方を変換した１枚の画像を生成して送信してもよい。
【０１２７】
図１２は、撮像画像６１が１枚の画像を送信する場合の画像送信処理を説明するフローチャートである。
【０１２８】
図１２の画像送信処理のステップＳ６１乃至Ｓ６４の処理は、図９の画像送信処理のステップＳ１乃至Ｓ４の処理と同一であるので、その説明は省略する。
【０１２９】
ステップＳ６５において、撮像画像６１の注目領域８１と非注目領域８２に対して、図１０を参照して説明した画質変換処理を実行する。ただし、図１０のステップＳ２５において、フレームレートの変換は行わないと判定され、ステップＳ２７におけるフレーム合成情報の生成は省略される。
【０１３０】
ステップＳ６６において、通信部３８は、ステップＳ６５の画質変換処理後の撮像画像６１を受信装置１３に送信する。
【０１３１】
ステップＳ６７において、制御部３１は、送信を終了するかを判定し、終了すると判定した場合、画像送信処理が終了される。一方、ステップＳ６７で、送信を終了しないと判定された場合、処理はステップＳ６２に戻り、上述したステップＳ６２乃至Ｓ６７の処理が繰り返される。
【０１３２】
＜１枚の画像を生成して送信する場合の画像受信処理フロー＞
図１３は、撮像画像６１が１枚の画像を送信してきた場合の受信装置１３の画像受信処理を説明するフローチャートである。
【０１３３】
初めに、ステップＳ８１において、受信装置１３は、撮像装置１１から送信されてきた画質変換処理後の撮像画像６１を受信（取得）する。
【０１３４】
そして、ステップＳ８２において、受信装置１３は、受信した画質変換処理後の撮像画像６１を表示装置１４に出力し、表示させる。
【０１３５】
ステップＳ８３において、制御部３１は、受信を終了するかを判定し、終了すると判定した場合、画像受信処理が終了される。一方、ステップＳ８３で、受信を終了しないと判定された場合、処理はステップＳ８１に戻り、上述したステップＳ８１乃至Ｓ８３の処理が繰り返される。
【０１３６】
以上のように、画質変換処理としてフレームレートの変換を行わない場合には、撮像センサ３５で得られた撮像画像６１の注目領域８１と非注目領域８２の少なくとも一方に対して解像度または階調数の少なくとも一方の画質変換処理を施した処理後の撮像画像６１が受信装置１３に送信され、受信装置１３は、受信した撮像画像６１をそのまま表示装置１４に表示させる。
【０１３７】
フレームレートの変換を行わない場合に、２枚の画像で送信するか、１枚の画像で送信するかは、例えば、動作モードの設定によってユーザが決定できるようにしてもよい。
【０１３８】
＜６．まとめ＞
図１の画像処理システム１において、撮像装置１１は、測距センサ３４と撮像センサ３５を少なくとも有し、撮像センサ３５で得られた撮像画像６１の画像領域を、測距センサ３４で得られた距離情報に基づいて注目領域８１と非注目領域８２の２つの領域に分割し、２つの領域が異なる画質となるように注目領域８１と非注目領域８２の少なくとも１つに画像処理を実行する。
【０１３９】
画像処理としては、注目領域８１と非注目領域８２との間で、解像度、階調数、またはフレームレートの少なくとも１つが異なるような画質変換処理が行われる。
【０１４０】
例えば、撮像装置１１の画像処理部３６は、注目領域８１の解像度を第１の解像度（例えば撮像画像６１と同じ解像度）とした第１の画像９１と、非注目領域８２の解像度を第１の解像度よりも低い第２の解像度とした第２の画像９２の２枚の画像を生成する。
【０１４１】
あるいはまた、画像処理部３６は、注目領域８１の解像度を第１の解像度（例えば撮像画像６１と同じ解像度）とし、非注目領域８２の解像度を第１の解像度よりも低い第２の解像度とした１枚の画像を生成する。
【０１４２】
また例えば、画像処理部３６は、注目領域８１の階調数を第１の階調数（例えば撮像画像６１と同じ階調数）とした第１の画像９１と、非注目領域８２の階調数を第１の階調数よりも低い第２の低階調数とした第２の画像９２の２枚の画像を生成する。
【０１４３】
あるいはまた、画像処理部３６は、注目領域８１の階調数を第１の階調数（例えば撮像画像６１と同じ階調数）とし、非注目領域８２の階調数を第１の階調数よりも低い第２の階調数とした１枚の画像を生成する。
【０１４４】
また例えば、画像処理部３６は、注目領域８１のフレームレートを第１のフレームレート（例えば撮像画像６１と同じフレームレート）とした第１の画像９１と、非注目領域８２のフレームレートを第１のフレームレートよりも低い第２のフレームレートとした第２の画像９２の２枚の画像を生成する。
【０１４５】
２枚の画像を生成する場合、第１の画像９１の非注目領域８２についてはマスキング処理が施され、第２の画像９２の注目領域８１についてはマスキング処理が施される。
【０１４６】
画像処理部３６による画質変換処理は、非注目領域８２について解像度、階調数、またはフレームレートの少なくとも１つを低減させる処理であるので、１枚の撮像画像６１から２枚の画像（第１の画像９１及び第２の画像９２）を生成して送信した場合であっても、送信データ量が削減される。
【０１４７】
デジタルシネマ向けの４K規格（Digital Cinema Initiatives 4K）の１枚の画像の例を用いて、データ量の圧縮効果を検討する。
【０１４８】
図５に示した例のように、撮像装置１１が、１枚の４Kの撮像画像６１から、注目領域８１について４Kの解像度とした第１の画像９１と、非注目領域８２についてFHDの解像度とした第２の画像９２の２枚を生成した場合を考える。
【０１４９】
１枚の４K画像のビット数は、
36bit(階調数12bit×各RGB) × 4096(pix) × 2160(pix) = 318,504,960bit
となる。
【０１５０】
この１枚の撮像画像６１の５０％の領域が注目領域８１で、残り５０％の領域が非注目領域８２であるとして、第１の画像９１と第２の画像９２の２枚の画像のビット数の合計を計算すると、
318,504,960bit × 0.5(第１の画像９１) + 318,504,960bit × 0.5 ÷  4(第２の画像９２)
= 199,065,600bit
となる。
【０１５１】
従って、送信するデータ量を、199,065,600/318,504,960＝62.5%程度に圧縮して送信することができる。
【０１５２】
以上のように、画像処理部３６の画像処理によれば、距離情報を用いて画像データを圧縮して、送信することができる。この圧縮技術は、例えば、MPEG2やMPEG4などの、動きベクトル、フレーム間予測、動き補償等の時間軸方向の情報を用いた圧縮技術とは異なる、時間軸方向の情報を必要としない圧縮技術であると言える。
【０１５３】
画像処理部３６の動画圧縮では、時間軸方向に隣接するフレームの情報を必要とせず、距離情報を用いた同一フレーム内での圧縮を行うので、リアルタイムで圧縮して伝送することが可能となる。
【０１５４】
例えば、画像の一部の領域の解像度を落としてモザイク処理（ボケ処理）を行うような場合、従来は後処理で行う必要があったが、本技術の画像処理は、リアルタイムで解像度を変換して送信することができるので、モザイク処理画像のライブ送信も可能となる。
【０１５５】
また、同一フレーム内での画像処理であり、隣接フレームとの画像相関がないので、所定の時刻の第１の画像９１と、その時刻より数フレーム遅れの時刻の第２の画像９２を合成した合成画像による動画像を生成することも可能となる。
【０１５６】
上述した例では、動画像についてのみ説明したが、また同一フレーム内での画像処理であるので、静止画についても同様に本技術が適用できることは言うまでもない。
【０１５７】
また、上述した例では、撮像画像６１を、注目領域８１と非注目領域８２の２つの領域に分割した例について説明したが、３つ以上の領域に分割し、少なくとも１つの領域が、他の領域と異なる画質となるように画像処理を実行してもよい。
【０１５８】
＜７．本技術を適用したコンピュータの説明＞
上述した制御部３１や画像処理部３６等が行う一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等のコンピュータにインストールされる。
【０１５９】
図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０１６０】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０１６１】
あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１６２】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１６３】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
【０１６４】
CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
【０１６５】
これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０１６６】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１６７】
本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１６８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６９】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１７０】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７１】
例えば、上述した実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。
【０１７２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７５】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１７６】
なお、本技術は以下のような構成も取ることができる。
（１）
所定の画像の画像領域を測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する画像処理部を備える
画像処理装置。
（２）
前記画像処理部は、前記画像処理として、前記２つの領域の解像度が異なるように解像度を変換する解像度変換処理を実行する
前記（１）に記載の画像処理装置。
（３）
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の解像度が第１の解像度である第１の画像と、前記第２の領域の解像度が前記第１の解像度よりも低い第２の解像度である第２の画像の２枚の画像を生成する処理を実行する
前記（２）に記載の画像処理装置。
（４）
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の解像度が第１の解像度で、前記第２の領域の解像度が前記第１の解像度よりも低い第２の解像度である１枚の画像を生成する処理を実行する
前記（２）に記載の画像処理装置。
（５）
前記画像処理部は、前記画像処理として、前記２つの領域の階調数が異なるように階調数を変換する階調数変換処理を実行する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の階調数が第１の階調数である第１の画像と、前記第２の領域の階調数が前記第１の階調数よりも低い第２の階調数である第２の画像の２枚の画像を生成する処理を実行する
前記（５）に記載の画像処理装置。
（７）
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域の階調数が第１の階調数で、前記第２の領域の階調数が前記第１の階調数よりも低い第２の階調数である１枚の画像を生成する処理を実行する
前記（５）に記載の画像処理装置。
（８）
前記画像処理部は、前記画像処理として、前記２つの領域のフレームレートが異なるようにフレームレートを変換するフレームレート変換処理を実行する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域のフレームレートが第１のフレームレートである第１の画像と、前記第２の領域のフレームレートが前記第１のフレームレートよりも低い第２のフレームレートである第２の画像の２枚の画像を生成する処理を実行する
前記（８）に記載の画像処理装置。
（１０）
前記２つの領域として、第１の領域と第２の領域があり、
前記画像処理部は、前記第１の領域に対して第１の画像処理を実行した第１の画像と、前記第２の領域に対して第２の画像処理を実行した第２の画像とを対応付けるフレーム合成情報を生成し、前記第１の画像または前記第２の画像に付加する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記測距センサは、アクティブタイプの測距センサである
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記測距センサは、パッシブタイプの測距センサである
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１３）
前記測距センサと、
被写体を撮像する撮像センサと
をさらに備え、
前記所定の画像は、前記撮像センサで撮像された画像である
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１４）
画像処理装置が、
所定の画像の画像領域を測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する
ステップを含む画像処理方法。
（１５）
被写体を撮像する撮像センサと、
前記被写体までの距離情報を取得する測距センサと、
前記撮像センサで得られた画像の画像領域を前記測距センサで得られた距離情報に基づいて少なくとも２つの領域に分割し、前記２つの領域が異なる画質となるように前記画像の前記２つの領域の少なくとも１つに画像処理を実行する画像処理部と
を備える撮像装置。
【符号の説明】
【０１７７】
１  画像処理システム，  １１  撮像装置，  １３  受信装置，  １４  表示装置，  ３１  制御部，  ３２  光学系，  ３３  発光部，  ３４  測距センサ，  ３５  撮像センサ，  ３６  画像処理部，  ３８  通信部，  ３９  表示部，  ４０  操作部，  ４１  距離情報取得部，  ６１  撮像画像，  ６２  デプスマップ，  ８１  注目領域，  ８２  非注目領域，  ９１  第１の画像，  ９２  第２の画像，  ９３  合成画像，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ
【図１】
2017224970.tif 000003
【図２】
2017224970.tif 000004
【図３】
2017224970.tif 000005
【図４】
2017224970.tif 000006
【図５】
2017224970.tif 000007
【図６】
2017224970.tif 000008
【図７】
2017224970.tif 000009
【図８】
2017224970.tif 000010
【図９】
2017224970.tif 000011
【図１０】
2017224970.tif 000012
【図１１】
2017224970.tif 000013
【図１２】
2017224970.tif 000014
【図１３】
2017224970.tif 000015
【図１４】
2017224970.tif 000016