(57)【要約】【課題】複雑領域を素早く表示することが可能な画像処理装置を提供すること。【解決手段】エンコード前の画像が表示される表示画面と、エンコード前の画像から複雑な画素領域を検出する複雑領域検出部と、複雑領域検出部により検出された複雑な画素領域を表示画面に表示する複雑領域表示部と、画像内の任意領域をユーザが指定領域として指定するための操作入力部と、操作入力部を介して指定された指定領域に所定の画像処理を施す画像処理部とを備える、画像処理装置が提供される。【選択図】図１２
2010004261.tif 000002
【特許請求の範囲】
【請求項１】
エンコード前の画像が表示される表示画面と、
前記エンコード前の画像から複雑な画素領域を検出する複雑領域検出部と、
前記複雑領域検出部により検出された複雑な画素領域を前記表示画面に表示する複雑領域表示部と、
前記画像内の任意領域をユーザが指定領域として指定するための操作入力部と、
前記操作入力部を介して指定された指定領域に所定の画像処理を施す画像処理部と、
を備える、画像処理装置。
【請求項２】
前記画像処理部は、前記画像を符号化するエンコーダであり、当該画像を符号化する際に前記操作入力部を介して指定された指定領域に比較的多くの符号量又は比較的少ない符号量を割り当てて符号化する、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記操作入力部を介して指定された指定領域に対し、ローパスフィルタ、減色処理、又は被写界深度の低減処理を施す、請求項１に記載の画像処理装置。
【請求項４】
前記操作入力部を介して指定された指定領域の外縁を前記表示画面に表示する指定領域表示部をさらに備え、
前記指定領域表示部は、ユーザにより前記操作入力部が操作された時間の長さに応じて前記指定領域のサイズを拡大する、請求項１に記載の画像処理装置。
【請求項５】
前記指定領域表示部は、前記指定領域のサイズを拡大する際、前記指定領域の外縁が前記複雑領域検出部により検出された複雑な画素領域の外縁に沿うように前記指定領域を拡大する、請求項４に記載の画像処理装置。
【請求項６】
前記複雑領域検出部は、前記エンコード前の画像から検出される離散コサイン変換係数、ウェーブレット係数、動きベクトルの長さ、フラットネス、又はイントラＡＣが大きな画素領域を前記複雑な画素領域として検出する、請求項１に記載の画像処理装置。
【請求項７】
光学系を介して入射された光から被写体の像を形成する撮像部をさらに備え、
前記撮像部は、前記被写体の像を前記表示画面に表示させると共に、当該被写体の像を前記エンコード前の画像として前記複雑領域検出部に入力する、請求項１に記載の画像処理装置。
【請求項８】
エンコード前の画像から複雑な画素領域が検出される複雑領域検出ステップと、
表示画面にエンコード前の画像が表示され、前記複雑領域検出ステップで検出された複雑な画素領域が前記表示画面に表示される複雑領域表示ステップと、
ユーザにより前記画像内の任意領域が指定領域として指定された場合に、少なくとも当該指定領域に対して所定の画像処理が施される画像処理ステップと、
を含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年、映像処理技術の急速な発展に伴い、手軽に高品質なデジタル映像の撮影が可能な撮像装置が一般にも普及してきている。このような高画質映像のデジタル映像データは、そのデータ量が膨大であるため、それを経済的に記録するために種々の工夫が凝らされている。その中でも、高画質な映像データを高画質なままにデータ容量を圧縮する符号化技術として、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）により規格化された圧縮符号化技術がよく知られている。
【０００３】
このような撮像装置には、通常、光学系を介して入射された光を光電変換して電気信号を出力する撮像素子が搭載されており、その電気信号からデジタル映像信号が生成される。さらに、上記の理由から、デジタル映像信号は、撮像装置に搭載されたエンコーダにより所定の符号化方式で符号化される。このとき、エンコーダは、例えば、上記のＭＰＥＧ等により規格化された圧縮符号化方式に基づいて符号化処理を実行する。符号化されたデジタル映像信号は、撮像装置に接続された記録媒体に記録される。
【０００４】
ところが、ＭＰＥＧ等の圧縮符号化方式は、エンコード前の画像が複雑であったり、画像に動きの激しい被写体が含まれているような場合に、圧縮率が低下したり、圧縮ノイズが発生して符号化後の映像品質が低下してしまうことが多い。また、単位時間当たりに割り当てられるビット量が固定されていると、複雑な画素領域を含む画像に多くの符号量が割り当てられてしまい、全体として映像品質が低下してしまうことがある。そのため、複雑な画素領域や動きの激しい被写体を含む画像を低減させることが求められている。
【０００５】
こうした要求に対し、下記の特許文献１には、画像の複雑さや被写体の動きの激しさ等に応じて変化する符号化率を画面上に表示する技術が開示されている。さらに、同文献１には、所定の符号化率を超過した場合に画面上に警告を表示する技術が開示されている。また、下記の特許文献２には、ユーザが画像中で重要と考える領域に高い重要度を設定しておき、重要度に応じた符号量で符号化する技術が開示されている。さらに、下記の特許文献３には、画像のエッジ検出や複雑領域の検出を行い、その結果得られたエッジ領域や複雑領域に対して自動的に多くの符号量を割り当てて符号化する技術が開示されている。
【０００６】
【特許文献１】特開２００３−２５０１１４号公報
【特許文献２】特開平８−３３６１３５号公報
【特許文献３】特開平９−  ９８４２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１のように符号化率が画面に表示されたとしても、ユーザは、被写体のどの部分が複雑な領域なのかを容易に判断することが難しい。そのため、熟練した撮影技術を持つユーザでなければ複雑領域を回避するようにアングル等の調整を行うことが難しかった。また、上記の特許文献２のようにユーザが予め重要な領域を指定しておくような場合、時事刻々と複雑領域が変化するような撮影シーンにおいては十分な効果が得られない。さらに、重要度の設定はユーザにとって大きな負担になる。
【０００８】
また、上記の特許文献３のように自動的に符号量を割り当てて符号化するような場合、実際にユーザが重要であると考える領域に多くの符号量が割り当てられるとは限らず、肝心な領域の画質が低くなってしまうことがある。また、同文献３の技術では、ユーザのアングル調整等で回避できる複雑領域があっても、ユーザに複雑領域の情報が提示されない。そのため、複雑領域を含んだまま撮影が続行され、符号化処理が実行される際に、複雑領域が回避された画像よりも多くの符号量が費やされることになる。
【０００９】
つまり、上記の技術を単独で又は組み合わせて用いたとしても、撮影画像に含まれる複雑な画素領域をリアルタイムでユーザに提示することが難しい。そのため、ユーザにとって重要な領域の画質が低下してしまったり、ユーザ操作で回避できる複雑領域が画像に含まれて符号量が相対的に多くなったりする。さらに、上記の特許文献１のようにエンコード処理後に得られる情報をユーザに提示するような構成にすると、エンコード処理に時間が掛かり、ユーザがリアルタイムに複雑領域の回避行動をとることが難しくなる。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザに対して複雑な画素領域をより早く提示し、ユーザにより指定された画素領域に所定の画像処理を施すことが可能な、新規かつ改良された画像処理装置、及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、エンコード前の画像が表示される表示画面と、前記エンコード前の画像から複雑な画素領域を検出する複雑領域検出部と、前記複雑領域検出部により検出された複雑な画素領域を前記表示画面に表示する複雑領域表示部と、前記画像内の任意領域をユーザが指定領域として指定するための操作入力部と、前記操作入力部を介して指定された指定領域に所定の画像処理を施す画像処理部と、を備える、画像処理装置が提供される。
【００１２】
このように、上記の画像処理装置は、エンコード前の画像が表示される表示画面を有しており、さらに、複雑領域検出部により、前記エンコード前の画像から複雑な画素領域を検出することができる。また、上記の画像処理装置は、複雑領域表示部により、前記複雑領域検出部により検出された複雑な画素領域を前記表示画面に表示する。そして、上記の画像処理装置は、前記画像内の任意領域をユーザが指定領域として指定するための操作入力部を有しており、さらに、画像処理部により、前記操作入力部を介して指定された指定領域に所定の画像処理を施すことができる。
【００１３】
また、前記画像処理部は、前記画像を符号化するエンコーダであり、当該画像を符号化する際に前記操作入力部を介して指定された指定領域に比較的多くの符号量又は比較的少ない符号量を割り当てて符号化するように構成されていてもよい。
【００１４】
また、前記画像処理部は、前記操作入力部を介して指定された指定領域に対し、ローパスフィルタ、減色処理、又は被写界深度の低減処理を施すように構成されていてもよい。
【００１５】
また、上記の画像処理装置は、前記操作入力部を介して指定された指定領域の外縁を前記表示画面に表示する指定領域表示部をさらに備えていてもよい。この場合、前記指定領域表示部は、ユーザにより前記操作入力部が操作された時間の長さに応じて前記指定領域のサイズを拡大する。
【００１６】
また、前記指定領域表示部は、前記指定領域のサイズを拡大する際、前記指定領域の外縁が前記複雑領域検出部により検出された複雑な画素領域の外縁に沿うように前記指定領域を拡大するように構成されていてもよい。
【００１７】
また、前記複雑領域検出部は、前記エンコード前の画像から検出される離散コサイン変換係数、ウェーブレット係数、動きベクトルの長さ、フラットネス、又はイントラＡＣが大きな画素領域を前記複雑な画素領域として検出するように構成されていてもよい。
【００１８】
また、上記の画像処理装置は、光学系を介して入射された光から被写体の像を形成する撮像部をさらに備えていてもよい。この場合、前記撮像部は、前記被写体の像を前記表示画面に表示させると共に、当該被写体の像を前記エンコード前の画像として前記複雑領域検出部に入力する。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、エンコード前の画像から複雑な画素領域が検出される複雑領域検出ステップと、表示画面にエンコード前の画像が表示され、前記複雑領域検出ステップで検出された複雑な画素領域が前記表示画面に表示される複雑領域表示ステップと、ユーザにより前記画像内の任意領域が指定領域として指定された場合に、少なくとも当該指定領域に対して所定の画像処理が施される画像処理ステップとを含む、画像処理方法が提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、ユーザに対して複雑な画素領域をより早く提示し、ユーザにより指定された画素領域に所定の画像処理を施すことが可能になる。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
［本稿の構成］
まず、本発明の実施形態について詳細に説明するに先立ち、当該実施形態が目的とするところについて簡単に説明する。この中で、当該目的を達成するための同実施形態に係る技術の概要について説明する。次いで、同実施形態に係る装置、及び方法の具体的な構成例を示し、当該装置の機能構成、及び当該方法に係る処理の流れについて説明する。
【００２３】
［目的］
既に述べた通り、ＭＰＥＧ等のエンコード方式を用いると、各映像フレームに複雑な画素領域が含まれていたり、映像フレーム間の動きが激しい場合、圧縮率が低下したり、圧縮ノイズが発生したりしてしまう。また、同方式では、単位時間当たりに割り当てられるビット量が固定されており、その上限を超過すると極端に画質が低下してしまう。そのため、撮影時に映像フレームを構成する画像の複雑領域を除去又は低減させたり、動きの激しい被写体を極力少なくしたりすることが映像品質の向上には欠かせない。
【００２４】
複雑な画素領域や動きの激しい画素領域をリアルタイムで特定し、これらの画素領域を撮影時に回避することができれば、同じビットレートの設定でも、エンコード後の映像品質を高めることができる。さらに、これらの画素領域が少なくなれば、エンコード後の映像データサイズを低減させることも可能になる。つまり、高品質でサイズが小さい映像データを生成することができるようになる。後述する本発明の実施形態は、このような映像データの生成を実現することを主な目的とするものである。
【００２５】
近年、高速通信網の普及に伴い、個人レベルでも動画配信や動画投稿といった動画コンテンツの遣り取りが頻繁に行われるようになってきている。例えば、Ｗｅｂカメラを用いた動画チャットのようにインターネットを介してリアルタイムに動画データを遣り取りされるケースも増えている。このような場合に遣り取りされる動画コンテンツとしては、低ビットレートで高画質なものが望まれる。例えば、動画チャット等の場合、遣り取りされる映像の中で重要なのは顔等が写っている中心部分である。その場合に、周辺部分に複雑領域が含まれていたり、動きの激しい被写体が写り込んでいたりすると、圧縮率が低下して映像品質が落ちてしまう。
【００２６】
これと同様に、例えば、ドラマや映画等の映像コンテンツを制作する際、あまり重要ではない背景部分に複雑領域が含まれていたり、動きの激しい被写体が写り込んでいたりすると映像品質が低下してしまう。また、背景に情報量の大きい映像が含まれると、視聴者には所謂うるさい映像として認識されてしまう。例えば、背景に写り込んでいる木々の葉が風で揺れていると、その部分の画素領域は、複雑な画素領域となり、かつ、動き検出が難しい画素領域となる。また、うるさい映像にもなるため、この映像コンテンツから視聴者が受ける印象が悪化してしまうことがある。
【００２７】
このような複雑な映像部分や動きの激しい映像部分は、撮影時にカメラのアングルを調整したり、画角を狭めたりすることで容易に回避することができる場合がある。そもそも、こうした映像部分を撮影時に回避できれば、これらの映像部分に起因してエンコード後の映像品質が低下してしまうことが無くなる。しかし、高度に熟練したユーザでなければ、複雑な映像部分や動きの激しい映像部分を的確に判断することは難しい。また、複雑な映像部分や動きの激しい映像部分であっても、ユーザが重要であると考える場合があり、自動的に複雑領域等を判断して補正しようとすると、エンコード後の映像がユーザの意図と乖離してしまう可能性がある。
【００２８】
こうした観点から、後述する本発明の実施形態では、各映像フレームに含まれる複雑な画素領域や映像フレーム間の激しい動きを検出し、その検出結果をユーザに提示する技術を提案する。また、同実施形態では、ユーザが撮影時に複雑領域等をリアルタイムで把握し、複雑領域等の回避ができるように、より高速に複雑領域等をユーザに提示する技術を提案する。これらの技術を用いることで、撮影中にユーザが重要でないと判断した複雑領域等をリアルタイムに回避することが可能になり、エンコード後の映像データのデータ量を低減させながら、重要部分の映像品質を向上させることができる。以下、同実施形態に係る装置、及び方法の構成例について詳細に説明する。
【００２９】
＜実施形態＞
以下、本発明の一実施形態について説明する。本実施形態は、エンコード前の画像から複雑な画素領域を検出して表示画面に表示させると共に、その表示内容に基づいてユーザにより指定された指定領域に所定の画像処理を施す技術に関する。エンコード前の画像から複雑な画素領域が検出されるため、リアルタイムに複雑な画素領域が表示できるようになる。このようにして表示された情報を参照することで、ユーザは、カメラワークや構図等をインタラクティブに調整しながら複雑な画素領域等を回避することが可能になる。
【００３０】
［撮像装置１００の機能構成］
まず、図１を参照しながら、本実施形態に係る撮像装置１００の機能構成について説明する。図１は、本実施形態に係る撮像装置１００の機能構成例を示す説明図である。撮像装置１００の技術は、例えば、カムコーダやＷｅｂカメラが接続されたパーソナルコンピュータ、或いは、カメラ付きの携帯電話等に適用される。なお、撮像装置１００は、本実施形態に係る技術のうち、複雑な画素領域を高速に表示するための一部技術に関する。
【００３１】
図１に示すように、撮像装置１００は、主に、光学系１０２と、イメージセンサ１０４と、画像処理ブロック１３０とにより構成される。イメージセンサ１０４は、撮像部の一例である。画像処理ブロック１３０は、画像処理装置の一例である。この画像処理ブロック１３０の機能は、図３１に示すハードウェア構成により実現することができる。
【００３２】
（光学系１０２、イメージセンサ１０４）
光学系１０２は、被写体に反射した光が入射された場合に、その被写体像を結像させるための一又は複数のレンズにより形成されている。光学系１０２を介して入射した光は、イメージセンサ１０４に光信号として入力される。
【００３３】
イメージセンサ１０４は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の光電変換素子により形成されている。イメージセンサ１０４は、光学系１０２を介して入力された光信号を光電変換して電気信号を出力する。イメージセンサ１０４から出力された電気信号は、デジタル画像信号として画像処理ブロック１３０（画像処理部１３２）に入力される。なお、動画像が撮影される場合には、連続して被写体像がイメージセンサ１０４に入力され、ページ単位（フレーム又はフィールド単位）のデジタル画像信号が画像処理部１３２に連続して入力される。
【００３４】
（画像処理ブロック１３０）
画像処理ブロック１３０は、主に、画像処理部１３２と、エンコーダ１３４と、画像記憶部１３６と、画像出力制御部１３８と、表示パネル１４０とにより構成される。画像出力制御部１３８は、複雑領域検出部、複雑領域表示部、及び指定領域表示部の一例である。表示パネル１４０は、表示画面の一例である。
【００３５】
（画像処理部１３２）
まず、イメージセンサ１０４からデジタル画像信号が入力されると、画像処理部１３２は、デジタル画像信号に対してホワイトバランスの調整やγ補正等の画像処理を施す。また、画像処理部１３２は、ユーザ設定に応じてローパスフィルタや赤目補正等をデジタル画像信号に施す。画像処理部１３２により画像処理が施されたデジタル画像信号は、エンコーダ１３４、及び画像出力制御部１３８に入力される。
【００３６】
（エンコーダ１３４）
画像処理部１３２からデジタル画像信号が入力されると、エンコーダ１３４は、このデジタル画像信号に対して所定のエンコード方式でエンコード処理を施す。所定のエンコード方式としては、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等で規格化された方式が用いられる。もちろん、本実施形態に適用可能なエンコード方式は、これらの例に限定されるものではない。
【００３７】
ここでは、一例として、ＭＰＥＧ−２として規定されたエンコード方式を用いる場合におけるエンコーダ１３４の機能構成について簡単に説明する。
【００３８】
ＭＰＥＧ−２では、動き補償フレーム間差分符号化技術が用いられている。まず、エンコーダ１３４は、連続して入力されるデジタル画像信号から動きベクトルを検出する。このとき、エンコーダ１３４は、ブロックマッチング法等を利用して動き検出を行う。次いで、エンコーダ１３４は、検出した動きベクトルを用いてデジタル画像信号に動き補償を施しつつ、デジタル画像信号を差分符号化する。
【００３９】
その後、エンコーダ１３４は、動き補償により補正できない差分情報等にＤＣＴを施す。さらに、エンコーダ１３４は、ＤＣＴが施された差分情報等を量子化し、ハフマン符号等の可変長符号を用いて符号化する。このようにしてデジタル画像信号は、エンコーダ１３４によりエンコードされる。エンコード後のデジタル画像信号は、エンコード結果として画像記憶部１３６に記録される。
【００４０】
（画像出力制御部１３８）
ところで、画像処理部１３２から出力されたデジタル画像信号は、エンコーダ１３４とは独立に画像出力制御部１３８に対しても入力される。画像出力制御部１３８は、エンコード前のデジタル画像信号からＤＣＴ係数等の符号を算出し、この符号を用いてデジタル画像信号に含まれる各画素領域の複雑さを評価する。画像出力制御部１３８による評価結果は、表示パネル１４０に表示される。このとき、画像出力制御部１３８は、デジタル画像信号を評価結果と共に表示する。この表示方法については後段において詳述する。
【００４１】
ここで、図２を参照しながら、画像出力制御部１３８の詳細な機能構成について説明を加える。図２は、画像出力制御部１３８の詳細な機能構成を示す説明図である。
【００４２】
図２に示すように、画像出力制御部１３８は、主に、画像信号評価部１５２と、評価結果可視化部１５４と、画像重畳制御部１５６とにより構成される。なお、画像信号評価部１５２、及び画像重畳制御部１５６には、デジタル画像信号が入力されている。
【００４３】
（画像信号評価部１５２）
画像信号評価部１５２は、デジタル画像信号に含まれる各画素領域の空間的な画像特性又は時間的な画像特性を評価する。つまり、画像信号評価部１５２は、デジタル画像信号の各画素領域が持つ複雑さや、デジタル画像信号間における動きの激しさ等を評価する。画素領域としては、１つの画素又は複数の画素で構成される画素ブロックが１つの単位として用いられる。
【００４４】
例えば、画像信号評価部１５２は、デジタル画像信号に離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を施してＤＣＴ係数を算出する。ここでは、説明の都合上、画像信号評価部１５２によりＤＣＴ係数が算出される構成について説明したが、ＤＣＴ係数に代えて、例えば、ウェーブレット係数、フラットネス、又はイントラＡＣ等のパラメータが算出されるように構成されていてもよい。また、画像信号評価部１５２は、複数のデジタル画像信号を用いて動きベクトルを検出するように構成されていてもよい。これらの設定は、エンコーダ１３４が対応するエンコード方式に整合するように決定されることが好ましい。
【００４５】
ところで、上記のフラットネスとは、画像の空間的な平坦さを表すデータである。フラットネスは、画像の図柄が空間的に複雑であるほど小さくなり、平坦であるほど大きくなる。一方、イントラＡＣは、マクロブロックの平均値から各画素値の差分を算出して画像単位で累積したものである。従って、イントラＡＣは、フレーム内符号化処理における発生符号量にほぼ相当する。そのため、イントラＡＣは、映像の絵柄の複雑さ及び圧縮後のデータ量の大きさを示す指標として用いることができる。
【００４６】
次に、画像信号評価部１５２は、これらのパラメータを用いてデジタル画像信号を評価する。各画素領域の空間的な画像特性を評価する場合、画像信号評価部１５２は、ＤＣＴ係数やウェーブレット係数等の周波数解析により算出されたパラメータを用いる。この場合、画像信号評価部１５２は、ある画素領域の高周波成分に対応するパラメータが大きな値を持つ場合に、その画素領域が複雑な画素領域であると評価する。逆に、画像信号評価部１５２は、ある画素領域の高周波成分に対応するパラメータが小さな値である場合に、その画素領域が複雑領域ではないと評価する。
【００４７】
一方で、各画素領域の時間的な画像特性を評価する場合、画像信号評価部１５２は、デジタル画像信号間における動き検出により得られた動きベクトルを用いる。この場合、画像信号評価部１５２は、デジタル画像信号間において、ある画素領域の移動を示す動きベクトルの大きさをパラメータとして参照し、パラメータが大きな値を持つ場合に、その画素領域が動きの激しい画素領域であると評価する。逆に、画像信号評価部１５２は、デジタル画像信号間において、ある画素領域の動きベクトルの大きさが小さな値を持つ場合に、その画素領域が動きの激しい画素領域ではないと評価する。
【００４８】
また、画像信号評価部１５２は、例えば、デジタル画像信号に含まれる各画素領域について動きベクトルの大きさを算出し、画像全体又は所定サイズの領域において平均値を算出してもよい。このように構成することで、画像全体又は所定サイズの領域における動きの激しさを評価することが可能になり、各映像シーンにおける動きの激しさを捉えることができるようになる。本実施形態の技術は、ユーザに複雑領域等を提示する技術であるから、そのような領域をユーザが容易に認識できるようにすることが重要である。
【００４９】
このようにして画像信号評価部１５２により得られた評価結果は、評価結果可視化部１５４に入力される。
【００５０】
（評価結果可視化部１５４）
評価結果可視化部１５４は、画像信号評価部１５２により得られた評価結果を所定の表示形式に再構成する。
【００５１】
例えば、評価結果可視化部１５４は、評価結果に基づいてデジタル画像信号の複雑領域に所定の色や模様を割り当てる。このとき、評価結果可視化部１５４は、例えば、複雑さや動きの激しさ等が大きい画素領域に濃い色合いを割り当てたり、目の細かい模様を割り当てたりする。また、評価結果可視化部１５４は、複雑さや動きの激しさ等を表すパラメータが所定値を越える領域を特定し、当該領域の外縁を縁取りしたり、所定の色合いで描画するように設定する。
【００５２】
また、評価結果可視化部１５４は、例えば、複雑さや動きの激しさ等を示すパラメータ値の大きさに基づいてデジタル画像信号全体の評価結果をグラフ化したり、パラメータ値を数値として表示されるように設定したりする。さらに、評価結果可視化部１５４は、所定のプリセットエリアを除くように複雑領域等が表示される領域を限定するように構成されていてもよい。この場合、プリセットエリアには、複雑領域等を示す所定の色合いや模様等が表示されないようになる。
【００５３】
プリセットエリアは、ユーザにより任意に設定できるように構成されていることが好ましい。ユーザが重要であると考える領域は、複雑であっても、動きが激しくても、その分だけ符号量を多く割り当てて処理されることが好ましい。そのため、ユーザが重要であると考える領域には複雑領域等が表示される必要がない。上記のようにプリセットエリアに複雑領域等が表示されないことで、ユーザは表示された複雑領域等にだけ注意すれば済むようになり、煩わしさが低減され、より撮影操作に集中できるようになる。
【００５４】
このようにして評価結果可視化部１５４により割り当て又は設定された表示形式の情報は、可視化結果として画像重畳制御部１５６に入力される。
【００５５】
（画像重畳制御部１５６）
画像重畳制御部１５６は、デジタル画像信号を表示パネル１４０に表示させると共に、画像信号評価部１５２により得られた評価結果をデジタル画像信号に重畳して表示させる。このとき、画像重畳制御部１５６は、評価結果可視化部１５４により設定された可視化結果の表示形式に従って評価結果を表示パネル１４０に表示する。例えば、画像重畳制御部１５６は、評価結果に対応して複雑領域の外縁を示す模様を表示する場合、互いの位置関係を調整しながらデジタル画像信号と模様とを重畳合成する。そして、重畳合成された画像は、表示パネル１４０に表示される。
【００５６】
以上、画像出力制御部１３８の詳細な機能構成について説明した。上記の通り、画像出力制御部１３８は、デジタル画像信号の複雑さ等を評価し、その評価結果を表示パネル１４０に表示させる機能を有する。上記の説明の中で、評価方法については、ＤＣＴ係数や動きベクトル等を用いた種々の方法が適用できる点、及びこれらの方法を用いる場合の具体的な評価方法について述べた。その中で、ＤＣＴ係数を用いる方法について、図３を参照しながら、より詳細かつ具体的な説明を加えておきたい。
【００５７】
（ＤＣＴ係数を用いる評価方法について）
ここで、ＤＣＴ係数を用いる評価方法に関し、図３を参照しながら、画像信号評価部１５２の詳細な機能構成について説明する。この中で、図４〜図６を参照しながら、ＤＣＴ係数の算出方法について簡単に説明する。さらに、図７を参照しながら、評価結果可視化部１５４による具体的な評価結果の可視化例について述べる。そして、図８を参照しながら、画像重畳制御部１５６による評価結果の重畳合成結果について述べる。
【００５８】
図３は、画像信号評価部１５２の詳細な機能構成を示す説明図である。図４〜図６は、ＤＣＴ係数の算出方法を説明するための説明図である。図７は、評価結果可視化部１５４による具体的な評価結果の可視化例を示す説明図である。図８は、画像重畳制御部１５６による評価結果の重畳合成結果の一例を示す説明図である。
【００５９】
図３に示すように、画像信号評価部１５２は、画像領域分割部１７２と、周波数解析部１７４と、解析結果数値化部１７６とにより構成される。
【００６０】
まず、画像領域分割部１７２にはデジタル画像信号が入力される。画像領域分割部１７２は、図４に示すようにデジタル画像信号を所定サイズの画素領域に分割する。図４の例では、デジタル画像信号が縦８画素×横８画素の画素領域に分割されている。もちろん、所定サイズは、縦８画素×横８画素に限定されず、１画素単位でもよいし、縦横９画素以上の画素領域でもよい。つまり、所定サイズは任意に設定され得る。
【００６１】
画像領域分割部１７２により分割された画素領域の情報は、周波数解析部１７４に入力される。周波数解析部１７４は、各画素領域に対してＤＣＴを施す。まず、周波数解析部１７４は、図５に示すように各画素領域に含まれる各画素の画素値に離散コサイン変換を施して画素領域（ブロック）単位の周波数対強度（ＤＣＴ係数）分布を算出する。
【００６２】
この例ではＤＣＴを用いているが、他の周波数解析手法を用いる場合でも同様の処理が行われる。これらの処理により、分割された各画素領域に対する空間的な周波数特性が得られる。既に述べた通り、ＤＣＴ係数等のパラメータで示される空間的な周波数特性は画素領域の複雑さを示すものである。
【００６３】
周波数解析部１７４により得られたＤＣＴ係数は、解析結果数値化部１７６に入力される。解析結果数値化部１７６は、画素領域毎のＤＣＴ係数を所定数の段階に分類して複雑さの度合いを表す数値に変換する。例えば、解析結果数値化部１７６は、予め設定された４つの閾値を基準にしてＤＣＴ係数を５段階の評価値に分ける。
【００６４】
このとき、解析結果数値化部１７６は、所定周波数以上のＤＣＴ係数の合計強度値が４つの閾値で区切られた区間のいずれに含まれるかを判定する。そして、その判定結果に基づき、図６に示すように、各区間に割り当てられた評価値が評価対象の画素領域に対応付けられる。このようにして解析結果数値化部１７６により得られた評価値は、評価結果として評価結果可視化部１５４に入力される。
【００６５】
評価結果可視化部１５４は、図７の例に示すように、評価値の大きさに応じて各画素領域に表示される模様の濃淡を決定する。例えば、評価値が大きい画素領域は、濃い模様にて表示される。逆に、評価値が小さい画素領域は、淡い模様にて表示される。
【００６６】
この他にも可視化表現の手法としては、例えば、色彩や数字を付加したり、アイコンを付加して表示したりすることも考えられる。また、任意の閾値を設け、評価値が閾値以上の画素領域のみを表示する手法も考えられる。さらに、評価値が近い複数の画素領域をグループ化し、各グループの境界線を表示する手法も考えられる。そして、評価値に対応するヒストグラムや各種グラフ等を表示する手法も考えられる。
【００６７】
また、これらの可視化手法を組み合わせて表示する手法も考えられる。さらに、評価結果からエンコード後の画像や圧縮ノイズの発生箇所を予測して、予測画像を表示する手法等も考えられる。このように、評価結果可視化部１５４により算出される情報は、評価結果の表示情報である。つまり、評価結果可視化部１５４により、評価結果を示す模様が表示された表示レイヤーが生成されるのである。この可視化結果は、画像重畳制御部１５６に入力される。
【００６８】
画像重畳制御部１５６は、図８に示すように、元のデジタル画像信号と、評価結果可視化部１５４により生成された評価結果の表示レイヤーとを重畳して合成する。このとき、画像重畳制御部１５６は、元のデジタル画像信号と評価結果の表示レイヤーとが空間的な整合性が取れるように必要に応じて位置調整してから重畳合成する。そして、重畳合成して得られた画像は、表示パネル１４０に表示される。
【００６９】
図８に示すように、重畳合成された画像の中で、元画像の複雑な画素領域には濃い模様が表示され、複雑でない領域には淡い模様が表示されている。このように模様の濃淡により複雑領域が表現されることにより、ユーザは、複雑領域を容易に判断することが可能になる。なお、評価結果可視化部１５４によりヒストグラムやグラフ等の表示形態が設定された場合には、ヒストグラムやグラフ等が元画像に重畳されるように表示される。
【００７０】
以上、ＤＣＴ係数を用いる評価方法に関して一連の流れを説明した。ここではＤＣＴ係数を用いるケースを例に挙げて説明したが、これらの一連の処理は、ウェーブレット係数や他の周波数解析手法を用いる場合でもＤＣＴ係数の算出処理を除いて同様である。また、動きベクトルの大きさを評価値とする場合についても、評価値の算出、可視化、及び重畳処理等において同様の手法が用いられる。なお、評価値としては、ＤＣＴ係数のような符号データをそのまま用いるのではなく、例えば、符号化難易度や圧縮ノイズの発生率等を用いてもよい。
【００７１】
（表示パネル１４０）
再び図１を参照する。上記のようにして評価結果が重畳されたデジタル画像信号は、表示パネル１４０に表示される。表示パネル１４０としては、撮像装置１００に内蔵されている表示モニタであってもよいし、撮像装置１００に外部機器として接続されている表示モニタであってもよい。また、表示パネル１４０は、タッチパネル等の入力デバイス機能を備えたものであってもよい。この場合、表示パネル１４０は、ユーザが画面を押圧した押圧力を検知する機能を備えた圧力検知機能付きのタッチパネルであってもよい。また、表示パネル１４０は、画面に直接触れずとも、ユーザが接触又は近接した画面上の位置を３次元的に検知する機能を有していてもよい。
【００７２】
以上、本実施形態に係る撮像装置１００の機能構成について説明した。このように、画像出力制御部１３８がエンコーダ１３４とは独立して構成されているため、エンコード処理に掛かる処理時間やエンコード結果に関係せずに複雑領域の評価及び当該評価結果の表示が可能になる。その結果、複雑さ領域等の表示に関する処理が高速に実行され、ユーザに対してリアルタイムに複雑領域等を提示することができる。
【００７３】
なお、上記の説明においては、撮像装置１００を単独の装置として説明していたが、本実施形態はこれに限定されない。例えば、画像処理ブロック１３０は外部接続された情報処理装置により実現されてもよい。また、画像記憶部１３６は外部接続された記憶装置や通信機器（非図示）を介して接続された外部記憶装置により実現されてもよい。
【００７４】
上記の通り、撮像装置１００を構成する画像処理ブロック１３０の機能は、図３１に示すハードウェア構成により実現できる。例えば、画像処理部１３２、エンコーダ１３４、画像出力制御部１３８の機能は、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。また、画像記憶部１３６の機能は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８により実現される。さらに、表示パネル１４０の機能は、出力部９１８により実現される。但し、表示パネル１４０がタッチパネル等の入力手段としての機能を有する場合、入力部９１６にも対応する。
【００７５】
［撮像装置２００の機能構成］
次に、図９を参照しながら、本実施形態に係る撮像装置２００の機能構成について説明する。図９は、本実施形態に係る撮像装置２００の機能構成例を示す説明図である。撮像装置２００に係る技術は、例えば、カムコーダやＷｅｂカメラが接続されたパーソナルコンピュータ、或いは、カメラ付きの携帯電話等に適用される。なお、撮像装置２００は、本実施形態に係る技術のうち、デジタル画像信号の評価結果をエンコード時のビット割り当て予測に用いてエンコード結果の高画質化を図るための技術に関する。
【００７６】
図９に示すように、撮像装置２００は、主に、光学系２０２と、イメージセンサ２０４と、画像処理ブロック２３０とにより構成される。イメージセンサ２０４は、撮像部の一例である。画像処理ブロック２３０は、画像処理装置の一例である。この画像処理ブロック２３０の機能は、図３１に示すハードウェア構成により実現することができる。
【００７７】
（光学系２０２、イメージセンサ２０４）
光学系２０２は、被写体に反射した光が入射された場合に、その被写体像を結像させるための一又は複数のレンズにより形成されている。光学系２０２を介して入射した光は、イメージセンサ２０４に光信号として入力される。
【００７８】
イメージセンサ２０４は、例えば、ＣＣＤやＣＭＯＳ等の光電変換素子により形成されている。イメージセンサ２０４は、光学系２０２を介して入力された光信号を光電変換して電気信号を出力する。イメージセンサ２０４から出力された電気信号は、デジタル画像信号として画像処理ブロック２３０（画像処理部２３２）に入力される。なお、動画像が撮影される場合には、連続して被写体像がイメージセンサ２０４に入力され、ページ単位のデジタル画像信号が画像処理部２３２に連続して入力される。
【００７９】
（画像処理ブロック２３０）
画像処理ブロック２３０は、主に、画像処理部２３２と、エンコーダ２３４と、画像記憶部２３６と、画像出力制御部２３８と、割り当てビット変更部２３９と、表示パネル２４０とにより構成される。画像出力制御部２３８は、複雑領域検出部、複雑領域表示部、及び指定領域表示部の一例である。表示パネル２４０は、表示画面の一例である。
【００８０】
（画像処理部２３２）
まず、イメージセンサ２０４からデジタル画像信号が入力されると、画像処理部２３２は、デジタル画像信号に対してホワイトバランスの調整やγ補正等の画像処理を施す。また、画像処理部２３２は、ユーザ設定に応じてローパスフィルタや赤目補正等をデジタル画像信号に施す。画像処理部２３２により画像処理が施されたデジタル画像信号は、エンコーダ２３４、及び画像出力制御部２３８に入力される。
【００８１】
（エンコーダ２３４）
画像処理部２３２からデジタル画像信号が入力されると、エンコーダ２３４は、このデジタル画像信号に対して所定のエンコード方式でエンコード処理を施す。所定のエンコード方式としては、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等で規格化された方式が用いられる。もちろん、本実施形態に適用可能なエンコード方式は、これらの例に限定されるものではない。エンコーダ２３４によりエンコードされたデジタル画像信号は、エンコード結果として画像記憶部２３６に記録される。
【００８２】
（画像出力制御部２３８）
画像処理部２３２から出力されたデジタル画像信号は、エンコーダ２３４とは独立に設けられた画像出力制御部２３８に対しても入力される。画像出力制御部２３８は、エンコード前のデジタル画像信号からＤＣＴ係数等の符号を算出し、この符号を用いてデジタル画像信号に含まれる各画素領域の複雑さを評価する。但し、ＤＣＴ係数に代えて、例えば、ウェーブレット係数、フラットネス、又はイントラＡＣ等のパラメータが算出され、このパラメータにより評価結果が算出されるように構成されていてもよい。また、画像出力制御部２３８は、複数のデジタル画像信号を用いて動きベクトルを検出し、その動きベクトルの大きさに基づいて評価結果を算出するように構成されていてもよい。画像出力制御部２３８により算出された評価結果は、割り当てビット変更部２３９に入力される。
【００８３】
（割り当てビット変更部２３９）
割り当てビット変更部２３９は、ユーザにより指定された画素領域の割り当てビット量を変更し、エンコーダ２３４に変更後の割り当てビット量を入力する。エンコーダ２３４では、割り当てビット変更部２３９により変更された割り当てビット量で指定領域に対してエンコード処理が施される。
【００８４】
例えば、重要な画素領域をユーザに指定させる場合、割り当てビット変更部２３９は、指定領域の割り当てビット量を増加させる。このような構成にすることで、デジタル画像信号全体に割り当てるビット量が固定されている場合に、よりユーザの嗜好に合った高品質なエンコード画像が生成されるようになる。
【００８５】
逆に、複雑領域をユーザに指定させる場合、割り当てビット変更部２３９は、指定領域の割り当てビット量を低減させる。このような構成にすることで、デジタル画像信号全体に割り当てるビット量が固定されている場合に、複雑領域以外の画素領域に多くのビット量が割り当てられ、デジタル画像信号の高画質化が図れる。もちろん、割り当てビット量を増加させるか、減少させるかは、用途や目的に応じて適宜変更されうる。
【００８６】
ここで、図１０を参照しながら、割り当てビット変更部２３９の詳細な機能構成について説明すると共に、当該機能構成による一連の処理の流れについて説明を加える。図１０は、割り当てビット変更部２３９の詳細な機能構成を示す説明図である。
【００８７】
図１０に示すように、割り当てビット変更部２３９は、領域選択部２５２と、割り当てビット量変更部２５４と、操作結果出力部２５６とにより構成される。
【００８８】
まず、領域選択部２５２には、画像出力制御部２３８から評価結果が重畳されたデジタル画像信号が入力される。この重畳されたデジタル画像信号は、表示パネル２４０にも入力されて表示される。ユーザは、表示パネル２４０に表示された評価結果とデジタル画像信号との合成画像を参照して所望の画素領域を指定する。このとき、ユーザは、例えば、評価結果に基づいて複雑領域又は動きが激しい領域等と表示された画素領域を指定する。ユーザにより画素領域が指定されると、領域選択部２５２は、指定領域の情報を割り当てビット量変更部２５４に入力する。
【００８９】
割り当てビット量変更部２５４は、指定領域の割り当てビット量を設定して操作結果出力部２５６に入力する。このとき、指定領域に割り当てられるビット量は、ユーザにより指定されるか、所定量だけ減少又は増加される。ユーザにより指定される場合、タッチパネルを押圧した回数や押圧力、或いは、キーボード等により入力された数値等に基づいて割り当てるビット量が設定される。もちろん、本実施形態はこれに限定されず、任意の方法によりユーザが所望するビット量が割り当てられるように構成されてもよい。
【００９０】
割り当てビット量変更部２５４により設定された指定領域の割り当てビット量は、操作結果出力部２５６を介してエンコーダ２３４に入力される。このとき、指定領域の割り当てビット量と共に、指定領域の位置情報もエンコーダ２３４に入力される。その結果、エンコーダ２３４は、指定領域に対して指定された割り当てビット量でエンコード処理を施すことができる。
【００９１】
（表示パネル２４０）
ところで、表示パネル２４０としては、撮像装置２００に搭載されている表示モニタやファインダであってもよいし、撮像装置２００に外部機器として接続されている表示モニタであってもよい。また、表示パネル２４０は、タッチパネル等の入力デバイス機能を備えたものであってもよい。この場合、表示パネル２４０は、ユーザが画面を押圧した押圧力を検知する機能を備えた圧力検知機能付きのタッチパネルであってもよい。また、表示パネル２４０は、画面に直接触れずとも、ユーザが接触又は近接した画面上の位置を３次元的に検知する機能を有していてもよい。
【００９２】
以上、撮像装置２００の機能構成について説明した。上記の通り、撮像装置２００は、割り当てビット変更部２３９を備えることにより、ユーザが指定領域に対して任意のビット量を割り当てることが可能になる。従って、表示パネル２４０に表示された複雑領域等をユーザが指定して割り当てビット量を減少させることで、指定領域以外に多くのビット量が割り当てられて画像品質が向上する。逆に、複雑領域であるが、ユーザが重要であると考える画素領域を指定して多くのビット量を割り当てるように操作することで、画像全体のデータ量を増大させずに重要な画素領域の画質を向上させることができる。
【００９３】
上記の通り、撮像装置２００を構成する画像処理ブロック２３０の機能は、図３１に示すハードウェア構成により実現できる。例えば、画像処理部２３２、エンコーダ２３４、画像出力制御部２３８、割り当てビット変更部２３９の機能は、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。
【００９４】
また、画像記憶部２３６の機能は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８により実現される。さらに、表示パネル２４０の機能は、出力部９１８により実現される。但し、表示パネル２４０がタッチパネル等の入力手段としての機能を有する場合、入力部９１６にも対応する。また、割り当てビット変更部２３９に対するユーザ入力は、入力部９１６の機能により実現される。
【００９５】
［画像処理装置３３０の機能構成］
次に、図１１を参照しながら、本実施形態に係る画像処理装置３３０の機能構成について説明する。図１１は、本実施形態に係る画像処理装置３３０の機能構成例を示す説明図である。画像処理装置３３０は、上記の撮像装置１００の技術をエンコード結果の評価処理に応用したものである。
【００９６】
図１１に示すように、画像処理装置３３０は、主に、画像処理部３３２と、エンコーダ３３４と、画像記憶部３３６と、デコーダ３３７と、画像出力制御部３３８と、表示パネル３４０とにより構成される。画像処理装置３３０の機能は、図３１に示すハードウェア構成により実現することができる。画像処理部３３２は、複雑領域検出部の一例である。画像出力制御部３３８は、複雑領域表示部、及び指定領域表示部の一例である。表示パネル３４０は、表示画面の一例である。
【００９７】
（画像処理部３３２）
まず、デジタル画像信号が入力されると、画像処理部３３２は、デジタル画像信号に対してホワイトバランスの調整やγ補正等の画像処理を施す。また、画像処理部３３２は、ユーザ設定に応じてローパスフィルタや赤目補正等をデジタル画像信号に施す。画像処理部３３２により画像処理が施されたデジタル画像信号はエンコーダ３３４に入力される。
【００９８】
（エンコーダ３３４）
画像処理部３３２からデジタル画像信号が入力されると、エンコーダ３３４は、このデジタル画像信号に対して所定のエンコード方式でエンコード処理を施す。所定のエンコード方式としては、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等で規格化された方式が用いられる。もちろん、本実施形態に適用可能なエンコード方式は、これらの例に限定されるものではない。エンコーダ３３４によりエンコードされたデジタル画像信号は、エンコード結果としてデコーダ３３７に入力されると共に、画像記憶部３３６に記録される。さらに、エンコード処理に用いた符号化情報は、画像出力制御部３３８に入力される。
【００９９】
（デコーダ３３７）
デコーダ３３７は、エンコーダ３３４から入力されたエンコード後のデジタル画像信号系列をデコードし、再びエンコード前のデジタル画像信号系列を復元する。このとき、デコーダ３３７は、エンコーダ３３４と同じエンコード方式に基づいてデジタル画像信号をデコードする。デコーダ３３７によりデコードされたデジタル画像信号は、画像出力制御部３３８に入力される。
【０１００】
（画像出力制御部３３８）
画像出力制御部３３８は、デコーダ３３７から入力されたデジタル画像信号から得られるＤＣＴ係数等の符号を用いて各画素領域の複雑さを評価する。但し、ＤＣＴ係数に代えて、例えば、ウェーブレット係数、フラットネス、又はイントラＡＣ等のパラメータに基づいて評価結果が算出されるように構成されていてもよい。また、画像出力制御部３３８は、複数のデジタル画像信号を用いて動きベクトルを検出し、その動きベクトルの大きさに基づいて評価結果を算出するように構成されていてもよい。
【０１０１】
つまり、エンコーダ３３４によりエンコードされたデジタル画像信号系列が評価されることになる。このとき、画像出力制御部３３８は、エンコーダ３３４から入力された符号化情報を加味して評価情報を生成する。画像出力制御部３３８により生成された評価情報は、デジタル画像信号に重畳合成されて表示パネル３４０に表示される。
【０１０２】
（表示パネル３４０）
表示パネル３４０としては、画像処理装置３３０に搭載されている表示モニタであってもよいし、画像処理装置３３０に外部機器として接続されている表示モニタであってもよい。また、表示パネル３４０は、タッチパネル等の入力デバイス機能を備えたものであってもよい。この場合、表示パネル３４０は、ユーザが画面を押圧した押圧力を検知する機能を備えた圧力検知機能付きのタッチパネルであってもよい。また、表示パネル３４０は、画面に直接触れずとも、ユーザが接触又は近接した画面上の位置を３次元的に検知する機能を有していてもよい。
【０１０３】
以上、画像処理装置３３０の機能構成について説明した。上記の通り、画像処理装置３３０は、エンコーダ３３４から出力されたエンコード後のデジタル画像信号系列を評価すると共に、その評価結果とデジタル画像信号とを重畳させてユーザに提示することができる。また、エンコードする際に用いた符号化情報を加味して評価情報が生成され、ユーザは、符号化情報を考慮した評価結果を得ることができる。
【０１０４】
上記の通り、画像処理装置３３０の機能は、図３１に示すハードウェア構成により実現できる。例えば、画像処理部３３２、エンコーダ３３４、デコーダ３３７、画像出力制御部３３８の機能は、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。また、画像記憶部３３６の機能は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８により実現される。さらに、表示パネル３４０の機能は、出力部９１８により実現される。但し、表示パネル３４０がタッチパネル等の入力手段としての機能を有する場合、入力部９１６にも対応する。
【０１０５】
以上、撮像装置１００、２００、及び画像処理装置３３０を例に挙げて本実施形態に係る基本的な技術について説明した。以下では、これらの技術を組み込んだ具体的な装置構成として、撮像装置４００を例に挙げ、より具体的な技術説明を行う。この中で、ユーザ操作を含む一連の処理の流れについて説明すると共に、画面上での表示構成等についても具体的な例を挙げて説明する。
【０１０６】
［撮像装置４００の機能構成］
まず、図１２を参照しながら、本実施形態に係る撮像装置４００の機能構成について説明する。図１２は、本実施形態に係る撮像装置４００の機能構成例を示す説明図である。
【０１０７】
図１２に示すように、撮像装置４００は、主に、イメージセンサ４０２と、画像処理ブロック４０４と、制御部４０６と、操作部４０８と、表示パネル４１０と、記録メディア４１２とにより構成される。イメージセンサ４０２は、撮像部の一例である。画像処理ブロック４０４は、画像処理装置の一例である。この画像処理ブロック４０４の機能は、図３１に示すハードウェア構成により実現することができる。表示パネル４１０は、表示画面の一例である。
【０１０８】
（イメージセンサ４０２）
イメージセンサ４０２は、例えば、ＣＣＤやＣＭＯＳ等の光電変換素子により形成されている。イメージセンサ４０２は、光学系を介して入力された光信号を光電変換して電気信号を出力する。イメージセンサ４０２から出力された電気信号は、デジタル画像信号として画像処理ブロック４０４（画像処理部４３０）に入力される。なお、動画像が撮影される場合には、連続して被写体像がイメージセンサ４０２に入力され、ページ単位のデジタル画像信号が画像処理部４３０に連続して入力される。
【０１０９】
（制御部４０６、操作部４０８）
制御部４０６は、操作部４０８によるユーザ操作に応じて画像処理ブロック４０４を制御する手段である。操作部４０８としては、例えば、キーボード、マウス、リモートコントローラ、ボタン、タッチパネル、タッチパッド、光学センサ、又はカーソル等の操作手段が用いられる。但し、タッチパネルの場合、操作部４０８の機能は、表示パネル４１０と組み合わせることで実現される。
【０１１０】
（表示パネル４１０）
表示パネル４１０としては、撮像装置４００に搭載されている表示モニタやファインダであってもよいし、撮像装置４００に外部機器として接続されている表示モニタであってもよい。また、表示パネル４１０は、タッチパネル等の入力デバイス機能を備えたものであってもよい。この場合、表示パネル４１０は、ユーザが画面を押圧した押圧力を検知する機能を備えた圧力検知機能付きのタッチパネルであってもよい。また、表示パネル４１０は、画面に直接触れずとも、ユーザが接触又は近接した画面上の位置を３次元的に検知する機能を有していてもよい。
【０１１１】
（記録メディア４１２）
記録メディア４１２は、例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、又は半導体記録媒体等により構成される。記録メディア４１２には、主にデジタル画像信号が記録される。また、記録メディア４１２には、各種の設定情報やデジタル画像信号に関するメタ情報等が記録されてもよい。記録メディア４１２は、画像処理ブロック４０４に含まれるメディア制御回路４４２によりデータの読み出し又は書き込みが制御される。
【０１１２】
（画像処理ブロック４０４）
画像処理ブロック４０４は、主に、画像処理部４３０と、画像出力制御部４３６と、エンコーダ／デコーダ４３８と、バッファメモリ４４０と、メディア制御回路４４２とにより構成される。また、画像処理部４３０は、前処理回路４３２と、カメラ信号処理回路４３４とにより構成される。画像出力制御部４３６は、複雑領域検出部、複雑領域表示部、及び指定領域表示部の一例である。また、画像出力制御部４３６、エンコーダ／デコーダ４３８は、画像処理部の一例である。
【０１１３】
（前処理回路４３２）
前処理回路４３２には、例えば、ＣＤＳ（Ｃｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路、ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路、Ａ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）コンバータ等が含まれる。ＣＤＳ回路は、イメージセンサ４０２から入力された画像信号に含まれるリセットノイズを除去する回路である。ＡＧＣ回路は、画像信号を所定レベルまで増幅制御する回路である。Ａ／Ｄコンバータは、アナログの画像信号をデジタル画像信号に変換する回路である。これらの回路により生成されたデジタル画像信号は、カメラ信号処理回路４３４に入力される。
【０１１４】
（カメラ信号処理回路４３４）
カメラ信号処理回路４３４には、例えば、フィーダバッククランプ回路、ホワイトクリップ回路、ベースクリップ回路、ホワイトバランス回路、γ補正回路等が含まれる。
【０１１５】
フィーダバッククランプ回路は、デジタル画像信号の黒レベルＯＢ（オプティカルブラック）を一定基準値に固定するための回路である。ホワイトクリップ回路は、画像信号の過変調を防ぐために所定振幅以上の変調が掛からないようにするリミッタ回路である。ベースクリップ回路は、低レベルノイズをクリップするための回路である。ホワイトバランス回路は、ホワイトバランスを調整するための回路である。γ補正回路は、画像信号に所定のγ補正を施すための回路である。これらの回路により処理されたデジタル画像信号は、画像出力制御部４３６、及びエンコーダ／デコーダ４３８に入力される。
【０１１６】
（画像出力制御部４３６）
画像出力制御部４３６は、エンコード前のデジタル画像信号からＤＣＴ係数等の符号を算出し、この符号を用いてデジタル画像信号に含まれる各画素領域の複雑さを評価する。但し、ＤＣＴ係数に代えて、例えば、ウェーブレット係数、フラットネス、又はイントラＡＣ等のパラメータが算出され、このパラメータにより評価結果が算出されるように構成されていてもよい。また、画像出力制御部４３６は、複数のデジタル画像信号を用いて動きベクトルを検出し、その動きベクトルの大きさに基づいて評価結果を算出するように構成されていてもよい。画像出力制御部４３６は、算出した評価結果をデジタル画像信号に重畳して表示パネル４１０に表示する。
【０１１７】
その後、操作部４０８、制御部４０６を介してユーザにより画素領域が指定されると、画像出力制御部４３６は、ユーザに指定された画素領域に割り当てられるビット量の設定情報を変更する。そして、画像出力制御部４３６は、ユーザに指定された画像領域の位置情報と、指定領域に割り当てられる変更後のビット量の情報とをエンコーダ／デコーダ４３８に入力する。例えば、ユーザが複雑領域を指定している場合、画像出力制御部４３６は、指定領域の割り当てビット量が低減するように設定情報を更新する。更新された設定情報、及び指定領域の位置情報は、エンコーダ／デコーダ４３８に入力される。
【０１１８】
また、画像出力制御部４３６は、ユーザにより画素領域が指定された場合に、指定領域の割り当てビット量を変更するのではなく、指定領域にローパスフィルタ等の所定の画像処理を施すように構成されていてもよい。所定の画像処理としては、ローパスフィルタの他にも、例えば、減色処理や被写界深度の低減処理等が用いられる。もちろん、本実施形態に適用可能な所定の画像処理はこれに限定されず、その目的に応じて適宜変更される。
【０１１９】
（エンコーダ／デコーダ４３８）
エンコーダ／デコーダ４３８は、カメラ信号処理回路４３４から入力されたデジタル画像信号に対して所定のエンコード方式でエンコード処理を施す。このとき、エンコーダ／デコーダ４３８は、画像出力制御部４３６から入力された指定領域の位置情報、及び指定領域の割り当てビット量に基づいてエンコード処理を実行する。つまり、エンコーダ／デコーダ４３８は、指定領域に対して画像出力制御部４３６により設定されたビット量でエンコード処理を施す。
【０１２０】
なお、所定のエンコード方式としては、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等で規格化された方式が用いられる。もちろん、本実施形態に適用可能なエンコード方式は、これらの例に限定されるものではない。例えば、ＭＰＥＧ−２で規格化されたエンコード方式が用いられる場合、既に述べた通り、動き補償フレーム間差分符号化手法等が用いられる。このような場合、エンコーダ／デコーダ４３８は、フレームメモリとしてバッファメモリ４４０を利用する。このようにしてエンコーダ／デコーダ４３８によりエンコードされたデジタル画像信号は、メディア制御回路４４２を介して記録メディア４１２に記録される。
【０１２１】
また、エンコーダ／デコーダ４３８は、エンコード後のデジタル画像信号をバッファメモリ４４０に蓄積し、そのデジタル画像信号をデコードして画像出力制御部４３６に入力するように構成されていてもよい。このような構成は、上記の画像処理装置３３０のようにエンコード後のデジタル画像信号に対する評価情報を算出する際に利用される。この場合、エンコード後のデジタル画像信号に対する評価情報がデジタル画像信号に重畳合成されて表示パネル４１０に表示される。
【０１２２】
以上、本実施形態に係る撮像装置４００の機能構成について説明した。上記の通り、撮像装置４００は、エンコーダ／デコーダ４３８によりエンコードされる前のデジタル画像信号から複雑さ又は動きの激しさ等を含む画素領域を検出し、その画素領域をデジタル画像信号に重畳して表示する構成に１つの特徴がある。
【０１２３】
このような構成により、ユーザに対して高速に複雑さ領域等を提示することができる。その結果、ユーザがリアルタイムに複雑な画素領域等を指定することが可能になる。また、ユーザは、アングルや画角を調整して撮像範囲から複雑領域等を避けることが容易になる。結果として、デジタル画像信号に含まれる複雑領域等が小さくなり、他の部分に割り当てられるビット量が多くなるため、相対的にエンコード後の画像品質が向上するという効果が得られる。
【０１２４】
さらに、提示された複雑領域等の情報に基づいてユーザにより画素領域が指定されると、撮像装置４００は、その指定領域に対して所定の画像処理を施すように構成されている。例えば、撮像装置４００は、指定領域にローパスフィルタを掛けたり、指定領域の割り当てビット量を低減させてエンコード処理を施したりする。このような構成にすることで、ユーザが非重要と考える領域に対して割り当てられる符号量を低減させることが可能になり、単位時間当たりに割り当てられるビット量が固定されていても、エンコード後の映像品質を高めることができる。
【０１２５】
なお、撮像装置４００を構成する画像処理ブロック４０４の機能は、図３１に示すハードウェア構成により実現できる。例えば、エンコーダ／デコーダ４３８、画像出力制御部４３６の機能は、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。操作部４０８の機能は、入力部９１６により実現される。
【０１２６】
また、バッファメモリ４４０の機能は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８により実現される。さらに、記録メディア４１２は、記憶部９２０、又はリムーバブル記録媒体９２８により実現される。さらに、表示パネル４１０の機能は、出力部９１８により実現される。但し、表示パネル４１０がタッチパネル等の入力手段としての機能を有する場合、入力部９１６にも対応する。
【０１２７】
［ユーザ操作を含む処理の流れについて］
ここで、上記の撮像装置４００の動作、及びユーザ操作を含む本実施形態に係る画像処理の流れについて説明する。
【０１２８】
まず、図１３、及び図１４を参照しながら、本実施形態に係る画像処理の全体的な流れについて説明する。次いで、図１５を参照しながら、構図設定操作の流れについて説明する。次いで、図１６を参照しながら、光学系の設定操作の流れについて説明する。次いで、図１７を参照しながら、画像処理設定操作の流れについて説明する。次いで、図１８を参照しながら、エンコード設定操作の流れについて説明する。
【０１２９】
（全体的な流れ）
まず、図１３を参照する。図１３に示すように、撮像装置４００により、映像の複雑さが可視化される（ＳＵ１０）。既に説明した通り、撮像装置４００は、デジタル画像信号の空間的な複雑さ及び時間的な複雑さの一方又は両方を可視化することができる。
【０１３０】
例えば、デジタル画像信号の周波数解析等により得られる高周波数成分の係数が大きな画素領域が空間的な複雑さを持つ複雑領域であるとして、所定の表示形式で可視化される。また、動き検出により画素領域の動きベクトルが算出され、動きベクトルの大きな画素領域が時間的な複雑さを持つ複雑領域であるとして、所定の表示形式で可視化される。
【０１３１】
次いで、ユーザ及び撮像装置４００により、画作りの段階で複雑さが調整される（ＳＵ２０）。調整できる要素としては、例えば、構図、映像加工、エンコード設定等がある。
【０１３２】
構図の調整要素としては、例えば、カメラワーク、フォーカス、アイリス、ズーム等がある。構図の調整は、主にユーザによって行われる。但し、ユーザは、撮像装置４００の表示パネル４１０に表示された複雑領域を参照しながら構図の調整を行う。撮像装置４００は、ユーザにより構図が変更されるとリアルタイムで複雑領域の表示を更新する。そのため、ユーザは、表示パネル４１０を参照しながらインタラクティブに構図の調整を行うことができる。このような構図の調整は、複雑領域を高速に表示することが可能な撮像装置４００の技術により実現されるものである。
【０１３３】
映像加工の調整要素としては、例えば、光学フィルタ、デジタルフィルタ等がある。映像加工の調整は、主にユーザによって行われる。但し、デジタルフィルタの場合、例えば、ユーザにより指定された画素領域に対して撮像装置４００がフィルタ処理を施す形式で実現される。このような場合も、ユーザは、表示パネル４１０を参照しながらインタラクティブに映像加工の調整を行うことができる。映像加工の調整についても、複雑領域を高速に表示することが可能な撮像装置４００の技術により実現されるものである。
【０１３４】
エンコード設定の調整要素としては、例えば、画素領域に割り当てられるビット量を調整するための重み付け調整等がある。エンコード設定の調整は、主にユーザによって行われる。但し、ユーザにより指定された画素領域に対して撮像装置４００が割り当てビット量の重み付けを施す形式で実現される。このような場合も、ユーザは、表示パネル４１０を参照しながらインタラクティブに重み付けしたい画素領域の指定を行うことができる。エンコード設定の調整についても、複雑領域を高速に表示することが可能な撮像装置４００の技術により実現されるものである。
【０１３５】
上記の調整が行われた後で、撮像装置４００によりデジタル画像信号に対してエンコード処理が施される（ＳＵ３０）。このとき、上記の調整を行う前の画像に対してエンコード処理を施すのに比べ、ユーザが重要視する領域に対して多くのビット量が割り当てられるため、相対的にエンコード後のデジタル画像信号が高画質化されている。
【０１３６】
例えば、構図が調整されて撮像範囲の複雑領域が減少している場合、画像全体に割り当てられるビット量が同じであれば、複雑領域に取られるビット量が相対的に少なくて済むため、より高画質化されるのである。また、指定領域に多くのビット量を割り当てる構成の場合、当然、ユーザが重要視する指定領域が高画質化され、ユーザの嗜好に適合するエンコード後の画像が得られることになる。
【０１３７】
次に、図１４を参照する。図１４は、ユーザ操作に焦点を当てた全体的な処理の流れを示す説明図である。
【０１３８】
図１４に示すように、まず、ユーザにより複雑領域の表示設定が行われる（Ｓ１０２）。例えば、表示方法、閾値、領域指定等が設定される。複雑領域の表示方法としては、例えば、別窓に模様を付けて表示（図１９）するのか、表示画面上に模様を付けて表示（図２３）するのか、色を付けて表示（図２５、図２６）するのか、といった設定がある。
【０１３９】
閾値は、エンコード前のデジタル画像信号から得られるＤＣＴ係数等を評価情報に変換する際に用いる閾値である。領域指定の設定とは、ユーザが領域を指定するための設定である。例えば、ユーザにより表示パネル４１０がタッチされた場合に、タッチされた所定サイズの画素領域に枠を表示（図２１）するのか、模様を付けて表示（図２２）するのか、といった設定である。
【０１４０】
次いで、ユーザは、所望の表示設定になったか否かを判断する（Ｓ１０４）。所望の表示設定になったのであれば、ステップＳ１０６の処理に進行する。一方、所望の表示設定になっていなければ、ステップＳ１０２の処理に戻り、表示設定を変更する。
【０１４１】
ステップＳ１０６では、ユーザにより、どのような処理を行うかが判断される（Ｓ１０６）。構図の設定を行う場合、ステップＳ１０８の処理に進行し、例えば、カメラの位置や向きを調整したり、使用レンズを変更したり、或いは、ズーム倍率を調整したりする。光学系の設定を行う場合、ステップＳ１１０の処理に進行し、フォーカス、アイリス、光学フィルタ等のパラメータを調整する。画像処理設定を行う場合、ステップＳ１１２の処理に進行し、ＬＰＦ（Ｌｏｗ−Ｐａｓｓ  Ｆｉｌｔｅｒ）等の調整を行う。
【０１４２】
次いで、ユーザは、回避すべき複雑領域が存在するか否かを判断する（Ｓ１１４）。回避すべき複雑領域がある場合、ステップＳ１０６の処理に進行し、複雑領域を回避すべく設定を変更する。回避すべき複雑領域がない場合、ステップＳ１１６の処理に進行する。
【０１４３】
このステップにおいて、複雑領域が存在していても、その複雑領域に対してユーザが回避すべきでないと考える場合には、その複雑領域が回避されずに残される点が重要である。例えば、同じ複雑さを持つ複雑領域が複数存在していても、ユーザが重要だと考える方だけを残すことができる。このようにユーザの嗜好を反映した選択的な処理は、自動的に複雑領域を判断して画像処理してしまう装置においては実現できない点に注意されたい。
【０１４４】
次いで、ステップＳ１１６では、ユーザにより複雑領域の表示設定を変更するか否かが判断される（Ｓ１１６）。複雑領域の表示設定を変更する場合、ステップＳ１０２の処理に進行する。一方で、複雑領域の表示設定を変更しない場合、ステップＳ１１８の処理に進行する。ステップＳ１１８では、ユーザによりエンコード設定が行われる（Ｓ１１８）。例えば、ユーザによりビット量の重み付け量が設定される。次いで、デジタル画像信号の記録が開始され（Ｓ１２０）、一連の設定処理が終了する。
【０１４５】
（構図設定操作の流れ（Ｓ１０８））
ここで、上記のステップＳ１０８で実行される構図の設定操作について、図１５を参照しながら説明を加える。図１５は、構図設定処理の流れを示す説明図である。
【０１４６】
図１５に示すように、まず、ユーザにより構図を変更するか否かが判断される（Ｓ１３２）。構図を変更する場合、ステップＳ１３４の処理に進行する。一方で、構図を変更しない場合、構図設定に係る一連の処理を終了する。ステップＳ１３４では、ユーザにより構図の設定が行われる（Ｓ１３４）。このとき、ユーザは、複雑領域を回避するように構図を変更する。次いで、ユーザは、所望の構図になったか否かを判断する（Ｓ１３６）。所望の構図であれば、構図設定に係る一連の処理を終了する。一方で、所望の構図でなければ、ステップＳ１３２の処理に戻る。
【０１４７】
上記のステップＳ１３６の段階で、ユーザは、撮像装置４００の表示パネル４１０に表示された複雑領域を参照し、所望の構図か否かを判断している。この判断処理の時点で、ステップＳ１３４で行われた構図の設定が反映され、表示パネル４１０の複雑領域が更新されている必要がある。構図の変更は、微調整を重ねながら繰り返し実行される。そのため、構図の設定変更が反映されるまでに長い時間が掛かるようだと、ユーザの負担が増加してしまう上、被写体が移動したり、照明が変化したりして複雑領域の回避が難しくなる可能性がある。こうした点を考慮すると、図１５に示した構図設定処理には、撮像装置４００が有する複雑領域の高速表示機能が不可欠であると言える。
【０１４８】
（光学系設定操作の流れ（Ｓ１１０））
ここで、上記のステップＳ１１０で実行される光学系の設定操作について、図１６を参照しながら説明を加える。図１６は、光学系設定処理の流れを示す説明図である。
【０１４９】
図１６に示すように、まず、ユーザにより光学系を変更するか否かが判断される（Ｓ１５２）。光学系を変更する場合、ステップＳ１５４の処理に進行する。一方で、光学系を変更しない場合、光学系設定に係る一連の処理を終了する。ステップＳ１５４では、ユーザにより光学系の設定が行われる（Ｓ１５４）。このとき、ユーザは、複雑領域を回避するように光学系を調整する。次いで、ユーザは、所望の画になったか否かを判断する（Ｓ１５６）。所望の画であれば、光学系設定に係る一連の処理を終了する。一方で、所望の画でなければ、ステップＳ１５２の処理に戻る。
【０１５０】
上記のステップＳ１５６の段階で、ユーザは、撮像装置４００の表示パネル４１０に表示された複雑領域を参照し、所望の画か否かを判断している。この判断処理の時点で、ステップＳ１５４で行われた光学系の設定が反映され、表示パネル４１０の複雑領域が更新されている必要がある。光学系の変更は、微調整を重ねながら繰り返し実行される。そのため、光学系の設定変更が反映されるまでに長い時間が掛かるようだと、ユーザの負担が増加してしまう上、被写体が移動したり、照明が変化したりして複雑領域の回避が難しくなる可能性がある。こうした点を考慮すると、図１６に示した光学系設定処理には、撮像装置４００が有する複雑領域の高速表示機能が不可欠であると言える。
【０１５１】
（画像処理設定操作の流れ（Ｓ１１２））
ここで、上記のステップＳ１１２で実行される画像処理設定操作について、図１７を参照しながら説明を加える。図１７は、画像処理設定操作の流れを示す説明図である。
【０１５２】
図１７に示すように、まず、ユーザにより画像処理設定を変更するか否かが判断される（Ｓ１７２）。画像処理設定を変更する場合、ステップＳ１７４の処理に進行する。一方で、画像処理設定を変更しない場合、画像処理設定に係る一連の処理を終了する。ステップＳ１７４では、ユーザにより画像処理領域を指定するか否かが判断される（Ｓ１７４）。画像処理領域を指定する場合、ステップＳ１７６の処理に進行する。一方、画像処理領域を指定しない場合、ステップＳ１７８の処理に進行する。
【０１５３】
ステップＳ１７６では、ユーザにより画像処理領域が指定される（Ｓ１７６）。例えば、ユーザによりタッチパネル（表示パネル４１０）上の領域が押圧され、画像処理領域として指定される。次いで、ユーザにより画像処理の設定が行われる（Ｓ１７８）。このとき、ユーザにより指定領域に施される画像処理方法の種類が設定される（Ｓ１７８）。次いで、ユーザは、所望の画になったか否かを判断する（Ｓ１８０）。所望の画であれば、画像処理設定に係る一連の処理を終了する。一方で、所望の画でなければ、ステップＳ１７２の処理に戻る。
【０１５４】
（エンコード設定操作の流れ（Ｓ１１８））
ここで、上記のステップＳ１１８で実行されるエンコード設定操作について、図１８を参照しながら説明を加える。図１８は、エンコード設定操作の流れを示す説明図である。
【０１５５】
図１８に示すように、まず、ユーザによりエンコード設定を変更するか否かが判断される（Ｓ１９２）。エンコード設定を変更する場合、ステップＳ１９４の処理に進行する。一方で、エンコード設定を変更しない場合、エンコード設定に係る一連の処理を終了する。ステップＳ１９４では、ユーザにより重み付け領域を指定するか否かが判断される（Ｓ１９４）。重み付け領域を指定する場合、ステップＳ１９６の処理に進行する。一方、重み付け領域を指定しない場合、ステップＳ１９８の処理に進行する。
【０１５６】
ステップＳ１９６では、ユーザにより重み付け領域（画像処理領域）が指定される（Ｓ１９６）。例えば、ユーザによりタッチパネル（表示パネル４１０）上の領域が押圧され、画像処理領域として指定される。次いで、ユーザによりエンコードの設定が行われる（Ｓ１９８）。このとき、ユーザにより指定領域に割り当てられるビット量（重み量）が設定され（Ｓ１９８）、エンコード設定に係る一連の処理を終了する。
【０１５７】
以上、ユーザ操作に係る一連の処理について説明した。上記の通り、本実施形態に係る撮像装置４００の機能を利用することで、上記のようなユーザ操作により複雑領域を効果的に回避することが可能になる。つまり、ユーザ操作に応じてリアルタイムに複雑領域の表示が更新され、その表示された複雑領域を参考にしてユーザが回避行動を執ることにより、映像データの符号化効率が高まり、映像品質が向上されるのである。
【０１５８】
［複雑領域の表示構成等について］
ここで、図１９〜図３０を参照しながら、撮像装置４００の表示パネル４１０に表示される複雑領域等の表示構成について説明する。この表示構成に係る表示制御は、主に画像出力制御部４３６の機能により実現される。
【０１５９】
（複雑領域を別窓に表示する構成）
まず、図１９を参照する。図１９には、表示パネル４１０の表示画面上に画像と別窓とが重畳表示されている様子が例示されている。表示画面に表示されている画像は、複数の子供が玉入れをしている様子を示したものである。
【０１６０】
この画像には、背景に複数の木々が含まれている。このような画像の場合、空や地面は比較的平坦な図柄であるため、複雑さが小さいものと推察される。一方、背景の木々は、比較的細かな構造を含むため、複雑さが大きいものと推察される。また、子供の腕や投げられている玉は、比較的動きの激しい部分であると推察される。さらに、木々の葉は、強い風が吹いて揺らぐと、複雑で動きの激しい絵柄になるものと推察される。
【０１６１】
このような画像に対してＭＰＥＧ方式等のエンコード処理を施すと、背景の木々に多くの符号量が割り当てられてしまう。そのため、撮影者にとって本来重要であるべき前景の子供達の絵柄に圧縮ノイズが発生したり、画質の著しい低下が発生してしまう。一方、自動的に複雑領域を検出して部分的にビットレートを低下させる装置の場合、子供の腕や玉の部分も低ビットレートで描画されてしまい、撮影者にとって重要な領域の映像品質が低下してしまう可能性が高い。一方で、撮影者が撮影範囲から木々の一部を外すことにより、容易にエンコード後の映像品質を向上させることができるのである。
【０１６２】
しかしながら、多くの撮影者は、撮影中に上記のような複雑領域を把握することは難しい。そこで、図１９のように複雑領域を表示し、どのような撮影者でも、容易に複雑領域を把握できるようにしているのである。図１９の例では、別窓が表示され、別窓の中に画像に重畳して複雑領域を示す模様が表示されている。この例では、複雑領域がハッチングにより表示されているが、これに限定されない。また、この例では、複雑さの度合いに応じて模様の濃淡を付けている。従って、撮影者は、濃度の高い模様部分を回避するようにアングルや画角等を調整することでエンコード後の映像品質を向上させることができる。
【０１６３】
（タッチパネルエリアを別窓に表示する構成）
次に、図２０を参照する。図２０には、図１９の例と同様の画像が表示されている。撮像装置４００の場合、任意の画素領域を撮影者が指定することで、その指定領域に画像処理を施したり、割り当てビット量を変更したりすることができる。その指定方法としては、例えば、表示画面上を指等でタッチして指定する方法が好ましい。
【０１６４】
図２０の例では、背景に含まれる木々の部分に相当する複雑領域がタッチされ、指定領域として選択された状態が示されている。この例では、指定領域の外縁が別窓に太線で表示されている。このように、複雑領域を選択的に指定することで、撮影者が所望する複雑領域にのみ画像処理を施すことができるようになる。
【０１６５】
（タッチパネルエリアを本窓に表示する構成（外縁表示））
また、図２１に示すように、指定領域の外縁は、表示画面に表示されたスルー画像に対して重畳して表示されてもよい。このように、複雑領域を別窓に表示し、指定領域をメイン画面に表示することで、指定領域の外縁がどこまでなのかを撮影者が認識し易くなる。
【０１６６】
また、撮影者がタッチする領域をメイン画面上に設定し、別窓は複雑領域の表示のみに限定してもよい。このような構成にすることで、撮影者が複雑領域を選択し易くなる。なお、指定領域は複雑領域に限定されるものではなく、任意の画素領域であってもよい。但し、表示された複雑領域上をタッチすることで、その複雑領域が指定領域として選択されるように構成されている方が高い操作性を実現できるかもしれない。このような表示設定をユーザにより任意に行えるようにしておくことで利便性が高まるであろう。
【０１６７】
（タッチパネルエリアを本窓に表示する構成（オブジェクト表示））
次に、図２２を参照する。図２２には、タッチして指定された画素領域を所定形状のオブジェクトで表示する構成が示されている。図２２の例では、タッチした部分に円形の指定領域が表示される構成が描画されている。この例では、タッチした時間的な長さに応じて円の直径が大きくなるように構成されている。つまり、撮影者は、長くタッチすることにより１度のタッチで大きな画素領域を指定することができるのである。
【０１６８】
また、オブジェクトの形状としては、図２２のように円形でもよいが、例えば、三角形や四角形等の略多角形、楕円形、星形、瓢箪形等、任意の形状に設定されていてもよい。さらに、タッチの長さに応じてオブジェクトが均等に拡大するように構成されていてもよいが、例えば、複雑領域の外縁に沿って拡大するように構成されていてもよい。オブジェクトが複雑領域の外縁をはみ出さないように拡大することで、撮影者は、複雑領域の一部分だけを容易に選択することが可能になる。また、複雑領域が階層的に表示されている場合には、各階層における複雑領域の外縁に沿って指定領域が拡大するように構成されていてもよい。
【０１６９】
上記の例では、タッチの長さに応じてオブジェクトが広がるように構成されていたが、本実施形態はこれに限定されない。例えば、タッチする際の押圧力に応じてオブジェクトが拡大するように構成されていてもよいし、タッチした指等をスライドさせて描かれた軌跡の形状に応じて拡大するように構成されていてもよい。また、タッチされた指の本数や接触面積に応じて拡大率が変更されるように構成されていてもよい。
【０１７０】
（複雑領域の絞り込み（色））
次に、図２３を参照する。図２３には、メイン画面に画像と複雑領域とを重畳表示する表示構成が示されている。さらに、図２３には、複雑領域を色で絞り込むための色指定バーが重畳表示されている。この色指定バーには、色指定用のスライドバーと、輝度指定用のスライドバーとが設けられている。
【０１７１】
色指定用のスライドバーにより色が指定されると、表示画面上に表示された複雑領域の中で、指定色に一致又は近い色の領域のみが表示され、他の複雑領域の指定が解除される。同様に、輝度指定用のスライドバーにより輝度が指定されると、表示画面上に表示された複雑領域の中で、指定輝度に一致又は近い輝度の領域のみが表示され、他の複雑領域の指定が解除される。つまり、色指定バーで指定された指定色と指定輝度との組み合わせに適合する複雑領域にのみが表示され、他の複雑領域の指定が解除される。
【０１７２】
背景に含まれる複雑領域と前景に含まれる複雑領域とは、色彩や明るさが異なる場合が多い。また、同種の被写体は、同系色を含む場合が多い。そのため、複雑さを持つ同種類の被写体を複雑領域として指定したい場合に色情報による絞り込み表示が有効である。つまり、色情報による絞り込み表示が行われることで、撮影者が所望の複雑領域を容易に特定できるようになるのである。
【０１７３】
（プリセット領域の指定）
次に、図２４を参照する。図２４には、複雑領域が表示されないプリセット領域が設定されている表示構成が示されている。撮影者が撮影範囲から外す予定が無く、画質を落としたくない画素領域に対しては、予めプリセット領域を設定しておき、その領域に複雑領域を示す模様等が表示されないようにしておいてもよい。このような表示構成にすることで、複雑領域を回避するために撮影者が誤って重要な領域を撮影範囲から外してしまったり、割り当てビット量を下げる指定領域を設定してしまったりすることが防げる。また、撮影者にとって複雑さの関係ない領域に複雑領域を示す模様が表示されるという煩わしさを避けることが可能になり、撮影者が撮影に集中することができるようになる。
【０１７４】
（色による複雑領域の表示）
次に、図２５を参照する。図２５の例は、複雑領域を色や濃淡等で表現する場合の例である。表現の制約上、メッシュで表示しているが、例えば、このメッシュの部分を青や赤といった目立つ色で塗り潰すように表現することもできる。色による表現は、模様による表現に比べて表現の自由度が高まるという点で有利である。色の場合、色彩や明るさが調整できるため、複雑さの度合いに応じて色を変えたり、明るさを変えたりすることができる。その一例を示したのが図２６である。複雑さを示す評価値に応じて色の濃淡を変えると、図２６のように表現される。ここではメッシュの濃淡で表現しているが、それぞれの段階に異なる色を割り当てることにより、撮影者が複雑さの度合いを認識し易い表現にすることが可能になる。
【０１７５】
（複雑領域の表示と調整メニューの表示）
次に、図２７を参照する。図２７は、複雑領域が検出された場合に、撮像装置４００がユーザに対して調整方法の選択を促すための表示メニュー画面である。上記の通り、撮像装置４００は、複雑領域に対して画像処理を施したり、割り当てビット量を変化させたりすることができる。そこで、撮像装置４００は、複雑領域が検出されると、その複雑領域又はユーザにより指定された領域に対し、どのような画像処理等を施すべきかを選択させるのである。そして、ユーザにより選択されると、撮像装置４００は、その選択された方法に基づいて画像処理等を実行するのである。
【０１７６】
（ユーザの撮像操作に関するヒントの表示）
次に、図２８を参照する。図２８は、複雑領域が検出された場合に、撮像装置４００がユーザに対して複雑領域を回避するための調整方法を提示する画面である。
【０１７７】
繰り返しになるが、複雑領域の回避は、画像処理を施すまでもなく、アングル調整等により実現することができる。撮像範囲に複雑領域が多く含まれている場合、複雑領域の多くを撮像範囲から除外することで、エンコード後の映像データ量が大きく削減される上、映像品質の大きな向上が得られるのである。但し、多くの撮影者は、複雑領域を容易に認識できず、その複雑領域の回避方法を瞬時に判断できない。そこで、図２８に示すように、撮像装置４００からユーザに複雑領域の回避方法を提示するのである。
【０１７８】
このとき、撮像装置４００は、画面の左側に複雑領域が多く含まれる場合は、アングルを右にずらすようにユーザに指示する。このとき、撮像装置４００は、複雑さの度合いが大きい複雑領域が含まれる部分を撮像範囲から回避するようにアングルを移動させる方法を提示するように構成されていてもよい。もちろん、アングルだけではなく、フォーカスやズーム等、複雑領域を回避するための構図調整に関する一又は複数のヒントをユーザに提示してもよい。このような構成にすることで、ユーザは、複雑領域を正確に認識していなくても、或いは、その回避行動を瞬時に判断できなくても、複雑領域を容易に回避して高画質な映像を撮影することが可能になる。
【０１７９】
（プリセットメニューの表示）
次に、図２９を参照する。図２９は、ユーザにプリセットメニューを表示させるためのメニュー画面を示す説明図である。プリセットメニューとしては、例えば、「動画チャット」「Ｗｅｂアップロード」「運動会」「自然・風景」「ドラマ撮影」等がある。これらのプリセットメニューが選択されると、図２９に示すように、コメントが表示される。例えば、「Ｗｅｂアップロード」の場合、「画面外枠付近の複雑領域を表示します。複雑領域のビットレートを下げます。」といったコメントが表示される。さらに、ユーザ指定の場合、「複雑さを表示する領域や、閾値を自由に設定できます。複雑領域への処理も自由に行えます。」等のコメントが表示される。
【０１８０】
（パラメータの調整画面）
次に、図３０を参照する。図３０は、ユーザにより画像処理方法が選択された場合に、そのパラメータを動的に調整するための表示構成を示すものである。図３０に示すように、表示画面には調整バーが表示され、この調整バーを操作することにより、例えば、ＬＰＦのパラメータが変更できる。このパラメータを変更すると、変更後のパラメータに基づいて複雑領域にＬＰＦが施されて表示される。もちろん、調整パラメータとしては、ＬＰＦに限定されず、被写界深度や減色度合い、割り当てビット量等であってもよい。このように、画像処理後の映像が確認でき、インタラクティブにパラメータが調整できることで、複雑領域に対する画像処理の効果が容易に確認できるようになる。
【０１８１】
［ハードウェア構成（情報処理装置）］
上記装置が有する各構成要素の機能は、例えば、図３１に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図３１は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。
【０１８２】
この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。
【０１８３】
図３１に示すように、この情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。
【０１８４】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。
【０１８５】
入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。
【０１８６】
出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【０１８７】
記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【０１８８】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ  ＤＶＤメディア、コンパクトフラッシュ（登録商標）（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  Ｃａｒｄ）、又は電子機器等であってもよい。
【０１８９】
接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１９０】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。
【０１９１】
［ユースケース］
最後に、ユースケースについて述べる。
【０１９２】
「動画チャット」に用いる場合、ユーザは、方向変更やズーム程度の操作しか行わない。また、ユーザは、自分の顔や相手に見せたいものだけが綺麗に撮影できればよいと考える。場合によっては、匿名性を高めるため、顔の部分だけ画質を落とすこともある。さらに、動画サイズを最小限に抑えたいという要求がある。「動画チャット」は、このようなユーザを想定したものである。こうしたユーザにとっては、複雑さ表示を見ながらカメラの向きやレイアウトを変えられるため、相手から見やすいようにリアルタイムに調整することができるようになる。「Ｗｅｂアップロード」の場合も、最小限のデータ量で重要部分だけにビットレートを割り当てるという点で同様である。
【０１９３】
「運動会」撮影に用いる場合、人の動きが多く、木々や緑が多いため、圧縮ノイズが発生しやすい。また、撮影者は、自分の子供を中心に綺麗に撮りたいと考えている。さらに、混み合った場所で動く被写体を撮影しているため、カメラの動きが大きい。こうした状況において、撮影ポジションをどこに設定するかが非常に重要である。このような場合に、徒競走等で子供が走っている場面を含みつつ、背景の複雑領域が含まれないような撮影ポジションを予め確認することができる。また、複雑領域が含まれる角度を予め確認しておき、その角度になったら子供にズームする等の調整により、複雑領域を回避することができるようになる。
【０１９４】
「ドラマ撮影」に用いる場合、ビットレートは可能な限り下げたくないという要求がある。また、背景に複雑な部分があると、視聴者にとって所謂うるさい画になってしまうため、このような状況を避けたいという要求がある。こうした要求に応えるため、ドラマや映画を撮影する場合、ロケーションハンティングと呼ばれる撮影場所の探索を行う。その際、撮像装置４００を用いると、複雑さを考慮して撮影場所の探索を容易に行うことができるようになる。また、複雑さ表示の閾値を設定しておけば、風等の外乱を考慮した上で上記の要求に応じた撮影場所を決定することができる。
【０１９５】
急な場面変化等への対応という点に関しては、生放送に使う撮影機器に対して撮像装置４００の技術を好適に適用することができる。生放送の場合、ロケーションハンティングができないため、撮影しながら急な場面変化にリアルタイムで応答しなければならないからである。このような場合に撮像装置４００の技術を適用すると、インタラクティブに場面変化に対応することが可能になる。
【０１９６】
［まとめ］
デジタル撮影の場合、複雑な背景をあまり含まない絵作りをすれば、同じ映像でもビットレートを落とすことができる。しかし、自動的に構図を変更すると、映像がおかしくなってしまう。また、カメラマンには、多くビットレートが割かれる領域が分からない。同じ被写体を撮影していても、多少構図を上下左右に移動させることにより、映像に含まずとも良い複雑な画像領域を回避して撮影することが可能になる。その結果、ビットレートを下げることができるようになる。さらに、カメラマンがデータ量を気にしながら撮影するといったストレスを解消できる。
【０１９７】
このような状況を実現するには、複雑領域の表示に関してリアルタイム性が重要である。また、インタラクティブな操作感が得られることも重要である。全体の符号量を抑制するために、各映像フレームに割り当てる符号量の閾値が決まっている場合、１つのフレームの中で多くの符号量を割り当てるべき領域をインタラクティブに設定できるということは非常に大きなメリットである。また、ある場面だと綺麗に写っているが、人が入ってきたり、複雑な領域が入ってくると映像の品質が低下してしまうといった状況を回避するために好適に用いることができる。
【０１９８】
本実施形態の効果について列挙する。まず、ユーザは、表示された複雑領域を見ながら、カメラワーク、構図、カメラ設定、フォーカス、ズーム、アイリス、使用レンズ、光学フィルタ、被写界深度等を変更・調整することができるようになる。これにより、高画質、低容量、低ノイズ、うるさくない画像等、ユーザの所望する画像を撮影するための目安が得られる．また、インターネットを介して遣り取りすることが前提となるような低ビットレートでの撮影が要求される映像コンテンツ等においても、画像中の重要でない部分に存在する複雑又は動きの激しい領域が発見されやすくなるというメリットがある。
【０１９９】
より高い画質が求められる映像コンテンツにおいても同様である。これらの映像コンテンツにおいて、複雑又は動きの激しい領域を撮影領域からはずす、フォーカスをずらす、若しくは、割り当てるビット量を減らすことで、重要な領域の画質低下を軽減することができる。また、記録された動画を再生する前に、どの程度のノイズがのっているか、どの程度の画質が得られたのかを把握することができる。
【０２００】
さらに重要な効果として、例えば、ユーザが撮像装置を向ける方向を若干ずらすといった簡単な操作を行うことにより画質の向上等が図れるという効果がある。但し、このような効果を得るために、本実施形態では、複雑領域、及び動きの激しい領域を元の画像上に重ねて表示することで、画像のどの領域、どの被写体が複雑なのか、動きが激しいのかを特定できるようにしている。その結果、ユーザは、撮像装置を若干ずらす方向を容易に特定することができるのである。
【０２０１】
但し、このような処理にはリアルタイム性が求められるが、本実施形態の場合、被写体の動きとモニタ上に表示される複雑さ、動きの激しさの評価結果の時間的な遅れが少ないので、動きのある画像の撮影時にも違和無く撮像方向の調整等が行えるのである。本実施形態に係る技術は、動画の記録等の使用法だけでなく、画像の複雑さ、動きの激しさを測るための装置等としても使用できる。例えば、都市景観や芸術品の評価にも応用することができる。なお、本実施形態では、複雑なアルゴリズムが用いられていないため、既存の撮像装置にそれほどの手間を掛けずに本実施形態の技術を搭載することができる。
【０２０２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０２０３】
例えば、上記の撮像装置４００は、複雑領域が検出された場合に、スピーカ音が鳴ったり、ＬＥＤ等の光源が点灯したりしてユーザに複雑領域の存在を提示してもよい。
【図面の簡単な説明】
【０２０４】
【図１】本発明の一実施形態に係る撮像装置の構成例を示す説明図である。
【図２】本実施形態に係る画像出力制御部の構成例を示す説明図である。
【図３】本実施形態に係る画像信号評価部の構成例を示す説明図である。
【図４】複雑さ領域の検出処理を説明するための説明図である。
【図５】複雑さ領域の検出処理を説明するための説明図である。
【図６】複雑さ領域の検出処理を説明するための説明図である。
【図７】複雑さ領域の検出処理を説明するための説明図である。
【図８】複雑さ領域の検出処理を説明するための説明図である。
【図９】本実施形態に係る撮像装置の構成例を示す説明図である。
【図１０】本実施形態に係る割り当てビット変更部の構成例を示す説明図である。
【図１１】本実施形態に係る撮像装置の構成例を示す説明図である。
【図１２】本実施形態に係る撮像装置の装置構成の一例を示す説明図である。
【図１３】本実施形態に係る画像処理方法の全体的な流れを示す説明図である。
【図１４】本実施形態に係るユーザ操作の全体的な流れを示す説明図である。
【図１５】本実施形態に係る構図設定操作の流れを示す説明図である。
【図１６】本実施形態に係る光学系の設定操作の流れを示す説明図である。
【図１７】本実施形態に係る画像処理設定操作の流れを示す説明図である。
【図１８】本実施形態に係るエンコード設定操作の流れを示す説明図である。
【図１９】本実施形態に係る複雑領域の表示構成例を示す説明図である。
【図２０】本実施形態に係る指定領域の表示構成例を示す説明図である。
【図２１】本実施形態に係る指定領域の表示構成例を示す説明図である。
【図２２】本実施形態に係る指定領域の表示構成例を示す説明図である。
【図２３】本実施形態に係る複雑領域の表示構成例を示す説明図である。
【図２４】本実施形態に係るプリセット領域の表示構成例を示す説明図である。
【図２５】本実施形態に係る複雑領域の表示構成例を示す説明図である。
【図２６】本実施形態に係る複雑領域の表示構成例を示す説明図である。
【図２７】本実施形態に係る調整メニューの表示構成例を示す説明図である。
【図２８】本実施形態に係る操作ヒントの表示構成例を示す説明図である。
【図２９】本実施形態に係るプリセットメニューの表示構成例を示す説明図である。
【図３０】本実施形態に係るパラメータ調整画面の表示構成例を示す説明図である。
【図３１】本実施形態に係るハードウェア構成例を示す説明図である。
【符号の説明】
【０２０５】
１００、２００    撮像装置
１０２、２０２    光学系
１０４、２０４    イメージセンサ
１３０、２３０    画像処理ブロック
１３２、２３２    画像処理部
１３４、２３４    エンコーダ
１３６、２３６    画像記憶部
１３８、２３８    画像出力制御部
１４０、２４０    表示パネル
１５２    画像信号評価部
１５４    評価結果可視化部
１５６    画像重畳制御部
１７２    画像領域分割部
１７４    周波数解析部
１７６    解析結果数値化部
２３９    割り当てビット変更部
２５２    領域選択部
２５４    割り当てビット量変更部
２５６    操作結果出力部
３３０    画像処理装置
３３２    画像処理部
３３４    エンコーダ
３３６    画像記憶部
３３７    デコーダ
３３８    画像出力制御部
３４０    表示パネル
４００    撮像装置
４０２    イメージセンサ
４０４    画像処理ブロック
４０６    制御部
４０８    操作部
４１０    表示パネル
４１２    記録メディア
４３０    画像処理部
４３２    前処理回路
４３４    カメラ信号処理回路
４３６    画像出力制御部
４３８    エンコーダ／デコーダ
４４０    バッファメモリ
４４２    メディア制御回路
【図１】
2010004261.tif 000003
【図２】
2010004261.tif 000004
【図３】
2010004261.tif 000005
【図４】
2010004261.tif 000006
【図５】
2010004261.tif 000007
【図６】
2010004261.tif 000008
【図７】
2010004261.tif 000009
【図８】
2010004261.tif 000010
【図９】
2010004261.tif 000011
【図１０】
2010004261.tif 000012
【図１１】
2010004261.tif 000013
【図１２】
2010004261.tif 000014
【図１３】
2010004261.tif 000015
【図１４】
2010004261.tif 000016
【図１５】
2010004261.tif 000017
【図１６】
2010004261.tif 000018
【図１７】
2010004261.tif 000019
【図１８】
2010004261.tif 000020
【図１９】
2010004261.tif 000021
【図２０】
2010004261.tif 000022
【図２１】
2010004261.tif 000023
【図２２】
2010004261.tif 000024
【図２３】
2010004261.tif 000025
【図２４】
2010004261.tif 000026
【図２５】
2010004261.tif 000027
【図２６】
2010004261.tif 000028
【図２７】
2010004261.tif 000029
【図２８】
2010004261.tif 000030
【図２９】
2010004261.tif 000031
【図３０】
2010004261.tif 000032
【図３１】
2010004261.tif 000033