(57)【特許請求の範囲】
【請求項１】
被写体を撮像してＲＡＷ画像を生成する撮像部と、
前記ＲＡＷ画像から少なくとも１以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、
前記ＲＡＷ画像に対する処理を規定する第１シーン情報に基づいて、前記ＲＡＷ画像に対する前記第１シーン情報に応じた画像処理を行い、前記特徴画像に対する処理を規定する、前記特徴抽出部が抽出した前記特徴画像ごとの第２シーン情報に基づいて、前記特徴画像に対する前記第２シーン情報に応じた画像処理を行う画像処理部と、
前記ＲＡＷ画像が画像処理されたＲＡＷ処理画像と、前記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、
前記量子化部においてＲＡＷ処理画像が処理された画像データと前記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、前記特徴画像データごとに生成する差分データ生成部と、
前記画像データを非可逆圧縮する画像圧縮部と、
を備えることを特徴とする、撮像装置。
【請求項２】
前記特徴抽出部は、前記画像圧縮部における非可逆圧縮の最小処理単位で前記特徴画像を抽出することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記画像データが非可逆圧縮された圧縮画像データと前記差分データとを加算し、前記ＲＡＷ画像に対して前記差分データの生成に用いられた前記特徴画像データに対応する前記第２シーン情報に応じた画像処理が行われた画像データを生成する、画像復元部をさらに備えることを特徴とする、請求項２に記載の撮像装置。
【請求項４】
前記画像処理部は、
入力される画像に対して、相異なる処理を順次にかつ選択的に行う複数の処理部と、
入力される前記画像が前記ＲＡＷ画像の場合には、前記第１シーン情報に基づいて、複数の前記処理部のうちの特定の処理部に前記第１シーン情報に応じた処理を行わせ、入力される前記画像が前記特徴画像の場合には、前記第２シーン情報に基づいて、複数の前記処理部のうちの特定の処理部に前記特徴画像に対応する前記第２シーン情報に応じた処理を行わせる処理管理部と、
を備えることを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
ユーザ操作に基づいて、前記第１シーン情報、または、前記第１シーン情報および少なくとも１以上の前記第２シーン情報を設定する設定部をさらに備えることを特徴とする、請求項１〜３のいずれか１項に記載の撮像装置。
【請求項６】
被写体を撮像してＲＡＷ画像を生成する撮像部と、
前記ＲＡＷ画像から少なくとも１以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、
前記ＲＡＷ画像に対する処理を規定する第１シーン情報に基づいて、前記ＲＡＷ画像に対する前記第１シーン情報に応じた画像処理を行い、前記特徴画像に対する処理を規定する、前記特徴抽出部が抽出した前記特徴画像ごとの第２シーン情報に基づいて、前記特徴画像に対する前記第２シーン情報に応じた画像処理を行う画像処理部と、
前記ＲＡＷ画像が画像処理されたＲＡＷ処理画像と、前記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、
前記量子化部においてＲＡＷ処理画像が処理された画像データと前記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、前記特徴画像データごとに生成する差分データ生成部と、
前記画像データを非可逆圧縮する画像圧縮部と、
を備える撮像装置が非可逆圧縮した画像データと、前記撮像装置が生成した差分データとに基づいて、画像データを生成するプログラムであって、
コンピュータを、
前記画像データが非可逆圧縮された圧縮画像データと前記差分データとを加算し、前記ＲＡＷ画像に対して前記差分データの生成に用いられた前記特徴画像データに対応する前記第２シーン情報に応じた画像処理が行われた画像データを生成する手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、およびプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置の中には、撮像により得たＲＡＷ画像に対する処理がそれぞれ規定される複数のシーンモードを記憶し、撮像が行われた場合には、ユーザにより設定された（または予め設定された）シーンモードに応じた画像処理を行うことによって、設定されたシーンモードに応じた画像データを生成することが可能なものがある。
【０００３】
このような中、複数のシーンモードに応じた画像データを生成する技術が開発されている。一のシーンモードに応じた画像データと、当該画像データおよび他のシーンモードに応じた画像データの差分に対応する差分データとを記録し、画像データと差分データとを用いることによって、差分データに対応するシーンモードに応じた画像データを生成する技術としては、例えば、特許文献１、特許文献２が挙げられる。また、ＲＡＷ画像データを記録し、ＲＡＷ画像データに対してシーンモードに応じたパラメータによる画像処理を行うことによって、シーンモードに応じた画像データを生成する技術としては、例えば、特許文献３、特許文献４が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−６０１５３号公報
【特許文献２】特開２００８−８５８８２号公報
【特許文献３】特開２００７−３３０３８号公報
【特許文献４】特開２００４−２６４９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像データと差分データとを用いることによって差分データに対応するシーンモードに応じた画像データを生成する従来の技術（以下、「従来の技術１」とよぶ場合がある。）では、中間データにおける差分を差分データとして記録する。よって、従来の技術１を用いる場合には、画像データと上記差分データとを用いることによって、当該画像データとは異なる画像データを生成することは可能である。しかしながら、従来の技術１では、画像全体における差分を差分データとして記録するので、差分データのデータサイズ（データ容量）は大きくなってしまう。また、従来の技術１では、中間データにおける差分を差分データとして記録するので、画像データと差分データとにより得られる新たな画像データが例えばＪＰＥＧ（Joint  Photographic  Experts  Group）などの非可逆圧縮された画像データである場合、当該新たな画像データが示す画像は、差分をとらずに画像処理を行って非可逆圧縮された画像データが示す画像（同一のシーンモードに対応する画像）とは異なる画像となってしまう。
【０００６】
また、ＲＡＷ画像データに対してシーンモードに応じたパラメータによる画像処理を行うことによってシーンモードに応じた画像データを生成する従来の技術（以下、「従来の技術２」とよぶ場合がある。）は、ＲＡＷ画像データに対してシーンモードに応じたパラメータによる処理を行うので、シーンモードに応じた画像データを生成することが可能である。しかしながら、ＲＡＷ画像データは非常にデータサイズが大きいので、従来の技術２を用いる場合には、当該ＲＡＷ画像データを記憶する記録媒体における記憶可能な容量を圧迫してしまう。また、ＲＡＷ画像データに対する画像処理にはある程度の時間を要するところ、従来の技術２はＲＡＷ画像データそのものを用いなければシーンモードに応じた画像データを生成することはできない。よって、従来の技術２を用いる場合には、画像処理に時間がかかってしまう。
【０００７】
したがって、従来の技術１、従来の技術２を用いたとしても、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することは、望むべくもない。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とする、新規かつ改良された撮像装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の第１の観点によれば、被写体を撮像してＲＡＷ画像を生成する撮像部と、上記ＲＡＷ画像から少なくとも１以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、上記ＲＡＷ画像に対する処理を規定する第１シーン情報に基づいて、上記ＲＡＷ画像に対する上記第１シーン情報に応じた画像処理を行い、上記特徴画像に対する処理を規定する、上記特徴抽出部が抽出した上記特徴画像ごとの第２シーン情報に基づいて、上記特徴画像に対する上記第２シーン情報に応じた画像処理を行う画像処理部と、上記ＲＡＷ画像が画像処理されたＲＡＷ処理画像と、上記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、上記量子化部においてＲＡＷ処理画像が処理された画像データと上記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、上記特徴画像データごとに生成する差分データ生成部と、上記画像データを非可逆圧縮する画像圧縮部とを備える撮像装置が提供される。
【００１０】
かかる構成では、ＲＡＷ画像に対して一のシーンモード（第１のシーンモード）に対応する画像処理を行った画像データを非可逆圧縮すると共に、ＲＡＷ画像と当該ＲＡＷ画像から他のシーンモード（第２のシーンモード）に対応して抽出された特徴画像との差分データを生成する。つまり、かかる構成では、記録媒体に記録される画像データを、非可逆圧縮されたＲＡＷ画像よりもデータサイズが小さな画像データとすることが可能となり、かつ、記録媒体に記録される差分データを、第１のシーンモードに対応する画像処理が行われた画像データと第２のシーンモードに対応する画像処理が行われた画像データとが相違する部分のみを示すデータとする（すなわち、差分データのデータサイズを、画像全体の差分をとる場合よりも小さくする）ことが可能となる。さらに、かかる構成により生成された差分データは、ＲＡＷ画像と特徴画像との差分に基づくデータであるので、非可逆圧縮された上記画像データに差分データを加算して得られる画像データが示す画像は、ＲＡＷ画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。つまり、かかる構成により生成された非可逆圧縮された画像データおよび差分データ（データサイズを縮小された画像データおよび差分データ）を用いることによって、各シーンモードごとに直接的に画像処理された画像データが示す画像と同様の画像を得ることが可能となる。
【００１１】
また、上記特徴抽出部は、上記画像圧縮部における非可逆圧縮の最小処理単位で上記特徴画像を抽出してもよい。
【００１２】
また、上記画像データが非可逆圧縮された圧縮画像データと上記差分データとを加算し、上記ＲＡＷ画像に対して上記差分データの生成に用いられた上記特徴画像データに対応する上記第２シーン情報に応じた画像処理が行われた画像データを生成する画像復元部をさらに備えてもよい。
【００１３】
また、上記画像処理部は、入力される画像に対して、相異なる処理を順次にかつ選択的に行う複数の処理部と、入力される上記画像が上記ＲＡＷ画像の場合には、上記第１シーン情報に基づいて、複数の上記処理部のうちの特定の処理部に上記第１シーン情報に応じた処理を行わせ、入力される上記画像が上記特徴画像の場合には、上記第２シーン情報に基づいて、複数の上記処理部のうちの特定の処理部に上記特徴画像に対応する上記第２シーン情報に応じた処理を行わせる処理管理部とを備えてもよい。
【００１４】
また、ユーザ操作に基づいて、上記第１シーン情報、または、上記第１シーン情報および少なくとも１以上の上記第２シーン情報を設定する設定部をさらに備えてもよい。
【００１５】
また、上記目的を達成するために、本発明の第２の観点によれば、被写体を撮像してＲＡＷ画像を生成する撮像部と、上記ＲＡＷ画像から少なくとも１以上の特徴部分を含む特徴画像を抽出する特徴抽出部と、上記ＲＡＷ画像に対する処理を規定する第１シーン情報に基づいて、上記ＲＡＷ画像に対する上記第１シーン情報に応じた画像処理を行い、上記特徴画像に対する処理を規定する、上記特徴抽出部が抽出した上記特徴画像ごとの第２シーン情報に基づいて、上記特徴画像に対する上記第２シーン情報に応じた画像処理を行う画像処理部と、上記ＲＡＷ画像が画像処理されたＲＡＷ処理画像と、上記特徴画像が画像処理された特徴処理画像とに対して、離散コサイン変換処理と量子化処理とを行う量子化部と、上記量子化部においてＲＡＷ処理画像が処理された画像データと上記量子化部において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、上記特徴画像データごとに生成する差分データ生成部と、上記画像データを非可逆圧縮する画像圧縮部とを備える撮像装置が非可逆圧縮した画像データと、上記撮像装置が生成した差分データとに基づいて、画像データを生成するプログラムであって、コンピュータを、上記画像データが非可逆圧縮された圧縮画像データと上記差分データとを加算し、上記ＲＡＷ画像に対して上記差分データの生成に用いられた上記特徴画像データに対応する上記第２シーン情報に応じた画像処理が行われた画像データを生成する手段として機能させるためのプログラムが提供される。
【００１６】
かかるプログラムでは、上記構成の撮像装置により非可逆圧縮された上記画像データに、上記構成の撮像装置において生成されたＲＡＷ画像と特徴画像との差分に基づく差分データを加算するので、当該加算により得られる画像データが示す画像は、ＲＡＷ画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。よって、かかるプログラムを用いることによって、上記構成の撮像装置により生成された非可逆圧縮された画像データおよび差分データ（データサイズを縮小された画像データおよび差分データ）を用いて、各シーンモードごとに直接的に画像処理された画像データが示す画像と同様の画像を得ることが可能となる。
【発明の効果】
【００１７】
本発明によれば、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る撮像装置におけるシーン情報設定処理の一例を示す流れ図である。
【図２】本発明の実施形態に係る撮像装置におけるデータ生成処理の一例を示す流れ図である。
【図３】本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図４】本発明の実施形態に係る撮像装置が備える画像処理部の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
（本発明の実施形態に係る撮像装置における処理）
［本発明の実施形態に係る撮像装置における処理の概要］
上述したように、従来の技術１、従来の技術２を用いたとしても、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することはできない。そこで、本発明の実施形態に係る撮像装置（以下、「撮像装置１００」という。）は、ＲＡＷ画像（画像処理前の画像）からシーンモードに対応する特徴部分を含む特徴画像を抽出し、ＲＡＷ画像と特徴画像との差分に基づく差分データを生成する。例えば、特徴画像の抽出に係るシーンモードが被写体が人物である場合に適した画像処理を示す“ポートレート”である場合には、撮像装置１００は、ＲＡＷ画像の中の被写体の顔部分の画像を特徴画像として抽出する。よって、撮像装置１００は、従来の技術１のように画像全体における差分を差分データとしないので、差分データのデータサイズを、従来の技術１に係る差分データよりもより小さくすることができる。
【００２１】
ここで、本発明の実施形態に係るシーンモードとは、撮像処理装置１００が行う画像処理を抽象化して示すものである。撮像装置１００を用いるユーザは、画像処理の内容が示されたとしても、当該画像処理の内容を必ずしも理解できるとは限らない。そこで、撮像装置１００は、画像処理を抽象化して示すシーンモードをユーザに対して示すことによって、例えばユーザによるシーンモードの選択を補助する。また、本発明の実施形態に係るシーンモードとしては、例えば、上記“ポートレート”や、被写体が風景である場合に適した画像処理を示す“風景”、被写体が子供である場合に適した画像処理を示す“子供”、被写体によらない汎用的な画像処理を示す“オート”などが挙げられる。なお、撮像装置１００は、例えば、“スノー”、“ビーチ”、“マクロ”、“夕日”、“夜明け”、“バックライト”、“花火”など、被写体や撮像する環境などに応じた様々なシーンモードを設定することが可能である。
【００２２】
撮像装置１００は、撮像用に設定されたシーンモード（以下、「第１のシーンモード」という。）に対応する、ＲＡＷ画像に対する処理を規定する第１シーン情報を用いて、撮像により得られたＲＡＷ画像を処理する。また、撮像装置１００は、第１のシーンモード以外に設定された他のシーンモード（以下、「第２のシーンモード」という。）に対応する、特徴画像に対する処理を規定する第２シーン情報を用いて、特徴画像を処理する。なお、例えばユーザにより第２のシーンモードが複数設定された場合には、撮像装置１００は、設定された複数の第２のシーンモードそれぞれに対応する複数の第２シーン情報を用いて、設定された複数の第２のシーンモードそれぞれに対応する複数の特徴画像をそれぞれ処理する。以下では、画像に対する処理を規定する情報を、総称して「シーン情報」とよぶ場合がある。
【００２３】
また、本発明の実施形態に係るシーン情報には、例えば、実行する画像処理の種別と、画像処理ごとのパラメータと、特徴画像の抽出のための特徴部分を示す情報とが含まれる。表１は、本発明の実施形態に係る特徴画像の抽出のための特徴部分を示す情報の一例を示している。
【００２４】
【表１】
0005412267.tif 000002
【００２５】
また、撮像装置１００は、ＲＡＷ画像に対して撮像用に設定されたシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する。よって、撮像装置１００は、従来の技術２のようにＲＡＷ画像データそのものを記録媒体（例えば、後述する記憶部）に記憶させないので、記憶媒体に記憶させる画像データのデータサイズを、従来の技術２を用いる場合よりもより小さくすることができる。つまり、撮像装置１００を用いる場合には、従来の技術２にように、画像データを記憶する記録媒体における記憶可能な容量を過度に圧迫することはない。
【００２６】
また、撮像装置１００は、非可逆圧縮した画像データ（以下、「圧縮画像データ」とよぶ場合がある。）と、ＲＡＷ画像と特徴画像との差分に基づく差分データとを加算することによって、差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理が行われた画像データ（以下、「復元画像データ」とよぶ場合がある。）を生成する。ここで、差分データは、ＲＡＷ画像と特徴画像との差分に基づくデータであるので、圧縮画像データに差分データを加算して得られる復元画像データが示す画像は、ＲＡＷ画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。よって、撮像装置１００を用いる場合には、従来の技術２を用いる場合のように、差分データを用いた結果得られる画像が差分データを用いずに画像処理した結果得られる画像と異なることはない
【００２７】
さらに、撮像装置１００は、圧縮画像データと差分データに基づいて復元画像データを生成するので、ＲＡＷ画像データに対して画像処理を行う従来の技術１よりも、より短時間に復元画像データを生成することが可能である。
【００２８】
本発明の実施形態に係る撮像装置１００は、上記のような処理を行うことによって、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【００２９】
［本発明の実施形態に係る撮像装置における処理の具体例］
次に、撮像装置１００における処理について、より具体的に説明する。撮像装置１００は、例えば以下の（１）の処理〜（３）の処理を行うことによって、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とする
【００３０】
（１）シーン情報設定処理
撮像装置１００は、撮像用のシーンモードである第１のシーンモードに対応する第１シーン情報の設定と、その他のシーンモードである第２のシーンモードに対応する第２シーン情報の設定とを行う。ここで、撮像装置１００は、例えば撮像装置１００が備える操作部（後述する）から伝達されるユーザ操作に応じた操作信号基づいて、（１）の処理を行う。図１は、本発明の実施形態に係る撮像装置１００におけるシーン情報設定処理の一例を示す流れ図である。
【００３１】
撮像装置１００は、撮像用のシーンモード（第１のシーンモード）を設定する（Ｓ１００。第１シーン情報設定処理）。撮像装置１００は、ステップＳ１００において、例えば、予め記憶された複数のシーン情報の中からユーザにより設定されたシーンモードに対応するシーン情報を選択し、選択されたシーン情報を第１シーン情報として設定する。また、撮像装置１００は、第１シーン情報が未設定の場合には、設定されたシーンモードに対応するシーン情報を第１シーン情報として新規設定し、第１シーン情報が既設定されている場合には、設定されたシーンモードに対応するシーン情報を更新設定する。
【００３２】
ステップＳ１００において第１のシーンモードが設定されると、撮像装置１００は、他のシーンモードを設定するか否かを判定する（Ｓ１０２）。撮像装置１００は、例えばユーザ操作に基づく操作信号が、他のシーンモードの設定を行うことを示す場合に、他のシーンモードを設定すると判定する。
【００３３】
ステップＳ１０２において他のシーンモードを設定すると判定されない場合には、撮像装置１００は、（１）の処理（シーン情報設定処理）を終了する。
【００３４】
また、ステップＳ１０２において他のシーンモードを設定すると判定された場合には、撮像装置１００は、ユーザにより選択されたシーンモード（第２のシーンモード）を設定する（Ｓ１０４。第２シーン情報設定処理）。撮像装置１００は、ステップＳ１０４において、例えば、予め記憶された複数のシーン情報の中からユーザにより設定されたシーンモードに対応するシーン情報を選択し、選択されたシーン情報を第２シーン情報として設定する。また、撮像装置１００は、第２シーン情報が未設定であるか既設定であるかによらず、設定されたシーンモードに対応するシーン情報を第２シーン情報として新規設定する。なお、撮像装置１００は、ステップＳ１０４において、ユーザ操作に基づいて、既設定の第２シーン情報を削除する（第２のシーンモードの解除に相当）ことも可能である。
【００３５】
ステップＳ１０４において第２のシーンモードが設定されると、撮像装置１００は、ステップＳ１０２からの処理を繰り返す。
【００３６】
撮像装置１００は、例えば図１に示す処理を行うことによって、第１シーン情報、または、第１シーン情報および第２シーン情報を設定する。
【００３７】
（２）データ生成処理
撮像装置１００は、撮像が場合に、画像データ、または画像データおよび差分データを生成する。図２は、本発明の実施形態に係る撮像装置１００におけるデータ生成処理の一例を示す流れ図である。
【００３８】
撮像装置１００は、撮像を行うか否かを判定する（Ｓ２００）。撮像装置１００は、例えば、シャッターボタンの押下（ユーザ操作の一例）に基づく操作信号を検出した場合に、撮像を行うと判定する。ステップＳ２００において撮像を行うと判定されない場合には、撮像装置１００は、撮像を行うと判定されるまで処理を進めない。
【００３９】
また、ステップＳ２００において撮像を行うと判定された場合には、撮像装置１００は、撮像部（後述する）において撮像を行ってＲＡＷ画像を生成し、設定されている第１シーン情報に基づいてＲＡＷ画像を処理する（Ｓ２０２）。
【００４０】
撮像装置１００は、第２シーン情報が設定されているか否かを判定する（Ｓ２０４）。なお、図２では、撮像装置１００がステップＳ２０２の処理の後にステップＳ２０４の処理を行うことを示しているが、撮像装置１００は、ステップＳ２０２の処理とステップＳ２０４の処理とを独立に行ってもよい。つまり、撮像装置１００は、ステップＳ２０２の処理とステップＳ２０４の処理とを同期して行うこともできる。
【００４１】
ステップＳ２０４において第２シーン情報が設定されていると判定されない場合には、撮像装置１００は、ステップＳ２０２において第１シーン情報に基づいて処理されたＲＡＷ画像（以下、「ＲＡＷ処理画像」という。）に対して、ＤＣＴ（Discrete  Cosine  Transformation。離散コサイン変換）処理と量子化処理を行う（Ｓ２１６）。そして、撮像装置１００は、後述するステップＳ２１８の処理を行う。
【００４２】
また、ステップＳ２０４において第２シーン情報が設定されていると判定された場合には、撮像装置１００は、設定されている第２シーン情報に基づいて、ＲＡＷ画像から第２シーン情報に対応する特徴部分を含む特徴画像を抽出する（Ｓ２０６）。また、撮像装置１００は、例えば、ＲＡＷ画像における位置を示すメタ情報を、抽出した特徴画像に付加する。
【００４３】
ここで、撮像装置１００は、後述するステップＳ２１６における非可逆圧縮の最小処理単位（ＭＣＵ。Minimum  Coded  Unit）で特徴画像を抽出する。上記により、撮像装置１００は、後述するステップＳ２１６において非可逆圧縮された画像データ（圧縮画像データ）と、後述するステップＳ２１２において生成する差分データとを用いた復元画像データの生成を簡易化することができる。なお、非可逆圧縮の最小処理単位で特徴画像を抽出する場合、撮像装置１００は、例えば所定の範囲内にある複数の特徴画像を１つの特徴画像群として後述する処理を行ってもよい。
【００４４】
また、撮像装置１００は、ステップＳ２０６の処理を、設定されている第２シーン情報ごとに行う。つまり、例えば図１に示すシーン情報設定処理において複数の第２シーン情報が設定された場合には、設定された複数の第２シーン情報に応じた特徴画像がそれぞれ抽出されることとなる。
【００４５】
ステップＳ２０６において特徴画像が抽出されると、撮像装置１００は、抽出された特徴画像それぞれに対応する第２シーン情報に基づいて特徴画像を処理する（Ｓ２０８）。
【００４６】
撮像装置１００は、ステップＳ２０２において処理されたＲＡＷ処理画像と、ステップＳ２０８において第２シーン情報に基づいて処理された特徴画像（以下、「特徴処理画像」という。）に対して、ＤＣＴ処理と量子化処理を行う（Ｓ２１０）。
【００４７】
ステップＳ２１０においてＤＣＴ処理および量子化処理が行われると、撮像装置１００は、ステップＳ２１０においてＲＡＷ処理画像が処理された画像データとステップＳ２１０において特徴処理画像が処理された特徴画像データとの差分を示す差分データを、特徴画像データごとに生成する（Ｓ２１２）。ここで、撮像装置１００は、例えば画像データから特徴画像データを減算することによって、差分データを生成する。
【００４８】
ステップＳ２１２において差分データが生成されると、撮像装置１００は、生成した差分データを記録する（Ｓ２１４）。ここで、撮像装置１００は、撮像装置１００が備える記憶部（後述する）や外部記録媒体などの記録媒体に記録する。なお、撮像装置１００は、例えば、第１のシーンモードに対応する画像データ（後述するステップＳ２１８において記録される圧縮画像データ）が記録される、撮像装置１００のメーカー固有の記録領域に差分データを記録してもよいし、当該画像データとは別ファイルとして差分データを記録してもよい。
【００４９】
また、撮像装置１００は、差分データに対して可逆圧縮処理を行って、圧縮された差分データを記録してもよい。上記により、撮像装置１００は、差分データのデータサイズの更なる縮小を図ることができる。撮像装置１００は、例えばハフマンエンコード処理を行い、差分データの圧縮を行う。
【００５０】
ステップＳ２１２の処理、または、ステップＳ２１６の処理が行われると、撮像装置１００は、画像データを非可逆圧縮して記録する（Ｓ２１８）。ここで、撮像装置１００は、画像データを、例えば、ＪＰＥＧ形式やＪＰＥＧ２０００形式で非可逆圧縮して、撮像装置１００が備える記憶部（後述する）や外部記録媒体などの記録媒体に記録する。
【００５１】
撮像装置１００は、例えば図２に示す処理を行うことによって、図１に示すシーン情報設定処理において設定された第１シーン情報、または、当該第１シーン情報および図１に示すシーン情報設定処理において設定された第２シーン情報に基づいて、圧縮画像データと差分データとをそれぞれ生成し、記録媒体に記録する。
【００５２】
（３）復元処理
撮像装置１００は、ユーザ操作に基づく第２のシーンモードに対応する画像の復元命令を検出すると、（２）の処理（データ生成処理）において生成された圧縮画像データと、当該第２のシーンモードに対応する差分データとを加算することによって、当該差分データに対応する第２のシーンモードに応じた復元画像データを生成する。
【００５３】
より具体的には、撮像装置１００は、上記復元命令を検出すると、上記復元命令に対応する圧縮画像データと差分データとを記録媒体から読み出す。ここで、差分データがハフマンエンコード処理にて圧縮されている場合には、撮像装置１００は、ハフマンデコード処理を行い差分データを復元する。そして、撮像装置１００は、差分データが対応する圧縮画像データの最小処理単位部分に差分データを加算して復元画像データを生成する。また、撮像装置１００は、復元画像データに対してハフマンコーディングを行うことによって、ＪＰＥＧ画像（復元画像データが示す画像の一例）を生成する。
【００５４】
撮像装置１００は、例えば上記（１）の処理（シーン情報設定処理）〜（３）の処理（復元処理）を行う。ここで、撮像装置１００は、上記（１）の処理（シーン情報設定処理）によって、第１シーン情報と第２シーン情報とをそれぞれ設定する。また、撮像装置１００は、（２）の処理（データ生成処理）において、ＲＡＷ画像から第２のシーンモードに対応する特徴画像を抽出し、ＲＡＷ画像と特徴画像との差分に基づく差分データを生成する。また、撮像装置１００は、（２）の処理（データ生成処理）において、ＲＡＷ画像に対して第１のシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する。また、撮像装置１００は、（３）の処理（復元処理）において、圧縮画像データと差分データとを加算することによって、復元画像データを生成する。
【００５５】
したがって、撮像装置１００は、例えば上記（１）の処理（シーン情報設定処理）〜（３）の処理（復元処理）を行うことによって、上述した撮像装置１００における処理の概要に示す効果を奏することができる。
【００５６】
（本発明の実施形態に係る撮像装置）
次に、上述した（１）の処理（シーン情報設定処理）〜（３）の処理（復元処理）を行うことが可能な、撮像装置１００の構成の一例について説明する。図３は、本発明の実施形態に係る撮像装置１００の構成の一例を示すブロック図である。
【００５７】
撮像装置１００は、設定部１０２と、記憶部１０４と、撮像部１０６と、特徴抽出部１０８と、画像処理部１１０と、量子化処理部１１２と、圧縮処理部１１４と、画像復元部１１６とを備える。
【００５８】
また、撮像装置１００は、例えば、ＣＰＵ（Central  Processing  Unit）や各種処理回路で構成されて撮像装置１００全体を制御する制御部（図示せず）や、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データが記録されたＲＯＭ（Read  Only  Memory。図示せず）、制御部（図示せず）により実行されるプログラムなどを一次記憶するＲＡＭ（Random  Access  Memory。図示せず）、ユーザが操作可能な操作部（図示せず）、表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えてもよい。
【００５９】
操作部（図示せず）としては、例えば、キーボード（keyboard）やマウス（mouse）などの操作入力デバイスや、ボタン、方向キー、あるいは、これらの組み合わせなどが挙げられる。なお、操作部（図示せず）は、例えば、リモート・コントローラ（remote  controller）などの外部装置からの入力を受信する機能を有していてもよい。また、表示部（図示せず）は、撮像装置１００が備える表示手段であり、様々な表示画面を表示する。表示部（図示せず）の表示される画面としては、例えば、記憶部１０４に記憶された画像データが示す画像（動画像または静止画像。以下同様とする。）や上記（３）の処理により復元された復元データが示す画像などが表示された画面などが挙げられる。表示部（図示せず）としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。通信部（図示せず）は、撮像装置１００が備える通信手段であり、ネットワークを介して（あるいは直接的に）外部装置と有線／無線で通信を行う役目を果たす。通信部（図示せず）としては、例えば、ＬＡＮ（Local  Area  Network）端子および送受信回路や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路などが挙げられる。
【００６０】
設定部１０２は、上記（１）の処理（シーン情報設定処理）を主導的に行う役目を果たす。より具体的には、設定部１０２は、例えば操作部（図示せず）から伝達されるユーザ操作に応じた操作信号に基づいて、図１に示す処理を行い、第１シーン情報、または、第１シーン情報および第２シーン情報を記憶部１０４に設定する。なお、撮像装置１００では、例えば制御部（図示せず）が設定部１０２の役目を果たしてもよい。
【００６１】
記憶部１０４は、撮像装置１００が備える記憶手段である。記憶部１０４としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memoryなどの不揮発性メモリ（nonvolatile  memory）が挙げられる。
【００６２】
また、記憶部１０４は、例えば、シーン情報や、圧縮画像データ、圧縮画像データに対応する差分データ、アプリケーションなど、様々なデータを記憶する。ここで、図３では、第１シーン情報１５０と、第２シーン情報Ａ１５２と、第２シーン情報Ｂ１５４と、第１シーン情報１５０に対応する圧縮画像データ１５６と、第２シーン情報１５２Ａに対応する差分データＡ１５８と、第２シーン情報Ｂ１５４に対応する差分データＢ１６０とが記憶部１０４に記憶されている例を示している。
【００６３】
撮像部１０６は、例えばシャッターやＣＣＤ（Charge  Coupled  Device）などの撮像素子などで構成され、操作部（図示せず）から伝達されるユーザ操作に応じた操作信号に基づいて撮像を行う。そして、撮像部１０６は、撮像の結果得られたＲＡＷ画像を特徴抽出部１０８へ出力する。
【００６４】
特徴抽出部１０８、画像処理部１１０、量子化処理部１１２、および圧縮処理部１１４は、上記（２）の処理（データ生成処理）を主導的に行う役目を果たす。ここで、撮像装置１００は、例えば、特徴抽出部１０８、画像処理部１１０、量子化処理部１１２、および圧縮処理部１１４それぞれを、各処理を行う処理回路として備えるが、これらの処理回路を集積回路（すなわち１つの処理回路）として備えてもよい。
【００６５】
特徴抽出部１０８は、記憶部１０４に記憶されてる第２シーン情報に基づいて、ＲＡＷ画像から特徴画像を抽出する。そして、特徴抽出部１０８は、ＲＡＷ画像と特徴画像とを画像処理部１１０へ出力する。なお、記憶部１０４に第２シーン情報が記憶されていない場合（すなわち、第２のシーンモードが設定されていない場合）には、特徴抽出部１０８は、特徴画像の抽出に係る処理を行わない。また、撮像装置１００が、撮像部１０６から出力されるＲＡＷ画像が画像処理部１１０へと直接的に入力される構成である場合には、特徴抽出部１０８は、特徴画像を画像処理部１１０へ出力する。
【００６６】
画像処理部１１０は、入力される画像（ＲＡＷ画像、１または２以上の特徴画像）に対して、相異なる処理を順次にかつ選択的に行い、処理画像（ＲＡＷ処理画像、特徴処理画像）を出力する。より具体的には、画像処理部１１０は、第１シーン情報に基づいてＲＡＷ画像に対する第１シーン情報に応じた画像処理を行う。また、画像処理部１１０は、特徴画像が入力された場合には、記憶部１０４に記憶された特徴画像に対応する第２シーン情報に基づいて、特徴画像に対する第２シーン情報に応じた画像処理を行う。
【００６７】
図４は、本発明の実施形態に係る撮像装置１００が備える画像処理部１１０の構成の一例を示すブロック図である画像処理部１１０は、ノイズ低減処理部１３０と、ホワイトバランス処理部１３２と、色補間処理部１３４と、ガンマ処理部１３６と、色処理部１３８と、輪郭強調処理部１４０とを処理部として備える。また、画像処理部１１０は、各処理部を制御し、各処理部に選択的に処理を行わせる処理管理部１４２を備える。
【００６８】
ノイズ低減処理部１３０は、例えば、ローパス・フィルタ（Low-Pass  Filter）やバンドパス・フィルタ（Band-Pass  Filter）などのフィルタを用いたフィルタ処理によって、画像に含まれるノイズを低減する。ホワイトバランス処理部１３２は、例えば、画像に対してＲＧＢ（Red  Green  Blue）の各色ごとに予め設定されたゲインをかけ、各画素（pixel）の画素値を増幅する。色補間処理部１３４は、例えばベイヤー配列からすべての画素のＲＧＢを作り出す。ガンマ処理部１３６は、例えば、画像を非線形変換し、視覚的なリニアリティ（linearity）を確保する。色処理部１３８は、例えば画像の色調を補正する。輪郭強調処理部１４０は、例えば、画像からエッジ部分を検出し、検出されたエッジ部分の輝度を高めることにより画像の濃淡を強調する。
【００６９】
処理管理部１１０は、入力される画像がＲＡＷ画像の場合には、第１シーン情報に基づいて、各処理部に処理を選択的に行わせる。処理管理部１１０が、入力されたＲＡＷ画像に対して第１シーン情報に基づく処理を各処理部に選択的に行わせることによって、画像処理部１１０から出力されるＲＡＷ処理画像は、ＲＡＷ画像に対して設定された第１のシーンモードに応じた画像処理が行われた画像となる。
【００７０】
また、処理管理部１１０は、入力される画像が特徴画像の場合には、当該特徴画像と対応する第２シーン情報に基づいて、各処理部に処理を選択的に行わせる。処理管理部１１０が、入力された特徴画像に対して、対応する第２シーン情報に基づく処理を各処理部に選択的に行わせることによって、画像処理部１１０から出力される特徴処理画像は、特徴画像に対して設定された第２のシーンモードに応じた画像処理が行われた画像となる。表２は、特徴画像に対して各処理部が行われた場合の特徴画像の抽出内容の一例を示している。なお、表２では、ノイズ低減を「ＮＲ」と示し、ホワイトバランスを「ＷＢ」と示している。
【００７１】
【表２】
0005412267.tif 000003
【００７２】
画像処理部１１０は、例えば図４の構成によって、入力される画像に対して、相異なる処理を順次にかつ選択的に行い、処理画像を出力する。なお、撮像装置１００は、例えば図４に示す複数の処理部を、入力されうる画像（ＲＡＷ画像および特徴画像）の数に対応する数備える構成であってもよい。
【００７３】
再度図３を参照して本発明の実施形態に係る撮像装置１００の構成の一例について説明する。量子化処理部１１２は、入力される処理画像それぞれに対してＤＣＴ処理と量子化処理とを行う。
【００７４】
圧縮処理部１１４は、差分データの生成と画像データの圧縮とを行って、記憶部１０４に圧縮画像データと差分データとを記録する。また、圧縮処理部１１４は、さらに、生成した差分データを圧縮してもよい。
【００７５】
より具体的には、圧縮部１１４は、差分データ生成部１１８と、第１圧縮処理部１２０（画像圧縮部）と、第２圧縮処理部１２２とで構成される。ここで、図４では、圧縮処理部１１４が、差分データを圧縮する第２圧縮処理部１２２を備える構成を示しているが、第２圧縮処理部１２２を備えていない構成であってもよい。
【００７６】
差分データ生成部１１８は、量子化部１１２から出力されるＲＡＷ処理画像が処理された画像データと特徴処理画像が処理された特徴画像データとに基づいて、特徴画像データごとの差分データを生成する。そして、差分データ生成部１１８は、画像データを第１圧縮処理部１２０へ出力し、生成した１または２以上の差分データを第２圧縮処理部１２２へ出力する。なお、図４では示していないが、差分データ１１８は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）などの揮発性メモリ（Volatile  Memory）を備え、量子化部１１２から出力される画像データと１または２以上の特徴画像データとを記憶した後に差分データを生成してもよい。
【００７７】
第１圧縮処理部１２０は、入力された画像データを非可逆圧縮して、非可逆圧縮された圧縮画像データを記憶部１０４に記録する。また、第２圧縮処理部１２２は、入力された差分データそれぞれをハフマン圧縮（可逆圧縮の一例）して、圧縮された差分データを記憶部１０４に記録する。
【００７８】
撮像装置１００は、特徴抽出部１０８、画像処理部１１０、量子化処理部１１２、および圧縮処理部１１４を備えることによって、上記（２）の処理（データ生成処理）を行う。
【００７９】
画像復元部１１６は、上記（３）の処理（復元処理）を主導的に行う役目を果たす。より具体的には、画像復元部１１６は、例えば、操作部（図示せず）から伝達されるユーザ操作に応じた操作信号に基づいて復元命令を検出すると、当該復元命令に対応する圧縮画像データと差分データとを記憶部１０４から読み出す。また、画像復元部１１６は、ハフマンデコード処理を行い差分データを復元し、当該差分データが対応する画像データの最小処理単位部分に差分データを加算して復元画像データを生成する。そして、画像復元部１１６は、復元画像データに対してハフマンコーディングを行うことによって、ＪＰＥＧ画像（復元画像データが示す画像の一例）を生成する。なお、画像復元部１１６は、生成した復元画像データが示す画像を表示部（図示せず）に表示させてもよいし、生成した復元画像データを記憶部１０４に記録してもよい。
【００８０】
また、画像復元部１１６は、操作部（図示せず）から伝達されるユーザ操作に応じた操作信号に基づいて、記憶部１０４に記憶された圧縮画像データが示す画像を、表示部（図示せず）に表示させる。
【００８１】
撮像装置１００は、画像復元部１１６を備えることによって、設定された第１のシーンモードに対応する圧縮画像データが示す画像だけでなく、設定された第２のシーンモードに対応する画像を、例えばユーザ操作に基づいてユーザに提供する。なお、撮像装置１００は、圧縮画像データが示す画像や画像復元部１１６が生成した復元画像データが示す画像を表示部（図示せず）に表示させる、表示制御部（図示せず）をさらに備えてもよい。また、撮像装置１００では、制御部（図示せず）が画像復元部１１６としての役目を果たすこともできる。
【００８２】
また、撮像装置１００は、例えば制御部（図示せず）が、コンピュータを画像復元部１１６と対応する画像復元手段として機能させるためのプログラムを実行することによって、（３）の処理（復元処理）を行うこともできる。
【００８３】
撮像装置１００は、例えば図３に示す構成によって、上述した（１）の処理（シーン情報設定処理）〜（３）の処理（復元処理）を行う。したがって、撮像装置１００は、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【００８４】
以上のように、本発明の実施形態に係る撮像装置１００は、ＲＡＷ画像から第２のシーンモードに対応する特徴画像を抽出し、ＲＡＷ画像と特徴画像との差分に基づく差分データを生成する（（２）の処理（データ生成処理））。よって、撮像装置１００は、従来の技術１のように画像全体における差分を差分データとしないので、差分データに対する画像処理を従来の技術１を用いる場合より短縮することができ、また、差分データのデータサイズを、従来の技術１に係る差分データよりもより小さくすることができる。また、撮像装置１００は、従来の技術１を用いる場合のように特徴部抽出のための現像処理が必要ないので、従来の技術１を用いる場合よりもさらに処理時間を短縮可能である。
【００８５】
また、撮像装置１００は、ＲＡＷ画像に対して第１のシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する（（２）の処理（データ生成処理））。ここで、差分データは、ＲＡＷ画像と特徴画像との差分に基づくデータである。よって、撮像装置１００が生成した圧縮画像データに差分データを加算して得られる復元画像データが示す画像は、ＲＡＷ画像に対して差分データの生成に用いられた特徴画像に対応するシーンモードに応じた画像処理を直接的に行った画像データが示す画像と同一の画像となる。つまり、撮像装置１００を用いる場合には、従来の技術２を用いる場合のように差分データを用いた結果得られる画像が差分データを用いずに画像処理した結果得られる画像と異なることはない。
【００８６】
また、撮像装置１００は、ＲＡＷ画像に対して撮像用に設定された第１のシーンモードに応じた画像処理を行った後、画像データを非可逆圧縮する。よって、撮像装置１００は、従来の技術２のようにＲＡＷ画像データそのものを記憶部１０４に記憶させないので、記憶部１０４に記憶させる画像データのデータサイズを、従来の技術２を用いる場合よりもより小さくすることができる。つまり、撮像装置１００を用いる場合には、従来の技術２にように、記憶部１０４における記憶可能な容量を過度に圧迫することはない。
【００８７】
さらに、撮像装置１００は、圧縮画像データと差分データとを加算することによって、復元画像データを生成する（（３）の処理（復元処理））。よって、撮像装置１００は、従来の技術１を用いる場合のように差分データを復元する差異にＩＤＣＴ（Inverse  Discrete  Cosine  Transform。逆離散コサイン変換）処理を行う必要はないため、従来の技術１を用いる場合よりもより短時間で復元画像データを生成することができる。また、撮像装置１００は、従来の技術２を用いる場合のようにＲＡＷ画像データに対して画像処理を行って復元画像データを生成しないので、従来の技術２を用いる場合よりもより短時間で復元画像データを生成することができる。
【００８８】
したがって、撮像装置１００は、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【００８９】
［撮像装置１００の変形例］
撮像装置１００は、撮像部１０６を備えず、外部装置としての撮像部から送信されるＲＡＷ画像を処理する構成をとってもよい。上記の場合、本発明の実施形態の変形例に係る撮像装置は、画像処理装置としての役目を果たすこととなる。上記の場合であっても、本発明の実施形態の変形例に係る撮像装置（画像処理装置）は、上述した（１）の処理（シーン情報設定処理）〜（３）の処理（復元処理）を行うことが可能であるので、本発明の実施形態に係る撮像装置１００と同様の効果を奏することができる。
【００９０】
以上、本発明の実施形態として撮像装置を挙げて説明したが、上述した本発明の実施形態は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、携帯電話などの携帯型通信装置、ＰＣ（Personal  Computer）やサーバ（Server）などのコンピュータ、携帯型ゲーム機など、様々な機器に適用することができる。
【００９１】
（本発明の実施形態に係るプログラム）
コンピュータに、上記（２）の処理（データ生成処理）を実行させるためのプログラムによって、データサイズの縮小と処理時間の短縮を図りながら、複数のシーンモードに応じた画像データを生成することを可能とすることができる。
【００９２】
また、コンピュータを、本発明の実施形態に係る撮像装置の画像復元部と対応する画像復元手段として機能させるためのプログラム（コンピュータに上記（３）の処理（復元処理）を実行させるためのプログラム）によって、本発明の実施形態に係る圧縮画像データと差分データとに基づいて、差分データに対応するシーンモードに応じた復元画像データを生成することができる。
【００９３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９４】
例えば、上記では、コンピュータに上記（２）の処理（データ生成処理）を実行させるためのプログラム（コンピュータプログラム）と、コンピュータを本発明の実施形態に係る撮像装置の画像復元部と対応する画像復元手段として機能させるためのプログラム（コンピュータプログラム）とがそれぞれ提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記憶媒体も併せて提供することができる。
【００９５】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的
【符号の説明】
【００９６】
１００    撮像装置
１０２    設定部
１０４    記憶部
１０６    撮像部
１０８    特徴抽出部
１１０    画像処理部
１１２    量子化処理部
１１４    圧縮処理部
１１６    復元部
１１８    差分データ生成部
１２０    第１圧縮処理部
１２２    第２圧縮処理部
１３０    ノイズ低減処理部
１３２    ホワイトバランス処理部
１３４    色補間処理部
１３６    ガンマ処理部
１３８    色処理部
１４０    輪郭強調処理部
【図１】
0005412267.tif 000004
【図２】
0005412267.tif 000005
【図３】
0005412267.tif 000006
【図４】
0005412267.tif 000007