(57)【要約】【課題】撮像素子をシフトして撮像された複数のＲＡＷ画像に対して、記録データ量を低減することが可能な撮像装置を提供する。【解決手段】Ｒ、Ｇ、Ｂの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のＲＡＷ画像データを取得する撮像手段と、複数のＲＡＷ画像データのうちの少なくとも１つにおいて、ベイヤー配列に対応する２つのＧ成分の信号の少なくとも１つを削減する削減手段と、削減手段によって信号の削減された複数のＲＡＷ画像データを記録媒体に記録する記録手段と、を有し、削減手段は、ベイヤー配列に対応する２つのＧ成分の信号のうち、Ｒ成分及びＢ成分に対して所定の位置関係にある第１のＧ成分の信号を少なくとも削減する。【選択図】図１
2018182622.tif 000002
【特許請求の範囲】
【請求項１】
Ｒ、Ｇ、Ｂの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のＲＡＷ画像データを取得する撮像手段と、
前記複数のＲＡＷ画像データのうちの少なくとも１つにおいて、前記ベイヤー配列に対応する２つのＧ成分の信号の少なくとも１つを削減する削減手段と、
前記削減手段によって信号の削減された複数のＲＡＷ画像データを記録媒体に記録する記録手段と、を有し、
前記削減手段は、前記ベイヤー配列に対応する前記２つのＧ成分の信号のうち、Ｒ成分及びＢ成分に対して所定の位置関係にある第１のＧ成分の信号を少なくとも削減する、ことを特徴とする撮像装置。
【請求項２】
前記削減手段は、前記複数のＲＡＷ画像データの全てにおいて、前記第１のＧ成分の信号を削減する、ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記削減手段は、前記複数のＲＡＷ画像データのうちの第１のＲＡＷ画像データにおいて前記２つのＧ成分の信号を削減せず、前記複数のＲＡＷ画像データのうちの第２のＲＡＷ画像データにおいて前記２つのＧ成分の信号のいずれも削減する、ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記削減手段は、前記第１のＲＡＷ画像データとして、前記複数のＲＡＷ画像データのうち連続して撮像された、少なくとも２つのＲＡＷ画像データを用いる、ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記削減手段は、前記複数のＲＡＷ画像データのうちの第３のＲＡＷ画像データにおいて前記第１のＧ成分の信号のみを削減する、ことを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
前記信号の削減された複数のＲＡＷ画像データは、前記２つのＧ成分の信号が削減されていないＲＡＷ画像データと、前記第１のＧ成分の信号のみが削減されたＲＡＷ画像データとを用いて、被写体の動きの大きさを判定可能に構成される、ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記記録手段は、前記信号の削減された複数のＲＡＷ画像データを構成するＲＡＷ画像データのそれぞれに、前記２つのＧ成分の信号の削減方法を表す記録方法の種別を関連付ける、ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記記録方法の種別を関連付けた情報を、前記信号の削減された複数のＲＡＷ画像データを構成するＲＡＷ画像データのそれぞれとは別に記録する、ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記記録方法の種別を関連付けた情報を、前記信号の削減された複数のＲＡＷ画像データを構成するＲＡＷ画像データのそれぞれのメタデータとして記録する、ことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記撮像手段は、前記撮像素子を順次シフトさせて４つのＲＡＷ画像データを取得する、ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
Ｒ、Ｇ、Ｂの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のＲＡＷ画像データを取得する撮像手段を有する撮像装置の制御方法であって、
削減手段が、前記複数のＲＡＷ画像データのうちの少なくとも１つにおいて、前記ベイヤー配列に対応する２つのＧ成分の信号の少なくとも１つを削減する削減工程と、
記録手段が、前記削減工程において信号の削減された複数のＲＡＷ画像データを記録媒体に記録する記録工程と、を有し、
前記削減工程では、前記ベイヤー配列に対応する前記２つのＧ成分の信号のうち、Ｒ成分及びＢ成分に対して所定の位置関係にある第１のＧ成分の信号を少なくとも削減する、ことを特徴とする撮像装置の制御方法。
【請求項１２】
コンピュータを請求項１から１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【請求項１３】
コンピュータを請求項１から１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記録する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルカムコーダーなどの撮像装置では、撮像素子から出力された直後の現像未処理の撮像データ（ＲＡＷ画像）を記録媒体に記録可能なものが知られている。ＲＡＷ画像は、現像処理が施されておらず、撮像素子から出力された信号の豊富な色階調数を保ったまま記録されるため、ユーザは撮像後により所望な画像を生成することができるという特徴がある。
【０００３】
このようなＲＡＷ画像を複数撮像して利用することにより、より高品位な１枚の画像を生成する技術が知られている。特許文献１は、複数の露光（撮像）によって得られる複数のＲＡＷ画像を用いて多重合成を行う際に、撮像したＲＡＷ画像に対応する収差情報と多重合成に用いることを示すヘッダと当該ＲＡＷ画像とを、１つのファイルとして記録する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１５９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、複数撮像されたＲＡＷ画像を用いて、より高品位な画像を生成する技術として、撮像素子をシフトしながら撮像した複数のＲＡＷ画像を合成して、より高精細な画像を生成する超解像技術が知られている。
【０００６】
このような超解像技術を用いる際には、ＲＡＷ画像のデータ量が圧縮された画像と比べて大きいため、特許文献１のように複数のＲＡＷ画像のデータをそのまま同時に記録媒体に記録すると、記録媒体の空き領域を圧迫してしまう。
【０００７】
本発明は、上記課題に鑑みてなされ、その目的は、撮像素子をシフトして撮像された複数のＲＡＷ画像に対して、記録データ量を低減することが可能な技術を実現することである。
【課題を解決するための手段】
【０００８】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、Ｒ、Ｇ、Ｂの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のＲＡＷ画像データを取得する撮像手段と、複数のＲＡＷ画像データのうちの少なくとも１つにおいて、ベイヤー配列に対応する２つのＧ成分の信号の少なくとも１つを削減する削減手段と、削減手段によって信号の削減された複数のＲＡＷ画像データを記録媒体に記録する記録手段と、を有し、削減手段は、ベイヤー配列に対応する２つのＧ成分の信号のうち、Ｒ成分及びＢ成分に対して所定の位置関係にある第１のＧ成分の信号を少なくとも削減する、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像素子をシフトして撮像された複数のＲＡＷ画像に対して、記録データ量を低減することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る実施形態における撮像装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図
【図２】実施形態１に係る、ベイヤー配列に対応するＲＡＷ画像を構成する信号の例を示す図
【図３】実施形態１に係る撮像部１０２におけるＲＡＷ画像の取得方法を説明する図
【図４】実施形態１に係る記録処理の一連の動作を示すフローチャート
【図５】実施形態１に係る基本的なＧ成分の破棄方法について説明する図
【図６】実施形態１に係るＧ成分の破棄方法について説明する図
【図７】実施形態１に係るファイル管理方法を説明する図
【図８】撮像したＲＡＷ画像について、動きの有無を検出するための基本的な方法を説明する図
【図９】実施形態２に係るＧ成分の破棄方法について説明する図
【図１０】実施形態２に係るファイル管理情報を説明する図
【発明を実施するための形態】
【００１１】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。本実施形態の説明では、撮像装置の一例としてのデジタルカメラ１００が、超解像技術を用いるために、１回の撮影で撮像素子を１画素ずつシフトしながら４枚のＲＡＷ画像を取得し、記録する場合を例に説明する。しかし、本実施形態は、デジタルカメラに限らず、撮像素子をシフトしながら複数のＲＡＷ画像を取得することが可能な任意の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視カメラを含む監視システム、車載用システムなどが含まれてよい。
【００１２】
（デジタルカメラ１００の構成）
図１は、本実施形態のデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１３】
制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）を含み、記録媒体１０５に記録されたプログラムをメモリ１０７に展開、実行してデジタルカメラ１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。制御部１０１は、内部に別途ＲＯＭ及びＲＡＭを備えて当該プログラムをＲＯＭから読み出してＲＡＭに展開、実行してもよい。
【００１４】
撮像部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、光電変換素子を有する画素が複数、２次元的に配列された構成を有する撮像素子とを含む。撮像素子は、レンズ光学系により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（すなわちＲＡＷ画像データ。単にＲＡＷ画像ともいう）を出力する。出力されたＲＡＷ画像はメモリＩ／Ｆ１０６を介してメモリ１０７に記憶される。撮像素子は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであってよい。撮像素子は、例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、Ｒ（赤）、Ｇ１／Ｇ２（緑）、Ｂ（青）の何れかのカラーフィルタが設けられている。このため、出力されるＲＡＷ画像は、図２に示すベイヤー配列に対応する信号で構成される。すなわち、ＲＡＷ画像は、ベイヤー配列に対応する４つの色成分の信号を有する。本実施形態では、Ｇ１成分は、Ｒ成分に水平方向に隣接しかつＢ成分と垂直方向に隣接する位置関係にあり、Ｇ２成分は、Ｒ成分に垂直方向に隣接しかつＢ成分と水平方向に隣接する位置関係にあるものとする。また、撮像素子は、制御部１０１の制御に従って撮像素子の位置を光軸に対して順次シフトさせることが可能な構成を有する。
【００１５】
データ削減部１０３は、メモリ１０７に記憶されているＲＡＷ画像を読み出し、フルカラー表現に不要なＧ成分を破棄してメモリ１０７に書き戻す。なお、Ｇ成分の破棄する処理についての詳細は後述する。
【００１６】
記録処理部１０４は、メモリ１０７へ格納されたＧ成分の削減されたＲＡＷ画像等の各種データを、記録媒体１０５へ記録する。記録媒体１０５は、大容量のランダムアクセス可能な、例えば不揮発性メモリで構成される記録メディアである。不図示の装着、排出機構により、デジタルカメラ１００に対してユーザが容易に装着し、また、取り外すことが可能になってもよい。
【００１７】
メモリＩ／Ｆ１０６は、各処理部からのメモリ・アクセス要求を調停し、メモリ１０７に対する読み出し・書き込み制御を行う。メモリ１０７は、例えばＳＤＲＡＭなどの揮発性メモリである。メモリ１０７は、上述の画像データ、音声データ等の各種のデータ、或いは、デジタルカメラ１００を構成する各処理部から出力される各種データを格納するため記憶領域を提供する。
【００１８】
（ＲＡＷ画像の取得）
次に、図３を参照して、撮像部１０２におけるＲＡＷ画像の取得方法について説明する。図３は、縦軸に示す時刻の経過（Ｔ０→Ｔ１→Ｔ２→Ｔ３）と共に、撮像部１０２内の撮像素子の位置を１画素ずつシフトして撮像するようすを示している。３０１は撮像素子を示し、３０２は有効画素領域として画素の信号が読み出される、画素読み出し領域を示す。画素読み出し領域の画素から読み出された画像信号は、右側に示すＲＡＷ画像として出力される。
【００１９】
まず、時刻Ｔ０では、画素の読み出し開始位置（すなわち画素読み出し領域３０２の左上隅）をＲ画素として撮像する。時刻Ｔ１では、撮像素子３０１を右に１画素シフトすることにより、画素の読み出し開始位置をＧ１画素として撮像する。時刻Ｔ２では、時刻Ｔ１の位置から更に撮像素子３０１を下に１画素シフトすることにより、画素の読み出し開始位置をＢ画素として撮像する。最後に時刻Ｔ３では、時刻Ｔ２の位置から更に撮像素子３０１を左に１画素シフトすることにより、画素の読み出し位置をＧ２画素として撮像する。
【００２０】
このように撮像素子をシフトして４回撮像することで、１つの画素位置のＲ、Ｇ１、Ｇ２、Ｂの４色を取得する。本来、ＲＡＷ画像からフルカラーの画像を得るためには、１枚のＲＡＷ画像において各画素の信号と隣接する画素の信号とを用いてデモザイクと呼ばれる画素の補間処理を行うが、デモザイクは一般的にモアレや偽色が発生する原因となる。一方、４回の撮像によりフルカラーの画像を得ることができる超解像は、デモザイク処理に起因するモアレや偽色のない高精細な画像を得ることができる。
【００２１】
（記録処理に係る一連の動作）
次に、図４を参照して、記録処理に係る一連の動作を説明する。なお、この記録処理は、例えば、不図示の操作部材であるシャッターボタンが全押しされた場合に開始される。また、本処理は、制御部１０１が記録媒体１０５に記録されたプログラムをメモリ１０７の作業用領域に展開、実行すると共に、撮像部１０２やデータ削減部１０３等の各部を制御することにより実現される。
【００２２】
Ｓ４０１では、撮像部１０２は、制御部１０１からの撮像指示に応じて、ＲＡＷ画像を取得する。このとき、撮像部１０２は、例えば制御部１０１から供給される撮像素子をシフトするための制御量（シフトする量および方向）に応じて、図３に示したように撮像素子の位置をシフトさせたうえで撮像を行う。取得されたＲＡＷ画像は、メモリＩ／Ｆ１０６を介してメモリ１０７に格納される。
【００２３】
Ｓ４０２では、制御部１０１は、全ての（この例では４枚の）ＲＡＷ画像の取得を完了したかを判定する。制御部１０１は、例えば撮像をカウントするカウンタ等により４枚のＲＡＷ画像の取得を完了したと判定した場合、Ｓ４０３に処理を進め、完了していないと判定した場合はＳ４０１に処理を戻す。
【００２４】
Ｓ４０３では、データ削減部１０３は、メモリ１０７に記憶されているＲＡＷ画像を読み出し、以下に詳述するデータ削減処理（すなわちフルカラー表現に不要なＧ成分を破棄する処理）を行う。その後、データ削減部１０３は、データ量を削減した画像データを再びメモリ１０７に書き戻す。
【００２５】
ここで、図５を参照して、基本的なＧ成分の破棄方法について説明する。図５（ａ）は、撮像素子をシフトさせながら４回撮像して得られる元画像（４フレームの画像）を示しており、図５（ｂ）は、図５（ａ）に示す元画像に対してＧ１画素を破棄した画像を示している。一方、図５（ｃ）は、図５（ａ）に示す元画像に対してＧ２成分の信号を破棄した画像を示している。このデータ削減処理では、Ｇ１及びＧ２のように重複する色成分の信号の一方を削減したデータを記録するようしても、４枚の画像を用いてＲＧＢのフルカラーの画像を構成できるようにしている。このように全てのフレームのＧ１成分あるいはＧ２成分の信号を破棄することで、フルカラー表現を可能としつつ、元画像に対してデータ量を２５％削減することができる。
【００２６】
一方、動きのある被写体を撮像する場合など、時間を近接させて撮像した４枚のＲＡＷ画像の間の相関が低くなるときは、超解像処理によって生成される画像を良好な画質で得られないことがある。すなわち、上記図５（ｂ）、図５（ｃ）のようにデータを削減した場合、デモザイク処理では、全てのフレームがベイヤー配列の元画像に比べてＧ１成分、Ｇ２成分の信号が不足した画像を用いた処理を行うことになる。つまり、Ｇ成分が補間精度の低いデモザイク処理を行うことになる。
【００２７】
そこで、デモザイク処理の補間精度を落とすことなく、データを削減するＧ成分の破棄方法を図６に示す。図６（ａ）は、３枚目と４枚目のＧ１及びＧ２成分の信号を破棄した画像を示しており、図６（ｂ）は、２枚目と３枚目のＧ１及びＧ２成分の信号を破棄した画像を示している。更に図６（ｃ）は、１枚目と２枚目のＧ１及びＧ２成分の信号を破棄した画像を示し、図６（ｄ）は、１枚目と４枚目のＧ１及びＧ２成分の信号を破棄した画像を示している。
【００２８】
このように、Ｇ１成分とＧ２成分とが同色成分であることを利用して、４枚の画像のうちの２枚の画像においてこれらの成分の画素の信号を破棄する。このようにすることで、図６（ａ）では１枚目と２枚目、図６（ｂ）では１枚目と４枚目、図６（ｃ）では３枚目と４枚目、図６（ｄ）では２枚目と３枚目のＲＡＷ画像でベイヤー配列の画像を保持することが可能となる。また、図５のときと同様に元画像に対してデータ量を２５％削減することができる。なお超解像処理を用いてフルカラー表現を行う際には、被写体の動きの影響を低減するために時間的な距離の短い（例えば連続して撮像された）画像を用いることが望ましい。そこで、ベイヤー配列が保持される画像（信号の削減されていない画像）の時間的な距離の近い図６（ａ）、図６（ｃ）、図６（ｄ）の方法を用いてＧ画素を破棄することが望ましい。
【００２９】
再び図４を参照して記録処理の動作について説明する。Ｓ４０４では、記録処理部１０４は制御部１０１の指示に応じて、Ｓ４０３でデータ量を削減した画像データをメモリ１０７から読み出して記録媒体１０５に記録する。このとき、記録処理部１０４は、記録対象となる４枚の画像データそれぞれの画像情報をファイル管理情報として記録する。制御部１０１は、画像データの記録が終了すると本記録処理の一連の動作を終了する。
【００３０】
ここで、本実施形態に係る、データ量を削減した画像データを記録する際のファイル管理方法の一例について、図７を参照して説明する。図７（ａ）は画像データを記録媒体１０５に記録する際のファイル管理方法の一例を示しており、図７（ｂ）は、ファイル管理情報の一例を示している。図７（ａ）の例では、ファイル管理情報７０１は、Ｓ４０３で生成された画像ファイルとは別に保持される。そして、図７（ｂ）に示すように、ファイル管理情報７０１において、各画像ファイルは、フルカラー画像を生成することができる複数のＲＡＷ画像がグループ化されて管理される。例えば、グループ００１には、画像ファイル０００１．ｒａｗ、０００２．ｒａｗ、０００３．ｒａｗ、０００４．ｒａｗが属している。そして、グループ化された画像ファイルのそれぞれには、画像情報が関連付けられる。この画像情報は、Ｇ画素を破棄したかどうかを判別する識別子であり、記録方法の種別を表す。例えば、Ｇ成分を残した画像データを記録タイプＡ、Ｇ成分のいずれも破棄した画像データを記録タイプＢ、Ｇ１成分を破棄した画像データを記録タイプＣ、Ｇ２成分を破棄した画像データを記録タイプＤとして区別して記録する。こうしたファイル管理情報を、データ量が削減された画像データとともに記録しておくことで、画像データのＧ成分の有無を容易に特定することができる。これらの画像データにデモザイク処理を施してフルカラー画像を得る際には、Ｇ成分を取得するために記録タイプＡで記録された画像データを選択すればよい。以上のように、フレーム単位でＧ成分を破棄することで、デモザイクの補間精度を落とすことなく、フルカラー表現に不要なデータを削減することが可能である。
【００３１】
なお、本実施形態では、ファイル管理情報を画像データとは別に記録する例を説明したが、このファイル管理情報は画像ファイル内に、例えばメタデータとして記録されても良い。また、１回の撮影で４枚のＲＡＷ画像を撮像するものとして説明したが、フルカラー画像の生成可能な組み合わせを構成する限りこの枚数に限定されない。
【００３２】
以上説明したように本実施形態では、撮像素子をシフトさせて撮像した複数のＲＡＷ画像において、同色成分であるＧ１成分とＧ２成分との少なくともいずれかを破棄するようにした。このようにすることで複数のＲＡＷ画像に対して、記録データ量を低減することが可能な撮像装置を提供することが可能になる。特に、複数のＲＡＷ画像のうち、Ｇ１成分及びＧ２成分を破棄する特定のＲＡＷ画像と、当該Ｇ成分を破棄しないＲＡＷ画像とを設けるようにした。このようにすることで、動きのある被写体を撮像する場合であっても、デモザイク後の画質低下を防止することができ、かつ記録データ量を低減することができる。
【００３３】
（実施形態２）
次に実施形態２について説明する。実施形態１では、デモザイクによってフルカラー画像を得ることを前提に、フレーム単位でＧ成分を破棄することで記録データ量を削減する例を説明した。しかし、画像の領域ごとに被写体の動きの有無が異なる場合は、画像の領域ごとに超解像とデモザイクを選択してフルカラー画像を得られることが望ましい。そこで、本実施形態では、画像の領域ごとに超解像とデモザイクとを選択できるように、画像内の動きの有無を判定可能にするデータ削減方法について説明する。なお、本実施形態においてもユーザによる１回の撮影指示で撮像素子を１画素ずつ順次シフトしながら４枚のＲＡＷ画像を取得するものとして説明する。また、本実施形態のデジタルカメラ１００の構成は、実施形態１と同一である。このため、同一の構成及び同一のステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
【００３４】
図８及び図９を参照して、画像内の動きの有無を判定可能にするデータ削減方法について説明する。上述したように、一般的に、超解像処理ではフレーム間の時間的相関が低い場合に良好な画質が得られない。このため、フレーム間の動きがない場合は超解像を用いてフルカラー画像を生成し、動きがある場合はデモザイクを用いてフルカラー画像を生成できることが望ましく、このような判定を可能にするためにフレーム間の動きを検出できることが必要になる。
【００３５】
図８は、撮像素子をシフトさせて撮像したＲＡＷ画像について、動きの有無を検出するための基本的な方法を示している。同一位置にあるＧ画素同士で差分値を算出（図８の例では、位置８０１のＧ成分同士で差分値を算出、あるいは位置８０２のＧ成分同士で差分値を算出）することで動きの有無を検出することができる。すなわち、この差分値が所定の閾値より小さい場合は動きなし、差分値が所定の閾値以上に大きい場合は動きありと判定することができる。しかしながら、ＲＡＷ画像に対して実施形態１に示したＧ成分の破棄処理を施している場合、同一位置にＧ成分が存在せず差分を算出することができない場合がある。
【００３６】
そこで、動きの有無を検出可能なＧ成分の破棄方法を図９に示す。図９（ａ）は、３枚目のＲＡＷ画像のＧ１成分を破棄するとともに、４枚目のＲＡＷ画像のＧ１及びＧ２成分を破棄したＲＡＷ画像を示している。図９（ｂ）は、３枚目のＧ２成分を破棄、４枚目のＧ１及びＧ２成分を破棄した画像である。図９（ａ）は、実施形態１において図６（ａ）に示したデータ削減方法に対して、３枚目のＧ２成分を破棄せず残している。これにより、１枚目のＧ１成分と３枚目のＧ２成分とで差分を算出して動きの有無を検出することが可能となる。また、図９（ｂ）においても同様で、１枚目のＧ２成分と３枚目のＧ１成分とで差分を算出して動きの有無を検出することが可能となる。
【００３７】
このようにフルカラー表現に必要なデータと差分算出用のデータを残してＧ成分を破棄することで、元画像に対してデータ量を約１９％削減することができる。なお、本実施形態では、４枚目のフレームのＧ成分を全て破棄し、３枚目のフレームのＧ１成分あるいはＧ２成分どちらかを破棄するものとして説明した。しかし、Ｇ成分を全て残すフレームが２枚、Ｇ成分を全て破棄するフレームとＧ１成分あるいはＧ２成分どちらかを破棄するフレームがそれぞれ１枚ずつあれば良く、Ｇ成分の破棄方法はこれに限定されない。
【００３８】
なお、本実施形態で説明したデータ削減方法には、実施形態１で説明したファイル管理方法を用いることができる。図１０は、本実施形態における削減方法を適用した場合のファイル管理情報７０１の例を示している。上述したように、本実施形態では、動きの有無の判定を可能にするために４枚の画像のうちＧ１成分あるいはＧ２成分のどちらかを残したフレームを少なくとも１枚残す。このため、ファイル管理情報７０１には、記録タイプＡ（Ｇ成分有り）、記録タイプＢ（Ｇ成分無し）、記録タイプＣ（Ｇ１成分無し）あるいは記録タイプＤ（Ｇ２成分無し）の４種類の記録方法の種別が各グループに含まれることになる。
【００３９】
以上説明したように、１つのフレームのＧ１及びＧ２成分を破棄することに加えて、Ｇ１成分あるいはＧ２成分のどちらかを残したフレームを少なくとも１枚残しておくようにした。このようにすることで、画像の領域ごとに動きの有無を検出することができ、最適なフルカラー画像生成方法を選択することが可能となる。
【００４０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４１】
１０１…制御部、１０２…撮像部、１０３…データ削減部、１０７…メモリ
【図１】
2018182622.tif 000003
【図２】
2018182622.tif 000004
【図３】
2018182622.tif 000005
【図４】
2018182622.tif 000006
【図５】
2018182622.tif 000007
【図６】
2018182622.tif 000008
【図７】
2018182622.tif 000009
【図８】
2018182622.tif 000010
【図９】
2018182622.tif 000011
【図１０】
2018182622.tif 000012