(57)【要約】【課題】回路規模の増大を抑制しつつ、使用するＬＵＴを高頻度で更新することを可能にする技術を提供する。【解決手段】第１の記憶領域及び第２の記憶領域を含む記憶手段と、前記第１の記憶領域に第１のＬＵＴを転送し、前記第２の記憶領域に第２のＬＵＴを転送する転送手段と、前記記憶手段に格納されている前記第１のＬＵＴと前記第２のＬＵＴとを交互に使用して複数の画像の各々に対して順に画像処理を行う画像処理手段と、を備え、前記転送手段は、前記第１のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第１のＬＵＴを更新し、前記第２のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第２のＬＵＴを更新することを特徴とする画像処理装置を提供する。【選択図】図５
2019133272.tif 000002
【特許請求の範囲】
【請求項１】
第１の記憶領域及び第２の記憶領域を含む記憶手段と、
前記第１の記憶領域に第１のＬＵＴを転送し、前記第２の記憶領域に第２のＬＵＴを転送する転送手段と、
前記記憶手段に格納されている前記第１のＬＵＴと前記第２のＬＵＴとを交互に使用して複数の画像の各々に対して順に画像処理を行う画像処理手段と、
を備え、
前記転送手段は、前記第１のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第１のＬＵＴを更新し、前記第２のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第２のＬＵＴを更新する
ことを特徴とする画像処理装置。
【請求項２】
第１の動作モード又は第２の動作モードを選択する選択手段を更に備え、
前記第１の動作モードが選択された場合、
前記転送手段は、前記第１の記憶領域に前記第１のＬＵＴを転送し、前記第２の記憶領域に前記第２のＬＵＴを転送し、
前記画像処理手段は、前記記憶手段に格納されている前記第１のＬＵＴと前記第２のＬＵＴとを交互に使用して前記複数の画像の各々に対して順に画像処理を行い、
前記転送手段は、前記第１のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第１のＬＵＴを更新し、前記第２のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第２のＬＵＴを更新し、
前記第２の動作モードが選択された場合、
前記転送手段は、前記第１の記憶領域及び前記第２の記憶領域を含む拡張領域に対して、前記第１のＬＵＴ及び前記第２のＬＵＴよりも格子点数の多い第３のＬＵＴを転送し、
前記画像処理手段は、前記第３のＬＵＴを使用して前記複数の画像の各々に対して順に画像処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記画像処理を周期的なタイミングで行い、
前記画像処理装置は、前記周期的なタイミングにおいて連続する２つのタイミングの間の前記画像処理が行われない期間に前記転送手段により前記第１のＬＵＴを更新することが可能であるか否かを判定する判定手段を更に備え、
前記画像処理が行われない前記期間に前記第１のＬＵＴを更新することが可能でない場合、
前記転送手段は、前記第１の記憶領域に前記第１のＬＵＴを転送し、前記第２の記憶領域に前記第２のＬＵＴを転送し、
前記画像処理手段は、前記記憶手段に格納されている前記第１のＬＵＴと前記第２のＬＵＴとを交互に使用して前記複数の画像の各々に対して順に画像処理を行い、
前記転送手段は、前記第１のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第１のＬＵＴを更新し、前記第２のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第２のＬＵＴを更新し、
前記画像処理が行われない前記期間に前記第１のＬＵＴを更新することが可能である場合、
前記画像処理手段は、前記第１のＬＵＴを使用して前記複数の画像の各々に対して順に前記画像処理を行い、
前記転送手段は、前記画像処理が行われない前記期間に前記第１のＬＵＴを更新する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理が行われない前記期間に前記第１のＬＵＴを更新することが可能である場合に、前記第２の記憶領域に対する電力供給を停止するように制御する制御手段を更に備える
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
請求項１乃至４のいずれか１項に記載の画像処理装置と、
前記複数の画像を含む動画を生成する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項６】
複数の記憶領域を含む記憶手段と、
前記複数の記憶領域の各々に対してＬＵＴを転送する転送手段と、
前記複数の記憶領域のいずれかに格納されているＬＵＴを使用して複数の画像の各々に対して順に画像処理を行う画像処理手段であって、処理順が連続している２つの画像に対しては異なる記憶領域に格納されているＬＵＴを使用する、画像処理手段と、
を備え、
前記転送手段は、前記複数の記憶領域の各々について、前記記憶領域に格納されているＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に、前記記憶領域に格納されているＬＵＴを更新する
ことを特徴とする画像処理装置。
【請求項７】
第１の記憶領域及び第２の記憶領域を含む記憶手段を備える画像処理装置が実行する画像処理方法であって、
前記第１の記憶領域に第１のＬＵＴを転送し、前記第２の記憶領域に第２のＬＵＴを転送する転送工程と、
前記記憶手段に格納されている前記第１のＬＵＴと前記第２のＬＵＴとを交互に使用して複数の画像の各々に対して順に画像処理を行う画像処理工程と、
前記第１のＬＵＴが前記画像処理工程により使用されてから次に使用されるまでの間に前記第１のＬＵＴを更新し、前記第２のＬＵＴが前記画像処理工程により使用されてから次に使用されるまでの間に前記第２のＬＵＴを更新する更新工程と、
を備えることを特徴とする画像処理方法。
【請求項８】
複数の記憶領域を含む記憶手段を備える画像処理装置が実行する画像処理方法であって、
前記複数の記憶領域の各々に対してＬＵＴを転送する転送工程と、
前記複数の記憶領域のいずれかに格納されているＬＵＴを使用して複数の画像の各々に対して順に画像処理を行う画像処理工程であって、処理順が連続している２つの画像に対しては異なる記憶領域に格納されているＬＵＴを使用する、画像処理工程と、
前記複数の記憶領域の各々について、前記記憶領域に格納されているＬＵＴが前記画像処理工程により使用されてから次に使用されるまでの間に、前記記憶領域に格納されているＬＵＴを更新する更新工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置において、各撮影モードに好適な色相、彩度、色域、ガンマ等の変換を行う場合がある。変換方法の１つとして、３次元のルックアップテーブル（３ＤＬＵＴ）を用いる方法（３ＤＬＵＴ変換）がある。３ＤＬＵＴ変換では、例えばＲ、Ｇ、Ｂの３色の代表的な変換パラメータがテーブルデータとして用意され、代表点（格子点）の間の画素値は補間処理により得られる。
【０００３】
画像処理を高速に行うため、一般的に３ＤＬＵＴ変換のテーブルデータはＳＲＡＭなどの高速なメモリからアクセスできるように実装される。そのため、ＲＯＭに記憶しているテーブルデータを一度ＤＲＡＭ等の一時記憶領域に展開し、ユースケースに合わせて色変換などの加工をした後にＳＲＡＭに転送して画像処理を行うといったフローで制御が行われる場合がある。テーブルデータをＳＲＡＭに転送する処理は、モード切替直後や、動画のブランキング期間など画像処理をしていない期間に行われることが多い。
【０００４】
３ＤＬＵＴ変換の用途は様々であり、例えば撮影モードやシーン状況に応じてダイナミックに明るさや色相等をコントロールするために使用される。また３ＤＬＵＴ変換の別の用途としては、記録方式、表示デバイスに合わせてダイナミックレンジや色域を調整するために用いられる。ある程度モード毎に固定されたテーブルデータを使用することもある。
【０００５】
高精度の画像処理を行うためには、ルックアップテーブル（ＬＵＴ）のグリッド数は大きい方がよいが、グリッド数が増えると回路規模が指数関数的に増えてしまう。ｍグリッドの３ＤＬＵＴでは、１次元あたりのグリッド数がｍ個であるので、全グリッド数はｍ３個となる。例えば、３３グリッド１６ビットＲＧＢで必要なメモリ容量は、３３×３３×３３×３×２＝２１５６２２バイトである。従って、高精度かつ回路規模を抑えた３ＤＬＵＴ変換を実現するメモリの構成や制御（ＬＵＴの格納、転送を含む制御）を実現する要望がある。例えば特許文献１では、外部メモリに複数のＬＵＴを記憶しておき、必要なＬＵＴを選択してテーブルメモリに転送格納する方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１４９１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、３ＤＬＵＴ変換は様々な用途に用いられており、ユースケースに応じて求められる演算精度、更新頻度が異なる場合がある。例えば、コンシューマーカメラで自動的に撮影シーンに応じて明るさや色相等を調整する場合、毎フレームのテーブル更新が必要である。しかし、近年表示遅延の改善やなめらかな画像表示を実現するために高フレームレートでの記録・表示が求められているため、高フレームレート化によってブランキング期間が短くなる傾向にある。そのため、特許文献１のような構成では、ＬＵＴを毎フレーム更新しようとするときに、十分な転送期間を確保できない可能性がある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、回路規模の増大を抑制しつつ、使用するＬＵＴを高頻度で更新することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、第１の記憶領域及び第２の記憶領域を含む記憶手段と、前記第１の記憶領域に第１のＬＵＴを転送し、前記第２の記憶領域に第２のＬＵＴを転送する転送手段と、前記記憶手段に格納されている前記第１のＬＵＴと前記第２のＬＵＴとを交互に使用して複数の画像の各々に対して順に画像処理を行う画像処理手段と、を備え、前記転送手段は、前記第１のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第１のＬＵＴを更新し、前記第２のＬＵＴが前記画像処理手段により使用されてから次に使用されるまでの間に前記第２のＬＵＴを更新することを特徴とする画像処理装置を提供する。
【発明の効果】
【００１０】
本発明によれば、回路規模の増大を抑制しつつ、使用するＬＵＴを高頻度で更新することが可能となる。
【００１１】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【００１２】
【図１】デジタルカメラ１００の構成を示すブロック図。
【図２】３ＤＬＵＴ変換部１０６の処理の概要について説明する図。
【図３】３ＤＬＵＴ変換部１０６の詳細について説明する図。
【図４】ＬＵＴ固定モードの制御タイミングについて説明する図。
【図５】ＬＵＴ切替モードの制御タイミングを説明する図。
【図６】ＬＵＴ切替モードにおいてメモリ３０５のＬｏｗｅｒ側のみを使用する場合の制御タイミングを説明する図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１４】
［第１の実施形態］
第１の実施形態では、画像処理装置を含む撮像装置について説明する。また、以下の説明では、撮像装置はデジタルカメラであるものとするが、本実施形態の撮像装置はデジタルカメラに限定されず、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等であってもよい。
【００１５】
図１は、第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図である。図１において、ＣＰＵ１０１は、デジタルカメラ１００の各部や撮影モードの制御を行う。ＣＰＵ１０１は、同期信号生成部１０２を制御し、同期信号生成部１０２は動作を開始する。同期信号生成部１０２は、動画の場合フレームレートを規定する同期信号を生成し、撮像部１０３に同期信号を送る。フレームレートは、３０ｆｐｓ、６０ｆｐｓ等の規格等で規定される一定のレートである。静止画の場合は不図示のシャッターボタンの操作に同期して同期信号が生成される。撮像部１０３で撮像された画像データは、プリ処理部１０４で各種センサ補正処理や傷補正等を施され、現像処理部１０５で現像処理が実行される。撮像部１０３で撮像された画像データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを通して得られるベイヤフォーマット画像に対応する。現像処理によって同時化、輝度色差分離が行われ、記録フォーマットに適したＹＣｂＣｒの画像データが出力される。現像処理部１０５の出力データに対しては、３ＤＬＵＴ変換部１０６で３ＤＬＵＴ変換が施される。ＣＰＵ１０１は、３ＤＬＵＴ変換のために、ＤＲＡＭ１０７から３ＤＬＵＴ変換部１０６にルックアップテーブルデータを転送する。３ＤＬＵＴ変換部１０６の出力は、画像記録部１０８で記録される。
【００１６】
次に、図２を参照して、３ＤＬＵＴ変換部１０６の処理の概要について説明する。本実施形態では、９グリッドのＬＵＴを使用する。その場合、格子点数は９×９×９＝７２９個となる。着目格子位置２０１は、ＬＵＴにおいて着目する格子の位置を表しており、３次元方向にそれぞれＲ方向、Ｇ方向、Ｂ方向を示している。Ｐ１〜Ｐ８は各格子点の出力データ（出力値）を表しており、格子点毎にＲ、Ｇ、Ｂの値を持つ。ここで、着目格子位置２０１内の位置Ｘの出力データは、Ｐ１〜Ｐ８の各格子点の出力データに対して距離に応じた補間処理を行うことにより計算することができる。つまり、Ｐ１〜Ｐ８に対応する重み係数をＷ１〜Ｗ８とすると、
Ｘ＝Ｐ１×Ｗ１＋Ｐ２×Ｗ２＋Ｐ３×Ｗ３＋Ｐ４×Ｗ４
＋Ｐ５×Ｗ５＋Ｐ６×Ｗ６＋Ｐ７×Ｗ７＋Ｐ８×Ｗ８
と求めることができる。
【００１７】
なお、ここでは説明を簡単にするため入出力データは共にＲＧＢ信号であるものとして説明を行ったが、本実施形態では入力データをＲＧＢ信号とし、出力データを記録画像のフォーマットに合わせてＹＣｂＣｒ信号とする。この場合、ＬＵＴ内でＲＧＢ信号からＹＣｂＣｒ信号への変換が行われるようにテーブルの係数を設定する。他の例として、ＬＵＴの入出力データを共にＹＣｂＣｒ信号としてもよい。
【００１８】
また、本実施形態では、３ＤＬＵＴ変換における補間処理のために８点の格子点からの距離を重み係数として用いるものとするが、補間方法はこれに限定されず、ニアレストネイバ―、四面体補間など任意の公知の補間方法を用いてもよい。
【００１９】
次に、図３を参照して、３ＤＬＵＴ変換部１０６の詳細について説明する。色空間変換部３０１は、入力された画像データについて、ＹＣｂＣｒ信号からＲＧＢ信号への変換を行う。この変換は、例えば３×３マトリクス演算により行われる。次に、アドレス生成部３０２は、変換後の画像データ（ＲＧＢデータ）に基づいて、画像処理メモリ制御信号３０３と補間係数３０４を生成する。画像処理メモリ制御信号３０３は、ＬＵＴのアドレス及びリード制御信号を含む。リード制御信号は、画像処理期間中は常にリードの実行を指示する値を持つ。補間係数３０４は、上述した重み係数Ｗ１〜Ｗ８に対応する。
【００２０】
例えば、アドレス生成部３０２は、ＲＧＢデータの上位ビットを画像処理メモリ制御信号３０３のアドレスとして使用し、下位ビットを補間係数３０４として使用する。例えば、ＲＧＢデータがＲＧＢそれぞれ１０ビットの場合、アドレス生成部３０２は、上位３ビットを画像処理メモリ制御信号３０３のアドレスとして使用し、残りの下位７ビットを補間係数３０４として使用することができる。
【００２１】
メモリ３０５は、「１Ｕ」〜「８Ｕ」の８個のメモリユニットと、「１Ｌ」〜「８Ｌ」の８個のメモリユニットを含む。従って、メモリ３０５は、計１６個のメモリユニットを含む。ここで、「Ｕ」はＵｐｐｅｒを意味し、「Ｌ」はＬｏｗｅｒを意味する。３ＤＬＵＴ変換部１０６は、ＬＵＴ固定モード及びＬＵＴ切替モードという２つの変換モード（動作モード）を持つ。ＬＵＴ固定モードの場合、「１Ｕ」〜「８Ｕ」及び「１Ｌ」〜「８Ｌ」の１６個のメモリユニットの全体が１つのＬＵＴを格納する。この場合、ＵｐｐｅｒとＬｏｗｅｒのアドレスがつなげられ、ＵｐｐｅｒとＬｏｗｅｒの組が拡張された１つのメモリユニットとして扱われる。ＬＵＴ切替モードの場合、「１Ｕ」〜「８Ｕ」の８個のメモリユニットが１つのＬＵＴを格納し、「１Ｌ」〜「８Ｌ」の８個のメモリユニットが１つのＬＵＴを格納する。従って、ＬＵＴ切替モードの場合、メモリ３０５は合計２つのＬＵＴを格納する。ＬＵＴ切替モードのＬＵＴは、格子点数がＬＵＴ固定モードのＬＵＴの半分以下になるように構成される。例えば、ＬＵＴ固定モードの格子点数は９×９×９＝７２９個であり、ＬＵＴ切替モードの格子点数は７×７×７＝３４３個である。他の例では、ＬＵＴ固定モードの格子点数は１７×１７×１７＝４９１３個であり、ＬＵＴ切替モードの格子点数は９×９×９＝７２９個である。
【００２２】
メモリ３０５へのアクセス（メモリ３０５からの格子点データの出力）は、画像処理メモリ制御信号３０３のアドレスに従って行われる。ＬＵＴの格子点データは、ＲＧＢデータの値に関わらず（即ち、着目格子位置２０１のＬＵＴにおける絶対位置に関わらず）メモリ３０５に対する１回のアクセスによりＰ１〜Ｐ８の全てが得られるように配置される。ＬＵＴ固定モードの場合、「１Ｕ」又は「１Ｌ」のメモリユニットからＰ１〜Ｐ８のうちの１つが得られる。同様に、「２Ｕ」又は「２Ｌ」、「３Ｕ」又は「３Ｌ」、・・・、「８Ｕ」又は「８Ｌ」それぞれについて、Ｐ１〜Ｐ８のうちの１つが得られ、全体としてＰ１〜Ｐ８の全てが得られる。ＬＵＴ切替モードの場合、「１Ｕ」〜「８Ｕ」に格納されるＬＵＴについては、「１Ｕ」〜「８Ｕ」それぞれについてＰ１〜Ｐ８のうちの１つが得られ、全体としてＰ１〜Ｐ８の全てが得られる。同様に、「１Ｌ」〜「８Ｌ」に格納されるＬＵＴについては、「１Ｌ」〜「８Ｌ」それぞれについてＰ１〜Ｐ８のうちの１つが得られ、全体としてＰ１〜Ｐ８の全てが得られる。このようにメモリ３０５に対する１回のアクセスによりＰ１〜Ｐ８の全てが得られるように格子点データを配置するための具体的な方法は特に限定されないが、例えばアドレスのインクリメント順に配置する方法など、任意の公知の方法を用いることができる。
【００２３】
本実施形態では、Ｌｏｗｅｒのメモリユニットの配列数を２のべき乗としている。この場合、画像処理メモリ制御信号３０３のアドレスの最上位ビットが１のときはＵｐｐｅｒ側、０のときはＬｏｗｅｒ側のメモリのアドレスとすることができる。このような構成にすると、最上位ビットでＵｐｐｅｒとＬｏｗｅｒどちらにアクセスすればよいか判別できるため、簡易な構成でＵｐｐｅｒとＬｏｗｅｒをつなげたメモリ拡張の機能を実装することが可能である。つまり、メモリ３０５の「１Ｌ」と「１Ｕ」という２つのメモリユニットにまたがったアクセスを実現することができる。
【００２４】
線形補間部３０６は、メモリ３０５から出力される格子点データＰ１〜Ｐ８と補間係数３０４とに基づいて、図２を参照して説明した補間処理を行い、補間されたＹＣｂＣｒ信号を出力する。
【００２５】
レジスタ制御部３１０は、ＣＰＵ１０１からコマンドを受け取り、３ＤＬＵＴ変換部１０６を制御し、またＤＲＡＭ１０７からメモリ３０５へＬＵＴを転送する。レジスタ制御部３１０は、ＣＰＵメモリ制御信号３１１を出力する。ＣＰＵメモリ制御信号３１１は、ＣＰＵ１０１経由でメモリ３０５を制御するために用いられ、メモリ３０５のアドレス、データ、及び、リード／ライトなどを示すメモリ制御信号を含む。ＣＰＵメモリ制御信号３１１により、レジスタ制御部３１０はＣＰＵ１０１経由でメモリ３０５に対してリード／ライトを行うことができる。
【００２６】
３ＤＬＵＴ変換部１０６は、Ｌｏｗｅｒメモリセレクタ３１２、Ｕｐｐｅｒメモリセレクタ３１３、メモリ出力セレクタ３１４を含む。これらのセレクタは、レジスタ制御部３１０によって制御される。Ｌｏｗｅｒメモリセレクタ３１２及びＵｐｐｅｒメモリセレクタ３１３は、メモリ３０５の制御に関して、ＣＰＵ１０１による制御か画像処理制御かのどちらかを選択する。つまり、Ｌｏｗｅｒメモリセレクタ３１２及びＵｐｐｅｒメモリセレクタ３１３は、ＣＰＵメモリ制御信号３１１と画像処理メモリ制御信号３０３のどちらをメモリ３０５に接続するかを制御する。メモリ出力セレクタ３１４は、メモリ３０５のＵｐｐｅｒとＬｏｗｅｒどちらを出力するかを選択する。
【００２７】
レジスタ制御部３１０によりＬｏｗｅｒメモリセレクタ３１２、Ｕｐｐｅｒメモリセレクタ３１３、メモリ出力セレクタ３１４を適切に制御することによって、ユースケースに応じてＬＵＴを切り替え、更新することが可能となる。更新タイミングは、ＣＰＵ１０１により直接制御することもできるし、同期信号生成部１０２による同期信号に同期させることもできる。
【００２８】
以下、ＬＵＴを固定して使用するケース（ＬＵＴ固定モード）について更に詳細に説明する。この場合、ＣＰＵ１０１は、画像処理を開始する前に予め３ＤＬＵＴ変換部１０６にＬＵＴを設定しておき、画像処理中は、３ＤＬＵＴ変換部１０６は同じＬＵＴ（格子点データ）を用いて３ＤＬＵＴ変換を行う。この時、メモリ３０５は、ＵｐｐｅｒとＬｏｗｅｒが連結された１つの拡張されたメモリユニットとして使用される。具体的には、ＣＰＵメモリ制御信号３１１又は画像処理メモリ制御信号３０３のアドレスの最上位ビットの値によってＵｐｐｅｒ／Ｌｏｗｅｒへのアクセスの切り替えが行われる。また、メモリ出力セレクタ３１４も同様に、メモリ３０５のＵｐｐｅｒ／Ｌｏｗｅｒどちらを使用するかを切り替える。
【００２９】
図４を参照して、ＬＵＴ固定モードの制御タイミングについて説明する。４０１は同期信号生成部１０２により発行されるＶブランキング信号を示す。Ｖブランキング信号４０１がＨｉｇｈの時はＶブランキング期間であり、次のフレームを処理するための準備やリセット動作などが行われる。Ｖブランキング信号４０１がＬｏｗの時は映像期間であり、この期間に画像処理が行われる。４０２はＬＵＴ転送期間を示し、４０３は画像処理期間を示す。また、ＬＵＴ転送期間４０２及び画像処理期間４０３には、対象のＬＵＴがＵｐｐｅｒ側及びＬｏｗｅｒ側にまたがる領域（拡張領域）に格納されていることを表す「Ｕｐｐｅｒ＋Ｌｏｗｅｒ」が付記されている。
【００３０】
図４に示すように、ＣＰＵ１０１はまず、ＬＵＴ転送期間４０２においてメモリ３０５にＬＵＴを転送し、ＵｐｐｅｒとＬｏｗｅｒ双方にまたがるように格納する。その後、Ｖブランキング信号４０１が動き出すことで映像期間が始まる。映像期間中は、３ＤＬＵＴ変換部１０６は、常に同じＬＵＴを使用して３ＤＬＵＴ変換を行う。
【００３１】
次に、フレーム毎にＬＵＴを更新して３ＤＬＵＴ変換を行うケース（ＬＵＴ切替モード）について説明する。図５は、ＬＵＴ切替モードの制御タイミングを説明する図である。図４と同様、５０１はＶブランキング信号を示し、５０２はＬＵＴ転送期間を示し、５０３は画像処理期間を示す。また、ＬＵＴ転送期間５０２及び画像処理期間５０３には、転送対象又は使用対象のＬＵＴがＵｐｐｅｒ側及びＬｏｗｅｒ側のいずれの領域（記憶領域）に格納されているかを示す「Ｕｐｐｅｒ」又は「Ｌｏｗｅｒ」が付記されている。
【００３２】
図４の場合と異なり、図５ではＬＵＴ転送は同期信号生成部１０２が生成する同期信号に同期して開始する。最初のフレームでは、ＣＰＵ１０１は、メモリ３０５のＵｐｐｅｒ側に対してＬＵＴの転送を行う。次のフレームでは、ＣＰＵ１０１はＬｏｗｅｒ側に対してＬＵＴの転送を行い、同時に３ＤＬＵＴ変換部１０６はＵｐｐｅｒ側に格納されているＬＵＴを使用して画像処理を行う。その次のフレームでは反対に、ＣＰＵ１０１はＵｐｐｅｒ側に対してＬＵＴの転送を行い、同時に３ＤＬＵＴ変換部１０６はＬｏｗｅｒ側に格納されているＬＵＴを使用して画像処理を行う。
【００３３】
図４に示すＬＵＴ固定モードの場合はメモリ３０５のＵｐｐｅｒとＬｏｗｅｒとを連結させて使うことで格子点数を増やすことができる。一方、図５に示すＬＵＴ切替モードの場合はＵｐｐｅｒとＬｏｗｅｒについてＬＵＴ転送と画像処理とを交互に切り替えて制御することで同時処理を行うことができる。前述の通り、ＬＵＴ切替モードのＬＵＴは、格子点数がＬＵＴ固定モードのＬＵＴの半分以下になるように構成される。従って、ＬＵＴ切替モードの場合、Ｕｐｐｅｒ又はＬｏｗｅｒのみで処理を行うことが可能である。
【００３４】
以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、動画に含まれる複数の画像の各々に対して順に３ＤＬＵＴ変換（画像処理）を行う。ＬＵＴ切替モードの場合、デジタルカメラ１００は、メモリ３０５のＵｐｐｅｒ側に格納されているＬＵＴとＬｏｗｅｒ側に格納されているＬＵＴとを交互に使用する。デジタルカメラ１００は、Ｕｐｐｅｒ側のＬＵＴが画像処理に使用されてから次に使用されるまでの間（即ち、Ｕｐｐｅｒ側のＬＵＴが画像処理に使用されない期間）にＵｐｐｅｒ側のＬＵＴを更新する。また、デジタルカメラ１００は、Ｌｏｗｅｒ側のＬＵＴが画像処理に使用されてから次に使用されるまでの間（即ち、Ｌｏｗｅｒ側のＬＵＴが画像処理に使用されない期間）にＬｏｗｅｒ側のＬＵＴを更新する。これにより、回路規模の増大を抑制しつつ、使用するＬＵＴを高頻度で更新することが可能となる。
【００３５】
また、ＬＵＴ固定モードの場合、デジタルカメラ１００は、メモリ３０５のＵｐｐｅｒ側及びＬｏｗｅｒ側を含む領域（拡張領域）に対して、ＬＵＴ切替モードの場合よりも格子点数の多いＬＵＴを転送する。そして、動画に含まれる複数の画像の各々に対して、ＬＵＴ切替モードの場合よりも格子点数の多いＬＵＴを使用して画像処理を行う。これにより、画像処理の精度を向上させることが可能である。デジタルカメラ１００は、ユーザの指示やユースケースなどに基づいて、ＬＵＴ切替モード又はＬＵＴ固定モードを選択することができる。例えば、業務用カメラ等では記録方式、表示デバイスに合わせてダイナミックレンジや色域を調整するために３ＤＬＵＴ変換を用いるため、必ずしもテーブルの更新がフレーム毎に行われる必要は無い。むしろ、高精度の画像処理を行うためにできる限りグリッド数を増やしたいという要望がある。ＬＵＴ固定モードは、このような場合に有用である。
【００３６】
なお、上の説明では、メモリ３０５がＵｐｐｅｒ側とＬｏｗｅｒ側の２つの部分（記憶領域）に分割されるものとした。しかしながら、本実施形態においてメモリ３０５の分割数は２に限定されず、メモリ３０５は任意の数の記憶領域を含むことができる。この場合、デジタルカメラ１００は、複数の記憶領域のいずれかに格納されているＬＵＴを使用して複数の画像の各々に対して順に画像処理を行う。この時、デジタルカメラ１００は、処理順が連続している２つの画像に対しては異なる記憶領域に格納されているＬＵＴを使用する。また、デジタルカメラ１００は、複数の記憶領域の各々について、記憶領域に格納されているＬＵＴが画像処理に使用されてから次に使用されるまでの間に、記憶領域に格納されているＬＵＴを更新する。
【００３７】
［第２の実施形態］
第１の実施形態では、ＬＵＴ切替モードの場合に、映像期間中にＬＵＴを更新する（転送する）構成について説明した。第２の実施形態では、Ｖブランキング期間中にＬＵＴの更新を行う構成について説明する。第２の実施形態において、デジタルカメラ１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【００３８】
デジタルカメラ１００は、ＬＵＴ切替モードの場合に、Ｖブランキング期間中（周期的な画像処理のタイミングにおいて連続する２つのタイミングの間の、画像処理が行われない期間）にＬＵＴの更新を行うことが可能であるか否かを判定する。可能な場合、デジタルカメラ１００は、Ｖブランキング期間中にＬＵＴの更新を行う。この場合、デジタルカメラ１００は、メモリ３０５のＵｐｐｅｒ又はＬｏｗｅｒの一方のみを用いてＬＵＴを切り替えることが可能である。そこで、デジタルカメラ１００は、メモリ３０５のうち不使用のメモリユニットの電源をオフにする（電力供給を停止にするように制御する）。これにより、消費電力を低減することができる。
【００３９】
図６は、ＬＵＴ切替モードにおいてメモリ３０５のＬｏｗｅｒ側のみを使用する場合の制御タイミングを説明する図である。図５と同様、６０１はＶブランキング信号を示し、６０２はＬＵＴ転送期間を示し、６０３は画像処理期間を示す。また、ＬＵＴ転送期間６０２及び画像処理期間６０３には、対象のＬＵＴがＬｏｗｅｒ側の領域（記憶領域）に格納されていることを示す「Ｌｏｗｅｒ」が付記されている。
【００４０】
Ｖブランキング期間中にＬＵＴ転送を行うことが可能であるか否かは、ＬＵＴの格子点数、フレームレート、ＣＰＵ性能など様々な要因に依存する。従って、例えば３ＤＬＵＴ変換の精度よりも省電力が優先される場合、ＣＰＵ１０１は、格子点数の少ないＬＵＴを使用してＶブランキング期間にＵｐｐｅｒ側又はＬｏｗｅｒ側の一方のみへＬＵＴ転送を行うように制御してもよい。この場合、ＣＰＵ１０１は、Ｕｐｐｅｒ側及びＬｏｗｅｒ側のうちＬＵＴが転送されない方の電源をオフにすることができる。これにより、消費電力を削減することができる。
【００４１】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４２】
１００…デジタルカメラ、１０１…ＣＰＵ、１０２…同期信号生成部、１０３…撮像部、１０４…プリ処理部、１０５…現像処理部、１０６…３ＤＬＵＴ変換部、１０７…ＤＲＡＭ、１０８…画像記録部
【図１】
2019133272.tif 000003
【図２】
2019133272.tif 000004
【図３】
2019133272.tif 000005
【図４】
2019133272.tif 000006
【図５】
2019133272.tif 000007
【図６】
2019133272.tif 000008