(57)【要約】【課題】  動画撮影中に静止画処理を実行する場合に、１枚の静止画の処理にかかる時間を短縮する。【解決手段】  集積回路は、動画を処理する動画処理と静止画を処理する静止画処理とを実行する画像処理部と、バスを介して画像処理部に接続され、静止画を記憶する記憶部とを有し、画像処理部は、動画のフレーム間隔である１フレーム期間のうち、動画処理以外の処理に割り当て可能な第１時間を、動画処理にかかる時間に基づいて算出する算出部と、静止画処理のうち、少なくともフィルタ処理を含む第１処理に使用される画素の数と第１時間とに基づいて、静止画を分割することで得られる部分画像のサイズを決定するサイズ決定部と、サイズ決定部により決定されたサイズに分割された部分画像に対して、第１処理を動画処理の合間に実行する処理部とを有する。【選択図】  図１
2016136660.tif 000002
【特許請求の範囲】
【請求項１】
動画を処理する動画処理と静止画を処理する静止画処理とを実行する画像処理部と、
バスを介して前記画像処理部に接続され、静止画を記憶する記憶部とを備え、
前記画像処理部は、
動画のフレーム間隔である１フレーム期間のうち、前記動画処理以外の処理に割り当て可能な第１時間を、前記動画処理にかかる時間に基づいて算出する算出部と、
前記静止画処理のうち、少なくともフィルタ処理を含む第１処理に使用される画素の数と前記第１時間とに基づいて、静止画を分割することで得られる部分画像のサイズを決定するサイズ決定部と、
前記サイズ決定部により決定されたサイズに分割された前記部分画像に対して、前記第１処理を前記動画処理の合間に実行する処理部と
を備えていることを特徴とする集積回路。
【請求項２】
請求項１に記載の集積回路において、
前記サイズ決定部は、前記部分画像に対する前記第１処理にかかる時間が前記第１時間以下になる分割パターンのうち、分割数が最少になる分割パターンを算出し、算出した分割パターンに基づくサイズを前記部分画像のサイズに決定する
ことを特徴とする集積回路。
【請求項３】
請求項２に記載の集積回路において、
前記画像処理部は、前記第１処理に使用される画素および前記部分画像を前記記憶部から前記バスを介して受け、前記第１処理が実行された前記部分画像を前記バスを介して前記記憶部に転送する転送部を有し、
前記サイズ決定部は、前記分割数を最少にする複数の分割パターンが存在する場合、１枚の静止画に対する前記第１処理が終了するまで前記部分画像に対する前記第１処理を繰り返した場合に前記バスを介して転送される画素の数が小さくなる分割パターンを選択し、選択した分割パターンに基づくサイズを前記部分画像のサイズに決定する
ことを特徴とする集積回路。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の集積回路において、
前記処理部は、前記静止画のうち前記部分画像の境界から前記第１処理に使用される画素の数だけ広げた画像領域に対して前記フィルタ処理を実行する
ことを特徴とする集積回路。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の集積回路において、
前記バスに接続され、所定の処理を実行する機能回路を備え、
前記画像処理部は、前記機能回路の動作状態を監視する制御部を有し、
前記サイズ決定部は、前記機能回路の動作状態の変化に応じて、１枚の静止画に対応する複数の前記部分画像のいずれかのサイズを変更する
ことを特徴とする集積回路。
【請求項６】
請求項５に記載の集積回路において、
前記制御部は、１フレーム期間のち、前記第１処理が実行された時間と、前記機能回路の動作状態との対応を学習し、
前記サイズ決定部は、前記機能回路の動作状態が変化した場合、前記制御部による学習の結果に基づいて、前記部分画像のサイズを再計算する
ことを特徴とする集積回路。
【請求項７】
請求項５または請求項６に記載の集積回路において、
前記処理部は、前記機能回路の動作状態の変化に応じて、前記第１時間から前記機能回路が前記所定の処理を実行するのにかかる時間を除いた時間だけ、前記動画処理および前記所定の処理の合間に前記第１処理を実行する
ことを特徴とする集積回路。
【請求項８】
動画を処理する動画処理と静止画を処理する静止画処理とを実行し、静止画を記憶部に記憶させる集積回路による画像処理方法において、
動画のフレーム間隔である１フレーム期間のうち、前記動画処理以外の処理に割り当て可能な第１時間を、前記動画処理にかかる時間に基づいて算出し、
前記静止画処理のうち、少なくともフィルタ処理を含む第１処理に使用される画素の数と前記第１時間とに基づいて、静止画を分割することで得られる部分画像のサイズを決定し、
前記部分画像に対して、前記第１処理を前記動画処理の合間に実行する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、集積回路および集積回路による画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に搭載される集積回路は、画像を処理する画像処理回路、画像を記憶するメモリ、画像処理回路およびメモリが接続されるバス等を有する（例えば、特許文献１参照）。動画撮影と静止画撮影とを実行可能な撮像装置の普及に伴い、画像処理回路は、動画を処理する動画処理と静止画を処理する静止画処理とを実行する。このため、動画処理と静止画処理とを効率よく実行する画像処理方法が提案されている（例えば、特許文献２−６参照）。
【０００３】
例えば、画像処理回路は、フレームレートに応じたフレーム間隔（フレーム期間）で動画を撮影中に静止画処理を実行する場合、複数のフレーム期間で１枚の静止画を処理する。この場合、１枚の静止画は、複数の部分画像に分割される。そして、画像処理回路は、１フレーム期間のうち、動画処理にかかる時間を除いた空き時間に、各部分画像に対する静止画処理を実行する。したがって、部分画像のサイズは、１フレーム期間のうちの空き時間内に処理可能なサイズに予め設定される。
【０００４】
なお、静止画処理等の画像処理は、画像の各画素をフィルタリングするフィルタ処理を含む。部分画像のフィルタ処理では、部分画像内の画素の他に部分画像の外側の画素も使用される（例えば、特許文献７参照）。このため、画像処理回路は、部分画像を処理する際、フィルタ処理に使用する画素（部分画像の外側の画素）を部分画像と一緒にメモリから読み出す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０４４７２号公報
【特許文献２】特開２００６−２４６３６１号公報
【特許文献３】特開２００９−１００２０６号公報
【特許文献４】特開２００６−１０９０３２号公報
【特許文献５】特開２００７−１８１１０１号公報
【特許文献６】特開２００４−９６３５４号公報
【特許文献７】特開２００２−３０４６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
フィルタ処理に使用される画素の数は、静止画のサイズ、画素の間引き量、フィルタリングの方法等により異なる。したがって、静止画処理が実行される際にメモリから画像処理回路への画像の転送に使用されるバスの使用量（データ転送量）は、部分画像のサイズが同じでも、実行される静止画処理によって異なる場合がある。このため、部分画像のサイズが固定されている場合、実行される静止画処理によって、バスの使用効率が低下する場合がある。バスの使用効率の低下に伴い、１枚の静止画の処理にかかる時間は、増加する。
【０００７】
また、部分画像のサイズが固定されている場合、実行される静止画処理によって、画像処理回路とメモリとの間のデータ転送量がバスのデータ転送の能力（単位時間当たりに転送可能な情報量）を超えるおそれがある。画像処理回路とメモリとの間のデータ転送量がバスのデータ転送の能力（単位時間当たりに転送可能な情報量）を超える場合、部分画像に対する静止画処理は、正常に実行されない。
【０００８】
１つの側面では、本件開示の集積回路および集積回路による画像処理方法は、動画撮影中に静止画処理を実行する場合に、１枚の静止画の処理にかかる時間を短縮することを目的とする。
【課題を解決するための手段】
【０００９】
一観点によれば、集積回路は、動画を処理する動画処理と静止画を処理する静止画処理とを実行する画像処理部と、バスを介して画像処理部に接続され、静止画を記憶する記憶部とを有し、画像処理部は、動画のフレーム間隔である１フレーム期間のうち、動画処理以外の処理に割り当て可能な第１時間を、動画処理にかかる時間に基づいて算出する算出部と、静止画処理のうち、少なくともフィルタ処理を含む第１処理に使用される画素の数と第１時間とに基づいて、静止画を分割することで得られる部分画像のサイズを決定するサイズ決定部と、サイズ決定部により決定されたサイズに分割された部分画像に対して、第１処理を動画処理の合間に実行する処理部とを有する。
【００１０】
別の観点によれば、動画を処理する動画処理と静止画を処理する静止画処理とを実行し、静止画を記憶部に記憶させる集積回路による画像処理方法では、動画のフレーム間隔である１フレーム期間のうち、動画処理以外の処理に割り当て可能な第１時間を、動画処理にかかる時間に基づいて算出し、静止画処理のうち、少なくともフィルタ処理を含む第１処理に使用される画素の数と第１時間とに基づいて、静止画を分割することで得られる部分画像のサイズを決定し、部分画像に対して、第１処理を動画処理の合間に実行する。
【発明の効果】
【００１１】
本件開示の集積回路および集積回路による画像処理方法は、動画撮影中に静止画処理を実行する場合に、１枚の静止画の処理にかかる時間を短縮できる。
【図面の簡単な説明】
【００１２】
【図１】集積回路および集積回路による画像処理方法の一実施形態を示す図である。
【図２】集積回路および集積回路による画像処理方法の別の実施形態を示す図である。
【図３】図２に示した画像処理部の一例を示す図である。
【図４】静止画の分割パターンの一例を示す図である。
【図５】図２に示した集積回路による動画処理および静止画処理の実行タイミングの一例を示す図である。
【図６】静止画処理が実行される場合の転送量の一例を示す図である。
【図７】静止画処理が実行される場合の転送量の別の例を示す図である。
【図８】静止画処理が実行される場合の転送量の別の例を示す図である。
【図９】静止画処理が実行される場合の転送量の別の例を示す図である。
【図１０】図２に示した集積回路の動作の一例を示す図である。
【図１１】図１０に示した部分画像のサイズ算出処理の一例を示す図である。
【図１２】集積回路および集積回路による画像処理方法の別の実施形態を示す図である。
【図１３】図１２に示した画像処理部の一例を示す図である。
【図１４】図１２に示した集積回路による動画処理および静止画処理の実行タイミングの一例を示す図である。
【図１５】図１２に示した集積回路の動作の一例を示す図である。
【図１６】図１５に示したサイズ決定処理の一例を示す図である。
【図１７】図１５に示したサイズ再計算処理の一例を示す図である。
【図１８】図１５に示した他モジュール状態判定処理および先頭アドレス設定処理の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を用いて実施形態を説明する。
【００１４】
図１は、集積回路および集積回路による画像処理方法の一実施形態を示す。図１の破線の矢印は、信号等の情報の流れを示す。図１に示す実施形態の集積回路１００は、動画撮影と静止画撮影とを実行可能なデジタルカメラ等の撮像装置に搭載され、画像処理装置として機能する。以下、動画撮影により得られる画像ＭＩＭＧ（ＭＩＭＧｉ、ＭＩＭＧｏ）は、動画ＭＩＭＧとも称され、静止画撮影により得られる画像ＳＩＭＧ（ＳＩＭＧｉ、ＳＩＭＧｍ、ＳＩＭＧｏ）は、静止画ＳＩＭＧとも称される。なお、画像は、データとして伝送される。
【００１５】
例えば、集積回路１００は、動画撮影が実行された場合、動画ＭＩＭＧｉを受け、動画ＭＩＭＧｉに対して画像処理を実行する。また、集積回路１００は、静止画撮影が実行された場合、静止画ＳＩＭＧｉを受け、静止画ＳＩＭＧｉに対して画像処理を実行する。画像処理は、例えば、画像の各画素をフィルタリングするフィルタ処理等を含む。以下、動画ＭＩＭＧを処理する画像処理は、動画処理とも称され、静止画ＳＩＭＧを処理する画像処理は、静止画処理とも称される。
【００１６】
集積回路１００は、動画ＭＩＭＧを処理する動画処理と静止画ＳＩＭＧを処理する静止画処理とを実行する画像処理部１０と、動画ＭＩＭＧｏおよび静止画ＳＩＭＧ（ＳＩＭＧｏ、ＳＩＭＧｍ）を記憶するメモリ等の記憶部２０とを有する。なお、動画ＭＩＭＧｏは、記憶部２０とは別の記憶部に記憶されてもよい。記憶部２０は、バスＢＵＳを介して画像処理部１０に接続される。記憶部２０は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリである。
【００１７】
画像処理部１０と記憶部２０とは、互いに同じ半導体チップに設けられてもよいし、互いに異なる半導体チップに設けられてもよい。また、画像処理部１０と記憶部２０とは、互いに同じパッケージに収納されてもよいし、互いに異なるパッケージに収納されてもよい。
【００１８】
画像処理部１０は、処理部１２、算出部１４およびサイズ決定部１６を有する。処理部１２は、動画処理と静止画処理とのいずれかを実行する。例えば、処理部１２は、動画撮影が実行された場合、動画ＭＩＭＧｉに対して動画処理を実行し、動画ＭＩＭＧｏを生成する。そして、処理部１２は、動画ＭＩＭＧｏをバスＢＵＳを介して記憶部２０に転送する。これにより、記憶部２０は、動画処理が実行された動画ＭＩＭＧｏを記憶する。
【００１９】
また、処理部１２は、静止画撮影が実行された場合、静止画ＳＩＭＧｉに対して静止画処理を実行し、静止画ＳＩＭＧｏを生成する。そして、処理部１２は、静止画ＳＩＭＧｏをバスＢＵＳを介して記憶部２０に転送する。これにより、記憶部２０は、静止画処理が実行された静止画ＳＩＭＧｏを記憶する。
【００２０】
なお、動画撮影中に静止画撮影が実行された場合、動画撮影が中断され、静止画撮影により得られた静止画ＳＩＭＧｉが処理部１２に転送される。このため、処理部１２は、動画撮影中に静止画撮影が実行された場合、静止画ＳＩＭＧｉに対して静止画処理のうちの所定の処理まで実行し、静止画ＳＩＭＧｍを生成する。そして、処理部１２は、静止画ＳＩＭＧｍをバスＢＵＳを介して記憶部２０に転送する。これにより、記憶部２０は、静止画処理の途中（所定の処理）まで実行された静止画ＳＩＭＧｍを記憶する。以下、静止画処理のうちの残りの処理（所定の処理の後の処理）は、第１処理とも称される。
【００２１】
例えば、第１処理には、フィルタ処理が含まれる。フィルタ処理では、フィルタ処理の対象となる画素（または、所定の単位の画素ブロック）は、周辺の画素の情報に基づいて補正される。フィルタ処理に使用される画素（フィルタ処理の対象となる画素の周辺の画素）の数は、フィルタリングの方法（例えば、タップ数）、静止画のサイズ、画素の間引き量等により異なる。フィルタ処理のタップ数は、ノイズ除去の強度、方向依存等により変化する。なお、フィルタ処理を含む第１処理は、動画処理の合間に実行される。
【００２２】
静止画ＳＩＭＧｍ対して所定の処理（静止画処理のうちの所定の処理）まで実行された後、中断していた動画撮影は、再開される。例えば、処理部１２は、静止画ＳＩＭＧｍを記憶部２０に転送した後、動画処理を再開する。そして、処理部１２は、動画処理の合間に、静止画ＳＩＭＧｍを分割した部分画像ＤＩＭＧｍとフィルタ処理に使用する画素ＰＰＸとを記憶部２０から読み出し、読み出した部分画像ＤＩＭＧｍに対して、第１処理（静止画処理のうちの残りの処理）を実行する。
【００２３】
このように、処理部１２は、静止画ＳＩＭＧｍを分割した部分画像ＤＩＭＧｍのそれぞれに対して、静止画処理の少なくとも一部の処理である第１処理を動画処理の合間に実行する。そして、静止画処理のうちの全ての処理が実行された部分画像ＤＩＭＧｏは、処理部１２からバスＢＵＳを介して記憶部２０に転送される。これにより、記憶部２０は、静止画処理が実行された部分画像ＤＩＭＧｏを記憶する。
【００２４】
なお、処理部１２は、１枚の静止画ＳＩＭＧｍに対応する複数の部分画像ＤＩＭＧｍに対して第１処理を実行することより、１枚の静止画ＳＩＭＧｏを生成する。したがって、記憶部２０は、１枚の静止画ＳＩＭＧｏに対応する複数の部分画像ＤＩＭＧｏを画像処理部１０から受け、静止画処理が実行された静止画ＳＩＭＧｏを記憶する。
【００２５】
ここで、部分画像ＤＩＭＧｍのサイズは、部分画像ＤＩＭＧｍに対する第１処理が実行される前に、算出部１４およびサイズ決定部１６により決定される。
【００２６】
算出部１４は、動画のフレーム間隔である１フレーム期間のうち、動画処理以外の処理に割り当て可能な第１時間を、動画処理にかかる時間に基づいて算出する。例えば、算出部１４は、撮影中の動画のフレームレート等に基づいて、動画処理にかかる時間を算出する。そして、算出部１４は、１フレーム期間のうち、動画処理にかかる時間を除いた時間を第１時間（すなわち、空き時間）としてを算出する。また、算出部１４は、第１時間を示す情報ＴＩＮＦをサイズ決定部１６に転送する。
【００２７】
サイズ決定部１６は、第１処理に使用される画素の数（例えば、第１処理に含まれるフィルタ処理に使用される画素ＰＰＸの数）と第１時間とに基づいて、部分画像ＤＩＭＧｍのサイズを決定する。例えば、サイズ決定部１６は、バスＢＵＳのデータ転送の能力（単位時間当たりに転送可能な情報量）に基づいて、第１時間に転送可能なデータ量の最大値（以下、最大転送可能量とも称する）を算出する。そして、サイズ決定部１６は、例えば、第１処理が実行される際に画像処理部１０と記憶部２０との間の画像の転送に使用されるバスＢＵＳの使用量（データ転送量）が最大転送可能量以下になるように、部分画像ＤＩＭＧｍのサイズを決定する。
【００２８】
これにより、集積回路１００は、部分画像ＤＩＭＧｍおよびフィルタ処理に使用される画素ＰＰＸを記憶部２０から読み出す処理にかかる時間と部分画像ＤＩＭＧｏを記憶部２０に転送する処理にかかる時間との合計を第１時間以下にできる。例えば、画像処理部１０は、部分画像ＤＩＭＧｍ等を記憶部２０から読み出す処理、第１処理、部分画像ＤＩＭＧｏを記憶部２０に転送する処理を並行して実行することにより、部分画像ＤＩＭＧｍに対する第１処理を第１時間内に実行できる。すなわち、動画撮影中に撮影された静止画ＳＩＭＧｍを分割した部分画像ＤＩＭＧｍに対する静止画処理を１フレーム期間に完了することができる。
【００２９】
このように、部分画像ＤＩＭＧｍのサイズは、第１処理に含まれるフィルタ処理に使用される画素の数に応じて決定される。例えば、フィルタ処理に使用される画素の数の増加に伴い、部分画像ＤＩＭＧｍのサイズは、小さくなる。これにより、集積回路１００は、画像処理部１０と記憶部２０との間のデータ転送量がバスＢＵＳのデータ転送の能力を超えることを抑止できる。この結果、部分画像ＤＩＭＧｍに対する第１処理を正常に完了させることができる。
【００３０】
また、フィルタ処理に使用される画素の数の減少に伴い、部分画像ＤＩＭＧｍのサイズは、大きくなる。これにより、バスＢＵＳの使用効率を向上させることができる。この結果、動画撮影中に静止画処理を実行する場合に、１枚の静止画ＳＩＭＧの処理にかかる時間を短縮できる。
【００３１】
なお、集積回路１００の構成は、図１に示す例に限定されない。例えば、処理部１２は、動画撮影中に静止画撮影が実行された場合、静止画処理を実行せずに、静止画ＳＩＭＧｉを静止画ＳＩＭＧｍとして記憶部２０に記憶してもよい。すなわち、処理部１２は、動画撮影中に静止画撮影が実行された場合、静止画処理のうちの全ての処理を第１処理（静止画処理の少なくとも一部の処理）として動画処理の合間に実行してもよい。
【００３２】
以上、図１に示す実施形態では、動画撮影中に静止画処理を実行する場合に、１枚の静止画ＳＩＭＧの処理にかかる時間を短縮できる。例えば、フィルタ処理に使用される画素の数の減少に伴い、部分画像ＤＩＭＧｍのサイズは、大きくなる。部分画像ＤＩＭＧｍのサイズが大きくなるにしたがい、静止画ＳＩＭＧｍを分割する際の分割数（部分画像ＤＩＭＧｍの数）は、少なくなる。第１処理が実行される部分画像ＤＩＭＧｍの数が少なくなるため、１枚の静止画ＳＩＭＧｍに対する第１処理を少ないフレーム数で実行することができる。すなわち、１枚の静止画ＳＩＭＧｍに対する静止画処理を少ないフレーム数で完了させることができる。
【００３３】
図２は、集積回路および集積回路による画像処理方法の別の実施形態を示す。図２の破線の矢印は、信号等の情報の流れを示す。図１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図２に示す実施形態の集積回路ＩＣ１は、動画撮影と静止画撮影とを実行可能なデジタルカメラ等の撮像装置ＣＡＭ１に搭載され、画像処理装置として機能する。
【００３４】
撮像装置ＣＡＭ１は、光学ユニットＬＥＮ、撮像素子ＩＳＥＮ、ＡＤ変換器ＡＤＣ、表示装置ＬＣＤおよび集積回路ＩＣ１を有する。光学ユニットＬＥＮは、被写体像を撮像素子ＩＳＥＮに結像させるレンズ等を有する。
【００３５】
撮像素子ＩＳＥＮは、光学ユニットＬＥＮを介して被写体を撮像する。例えば、撮像素子ＩＳＥＮは、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。撮像素子ＩＳＥＮは、光学ユニットＬＥＮを介して受けた光に応じた画素信号（露光により蓄積された電荷に対応する画素信号）をＡＤ変換部ＡＤＣに転送する。
【００３６】
ＡＤ変換器ＡＤＣは、撮像素子ＩＳＥＮから受けたアナログの画素信号をデジタルの画素信号（動画ＭＩＭＧまたは静止画ＳＩＭＧ）に変換する。表示装置ＬＣＤは、例えば、液晶ディスプレイであり、撮像装置ＣＡＭ１の撮影により得られる画像および各種情報等を表示する。
【００３７】
集積回路ＩＣ１は、撮影により得られる画像（動画撮影では動画ＭＩＭＧｉ、静止画撮影では静止画ＳＩＭＧｉ）をＡＤ変換器ＡＤＣから受ける。そして、集積回路ＩＣ１は、ＡＤ変換器ＡＤＣから受けた画像に対して画像処理を実行する。画像処理が実行された画像は、液晶ディスプレイ等の表示装置ＬＣＤに表示される。
【００３８】
集積回路ＩＣ１は、レンズ制御部ＬＣＴＬ、画像処理部ＩＰＵ１、記憶部ＭＥＭ、中央演算処理装置ＣＰＵ（以下、単にＣＰＵとも称する）、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥを有する。レンズ制御部ＬＣＴＬ、画像処理部ＩＰＵ１、記憶部ＭＥＭ、ＣＰＵ、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥは、バスＢＵＳに接続される。
【００３９】
レンズ制御部ＬＣＴＬは、光学ユニットＬＥＮを制御して、光学ズームの倍率および焦点等を調整する。
【００４０】
画像処理部ＩＰＵ１は、動画ＭＩＭＧを処理する動画処理と静止画ＳＩＭＧを処理する静止画処理とを実行する。例えば、画像処理部ＩＰＵ１は、ＡＤ変換器ＡＤＣから受けた動画ＭＩＭＧｉに対して動画処理を実行し、動画ＭＩＭＧｏを生成する。そして、画像処理部ＩＰＵ１は、動画ＭＩＭＧｏをバスＢＵＳを介して記憶部ＭＥＭに書き込む。
【００４１】
また、画像処理部ＩＰＵ１は、ＡＤ変換器ＡＤＣから受けた静止画ＳＩＭＧｉに対して静止画処理を実行し、静止画ＳＩＭＧｏを生成する。そして、画像処理部ＩＰＵ１は、静止画ＳＩＭＧｏをバスＢＵＳを介して記憶部ＭＥＭに書き込む。
【００４２】
あるいは、画像処理部ＩＰＵ１は、ＡＤ変換器ＡＤＣから受けた静止画ＳＩＭＧｉに対して、静止画処理の途中の処理まで実行し、静止画ＳＩＭＧｍを生成する。そして、画像処理部ＩＰＵ１は、静止画ＳＩＭＧｍをバスＢＵＳを介して記憶部ＭＥＭに書き込む。なお、静止画ＳＩＭＧｍは、動画撮影中に静止画撮影が実行された場合、記憶部ＭＥＭに記憶される。動画撮影中に静止画撮影が実行された場合、動画撮影は、静止画ＳＩＭＧｍが生成されるまで中断される。
【００４３】
静止画ＳＩＭＧｉに対して、静止画処理の途中の処理まで実行された後、動画撮影が再開される。このため、集積回路ＩＣ１は、静止画処理の全ての処理を静止画ＳＩＭＧｉに対して実行した後に動画撮影が再開される場合に比べて、動画撮影の中断時間を短縮できる。すなわち、撮像装置ＣＡＭ１は、静止画処理の全ての処理を静止画ＳＩＭＧｉに対して実行した後に動画撮影を再開する場合に比べて、動画撮影を再開するタイミングを早くできる。動画撮影が再開された後、静止画ＳＩＭＧｍに対して、静止画処理のうちの残りの処理（第１処理）が実行される。
【００４４】
例えば、画像処理部ＩＰＵ１は、動画処理の合間に、静止画ＳＩＭＧｍを分割した部分画像ＤＩＭＧｍとフィルタ処理に使用する画素ＰＰＸとを記憶部ＭＥＭから読み出し、読み出した部分画像ＤＩＭＧｍに対して、第１処理を実行する。部分画像ＤＩＭＧｍは、静止画ＳＩＭＧｍを分割した画像である。なお、画像処理部ＩＰＵ１の詳細は、図３で説明する。
【００４５】
記憶部ＭＥＭは、例えば、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリである。記憶部ＭＥＭは、動画ＭＩＭＧｏおよび静止画ＳＩＭＧ（ＳＩＭＧｏ、ＳＩＭＧｍ）を記憶する。なお、動画ＭＩＭＧｏは、記憶部ＭＥＭとは別の記憶部に記憶されてもよい。ＣＰＵは、撮像装置ＣＡＭ１の全体の動作等を制御する。
【００４６】
表示制御部ＤＣＴＬは、表示装置ＬＣＤに対する表示を制御する。例えば、動画撮影時には、表示制御部ＤＣＴＬは、画像処理部ＩＰＵ１で動画処理された動画ＭＩＭＧｏを記憶部ＭＥＭからバスＢＵＳを介して読み出し、読み出した動画ＭＩＭＧｏを表示装置ＬＣＤに表示する。メディア制御部ＭＣＴＬは、メモリカード、ＩＣカード、光ディスク等の外部記録メディアに対する各種情報の読み書きを制御する。
【００４７】
ディストーション補正部ＤＣＯＲは、画像の光学歪みを補正するディストーション補正を実行する。例えば、ディストーション補正部ＤＣＯＲは、画像処理部ＩＰＵ１で静止画処理された静止画ＳＩＭＧｏを記憶部ＭＥＭからバスＢＵＳを介して読み出し、読み出した静止画ＳＩＭＧｏの光学歪みを補正する。そして、ディストーション補正部ＤＣＯＲは、光学歪みを補正した静止画ＳＩＭＧをバスＢＵＳを介して記憶部ＭＥＭに書き込む。
【００４８】
圧縮伸長部ＣＯＤＥは、光学歪みを補正した画像を、ＪＰＥＧ（Joint Photographic Experts Group）形式等の所定の圧縮形式で圧縮する。圧縮された画像は、例えば、メディア制御部ＭＣＴＬ等を介して外部記録メディアに記憶されてもよいし、集積回路ＩＣ１内の記憶部（例えば、記憶部ＭＥＭ）に記憶されてもよい。また、圧縮伸長部ＣＯＤＥは、例えば、外部記録メディア等に記憶された画像（圧縮された画像）を再生する場合、圧縮された画像を伸長する。伸長された画像は、表示制御部ＤＣＴＬを介して、表示装置ＬＣＤに表示される。
【００４９】
このように、集積回路ＩＣ１は、動画処理と静止画処理とを共通の画像処理部ＩＰＵ１で処理する。例えば、動画処理では、リアルタイム性が重視されているため、集積回路ＩＣ１は、ＡＤ変換器ＡＤＣから受けた動画ＭＩＭＧｉを１フレーム毎に画像処理部ＩＰＵ１で処理し、画像処理部ＩＰＵ１で処理した動画ＭＩＭＧｏを記憶部ＭＥＭに記憶する。そして、集積回路ＩＣ１は、記憶部ＭＥＭに記憶した動画ＭＩＭＧｏを読み出し、ディストーション補正部ＤＣＯＲで歪みを補正し、記憶部ＭＥＭに書き戻す。さらに、集積回路ＩＣ１は、表示装置ＬＣＤに動画ＭＩＭＧを表示するため、記憶部ＭＥＭから動画ＭＩＭＧを読み出し、表示制御部ＤＣＴＬで表示処理を実行する。この一連の処理がフレーム毎に実行され、動画ＭＩＭＧが表示装置ＬＣＤに表示される。
【００５０】
なお、動画処理では、動画ＭＩＭＧのサイズは、例えば、表示装置ＬＣＤに表示するサイズに応じて決定される。例えば、動画ＭＩＭＧのサイズは、６４０×４８０画素のＶＧＡサイズ（約３０万画素）、１９２０×１２８０画素のＨＤＴＶサイズ（約２００万画素）等である。
【００５１】
静止画処理では、動画ＭＩＭＧのサイズより大きい静止画ＳＩＭＧ（例えば、１０００万画素以上の静止画ＳＩＭＧ）を処理する場合がある。なお、静止画処理では、静止画ＳＩＭＧが表示装置ＬＣＤにリアルタイムに表示されなくてもよいため、リアルタイム性の要求は、動画処理に比べて低い。このため、静止画処理では、画像処理部ＩＰＵ１は、静止画処理の途中の処理まで実行した静止画ＳＩＭＧｍを記憶部ＭＥＭに記憶する。そして、画像処理部ＩＰＵ１は、静止画処理の残りの処理（第１処理）を動画処理の合間に実行する。
【００５２】
なお、集積回路ＩＣ１の構成は、図２に示す例に限定されない。例えば、画像処理部ＩＰＵ１は、動画撮影中に静止画撮影が実行された場合、静止画処理を実行せずに、静止画ＳＩＭＧｉを静止画ＳＩＭＧｍとして記憶部ＭＥＭに記憶してもよい。
【００５３】
図３は、図２に示した画像処理部ＩＰＵ１の一例を示す。図３の破線の矢印は、信号等の情報の流れを示す。画像処理部ＩＰＵ１は、前処理部ＰＲＥＰ、変換処理部ＣＯＮＰ、バスコントローラＢＣＴＬ、タイマ部ＴＣＡＬ、サイズ決定部ＳＤＥＴおよびアドレス計算部ＡＣＡＬを有する。
【００５４】
前処理部ＰＲＥＰは、ＡＤ変換器ＡＤＣから画像ＭＩＭＧｉ、ＳＩＭＧｉを受け、画像ＭＩＭＧｍ、ＳＩＭＧｍを出力する。例えば、前処理部ＰＲＥＰは、画像処理のうちの前処理を画像ＭＩＭＧｉ、ＳＩＭＧｉに対して実行し、画像ＭＩＭＧｍ、ＳＩＭＧｍを生成する。前処理部ＰＲＥＰは、例えば、ベイヤーフォーマット部ＢＦＭＴ、リニアリティ補正部ＬＣＯＲ、ＯＢ（Optical Black）補正部ＯＣＯＲ、シェーディング補正部ＳＣＯＲ、画素欠陥補正部ＰＣＯＲ、フィルタ部ＦＩＬ１および倍率収差補正部ＡＣＯＲを有する。
【００５５】
ベイヤーフォーマット部ＢＦＭＴは、ＡＤ変換器ＡＤＣから受けた画像ＭＩＭＧｉ、ＳＩＭＧｉの各色（赤色、緑色および赤色）の画素を、ベイヤー配列になるように配置する。
【００５６】
リニアリティ補正部ＬＣＯＲは、ベイヤーフォーマット部ＢＦＭＴから受けた画像ＭＩＭＧ、ＳＩＭＧに対して、撮像素子ＩＳＥＮのリニアリティを色毎に補正するリニアリティ補正を実行する。
【００５７】
ＯＢ補正部ＯＣＯＲは、ＯＢ値を算出し、元の画像からＯＢ値を減算する。例えば、ＯＢ補正部ＯＣＯＲは、リニアリティ補正部ＬＣＯＲから受けた画像ＭＩＭＧ、ＳＩＭＧからＯＢ値を減算する。
【００５８】
シェーディング補正部ＳＣＯＲは、ＯＢ補正部ＯＣＯＲから受けた画像ＭＩＭＧ、ＳＩＭＧが平均的に一様な明るさになるように補正する。
【００５９】
画素欠陥補正部ＰＣＯＲは、シェーディング補正部ＳＣＯＲから受けた画像ＭＩＭＧ、ＳＩＭＧのノイズ画素（ノイズが発生した画素）に対して、画素欠陥補正を実行する。例えば、画素欠陥補正では、ノイズ画素は、ノイズ画素の周囲の画素（ノイズ画素と同じ色の画素）に置き換えられる。
【００６０】
フィルタ部ＦＩＬ１は、画素欠陥補正部ＰＣＯＲから受けた画像ＭＩＭＧ、ＳＩＭＧを平滑化する。
【００６１】
倍率収差補正部ＡＣＯＲは、フィルタ部ＦＩＬ１から受けた画像ＭＩＭＧ、ＳＩＭＧに対して、撮像素子ＩＳＥＮの面上で発生した色収差を補正する色収差補正を実行し、画像ＭＩＭＧｍ、ＳＩＭＧｍを生成する。そして、倍率収差補正部ＡＣＯＲは、画像ＭＩＭＧｍ、ＳＩＭＧｍを前処理部ＰＲＥＰの外部に出力する。
【００６２】
例えば、倍率収差補正部ＡＣＯＲは、動画撮影では、リアルタイム性が要求されるため、動画ＭＩＭＧｍを変換処理部ＣＯＮＰに転送する。また、倍率収差補正部ＡＣＯＲは、静止画撮影では、リアルタイム性の要求が動画撮影に比べて低いため、バスコントローラＢＣＴＬ、バスＢＵＳを介して記憶部ＭＥＭに静止画ＳＩＭＧｍを転送する。これにより、前処理部ＰＲＥＰの処理が実行された静止画ＳＩＭＧｍは、記憶部ＭＥＭに記憶される。なお、倍率収差補正部ＡＣＯＲは、動画撮影が実行されていない期間に静止画撮影が実行された場合、静止画ＳＩＭＧｍを変換処理部ＣＯＮＰに転送してもよい。
【００６３】
変換処理部ＣＯＮＰは、前処理部ＰＲＥＰの処理が実行された画像ＭＩＭＧｍ、ＤＩＭＧｍと画素ＰＰＸとを受け、ベイヤー配列の形式からＹＣｂＣｒ形式に変換した画像ＭＩＭＧｏ、ＤＩＭＧｏを出力する。なお、画像ＤＩＭＧｍは、前処理部ＰＲＥＰの処理が実行された静止画ＳＩＭＧｍを分割した部分画像であり、記憶部ＭＥＭからバスＢＵＳ、バスコントローラＢＣＴＬを介して変換処理部ＣＯＮＰに転送される。また、画素ＰＰＸは、変換処理部ＣＯＮＰで実行される処理（例えば、変換処理部ＣＯＮＰのフィルタ部ＦＩＬ２で実行されるフィルタ処理）で使用される画素（部分画像ＤＩＭＧｍの周辺の画素）である。画素ＰＰＸは、記憶部ＭＥＭからバスＢＵＳ、バスコントローラＢＣＴＬを介して変換処理部ＣＯＮＰに転送される。
【００６４】
変換処理部ＣＯＮＰは、例えば、ノイズ除去部ＮＲＥ、画素補間部ＰＩＮＴ、フィルタ部ＦＩＬ２、ガンマ補正部ＧＣＯＲ、ＹＣ変換部ＣＯＮおよびリサイズ部ＲＥＳＺを有する。
【００６５】
ノイズ除去部ＮＲＥは、ベイヤー配列に起因する色モアレ、格子状のノイズ、色むら等を除去するノイズ除去処理を、画像ＭＩＭＧｍ、ＤＩＭＧｍに対して実行する。
【００６６】
画素補間部ＰＩＮＴは、変換処理部ＣＯＮＰから受けた画像ＭＩＭＧ、ＤＩＭＧに対して、ベイヤー配列の画像の色を補間するデモザイク処理を実行する。
【００６７】
フィルタ部ＦＩＬ２は、画素補間部ＰＩＮＴから受けた画像ＭＩＭＧ、ＤＩＭＧに対して、空間フィルタ、色変換等のフィルタ処理を実行する。例えば、フィルタ部ＦＩＬ２は、フィルタ処理の対象となる処理領域（所定の大きさの画素ブロック）の周辺の画素を使用して、処理領域に対するフィルタ処理を実行する。したがって、画像ＤＩＭＧの縁部の領域に対するフィルタ処理は、画像ＤＩＭＧの周辺の画素ＰＰＸを使用して実行される。
【００６８】
ガンマ補正部ＧＣＯＲは、ＲＧＢ形式の画像に対してガンマ補正を実行する。例えば、ガンマ補正部ＧＣＯＲは、フィルタ部ＦＩＬ２から受けた画像ＭＩＭＧ、ＤＩＭＧに対して、ガンマ補正を実行する。
【００６９】
ＹＣ変換部ＣＯＮは、ガンマ補正部ＧＣＯＲから受けた画像ＭＩＭＧ、ＤＩＭＧに対して、ベイヤー配列の形式をＹＣｂＣｒ形式に変換するＹＣ変換処理を実行する。これにより、ＹＣｂＣｒ形式の画像ＭＩＭＧ、ＤＩＭＧが生成される。
【００７０】
リサイズ部ＲＥＳＺは、ＹＣ変換部ＣＯＮから受けた画像ＭＩＭＧ、ＤＩＭＧに対して、画像の縮小、拡大等のリサイズ処理を実行し、画像ＭＩＭＧｏ、ＤＩＭＧｏを生成する。そして、リサイズ部ＲＥＳＺは、画像ＭＩＭＧｏ、ＤＩＭＧｏを、バスコントローラＢＣＴＬ、バスＢＵＳを介して記憶部ＭＥＭに転送する。これにより、ＹＣｂＣｒ形式の画像ＭＩＭＧｏ、ＤＩＭＧｏは、記憶部ＭＥＭに記憶される。なお、リサイズ部ＲＥＳＺは、画像のサイズを変更しない場合、ＹＣ変換部ＣＯＮから受けた画像ＭＩＭＧ、ＤＩＭＧを、画像ＭＩＭＧｏ、ＤＩＭＧｏとして出力してもよい。
【００７１】
このように、画像処理部ＩＰＵ１は、動画ＭＩＭＧに対する画像処理（動画処理）では、リアルタイム性が要求されるため、ＡＤ変換器ＡＤＣから受けた動画ＭＩＭＧｉに対して、前処理部ＰＲＥＰの処理および変換処理部ＣＯＮＰの処理を実行する。そして、画像処理部ＩＰＵ１は、画像処理を実行した動画ＭＩＭＧｏを、バスＢＵＳを介して記憶部ＭＥＭに書き込む。
【００７２】
なお、画像処理部ＩＰＵ１は、静止画ＳＩＭＧに対する画像処理（静止画処理）では、リアルタイム性の要求が動画撮影に比べて低いため、変換処理部ＣＯＮＰの処理を動画処理の合間に実行する。例えば、画像処理部ＩＰＵ１は、ＡＤ変換器ＡＤＣから受けた動画ＭＩＭＧｉに対して前処理部ＰＲＥＰの処理を実行し、変換処理部ＣＯＮＰの処理を実行する前の静止画ＳＩＭＧｍを、バスＢＵＳを介して記憶部ＭＥＭに書き込む。そして、画像処理部ＩＰＵ１は、記憶部ＭＥＭに記憶した静止画ＳＩＭＧｍを、動画処理の空き時間等に記憶部ＭＥＭから分割して読み出し、変換処理部ＣＯＮＰで処理する。
【００７３】
すなわち、変換処理部ＣＯＮＰの処理は、静止画処理の少なくとも一部の処理である第１処理に対応する。以下では、第１処理のうち、フィルタ部ＦＩＬ２で実行されるフィルタ処理を、部分画像ＤＩＭＧｍの周辺の画素を最も多く使用する処理として、集積回路ＩＣ１の動作等を説明する。
【００７４】
なお、記憶部ＭＥＭから読み出される部分画像ＤＩＭＧｍ（静止画ＳＩＭＧｍを分割した画像）のサイズは、タイマ部ＴＣＡＬ、サイズ決定部ＳＤＥＴにより決定される。
【００７５】
タイマ部ＴＣＡＬは、動画ＭＩＭＧのフレーム間隔である１フレーム期間のうち、動画処理以外の処理に割り当て可能な第１時間を、動画処理にかかる時間に基づいて算出する算出部の一例である。例えば、タイマ部ＴＣＡＬは、動画撮影中に静止画処理が実行される場合、動画のフレームレートを検出し、検出したフレームレートに対応する空き時間を、静止画処理に使用可能な第１時間として算出する。そして、タイマ部ＴＣＡＬは、算出した第１時間を示す情報ＴＩＮＦをサイズ決定部ＳＤＥＴに転送する。
【００７６】
なお、複数のフレームレートの各々に対応する空き時間は、予め算出される。例えば、タイマ部ＴＣＡＬは、複数のフレームを用いて空き時間を測定し、測定した空き時間のうちの最も短い空き時間を、フレームレートに対応する空き時間として予め算出する。
【００７７】
サイズ決定部ＳＤＥＴは、バスＢＵＳのデータ転送の能力（単位時間当たりに転送可能な情報量）に基づいて、第１時間に転送可能なデータの最大転送可能量を算出する。そして、サイズ決定部ＳＤＥＴは、例えば、第１処理が実行される際に画像処理部ＩＰＵ１と記憶部ＭＥＭとの間の画像の転送に使用されるバスＢＵＳの使用量（データ転送量）が最大転送可能量以下になるように、部分画像ＤＩＭＧｍのサイズを決定する。部分画像ＤＩＭＧｍのサイズの算出方法は、図６以降で説明する。
【００７８】
タイマ部ＴＣＡＬおよびサイズ決定部ＳＤＥＴが画像処理部ＩＰＵ１内に設けられるため、バスＢＵＳを使用するアクセスを低減することができる。例えば、図２に示したＣＰＵが部分画像ＤＩＭＧｍのサイズを算出する場合、第１時間を示す情報ＴＩＮＦは、画像処理部ＩＰＵ１からバスＢＵＳを介してＣＰＵに転送される。また、部分画像ＤＩＭＧｍのサイズを示す情報は、ＣＰＵからバスＢＵＳを介して画像処理部ＩＰＵ１に転送される。
【００７９】
これに対し、図３に示す画像処理部ＩＰＵ１では、第１時間を示す情報ＴＩＮＦは、バスＢＵＳを介さずにサイズ決定部ＳＤＥＴに転送される。また、部分画像ＤＩＭＧｍのサイズを示す情報は、バスＢＵＳを介さずにアドレス計算部ＡＣＡＬに転送される。これにより、バスＢＵＳを使用するアクセスを低減することができる。この結果、画像処理部ＩＰＵ１は、静止画処理に割り当てる時間が短くなることを抑制できる。
【００８０】
アドレス計算部ＡＣＡＬは、部分画像ＤＩＭＧｍのサイズを示す情報をサイズ決定部ＳＤＥＴから受ける。そして、アドレス計算部ＡＣＡＬは、記憶部ＭＥＭに記憶された画像ＳＩＭＧｍのうちの転送対象の画像（例えば、部分画像ＤＩＭＧｍと画素ＰＰＸとを含む領域の画像）の先頭アドレスを、部分画像ＤＩＭＧｍのサイズに基づいて算出する。また、アドレス計算部ＡＣＡＬは、転送対象の画像ＤＩＭＧｍの先頭アドレスを、バスコントローラＢＣＴＬに通知する。
【００８１】
バスコントローラＢＣＴＬは、第１処理に使用される画素ＰＰＸおよび部分画像ＤＩＭＧｍを記憶部ＭＥＭからバスＢＵＳを介して受け、第１処理が実行された部分画像ＤＩＭＧｏをバスＢＵＳを介して記憶部ＭＥＭに転送する転送部の一例である。バスコントローラＢＣＴＬは、画像処理部ＩＰＵ１と記憶部ＭＥＭとの間のバスＢＵＳを介したデータ転送の制御を実行する。
【００８２】
例えば、バスコントローラＢＣＴＬは、アドレス計算部ＡＣＡＬから通知された先頭アドレスに対応する画像（部分画像ＤＩＭＧｍ、画素ＰＰＸ）を、記憶部ＭＥＭからバスＢＵＳを介して読み出す。そして、バスコントローラＢＣＴＬは、記憶部ＭＥＭからバスＢＵＳを介して読み出した画像（部分画像ＤＩＭＧｍ、画素ＰＰＸ）を、変換処理部ＣＯＮＰに転送する。
【００８３】
また、バスコントローラＢＣＴＬは、変換処理部ＣＯＮＰから受けた画像ＭＩＭＧｏ、ＤＩＭＧｏをバスＢＵＳを介して記憶部ＭＥＭに書き込む。あるいは、バスコントローラＢＣＴＬは、前処理部ＰＲＥＰから受けた画像ＳＩＭＧｍをバスＢＵＳを介して記憶部ＭＥＭに書き込む。
【００８４】
なお、画像処理部ＩＰＵ１の構成は、図３に示す例に限定されない。例えば、画像処理部ＩＰＵ１は、動画撮影が実行されていない期間に静止画撮影が実行された場合、ＡＤ変換器ＡＤＣから受けた静止画ＳＩＭＧｉに対して、前処理部ＰＲＥＰの処理および変換処理部ＣＯＮＰの処理を実行してもよい。そして、画像処理部ＩＰＵ１は、画像処理を実行した静止画ＳＩＭＧｏを、バスＢＵＳを介して記憶部ＭＥＭに書き込んでもよい。
【００８５】
また、画像処理部ＩＰＵ１は、フレームレート、フィルタ処理に使用される画素の数、サイズ決定部ＳＤＥＴで算出した部分画像ＤＩＭＧのサイズ等を関連付けて記憶する学習メモリ部を有してもよい。これにより、例えば、学習メモリ部に記憶された条件と同じ条件で部分画像ＤＩＭＧｍのサイズを決定する場合、部分画像ＤＩＭＧｍのサイズの決定を、学習メモリ部を用いない場合に比べて高速にできる。
【００８６】
また、変換処理部ＣＯＮＰは、ＹＣｂＣｒ形式の画像（画像ＭＩＭＧ、ＤＩＭＧ等）の代わりにＲＧＢ形式の画像を生成してもよいし、ＹＣｂＣｒ形式の画像とＲＧＢ形式の画像との両方を生成してもよい。
【００８７】
また、記憶部ＭＥＭに記憶される静止画ＳＩＭＧｍは、図３に示す例に限定されない。例えば、画像処理部ＩＰＵ１は、動画撮影中に静止画撮影が実行された場合、ＡＤ変換器ＡＤＣから受けた静止画ＳＩＭＧｉを静止画ＳＩＭＧｍとして記憶部ＭＥＭに記憶してもよい。この場合、画像処理部ＩＰＵ１は、前処理部ＰＲＥＰの処理および変換処理部ＣＯＮＰの処理を第１処理として、動画処理の合間に実行する。あるいは、画像処理部ＩＰＵ１は、動画撮影中に静止画撮影が実行された場合、ベイヤーフォーマット部ＢＦＭＴから出力される静止画ＳＩＭＧを静止画ＳＩＭＧｍとして記憶部ＭＥＭに記憶してもよい。この場合、画像処理部ＩＰＵ１は、リニアリティ補正部ＬＣＯＲ以降の処理を第１処理として、動画処理の合間に実行する。
【００８８】
図４は、静止画ＳＩＭＧｍの分割パターンの一例を示す。なお、図４は、１枚の静止画ＳＩＭＧｍ（処理対象のフレームの画像）を水平方向（図４の横方向）に３分割した短冊型の例と、静止画ＳＩＭＧｍを水平方向および垂直方向（図４の縦方向）にそれぞれ３分割した格子型の例とを示す。
【００８９】
図４の水平方向サイズＸｓは、静止画ＳＩＭＧｍの水平方向のサイズ（単位は、画素数）を示し、垂直方向サイズＹｓは、静止画ＳＩＭＧｍの垂直方向のサイズ（単位は、画素数）を示す。また、水平方向サイズＸｄは、部分画像ＤＩＭＧｍの水平方向のサイズＸｄ（水平方向の分割サイズＸｄ）を示し、垂直方向サイズＹｄは、部分画像ＤＩＭＧｍの垂直方向のサイズＹｄ（垂直方向の分割サイズＹｄ）を示す。
【００９０】
水平のりしろｈは、フィルタ処理に使用される水平方向の画素の数を示し、垂直のりしろｖは、フィルタ処理に使用される垂直方向の画素の数を示す。図４に示す例では、水平のりしろｈは、左右で同一のサイズであり、垂直のりしろｖは、上下で同一のサイズである。以下、水平のりしろｈおよび垂直のりしろｖは、のりしろｈ、ｖとも称される。
【００９１】
静止画ＳＩＭＧｍが短冊状に分割された場合（図４の短冊型）、部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から水平のりしろｈだけ広げた領域が、記憶部ＭＥＭから読み出される。例えば、静止画ＳＩＭＧｍ内の左端の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から右に水平のりしろｈだけ広げた領域が記憶部ＭＥＭから読み出される（図４の短冊型の破線の矢印）。
【００９２】
また、静止画ＳＩＭＧｍ内の中央の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左右に水平のりしろｈだけ広げた領域（図４の短冊型の網掛け部分）が、記憶部ＭＥＭから読み出される。そして、静止画ＳＩＭＧｍ内の右端の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左に水平のりしろｈだけ広げた領域が記憶部ＭＥＭから読み出される。
【００９３】
したがって、静止画ＳＩＭＧｍ内の中央の部分画像ＤＩＭＧｍに対するフィルタ処理が実行される場合、画像処理部ＩＰＵ１と記憶部ＭＥＭとの間のバスＢＵＳを介したデータ転送のデータ量は、最大になる。なお、最大転送量（単位は、画素数）は、記憶部ＭＥＭから読み出される画素（部分画像ＤＩＭＧｍおよび画素ＰＰＸ）と記憶部ＭＥＭに書き込まれる画素（部分画像ＤＩＭＧｏ）の数の合計である。
【００９４】
例えば、短冊型の最大転送量ＴＲｍａｘ１（単位は、画素数）は、分割数が３以上の場合、静止画ＳＩＭＧｍの垂直方向サイズＹｓ、部分画像ＤＩＭＧｍの水平方向サイズＸｄおよび水平のりしろｈを用いて、式（１）で表される。なお、式（１）の”＊”は、乗算を示す。
【００９５】
TRmax1=2*Ys*(Xd+h)  ・・・（１）
静止画ＳＩＭＧｍが格子状に分割された場合（図４の格子型）、部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から水平のりしろｈおよび垂直のりしろｖだけ広げた領域が、記憶部ＭＥＭから読み出される。例えば、静止画ＳＩＭＧｍ内の左上の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から右に水平のりしろｈおよび下に垂直のりしろｖだけ広げた領域が記憶部ＭＥＭから読み出される（図４の格子型の破線の矢印）。
【００９６】
また、静止画ＳＩＭＧｍ内の上側中央の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左右に水平のりしろｈおよび下に垂直のりしろｖだけ広げた領域が記憶部ＭＥＭから読み出される。静止画ＳＩＭＧｍ内の右上の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左に水平のりしろｈおよび下に垂直のりしろｖだけ広げた領域が記憶部ＭＥＭから読み出される。
【００９７】
静止画ＳＩＭＧｍ内の左側中央の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から右に水平のりしろｈおよび上下に垂直のりしろｖだけ広げた領域が、記憶部ＭＥＭから読み出される。そして、静止画ＳＩＭＧｍ内の中央の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左右に水平のりしろｈおよび上下に垂直のりしろｖだけ広げた領域（図４の格子型の網掛け部分）が、記憶部ＭＥＭから読み出される。
【００９８】
静止画ＳＩＭＧｍ内の右側中央の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左に水平のりしろｈおよび上下に垂直のりしろｖだけ広げた領域が、記憶部ＭＥＭから読み出される。
【００９９】
静止画ＳＩＭＧｍ内の左下の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から右に水平のりしろｈおよび上に垂直のりしろｖだけ広げた領域が記憶部ＭＥＭから読み出される。静止画ＳＩＭＧｍ内の下側中央の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左右に水平のりしろｈおよび上に垂直のりしろｖだけ広げた領域が記憶部ＭＥＭから読み出される。静止画ＳＩＭＧｍ内の右下の部分画像ＤＩＭＧｍに対するフィルタ処理では、部分画像ＤＩＭＧの境界から左に水平のりしろｈおよび上に垂直のりしろｖだけ広げた領域が記憶部ＭＥＭから読み出される。
【０１００】
したがって、静止画ＳＩＭＧｍ内の中央の部分画像ＤＩＭＧｍに対するフィルタ処理が実行される場合、画像処理部ＩＰＵ１と記憶部ＭＥＭとの間のバスＢＵＳを介したデータ転送のデータ量は、最大になる。格子型の最大転送量ＴＲｍａｘ２（単位は、画素数）は、水平方向および垂直方向の分割数がそれぞれ３以上の場合、部分画像ＤＩＭＧｍの水平方向サイズＸｄおよび垂直方向サイズＹｄと、のりしろｖ、ｈとを用いて、式（２）で表される。
【０１０１】
TRmax2=2*(Xd*Yd+Xd*v+Yd*h)+4*v*h  ・・・（２）
また、１枚の静止画ＳＩＭＧｍに対する第１処理が終了するまでの画像処理部ＩＰＵ１と記憶部ＭＥＭとの間のバスＢＵＳを介したデータ転送の総転送量ＴＲａは、水平方向の分割数Ｔｘ、垂直方向の分割数Ｔｙ等を用いて、式（３）で表される。
【０１０２】
TRa=2*Xs*Ys+2*Xs*v*(Ty-1)+2*Ys*h*(Tx-1)+4*v*h*(Tx-1)*(Ty-1)  ・・・（３）
なお、水平方向の分割数Ｔｘは、静止画ＳＩＭＧｍの水平方向サイズＸｓを部分画像ＤＩＭＧｍの水平方向サイズＸｄで除算することにより算出される（Ｔｘ＝Ｘｓ／Ｘｄ）。また、垂直方向の分割数Ｔｙは、静止画ＳＩＭＧｍの垂直方向サイズＹｓを部分画像ＤＩＭＧｍの垂直方向サイズＹｄで除算することにより算出される（Ｔｙ＝Ｙｓ／Ｙｄ）。
【０１０３】
短冊型では、総転送量ＴＲａは、式（３）の分割数Ｔｙに１を代入した式（４）で表される。
【０１０４】
TRa=2*Xs*Ys+2*Ys*h*(Tx-1)  ・・・（４）
サイズ決定部ＳＤＥＴは、例えば、最大転送量ＴＲｍａｘ（式（１）のＴＲｍａｘ１または式（２）のＴＲｍａｘ２）がバスＢＵＳの空き時間の最大転送可能量（第１時間に転送可能なデータ量の最大値）以下になるように、部分画像ＤＩＭＧｍのサイズを決定する。例えば、サイズ決定部ＳＤＥＴは、最大転送量ＴＲｍａｘがバスＢＵＳの空き時間の最大転送可能量以下になる分割パターンのうち、分割数が最少になる分割パターンを選択し、選択した分割パターンに基づくサイズを部分画像ＤＩＭＧｍのサイズに決定する。
【０１０５】
なお、最大転送量ＴＲｍａｘがバスＢＵＳの空き時間の最大転送可能量以下になる分割パターンは、部分画像ＤＩＭＧｍに対する第１処理にかかる時間が第１時間（空き時間）以下になる分割パターンに対応する。すなわち、サイズ決定部ＳＤＥＴは、部分画像ＤＩＭＧｍに対する第１処理にかかる時間が第１時間以下になる分割パターンのうち、分割数が最少になる分割パターンを算出し、算出した分割パターンに基づくサイズを部分画像ＤＩＭＧｍのサイズに決定する。
【０１０６】
図５は、図２に示した集積回路ＩＣ１による動画処理および静止画処理の実行タイミングの一例を示す。なお、図５に示す動画処理は、図３に示した前処理部ＰＲＥＰおよび変換処理部ＣＯＮＰで実行される画像処理とバスコントローラＢＣＴＬで実行される転送処理（画像ＭＩＭＧｏを記憶部ＭＥＭに書き込む処理等）とを含む。静止画処理は、第１処理であり、変換処理部ＣＯＮＰで実行される画像処理とバスコントローラＢＣＴＬで実行される転送処理（画像ＤＩＭＧｍおよび画素ＰＰＸを記憶部ＭＥＭから読み出す処理と画像ＤＩＭＧｏを記憶部ＭＥＭに書き込む処理等）とを含む。また、図５に示すＶＤ信号は、垂直同期信号であり、ＶＤ信号の周期は、動画のフレーム間隔であるフレーム期間ＦＴに対応する。
【０１０７】
図５に示す比較例１、比較例２および比較例３は、部分画像ＤＩＭＧｍのサイズが固定されている場合の静止画処理の実行タイミングの一例を示す。例えば、比較例１および比較例２は、第１処理に使用される画素の数が部分画像ＤＩＭＧｍのサイズを固定した際に想定していた画素数より少ない場合の静止画処理の実行タイミングに対応する。また、比較例３は、第１処理に使用される画素の数が部分画像ＤＩＭＧｍのサイズを固定した際に想定していた画素数より多い場合の静止画処理の実行タイミングに対応する。
【０１０８】
集積回路ＩＣ１は、各フレーム期間ＦＴ（ＦＴ１、ＦＴ２、ＦＴ３、ＦＴ４）に、各フレームＦＲＭ（ＦＲＭ１、ＦＲＭ２、ＦＲＭ３、ＦＲＭ４）の動画ＭＩＭＧに対して、動画処理を実行する。そして、集積回路ＩＣ１は、フレーム期間ＦＴ１、ＦＴ２、ＦＴ３の動画処理の空き時間ＳＴに、静止画ＳＩＭＧｍを分割した部分画像ＤＩＭＧｍに対して静止画処理を実行する。部分画像ＤＩＭＧｍのサイズが第１処理に使用される画素の数と空き時間ＳＴとに基づいて決定されるため、各フレーム期間ＦＴの空き時間ＳＴを有効に使用して静止画処理（第１処理）を実行させることができる。例えば、図５に示す例では、１枚の静止画ＳＩＭＧｍに対する静止画処理は、フレーム期間ＦＴ３に完了する。
【０１０９】
これに対し、比較例１および比較例２では、集積回路ＩＣ１による静止画処理に比べて、各フレーム期間ＦＴの空き時間ＳＴを有効に使用していないため、１枚の静止画ＳＩＭＧｍに対する静止画処理は、フレーム期間ＦＴ４に完了する。また、比較例３では、部分画像ＤＩＭＧｍに対する第１処理にかかる時間がフレーム期間ＦＴの空き時間ＳＴを超えてるため、部分画像ＤＩＭＧｍに対する静止画処理（第１処理）は、正常に実行されない。
【０１１０】
このように、集積回路ＩＣ１は、比較例１および比較例２に比べて、静止画処理にかかるフレーム数を削減できる。また、集積回路ＩＣ１は、部分画像ＤＩＭＧｍに対する第１処理にかかる時間がフレーム期間ＦＴの空き時間ＳＴを超えることを抑止できる。この結果、部分画像ＤＩＭＧｍに対する第１処理を正常に完了させることができる。すなわち、１枚の静止画ＳＩＭＧｍに対する静止画処理を正常に完了させることができる。
【０１１１】
図６は、静止画処理が実行される場合の転送量の一例を示す。図６に示す例では、静止画ＳＩＭＧｍの水平方向サイズＸｓは、１９２０画素であり、垂直方向サイズＹｓは、１０８０画素である。また、水平のりしろｈは、２画素であり、垂直のりしろｖは、１画素である。そして、空き時間ＳＴに転送可能な最大データ量（最大転送可能量）は、１７７０００画素である。図６の網掛けは、サイズ決定部ＳＤＥＴにより決定された分割パターンを示す。また、図６に示す分割パターンの３０×１等の左側の数字は、水平方向の分割数を示し、右側の数字は、垂直方向の分割数を示す。
【０１１２】
サイズ決定部ＳＤＥＴは、式（１）で示した最大転送量ＴＲｍａｘ１が１７７０００以下になる短冊型の分割サイズＸｄを算出する。なお、分割サイズＸｄは、分割サイズＸｄの整数倍が静止画ＳＩＭＧｍの水平方向サイズＸｓになるように算出される。
【０１１３】
式（１）より、分割サイズＸｄは、７９．９４４以下である。例えば、分割サイズＸｄは、分割サイズＸｄの整数倍が静止画ＳＩＭＧｍの水平方向サイズＸｓになる値であるため、６４（＝１９２０／３０）である。すなわち、短冊型の場合、静止画ＳＩＭＧｍを３０分割することにより、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴに実行することができる。なお、静止画ＳＩＭＧｍを２４分割した場合、分割サイズＸｄが８０（＝１９２０／２４＞７９．９４４）となるため、第１処理により発生するデータ転送を、フレーム期間ＦＴの空き時間ＳＴ内に完了させることができない。
【０１１４】
また、サイズ決定部ＳＤＥＴは、分割数が短冊型の分割数以下で、かつ、式（２）で示した最大転送量ＴＲｍａｘ２が１７７０００以下になる格子型の分割パターンを算出する。そして、サイズ決定部ＳＤＥＴは、最大転送量ＴＲｍａｘ２が１７７０００以下になる分割パターンのうち、分割数が最少になる分割パターンを算出する。
【０１１５】
分割数が短冊型の分割数以下で、かつ、最大転送量ＴＲｍａｘ２が１７７０００以下になる分割パターンは、５×６の３０分割、３×９の２７分割、５×５の２５分割、６×４の２４分割、４×６の２４分割である。なお、５×４の２０分割および４×５の２０分割では、最大転送量ＴＲｍａｘ２が１７７０００を超えるため、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴ内に完了させることができない。
【０１１６】
図６に示す例では、５×６の３０分割、３×９の２７分割、５×５の２５分割、６×４の２４分割、４×６の２４分割の分割パターンのうち、分割数が最少になる分割パターンは、６×４の２４分割の分割パターンおよび４×６の２４分割の分割パターンである。また、４×６の２４分割の分割パターンは、６×４の２４分割の分割パターンに比べて、式（３）で示した総転送量ＴＲａを少なくできる。
【０１１７】
したがって、図６に示す例では、４×６の２４分割の分割パターンが最も効率のよい転送となる。例えば、４×６の２４分割の分割パターンでは、短冊型（３０×１の３０分割）に比べて、６フレーム早く静止画処理を完了させることができる。
【０１１８】
ここで、例えば、部分画像ＤＩＭＧｍのサイズが３８４×２１６画素（図８に示す条件で選択される分割パターン）で固定されている場合、１枚の静止画ＳＩＭＧmに対する第１処理は、２５フレームで終了する。したがって、４×６の２４分割の分割パターンでは、部分画像ＤＩＭＧｍのサイズが３８４×２１６画素で固定されている場合に比べて、１フレーム早く静止画処理を完了させることができる。
【０１１９】
図７は、静止画処理が実行される場合の転送量の別の例を示す。図７の網掛け等の意味は、図６と同様である。図７に示す例では、静止画ＳＩＭＧｍの水平方向サイズＸｓは、１９２０画素であり、垂直方向サイズＹｓは、１０８０画素である。また、水平のりしろｈは、２画素であり、垂直のりしろｖは、２画素である。そして、空き時間ＳＴに転送可能な最大データ量（最大転送可能量）は、１７７０００画素である。すなわち、図７に示す例は、垂直のりしろｖの画素数が図６に示した例と異なる。
【０１２０】
短冊型の場合、図６で説明したように、静止画ＳＩＭＧｍを３０分割することにより、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴに実行することができる。
【０１２１】
また、サイズ決定部ＳＤＥＴは、図６で説明したように、分割数が短冊型の分割数以下で、かつ、式（２）で示した最大転送量ＴＲｍａｘ２が１７７０００以下になる格子型の分割パターンを算出する。そして、サイズ決定部ＳＤＥＴは、最大転送量ＴＲｍａｘ２が１７７０００以下になる分割パターンのうち、分割数が最少になる分割パターンを算出する。
【０１２２】
図７に示す例では、５×６の３０分割、３×９の２７分割、５×５の２５分割、６×４の２４分割、４×６の２４分割の分割パターンのうち、分割数が最少になる分割パターンは、６×４の２４分割の分割パターンおよび４×６の２４分割の分割パターンである。なお、６×４の２４分割の分割パターンは、４×６の２４分割の分割パターンに比べて、式（３）で示した総転送量ＴＲａを少なくできる。
【０１２３】
したがって、図７に示す例では、６×４の２４分割の分割パターンが最も効率のよい転送となる。例えば、６×４の２４分割の分割パターンでは、短冊型（３０×１の３０分割）に比べて、６フレーム早く静止画処理を完了させることができる。
【０１２４】
図８は、静止画処理が実行される場合の転送量の別の例を示す。図８の網掛け等の意味は、図６と同様である。図８に示す例では、静止画ＳＩＭＧｍの水平方向サイズＸｓは、１９２０画素であり、垂直方向サイズＹｓは、１０８０画素である。また、水平のりしろｈは、２画素であり、垂直のりしろｖは、５画素である。そして、空き時間ＳＴに転送可能な最大データ量（最大転送可能量）は、１７７０００画素である。すなわち、図８に示す例は、垂直のりしろｖの画素数が図６に示した例と異なる。
【０１２５】
短冊型の場合、図６で説明したように、静止画ＳＩＭＧｍを３０分割することにより、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴに実行することができる。
【０１２６】
また、サイズ決定部ＳＤＥＴは、図６で説明したように、分割数が短冊型の分割数以下で、かつ、式（２）で示した最大転送量ＴＲｍａｘ２が１７７０００以下になる格子型の分割パターンを算出する。そして、サイズ決定部ＳＤＥＴは、最大転送量ＴＲｍａｘ２が１７７０００以下になる分割パターンのうち、分割数が最少になる分割パターンを算出する。
【０１２７】
分割数が短冊型の分割数以下で、かつ、最大転送量ＴＲｍａｘ２が１７７０００以下になる分割パターンは、５×６の３０分割、３×９の２７分割、５×５の２５分割である。なお、６×４の２４分割および４×６の２４分割では、最大転送量ＴＲｍａｘ２が１７７０００を超えるため、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴ内に完了させることができない。
【０１２８】
図８に示す例では、５×６の３０分割、３×９の２７分割、５×５の２５分割の分割パターンのうち、分割数が最少になる分割パターンは、５×５の２５分割の分割パターンである。したがって、図８に示す例では、５×５の２５分割の分割パターンが最も効率のよい転送となる。例えば、５×５の２５分割の分割パターンでは、短冊型（３０×１の３０分割）に比べて、５フレーム早く静止画処理を完了させることができる。
【０１２９】
ここで、例えば、部分画像ＤＩＭＧｍのサイズが４８０×１８０画素で固定されている場合、図８に示す条件では、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴ内に完了させることができない。この場合、部分画像ＤＩＭＧｍに対する静止画処理（第１処理）は、正常に実行されない。
【０１３０】
これに対し、集積回路ＩＣ１では、第１処理に使用される画素の数（のりしろｈ、ｖ）と空き時間ＳＴとに基づいて部分画像ＤＩＭＧｍのサイズが決定されるため、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴ内に完了させることができる。これにより、画像処理部ＰＵ１は、部分画像ＤＩＭＧｍに対する静止画処理（第１処理）を空き時間ＳＴ内に正常に実行できる。
【０１３１】
図９は、静止画処理が実行される場合の転送量の別の例を示す。図９の網掛け等の意味は、図６と同様である。図９に示す例では、静止画ＳＩＭＧｍの水平方向サイズＸｓは、１９２０画素であり、垂直方向サイズＹｓは、１０８０画素である。また、水平のりしろｈは、２画素であり、垂直のりしろｖは、５画素である。そして、空き時間ＳＴに転送可能な最大データ量（最大転送可能量）は、５３００００画素である。すなわち、図９に示す例は、空き時間ＳＴに転送可能な最大データ量が図８に示した例と異なる。
【０１３２】
サイズ決定部ＳＤＥＴは、式（１）で示した最大転送量ＴＲｍａｘ１が５３００００以下になる短冊型の分割サイズＸｄを算出する。なお、分割サイズＸｄは、分割サイズＸｄの整数倍が静止画ＳＩＭＧｍの水平方向サイズＸｓになるように算出される。
【０１３３】
式（１）より、分割サイズＸｄは、２４３．３７以下である。例えば、分割サイズＸｄは、分割サイズＸｄの整数倍が静止画ＳＩＭＧｍの水平方向サイズＸｓになる値であるため、２４０（＝１９２０／８）である。すなわち、短冊型の場合、静止画ＳＩＭＧｍを８分割することにより、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴに実行することができる。なお、静止画ＳＩＭＧｍを６分割した場合、分割サイズＸｄが３２０（＝１９２０／６＞２４３．３７）となるため、第１処理により発生するデータ転送を、フレーム期間ＦＴの空き時間ＳＴ内に完了させることができない。
【０１３４】
また、サイズ決定部ＳＤＥＴは、分割数が短冊型の分割数以下で、かつ、式（２）で示した最大転送量ＴＲｍａｘ２が５３００００以下になる格子型の分割パターンを算出する。そして、サイズ決定部ＳＤＥＴは、最大転送量ＴＲｍａｘ２が５３００００以下になる分割パターンのうち、分割数が最少になる分割パターンを算出する。
【０１３５】
分割数が短冊型の分割数以下で、かつ、最大転送量ＴＲｍａｘ２が５３００００以下になる分割パターンは、４×２の８分割、２×４の８分割である。なお、３×２の６分割および２×３の６分割では、最大転送量ＴＲｍａｘ２が５３００００を超えるため、第１処理により発生するデータ転送をフレーム期間ＦＴの空き時間ＳＴ内に完了させることができない。
【０１３６】
図９に示す例では、格子型の分割パターン（４×２の８分割および２×４の８分割の分割パターン）と短冊型の分割パターン（８×１の８分割）では、互いに分割数は同じである。また、４×２の８分割の分割パターンは、２×４の８分割の分割パターンに比べて、式（３）で示した総転送量ＴＲａを少なくでき、８×１の８分割の分割パターン（短冊型）は、４×２の８分割の分割パターンに比べて、総転送量ＴＲａを少なくできる。したがって、図９に示す例では、８×１の８分割の分割パターン（短冊型）が最も効率のよい転送となる。
【０１３７】
図１０は、図２に示した集積回路ＩＣ１の動作の一例を示す。なお、図１０は、動画撮影中に静止画処理が実行される場合の集積回路ＩＣ１の動作の一例を示す。図１０の動作は、ハードウェアのみで実現されてもよいし、ハードウェアをソフトウェアにより制御することにより実現されてもよい。
【０１３８】
ステップＳ１００では、画像処理部ＩＰＵ１は、動画処理を実行する。
【０１３９】
ステップＳ１１０では、集積回路ＩＣ１は、静止画処理を実行するか判定する。例えば、集積回路ＩＣ１は、静止画撮影の命令（ユーザによる撮影操作に応じた撮像装置ＣＡＭ１の命令）を動画撮影中に受けた場合、静止画処理を実行すると判定する。静止画処理を実行しない場合、集積回路ＩＣ１の動作は、ステップＳ１００に戻る。一方、静止画処理を実行する場合、集積回路ＩＣ１の動作は、ステップＳ１２０に移る。
【０１４０】
ステップＳ１２０では、タイマ部ＴＣＡＬは、図３で説明したように、動画のフレームレートを検出し、検出したフレームレートに対応する空き時間ＳＴを算出する。
【０１４１】
ステップＳ２００では、サイズ決定部ＳＤＥＴは、部分画像ＤＩＭＧｍのサイズ算出処理を実行する。サイズ算出処理では、図６等で説明したように、静止画ＳＩＭＧｍのサイズ、第１処理に使用される画素の数（のりしろｈ、ｖ）、ステップＳ１２０で算出した空き時間ＳＴ等に基づいて、部分画像ＤＩＭＧｍのサイズが決定される。なお、部分画像ＤＩＭＧｍのサイズ算出処理の詳細は、図１１で説明する。
【０１４２】
ステップＳ３００では、アドレス計算部ＡＣＡＬは、図３で説明したように、記憶部ＭＥＭに記憶された画像ＳＩＭＧｍのうちの転送対象の画像の先頭アドレスを、ステップＳ２００で決定した部分画像ＤＩＭＧｍのサイズに基づいて算出する。転送対象の画像は、図４等で説明したように、部分画像ＤＩＭＧｍと画素ＰＰＸと含む領域（例えば、部分画像ＤＩＭＧｍからのりしろｈ、ｖだけ広げた領域）の画像である。
【０１４３】
ステップＳ３１０では、画像処理部ＩＰＵ１は、ＶＤ信号（垂直同期信号）を検出したか判定する。ＶＤ信号が検出されない場合、集積回路ＩＣ１の動作は、ステップＳ３１０に戻る。一方、ＶＤ信号が検出された場合、集積回路ＩＣ１の動作は、ステップＳ３２０に移る。
【０１４４】
ステップＳ３２０では、画像処理部ＩＰＵ１は、ステップＳ１００の動画処理が実行されたフレームＦＲＭの次のフレームＦＲＭの動画ＭＩＭＧに対して、動画処理を開始する。
【０１４５】
ステップＳ３３０では、画像処理部ＩＰＵ１は、ステップＳ３２０の動画処理が終了したか判定する。例えば、画像処理部ＩＰＵ１は、動画処理の終了を示す割り込みが発生したか判定する。動画処理が終了していない場合、集積回路ＩＣ１の動作は、ステップＳ３３０に戻る。一方、動画処理が終了した場合、集積回路ＩＣ１の動作は、ステップＳ４００に移る。
【０１４６】
ステップＳ４００では、アドレス計算部ＡＣＡＬは、転送対象の画像の先頭アドレス（例えば、ステップＳ３００で算出した先頭アドレス、または、前のフレーム期間ＦＴに算出した先頭アドレス）をバスコントローラＢＣＴＬに設定する。これにより、バスコントローラＢＣＴＬは、部分画像ＤＩＭＧｍ等を記憶部ＭＥＭから変換処理部ＣＯＮＰに転送する。また、アドレス計算部ＡＣＡＬは、次のフレーム期間ＦＴにおける転送対象の画像の先頭アドレスを算出する。
【０１４７】
ステップＳ４１０では、画像処理部ＩＰＵ１は、部分画像ＤＩＭＧｍに対する静止画処理を開始する。例えば、バスコントローラＢＣＴＬは、部分画像ＤＩＭＧｍおよび画素ＰＰＸを含む領域の画素を記憶部ＭＥＭから変換処理部ＣＯＮＰに順次転送する。そして、変換処理部ＣＯＮＰは、第１処理の実行単位の画素ブロックを受ける度に、画素ブロックを用いて第１処理を実行する。そして、変換処理部ＣＯＮＰは、部分画像ＤＩＭＧｍのうち、第１処理が終了した領域の画像をバスコントローラＢＣＴＬを介して記憶部ＭＥＭに順次転送する。
【０１４８】
ステップＳ４２０では、画像処理部ＩＰＵ１は、部分画像ＤＩＭＧｍに対する静止画処理が終了したか判定する。例えば、画像処理部ＩＰＵ１は、部分画像ＤＩＭＧｍに対する静止画処理の終了を示す割り込みが発生したか判定する。部分画像ＤＩＭＧｍに対する静止画処理が終了していない場合、集積回路ＩＣ１の動作は、ステップＳ４２０に戻る。一方、部分画像ＤＩＭＧｍに対する静止画処理が終了した場合、集積回路ＩＣ１の動作は、ステップＳ５００に移る。
【０１４９】
ステップＳ５００では、画像処理部ＩＰＵ１は、１枚分の静止画ＳＩＭＧｍに対する静止画処理が終了したか判定する。例えば、画像処理部ＩＰＵ１は、１枚分の静止画ＳＩＭＧｍに対する静止画処理の終了を示す割り込みが発生したか判定する。１枚分の静止画ＳＩＭＧｍに対する静止画処理が終了していない場合、集積回路ＩＣ１の動作は、ステップＳ３１０に戻る。これにより、静止画ＳＩＭＧｍのうちの残りの部分画像ＤＩＭＧｍに対する第１処理は、次以降のフレーム期間ＦＴの空き時間ＳＴに実行される。
【０１５０】
一方、１枚分の静止画ＳＩＭＧｍに対する静止画処理が終了した場合、動画撮影中の静止画処理は終了する。なお、集積回路ＩＣ１の動作は、図１０に示す例に限定されない。
【０１５１】
図１１は、図１０に示した部分画像ＤＩＭＧｍのサイズ算出処理の一例を示す。
【０１５２】
ステップＳ２０２では、サイズ決定部ＳＤＥＴは、図６等で説明したように、短冊水平サイズ（短冊状に分割する際の分割サイズＸｄ）を算出する。短冊水平サイズＸｄ（画素数）は、例えば、式（５）および式（６）を満たす正の整数である。式（５）の最大転送可能量ＴＲｂｕｓは、空き時間ＳＴに転送可能な最大データ量（画素数）であり、式（６）の水平方向の分割数Ｔｘは、正の整数である。
【０１５３】
Xd≦TRbus/(2*Ys)-2*h  ・・・（５）
Xd*Tx=Xs  ・・・（６）
例えば、サイズ決定部ＳＤＥＴは、式（５）および式（６）を満たす正の整数のうちの最大値を短冊水平サイズＸｄとして算出する。すなわち、サイズ決定部ＳＤＥＴは、図６等で説明したように、静止画ＳＩＭＧｍの垂直方向サイズＹｓおよび水平方向サイズＸｓ、水平のりしろｈ、最大転送可能量ＴＲｂｕｓ等に基づいて、短冊水平サイズＸｄを算出する。
【０１５４】
ステップＳ２０４では、サイズ決定部ＳＤＥＴは、短冊型の分割数を算出する。例えば、サイズ決定部ＳＤＥＴは、ステップＳ２０２で算出した短冊水平サイズＸｄを式（６）に代入することにより、短冊型の分割数Ｔｘを算出する。
【０１５５】
ステップＳ２０６では、サイズ決定部ＳＤＥＴは、図６等で説明したように、格子型の分割パターンを算出する。例えば、サイズ決定部ＳＤＥＴは、ステップＳ２０４で算出した短冊型の分割数Ｔｘ以下の分割数で、かつ、図４で説明した式（２）の最大転送量ＴＲｍａｘ２が最大転送可能量ＴＲｂｕｓ以下になる格子型の分割パターンを算出する。
【０１５６】
ステップＳ２０８では、サイズ決定部ＳＤＥＴは、各分割パターンの最大転送量ＴＲｍａｘおよび総転送量ＴＲａを算出する。例えば、サイズ決定部ＳＤＥＴは、ステップＳ２０２等で算出した短冊型の分割パターンについて、図４で説明した式（１）および式（４）を用いて、最大転送量ＴＲｍａｘ１および総転送量ＴＲａを算出する。また、サイズ決定部ＳＤＥＴは、ステップＳ２０６で算出した分割パターンについて、式（２）および式（３）を用いて、最大転送量ＴＲｍａｘ２および総転送量ＴＲａを算出する。
【０１５７】
ステップＳ２１０では、サイズ決定部ＳＤＥＴは、ステップＳ２０６で算出した格子型の分割パターンが複数存在するか判定する。すなわち、サイズ決定部ＳＤＥＴは、分割数が短冊型の分割数Ｔｘ以下で、かつ、最大転送量ＴＲｍａｘ２が最大転送可能量ＴＲｂｕｓ以下になる格子型の分割パターンが複数存在するか判定する。ステップＳ２０６で算出した格子型の分割パターンが１つの場合、サイズ決定部ＳＤＥＴの動作は、ステップＳ２１４に移る。一方、ステップＳ２０６で算出した格子型の分割パターンが複数存在する場合、サイズ決定部ＳＤＥＴの動作は、ステップＳ２１２に移る。
【０１５８】
なお、短冊型の分割数Ｔｘ以下の分割数で、かつ、最大転送量ＴＲｍａｘ２が最大転送可能量ＴＲｂｕｓ以下になる格子型の分割パターンがステップＳ２０４で算出されない場合、部分画像ＤＩＭＧｍのサイズは、短冊型の分割パターンに基づくサイズに決定される。
【０１５９】
ステップＳ２１２では、サイズ決定部ＳＤＥＴは、格子型の分割数を決定する。例えば、サイズ決定部ＳＤＥＴは、ステップＳ２０６で算出した複数の分割パターンのうち、分割数が最少で、かつ、総転送量ＴＲａが最少になる分割パターンを選択する。これにより、格子型の分割数は、決定する。
【０１６０】
ステップＳ２１４では、サイズ決定部ＳＤＥＴは、格子型の分割数が短冊型の分割数と等しいか判定する。格子型の分割数が短冊型の分割数と等しい場合、サイズ決定部ＳＤＥＴの動作は、ステップＳ２１６に移る。一方、格子型の分割数が短冊型の分割数と異なる場合、サイズ決定部ＳＤＥＴの動作は、ステップＳ２１８に移る。
【０１６１】
ステップＳ２１６では、サイズ決定部ＳＤＥＴは、格子型の分割パターンと短冊型の分割パターンとのうち、総転送量ＴＲａが少ない方の分割パターンを選択する。そして、サイズ決定部ＳＤＥＴは、選択した分割パターンに基づくサイズを部分画像ＤＩＭＧｍのサイズに決定して、部分画像ＤＩＭＧｍのサイズ算出処理を終了する。
【０１６２】
ステップＳ２１８では、サイズ決定部ＳＤＥＴは、格子型の分割数が短冊型の分割数より少ないか判定する。格子型の分割数が短冊型の分割数より少ない場合、サイズ決定部ＳＤＥＴの動作は、ステップＳ２２０に移る。一方、格子型の分割数が短冊型の分割数より多い場合、サイズ決定部ＳＤＥＴの動作は、ステップＳ２２２に移る。
【０１６３】
ステップＳ２２０では、サイズ決定部ＳＤＥＴは、格子型の分割パターンと短冊型の分割パターンとのうち、格子型の分割パターンを選択する。そして、サイズ決定部ＳＤＥＴは、格子型の分割パターンに基づくサイズを部分画像ＤＩＭＧｍのサイズに決定して、部分画像ＤＩＭＧｍのサイズ算出処理を終了する。
【０１６４】
ステップＳ２２２では、サイズ決定部ＳＤＥＴは、格子型の分割パターンと短冊型の分割パターンとのうち、短冊型の分割パターンを選択する。そして、サイズ決定部ＳＤＥＴは、短冊型の分割パターンに基づくサイズを部分画像ＤＩＭＧｍのサイズに決定して、部分画像ＤＩＭＧｍのサイズ算出処理を終了する。
【０１６５】
このように、分割パターンを選択する際の優先順位は、分割数、総転送量の順である。なお、部分画像ＤＩＭＧｍのサイズ算出処理の方法は、図１１に示す例に限定されない。
【０１６６】
以上、図２から図１１に示した実施形態においても、図１に示した実施形態と同様の効果を得ることができる。例えば、図２から図１１に示した実施形態では、動画撮影中に静止画処理を実行する場合の静止画ＳＩＭＧの分割サイズを動画処理の空き時間ＳＴに合わせて適切に設定できる。これにより、動画撮影中に静止画処理を実行する場合、１枚の静止画ＳＩＭＧの処理にかかる時間を短縮することができる。
【０１６７】
図１２は、集積回路および集積回路による画像処理方法の別の実施形態を示す。図１２の破線の矢印は、信号等の情報の流れを示す。図１から図１１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図１２に示す実施形態の集積回路ＩＣ２は、動画撮影と静止画撮影とを実行可能なデジタルカメラ等の撮像装置ＣＡＭ２に搭載され、画像処理装置として機能する。
【０１６８】
撮像装置ＣＡＭ２は、図２に示した集積回路ＩＣ１の代わりに、集積回路ＩＣ２を有することを除いて、図２に示した撮像装置ＣＡＭ１と同一または同様である。例えば、撮像装置ＣＡＭ２は、光学ユニットＬＥＮ、撮像素子ＩＳＥＮ、ＡＤ変換器ＡＤＣ、表示装置ＬＣＤおよび集積回路ＩＣ２を有する。
【０１６９】
集積回路ＩＣ２は、図２に示した画像処理部ＩＰＵ１の代わりに、画像処理部ＩＰＵ２を有することを除いて、図２に示した集積回路ＩＣ１と同一または同様である。例えば、集積回路ＩＣ２は、レンズ制御部ＬＣＴＬ、画像処理部ＩＰＵ２、記憶部ＭＥＭ、中央演算処理装置ＣＰＵ、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥを有する。レンズ制御部ＬＣＴＬ、画像処理部ＩＰＵ２、記憶部ＭＥＭ、ＣＰＵ、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥは、バスＢＵＳに接続される。
【０１７０】
画像処理部ＩＰＵ２は、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥからモニタ信号ＭＳＩＧ（ＭＳＩＧ１、ＭＳＩＧ２、ＭＳＩＧ３、ＭＳＩＧ４）をそれぞれ受ける。モニタ信号ＭＳＩＧは、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥの各機能回路の動作状態を示す信号である。以下、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥ等の各機能回路は、他モジュールとも称される。画像処理部ＩＰＵ２の詳細は、図１３で説明する。なお、集積回路ＩＣ２の構成は、図１２に示す例に限定されない。
【０１７１】
図１３は、図１２に示した画像処理部ＩＰＵ２の一例を示す。図１３の破線の矢印は、信号等の情報の流れを示す。画像処理部ＩＰＵ２は、サイズ決定部ＳＤＥＴを含む学習制御部ＬＣＴＬを図３に示したサイズ決定部ＳＤＥＴの代わりに有し、タイマ部ＴＣＡＬ２を図３に示したタイマ部ＴＣＡＬの代わりに有する。また、画像処理部ＩＰＵ２では、学習メモリ部ＬＭＥＭが図３に示した画像処理部ＩＰＵ１に追加されている。画像処理部ＩＰＵ２のその他の構成は、図３に示した画像処理部ＩＰＵ１と同一または同様である。
【０１７２】
例えば、画像処理部ＩＰＵ２は、前処理部ＰＲＥＰ、変換処理部ＣＯＮＰ、バスコントローラＢＣＴＬ、タイマ部ＴＣＡＬ２、学習制御部ＬＣＴＬ、学習メモリ部ＬＭＥＭおよびアドレス計算部ＡＣＡＬを有する。
【０１７３】
前処理部ＰＲＥＰ、変換処理部ＣＯＮＰ、バスコントローラＢＣＴＬおよびアドレス計算部ＡＣＡＬは、図３に示した前処理部ＰＲＥＰ、変換処理部ＣＯＮＰ、バスコントローラＢＣＴＬおよびアドレス計算部ＡＣＡＬと同一または同様である。
【０１７４】
タイマ部ＴＣＡＬ２は、動画ＭＩＭＧのフレーム間隔である１フレーム期間のうち、動画処理以外の処理に割り当て可能な第１時間を、動画処理にかかる時間に基づいて算出する算出部の一例である。タイマ部ＴＣＡＬ２の動作は、図３に示したタイマ部ＴＣＡＬと同様である。例えば、タイマ部ＴＣＡＬ２は、図３で説明したタイマ部ＴＣＡＬと同様に、動画のフレームレートを検出し、検出したフレームレートに対応する空き時間を、静止画処理に使用可能な第１時間として算出する。さらに、タイマ部ＴＣＡＬ２は、１フレーム期間ＦＴのうちで、部分画像ＤＩＭＧｍに対する第１処理が実行された時間を測定する。
【０１７５】
学習制御部ＬＣＴＬは、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥの各機能回路の動作状態を監視する制御部の一例である。例えば、学習制御部ＬＣＴＬは、表示制御部ＤＣＴＬ、メディア制御部ＭＣＴＬ、ディストーション補正部ＤＣＯＲおよび圧縮伸長部ＣＯＤＥの各機能回路からモニタ信号ＭＳＩＧ（ＭＳＩＧ１−ＭＳＩＧ４）を受け、各機能回路の動作状態を監視する。
【０１７６】
また、学習制御部ＬＣＴＬは、例えば、図３に示したサイズ決定部ＳＤＥＴと同一または同様のサイズ決定部ＳＤＥＴを有する。サイズ決定部ＳＤＥＴは、第１処理に使用される画素の数、ディストーション補正部ＤＣＯＲ等の機能回路から受けるモニタ信号ＭＳＩＧ、タイマ部ＴＣＡＬ２から受ける情報ＴＩＮＦ等に基づいて、部分画像ＤＩＭＧｍのサイズを決定する。また、サイズ決定部ＳＤＥＴは、ディストーション補正部ＤＣＯＲ等の機能回路の動作状態の変化に応じて、１枚の静止画ＳＩＭＧｍに対応する複数の部分画像ＤＩＭＧｍのいずれかのサイズを変更する。
【０１７７】
そして、学習制御部ＬＣＴＬは、部分画像ＤＩＭＧｍのサイズを示す情報をアドレス計算部ＡＣＡＬに転送する。なお、学習制御部ＬＣＴＬは、学習メモリ部ＬＭＥＭに記憶された情報等に基づいて、部分画像ＤＩＭＧｍのサイズを決定する場合もある。
【０１７８】
学習メモリ部ＬＭＥＭは、フレームレート、フィルタ処理に使用される画素の数、サイズ決定部ＳＤＥＴで算出した部分画像ＤＩＭＧのサイズ、モニタ信号ＭＳＩＧの情報等を関連付けて記憶する。また、学習メモリ部ＬＭＥＭは、部分画像ＤＩＭＧｍに対する第１処理が中断した場合の情報（中断した行番号、第１処理が実行された時間、モニタ信号ＭＳＩＧの情報等）を記憶する。
【０１７９】
なお、画像処理部ＩＰＵ２の構成は、図１３に示す例に限定されない。例えば、サイズ決定部ＳＤＥＴは、学習制御部ＬＣＴＬの外部に設けられてもよい。
【０１８０】
図１４は、図１２に示した集積回路ＩＣ２による動画処理および静止画処理の実行タイミングの一例を示す。図１４に示す動画処理および静止画処理の意味は、図５と同様である。図１４に示すディストーション補正は、図１２に示したディストーション補正部ＤＣＯＲで実行される処理を示す。図１４の例では、ディストーション補正部ＤＣＯＲは、記憶部ＭＥＭに記憶された静止画ＳＩＭＧｏを４分割して得られる所定ブロックに対して、フレーム期間ＦＴ１−ＦＴ４の動画処理の空き時間ＳＴにディストーション補正を実行する。
【０１８１】
図１４では、動作を分かりやすくするために、静止画ＳＩＭＧｍを短冊状に分割した場合を例にして説明する。図１４に示す括弧内に、静止画ＳＩＭＧｍの分割例を示す。なお、静止画ＳＩＭＧｍを格子状に分割した場合の集積回路ＩＣ２の動作も、図１４に示す例と同様の動作である。
【０１８２】
フレーム期間ＦＴ１では、画像処理部ＩＰＵ２は、フレームＦＲＭ１の動画処理を実行する。そして、ディストーション補正部ＤＣＯＲは、フレームＦＲＭ１の動画処理が終了した後、１つ目の所定ブロックに対するディストーション補正を実行する。また、画像処理部ＩＰＵ２は、１つ目の所定ブロックに対するディストーション補正が終了した後、１番目の部分画像ＤＩＭＧｍ（短冊Ｔ１）に対する第１処理を実行する。
【０１８３】
１番目の部分画像ＤＩＭＧｍ（短冊Ｔ１）のサイズは、図１１等で説明したように、空き時間ＳＴに応じて決定される。図１４の例では、フレーム期間ＦＴ１に、ディストーション補正部ＤＣＯＲが動作を開始するため、第１処理に割り当て可能な時間は、空き時間ＳＴより短くなる。このため、画像処理部ＩＰＵ２は、次のフレームＦＲＭ２のＶＤ信号を受けた場合、１番目の部分画像ＤＩＭＧｍ（短冊Ｔ１）に対する第１処理を途中で止める。
【０１８４】
例えば、フレーム期間ＦＴ１では、１番目の部分画像ＤＩＭＧｍ（短冊Ｔ１）のうちの領域Ｔ１ａまで、第１処理が実行される。残りの領域Ｔ１ｂは、次のフレーム期間ＦＴ２の空き時間ＳＴに処理される。このため、学習制御部ＬＣＴＬは、第１処理が正常に実行された行を示す行番号等の情報（領域Ｔ１ａの行数に相当）とタイマ部ＴＣＡＬ２で測定した処理時間（第１処理が実行された時間）とを学習メモリ部ＬＭＥＭに記憶する。さらに、学習制御部ＬＣＴＬは、モニタ信号ＭＳＩＧ１−ＭＳＩＧ４が示す情報を学習メモリ部ＬＭＥＭに記憶する。これにより、学習制御部ＬＣＴＬは、学習メモリ部ＬＭＥＭを参照して、部分画像ＤＩＭＧｍに対する第１処理中に動作した機能回路、残りの領域（例えば、短冊Ｔ１ｂ）にかかる第１処理の時間等を判断できる。
【０１８５】
フレーム期間ＦＴ２では、画像処理部ＩＰＵ２は、フレームＦＲＭ２の動画処理を実行する。そして、ディストーション補正部ＤＣＯＲは、フレームＦＲＭ２の動画処理が終了した後、２つ目の所定ブロックに対するディストーション補正を実行する。
【０１８６】
また、学習制御部ＬＣＴＬは、学習メモリ部ＬＭＥＭを参照し、第１処理が正常に実行された行を示す行番号等の情報をアドレス計算部ＡＣＡＬに転送する。そして、アドレス計算部ＡＣＡＬは、学習制御部ＬＣＴＬからの情報に基づいて、１番目の部分画像ＤＩＭＧｍ（短冊Ｔ１）の残りの領域Ｔ１ｂを処理する際に転送する画像の先頭アドレスを算出する。なお、アドレス計算部ＡＣＡＬは、領域Ｔ１ｂの上側ののりしろ（垂直のりしろｖ）を含めた画像（図１４の括弧内に示した静止画ＳＩＭＧｍ内の破線で示した部分）の先頭アドレスを算出する。
【０１８７】
そして、画像処理部ＩＰＵ２は、２つ目の所定ブロックに対するディストーション補正が終了した後、１番目の部分画像ＤＩＭＧｍ（短冊Ｔ１）の残りの領域Ｔ１ｂに対する第１処理を実行する。また、フレーム期間ＦＴ２においても、ディストーション補正部ＤＣＯＲの動作状態を示すモニタ信号ＭＳＩＧ３がアサートされているため、学習制御部ＬＣＴＬは、ディストーション補正部ＤＣＯＲの動作が継続していると判定する。このため、学習制御部ＬＣＴＬは、フレーム期間ＦＴ２で第１処理に割り当てられた時間とほぼ同じ時間（空き時間ＳＴより短い時間）が次のフレーム期間ＦＴ３で第１処理に割り当てられると予測する。したがって、学習制御部ＬＣＴＬは、タイマ部ＴＣＡＬ２で測定した時間（第１処理が実行された時間）等に基づいて、部分画像ＤＩＭＧｍのサイズを再計算する。
【０１８８】
これにより、動画処理およびディストーション補正の両方が実行された場合の空き時間に応じた部分画像ＤＩＭＧｍのサイズ（短冊Ｔ２、Ｔ３のサイズ）が算出される。そして、アドレス計算部ＡＣＡＬは、再計算された部分画像ＤＩＭＧｍのサイズ（短冊Ｔ２のサイズ）に基づいて、２番目の部分画像ＤＩＭＧｍ（短冊Ｔ２）を処理する際に転送する画像の先頭アドレスを算出する。なお、２番目の部分画像ＤＩＭＧｍ（短冊Ｔ２）を処理する際に転送する画像の先頭アドレスの算出等は、フレーム期間ＦＴ３（例えば、フレームＦＲＭ３の動画処理中）に実行されてもよい。
【０１８９】
フレーム期間ＦＴ３では、画像処理部ＩＰＵ２は、フレームＦＲＭ３の動画処理を実行する。そして、ディストーション補正部ＤＣＯＲは、フレームＦＲＭ３の動画処理が終了した後、３つ目の所定ブロックに対するディストーション補正を実行する。また、画像処理部ＩＰＵ２は、３つ目の所定ブロックに対するディストーション補正が終了した後、２番目の部分画像ＤＩＭＧｍ（短冊Ｔ２）に対する第１処理を実行する。
【０１９０】
フレーム期間ＦＴ４では、画像処理部ＩＰＵ２は、フレームＦＲＭ４の動画処理を実行する。そして、ディストーション補正部ＤＣＯＲは、フレームＦＲＭ４の動画処理が終了した後、４つ目の所定ブロックに対するディストーション補正を実行する。また、画像処理部ＩＰＵ２は、４つ目の所定ブロックに対するディストーション補正が終了した後、３番目の部分画像ＤＩＭＧｍ（短冊Ｔ３）に対する第１処理を実行する。
【０１９１】
なお、フレーム期間ＦＴ４では、モニタ信号ＭＳＩＧ３がネゲートされるため、学習制御部ＬＣＴＬは、ディストーション補正部ＤＣＯＲの動作が完了したと判定する。このため、学習制御部ＬＣＴＬは、次のフレーム期間ＦＴ５では、空き時間ＳＴに応じて決定されたサイズの部分画像ＤＩＭＧｍをフレーム期間ＦＴ５内に正常に処理できると判定する。
【０１９２】
したがって、アドレス計算部ＡＣＡＬは、空き時間ＳＴに応じて決定された部分画像ＤＩＭＧｍのサイズ（短冊Ｔ４のサイズ）に基づいて、４番目の部分画像ＤＩＭＧｍ（短冊Ｔ４）を処理する際に転送する画像の先頭アドレスを算出する。なお、４番目の部分画像ＤＩＭＧｍ（短冊Ｔ４）を処理する際に転送する画像の先頭アドレスの算出等は、フレーム期間ＦＴ５（例えば、フレームＦＲＭ５の動画処理中）に実行されてもよい。
【０１９３】
フレーム期間ＦＴ５では、画像処理部ＩＰＵ２は、フレームＦＲＭ５の動画処理を実行する。そして、画像処理部ＩＰＵ２は、フレームＦＲＭ５の動画処理が終了した後、４番目の部分画像ＤＩＭＧｍ（短冊Ｔ４）に対する第１処理を実行する。
【０１９４】
画像処理部ＩＰＵ２は、上述の判別を１枚の静止画ＳＩＭＧｍに対する第１処理が完了するまで実行することにより、動画処理の合間に第１処理を実行する際の静止画ＳＩＭＧｍの分割数が多くなることを抑制できる。また、画像処理部ＩＰＵ２は、ディストーション補正部ＤＣＯＲ等の機能回路が動作した場合でも、部分画像ＤＩＭＧｍに対する第１処理を複数のフレームＦＲＭで処理できるため、部分画像ＤＩＭＧｍに対する第１処理を正常に実行できる。
【０１９５】
図１５は、図１２に示した集積回路ＩＣ２の動作の一例を示す。なお、図１５は、動画撮影中に静止画処理が実行される場合の集積回路ＩＣ２の動作の一例を示す。図１５の動作は、ハードウェアのみで実現されてもよいし、ハードウェアをソフトウェアにより制御することにより実現されてもよい。図１０で説明したステップと同一または同様のステップについては、同一または同様の符号を付し、これ等については、詳細な説明を省略する。
【０１９６】
ステップＳ１００では、画像処理部ＩＰＵ２は、動画処理を実行する。
【０１９７】
ステップＳ１１０では、集積回路ＩＣ２は、静止画処理を実行するか判定する。静止画処理を実行しない場合、集積回路ＩＣ２の動作は、ステップＳ１００に戻る。一方、静止画処理を実行する場合、集積回路ＩＣ２の動作は、ステップＳ１１２に移る。
【０１９８】
ステップＳ１１２では、画像処理部ＩＰＵ２は、サイズ決定処理を実行する。例えば、画像処理部ＩＰＵ２は、図１０に示したステップＳ１２０、Ｓ２００の処理と同様の処理を実行することにより、部分画像ＤＩＭＧｍのサイズを決定する。あるいは、画像処理部ＩＰＵ２は、学習メモリ部ＬＭＥＭを参照して部分画像ＤＩＭＧｍのサイズを決定する。なお、サイズ決定処理の詳細は、図１６で説明する。以下、ステップＳ１１２で決定した部分画像ＤＩＭＧｍのサイズは、初期分割サイズとも称される。
【０１９９】
ステップＳ３００では、アドレス計算部ＡＣＡＬは、図３で説明したように、記憶部ＭＥＭに記憶された画像ＳＩＭＧｍのうちの転送対象の画像の先頭アドレスを、ステップＳ１１２で決定した初期分割サイズに基づいて算出する。転送対象の画像は、図４等で説明したように、部分画像ＤＩＭＧｍと画素ＰＰＸと含む領域（例えば、部分画像ＤＩＭＧｍからのりしろｈ、ｖだけ広げた領域）の画像である。
【０２００】
ステップＳ３１０では、画像処理部ＩＰＵ２は、ＶＤ信号（垂直同期信号）を検出したか判定する。ＶＤ信号が検出されない場合、集積回路ＩＣ２の動作は、ステップＳ３１０に戻る。一方、ＶＤ信号が検出された場合、集積回路ＩＣ２の動作は、ステップＳ３２０に移る。
【０２０１】
ステップＳ３２０では、画像処理部ＩＰＵ２は、ステップＳ１００の動画処理が実行されたフレームＦＲＭの次のフレームＦＲＭの動画ＭＩＭＧに対して、動画処理を開始する。
【０２０２】
ステップＳ３３０では、画像処理部ＩＰＵ２は、ステップＳ３２０の動画処理が終了したか判定する。動画処理が終了していない場合、集積回路ＩＣ２の動作は、ステップＳ３３０に戻る。一方、動画処理が終了した場合、集積回路ＩＣ２の動作は、ステップＳ３４０に移る。
【０２０３】
ステップＳ３４０では、画像処理部ＩＰＵ２は、サイズ再計算処理を実行する。例えば、画像処理部ＩＰＵ２は、ディストーション補正部ＤＣＯＲ等の機能回路の動作状態に応じて、部分画像ＤＩＭＧｍのサイズを再計算する。なお、ディストーション補正部ＤＣＯＲ等の機能回路の動作が終了している場合、初期分割サイズが選択される。サイズ再計算処理の詳細は、図１７で説明する。
【０２０４】
ステップＳ３６０では、画像処理部ＩＰＵ２は、他モジュール状態判定処理を実行する。例えば、学習制御部ＬＣＴＬは、各機能回路のモニタ信号ＭＳＩＧに基づいて、各機能回路が動作中か判定する。そして、画像処理部ＩＰＵ２は、例えば、他モジュールの処理が終了した後、サイズ再計算処理等により算出した部分画像ＤＩＭＧｍのサイズに基づいて、転送対象の画像の先頭アドレスを算出する。他モジュール状態判定処理の詳細は、図１８で説明する。
【０２０５】
ステップＳ３７０では、画像処理部ＩＰＵ２は、先頭アドレス設定処理を実行する。例えば、アドレス計算部ＡＣＡＬは、他モジュール状態判定処理で算出した先頭アドレスをバスコントローラＢＣＴＬに設定する。あるいは、アドレス計算部ＡＣＡＬは、学習メモリ部ＬＭＥＭから得られる情報（第１処理が正常に実行された行を示す行番号等の情報）に基づいて、先頭アドレスをバスコントローラＢＣＴＬに設定する。先頭アドレス設定処理の詳細は、図１８で説明する。
【０２０６】
ステップＳ４１０では、画像処理部ＩＰＵ２は、部分画像ＤＩＭＧｍに対する静止画処理を開始する。
【０２０７】
ステップＳ４２０ａでは、画像処理部ＩＰＵ２は、部分画像ＤＩＭＧｍに対する静止画処理が終了する前にＶＤ信号が検出されたか判定する。例えば、画像処理部ＩＰＵ２は、部分画像ＤＩＭＧｍに対する静止画処理の終了を示す割り込みが発生する前にＶＤ信号が検出されたか判定する。部分画像ＤＩＭＧｍに対する静止画処理が終了する前にＶＤ信号が検出された場合、集積回路ＩＣ２の動作は、ステップＳ４３０に移る。一方、部分画像ＤＩＭＧｍに対する静止画処理が終了した後にＶＤ信号が検出された場合、集積回路ＩＣ２の動作は、ステップＳ４８０に移る。すなわち、部分画像ＤＩＭＧｍに対する静止画処理が正常に終了した場合、集積回路ＩＣ２の動作は、ステップＳ４８０に移る。
【０２０８】
ステップＳ４３０では、画像処理部ＩＰＵ２は、部分画像ＤＩＭＧｍに対する静止画処理を中断する。
【０２０９】
ステップＳ４４０では、学習制御部ＬＣＴＬは、第１処理が正常に実行された行（ステップＳ４３０で中断されるまでに処理された行）を示す行番号、タイマ部ＴＣＡＬ２で測定された処理時間、モニタ情報（モニタ信号ＳＩＭＧが示す情報）等を取得する。処理時間は、例えば、第１処理が実行された時間であり、次のフレーム期間ＦＴで第１処理に割り当て可能な時間に対応する。
【０２１０】
ステップＳ４５０では、学習制御部ＬＣＴＬは、学習メモリ部ＬＭＥＭに記憶された情報を更新する。例えば、学習制御部ＬＣＴＬは、ステップＳ４４０で取得した情報（行番号、処理時間、モニタ情報等）を学習メモリ部ＬＭＥＭに記憶する。
【０２１１】
ステップＳ４６０では、画像処理部ＩＰＵ２は、次のフレームＦＲＭ（ステップＳ４１０の静止画処理が実行されたフレーム期間ＦＴの次のフレームＦＲＭ）の動画に対して、動画処理を開始する。
【０２１２】
ステップＳ４７０では、画像処理部ＩＰＵ２は、ステップＳ４６０の動画処理が終了したか判定する。動画処理が終了していない場合、集積回路ＩＣ２の動作は、ステップＳ４７０に戻る。一方、動画処理が終了した場合、集積回路ＩＣ２の動作は、ステップＳ３６０に戻る。これにより、ステップＳ４３０で中断された静止画処理の続き（第１処理が途中まで実行された部分画像ＤＩＭＧｍのうちの残りの領域に対する第１処理）が実行される。
【０２１３】
ステップＳ４８０では、学習制御部ＬＣＴＬは、タイマ部ＴＣＡＬ２で測定された処理時間（第１処理が実行された時間）、モニタ情報（モニタ信号ＳＩＭＧが示す情報）等を取得する。なお、ステップＳ４８０の処理は、ステップＳ４２０ａで説明したように、部分画像ＤＩＭＧｍに対する静止画処理が正常に終了した場合に実行される。
【０２１４】
ステップＳ４９０では、学習制御部ＬＣＴＬは、学習メモリ部ＬＭＥＭに記憶された情報を更新する。例えば、学習制御部ＬＣＴＬは、ステップＳ４８０で取得した情報（処理時間、モニタ情報等）を学習メモリ部ＬＭＥＭに記憶する。
【０２１５】
ステップＳ５００では、画像処理部ＩＰＵ２は、１枚分の静止画ＳＩＭＧｍに対する静止画処理が終了したか判定する。１枚分の静止画ＳＩＭＧｍに対する静止画処理が終了していない場合、集積回路ＩＣ２の動作は、ステップＳ３１０に戻る。これにより、静止画ＳＩＭＧｍのうちの残りの部分画像ＤＩＭＧｍに対する第１処理は、次以降のフレーム期間ＦＴの空き時間ＳＴに実行される。
【０２１６】
一方、１枚分の静止画ＳＩＭＧｍに対する静止画処理が終了した場合、動画撮影中の静止画処理は終了する。
【０２１７】
このように、学習制御部ＬＣＴＬは、１枚の静止画ＳＩＭＧｍに対する第１処理が実行される複数のフレーム期間ＦＴに、処理時間（第１処理が実行された時間）とモニタ情報（モニタ信号ＳＩＭＧが示す情報）等との対応を学習する。そして、学習制御部ＬＣＴＬは、他モジュールの動作状態が変化した場合でも、学習の結果を適時反映することにより、静止画処理を正常に完了させることができる。なお、集積回路ＩＣ２の動作は、図１５に示す例に限定されない。
【０２１８】
図１６は、図１５に示したサイズ決定処理の一例を示す。
【０２１９】
ステップＳ１１４では、学習制御部ＬＣＴＬは、部分画像ＤＩＭＧｍのサイズが算出済みか判定する。例えば、学習制御部ＬＣＴＬは、動画のフレームレート、フィルタ処理に使用される画素の数（のりしろｈ、ｖ）等の条件が同じ場合の部分画像ＤＩＭＧのサイズを示す情報が学習メモリ部ＬＭＥＭに記憶されているか判定する。部分画像ＤＩＭＧｍのサイズが算出済みの場合、画像処理部ＩＰＵ２の動作は、ステップＳ１１６に移る。一方、部分画像ＤＩＭＧｍのサイズが算出されていない場合、画像処理部ＩＰＵ２の動作は、ステップＳ１２０に移る。
【０２２０】
ステップＳ１１６では、学習制御部ＬＣＴＬは、学習メモリ部ＬＭＥＭを参照して、部分画像ＤＩＭＧｍのサイズを示す情報を学習メモリ部ＬＭＥＭから読み出す。
【０２２１】
ステップＳ１１８では、学習制御部ＬＣＴＬは、ステップＳ１１６で学習メモリ部ＬＭＥＭから読み出した情報が示す部分画像ＤＩＭＧｍのサイズを、初期分割サイズに決定する。
【０２２２】
ステップＳ１２０では、タイマ部ＴＣＡＬ２は、図３で説明したように、動画のフレームレートを検出し、検出したフレームレートに対応する空き時間ＳＴを算出する。
【０２２３】
ステップＳ２００では、サイズ決定部ＳＤＥＴは、図１１で説明した部分画像ＤＩＭＧｍのサイズ算出処理を実行する。ステップＳ１１８の処理またはステップＳ２００の処理により、動画処理の空き時間ＳＴに応じた初期分割サイズが算出される。
【０２２４】
図１７は、図１５に示したサイズ再計算処理の一例を示す。サイズ再計算処理は、例えば、各機能回路のモニタ信号ＭＳＩＧの状態を解析して実行される。
【０２２５】
ステップＳ３４２では、学習制御部ＬＣＴＬは、部分画像ＤＩＭＧｍのサイズを変更するか判定する。例えば、学習制御部ＬＣＴＬは、モニタ信号ＭＳＩＧの状態が部分画像ＤＩＭＧｍのサイズを算出したときの状態から変化した場合、部分画像ＤＩＭＧｍのサイズを変更すると判定する。部分画像ＤＩＭＧｍのサイズを変更しない場合、サイズ再計算処理は、終了する。一方、部分画像ＤＩＭＧｍのサイズを変更する場合、画像処理部ＩＰＵ２の動作は、ステップＳ３４４に移る。
【０２２６】
ステップＳ３４４では、学習制御部ＬＣＴＬは、他モジュール（ディストーション補正部ＤＣＯＲ等の機能回路）の動作が完了したかモニタ信号ＭＳＩＧに基づいて判定する。他モジュール（ディストーション補正部ＤＣＯＲ等の機能回路）の動作が完了した場合、画像処理部ＩＰＵ２の動作は、ステップＳ３４６に移る。一方、他モジュール（ディストーション補正部ＤＣＯＲ等の機能回路）の動作が完了していない場合、画像処理部ＩＰＵ２の動作は、ステップＳ３４８に移る。
【０２２７】
ステップＳ３４６では、学習制御部ＬＣＴＬは、部分画像ＤＩＭＧｍのサイズ（分割サイズ）を初期分割サイズに設定する。
【０２２８】
ステップＳ３４８では、学習制御部ＬＣＴＬは、モニタ信号ＭＳＩＧの状態と同一または同様の状態を示すモニタ情報およびモニタ情報に対応する処理時間を、学習メモリ部ＬＭＥＭから読み出す。
【０２２９】
ステップＳ３５０では、学習制御部ＬＣＴＬは、ステップＳ３４８で読み出した情報（モニタ情報、処理時間）に基づいて、分割サイズを再計算する。例えば、学習制御部ＬＣＴＬは、ステップＳ３４８で読み出した情報（モニタ情報、処理時間）、モニタ信号ＭＳＩＧの状態等に基づいて、第１処理に割り当て可能な空き時間を算出する。そして、サイズ決定部ＳＤＥＴは、算出した空き時間に基づいて、図１１で説明した部分画像ＤＩＭＧｍのサイズ算出処理を実行する。これにより、動画処理と他モジュールとが実行された場合の空き時間に応じた部分画像ＤＩＭＧｍのサイズが算出され、サイズ再計算処理が終了する。
【０２３０】
図１８は、図１５に示した他モジュール状態判定処理および先頭アドレス設定処理の一例を示す。ステップＳ３６２、Ｓ３６４、Ｓ３６６は、他モジュール状態判定処理であり、ステップＳ３７２、Ｓ３７４、Ｓ４００は、先頭アドレス設定処理である。なお、他モジュール状態判定処理と先頭アドレス設定処理との区分けは、図１８に示す例に限定されない。
【０２３１】
ステップＳ３６２では、学習制御部ＬＣＴＬは、他モジュール（ディストーション補正部ＤＣＯＲ等の機能回路）が動作中かモニタ信号ＭＳＩＧに基づいて判定する。他モジュールが動作中の場合、画像処理部ＩＰＵ２の動作は、ステップＳ３６４に移る。一方、他モジュールが動作中でない場合、画像処理部ＩＰＵ２の動作は、ステップＳ３６６に移る。
【０２３２】
ステップＳ３６４では、画像処理部ＩＰＵ２は、ステップＳ３６２で動作中と判定した他モジュールの処理が終了したことを示す割り込みが発生したか判定する。処理終了を示す割り込みが発生した場合、画像処理部ＩＰＵ２の動作は、ステップＳ３６６に移る。一方、処理終了を示す割り込みが発生していない場合、画像処理部ＩＰＵ２の動作は、ステップＳ３６４に戻る。
【０２３３】
ステップＳ３６６では、アドレス計算部ＡＣＡＬは、転送対象の画像の先頭アドレスを算出する。例えば、アドレス計算部ＡＣＡＬは、図１５に示したステップＳ３４０のサイズ再計算処理で算出された部分画像ＤＩＭＧｍのサイズに基づいて、転送対象の画像の先頭アドレスを算出する。すなわち、アドレス計算部ＡＣＡＬは、図１７に示したステップＳ３４６またはステップＳ３５０で算出された部分画像ＤＩＭＧｍのサイズに基づいて、転送対象の画像の先頭アドレスを算出する。
【０２３４】
ステップＳ３７２では、学習制御部ＬＣＴＬは、部分画像ＤＩＭＧｍに対する静止画処理が中断後の処理（中断された静止画処理の続き）か判定する。部分画像ＤＩＭＧｍに対する静止画処理が中断後の処理である場合、画像処理部ＩＰＵ２の動作は、ステップＳ３７４に移る。一方、部分画像ＤＩＭＧｍに対する静止画処理が中断後の処理でない場合（前のフレーム期間ＦＴの静止画処理が正常に終了した場合）、画像処理部ＩＰＵ２の動作は、ステップＳ４００ａに移る。
【０２３５】
ステップＳ３７４では、学習制御部ＬＣＴＬは、静止画処理が中断されたときの行番号（図１５に示すステップＳ４５０で学習メモリ部ＬＭＥＭに記憶した行番号）を、学習メモリ部ＬＭＥＭから読み出す。そして、アドレス計算部ＡＣＡＬは、学習メモリ部ＬＭＥＭから読み出された行番号に基づいて、転送対象の画像の先頭アドレスを算出する。
【０２３６】
ステップＳ４００ａでは、アドレス計算部ＡＣＡＬは、転送対象の画像の先頭アドレス（例えば、ステップＳ３６６で算出した先頭アドレス、または、ステップＳ３７４で算出した先頭アドレス）をバスコントローラＢＣＴＬに設定する。これにより、図１５に示したステップＳ４１０において、部分画像ＤＩＭＧｍに対する静止画処理が実行される。
【０２３７】
以上、図１２から図１８に示した実施形態においても、図２から図１１に示した実施形態と同様の効果を得ることができる。例えば、図１２から図１８に示した実施形態では、動画撮影中に静止画処理を実行する場合の静止画ＳＩＭＧの分割サイズを動画処理の空き時間ＳＴに合わせて適切に設定できる。これにより、動画撮影中に静止画処理を実行する場合、１枚の静止画ＳＩＭＧの処理にかかる時間を短縮することができる。
【０２３８】
さらに、図１２から図１８に示した実施形態では、ディストーション補正部ＤＣＯＲ等の他モジュールが動作した場合でも、部分画像ＤＩＭＧｍに対する第１処理を複数のフレームＦＲＭで処理できるため、部分画像ＤＩＭＧｍに対する第１処理を正常に実行できる。また、図１２から図１８に示した実施形態では、動画処理と他モジュールの処理とが実行された場合でも、静止画ＳＩＭＧの分割サイズを、動画処理と他モジュールの処理とが実行された場合の空き時間に合わせて適切に設定できる。これにより、１枚の静止画ＳＩＭＧに対する第１処理にかかる時間が増加することを抑制しつつ、１枚の静止画ＳＩＭＧに対する第１処理を正常に実行することができる。
【０２３９】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０２４０】
１０‥画像処理部；１２‥処理部；１４‥算出部；１６‥サイズ決定部；２０‥記憶部；１００‥集積回路；ＡＣＡＬ‥アドレス計算部；ＡＣＯＲ‥倍率収差補正部；ＡＤＣ‥ＡＤ変換器；ＢＣＴＬ‥バスコントローラ；ＢＦＭＴ‥ベイヤーフォーマット部；ＣＡＭ１、ＣＡＭ２‥撮像装置；ＣＯＤＥ‥圧縮伸長部；ＣＯＮ‥ＹＣ変換部；ＣＯＮＰ‥変換処理部；ＣＰＵ‥中央演算処理装置；ＤＣＯＲ‥ディストーション補正部；ＤＣＴＬ‥表示制御部；ＦＩＬ１‥フィルタ部；ＦＩＬ２‥フィルタ部；ＧＣＯＲ‥ガンマ補正部；ＩＣ１、ＩＣ２‥集積回路；ＩＰＵ１、ＩＰＵ２‥画像処理部；ＩＳＥＮ‥撮像素子；ＬＣＤ‥表示装置；ＬＣＯＲ‥リニアリティ補正部；ＬＣＴＬ‥レンズ制御部；ＬＣＴＬ‥学習制御部；ＬＥＮ‥光学ユニット；ＬＭＥＭ‥学習メモリ部；ＭＣＴＬ‥メディア制御部；ＭＥＭ‥記憶部；ＮＲＥ‥ノイズ除去部；ＯＣＯＲ‥ＯＢ補正部；ＰＣＯＲ‥画素欠陥補正部；ＰＩＮＴ‥画素補間部；ＰＲＥＰ‥前処理部；ＲＥＳＺ‥リサイズ部；ＳＣＯＲ‥シェーディング補正部；ＳＤＥＴ‥サイズ決定部；ＴＣＡＬ、ＴＣＡＬ２‥タイマ部
【図１】
2016136660.tif 000003
【図２】
2016136660.tif 000004
【図３】
2016136660.tif 000005
【図４】
2016136660.tif 000006
【図５】
2016136660.tif 000007
【図６】
2016136660.tif 000008
【図７】
2016136660.tif 000009
【図８】
2016136660.tif 000010
【図９】
2016136660.tif 000011
【図１０】
2016136660.tif 000012
【図１１】
2016136660.tif 000013
【図１２】
2016136660.tif 000014
【図１３】
2016136660.tif 000015
【図１４】
2016136660.tif 000016
【図１５】
2016136660.tif 000017
【図１６】
2016136660.tif 000018
【図１７】
2016136660.tif 000019
【図１８】
2016136660.tif 000020