(57)【要約】【課題】  動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行する。【解決手段】  画像処理装置は、画像データを記憶するメモリと、画像データの内の静止画データと画像データの内の動画データとをメモリに記憶する場合に、静止画データと動画データとを、静止画データのライン方向にライン毎に並べてメモリに配置する配置部とを有している。【選択図】  図１
2015033041.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記憶するメモリと、
前記画像データの内の静止画データと前記画像データの内の動画データとを前記メモリに記憶する場合に、前記静止画データと前記動画データとを、前記静止画データのライン方向にライン毎に並べて前記メモリに配置する配置部と
を備えていることを特徴とする画像処理装置。
【請求項２】
画像データを記憶するメモリと、
前記画像データの内の静止画データと前記画像データの内の動画データとを前記メモリに記憶する場合に、前記静止画データと前記動画データとをライン毎に前記メモリの仮想アドレス上で連続させる配置部と
を備えていることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記静止画データと前記動画データとを前記メモリに記憶する場合に、前記動画データに対する画像処理が１フレームの期間内に終了する範囲で、前記動画データに対する画像処理の開始タイミングを遅延させる最大遅延量に対応するライン数を算出し、前記静止画データに対する符号化処理の１フレーム中の中断回数が最少になるように、前記静止画データに対する符号化処理の開始タイミングを算出する算出部を備え、
前記配置部は、前記静止画データと前記動画データとを前記メモリに記憶する場合に、前記静止画データの各フレームで最初に処理されるラインから前記最大遅延量に対応するライン数分だけオフセットを持たせて、前記動画データを配置する
ことを特徴とする画像処理装置。
【請求項４】
メモリに記憶された画像データを処理する画像処理装置の制御方法であって、
静止画用の画像データである静止画データと動画用の画像データである動画データとを前記メモリに記憶するとき、前記静止画データのアドレスと前記動画データのアドレスとをライン毎に連続させる
ことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理装置の制御方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置は、動画や静止画の撮影を実行する。近年、動画の撮影と静止画の撮影とを同時に実行する撮像装置が提案されている（例えば、特許文献１、２参照）。この種の撮像装置は、例えば、静止画を所定の単位で分割し、動画の処理を実行していない期間に、静止画の処理を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３１１３４７号公報
【特許文献２】特開２００７−１３５１０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
静止画を分割して処理する方法では、分割処理等の付加処理が増加するおそれがある。付加処理は、例えば、分割方法に応じた各分割データのバッファ管理等に関する処理である。また、例えば、付加処理は、画像処理を静止画の処理と動画の処理とで切り替える際のデータの切り替えに関する処理である。動画の撮影と静止画の撮影とが同時に実行されたときの画像処理（静止画の処理と動画の処理とを含む全体の画像処理）の効率は、付加処理の増加に伴い低下する。
【０００５】
１つの側面では、本件開示の画像処理装置および画像処理装置の制御方法は、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することを目的とする。
【課題を解決するための手段】
【０００６】
一観点によれば、画像処理装置は、画像データを記憶するメモリと、画像データの内の静止画データと画像データの内の動画データとをメモリに記憶する場合に、静止画データと動画データとを、静止画データのライン方向にライン毎に並べてメモリに配置する配置部とを有している。
【０００７】
別の観点によれば、画像処理装置は、画像データを記憶するメモリと、画像データの内の静止画データと画像データの内の動画データとをメモリに記憶する場合に、静止画データと動画データとをライン毎にメモリの仮想アドレス上で連続させる配置部とを有している。
【０００８】
別の観点によれば、メモリに記憶された画像データを処理する画像処理装置の制御方法は、静止画用の画像データである静止画データと動画用の画像データである動画データとをメモリに記憶するとき、静止画データのアドレスと動画データのアドレスとをライン毎に連続させる。
【発明の効果】
【０００９】
本件開示の画像処理装置および画像処理装置の制御方法は、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置および画像処理装置の制御方法の一実施形態を示す図である。
【図２】図１に示したメモリのデータ配置の一例を示す図である。
【図３】図１に示したセンサ出力回路のデータ出力の一例を示す図である。
【図４】画像データの処理順序およびメモリ内のデータ配置の一例を示す図である。
【図５】図１に示したセンサ出力回路の一例を示す図である。
【図６】図１に示した画像処理装置の動作の一例を示す図である。
【図７】未処理の静止画データが並列配置領域に存在するときの動画データの出力処理の一例を示す図である。
【図８】未処理の静止画データが並列配置領域に存在するときの静止画データと動画データの出力処理の一例を示す図である。
【図９】未処理の静止画データが並列配置領域に存在しないときの静止画データと動画データの出力処理の一例を示す図である。
【図１０】画像データの処理順序およびメモリ内のデータ配置の別の例を示す図である。
【図１１】未処理の静止画データが並列配置領域に存在するときの静止画データと動画データの出力処理の別の例を示す図である。
【図１２】未処理の静止画データが並列配置領域に存在しないときの静止画データと動画データの出力処理の別の例を示す図である。
【図１３】画像データの処理順序およびメモリ内のデータ配置の別の例を示す図である。
【図１４】画像処理装置および画像処理装置の制御方法の別の実施形態を示す図である。
【図１５】図１４に示した画像処理装置のメモリのデータ配置の一例を示す図である。
【図１６】図１５に示した静止画データに対する画像処理と符号化処理の処理時間の一例を示す図である。
【図１７】画像処理装置および画像処理装置の制御方法の別の実施形態を示す図である。
【図１８】画像処理装置および画像処理装置の制御方法の別の実施形態を示す図である。
【図１９】図１８に示した画像処理回路の一例を示す図である。
【図２０】図１９に示した処理部のバッファの一例を示す図である。
【図２１】図１９に示した処理部のレジスタの一例を示す図である。
【図２２】図１９に示した画像処理回路の動作の一例を示す図である。
【図２３】動画と静止画の並列処理の一例を示す図である。
【図２４】画像処理装置および画像処理装置の制御方法の別の実施形態を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施形態を図面を用いて説明する。
【００１２】
図１は、画像処理装置および画像処理装置の制御方法の一実施形態を示している。この実施形態の画像処理装置ＩＰＤは、例えば、撮像装置ＩＤＥＶに搭載される。例えば、撮像装置ＩＤＥＶは、イメージセンサＩＳＥＮおよび画像処理装置ＩＰＤを有している。イメージセンサＩＳＥＮは、例えば、被写体の像を電気信号の画像データに変換する。そして、イメージセンサＩＳＥＮは、画像データを画像処理装置ＩＰＤのセンサ出力回路１００に出力する。イメージセンサＩＳＥＮから出力される画像データは、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の色情報を示すＲＧＢデータである。
【００１３】
なお、イメージセンサＩＳＥＮは、例えば、動画用の画像データを出力する動画出力モードと、静止画用の画像データを出力する静止画出力モードとを有している。以下、動画用の画像データを動画データとも称し、静止画用の画像データを静止画データとも称する。例えば、イメージセンサＩＳＥＮは、動画撮影が実行されたときに、動画データを画像処理装置ＩＰＤのセンサ出力回路１００に出力する。動画撮影には、例えば、被写体の像をリアルタイムに液晶モニタ等に表示するライブビューも含まれる。
【００１４】
また、例えば、イメージセンサＩＳＥＮは、静止画撮影が実行されたとき、静止画データを画像処理装置ＩＰＤのセンサ出力回路１００に出力する。静止画データの画素数は、動画データの画素数より多い。例えば、静止画データの画素数は、イメージセンサＩＳＥＮ内の受光素子の有効画素数とほぼ同じ数である。
【００１５】
画像処理装置ＩＰＤは、センサ出力回路１００と、画像データを記憶するメモリ２００とを有している。センサ出力回路１００は、画像データをメモリ２００に配置する配置部の一例である。例えば、センサ出力回路１００は、イメージセンサＩＳＥＮから受けた画像データをメモリ２００に配置する。なお、センサ出力回路１００は、例えば、静止画データと動画データとをメモリ２００に記憶するとき、静止画データと動画データとを、静止画データのライン方向にライン毎に並べてメモリ２００に配置する。例えば、センサ出力回路１００は、静止画データと動画データとをライン毎にメモリ２００の物理アドレス上で連続させて配置する。
【００１６】
なお、例えば、センサ出力回路１００は、静止画データと動画データとをメモリ２００に記憶するとき、静止画データと動画データとをライン毎にメモリ２００の仮想アドレス上で連続させてもよい。この場合、メモリ２００の物理アドレス上では、静止画データと動画データとがライン毎に連続していなくてもよい。
【００１７】
また、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける画像データの配列がベイヤー配列でない場合、画像データ（ＲＧＢデータ）をベイヤー配列に並び換えてメモリ２００に配置してもよい。
【００１８】
メモリ２００は、例えば、クロック信号に同期して動作するＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）である。なお、メモリ２００は、ＳＤＲＡＭに限定されない。メモリ２００に記憶された画像データは、輝度信号と２つの色差信号とにより表現される色空間のデータ（以下、ＹＣＣデータとも称する）に変換される。例えば、画像処理装置ＩＰＤは、メモリ２００に記憶された画像データをＹＣＣデータに変換して、撮像装置ＩＤＥＶの液晶モニタ等に動画像を表示する。なお、動画撮影では、画像処理装置ＩＰＤは、例えば、ＲＧＢデータからＹＣＣデータへの変換処理等を含む画像処理を、１フレーム期間内に完了させる。
【００１９】
図２は、図１に示したメモリ２００のデータ配置の一例を示している。メモリ２００には、例えば、並列配置領域ＡＲＥｓｍ、動画専用領域ＡＲＥｍおよび領域ＡＲＥｙｃが割り当てられている。並列配置領域ＡＲＥｓｍでは、例えば、静止画データＩＭＧｓおよび動画データＩＭＧｍは、静止画データＩＭＧｓのライン方向ＤＬにライン毎に並べて配置される。動画専用領域ＡＲＥｍは、例えば、静止画データＩＭＧｓに対する画像処理が発生しないフレーム期間の動画データＩＭＧｍを、順次記憶する。領域ＡＲＥｙｃは、ＹＣＣデータに変換された静止画データＤＹＣＣｓ、ＹＣＣデータに変換された動画データＤＹＣＣｍ等を記憶する。
【００２０】
例えば、画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍに記憶した静止画データＩＭＧｓおよび動画データＩＭＧｍをＹＣＣデータに変換し、ＹＣＣデータに変換した静止画データＤＹＣＣｓおよび動画データＤＹＣＣｍを領域ＡＲＥｙｃに記憶する。あるいは、画像処理装置ＩＰＤは、動画専用領域ＡＲＥｍに記憶した動画データＩＭＧｍをＹＣＣデータに変換し、ＹＣＣデータに変換した動画データＤＹＣＣｍを領域ＡＲＥｙｃに記憶する。静止画データＤＹＣＣｓは、圧縮され、画像処理装置ＩＰＤの外部のメモリ等に記憶される。また、例えば、動画データＤＹＣＣｍは、撮像装置ＩＤＥＶの液晶モニタ等に動画を表示する際に使用される。
【００２１】
なお、メモリ２００のデータ配置は、この例に限定されない。例えば、メモリ２００は、並列配置領域ＡＲＥｓｍを動画専用領域ＡＲＥｍとして使用してもよい。すなわち、メモリ２００は、静止画データＩＭＧｓに対する画像処理が発生しないフレーム期間の動画データＩＭＧｍを、並列配置領域ＡＲＥｓｍに順次記憶してもよい。また、領域ＡＲＥｙｃは、メモリ２００とは別のメモリに割り当てられてもよい。
【００２２】
図３は、図１に示したセンサ出力回路１００のデータ出力の一例を示している。なお、図３は、動画撮影中にセンサ出力回路１００が静止画データＩＭＧｓを受けたときのセンサ出力回路１００のデータ出力を示している。センサ出力回路１００は、撮像装置ＩＤＥＶが動画撮影中であるため、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００の並列配置領域ＡＲＥｓｍに記憶する。イメージセンサＩＳＥＮから静止画データＩＭＧｓが出力されるフレーム期間では、センサ出力回路１００は、例えば、静止画データＩＭＧｓを縮小して、動画データＩＭＧｍを生成する。図３の星印は、静止画データＩＭＧｓを示し、図３の丸印は、動画データＩＭＧｍを示している。
【００２３】
静止画出力時では、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける静止画データＩＭＧｓをメモリ２００に順次出力し、静止画データＩＭＧｓを並列配置領域ＡＲＥｓｍに順次記憶する。この際、センサ出力回路１００は、静止画の１ラインＬＳ分の静止画データＩＭＧｓを出力する度に、静止画データＩＭＧｓの記憶位置（アドレス）を、動画の１ラインＬＭ分スキップさせる。
【００２４】
すなわち、センサ出力回路１００は、動画データＩＭＧｍが記憶される位置をスキップして、静止画データＩＭＧｓを並列配置領域ＡＲＥｓｍに順次記憶する。このように、静止画データＩＭＧｓは、動画データＩＭＧｍが記憶される位置をスキップして、並列配置領域ＡＲＥｓｍに記憶される。
【００２５】
静止画出力後の動画出力時では、センサ出力回路１００は、動画データＩＭＧｍをメモリ２００に順次出力し、動画データＩＭＧｍを並列配置領域ＡＲＥｓｍに順次記憶する。この際、センサ出力回路１００は、動画の１ラインＬＭ分の動画データＩＭＧｍを出力する度に、動画データＩＭＧｍの記憶位置（アドレス）を、静止画の１ラインＬＳ分スキップさせる。
【００２６】
すなわち、センサ出力回路１００は、静止画データＩＭＧｓが記憶される位置をスキップして、動画データＩＭＧｍを並列配置領域ＡＲＥｓｍに順次記憶する。このように、動画データＩＭＧｍは、静止画データＩＭＧｓが記憶される位置をスキップして、並列配置領域ＡＲＥｓｍに記憶される。この結果、静止画データＩＭＧｓおよび動画データＩＭＧｍは、並列配置領域ＡＲＥｓｍにライン毎に並べて配置される。なお、水平画素×垂直画素の画像として見たときの静止画データＩＭＧｓおよび動画データＩＭＧｍの並びを図３の括弧内に示している。
【００２７】
このように、静止画データＩＭＧｓおよび動画データＩＭＧｍは、同じアドレス空間（並列配置領域ＡＲＥｓｍ）に、ライン毎に並べて配置される。このため、画像処理装置ＩＰＤは、静止画データＩＭＧｓと動画データＩＭＧｍとを一体とした画像データを、ライン毎に読み出せる。この結果、画像処理装置ＩＰＤは、静止画データＩＭＧｓの画像処理と動画データＩＭＧｍの画像処理とを効率的に実行できる。例えば、画像処理装置ＩＰＤは、静止画の分割処理を実行することなく、静止画データＩＭＧｓの画像処理と動画データＩＭＧｍの画像処理とを実行できる。あるいは、画像処理装置ＩＰＤは、画像処理を実行する際に、互いに異なるメモリ（アドレス空間）にアクセス先を切り替えることなく、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００から読み出すことができる。
【００２８】
図４は、画像データＩＭＧｓ、ＩＭＧｍの処理順序およびメモリ２００内のデータ配置の一例を示している。図４の破線の矢印は、画像データＩＭＧｓ、ＩＭＧｍの流れの一例を示している。また、図４の網掛け部分は、画像処理が終了した並列配置領域ＡＲＥｓｍ内の画像データＩＭＧｓ、ＩＭＧｍを示している。撮影開始時点では、例えば、イメージセンサＩＳＥＮの出力モードは、動画出力モードである。
【００２９】
フレーム期間ＶＤ１では、イメージセンサＩＳＥＮは、動画データＩＭＧｍ１を画像処理装置ＩＰＤに出力する。画像処理装置ＩＰＤのセンサ出力回路１００は、イメージセンサＩＳＥＮから受けた動画データＩＭＧｍ１を、メモリ２００の動画専用領域ＡＲＥｍに順次記憶する。そして、画像処理装置ＩＰＤは、動画専用領域ＡＲＥｍに記憶された動画データＩＭＧｍ１を読み出し、動画データＩＭＧｍ１に対して画像処理を実行する。
【００３０】
また、静止画撮影指示がフレーム期間ＶＤ１に発生したため、例えば、撮像装置ＩＤＥＶは、イメージセンサＩＳＥＮを静止画出力モードに切り替える。これにより、静止画撮影指示が発生したフレーム期間ＶＤ１の次のフレーム期間ＶＤ２では、静止画データＩＭＧｓ２が、イメージセンサＩＳＥＮから出力される。
【００３１】
フレーム期間ＶＤ２では、イメージセンサＩＳＥＮは、静止画データＩＭＧｓ２を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、イメージセンサＩＳＥＮから受けた静止画データＩＭＧｓ２を、動画データＩＭＧｍ２が記憶される位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。また、センサ出力回路１００は、例えば、並列配置領域ＡＲＥｓｍに記憶した静止画データＩＭＧｓ２を縮小して、動画データＩＭＧｍ２を生成する。そして、センサ出力回路１００は、静止画データＩＭＧｓ２から生成した動画データＩＭＧｍ２を、静止画データＩＭＧｓ２が記憶されている位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。
【００３２】
これにより、静止画データＩＭＧｓ２および動画データＩＭＧｍ２は、並列配置領域ＡＲＥｓｍにライン毎に並べて配置される。画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍに記憶された静止画データＩＭＧｓ２および動画データＩＭＧｍ２を、静止画と動画とが一体となった画像のライン毎に読み出す。そして、画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍから読み出した静止画データＩＭＧｓ２および動画データＩＭＧｍ２に対して画像処理を実行する。なお、動画データＩＭＧｍ２を含まないラインでは、静止画データＩＭＧｓ２に対して画像処理が実行される。
【００３３】
ここで、動画データＩＭＧｍ２は、静止画データＩＭＧｓ２を縮小して生成されるため、動画データＩＭＧｍ２の画素数は、静止画データＩＭＧｓ２の画素数より少ない。このため、画像処理装置ＩＰＤは、動画データＩＭＧｍ２の画像処理をフレーム期間ＶＤ２（１フレーム期間ＶＤ）内に完了させることができる。これにより、画像処理装置ＩＰＤは、動画のフレームレートを維持できる。なお、静止画データＩＭＧｓ２の画像処理は、フレーム期間ＶＤ２の次のフレーム期間ＶＤ３でも実行される。
【００３４】
また、例えば、撮像装置ＩＤＥＶは、静止画撮影指示がフレーム期間ＶＤ２で発生していないため、フレーム期間ＶＤ３でのイメージセンサＩＳＥＮの出力が動画データＩＭＧｍになるように、イメージセンサＩＳＥＮを動画出力モードに切り替える。
【００３５】
フレーム期間ＶＤ３では、イメージセンサＩＳＥＮは、動画データＩＭＧｍ３を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、イメージセンサＩＳＥＮから受けた動画データＩＭＧｍ３を、静止画データＩＭＧｓ２が記憶されている位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。この際、センサ出力回路１００は、動画データＩＭＧｍ３を、画像処理が実行されていない静止画データＩＭＧｓ２（未処理の静止画データＩＭＧｓ２）に並べて配置する。
【００３６】
これにより、未処理の静止画データＩＭＧｓ２および動画データＩＭＧｍ３は、並列配置領域ＡＲＥｓｍにライン毎に並べて配置される。画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍに記憶された静止画データＩＭＧｓ２および動画データＩＭＧｍ３を、静止画と動画とが一体となった画像のライン毎に読み出す。そして、画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍから読み出した静止画データＩＭＧｓ２および動画データＩＭＧｍ３に対して画像処理を実行する。なお、動画データＩＭＧｍ３を含まないラインでは、静止画データＩＭＧｓ２に対して画像処理が実行される。
【００３７】
画像処理装置ＩＰＤは、静止画データＩＭＧｓ２より少ない画素数の動画データＩＭＧｍ３に対して画像処理を実行するため、動画データＩＭＧｍ３の画像処理をフレーム期間ＶＤ３（１フレーム期間ＶＤ）内に完了させることができる。これにより、画像処理装置ＩＰＤは、動画のフレームレートを維持できる。なお、図４の例では、静止画データＩＭＧｓ２の画像処理は、フレーム期間ＶＤ２、ＶＤ３の２フレーム期間ＶＤで完了する。
【００３８】
また、例えば、撮像装置ＩＤＥＶは、静止画撮影指示がフレーム期間ＶＤ３で発生していないため、フレーム期間ＶＤ４でのイメージセンサＩＳＥＮの出力が動画データＩＭＧｍになるように、イメージセンサＩＳＥＮを動画出力モードに維持する。
【００３９】
フレーム期間ＶＤ４では、イメージセンサＩＳＥＮは、動画データＩＭＧｍ４を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在しないため、イメージセンサＩＳＥＮから受けた動画データＩＭＧｍ４を、メモリ２００の動画専用領域ＡＲＥｍに順次記憶する。そして、画像処理装置ＩＰＤは、動画専用領域ＡＲＥｍに記憶された動画データＩＭＧｍ４を読み出し、動画データＩＭＧｍ４に対して画像処理を実行する。
【００４０】
このように、画像処理装置ＩＰＤは、動画の撮影と静止画の撮影とが同時に実行されたとき、静止画の分割処理を実行することなく、静止画データＩＭＧｓの画像処理と動画データＩＭＧｍの画像処理とを実行できる。したがって、この実施形態では、静止画の分割処理等の付加処理の増加を抑制できる。付加処理は、例えば、分割方法に応じた各分割データのバッファ管理等に関する処理である。また、例えば、付加処理は、画像処理を静止画の処理と動画の処理とで切り替える際のデータの切り替えに関する処理である。
【００４１】
すなわち、この実施形態では、付加処理の増加を抑制できるため、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。
【００４２】
ここで、例えば、静止画撮影指示がフレーム期間ＶＤ２（未処理の静止画データＩＭＧｓが存在するフレーム期間ＶＤ）で発生した場合、イメージセンサＩＳＥＮの出力モードは、次のフレーム期間ＶＤ３での並列配置領域ＡＲＥｓｍの空き容量に基づいて選択される。例えば、フレーム期間ＶＤ３での並列配置領域ＡＲＥｓｍの空き容量が１フレーム分の静止画データＩＭＧｓを保持するための容量以上である場合、フレーム期間ＶＤ３のイメージセンサＩＳＥＮの出力モードは、静止画出力モードに設定される。
【００４３】
また、例えば、フレーム期間ＶＤ３での並列配置領域ＡＲＥｓｍの空き容量が１フレーム分の静止画データＩＭＧｓを保持するための容量より小さい場合、フレーム期間ＶＤ３のイメージセンサＩＳＥＮの出力モードは、動画出力モードに設定される。すなわち、空き容量が不足している場合、静止画撮影は、不可として処理される。なお、この場合、例えば、撮像装置ＩＤＥＶは、空き容量が確保されるフレーム期間ＶＤ（例えば、フレーム期間ＶＤ４）のイメージセンサＩＳＥＮの出力モードを、静止画出力モードに切り替えてもよい。
【００４４】
なお、イメージセンサＩＳＥＮの出力モードの切り替えは、画像処理装置ＩＰＤにより実行されてもよい。
【００４５】
図５は、図１に示したセンサ出力回路１００の一例を示している。図５の破線の矢印は、画像データＩＭＧ（ＩＭＧｉ、ＩＭＧｓ、ＩＭＧｍ、ＩＭＧｏ）や制御信号ＲＳＴＣ、ＡＤＲ等の流れの一例を示している。
【００４６】
センサ出力回路１００は、例えば、データ入力部１１０、判定部１２０、縮小部１３０、カウンタ部１４０、アドレス算出部１５０、データ出力部１６０およびレジスタ１７０を有している。レジスタ１７０は、例えば、イメージセンサＩＳＥＮの情報、メモリ２００の情報等の撮像装置ＩＤＥＶ内部の設定情報を保持する。イメージセンサＩＳＥＮの情報は、例えば、イメージセンサＩＳＥＮの出力モード（静止画出力モード、動画出力モード）の設定情報、画像の水平幅、垂直ライン数等である。メモリ２００の情報は、例えば、メモリ２００の書き込み用のポインタや読み出し用のポインタである。以下、書き込み用のポインタをライトポインタとも称する。また、読み出し用のポインタをリードポインタとも称する。
【００４７】
データ入力部１１０は、イメージセンサＩＳＥＮから画像データＩＭＧｉを受ける。画像データＩＭＧｉは、イメージセンサＩＳＥＮの出力モードが静止画出力モードの場合、静止画データＩＭＧｓである。また、イメージセンサＩＳＥＮの出力モードが動画出力モードの場合、画像データＩＭＧｉは、動画データＩＭＧｍである。データ入力部１１０は、イメージセンサＩＳＥＮから受けた画像データＩＭＧｉを判定部１２０に転送する。
【００４８】
判定部１２０は、例えば、データ入力部１１０から受けた画像データＩＭＧｉが動画データＩＭＧｍの場合、データ入力部１１０から受けた動画データＩＭＧｍを縮小部１３０に転送する。また、判定部１２０は、例えば、データ入力部１１０から受けた画像データＩＭＧｉが静止画データＩＭＧｓの場合、データ入力部１１０から受けた静止画データＩＭＧｓをデータ出力部１６０に転送する。なお、データ入力部１１０から受けた画像データＩＭＧｉが静止画データＩＭＧｓの場合、例えば、判定部１２０は、静止画データＩＭＧｓを縮小して動画データＩＭＧｍを生成するように、センサ出力回路１００を制御する。
【００４９】
縮小部１３０は、例えば、判定部１２０から動画データＩＭＧｍを受けた場合、判定部１２０から受けた動画データＩＭＧｍをデータ出力部１６０に転送する。また、縮小部１３０は、例えば、メモリ２００から静止画データＩＭＧｓを受けた場合、静止画データＩＭＧｓを縮小して動画データＩＭＧｍを生成する。そして、縮小部１３０は、静止画データＩＭＧｓから生成した動画データＩＭＧｍをデータ出力部１６０に転送する。
【００５０】
カウンタ部１４０は、例えば、判定部１２０や縮小部１３０から出力される画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）の画素数をカウントする。例えば、カウンタ部１４０は、判定部１２０や縮小部１３０から１画素分の画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）が出力される度に、カウンタ値をデクリメントする。カウンタ部１４０の初期値は、静止画の１ラインＬＳの画素数や動画の１ラインＬＭの画素数にセットされる。
【００５１】
アドレス算出部１５０は、例えば、カウンタ部１４０のカウント値に基づいて、画像データＩＭＧｏの出力先アドレスＡＤＲを算出する。そして、アドレス算出部１５０は、算出した出力先アドレスＡＤＲをデータ出力部１６０に転送する。出力先アドレスＡＤＲは、画像データＩＭＧｏが記憶されるメモリ２００内の位置を示すアドレスＡＤＲである。また、アドレス算出部１５０は、例えば、カウンタ部１４０のカウント値がゼロの場合、リセット制御信号ＲＳＴＣを用いて、カウンタ部１４０のカウント値を、静止画の１ラインＬＳの画素数や動画の１ラインＬＭの画素数にリセットする。
【００５２】
データ出力部１６０は、アドレス算出部１５０から受けた出力先アドレスＡＤＲに従って、画像データＩＭＧｏをメモリ２００に出力する。画像データＩＭＧｏは、判定部１２０から受けた静止画データＩＭＧｓや縮小部１３０から受けた動画データＩＭＧｍである。例えば、データ出力部１６０は、判定部１２０から静止画データＩＭＧｓを受けた場合、判定部１２０から受けた静止画データＩＭＧｓをメモリ２００に出力する。これにより、出力先アドレスＡＤＲが示すメモリ２００内の位置に、静止画データＩＭＧｓが配置される。また、例えば、データ出力部１６０は、縮小部１３０から動画データＩＭＧｍを受けた場合、縮小部１３０から受けた動画データＩＭＧｍをメモリ２００に出力する。これにより、出力先アドレスＡＤＲが示すメモリ２００内の位置に、動画データＩＭＧｍが配置される。
【００５３】
なお、センサ出力回路１００の構成は、この例に限定されない。例えば、レジスタ１７０は、センサ出力回路１００の外部に設けられてもよい。また、縮小部１３０は、メモリ２００から静止画データＩＭＧｓを受ける代わりに、判定部１２０から静止画データＩＭＧｓを受けてもよい。この場合、縮小部１３０は、判定部１２０から受けた静止画データＩＭＧｓを縮小して動画データＩＭＧｍを生成する。あるいは、判定部１２０は、データ入力部１１０から受けた動画データＩＭＧｍを、縮小部１３０を介さずにデータ出力部１６０に転送してもよい。
【００５４】
また、データ入力部１１０は、例えば、イメージセンサＩＳＥＮから受けた画像データＩＭＧｉに不要な画素が含まれている場合、不要な画素を除いた画像データＩＭＧｉを判定部１２０に転送してもよい。例えば、イメージセンサＩＳＥＮの全画素のうち、画像の端の画素が画像処理装置ＩＰＤの画像処理に使用されない場合、データ入力部１１０は、画像処理に使用されない画像の端の画素を、不要な画素として処理してもよい。
【００５５】
また、センサ出力回路１００は、静止画データＩＭＧｓと動画データＩＭＧｍとの切り替えに対応していないイメージセンサＩＳＥＮから画像データＩＭＧｉを受けてもよい。例えば、センサ出力回路１００は、動画が撮影されている期間に、静止画撮影指示の有無に拘わらず、静止画データＩＭＧｓに対応する画像データＩＭＧｉをイメージセンサＩＳＥＮから受けてもよい。この場合、センサ出力回路１００は、動画が撮影されている期間では、静止画撮影指示の有無に拘わらず、静止画データＩＭＧｓから動画データＩＭＧｍを生成する。この場合にも、センサ出力回路１００は、例えば、図１から図５で説明したように、静止画データＩＭＧｓおよび動画データＩＭＧｍをメモリ２００に出力する。
【００５６】
図６は、図１に示した画像処理装置ＩＰＤの動作の一例を示している。すなわち、図６は、画像処理装置ＩＰＤの制御方法の一例を示している。また、図６のステップＳ４００、Ｓ５００、Ｓ６００の一例を図７から図９にそれぞれ示している。図６の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。なお、図６では、センサ出力回路１００に関する処理を中心に説明する。
【００５７】
ステップＳ１００では、画像処理装置ＩＰＤは、現フレーム期間ＶＤの前のフレーム期間ＶＤに、静止画撮影指示が発生していたか否かを判定する。これにより、イメージセンサＩＳＥＮから出力される画像データＩＭＧｉが静止画データＩＭＧｓか否かが判定される。したがって、ステップＳ１００では、例えば、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける画像データＩＭＧｉが静止画データＩＭＧｓか否かを判定してもよい。例えば、センサ出力回路１００の判定部１２０は、レジスタ１７０に保持されているイメージセンサＩＳＥＮの出力モード（静止画出力モード、動画出力モード）の設定情報に基づいて、画像データＩＭＧｉが静止画データＩＭＧｓか否かを判定する。
【００５８】
なお、例えば、現フレーム期間ＶＤの前のフレーム期間ＶＤに静止画撮影指示が発生していたが、空き容量不足等により静止画撮影が不可と判定されている場合は、画像処理装置ＩＰＤは、前のフレーム期間ＶＤに、静止画撮影指示が発生していないと判定する。
【００５９】
現フレーム期間ＶＤの前のフレーム期間ＶＤに、静止画撮影指示が発生していたとき（ステップＳ１００のＹｅｓ）、画像処理装置ＩＰＤの動作は、ステップＳ２１０に移る。すなわち、イメージセンサＩＳＥＮから出力される画像データＩＭＧｉが静止画データＩＭＧｓのとき、画像処理装置ＩＰＤの動作は、ステップＳ２１０に移る。一方、現フレーム期間ＶＤの前のフレーム期間ＶＤに、静止画撮影指示が発生していないとき（ステップＳ１００のＮｏ）、画像処理装置ＩＰＤの動作は、ステップＳ２００に移る。すなわち、イメージセンサＩＳＥＮから出力される画像データＩＭＧｉが動画データＩＭＧｍのとき、画像処理装置ＩＰＤの動作は、ステップＳ２００に移る。
【００６０】
ステップＳ２００では、画像処理装置ＩＰＤは、未処理の静止画データＩＭＧｓがメモリ２００の並列配置領域ＡＲＥｓｍに存在するか否かを判定する。未処理の静止画データＩＭＧｓは、例えば、ＹＣＣデータに変換するまでの画像処理が実行されていない静止画データＩＭＧｓである。未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在するとき（ステップＳ２００のＹｅｓ）、画像処理装置ＩＰＤの動作は、ステップＳ４００に移る。一方、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在しないとき（ステップＳ２００のＮｏ）、画像処理装置ＩＰＤの動作は、ステップＳ３００に移る。
【００６１】
ステップＳ３００では、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける動画データＩＭＧｍを、メモリ２００の動画専用領域ＡＲＥｍに順次出力する。すなわち、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける動画データＩＭＧｍを、メモリ２００の動画専用領域ＡＲＥｍに順次記憶する。これにより、動画データＩＭＧｍは、例えば、動画専用領域ＡＲＥｍに時系列順に連続して記憶される。ステップＳ３００の処理が実行された後、画像処理装置ＩＰＤの動作は、ステップＳ７００に移る。
【００６２】
ステップＳ４００では、センサ出力回路１００は、図７に示すように、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在するときの動画データＩＭＧｍの出力処理を実行する。ステップＳ４００の処理が実行された後、画像処理装置ＩＰＤの動作は、ステップＳ７００に移る。
【００６３】
ステップＳ２１０では、画像処理装置ＩＰＤは、ステップＳ２００と同様に、未処理の静止画データＩＭＧｓがメモリ２００の並列配置領域ＡＲＥｓｍに存在するか否かを判定する。未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在するとき（ステップＳ２１０のＹｅｓ）、画像処理装置ＩＰＤの動作は、ステップＳ５００に移る。一方、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在しないとき（ステップＳ２１０のＮｏ）、画像処理装置ＩＰＤの動作は、ステップＳ６００に移る。
【００６４】
ステップＳ５００では、センサ出力回路１００は、図８に示すように、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在するときの静止画データＩＭＧｓと動画データＩＭＧｍの出力処理を実行する。ステップＳ５００の処理が実行された後、画像処理装置ＩＰＤの動作は、ステップＳ７００に移る。
【００６５】
ステップＳ６００では、センサ出力回路１００は、図９に示すように、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在しないときの静止画データＩＭＧｓと動画データＩＭＧｍの出力処理を実行する。ステップＳ６００の処理が実行された後、画像処理装置ＩＰＤの動作は、ステップＳ７００に移る。
【００６６】
ステップＳ７００では、画像処理装置ＩＰＤは、動画撮影の停止指示が発生していたか否かを判定する。動画撮影の停止指示が発生していないとき（ステップＳ７００のＮｏ）、画像処理装置ＩＰＤの動作は、ステップＳ１００に戻る。すなわち、画像処理装置ＩＰＤは、次のフレームの画像処理を実行する。一方、動画撮影の停止指示が発生しているとき（ステップＳ７００のＹｅｓ）、画像処理装置ＩＰＤのセンサ出力回路１００に関する処理は、終了する。
【００６７】
なお、画像処理装置ＩＰＤの動作は、この例に限定されない。例えば、ステップＳ３００、Ｓ４００、Ｓ５００、Ｓ６００のいずれをセンサ出力回路１００が実行するかは、現フレーム期間ＶＤの前のフレーム期間ＶＤに決定されていてもよい。すなわち、画像処理装置ＩＰＤは、現フレーム期間ＶＤに、次のフレーム期間ＶＤのセンサ出力回路１００の出力処理（ステップＳ３００、Ｓ４００、Ｓ５００、Ｓ６００のいずれか）を決定してもよい。
【００６８】
例えば、画像処理装置ＩＰＤは、ステップＳ１００において、現フレーム期間ＶＤに静止画撮影指示が発生したか否かを判定してもよい。この場合、ステップＳ２００、Ｓ２１０では、例えば、画像処理装置ＩＰＤは、未処理の静止画データＩＭＧｓが次のフレーム期間ＶＤまで存在するか否かを判定する。また、ステップＳ２１０で未処理の静止画データＩＭＧｓが次のフレーム期間ＶＤまで存在すると判定した場合、画像処理装置ＩＰＤは、次のフレーム期間ＶＤでの並列配置領域ＡＲＥｓｍの空き容量を判定する。
【００６９】
例えば、画像処理装置ＩＰＤは、次のフレーム期間ＶＤでの並列配置領域ＡＲＥｓｍの空き容量が１フレーム分の静止画データＩＭＧｓを保持するための容量以上の場合、ステップＳ５００の処理を次のフレーム期間ＶＤのセンサ出力回路１００の出力処理に決定する。なお、空き容量が不足している場合、画像処理装置ＩＰＤは、ステップＳ４００の処理を次のフレーム期間ＶＤのセンサ出力回路１００の出力処理に決定する。この場合、次のフレーム期間ＶＤのイメージセンサＩＳＥＮの出力モードは、動画出力モードである。
【００７０】
図７から図９は、図６のステップＳ４００、Ｓ５００、Ｓ６００の一例をそれぞれ示している。すなわち、図７から図９は、画像処理装置ＩＰＤの制御方法の一例を示している。図７から図９の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。
【００７１】
図７は、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在するときの動画データＩＭＧｍの出力処理の一例を示している。すなわち、図７は、図６のステップＳ４００の一例を示している。図７の動作では、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける動画データＩＭＧｍを、静止画データＩＭＧｓが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。
【００７２】
ステップＳ４３０では、センサ出力回路１００は、未処理の静止画データＩＭＧｓのうち、動画データＩＭＧｍと一緒に処理される静止画データＩＭＧｓのポインタを取得する。例えば、センサ出力回路１００は、レジスタ１７０に保持されているメモリ２００の情報（リードポインタ、ライトポインタ等）に基づいて、現フレーム期間ＶＤに画像処理が実行される静止画データＩＭＧｓのポインタを取得する。そして、センサ出力回路１００のアドレス算出部１５０は、取得したポインタおよび静止画の１ラインＬＳ分の静止画データＩＭＧｓのデータ量に基づいて、動画データＩＭＧｍの出力先アドレスＡＤＲを算出する。また、アドレス算出部１５０は、算出した出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）をデータ出力部１６０に通知する。さらに、アドレス算出部１５０は、カウンタ部１４０のカウント値を、動画の１ラインＬＭの画素数にセットする。
【００７３】
ステップＳ４３２では、カウンタ部１４０は、例えば、縮小部１３０から１画素分の動画データＩＭＧｍが出力される度に、カウンタ値をデクリメントする。例えば、カウンタ部１４０は、縮小部１３０から１画素分の動画データＩＭＧｍがデータ出力部１６０に転送される度に、カウンタ値をデクリメントする。データ出力部１６０は、例えば、縮小部１３０から受けた動画データＩＭＧｍを、アドレス算出部１５０から受けた出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）に従ってメモリ２００に出力する。すなわち、センサ出力回路１００から１画素分の動画データＩＭＧｍが出力される度に、カウンタ部１４０は、カウンタ値をデクリメントする。
【００７４】
ステップＳ４３４では、アドレス算出部１５０は、カウンタ部１４０のカウント値がゼロか否かを判定する。カウンタ部１４０のカウント値がゼロのとき（ステップＳ４３４のＹｅｓ）、アドレス算出部１５０の動作は、ステップＳ４３６に移る。一方、カウンタ部１４０のカウント値がゼロでないとき（ステップＳ４３４のＮｏ）、アドレス算出部１５０の動作は、ステップＳ４３８に移る。
【００７５】
ステップＳ４３６では、アドレス算出部１５０は、出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）を、静止画の１ラインＬＳ分スキップさせる。ここで、スキップされる静止画の１ラインＬＳ分のアドレスは、静止画の１ラインＬＳ分の静止画データＩＭＧｓが記憶されている領域のアドレスに対応している。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、動画の１ラインＬＭの画素数にリセットする。
【００７６】
ステップＳ４３８では、アドレス算出部１５０は、出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）を、１画素分インクリメントする。
【００７７】
ステップＳ４４０では、アドレス算出部１５０は、ステップＳ４３６あるいはステップＳ４３８で算出した出力先アドレスＡＤＲをデータ出力部１６０に通知する。これにより、データ出力部１６０は、次に出力する１画素分の動画データＩＭＧｍの出力先アドレスＡＤＲを受ける。
【００７８】
ステップＳ４４２では、センサ出力回路１００は、動画の全ラインの動画データＩＭＧｍが出力済みか否かを判定する。動画の全ラインの動画データＩＭＧｍが出力済みでないとき（ステップＳ４４２のＮｏ）、センサ出力回路１００の動作は、ステップＳ４３２に戻る。すなわち、１フレーム分の動画データＩＭＧｍの出力が完了していないとき、センサ出力回路１００の動作は、ステップＳ４３２に戻る。このように、動画の全画素分の動画データＩＭＧｍが出力されるまで、ステップＳ４３２からステップＳ４４２の処理が繰り返される。
【００７９】
そして、動画の全ラインの動画データＩＭＧｍが出力済みのとき（ステップＳ４４２のＹｅｓ）、センサ出力回路１００の動作は、終了する。すなわち、１フレーム分の動画データＩＭＧｍの出力が完了したとき、センサ出力回路１００の動作は、終了する。
【００８０】
図８は、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在するときの静止画データＩＭＧｓと動画データＩＭＧｍの出力処理の一例を示している。すなわち、図８は、図６のステップＳ５００の一例を示している。図８の動作では、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける静止画データＩＭＧｓを、動画データＩＭＧｍが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。また、センサ出力回路１００は、静止画データＩＭＧｓから生成した動画データＩＭＧｍを、静止画データＩＭＧｓが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。
【００８１】
ステップＳ５１０では、センサ出力回路１００は、メモリ２００の並列配置領域ＡＲＥｓｍ内の空き領域のポインタを、レジスタ１７０に保持されているメモリ２００の情報（リードポインタ、ライトポインタ等）に基づいて取得する。メモリ２００の並列配置領域ＡＲＥｓｍ内の空き領域のポインタは、例えば、静止画データＩＭＧｓの出力先アドレスＡＤＲに対応している。そして、センサ出力回路１００のアドレス算出部１５０は、取得したポインタに基づく静止画データＩＭＧｓの出力先アドレスＡＤＲを、データ出力部１６０に通知する。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、静止画の１ラインＬＳの画素数にセットする。
【００８２】
ステップＳ５１２では、カウンタ部１４０は、例えば、判定部１２０から１画素分の静止画データＩＭＧｓが出力される度に、カウンタ値をデクリメントする。例えば、カウンタ部１４０は、判定部１２０から１画素分の静止画データＩＭＧｓがデータ出力部１６０に転送される度に、カウンタ値をデクリメントする。データ出力部１６０は、例えば、判定部１２０から受けた静止画データＩＭＧｓを、アドレス算出部１５０から受けた出力先アドレスＡＤＲ（静止画データＩＭＧｓの出力先アドレスＡＤＲ）に従ってメモリ２００に出力する。すなわち、センサ出力回路１００から１画素分の静止画データＩＭＧｓが出力される度に、カウンタ部１４０は、カウンタ値をデクリメントする。
【００８３】
ステップＳ５１４では、アドレス算出部１５０は、カウンタ部１４０のカウント値がゼロか否かを判定する。カウンタ部１４０のカウント値がゼロのとき（ステップＳ５１４のＹｅｓ）、アドレス算出部１５０の動作は、ステップＳ５１６に移る。一方、カウンタ部１４０のカウント値がゼロでないとき（ステップＳ５１４のＮｏ）、アドレス算出部１５０の動作は、ステップＳ５１８に移る。
【００８４】
ステップＳ５１６では、アドレス算出部１５０は、出力先アドレスＡＤＲ（静止画データＩＭＧｓの出力先アドレスＡＤＲ）を、動画の１ラインＬＭ分スキップさせる。ここで、スキップされる動画の１ラインＬＭ分のアドレスは、動画の１ラインＬＭ分の動画データＩＭＧｍが記憶されている領域のアドレスに対応している。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、静止画の１ラインＬＳの画素数にリセットする。
【００８５】
ステップＳ５１８では、アドレス算出部１５０は、出力先アドレスＡＤＲ（静止画データＩＭＧｓの出力先アドレスＡＤＲ）を、１画素分インクリメントする。
【００８６】
ステップＳ５２０では、アドレス算出部１５０は、ステップＳ５１６あるいはステップＳ５１８で算出した出力先アドレスＡＤＲをデータ出力部１６０に通知する。これにより、データ出力部１６０は、次に出力する１画素分の静止画データＩＭＧｓの出力先アドレスＡＤＲを受ける。
【００８７】
ステップＳ５２２では、センサ出力回路１００は、静止画の全ラインの静止画データＩＭＧｓが出力済みか否かを判定する。静止画の全ラインの静止画データＩＭＧｓが出力済みでないとき（ステップＳ５２２のＮｏ）、センサ出力回路１００の動作は、ステップＳ５１２に戻る。すなわち、１フレーム分の静止画データＩＭＧｓの出力が完了していないとき、センサ出力回路１００の動作は、ステップＳ５１２に戻る。
【００８８】
一方、静止画の全ラインの静止画データＩＭＧｓが出力済みのとき（ステップＳ５２２のＹｅｓ）、センサ出力回路１００の動作は、ステップＳ５３０に移る。すなわち、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける１フレーム分の静止画データＩＭＧｓをメモリ２００の並列配置領域ＡＲＥｓｍに記憶した後、ステップＳ５３０を実行する。
【００８９】
ステップＳ５３０では、センサ出力回路１００は、未処理の静止画データＩＭＧｓのうち、動画データＩＭＧｍと一緒に処理される静止画データＩＭＧｓのポインタを取得する。例えば、センサ出力回路１００は、レジスタ１７０に保持されているメモリ２００の情報（リードポインタ、ライトポインタ等）に基づいて、現フレーム期間ＶＤに画像処理が実行される静止画データＩＭＧｓのポインタを取得する。そして、センサ出力回路１００のアドレス算出部１５０は、取得したポインタおよび静止画の１ラインＬＳ分の静止画データＩＭＧｓのデータ量に基づいて、動画データＩＭＧｍの出力先アドレスＡＤＲを算出する。また、アドレス算出部１５０は、算出した出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）をデータ出力部１６０に通知する。さらに、アドレス算出部１５０は、カウンタ部１４０のカウント値を、動画の１ラインＬＭの画素数にセットする。
【００９０】
ステップＳ５３２では、縮小部１３０は、メモリ２００の並列配置領域ＡＲＥｓｍから静止画データＩＭＧｓを読み出し、縮小処理を実行する。これにより、動画データＩＭＧｍが生成される。そして、カウンタ部１４０は、例えば、縮小部１３０から１画素分の動画データＩＭＧｍが出力される度に、カウンタ値をデクリメントする。例えば、カウンタ部１４０は、縮小部１３０から１画素分の動画データＩＭＧｍがデータ出力部１６０に転送される度に、カウンタ値をデクリメントする。データ出力部１６０は、例えば、縮小部１３０から受けた動画データＩＭＧｍを、アドレス算出部１５０から受けた出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）に従ってメモリ２００に出力する。すなわち、センサ出力回路１００から１画素分の動画データＩＭＧｍが出力される度に、カウンタ部１４０は、カウンタ値をデクリメントする。
【００９１】
ステップＳ５３４では、アドレス算出部１５０は、カウンタ部１４０のカウント値がゼロか否かを判定する。カウンタ部１４０のカウント値がゼロのとき（ステップＳ５３４のＹｅｓ）、アドレス算出部１５０の動作は、ステップＳ５３６に移る。一方、カウンタ部１４０のカウント値がゼロでないとき（ステップＳ５３４のＮｏ）、アドレス算出部１５０の動作は、ステップＳ５３８に移る。
【００９２】
ステップＳ５３６では、アドレス算出部１５０は、出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）を、静止画の１ラインＬＳ分スキップさせる。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、動画の１ラインＬＭの画素数にリセットする。
【００９３】
ステップＳ５３８では、アドレス算出部１５０は、出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）を、１画素分インクリメントする。
【００９４】
ステップＳ５４０では、アドレス算出部１５０は、ステップＳ５３６あるいはステップＳ５３８で算出した出力先アドレスＡＤＲをデータ出力部１６０に通知する。これにより、データ出力部１６０は、次に出力する１画素分の動画データＩＭＧｍの出力先アドレスＡＤＲを受ける。
【００９５】
ステップＳ５４２では、センサ出力回路１００は、動画の全ラインの動画データＩＭＧｍが出力済みか否かを判定する。動画の全ラインの動画データＩＭＧｍが出力済みでないとき（ステップＳ５４２のＮｏ）、センサ出力回路１００の動作は、ステップＳ５３２に戻る。すなわち、１フレーム分の動画データＩＭＧｍの出力が完了していないとき、センサ出力回路１００の動作は、ステップＳ５３２に戻る。
【００９６】
一方、動画の全ラインの動画データＩＭＧｍが出力済みのとき（ステップＳ５４２のＹｅｓ）、センサ出力回路１００の動作は、終了する。すなわち、１フレーム分の動画データＩＭＧｍの出力が完了したとき、センサ出力回路１００の動作は、終了する。
【００９７】
このように、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける１フレーム分の静止画データＩＭＧｓをメモリ２００の並列配置領域ＡＲＥｓｍに記憶した後、動画データＩＭＧｍをメモリ２００の並列配置領域ＡＲＥｓｍに記憶する処理を実行する。
【００９８】
なお、センサ出力回路１００の動作は、この例に限定されない。例えば、縮小部１３０は、ステップＳ５３２において、１ラインＬＭ分の動画データＩＭＧｍをデータ出力部１６０に転送してもよい。この場合、ステップＳ５３２、Ｓ５３６のカウンタ部１４０の制御、ステップＳ５３４、Ｓ５３８の処理は、省かれてもよい。
【００９９】
図９は、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在しないときの静止画データＩＭＧｓと動画データＩＭＧｍの出力処理の一例を示している。すなわち、図９は、図６のステップＳ６００の一例を示している。図９の動作では、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける静止画データＩＭＧｓを、動画データＩＭＧｍが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。また、センサ出力回路１００は、静止画データＩＭＧｓから生成した動画データＩＭＧｍを、静止画データＩＭＧｓが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。なお、図８で説明した動作と同様の動作については、詳細な説明を省略する。
【０１００】
ステップＳ６１０では、例えば、センサ出力回路１００のアドレス算出部１５０は、静止画データＩＭＧｓの出力先アドレスＡＤＲを、データ出力部１６０に通知する。未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在しないため、静止画データＩＭＧｓの出力先アドレスＡＤＲは、例えば、並列配置領域ＡＲＥｓｍの先頭アドレスに対応している。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、静止画の１ラインＬＳの画素数にセットする。
【０１０１】
ステップＳ６１２、Ｓ６１４、Ｓ６１６、Ｓ６１８、Ｓ６２０、Ｓ６２２は、図８で説明したステップＳ５１２、Ｓ５１４、Ｓ５１６、Ｓ５１８、Ｓ５２０、Ｓ５２２と同様である。例えば、静止画の全ラインの静止画データＩＭＧｓが出力済みでないとき（ステップＳ６２２のＮｏ）、センサ出力回路１００の動作は、ステップＳ６１２に戻る。一方、静止画の全ラインの静止画データＩＭＧｓが出力済みのとき（ステップＳ６２２のＹｅｓ）、センサ出力回路１００の動作は、ステップＳ６３０に移る。
【０１０２】
ステップＳ６３０では、例えば、センサ出力回路１００のアドレス算出部１５０は、動画データＩＭＧｍの出力先アドレスＡＤＲを、データ出力部１６０に通知する。動画データＩＭＧｍの出力先アドレスＡＤＲは、例えば、並列配置領域ＡＲＥｓｍの先頭アドレスから静止画の１ラインＬＳ分スキップしたアドレスに対応している。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、動画の１ラインＬＭの画素数にセットする。
【０１０３】
ステップＳ６３２、Ｓ６３４、Ｓ６３６、Ｓ６３８、Ｓ６４０、Ｓ６４２は、図８で説明したステップＳ５３２、Ｓ５３４、Ｓ５３６、Ｓ５３８、Ｓ５４０、Ｓ５４２と同様である。例えば、ステップＳ６３２では、縮小部１３０は、メモリ２００の並列配置領域ＡＲＥｓｍから静止画データＩＭＧｓを読み出し、縮小処理を実行する。また、例えば、カウンタ部１４０は、縮小部１３０から１画素分の動画データＩＭＧｍがデータ出力部１６０に転送される度に、カウンタ値をデクリメントする。データ出力部１６０は、例えば、縮小部１３０から受けた動画データＩＭＧｍを、アドレス算出部１５０から受けた出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）に従ってメモリ２００に出力する。
【０１０４】
また、例えば、動画の全ラインの動画データＩＭＧｍが出力済みでないとき（ステップＳ６４２のＮｏ）、センサ出力回路１００の動作は、ステップＳ６３２に戻る。一方、動画の全ラインの動画データＩＭＧｍが出力済みのとき（ステップＳ６４２のＹｅｓ）、センサ出力回路１００の動作は、終了する。このように、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける１フレーム分の静止画データＩＭＧｓをメモリ２００の並列配置領域ＡＲＥｓｍに記憶した後、動画データＩＭＧｍをメモリ２００の並列配置領域ＡＲＥｓｍに記憶する処理を実行する。
【０１０５】
なお、センサ出力回路１００の動作は、この例に限定されない。例えば、縮小部１３０は、ステップＳ６３２において、１ラインＬＭ分の動画データＩＭＧｍをデータ出力部１６０に転送してもよい。この場合、ステップＳ６３２、Ｓ６３６のカウンタ部１４０の制御、ステップＳ６３４、Ｓ６３８の処理は、省かれてもよい。
【０１０６】
図１０は、画像データＩＭＧｓ、ＩＭＧｍの処理順序およびメモリ２００内のデータ配置の別の例を示している。図１０の破線の矢印および網掛けの意味は、図４の破線の矢印および網掛けの意味と同様である。図１０の静止画データＩＭＧｓ、動画データＩＭＧｍのメモリ２００内の配置は、図４と同様である。なお、図１０は、フレーム期間ＶＤ２での動画データＩＭＧｍの生成タイミングが図４と相違する。図１０のその他の動作は、図４と同様である。図４で説明した動作と同様の動作については、詳細な説明を省略する。
【０１０７】
フレーム期間ＶＤ２では、イメージセンサＩＳＥＮは、静止画データＩＭＧｓ２を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、イメージセンサＩＳＥＮから受けた静止画データＩＭＧｓ２を、動画データＩＭＧｍ２が記憶される位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。また、センサ出力回路１００は、例えば、縮小処理に必要なライン数の静止画データＩＭＧｓ２をイメージセンサＩＳＥＮから受ける度に、静止画データＩＭＧｓ２を縮小して、動画データＩＭＧｍ２を生成する。そして、センサ出力回路１００は、静止画データＩＭＧｓ２から生成した動画データＩＭＧｍ２を、静止画データＩＭＧｓ２が記憶されている位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。
【０１０８】
例えば、センサ出力回路１００の判定部１２０は、イメージセンサＩＳＥＮからデータ入力部１１０を介して受ける静止画データＩＭＧｓ２を、データ出力部１６０および縮小部１３０に転送する。データ出力部１６０は、判定部１２０から受けた静止画データＩＭＧｓ２を、アドレス算出部１５０から受ける出力先アドレスＡＤＲに従って並列配置領域ＡＲＥｓｍに順次記憶する。
【０１０９】
また、縮小部１３０は、縮小処理に必要なライン数の静止画データＩＭＧｓ２を取得するまで、判定部１２０から受けた静止画データＩＭＧｓ２を保持する。そして、縮小部１３０は、例えば、縮小処理に必要なライン数の静止画データＩＭＧｓ２を取得したときに、保持している静止画データＩＭＧｓ２を用いて縮小処理を実行する。縮小処理により生成された動画データＩＭＧｍ２は、データ出力部１６０に転送される。データ出力部１６０は、縮小部１３０から受けた動画データＩＭＧｍ２を、アドレス算出部１５０から受ける出力先アドレスＡＤＲに従って並列配置領域ＡＲＥｓｍに順次記憶する。
【０１１０】
これにより、静止画データＩＭＧｓ２および動画データＩＭＧｍ２は、並列配置領域ＡＲＥｓｍにライン毎に並べて配置される。このように、センサ出力回路１００は、並列配置領域ＡＲＥｓｍから静止画データＩＭＧｓ２を読み出すことなく、動画データＩＭＧｍ２を順次生成する。フレーム期間ＶＤ２のその他の動作は、図４のフレーム期間ＶＤ２と同様である。
【０１１１】
図１１は、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在するときの静止画データＩＭＧｓと動画データＩＭＧｍの出力処理の別の例を示している。すなわち、図１１は、図６のステップＳ５００の別の例を示している。図１１の動作では、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける静止画データＩＭＧｓを、動画データＩＭＧｍが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。また、センサ出力回路１００は、並列配置領域ＡＲＥｓｍから静止画データＩＭＧｓ２を読み出すことなく、静止画データＩＭＧｓから動画データＩＭＧｍを生成する。そして、センサ出力回路１００は、動画データＩＭＧｍを、静止画データＩＭＧｓが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。なお、図８で説明したステップと同様のステップについては、同様の符号を付し、これ等については、詳細な説明を省略する。
【０１１２】
ステップＳ５１０ａでは、センサ出力回路１００は、メモリ２００の並列配置領域ＡＲＥｓｍ内の空き領域のポインタを、レジスタ１７０に保持されているメモリ２００の情報（リードポインタ、ライトポインタ等）に基づいて取得する。メモリ２００の並列配置領域ＡＲＥｓｍ内の空き領域のポインタは、例えば、静止画データＩＭＧｓの出力先アドレスＡＤＲに対応している。
【０１１３】
ステップＳ５１０ｂでは、センサ出力回路１００のアドレス算出部１５０は、静止画データＩＭＧｓの出力先アドレスＡＤＲを、データ出力部１６０に通知する。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、静止画の１ラインＬＳの画素数にセットする。
【０１１４】
ステップＳ５１２−Ｓ５２０は、図８のステップＳ５１２−Ｓ５２０と同様である。
【０１１５】
ステップＳ５２２ａでは、センサ出力回路１００は、縮小処理に必要なライン数の静止画データＩＭＧｓを取得したか否かを判定する。例えば、センサ出力回路１００の縮小部１３０は、縮小処理に必要なライン数の静止画データＩＭＧｓを判定部１２０から受けたか否かを判定する。縮小処理に必要なライン数の静止画データＩＭＧｓを取得していないとき（ステップＳ５２２ａのＮｏ）、センサ出力回路１００の動作は、ステップＳ５１２に戻る。一方、縮小処理に必要なライン数の静止画データＩＭＧｓを取得しているとき（ステップＳ５２２ａのＹｅｓ）、センサ出力回路１００の動作は、ステップＳ５５０に移る。
【０１１６】
ステップＳ５５０では、センサ出力回路１００は、イメージセンサＩＳＥＮを出力待機状態に設定する。また、センサ出力回路１００は、静止画データＩＭＧｓの出力先アドレスＡＤＲを記憶する。例えば、センサ出力回路１００のアドレス算出部１５０は、ステップＳ５２０で通知した静止画データＩＭＧｓの出力先アドレスＡＤＲを、センサ出力回路１００内のバッファ等に記憶する。
【０１１７】
ステップＳ５５２では、センサ出力回路１００は、未処理の静止画データＩＭＧｓのうち、動画データＩＭＧｍと一緒に処理される静止画データＩＭＧｓのポインタを取得する。例えば、センサ出力回路１００は、レジスタ１７０に保持されているメモリ２００の情報（リードポインタ、ライトポインタ等）に基づいて、現フレーム期間ＶＤに画像処理が実行される静止画データＩＭＧｓのポインタを取得する。そして、センサ出力回路１００のアドレス算出部１５０は、取得したポインタおよび静止画の１ラインＬＳ分の静止画データＩＭＧｓのデータ量に基づいて、動画データＩＭＧｍの出力先アドレスＡＤＲを算出する。また、アドレス算出部１５０は、算出した出力先アドレスＡＤＲ（動画データＩＭＧｍの出力先アドレスＡＤＲ）をデータ出力部１６０に通知する。
【０１１８】
ステップＳ５５４では、縮小部１３０は、縮小処理に必要なライン数の静止画データＩＭＧｓを用いて、縮小処理を実行する。これにより、例えば、１ラインＬＭ分の動画データＩＭＧｍが生成される。そして、縮小部１３０は、生成した１ラインＬＭ分の動画データＩＭＧｍを、データ出力部１６０に転送する。
【０１１９】
ステップＳ５５６では、センサ出力回路１００は、動画の全ラインの動画データＩＭＧｍが出力済みか否かを判定する。動画の全ラインの動画データＩＭＧｍが出力済みでないとき（ステップＳ５５６のＮｏ）、センサ出力回路１００の動作は、ステップＳ５５８に移る。すなわち、１フレーム分の動画データＩＭＧｍの出力が完了していないとき、センサ出力回路１００の動作は、ステップＳ５５８に移る。
【０１２０】
一方、動画の全ラインの動画データＩＭＧｍが出力済みのとき（ステップＳ５５６のＹｅｓ）、センサ出力回路１００の動作は、終了する。すなわち、１フレーム分の動画データＩＭＧｍの出力が完了したとき、センサ出力回路１００の動作は、終了する。
【０１２１】
ステップＳ５５８では、例えば、センサ出力回路１００のアドレス算出部１５０は、ステップＳ５５０で記憶した静止画データＩＭＧｓの出力先アドレスＡＤＲを、読み出す。また、センサ出力回路１００は、イメージセンサＩＳＥＮの出力待機状態を解除する。これにより、イメージセンサＩＳＥＮは、画像処理装置ＩＰＤへの静止画データＩＭＧｓの出力を再開する。ステップＳ５５８の処理が実行された後、センサ出力回路１００の動作は、ステップＳ５１０ｂに戻る。
【０１２２】
このように、センサ出力回路１００は、縮小処理に必要なライン数の静止画データＩＭＧｓをイメージセンサＩＳＥＮから受ける度に、静止画データＩＭＧｓから動画データＩＭＧｍを生成する。そして、１フレーム分の動画データＩＭＧｍがメモリ２００の並列配置領域ＡＲＥｓｍに記憶されるまで、ステップＳ５１０ｂからステップＳ５５８の処理が繰り返される。
【０１２３】
なお、センサ出力回路１００の動作は、この例に限定されない。例えば、アドレス算出部１５０は、図８と同様に、カウンタ部１４０を用いて、動画データＩＭＧｍの出力先アドレスＡＤＲを更新してもよい。また、例えば、センサ出力回路１００は、ステップＳ５５０において、イメージセンサＩＳＥＮを出力待機状態に設定する代わりに、イメージセンサＩＳＥＮから受ける静止画データＩＭＧｓをセンサ出力回路１００内のバッファ等に蓄積してもよい。この場合、例えば、センサ出力回路１００は、ステップＳ５５８において、バッファ等に蓄積した全ての静止画データＩＭＧｓを判定部１２０等に出力する。
【０１２４】
図１２は、未処理の静止画データＩＭＧｓが並列配置領域ＡＲＥｓｍに存在しないときの静止画データＩＭＧｓと動画データＩＭＧｍの出力処理の別の例を示している。すなわち、図１２は、図６のステップＳ６００の別の例を示している。図１２の動作では、センサ出力回路１００は、イメージセンサＩＳＥＮから受ける静止画データＩＭＧｓを、動画データＩＭＧｍが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。また、センサ出力回路１００は、並列配置領域ＡＲＥｓｍから静止画データＩＭＧｓ２を読み出すことなく、静止画データＩＭＧｓから動画データＩＭＧｍを生成する。そして、センサ出力回路１００は、動画データＩＭＧｍを、静止画データＩＭＧｓが記憶される位置をスキップして、メモリ２００の並列配置領域ＡＲＥｓｍに順次記憶する。なお、図９で説明したステップと同様のステップについては、同様の符号を付し、これ等については、詳細な説明を省略する。また、図１１で説明した動作と同様の動作については、詳細な説明を省略する。
【０１２５】
ステップＳ６１０−Ｓ６２０は、図９のステップＳ６１０−Ｓ６２０と同様である。例えば、ステップＳ６１０では、センサ出力回路１００のアドレス算出部１５０は、静止画データＩＭＧｓの出力先アドレスＡＤＲを、データ出力部１６０に通知する。また、アドレス算出部１５０は、カウンタ部１４０のカウント値を、静止画の１ラインＬＳの画素数にセットする。
【０１２６】
ステップＳ６２２ａは、図１１のステップＳ５２２ａと同様である。例えば、ステップＳ６２２ａでは、センサ出力回路１００は、縮小処理に必要なライン数の静止画データＩＭＧｓを取得したか否かを判定する。縮小処理に必要なライン数の静止画データＩＭＧｓを取得していないとき（ステップＳ６２２ａのＮｏ）、センサ出力回路１００の動作は、ステップＳ６１２に戻る。一方、縮小処理に必要なライン数の静止画データＩＭＧｓを取得しているとき（ステップＳ６２２ａのＹｅｓ）、センサ出力回路１００の動作は、ステップＳ６５０に移る。ステップＳ６５０は、図１１のステップＳ５５０と同様である。
【０１２７】
ステップＳ６５２では、例えば、センサ出力回路１００のアドレス算出部１５０は、動画データＩＭＧｍの出力先アドレスＡＤＲを、読み出す。そして、アドレス算出部１５０は、動画データＩＭＧｍの出力先アドレスＡＤＲを、データ出力部１６０に通知する。なお、最初のステップＳ６５２では、アドレス算出部１５０は、例えば、並列配置領域ＡＲＥｓｍの先頭アドレスから静止画の１ラインＬＳ分スキップしたアドレスを、動画データＩＭＧｍの出力先アドレスＡＤＲとしてデータ出力部１６０に通知する。
【０１２８】
ステップＳ６５４、Ｓ６５６は、図１１のステップＳ５５４、Ｓ５５６と同様である。例えば、ステップＳ６５６では、センサ出力回路１００は、動画の全ラインの動画データＩＭＧｍが出力済みか否かを判定する。動画の全ラインの動画データＩＭＧｍが出力済みでないとき（ステップＳ６５６のＮｏ）、センサ出力回路１００の動作は、ステップＳ６５８に移る。一方、動画の全ラインの動画データＩＭＧｍが出力済みのとき（ステップＳ６５６のＹｅｓ）、センサ出力回路１００の動作は、終了する。
【０１２９】
ステップＳ６５８では、例えば、センサ出力回路１００のアドレス算出部１５０は、動画の次のラインＬＭの出力先アドレスＡＤＲを記憶する。例えば、アドレス算出部１５０は、ステップＳ６５２で通知した動画データＩＭＧｍの出力先アドレスＡＤＲから静止画の１ラインＬＳ分スキップしたアドレスを、動画データＩＭＧｍの出力先アドレスＡＤＲとしてセンサ出力回路１００内のバッファ等に記憶する。
【０１３０】
また、アドレス算出部１５０は、ステップＳ６５０で記憶した静止画データＩＭＧｓの出力先アドレスＡＤＲを、読み出す。さらに、センサ出力回路１００は、イメージセンサＩＳＥＮの出力待機状態を解除する。これにより、イメージセンサＩＳＥＮは、画像処理装置ＩＰＤへの静止画データＩＭＧｓの出力を再開する。ステップＳ６５８の処理が実行された後、センサ出力回路１００の動作は、ステップＳ６１０に戻る。
【０１３１】
このように、センサ出力回路１００は、縮小処理に必要なライン数の静止画データＩＭＧｓをイメージセンサＩＳＥＮから受ける度に、静止画データＩＭＧｓから動画データＩＭＧｍを生成する。そして、１フレーム分の動画データＩＭＧｍがメモリ２００の並列配置領域ＡＲＥｓｍに記憶されるまで、ステップＳ６１０からステップＳ６５８の処理が繰り返される。
【０１３２】
なお、センサ出力回路１００の動作は、この例に限定されない。例えば、アドレス算出部１５０は、図９と同様に、カウンタ部１４０を用いて、動画データＩＭＧｍの出力先アドレスＡＤＲを更新してもよい。また、例えば、センサ出力回路１００は、ステップＳ６５０において、イメージセンサＩＳＥＮを出力待機状態に設定する代わりに、イメージセンサＩＳＥＮから受ける静止画データＩＭＧｓをセンサ出力回路１００内のバッファ等に蓄積してもよい。この場合、例えば、センサ出力回路１００は、ステップＳ６５８において、バッファ等に蓄積した全ての静止画データＩＭＧｓを判定部１２０等に出力する。
【０１３３】
図１３は、画像データＩＭＧｓ、ＩＭＧｍの処理順序およびメモリ２００内のデータ配置の別の例を示している。図１３の細い破線の矢印および網掛けの意味は、図４の破線の矢印および網掛けの意味と同様である。また、太い破線の矢印は、静止画撮影指示に対応する静止画データＩＭＧｓを示している。図４や図１０で説明した動作と同様の動作については、詳細な説明を省略する。図１３では、撮影開始時点では、例えば、イメージセンサＩＳＥＮの出力モードは、静止画出力モードである。また、イメージセンサＩＳＥＮは、例えば、静止画撮影指示が発生するまで、静止画データＩＭＧｓを出力する。なお、イメージセンサＩＳＥＮから出力される静止画データＩＭＧｓのうち、画像処理が実行される静止画データＩＭＧｓは、静止画撮影指示に対応する静止画データＩＭＧｓである。
【０１３４】
フレーム期間ＶＤ１では、イメージセンサＩＳＥＮは、静止画データＩＭＧｓ１を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、イメージセンサＩＳＥＮから受けた静止画データＩＭＧｓ１を、動画データＩＭＧｍが記憶される位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。また、センサ出力回路１００は、例えば、並列配置領域ＡＲＥｓｍに記憶した静止画データＩＭＧｓ１を縮小して、動画データＩＭＧｍ１を生成する。そして、センサ出力回路１００は、静止画データＩＭＧｓ１から生成した動画データＩＭＧｍ１を、メモリ２００の動画専用領域ＡＲＥｍにスキップせずに順次記憶する。そして、画像処理装置ＩＰＤは、動画専用領域ＡＲＥｍに記憶された動画データＩＭＧｍ１を読み出し、動画データＩＭＧｍ１に対して画像処理を実行する。
【０１３５】
また、例えば、撮像装置ＩＤＥＶは、静止画撮影指示がフレーム期間ＶＤ１で発生していないため、フレーム期間ＶＤ２でのイメージセンサＩＳＥＮの出力が静止画データＩＭＧｓになるように、イメージセンサＩＳＥＮを静止画出力モードに維持する。
【０１３６】
フレーム期間ＶＤ２では、イメージセンサＩＳＥＮは、静止画データＩＭＧｓ２を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、イメージセンサＩＳＥＮから受けた静止画データＩＭＧｓ２を、動画データＩＭＧｍが記憶される位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。これにより、並列配置領域ＡＲＥｓｍには、静止画データＩＭＧｓ１、ＩＭＧｓ２が記憶される。
【０１３７】
また、センサ出力回路１００は、例えば、並列配置領域ＡＲＥｓｍに記憶した静止画データＩＭＧｓ２を縮小して、動画データＩＭＧｍ２を生成する。そして、センサ出力回路１００は、静止画データＩＭＧｓ２から生成した動画データＩＭＧｍ２を、メモリ２００の動画専用領域ＡＲＥｍにスキップせずに順次記憶する。そして、画像処理装置ＩＰＤは、動画専用領域ＡＲＥｍに記憶された動画データＩＭＧｍ２を読み出し、動画データＩＭＧｍ２に対して画像処理を実行する。
【０１３８】
また、静止画撮影指示がフレーム期間ＶＤ２に発生したため、例えば、撮像装置ＩＤＥＶは、イメージセンサＩＳＥＮを動画出力モードに切り替える。これにより、静止画撮影指示が発生したフレーム期間ＶＤ２の次のフレーム期間ＶＤ３では、動画データＩＭＧｍ３が、イメージセンサＩＳＥＮから出力される。なお、例えば、フレーム期間ＶＤ３での並列配置領域ＡＲＥｓｍの空き容量が１フレーム分の静止画データＩＭＧｓを保持するための容量以上である場合、撮像装置ＩＤＥＶは、フレーム期間ＶＤ３のイメージセンサＩＳＥＮを静止画出力モードに維持してもよい。
【０１３９】
図１３の例では、フレーム期間ＶＤ２に発生した静止画撮影指示に応答して処理される静止画データＩＭＧｓは、フレーム期間ＶＤ１にイメージセンサＩＳＥＮから受けた静止画データＩＭＧｓ１である。したがって、フレーム期間ＶＤ３では、静止画データＩＭＧｓ１に並べて動画データＩＭＧｍ３が配置される。
【０１４０】
フレーム期間ＶＤ３では、イメージセンサＩＳＥＮは、動画データＩＭＧｍ３を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、イメージセンサＩＳＥＮから受けた動画データＩＭＧｍ３を、静止画データＩＭＧｓ１が記憶されている位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。
【０１４１】
これにより、静止画データＩＭＧｓ１および動画データＩＭＧｍ３は、並列配置領域ＡＲＥｓｍにライン毎に並べて配置される。画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍに記憶された静止画データＩＭＧｓ１および動画データＩＭＧｍ３を、静止画と動画とが一体となった画像のライン毎に読み出す。そして、画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍから読み出した静止画データＩＭＧｓ１および動画データＩＭＧｍ３に対して画像処理を実行する。なお、動画データＩＭＧｍ３を含まないラインでは、静止画データＩＭＧｓ１に対して画像処理が実行される。
【０１４２】
動画データＩＭＧｍ３の画像処理は、フレーム期間ＶＤ３（１フレーム期間ＶＤ）内に完了する。なお、静止画データＩＭＧｓ１の画像処理は、フレーム期間ＶＤ３内には完了していない。すなわち、フレーム期間ＶＤ３の次のフレーム期間ＶＤ４では、未処理の静止画データＩＭＧｓ１が存在する。
【０１４３】
このため、例えば、撮像装置ＩＤＥＶは、フレーム期間ＶＤ４でのイメージセンサＩＳＥＮの出力が動画データＩＭＧｍになるように、イメージセンサＩＳＥＮを動画出力モードに維持する。なお、例えば、フレーム期間ＶＤ４での並列配置領域ＡＲＥｓｍの空き容量が１フレーム分の静止画データＩＭＧｓを保持するための容量以上である場合、撮像装置ＩＤＥＶは、フレーム期間ＶＤ４のイメージセンサＩＳＥＮを静止画出力モードに切り替えてもよい。
【０１４４】
フレーム期間ＶＤ４では、イメージセンサＩＳＥＮは、動画データＩＭＧｍ４を画像処理装置ＩＰＤに出力する。センサ出力回路１００は、イメージセンサＩＳＥＮから受けた動画データＩＭＧｍ４を、静止画データＩＭＧｓ１が記憶されている位置をスキップして、並列配置領域ＡＲＥｓｍに順次記憶する。この際、センサ出力回路１００は、動画データＩＭＧｍ４を、未処理の静止画データＩＭＧｓ１に並べて配置する。
【０１４５】
これにより、未処理の静止画データＩＭＧｓ１および動画データＩＭＧｍ４は、並列配置領域ＡＲＥｓｍにライン毎に並べて配置される。画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍに記憶された静止画データＩＭＧｓ１および動画データＩＭＧｍ４を、静止画と動画とが一体となった画像のライン毎に読み出す。そして、画像処理装置ＩＰＤは、並列配置領域ＡＲＥｓｍから読み出した静止画データＩＭＧｓ１および動画データＩＭＧｍ４に対して画像処理を実行する。なお、動画データＩＭＧｍ４を含まないラインでは、静止画データＩＭＧｓ１に対して画像処理が実行される。
【０１４６】
動画データＩＭＧｍ４の画像処理は、フレーム期間ＶＤ４（１フレーム期間ＶＤ）内に完了する。また、図４の例では、静止画データＩＭＧｓ１の画像処理は、フレーム期間ＶＤ３、ＶＤ４の２フレーム期間ＶＤで完了する。すなわち、フレーム期間ＶＤ４の次のフレーム期間ＶＤでは、未処理の静止画データＩＭＧｓは存在しない。
【０１４７】
このため、撮像装置ＩＤＥＶは、フレーム期間ＶＤ４の次のフレーム期間ＶＤのイメージセンサＩＳＥＮを静止画出力モードに切り替える。したがって、フレーム期間ＶＤ４の次のフレーム期間ＶＤは、フレーム期間ＶＤ１と同様の状態に戻る。
【０１４８】
このように、画像処理装置ＩＰＤは、静止画撮影指示から所定の時間分遡った時刻の静止画データＩＭＧｓに対して画像処理を実行できる。これにより、ユーザのシャッタタイミング（静止画撮影指示の時刻）と画像処理される静止画データＩＭＧｓの撮影時刻とのタイムラグを小さくできる。なお、フレーム期間ＶＤ２に発生した静止画撮影指示に応答して処理される静止画データＩＭＧｓは、フレーム期間ＶＤ２にイメージセンサＩＳＥＮから受けた静止画データＩＭＧｓ２でもよい。
【０１４９】
また、センサ出力回路１００は、並列配置領域ＡＲＥｓｍから静止画データＩＭＧｓを読み出すことなく、イメージセンサＩＳＥＮから受けた静止画データＩＭＧｓから動画データＩＭＧｍを順次生成してもよい。あるいは、イメージセンサＩＳＥＮの出力モードの切り替えは、画像処理装置ＩＰＤにより実行されてもよい。
【０１５０】
以上、図１から図１３に示した実施形態の画像処理装置ＩＰＤおよび画像処理装置ＩＰＤの制御方法は、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００に記憶するとき、静止画データＩＭＧｓと動画データＩＭＧｍとを、静止画データＩＭＧｓのライン方向ＤＬにライン毎に並べてメモリ２００に配置する。これにより、この実施形態では、静止画データＩＭＧｓと動画データＩＭＧｍとを一体とした画像データを、ライン毎に読み出すことができる。この結果、この実施形態では、静止画データＩＭＧｓの画像処理と動画データＩＭＧｍの画像処理とを効率的に実行できる。
【０１５１】
例えば、この実施形態では、静止画の分割処理を実行することなく、静止画データＩＭＧｓの画像処理と動画データＩＭＧｍの画像処理とを実行できる。あるいは、この実施形態では、画像処理を実行する際に、互いに異なるメモリ（アドレス空間）にアクセス先を切り替えることなく、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００から読み出すことができる。このように、この実施形態では、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。
【０１５２】
また、この実施形態では、静止画データＩＭＧｓに対する画像処理を、１フレーム分の動画データＩＭＧｍの画像処理の完了を待たずに開始できる。このため、この実施形態では、ＹＣＣデータに変換された静止画データＤＹＣＣｓ（画像処理後の静止画データＩＭＧｓ）に対する符号化処理等を、１フレーム分の動画データＩＭＧｍの画像処理の完了を待たずに開始できる。例えば、この実施形態では、圧縮処理に必要な最小単位の静止画のＹＣＣデータが揃った時点で、符号化処理を開始できる。これにより、この実施形態では、静止画の撮影から静止画の保存完了までの時間を短縮できる。
【０１５３】
また、この実施形態では、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００に記憶するとき、静止画データＩＭＧｓと動画データＩＭＧｍとをライン毎にメモリ２００の仮想アドレス上で連続させてもよい。この場合にも、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。
【０１５４】
さらに、この実施形態では、静止画撮影指示から所定の時間分遡った時刻の静止画データＩＭＧｓに対して画像処理を実行してもよい。この場合、シャッタのタイムラグを小さくできる。
【０１５５】
図１４は、画像処理装置および画像処理装置の制御方法の別の実施形態を示している。この実施形態の画像処理装置ＩＰＤ２は、算出部３００が図１に示した画像処理装置ＩＰＤに追加されている。画像処理装置ＩＰＤ２のその他の構成は、図１に示した画像処理装置ＩＰＤと同様である。図１から図１３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、この実施形態の画像処理装置ＩＰＤ２は、撮像装置ＩＤＥＶに搭載される。
【０１５６】
画像処理装置ＩＰＤ２は、センサ出力回路１００、メモリ２００および算出部３００を有している。センサ出力回路１００は、静止画データＩＭＧｓに並べて動画データＩＭＧｍをメモリ２００内に配置する際にオフセットを持たせることを除いて、図１に示したセンサ出力回路１００と同様である。
【０１５７】
算出部３００は、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００に記憶するとき、動画データＩＭＧｍに対する画像処理が１フレーム期間ＶＤ内に終了する範囲で、動画データＩＭＧｍを配置する際のオフセットを算出する。動画データＩＭＧｍを配置する際のオフセットは、例えば、動画データＩＭＧｍに対する画像処理の開始タイミングの最大遅延量に対応するライン数である。また、算出部３００は、静止画データＩＭＧｓに対する符号化処理の１フレーム中の中断回数が最少になるように、静止画データＩＭＧｓに対する符号化処理の開始タイミングを算出する。
【０１５８】
センサ出力回路１００は、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００に記憶するとき、静止画データＩＭＧｓの各フレームで最初に処理されるラインから算出部３００で算出されたライン数分だけオフセットを持たせて、動画データＩＭＧｍを配置する。
【０１５９】
例えば、画像処理装置ＩＰＤ２は、算出部３００で算出された開始タイミングに基づいて、ＹＣＣデータに変換された静止画データＤＹＣＣｓに対する符号化処理を開始する。なお、画像処理装置ＩＰＤ２の外部に設けられた符号化装置が、算出部３００で算出された開始タイミングに基づいて、ＹＣＣデータに変換された静止画データＤＹＣＣｓに対する符号化処理を開始してもよい。
【０１６０】
図１５は、図１４に示した画像処理装置ＩＰＤ２のメモリ２００のデータ配置の一例を示している。図１５の網掛け部分は、静止画データＩＭＧｓと動画データＩＭＧｍとが一体の画像データとして扱われる部分を示している。なお、図１５の例では、静止画のサイズは、３２００×２４００画素であり、動画のサイズは、静止画を１／２（水平方向および垂直方向に１／２倍）に縮小したサイズで、１６００×１２００画素である。また、図１５に示した各時間の数値例は、以下に示す条件のときの時間を示している。
【０１６１】
１フレーム期間ＶＤは、３３ミリ秒（ｍｓ）である。また、画像処理のクロックは、２００ＭＨｚであり、１クロックで１画素が処理される。
【０１６２】
静止画データＩＭＧｓと動画データＩＭＧｍとが一体の画像データとして扱われる網掛け部分は、（３２００＋１６００）×１２００画素（５．７６メガピクセル、約５．８メガピクセル）である。したがって、静止画データＩＭＧｓと動画データＩＭＧｍとが一体の画像データとして扱われる網掛け部分の処理時間をＴｓｍとした場合、処理時間Ｔｓｍは、式（１）で表される。
【０１６３】
Ｔｓｍ＝５．７６メガピクセル／２００ＭＨｚ＝０．０２８８秒          ‥‥（１）
すなわち、処理時間Ｔｓｍは、２８．８ミリ秒（ｍｓ）である。したがって、１フレーム期間ＶＤから処理時間Ｔｓｍを引いた時間は、静止画データＩＭＧｓのみの画像処理の時間に割り当てられる。静止画データＩＭＧｓのみの画像処理に使用可能なフレーム期間ＶＤ１内の処理時間をＴｓとした場合、処理時間Ｔｓは、１フレーム期間ＶＤが３３ミリ秒であるため、４．２ミリ秒（＝３３−２８．８）である。処理時間Ｔｓは、動画データＩＭＧｍに対する画像処理の開始タイミングの最大遅延量に対応する。
【０１６４】
４．２ミリ秒で処理可能な静止画のライン数をＮＬｓとした場合は、ライン数ＮＬｓは、式（２）で表される。
【０１６５】
ＮＬｓ＝（０．００４２秒×２００ＭＨｚ）／３２００画素＝２６２．５  ‥‥（２）
したがって、動画データＩＭＧｍに対する画像処理の開始タイミングの最大遅延量に対応するライン数ＯＦは、２６２ライン（ライン数ＮＬｓの整数部）である。ライン数ＯＦは、最大オフセットに対応する。
【０１６６】
なお、画像処理のクロックが、“Ｙ”ＭＨｚの場合、最大オフセットＯＦは、式（３）で表される。
【０１６７】
ＯＦ＝（０．０３３−５．７６／Ｙ）×Ｙ×１００００００／３２００    ‥‥（３）
式（３）を変形すると、最大オフセットＯＦは、式（４）で表される。
【０１６８】
ＯＦ＝（０．０３３×Ｙ−５．７６）×１０００／３．２                ‥‥（４）
Ｙ＞５．７６／０．０３３≒１７５ＭＨｚの条件（画像処理のクロックが１７５ＭＨｚ以上）を満たす場合、最大オフセットＯＦは、負にならない。なお、画像処理のクロックが１７５ＭＨｚ以上の条件を満たさない場合、例えば、静止画データＩＭＧｓと動画データＩＭＧｍとが一体の画像データとして扱われる部分（網掛け部分）の画素数を減らす対応が実行される。例えば、画像処理装置ＩＰＤ２は、動画の垂直方向の縮小率を大きくする等の設定により、静止画データＩＭＧｓと動画データＩＭＧｍとが一体の画像データとして扱われる部分（網掛け部分）の画素数を減らす。
【０１６９】
図１６は、図１５に示した静止画データＩＭＧｓに対する画像処理と符号化処理の処理時間の一例を示している。図１６の横軸は、例えば、フレーム期間ＶＤの開始時刻Ｔ０からの経過時間を示している。また、図１６の縦軸は、処理済みの静止画データ量を示している。例えば、図１６の縦軸は、画像処理が完了した静止画データＩＭＧｓのデータ量（１フレームのデータ量で規格化）や符号化処理が完了した静止画データＩＭＧｓのデータ量（１フレームのデータ量で規格化）を示している。なお、図１６の実線は、画像処理が完了した静止画データＩＭＧｓのデータ量（１フレームのデータ量で規格化）と経過時間との関係を示している。また、図１６の破線は、符号化処理が完了した静止画データＩＭＧｓのデータ量（１フレームのデータ量で規格化）と経過時間との関係を示している。実線や破線の傾きは、処理速度に対応する。また、図１６に示した各時間の数値例は、以下に示す条件のときの時間を示している。
【０１７０】
１フレーム期間ＶＤは、３３ミリ秒（ｍｓ）である。また、画像処理のクロックは、２００ＭＨｚであり、１クロックで１画素が処理される。符号化処理のクロックは、２８８ＭＨｚであり、１クロックで１画素が処理される。なお、１クロックで処理される１画素のデータ量は、例えば、ＹＣＣデータに変換される前の静止画データＩＭＧｓ（ＲＧＢデータ）では、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の色情報のうちの１つの色情報のデータ量に対応している。また、ＹＣＣデータに変換された静止画データＤＹＣＣｓでは、例えば、１クロックで処理される１画素のデータ量は、輝度信号と２つの色差信号のうちの１つの信号のデータ量に対応している。
【０１７１】
符号化処理が実行される静止画データＤＹＣＣｓは、ＹＵＶ４２０形式とする。この場合、例えば、ＹＣＣデータに変換された静止画データＤＹＣＣｓのデータ量は、ＹＣＣデータに変換される前の静止画データＩＭＧｓのデータ量の１．５倍になる。
【０１７２】
１フレーム期間ＶＤ内に画像処理が完了する静止画データＩＭＧｓは、図１５に示したように、３２００×（２６２＋１２００）画素である。画像処理が完了した静止画データＩＭＧｓの符号化に掛かる時間（処理時間）をＴＣｓとした場合、処理時間ＴＣｓは、式（５）で表される。
【０１７３】
ＴＣｓ＝３２００×（２６２＋１２００）×１．５／２８８ＭＨｚ        ‥‥（５）
式（５）より、処理時間ＴＣｓは、約０．０２４４秒（＝２４．４ミリ秒）である。したがって、フレーム期間ＶＤの開始時刻Ｔ０から約９ミリ秒（≒３３−２４．４）後の時刻Ｔ２に符号化処理を開始すればよい。この場合、１フレーム期間ＶＤで処理する静止画データＩＭＧｓおよび動画データＩＭＧｍに対する画像処理の終了とほぼ同時に、静止画データＤＹＣＣｓ（画像処理済みの静止画データＩＭＧｓ）に対する符号化処理が終了する。
【０１７４】
時刻Ｔ０から時刻Ｔ１までの期間では、静止画データＩＭＧｓのみに対して画像処理が実行されている。そして、時刻Ｔ１から時刻Ｔ３までの期間では、静止画データＩＭＧｓおよび動画データＩＭＧｍに対して画像処理が実行されている。このため、静止画データＩＭＧｓのみに着目した場合、時刻Ｔ１から時刻Ｔ３までの期間の静止画データＩＭＧｓに対する画像処理の速度は、時刻Ｔ０から時刻Ｔ１までの期間の静止画データＩＭＧｓに対する画像処理の速度に比べて、低速になる。
【０１７５】
ここで、例えば、フレーム期間ＶＤの開始時刻Ｔ０とほぼ同時に符号化処理が開始された場合、符号化の処理速度が画像処理の速度より高速であるため、画像処理の完了を待つ待ち時間が発生する。そして、例えば、圧縮処理に必要な最小単位の静止画データＤＹＣＣｓが揃った時点で、符号化処理が再開する。待機や再開が繰り返されることにより、処理の効率は、低下する。
【０１７６】
これに対し、この実施形態では、１フレーム期間ＶＤで処理する静止画データＩＭＧｓおよび動画データＩＭＧｍに対する画像処理の終了とほぼ同時に、画像処理済みの静止画データＩＭＧｓに対する符号化処理が終了するように、符号化処理を開始する。このため、この実施形態では、符号化処理を効率的に実行できる。
【０１７７】
また、例えば、フレーム期間ＶＤの開始時刻Ｔ０とほぼ同時に動画データＩＭＧｍに対する画像処理を開始した場合、符号化処理を開始するまでの待ち時間が大きくなり、符号化処理の効率が低下する場合がある。すなわち、静止画データＩＭＧｓおよび動画データＩＭＧｍに対する画像処理が実行された後に、静止画データＩＭＧｓのみの画像処理を実行した場合、符号化処理の効率が低下する場合がある。
【０１７８】
例えば、符号化処理のクロックが２２０ＭＨｚの場合、画像処理が完了した静止画データＩＭＧｓの符号化に掛かる処理時間ＴＣｓは、約３２ミリ秒（式（５）の２８８ＭＨｚの代わりに２２０ＭＨを代入して算出）である。例えば、静止画データＩＭＧｓおよび動画データＩＭＧｍに対する画像処理を時刻Ｔ０とほぼ同時に実行した場合、時刻Ｔ０から約１ミリ秒（＝３３−３２）後に符号化処理を開始しても、画像処理の完了を待つ待ち時間が発生する。このため、１フレーム期間ＶＤ内の符号化処理の時間が短くなり、符号化処理の効率が低下する。
【０１７９】
これに対し、動画データＩＭＧｍに対する画像処理の開始タイミングにオフセットを持たせる画像処理装置ＩＰＤ２では、時刻Ｔ０から約１ミリ秒（＝３３−３２）後に符号化処理を開始すれば、画像処理の終了とほぼ同時に符号化処理が終了する。このため、この実施形態では、符号化処理を効率的に実行できる。
【０１８０】
以上、図１４から図１６に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。さらに、この実施形態では、画像処理装置ＩＰＤ２は、動画データＩＭＧｍを配置する際のオフセットを算出する算出部３００を有している。
【０１８１】
例えば、算出部３００は、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００に記憶するとき、動画データＩＭＧｍに対する画像処理が１フレーム期間ＶＤ内に終了する範囲で、動画データＩＭＧｍを配置する際のオフセットを算出する。また、算出部３００は、静止画データＩＭＧｓに対する符号化処理の１フレーム中の中断回数が最少になるように、静止画データＩＭＧｓに対する符号化処理の開始タイミングを算出する。
【０１８２】
したがって、この実施形態では、センサ出力回路１００は、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００に記憶するとき、静止画データＩＭＧｓの各フレームで最初に処理されるラインから算出部３００で算出されたライン数分だけオフセットを持たせて、動画データＩＭＧｍを配置する。すなわち、この実施形態では、動画データＩＭＧｍに対する画像処理の開始タイミングにオフセットを持たせる。これにより、この実施形態では、１フレーム期間ＶＤで処理する静止画データＩＭＧｓおよび動画データＩＭＧｍに対する画像処理の終了とほぼ同時に、静止画データＤＹＣＣｓ（画像処理済みの静止画データＩＭＧｓ）に対する符号化処理を終了させることができる。すなわち、この実施形態では、静止画データＤＹＣＣｓ（画像処理済みの静止画データＩＭＧｓ）に対する符号化処理を効率的に実行できる。
【０１８３】
図１７は、画像処理装置および画像処理装置の制御方法の別の実施形態を示している。この実施形態の画像処理装置ＩＰＤ３は、メモリ制御部２１０が図１に示した画像処理装置ＩＰＤに追加されている。また、画像処理装置ＩＰＤ３は、図１に示したメモリ２００の代わりにメモリ２００ａを有している。画像処理装置ＩＰＤ３のその他の構成は、図１に示した画像処理装置ＩＰＤと同様である。図１から図１６で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、この実施形態の画像処理装置ＩＰＤ３は、撮像装置ＩＤＥＶに搭載される。
【０１８４】
画像処理装置ＩＰＤ３は、センサ出力回路１００およびメモリシステム２０２を有している。センサ出力回路１００は、静止画データＩＭＧｓと動画データＩＭＧｍとをメモリ２００ａに記憶するとき、静止画データＩＭＧｓと動画データＩＭＧｍとをライン毎にメモリ２００ａの仮想アドレス上で連続させる。
【０１８５】
メモリシステム２０２は、メモリ２００ａおよびメモリ制御部２１０を有している。メモリ制御部２１０は、メモリ２００ａのアクセスを制御する。例えば、メモリ制御部２１０は、アドレス変換部２１２を有している。アドレス変換部２１２は、センサ出力回路１００から受ける仮想アドレスをメモリ２００ａの物理アドレスに変換する。
【０１８６】
メモリ２００ａは、複数のバンクＢＫ（ＢＫ０、ＢＫ１、ＢＫ２、ＢＫ３）を有している。なお、バンクＢＫの数は、４つに限定されない。メモリ２００ａでは、例えば、静止画データＩＭＧｓのみを格納するバンクＢＫと、動画データＩＭＧｍのみを格納するバンクＢＫとが割り当てられている。例えば、仮想アドレス空間では、静止画データＩＭＧｓは、１ラインＬＳ毎にスキップしているが、物理メモリ上（静止画データＩＭＧｓのみを格納するバンクＢＫ）では、静止画データＩＭＧｓは、連続して格納されている。これにより、メモリ制御部２１０は、物理メモリ上（静止画データＩＭＧｓのみを格納するバンクＢＫ）におけるバースト書き込みを実行できる。すなわち、メモリ制御部２１０は、静止画データＩＭＧｓをメモリ２００ａに効率よく書き込むことができる。
【０１８７】
なお、画像処理装置ＩＰＤ３の構成は、この例に限定されない。例えば、図１４に示した算出部３００が追加されてもよい。また、メモリシステム２０２は、静止画データＩＭＧｓの１ラインＬＳ毎に、アクセスするバンクＢＫを変更してもよい。この場合、静止画データＩＭＧｓの複数のラインＬＳに同時にアクセスできる。
【０１８８】
以上、図１７に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。さらに、この実施形態では、メモリ２００ａでは、例えば、静止画データＩＭＧｓのみを格納するバンクＢＫと、動画データＩＭＧｍのみを格納するバンクＢＫとが割り当てられている。このため、この実施形態では、静止画データＩＭＧｓが１ラインＬＳ毎に仮想アドレス上で動画の１ラインＬＭ分スキップしている場合でも、物理メモリ上（静止画データＩＭＧｓのみを格納するバンクＢＫ）におけるバースト書き込みを実行できる。すなわち、この実施形態では、静止画データＩＭＧｓをメモリ２００ａに効率よく書き込むことができる。
【０１８９】
図１８は、画像処理装置および画像処理装置の制御方法の別の実施形態を示している。この実施形態の画像処理装置ＩＰＤ４は、画像処理回路４００が図１に示した画像処理装置ＩＰＤに追加されている。画像処理装置ＩＰＤ４のその他の構成は、図１に示した画像処理装置ＩＰＤと同様である。図１から図１７で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、この実施形態の画像処理装置ＩＰＤ４は、撮像装置ＩＤＥＶに搭載される。
【０１９０】
画像処理装置ＩＰＤ４は、センサ出力回路１００、メモリ２００および画像処理回路４００を有している。画像処理回路４００は、静止画データＩＭＧｓと動画データＩＭＧｍとを一体の画像としたときの１ラインの画像処理中に、静止画用のパラメータと動画用のパラメータとを切り替えて、画像処理を実行する。これにより、静止画および動画のそれぞれで、適切な画像処理結果が得られる。
【０１９１】
なお、画像処理装置ＩＰＤ４の構成は、この例に限定されない。例えば、図１４に示した算出部３００が追加されてもよい。あるいは、画像処理装置ＩＰＤ４は、メモリ２００の代わりに図１７に示したメモリシステム２０２を有してもよい。
【０１９２】
図１９は、図１８に示した画像処理回路４００の一例を示している。画像処理回路４００は、例えば、データインタフェース４１０、カウンタ部４２０、マップ選択部４３０、レジスタ設定部４４０、処理部４５０、アドレス算出部４６０およびデータ出力部４７０を有している。データインタフェース４１０は、画像処理の対象の画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）をライン毎にメモリ２００から順次読み出す。そして、データインタフェース４１０は、メモリ２００から読み出した画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）を処理部４５０に転送する。
【０１９３】
カウンタ部４２０は、処理部４５０で処理される画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）の画素数をカウントする。例えば、カウンタ部４２０は、１画素分の画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）が処理部４５０で処理される度に、カウンタ値をデクリメントする。カウンタ部４２０の初期値は、静止画の１ラインＬＳの画素数や動画の１ラインＬＭの画素数にセットされる。
【０１９４】
マップ選択部４３０は、カウンタ部４２０のカウント値に基づいて、静止画用レジスタマップＭＡＰｓと動画用レジスタマップＭＡＰｍとのいずれかを選択する。レジスタ設定部４４０は、静止画用レジスタマップＭＡＰｓと動画用レジスタマップＭＡＰｍとを有している。そして、レジスタ設定部４４０は、マップ選択部４３０で選択されたレジスタマップ（静止画用レジスタマップＭＡＰｓと動画用レジスタマップＭＡＰｍとのいずれか）に基づいて、処理部４５０のレジスタ４５４を更新する。
【０１９５】
また、レジスタ設定部４４０は、例えば、処理部４５０のレジスタ４５４の内容を静止画用から動画用に書き換える度に、カウンタ部４２０のカウント値を動画の１ラインＬＭの画素数にリセットする。また、例えば、レジスタ設定部４４０は、処理部４５０のレジスタ４５４の内容を動画用から静止画用に書き換える度に、カウンタ部４２０のカウント値を静止画の１ラインＬＳの画素数にリセットする。
【０１９６】
処理部４５０は、データインタフェース４１０から受ける画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）に対して、補間処理、補正処理、色変換処理、ＹＣＣデータへの変換処理等の画像処理を実行する。処理部４５０は、例えば、バッファ４５２およびレジスタ４５４を有している。例えば、処理部４５０は、データインタフェース４１０から受ける画像データＩＭＧをバッファ４５２に順次保持し、バッファ４５２に保持した画像データＩＭＧに対して、レジスタ４５４に設定されたパラメータを用いて、画像処理を順次実行する。そして、処理部４５０は、画像処理した画像データ（静止画データＤＹＣＣｓ、動画データＤＹＣＣｍ）を、データ出力部４７０に転送する。
【０１９７】
アドレス算出部４６０は、カウンタ部４２０のカウント値等に基づいて、処理部４５０で処理された画像データ（静止画データＤＹＣＣｓ、動画データＤＹＣＣｍ）の出力先アドレスを算出する。そして、アドレス算出部４６０は、出力先アドレスをデータ出力部４７０に転送する。
【０１９８】
データ出力部４７０は、アドレス算出部４６０から受けた出力先アドレスに従って、処理部４５０から受けた画像データ（静止画データＤＹＣＣｓ、動画データＤＹＣＣｍ）を、メモリ２００に出力する。これにより、図２に示したように、静止画データＤＹＣＣｓおよび動画データＤＹＣＣｍがメモリ２００の領域ＡＲＥｙｃに記憶される。
【０１９９】
なお、画像処理回路４００の構成は、この例に限定されない。例えば、画像処理回路４００は、静止画用のレジスタと動画用のレジスタとを別々に有していてもよい。この場合、レジスタ設定部４４０は省かれてもよい。例えば、マップ選択部４３０は、カウンタ部４２０のカウント値に基づいて、静止画用のレジスタと動画用のレジスタとのいずれかを選択し、選択したレジスタを参照するように処理部４５０に通知してもよい。
【０２００】
図２０は、図１９に示した処理部４５０のバッファ４５２の一例を示している。バッファ４５２は、静止画データＩＭＧｓと動画データＩＭＧｍとを一体の画像としたときの１ライン分の画像データＩＭＧを保持する複数のラインメモリＬＭＥＭ（ＬＭＥＭ１−ＬＭＥＭ４）を有している。なお、ラインメモリＬＭＥＭの数は、４つに限定されない。例えば、ラインメモリＬＭＥＭは、１つでもよい。各ラインメモリＬＭＥＭは、１ラインＬＳ分の静止画データＩＭＧｓを保持する領域ＬＡＲＥｓと、１ラインＬＭ分の動画データＩＭＧｍを保持する領域ＬＡＲＥｍとを有している。
【０２０１】
このため、画像処理の対象が静止画データＩＭＧｓから動画データＩＭＧｍに１ラインの処理中に変化する場合でも、ラインメモリＬＭＥＭのクリアやロード等の付加処理を省くことができる。すなわち、画像処理装置ＩＰＤ４は、処理対象の画像の変化（静止画と動画の切り替え）に応じてラインメモリＬＭＥＭを切り替えるための選択手段等を省くことができる。
【０２０２】
また、例えば、画像処理装置ＩＰＤ４は、動画データＩＭＧｍと静止画データＩＭＧｓとを切り替えることなく、メモリ２００の並列配置領域ＡＲＥｓｍに記憶されている画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）を画像処理回路４００の処理部４５０に転送できる。このため、画像処理装置ＩＰＤ４は、センサ出力回路１００と画像処理回路４００との間のデータ切り替え処理を省くことができる。
【０２０３】
このように、画像処理装置ＩＰＤ４では、メモリ２００の並列配置領域ＡＲＥｓｍに記憶されている画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）に対する画像処理を効率的に実行できる。
【０２０４】
図２１は、図１９に示した処理部４５０のレジスタ４５４の一例を示している。レジスタ４５４は、動画と静止画とで個別に設定されるレジスタをまとめたブロックＢＬＫ１と、動画と静止画とで共通に設定されるレジスタをまとめたブロックＢＬＫ２とを有している。
【０２０５】
動画と静止画とで共通に設定されるレジスタは、処理対象が動画と静止画とで切り替わる場合でも、値の書き換えは、発生しない。例えば、動画と静止画とで共通に設定されるレジスタは、ホワイトバランス、色補正、ガンマ補正等に関するパラメータ（Ｂ２Ｙ＿ＷＢ００１、Ｂ２Ｙ＿ＷＢＸＸＸ、Ｂ２Ｙ＿Ｃｏｌｏｒ００１、Ｂ２Ｙ＿ＣｏｌｏｒＸＸＸ、Ｂ２Ｙ＿ＧＭ００１、Ｂ２Ｙ＿ＧＭＸＸＸ）である。
【０２０６】
動画と静止画とで個別に設定されるレジスタでは、処理対象が動画と静止画とで切り替わる度に、値の書き換えが発生する。例えば、動画と静止画とで個別に設定されるレジスタは、画像サイズ、ノイズ抑制、ＲＧＢ色補間処理、エッジ強調等に関するパラメータ（Ｂ２Ｙ＿ＷＩＤＴＨ、Ｂ２Ｙ＿ＨＥＩＧＨＴ、Ｂ２Ｙ＿ＮＲ００１、Ｂ２Ｙ＿ＮＲＸＸＸ、Ｂ２Ｙ＿Ｃｌ００１、Ｂ２Ｙ＿ＣｌＸＸＸ、Ｂ２Ｙ＿ＥＥ００１、Ｂ２Ｙ＿ＥＥＸＸＸ）である。
【０２０７】
例えば、動画と静止画とで個別に設定されるレジスタでは、処理対象が動画と静止画とで切り替わる度に、ブロックＢＬＫ１の一括書き換え処理により、値が書き換えられる。例えば、レジスタ設定部４４０は、動画用レジスタマップＭＡＰｍに基づいて、ブロックＢＬＫ１のレジスタを動画用のレジスタ値に一括で上書きする。動画用レジスタマップＭＡＰｍには、例えば、動画用のレジスタ値を保持しているメモリＭＥＭの先頭アドレスＡＤＲｍと終点アドレスまでの長さＬＥＮＧｍが設定されている。メモリＭＥＭは、例えば、画像処理装置ＩＰＤ４の外部メモリである。なお、メモリＭＥＭは、例えば、画像処理装置ＩＰＤ４内のメモリでもよい。
【０２０８】
また、例えば、レジスタ設定部４４０は、静止画用レジスタマップＭＡＰｓに基づいて、ブロックＢＬＫ１のレジスタを静止画用のレジスタ値に一括で上書きする。静止画用レジスタマップＭＡＰｓには、例えば、静止画用のレジスタ値を保持しているメモリＭＥＭの先頭アドレスＡＤＲｓと終点アドレスまでの長さＬＥＮＧｓが設定されている。
【０２０９】
このように、画像処理装置ＩＰＤ４では、レジスタ値の書き換えが必要なレジスタのみをブロックＢＬＫ１としてまとめて配置しているため、動画と静止画とで個別に設定されるレジスタの書き換え時間を短縮できる。
【０２１０】
図２２は、図１９に示した画像処理回路４００の動作の一例を示している。すなわち、図２２は、画像処理装置ＩＰＤ４の制御方法の一例を示している。なお、画像処理回路４００以外の画像処理装置ＩＰＤ４の動作は、図６の動作と同様である。また、図２２のステップＳ９００の一例を図２３に示している。図２２の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。
【０２１１】
ステップＳ８００では、画像処理回路４００は、未処理の静止画データＩＭＧｓが存在し、かつ、動画撮影中であるか否かを判定する。未処理の静止画データＩＭＧｓが存在し、かつ、動画撮影中であるとき（ステップＳ８００のＹｅｓ）、画像処理回路４００は、ステップＳ９００において、動画と静止画の並列処理を実行する。ステップＳ９００の処理の終了により、画像処理回路４００による画像処理は、終了する。一方、未処理の静止画データＩＭＧｓが存在し、かつ、動画撮影中である条件を満たさないとき（ステップＳ８００のＮｏ）、画像処理回路４００の動作は、ステップＳ８１０に移る。
【０２１２】
ステップＳ８１０では、画像処理回路４００は、未処理の静止画データＩＭＧｓが存在するか否かを判定する。未処理の静止画データＩＭＧｓが存在するとき（ステップＳ８１０のＹｅｓ）、画像処理回路４００の動作は、ステップＳ８５０に移る。一方、未処理の静止画データＩＭＧｓが存在しないとき（ステップＳ８１０のＮｏ）、画像処理回路４００の動作は、ステップＳ８２０に移る。
【０２１３】
ステップＳ８２０では、画像処理回路４００は、メモリ２００の動画専用領域ＡＲＥｍから読み出す処理対象の動画データＩＭＧｍのポインタを取得する。
【０２１４】
ステップＳ８３０では、画像処理回路４００は、レジスタ４５４を動画用レジスタに設定する。例えば、画像処理回路４００は、レジスタ４５４のブロックＢＬＫ１のレジスタの値を、動画用レジスタマップＭＡＰｍに基づいて、動画用のレジスタ値に上書きする。
【０２１５】
ステップＳ８４０では、画像処理回路４００は、動画１フレーム分を処理する。例えば、画像処理回路４００は、ステップＳ８２０で取得したポインタに基づいて、１フレーム分の動画データＩＭＧｍをメモリ２００の動画専用領域ＡＲＥｍから読み出す。そして、画像処理回路４００は、動画専用領域ＡＲＥｍから読み出した１フレーム分の動画データＩＭＧｍに対して画像処理を実行する。これにより、未処理の静止画データＩＭＧｓが存在しないときの動画データＩＭＧｍに対する画像処理は、終了する。次に、動画撮影中でないときの静止画データＩＭＧｓに対する画像処理（ステップＳ８５０−Ｓ８９０）を説明する。
【０２１６】
ステップＳ８５０では、画像処理回路４００は、メモリ２００の並列配置領域ＡＲＥｓｍから読み出す処理対象の静止画データＩＭＧｓのポインタを取得する。
【０２１７】
ステップＳ８６０では、画像処理回路４００は、レジスタ４５４を静止画用レジスタに設定する。例えば、画像処理回路４００は、レジスタ４５４のブロックＢＬＫ１のレジスタの値を、静止画用レジスタマップＭＡＰｓに基づいて、静止画用のレジスタ値に上書きする。
【０２１８】
ステップＳ８７０では、画像処理回路４００は、ステップＳ８５０で取得したポインタに基づいて、１ラインＬＳ分の静止画データＩＭＧｓをメモリ２００の並列配置領域ＡＲＥｓｍから読み出す。並列配置領域ＡＲＥｓｍから読み出された１ラインＬＳ分の静止画データＩＭＧｓは、例えば、バッファ４５２のラインメモリＬＭＥＭの領域ＬＡＲＥｓに保持される。
【０２１９】
ステップＳ８８０では、画像処理回路４００は、ステップＳ８７０で並列配置領域ＡＲＥｓｍから読み出した１ラインＬＳ分の静止画データＩＭＧｓに対して画像処理を実行する。例えば、画像処理回路４００は、ラインメモリＬＭＥＭの領域ＬＡＲＥｓに保持されている静止画データＩＭＧｓに対して画像処理を実行する。
【０２２０】
ステップＳ８９０では、画像処理回路４００は、静止画の全画素の静止画データＩＭＧｓに対して画像処理が実行されたか否かを判定する。未処理の静止画データＩＭＧｓが存在するとき（ステップＳ８９０のＮｏ）、画像処理回路４００の動作は、ステップＳ８５０に戻る。一方、静止画の全画素の静止画データＩＭＧｓに対して画像処理が実行されているとき（ステップＳ８９０のＹｅｓ）、画像処理回路４００による画像処理は、終了する。
【０２２１】
図２３は、動画と静止画の並列処理の一例を示している。すなわち、図２３は、図２２のステップＳ９００の一例を示している。ステップＳ９００の処理は、未処理の静止画データＩＭＧｓが存在し、かつ、動画撮影中であるときに実行される。
【０２２２】
ステップＳ９１０では、画像処理回路４００は、メモリ２００の並列配置領域ＡＲＥｓｍから読み出す処理対象の静止画データＩＭＧｓのポインタを取得する。
【０２２３】
ステップＳ９１２では、画像処理回路４００は、ステップＳ９１０で取得したポインタに基づいて、静止画と動画を一体の画像としたときの１ライン分の画像データＩＭＧをメモリ２００の並列配置領域ＡＲＥｓｍから読み出す。並列配置領域ＡＲＥｓｍから読み出された１ライン分の画像データＩＭＧは、例えば、バッファ４５２のラインメモリＬＭＥＭに保持される。
【０２２４】
ステップＳ９１４では、画像処理回路４００は、レジスタ４５４を静止画用レジスタに設定する。例えば、画像処理回路４００は、レジスタ４５４のブロックＢＬＫ１のレジスタの値を、静止画用レジスタマップＭＡＰｓに基づいて、静止画用のレジスタ値に上書きする。
【０２２５】
ステップＳ９１６では、画像処理回路４００は、ステップＳ９１２で並列配置領域ＡＲＥｓｍから読み出した１ライン分の画像データＩＭＧのうちの静止画データＩＭＧｓに対して画像処理を実行する。例えば、画像処理回路４００は、ラインメモリＬＭＥＭの領域ＬＡＲＥｓに保持されている静止画データＩＭＧｓに対して画像処理を実行する。
【０２２６】
ステップＳ９１８では、画像処理回路４００は、同一ライン上に動画データＩＭＧｍが存在するか否かを判定する。例えば、画像処理回路４００は、ステップＳ９１２で並列配置領域ＡＲＥｓｍから読み出した１ライン分の画像データＩＭＧに動画データＩＭＧｍが含まれているか否かを判定する。
【０２２７】
同一ライン上に動画データＩＭＧｍが存在しないとき（ステップＳ９１８のＮｏ）、画像処理回路４００の動作は、ステップＳ９１２に戻る。一方、同一ライン上に動画データＩＭＧｍが存在するとき（ステップＳ９１８のＹｅｓ）、画像処理回路４００の動作は、ステップＳ９２０に移る。
【０２２８】
ステップＳ９２０では、画像処理回路４００は、レジスタ４５４を動画用レジスタに設定する。例えば、画像処理回路４００は、レジスタ４５４のブロックＢＬＫ１のレジスタの値を、動画用レジスタマップＭＡＰｍに基づいて、動画用のレジスタ値に上書きする。
【０２２９】
ステップＳ９２２では、画像処理回路４００は、ステップＳ９１２で並列配置領域ＡＲＥｓｍから読み出した１ライン分の画像データＩＭＧのうちの動画データＩＭＧｍに対して画像処理を実行する。例えば、画像処理回路４００は、ラインメモリＬＭＥＭの領域ＬＡＲＥｍに保持されている動画データＩＭＧｍに対して画像処理を実行する。
【０２３０】
ステップＳ９２４では、画像処理回路４００は、１フレーム期間ＶＤ内で処理予定のライン数の処理が終了したか否かを判定する。例えば、図１５に示したフレーム期間ＶＤ１の場合、画像処理回路４００は、１４６２ラインの画像データＩＭＧに対する画像処理が終了したか否かを判定する。
【０２３１】
１フレーム期間ＶＤ内で処理予定のライン数の処理が終了していないとき（ステップＳ９２４のＮｏ）、画像処理回路４００の動作は、ステップＳ９１２に戻る。一方、１フレーム期間ＶＤ内で処理予定のライン数の処理が終了しているとき（ステップＳ９２４のＹｅｓ）、画像処理回路４００の動作は、ステップＳ９２６に移る。
【０２３２】
ステップＳ９２６では、画像処理回路４００は、静止画の全画素の静止画データＩＭＧｓに対して画像処理が実行されたか否かを判定する。未処理の静止画データＩＭＧｓが存在するとき（ステップＳ９２６のＮｏ）、画像処理回路４００の動作は、ステップＳ９１２に戻る。一方、静止画の全画素の静止画データＩＭＧｓに対して画像処理が実行されているとき（ステップＳ９２６のＹｅｓ）、画像処理回路４００による画像処理は、終了する。
【０２３３】
このように、画像処理回路４００は、静止画データＩＭＧｓと動画データＩＭＧｍとを一体の画像としたときの１ラインの画像処理中に、静止画用レジスタと動画用レジスタとを切り替えて、画像処理を実行する。これにより、静止画および動画のそれぞれで、適切な画像処理結果が得られる。
【０２３４】
以上、図１８から図２３に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。さらに、この実施形態では、画像処理装置ＩＰＤ４は、画像処理回路４００を有している。
【０２３５】
例えば、画像処理回路４００は、ラインメモリＬＭＥＭを用いて、画像処理を実行する。ラインメモリＬＭＥＭは、１ラインＬＳ分の静止画データＩＭＧｓを保持する領域ＬＡＲＥｓと、１ラインＬＭ分の動画データＩＭＧｍを保持する領域ＬＡＲＥｍとを有している。このため、この実施形態では、画像処理の対象が静止画データＩＭＧｓと動画データＩＭＧｍとで１ラインの処理中に変化する場合でも、ラインメモリＬＭＥＭのクリアやロード等の付加処理を省くことができる。
【０２３６】
また、画像処理回路４００は、画像処理の対象が静止画データＩＭＧｓと動画データＩＭＧｍとで１ラインの処理中に変化する場合、静止画用レジスタと動画用レジスタとを切り替えて、画像処理を実行する。これにより、この実施形態では、静止画および動画のそれぞれで、適切な画像処理結果を得ることができる。
【０２３７】
さらに、この実施形態では、センサ出力回路１００と画像処理回路４００との間のデータ切り替え処理を省くことができる。このように、この実施形態では、メモリ２００の並列配置領域ＡＲＥｓｍに記憶されている画像データＩＭＧ（ＩＭＧｓ、ＩＭＧｍ）に対する画像処理を効率的に実行できる。
【０２３８】
図２４は、画像処理装置および画像処理装置の制御方法の別の実施形態を示している。この実施形態の画像処理装置ＩＰＤ５は、算出部３００、調停部５００、符号化回路６００、外部インタフェース７００およびユーザインタフェース８００が図１８に示した画像処理装置ＩＰＤ４に追加されている。画像処理装置ＩＰＤ５のその他の構成は、図１８に示した画像処理装置ＩＰＤ４と同様である。図１から図２３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。例えば、この実施形態の画像処理装置ＩＰＤ５は、撮像装置ＩＤＥＶに搭載される。図２４の破線の矢印は、静止画データＩＭＧｓや動画データＩＭＧｍの処理経路の一例を示している。細かい破線の矢印は、静止画データＩＭＧｓの処理経路を示している。
【０２３９】
画像処理装置ＩＰＤ５は、センサ出力回路１００、メモリ２００、算出部３００、画像処理回路４００、調停部５００、符号化回路６００、外部インタフェース７００およびユーザインタフェース８００を有している。算出部３００は、図１４に示した算出部３００と同様である。
【０２４０】
メモリ２００、画像処理回路４００、調停部５００、符号化回路６００、外部インタフェース７００およびユーザインタフェース８００は、例えば、バスＢＵＳに接続されている。調停部５００は、バスＢＵＳの帯域等を管理する。算出部３００は、調停部５００で管理されているバスＢＵＳの帯域等に基づいて、動画データＩＭＧｍを配置する際のオフセットや静止画データＩＭＧｓに対する符号化処理の開始タイミングを算出する。
【０２４１】
符号化回路６００は、例えば、ＹＣＣデータに変換された静止画データＤＹＣＣｓに対して、圧縮処理等を含む符号化処理を実行する。この際、符号化回路６００は、例えば、算出部３００で算出された符号化処理の開始タイミングに従って、静止画データＤＹＣＣｓに対する符号化処理を開始する。
【０２４２】
外部インタフェース７００は、例えば、外部記憶媒体とのインタフェースである。例えば、外部インタフェース７００は、符号化された静止画データ等を、外部記憶媒体に転送する。
【０２４３】
ユーザインタフェース８００は、例えば、液晶モニタ等へのグラフィックス表示や入出力検知処理を実行する。例えば、ユーザインタフェース８００は、ＹＣＣデータに変換された動画データＤＹＣＣｍに基づく動画像を、液晶モニタ等に表示する。
【０２４４】
なお、画像処理装置ＩＰＤ５の構成は、この例に限定されない。例えば、算出部３００は省かれてもよい。あるいは、画像処理装置ＩＰＤ５は、メモリ２００の代わりに図１７に示したメモリシステム２０２を有してもよい。
【０２４５】
以上、図２４に示した実施形態においても、図１から図２３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画の撮影と静止画の撮影とが同時に実行されたときの画像処理を効率的に実行することができる。
【０２４６】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
画像データを記憶するメモリと、
前記画像データの内の静止画データと前記画像データの内の動画データとを前記メモリに記憶する場合に、前記静止画データと前記動画データとを、前記静止画データのライン方向にライン毎に並べて前記メモリに配置する配置部と
を備えていることを特徴とする画像処理装置。
（付記２）
画像データを記憶するメモリと、
前記画像データの内の静止画データと前記画像データの内の動画データとを前記メモリに記憶する場合に、前記静止画データと前記動画データとをライン毎に前記メモリの仮想アドレス上で連続させる配置部と
を備えていることを特徴とする画像処理装置。
（付記３）
付記１または付記２に記載の画像処理装置において、
前記静止画データと前記動画データとを前記メモリに記憶する場合に、前記動画データに対する画像処理が１フレームの期間内に終了する範囲で、前記動画データに対する画像処理の開始タイミングを遅延させる最大遅延量に対応するライン数を算出し、前記静止画データに対する符号化処理の１フレーム中の中断回数が最少になるように、前記静止画データに対する符号化処理の開始タイミングを算出する算出部を備え、
前記配置部は、前記静止画データと前記動画データとを前記メモリに記憶する場合に、前記静止画データの各フレームで最初に処理されるラインから前記最大遅延量に対応するライン数分だけオフセットを持たせて、前記動画データを配置する
ことを特徴とする画像処理装置。
（付記４）
メモリに記憶された画像データを処理する画像処理装置の制御方法であって、
静止画用の画像データである静止画データと動画用の画像データである動画データとを前記メモリに記憶するとき、前記静止画データのアドレスと前記動画データのアドレスとをライン毎に連続させる
ことを特徴とする画像処理装置の制御方法。
（付記５）
付記４記載の画像処理装置の制御方法において、
前記動画データに対する画像処理が１フレームの期間内に終了する範囲で、前記動画データに対する画像処理の開始タイミングを遅延させる最大遅延量に対応するライン数を算出し、前記静止画データに対する符号化処理の１フレーム中の中断回数が最少になるように、前記静止画データに対する符号化処理の開始タイミングを算出し、
前記静止画データと前記動画データとを前記メモリに記憶するとき、前記静止画データの各フレームで最初に処理されるラインから前記最大遅延量に対応するライン数分だけオフセットを持たせて、前記動画データを配置する
ことを特徴とする画像処理装置の制御方法。
（付記６）
メモリに記憶された画像データを処理する画像処理装置を備え、
前記画像処理装置は、
前記画像データの内の静止画データと前記画像データの内の動画データとを前記メモリに記憶する場合に、前記静止画データと前記動画データとを、前記静止画データのライン方向にライン毎に並べて前記メモリに配置する配置部を備えている
ことを特徴とする撮像装置。
（付記７）
メモリに記憶された画像データを処理する画像処理装置を備え、
前記画像処理装置は、
前記画像データの内の静止画データと前記画像データの内の動画データとを前記メモリに記憶する場合に、前記静止画データと前記動画データとをライン毎に前記メモリの仮想アドレス上で連続させる配置部を備えている
ことを特徴とする撮像装置。
（付記８）
付記６または付記７に記載の撮像装置において、
前記画像処理装置は、前記静止画データと前記動画データとを前記メモリに記憶する場合に、前記動画データに対する画像処理が１フレームの期間内に終了する範囲で、前記動画データに対する画像処理の開始タイミングを遅延させる最大遅延量に対応するライン数を算出し、前記静止画データに対する符号化処理の１フレーム中の中断回数が最少になるように、前記静止画データに対する符号化処理の開始タイミングを算出する算出部を備え、
前記配置部は、前記静止画データと前記動画データとを前記メモリに記憶する場合に、前記静止画データの各フレームで最初に処理されるラインから前記最大遅延量に対応するライン数分だけオフセットを持たせて、前記動画データを配置する
ことを特徴とする撮像装置。
【０２４７】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０２４８】
１００‥センサ出力回路；１１０‥データ入力部；１２０‥判定部；１３０‥縮小部；１４０‥カウンタ部；１５０‥アドレス算出部；１６０‥データ出力部；１７０‥レジスタ；２００、２００ａ‥メモリ；２０２‥メモリシステム；２１０‥メモリ制御部；２１２‥アドレス変換部；３００‥算出部；４００‥画像処理回路；４１０‥データインタフェース；４２０‥カウンタ部；４３０‥マップ選択部；４４０‥レジスタ設定部；４５０‥処理部；４５２‥バッファ；４５４‥レジスタ；４６０‥アドレス算出部；４７０‥データ出力部；５００‥調停部；６００‥符号化回路；７００‥外部インタフェース；８００‥ユーザインタフェース；ＢＵＳ‥バス；ＩＤＥＶ‥撮像装置；ＩＰＤ、ＩＰＤ２、ＩＰＤ３、ＩＰＤ４、ＩＰＤ５‥画像処理装置；ＩＳＥＮ‥イメージセンサ
【図１】
2015033041.tif 000003
【図２】
2015033041.tif 000004
【図３】
2015033041.tif 000005
【図４】
2015033041.tif 000006
【図５】
2015033041.tif 000007
【図６】
2015033041.tif 000008
【図７】
2015033041.tif 000009
【図８】
2015033041.tif 000010
【図９】
2015033041.tif 000011
【図１０】
2015033041.tif 000012
【図１１】
2015033041.tif 000013
【図１２】
2015033041.tif 000014
【図１３】
2015033041.tif 000015
【図１４】
2015033041.tif 000016
【図１５】
2015033041.tif 000017
【図１６】
2015033041.tif 000018
【図１７】
2015033041.tif 000019
【図１８】
2015033041.tif 000020
【図１９】
2015033041.tif 000021
【図２０】
2015033041.tif 000022
【図２１】
2015033041.tif 000023
【図２２】
2015033041.tif 000024
【図２３】
2015033041.tif 000025
【図２４】
2015033041.tif 000026