(57)【要約】【課題】  撮像装置に搭載するワークメモリ（揮発性メモリ）の容量削減を図る。【解決手段】  被写体の光像を電気信号に変換する撮像素子３と、撮像素子３が搭載する画素数に相当するデータ量より少ないメモリ容量のワークメモリ（揮発性メモリ）１０と、該メモリ１０上で撮像素子３の撮像データを画像処理する画像処理手段１１，１２と、画像処理後の被写体画像データを格納する複数の不揮発性メモリ１６，１７と、撮像素子３から出力される撮像データを受信する毎に複数に分割し各分割データを不揮発性メモリ１６，１７に順番に格納すると共に１画面分の撮像データを不揮発性メモリ１６，１７に格納したあと１画面分のうちの部分毎の撮像データを不揮発性メモリ１６，１７からワークメモリ１０に読み出して画像処理させ画像処理後の被写体画像データを不揮発性メモリ１６，１７のうちの１つに記録する。【選択図】  図１
2009147633.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光像を電気信号に変換する撮像素子と、該撮像素子が搭載する画素数に相当するデータ量より少ないメモリ容量の揮発性メモリで構成されるワークメモリと、該ワークメモリ上で前記撮像素子の撮像データを画像処理する画像処理手段と、該画像処理後の被写体画像データを格納する複数の不揮発性メモリと、前記撮像素子から出力される撮像データを受信する毎に複数に分割し各分割データを前記複数の不揮発性メモリに順番に格納すると共に１画面分の前記撮像データを前記不揮発性メモリに格納したあと該１画面分のうちの部分毎の前記撮像データを前記複数の不揮発性メモリから前記ワークメモリに読み出して前記画像処理手段に画像処理させ画像処理後の前記被写体画像データを前記複数の不揮発性メモリのうちの１つに記録する制御手段とを備えることを特徴とする撮像装置。
【請求項２】
前記不揮発性メモリの夫々のデータ格納領域を、前記撮像データを一時保存する一時保存領域と前記被写体画像データを保存する保存領域とに分けることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数に分割する場合には、撮像データの頁単位に上位ビットと下位ビットまたは１ラインの前半と後半または奇数ラインと偶数ラインとに分割することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記複数の不揮発性メモリのうちの１つが着脱自在の外部記録メディアであり残りの不揮発性メモリが内蔵型であることを特徴とする請求項１乃至請求項３のいずれかに記載の撮像装置。
【請求項５】
前記外部記録メディアに前記被写体画像データを保存し該外部記録メディアの被写体撮像データ保存領域が一杯になったとき前記内蔵型の不揮発性メモリに前記被写体画像データを保存することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記内蔵型の不揮発性メモリに保存する前記被写体画像データのデータ量は前記外部記録メディアに前記撮像データを一時的に保存するために設けた一時保存領域の容量までとし該容量が埋まったとき新たな撮影を禁止して前記内蔵型の不揮発性メモリに保存されている前記被写体画像データを前記外部記録メディアに移動し保存することを特徴とする請求項５に記載の撮像装置。
【請求項７】
電源のオフを検知したとき或いは前記外部記録メディアの取り出しを検知したときにも前記内蔵型の不揮発性メモリに保存されている前記被写体画像データを前記外部記録メディアに移動し保存することを特徴とする請求項６に記載の撮像装置。
【請求項８】
新たな前記外部記録メディアが装着され該外部記録メディアに空き領域を検出したとき前記内蔵型の不揮発性メモリの前記被写体画像データを該空き領域に移動し保存することを特徴とする請求項５に記載の撮像装置。
【請求項９】
新たな前記外部記録メディアが装着され該外部記録メディアに前記撮像データを一時的に保存する一時保存領域が確保できない場合には該外部記録メディアの保存されている前記被写体画像データを前記内蔵型の不揮発性メモリに移動して前記一時保存領域を確保することを特徴とする請求項４乃至請求項８のいずれかに記載の撮像装置。
【請求項１０】
前記複数の不揮発性メモリへの前記撮像データの転送が間に合わなくなったとき、間に合わなくなった分の前記撮像データを前記ワークメモリに一時保存し、前記撮像データの転送終了後に該ワークメモリ上の前記撮像データを前記不揮発性メモリに転送することを特徴とする請求項１乃至請求項９のいずれかに記載の撮像装置。
【請求項１１】
被写体の光像を電気信号に変換する撮像素子と、該撮像素子が搭載する画素数に相当するデータ量より少ないメモリ容量の揮発性メモリで構成されるワークメモリと、該ワークメモリ上で前記撮像素子の撮像データを画像処理する画像処理手段と、該画像処理後の被写体画像データを格納する複数の不揮発性メモリとを備える撮像装置の撮像データ処理方法であって、前記撮像素子から出力される撮像データを受信する毎に複数に分割し各分割データを前記複数の不揮発性メモリに順番に格納すると共に、１画面分の前記撮像データを前記不揮発性メモリに格納したあと該１画面分のうちの部分毎の前記撮像データを前記複数の不揮発性メモリから前記ワークメモリに読み出して前記画像処理手段に画像処理させ、該画像処理後の前記被写体画像データを前記複数の不揮発性メモリのうちの１つに記録することを特徴とする撮像装置の撮像データ処理方法。
【請求項１２】
前記不揮発性メモリの夫々のデータ格納領域を、前記撮像データを一時保存する一時保存領域と前記被写体画像データを保存する保存領域とに分けることを特徴とする請求項１１に記載の撮像装置の撮像データ処理方法。
【請求項１３】
前記複数に分割する場合には、撮像データの頁単位に上位ビットと下位ビットまたは１ラインの前半と後半または奇数ラインと偶数ラインとに分割することを特徴とする請求項１１または請求項１２に記載の撮像装置の撮像データ処理方法。
【請求項１４】
前記複数の不揮発性メモリのうちの１つが着脱自在の外部記録メディアであり残りの不揮発性メモリが内蔵型であることを特徴とする請求項１１乃至請求項１３のいずれかに記載の撮像装置の撮像データ処理方法。
【請求項１５】
前記外部記録メディアに前記被写体画像データを保存し該外部記録メディアの被写体撮像データ保存領域が一杯になったとき前記内蔵型の不揮発性メモリに前記被写体画像データを保存することを特徴とする請求項１４に記載の撮像装置の撮像データ処理方法。
【請求項１６】
前記内蔵型の不揮発性メモリに保存する前記被写体画像データのデータ量は前記外部記録メディアに前記撮像データを一時的に保存するために設けた一時保存領域の容量までとし該容量が埋まったとき新たな撮影を禁止して前記内蔵型の不揮発性メモリに保存されている前記被写体画像データを前記外部記録メディアに移動し保存することを特徴とする請求項１５に記載の撮像装置の撮像データ処理方法。
【請求項１７】
電源のオフを検知したとき或いは前記外部記録メディアの取り出しを検知したときにも前記内蔵型の不揮発性メモリに保存されている前記被写体画像データを前記外部記録メディアに移動し保存することを特徴とする請求項１６に記載の撮像装置の撮像データ処理方法。
【請求項１８】
新たな前記外部記録メディアが装着され該外部記録メディアに空き領域を検出したとき前記内蔵型の不揮発性メモリの前記被写体画像データを該空き領域に移動し保存することを特徴とする請求項１５に記載の撮像装置の撮像データ処理方法。
【請求項１９】
新たな前記外部記録メディアが装着され該外部記録メディアに前記撮像データを一時的に保存する一時保存領域が確保できない場合には該外部記録メディアの保存されている前記被写体画像データを前記内蔵型の不揮発性メモリに移動して前記一時保存領域を確保することを特徴とする請求項１４乃至請求項１８のいずれかに記載の撮像装置の撮像データ処理方法。
【請求項２０】
前記複数の不揮発性メモリへの前記撮像データの転送が間に合わなくなったとき、間に合わなくなった分の前記撮像データを前記ワークメモリに一時保存し、前記撮像データの転送終了後に該ワークメモリ上の前記撮像データを前記不揮発性メモリに転送することを特徴とする請求項１１乃至請求項１９のいずれかに記載の撮像装置の撮像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラ等の撮像装置に係り、特に、メインメモリとして使用する揮発性メモリの容量を削減するのに好適な撮像装置及びその撮像データ処理方法に関する。
【背景技術】
【０００２】
固体撮像素子を搭載する撮像装置では、固体撮像素子から高速に読み出された撮像データを、その読み出し速度に対応できる高速なメインメモリ（ワークメモリ）上に展開し、ＹＣ変換処理やＪＰＥＧ圧縮処理などの画像処理を行い、その後に、ハードディスクやフラッシュメモリの様に低速な記録メディアに記録する様になっている。
【０００３】
ワークメモリとして、通常は、ＳＤＲＡＭの様な揮発性メモリが使われる。この揮発性メモリは、ハードディスクやフラッシュメモリの様な低速なメモリよりもビット当たりの単価が高い。近年の固体撮像素子は、多画素化が進展して画素数が数百万画素以上と膨大になって来ており、このため、これに合わせて、メインメモリの容量も大きくする必要が生じ、撮像装置のコストを引き上げる要因になっている。
【０００４】
そこで、ビット単価の安い不揮発性メモリを撮像データの１次記憶として用いることが考えられるが、不揮発性メモリは一般的に書き込み速度が遅く、撮像データの撮像素子からの読み出しに間に合わないという問題がある。
【０００５】
特許文献１記載の従来技術では、フラッシュメモリにデータ１次記憶領域とデータ格納領域とを設定し、１ページ（ブロック）より小さい１次記憶領域のデータを連結処理し、その連結データをデータ格納領域に書き込むようにしている。この特許文献１の従来技術を撮像装置に適用し、撮像データを１次記憶領域に格納しようとしても、書き込み速度が遅いために、全撮像データの書き込みができなくなってしまうという問題がある。また、ワークメモリとして使用する高速な揮発性メモリの容量を減らすことができず、コスト低減にはならない。
【０００６】
特許文献２記載の従来技術では、複数の不揮発性メモリを持ち、撮像データを内部のバッファ（揮発性メモリ）から不揮発性メモリの夫々に並行して転送する様にしている。複数の不揮発性メモリヘ書き込みを並行して行うことで、見かけ上は不揮発性メモリヘの書きみ速度を速くでき、連続した撮影の間隔を短縮することが可能となる。しかし、ワークメモリの容量を減らすような効果は得られず、コスト低減にはならない。
【０００７】
【特許文献１】特開２００７―１４０６２８号公報
【特許文献２】特開２００６―１７４２５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、撮像素子から読み出した大量の撮像データを低速メモリに一時保存しながら、この大量の撮像データのデータ量よりメモリ容量が小さな高速メモリ（ワークメモリ）上で撮像データの画像処理を可能にする撮像装置及びその撮像データ処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の撮像装置及びその撮像データ処理方法は、被写体の光像を電気信号に変換する撮像素子と、該撮像素子が搭載する画素数に相当するデータ量より少ないメモリ容量の揮発性メモリで構成されるワークメモリと、該ワークメモリ上で前記撮像素子の撮像データを画像処理する画像処理手段と、該画像処理後の被写体画像データを格納する複数の不揮発性メモリとを備える撮像装置の撮像データ処理方法であって、前記撮像素子から出力される撮像データを受信する毎に複数に分割し各分割データを前記複数の不揮発性メモリに順番に格納すると共に、１画面分の前記撮像データを前記不揮発性メモリに格納したあと該１画面分のうちの部分毎の前記撮像データを前記複数の不揮発性メモリから前記ワークメモリに読み出して前記画像処理手段に画像処理させ、該画像処理後の前記被写体画像データを前記複数の不揮発性メモリのうちの１つに記録することを特徴とする。
【００１０】
本発明の撮像装置及びその撮像データ処理方法は、前記不揮発性メモリの夫々のデータ格納領域を、前記撮像データを一時保存する一時保存領域と前記被写体画像データを保存する保存領域とに分けることを特徴とする。
【００１１】
本発明の撮像装置及びその撮像データ処理方法は、前記複数に分割する場合には、撮像データの頁単位に上位ビットと下位ビットまたは１ラインの前半と後半または奇数ラインと偶数ラインとに分割することを特徴とする。
【００１２】
本発明の撮像装置及びその撮像データ処理方法は、前記複数の不揮発性メモリのうちの１つが着脱自在の外部記録メディアであり残りの不揮発性メモリが内蔵型であることを特徴とする。
【００１３】
本発明の撮像装置及びその撮像データ処理方法は、前記外部記録メディアに前記被写体画像データを保存し該外部記録メディアの被写体撮像データ保存領域が一杯になったとき前記内蔵型の不揮発性メモリに前記被写体画像データを保存することを特徴とする。
【００１４】
本発明の撮像装置及びその撮像データ処理方法は、前記内蔵型の不揮発性メモリに保存する前記被写体画像データのデータ量は前記外部記録メディアに前記撮像データを一時的に保存するために設けた一時保存領域の容量までとし該容量が埋まったとき新たな撮影を禁止して前記内蔵型の不揮発性メモリに保存されている前記被写体画像データを前記外部記録メディアに移動し保存することを特徴とする。
【００１５】
本発明の撮像装置及びその撮像データ処理方法は、電源のオフを検知したとき或いは前記外部記録メディアの取り出しを検知したときにも前記内蔵型の不揮発性メモリに保存されている前記被写体画像データを前記外部記録メディアに移動し保存することを特徴とする。
【００１６】
本発明の撮像装置及びその撮像データ処理方法は、新たな前記外部記録メディアが装着され該外部記録メディアに空き領域を検出したとき前記内蔵型の不揮発性メモリの前記被写体画像データを該空き領域に移動し保存することを特徴とする。
【００１７】
本発明の撮像装置及びその撮像データ処理方法は、新たな前記外部記録メディアが装着され該外部記録メディアに前記撮像データを一時的に保存する一時保存領域が確保できない場合には該外部記録メディアの保存されている前記被写体画像データを前記内蔵型の不揮発性メモリに移動して前記一時保存領域を確保することを特徴とする。
【００１８】
本発明の撮像装置及びその撮像データ処理方法は、前記複数の不揮発性メモリへの前記撮像データの転送が間に合わなくなったとき、間に合わなくなった分の前記撮像データを前記ワークメモリに一時保存し、前記撮像データの転送終了後に該ワークメモリ上の前記撮像データを前記不揮発性メモリに転送することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、多画素化が図られた固体撮像素子を搭載する撮像装置であっても小容量の揮発性メモリを搭載すれば済むため、コスト削減を図ることが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２１】
図１は、本発明の一実施形態に係る撮像装置の一例であるデジタルカメラの機能ブロック図である。本実施形態の撮像装置１は、被写体からの入射光を結像する撮影レンズ２と、撮影レンズ２の背部に設置され被写体の光像を電気信号に変換する例えばＣＣＤ型の固体撮像素子３と、固体撮像素子２の出力信号を相関二重サンプリング処理（ＣＤＳ）や利得制御するアナログフロントエンド回路４と、アナログフロントエンド回路４のアナログ出力をデジタル信号に変換するＡ／Ｄ変換回路５と、Ａ／Ｄ変換回路５でデジタル信号に変換された撮像データを取り込む画像入力コントローラ６とを備え、画像入力コントローラ６の出力がバス７に接続される。
【００２２】
バス７には、この撮像装置１を統括制御するＣＰＵ８と、撮像素子３から動画状態で取り込んだ撮像データからＡＥ（自動露出）／ＡＷＢ（オートホワイトバランス）／ＡＦ（自動焦点）を検出する回路９と、ＳＤＲＡＭ等の揮発性メモリでなるワークメモリ１０と、このワークメモリ１０を用いて撮像データの画像処理を行う画像信号処理回路（ＤＳＰ）１１と、画像処理された画像データをワークメモリ１０を用いてＪＰＥＧ形式の画像データに圧縮する圧縮処理回路１２と、撮像装置１の各種制御を行うプログラムを格納したプログラムメモリ１３と、液晶等の表示装置１４に画像を表示する表示コントローラ１５と、複数（図示の例では２個）の不揮発性メモリ１６，１７を夫々制御するフラッシュメモリコントローラ１８，１９とが接続されている。
【００２３】
ＣＰＵ８にはモータドライバ２０及びタイミングジェネレータ２１が接続され、撮影レンズ２のズーム位置，フォーカス位置を調整する図示しないモータをモータドライバ２０を介してＣＰＵ８が制御し、また、タイミングジェネレータ２１を介してＣＰＵ８が固体撮像素子３の駆動制御を行う様になっている。また、ＣＰＵ８には、外部スイッチ２２が接続され、ユーザの操作指示がスイッチ２２からＣＰＵ８に取り込まれる様になっている。
【００２４】
デジタルカメラにおける撮影動作では、撮像素子３から出力される撮像データつまりＲＡＷデータは、画像入力コントローラ６によってワークメモリ１０に転送される。その理由は、撮像素子３から順次送られてくるデータの転送速度が速く、このデータをリアルタイムに画像信号処理回路１１が複雑な処理を行うが困難なためである。そこで、一旦、データをワークメモリ１０に退避させ、その後に画像処理を行う。
【００２５】
ワークメモリ１０には一時的にデータを保存するだけであるので、ＳＤＲＡＭのような揮発性メモリで良い。しかし、上述した様に、撮像素子３が搭載する画素数が膨大になってくると、ワークメモリ１０のメモリ容量も大きくしなければならなくなり、ワークメモリに要するコストが嵩んでしまうという問題が生じる。
【００２６】
そこで、ビット単価の安いハードディスクや、近年安価になっているＮＡＮＤフラッシュメモリを一時保存用のメモリとして使用することが考えられるが、ハードディスクは消費電力や容積の点でデジタルカメラには向かない。フラッシュメモリは、ＮＡＮＤ型がデジタルカメラ内蔵の画像記録用メモリとして多く用いられているが、書き込み速度が遅く、撮像素子３から高速に出力される撮像データをフラッシュメモリに直接記録するには難点がある。
【００２７】
そこで本実施形態では、複数の不揮発性メモリ（ＮＡＮＤフラッシュメモリ）１６，１７を搭載し、両者の各一部を一時保存領域として扱い、以下に述べるような内部制御を行い、ワークメモリである揮発性メモリ１０の容量をＲＡＷデータ容量より小さく抑えることとしている。
【００２８】
図２は、図１に示すデジタルカメラにおける動作説明図である。撮像素子３から送られてくる撮像データ（ＲＡＷデータ）は、画像入カコントローラ６において１ライン分またはそれ未満の容量の複数のバッファ（図１に示す例では不揮発性メモリ１６，１７が２個のためこれに合わせて２つのバッファ）で受け取る。
【００２９】
画像入力コントローラ６では、書き込みが行われたバッファは読み出し側にまわり、もう一方のバッファが書き込み側にまわるダブルバッファ制御が行われる。
【００３０】
画像入力コントローラ６は、撮像素子３から読み出したＲＡＷデータをＮＡＮＤメモリコントローラ１８，１９のバッファへ転送する。その際、不揮発性メモリ（ＮＡＮＤメモリコントローラ）の個数に応じて、転送するＲＡＷデータを分割し、分割したＲＡＷデータを夫々メモリコントローラ１８，１９のバッファヘ転送する。
【００３１】
その分割の方法は、ビット方向であれば（例えば、２分割する場合）１６ビットを上位８ビットと下位８ビットで分割し、あるいは、１ラインの前半と後半で分割し、あるいは、奇数番目のデータと偶数番目データで分割する。このようにすれば、単純ではあるが、不揮発性メモリの数の倍数だけ書き込み速度を速くすることができる。
【００３２】
この様にして、１画面分のＲＡＷデータが不揮発性メモリ１６，１７の各一時保存領域に保存された後、元のＲＡＷデータを復元するように、ワークメモリ１０に展開する。この時に、ワークメモリ１０は１画面分のＲＡＷデータを展開する容量を持っていないため、１画面分のＲＡＷデータを分割して、部分的にワークメモリ１０に展開する。
【００３３】
このようにすることで、撮像素子３の搭載画素数が増大しても、ワークメモリ１０のメモリ容量の増大を抑えることが可能となる。そして、画像信号処理回路１１は、部分的にＹＣ変換処理やエッジ強調処理等の画像処理をワークメモリ１０上で行い、画像圧縮処理回路１２はＪＰＥＧ圧縮などの画像処理をワークメモリ１０上で行う。
【００３４】
そして、その処理結果のデータを、不揮発性メモリ１６，１７の保存領域に書き戻す。この場合、不揮発性メモリ１６，１７のうちの一つを選択し、１画面分の画像処理結果のデータが一つの画像ファイルとなるように書き込み制御する。
【００３５】
一つのメモリを選択するのは、ファイル管理がメモリ毎にできるので、管理しやすいからである。画像ファイルの書き込みの順番は、同じ不揮発性メモリに連続するようにはせず、順番に行うようにすると、一時保存領域を簡単に拡張することができ、連続した撮影を行う際に有利となる。
【００３６】
以上述べた様に、本実施形態によれば、撮像素子の画素数が増大しても、画像処理やプログラム動作、表示データ格納などを行う高速なワークメモリの容量を小さく抑えることができ、コストの上昇を低減させることが可能となる。また、連続した撮影動作を行う場合に、不揮発性メモリの一時保存領域を拡張することで、空領域が一杯になるまでの撮影枚数が確保可能となる。
【００３７】
図３は、本発明の第２実施形態に係る撮像装置の機能ブロック図である。本実施形態の撮像装置は、図１に示す撮像装置と基本構成は同じであるが、図１の撮像装置が２つの不揮発性メモリ１６，１７が内蔵型であるのに対し、本実施形態の撮像装置３１では、一方の不揮発性メモリ２４を着脱自在の外部メモリとした点が異なる。
【００３８】
撮影したＲＡＷデータの一時保存先として使用するフラッシュメモリ（不揮発性メモリ）は、撮像装置の内蔵型である方が管理が容易である。しかし、撮影データの外部への転送が面倒になってしまう。一般的なデジタルカメラのように、外付け記録メディアを別途取り付けても良いが、一時保存先として利用できなければ、内蔵のＮＡＮＤフラッシュメモリが増えてしまい、コスト的に不利になる。
【００３９】
そこで、本実施形態では、外付けのＮＡＮＤフラッシュメモリ２４も図１に示す実施形態のように一時保存先として利用し、且つ、通常の外付け記録メディアとして一杯になるまで記録可能にする。
【００４０】
撮影動作としては、外付けメモリ２４がカメラのコネクタに挿入されており、且つ、一時保存のための空き容量を持っている場合に、撮影が可能なようにする。但し、一般的なデジタルカメラのように外付け記録メディアが一杯になるまでデータ保存ができるように、次のような動作制御を行う。
【００４１】
図４は、本実施形態に係る撮像データ処理プログラムの処理手順を示すフローチャートである。まず、外付け記録メディア（外部記録カード）２４が挿入されているか否かを判定し（ステップＳ１）、挿入されていない場合にはステップＳ２に進んで新規の記録カードの挿入を要求する表示を行い、この処理プログラムを終了する。
【００４２】
ステップＳ１で、外部記録カード２４が挿入されていることを検知した場合には、ステップＳ３に進み、ＲＡＷデータ量（この例では少なくとも画素数の１／２）より大容量の一時保存領域が確保できるか否かを判定する。
【００４３】
一時保存領域が確保できない場合にはステップＳ３からステップＳ２に進み、確保できる場合には外部記録メディア２４に一時保存場所を確保する。このとき、可能な限り連続したアドレスにする方が制御しやすいので、並べ替えを行う。尚も、この並べ変えは必ず必要というわけではない。一時保存場所が確保できた場合に、次にステップＳ４に進み、撮影動作に入る。
【００４４】
この撮影動作における画像処理は、図２の実施形態で説明した様に、２つのメモリ１６，２４を用いて行うと共に小容量のワークメモリ１０を用いて行う。しかし、本実施形態では、画像処理済みの被写体画像データの保存先として、まず、外部記録カード２４に対して行う。
【００４５】
そして、ステップＳ５で、外部記録カード２４の保存領域が一杯になったか否かを判定し、一杯になっていない場合にはステップＳ４に戻り、撮影動作を繰り返し行う。
【００４６】
外部記録カード２４の保存領域が一杯になった場合には、ステップＳ５からステップＳ６に進み、外部記録カード２４の一時保存領域には書き込みを行わずに、内部メモリ（内蔵メモリ）１６の保存領域に画像処理済みの画像データを保存する。
【００４７】
そして、内部メモリ１６の保存領域に保存したデータ容量が、外部メモリの一時保存領域の容量より大きくなるか否かを判定し（ステップＳ７）、大きくならない場合にはステップＳ４に戻る。大きくなる場合には、画像データを保存できない旨の警告表示を行う（ステップＳ８）と共に、内部メモリ１６に保存された被写体画像データを外部記録カード２４の一時保存領域に移動して保存し（ステップＳ９）、撮影者に対して新しい外部記録カード２４の挿入を促す警告表示を行う（ステップＳ１０）。
【００４８】
また、ステップＳ７で、内部メモリ１６の保存領域に画像処理済みのデータを保存中に外部記録カード２４の取り出しを検知した場合、あるいは、電源がオフ操作された場合も、上記と同様に、内部メモリ１６の保存領域に保存されている画像データを、外部記録カード２４の一時保存領域に移動し保存し、その後に取り出しを許可し、電源をオフする。
【００４９】
本実施形態によれば、外部記録メディア２４が一杯になるまで画像データの記録が可能となり、通常のデジタルカメラと同様に違和感なく外部記録カードを扱うことが可能となる。
【００５０】
尚、上述した実施形態において、内部メモリ１６に外部メモリ２４の一時保存領域分の容量を確保し、この領域分が一杯になったとき外部記録カード２４にデータを移動し保存するようにしてもよい。
【００５１】
図５は、本発明の別実施形態に係る撮像データ処理プログラムの処理手順を示すフローチャートである。尚、図４で説明した処理と同様の処理を行うステップには同一ステップ番号を付けてその詳細な説明は省略する。
【００５２】
図４で説明した撮像データ処理方法では、内部メモリ１６の保存領域に書き込まれたデータ量が外部記録メディア２４の一時保存領域を超えると撮影ができなくなってしまうため、内部メモリ１６を全て活用することができない場合が生じる。
【００５３】
そこで、本実施形態では、内部メモリ１６の保存領域を有効に活用するために、内部メモリ１６の保存容量が外部記録メディア２４の一時保存領域の容量より大きくなった場合でも、内部メモリ１６の保存領域が一杯になるまでは撮影が可能なようにする。
【００５４】
先ず、ステップＳ１で、外部記録カード２４が挿入されているか否かを判定し、挿入されていない場合にはステップＳ２に進んでエラー表示を行い、この処理プログラムを終了する。
【００５５】
ステップＳ１で、外部記録カード２４が挿入されていることを検知した場合には、ステップＳ３に進み、一時保存領域が確保できるか否かを判定する。一時保存領域が確保できない場合にはステップＳ３からステップＳ２に進み、確保できる場合には、ステップＳ１１に進み、内蔵（内部）メモリ１６に移動していない残データがあるか否かを判定する。
【００５６】
残データが無い場合にはステップＳ１１からステップＳ４に進み、撮影処理に入る。残データが有る場合にはステップＳ１１からステップＳ１２に進み、外部記録カード２４の保存領域に内部メモリ１６の残データを移動保存する。
【００５７】
そして、ステップＳ１２の次にステップＳ１３に進み、内部メモリ１６内にまだ移動できない残データが残っているか否かを判定し、残ってない場合にはステップＳ４に進む。ステップＳ１３の判定の結果、残データがまだ残っている場合には、後述のステップＳ１４に進む。
【００５８】
ステップＳ４に進んだ場合には前述したステップＳ５，ステップＳ６と進み、次にステップＳ１４に入る。このステップＳ１４では、内部メモリ１６の保存領域に保存されているデータ保存量が外部記録カード２４の一時保存領域の容量以上であるか否かを判定する。この判定結果が否定の場合にはステップＳ４に戻り、肯定の場合には次のステップＳ１５に進む。
【００５９】
ステップＳ１５では、内部メモリ１６の保存領域がデータで一杯になっているか否かを判定し、判定結果が肯定の場合にはステップＳ１６に進み、否定の場合にはステップＳ１７に進む。
【００６０】
ステップＳ１６では、撮影者に対して撮影できない旨の表示を行い、ステップＳ１９に進む。ステップＳ１７では、外部記録カード２４にデータを保存できない旨の表示を行い、次にステップＳ１８で電源オフ操作がされたか否かを判定し、オフ操作でない場合にはステップＳ４に戻り、オフ操作の場合にはステップＳ１９に進む。
【００６１】
ステップＳ１９では、内部メモリ１６に保存したデータを外部記録カード２４の一時保存領域に書き込み、電源をオフにしてこの処理プログラムを終了する。
【００６２】
この様に、本実施形態では、撮影者が外部記録カード２４の入れ替えのために電源オフ操作をした場合には（電源オフしなくてもカード交換可能ならば取り出しを検知した場合）、内部メモリ１６に保存された撮影データのうち、外部記録カード２４の一時保存領域分の撮影データを外部記録カード２４に移動して保存し、その後に電源を遮断する。
【００６３】
そして、撮影者が外部記録カード２４を入れ替えて、外部記録カード２４の保存領域に空き領域があることを検知したなら、まずは、内部メモリ１６内に残っている被写体画像データを外部記録カード２４の保存領域に移動して保存し、撮影可能な状態に移行する。
【００６４】
また、内部メモリ１６のデータを移動保存したが、内部メモリ１６にまだデータが残っておりそのデータ容量が外部記録カード２４の一時保存領域の容量を超えるようであれば、外部記録カード２４にはこれ以上の記録ができないことを表示することで撮影者に報知する。これにより、撮影者は、外部記録カード２４には記録されず内部メモリ１６に残っていることを知ることが可能となる。
【００６５】
本実施形態によれば、外部記録カード２４を一時保存用のバッファとして使用した場合でも、その一時保存領域はデータ保存用としては使用できなくなるが、カード容量一杯までの画像データの記録が可能となり、かつ、内部メモリ１６の保存領域も有効に活用できるようになる。
【００６６】
図６は、本発明の更に別実施形態に係る撮像データ処理プログラムの処理手順を示すフローチャートである。図４，図５で説明した実施形態では、外部記録カードが新たに挿入された最初の時点で空き領域があったとしても、一時保存領域が確保できないと、撮影動作できない構成にしている。この点を改良した実施形態が本実施形態である。
【００６７】
先ず、ステップＳ１で、外部記録カード２４が挿入されたか否かを判定し、挿入されない場合にはステップＳ２で外部記録カード２４の挿入を要求する表示を行い、この処理プログラムを終了する。
【００６８】
外部記録カード２４が挿入された場合にはステップＳ１からステップＳ３に進み、挿入された外部記録カード２４に一時保存領域が確保可能か否かを判定する。確保可能な場合にはステップＳ４に進み、撮影動作に入る。
【００６９】
一時保存領域が確保できない場合には、ステップＳ３からステップＳ２１に進み、内部メモリ１６に既に設けられている一時保存領域の他に、更に一時保存領域分の空き容量があるか否かを判定する。この一時保存領域の空き容量が無い場合には、ステップＳ２２に進み、新規の外部記録カード２４を要求する表示を行い、この処理プログラムを終了する。
【００７０】
内部メモリ１６に一時保存領域分が確保可能と判定した場合には、ステップＳ２１からステップＳ２３に進み、外部記録カード２４に格納されているデータのうち一時保存領域分を確保するできるデータ量を、内部メモリ１６に移動して保存する。
【００７１】
このデータ転送を行う際のデータは、物理アドレスで一時保存領域分を丸々移動保存するようにしても良いし、記録されたファイル単位で管理して、一時保存領域分以上を確保できるように移動保存するようにしても良い。
【００７２】
外部記録カード２４に一時保存領域が確保されたなら、上記のダブルバッファ制御を行って撮影動作（ステップＳ２４）を行う。この撮影中において、撮影モードの変更たとえば単写モードから連写モードに変更し、さらに一時保存領域分の空きが必要となった場合には、上述の動作を繰り返して外部記録カード２４の格納データを内部メモリ１６に移動保存し、一時保存領域の拡大を図る。
【００７３】
撮影操作が終了し、電源オフまたはカード取り出し或いは撮影モード変更が行われた場合（ステップＳ１８）には、内部メモリ１６に退避したデータを優先的に外部記録カード２４に書き戻す（ステップＳ１９）。その書き戻しが終了した後に、図４，図５で説明したと同様に、内部メモリ１６に保存されたデータを外部記録カード２４に移動保存して、本処理プログラムを終了する。
【００７４】
本実施形態によれば、一時保存領域分の空き領域を持たない外部記録カードであっても、撮影動作が可能となる。また、一時保存領域分の容量未満が残っているのに電源オフされた外部記録カードでも、次回にその空領域分を有効に使用することができ、また、連写撮影においても一時保存領域を最大限まで確保することが可能になる。
【００７５】
図７，図８は、本発明の更に別実施形態に係る撮像データ処理方法を説明する図である。撮像素子３によって撮像され画像入力コントローラ６によって取り込まれたＲＡＷデータは、垂直及び水平同期信号に同期して一定周期で転送されてくる。上述した各実施形態では、画像入カコントローラ６は、一定周期内に一時保存先のＮＡＮＤフラッシュメモリ１６，１７（２４）に書き込まなければならない。
【００７６】
しかし、ＮＡＮＤフラッシュメモリは書き込み速度が一定でないために、その一定周期内をオーバーする可能性もある。十分な書き込み速度を得るために、さらに余分なＮＡＮＤフラッシュメモリを付加しても良いが、コストの増大に繋がってしまう。
【００７７】
そこで、本実施形態では、転送に間に合わない一部のＲＡＷデータを、ワークメモリ１０に退避させるように書き込みを行う。ＮＡＮＤフラッシュメモリ１６，１７のコントローラ１８は、ＲＡＷデータを受け入れ可能な状態のときはレディ信号を画像入力コントローラ６に出力する。画像入カコントローラ６は、このレディ信号がイネーブル状態であれば、ＲＡＷデータをメモリコントローラ１８に転送する。図１に示す様に、複数のメモリコントローラ１８，１９が存在するのであれば、画像入力コントローラ６は複数のレディ信号を受け取り、それぞれに対してＲＡＷデータを分割して転送することになる。
【００７８】
上記の例では、ＲＡＷデータの転送単位を１ライン分で判定しているが、ＮＡＮＤフラッシュメモリのブロック単位で判定するようにしても良い。１ライン単位であれば制御は簡単であるが、メモリコントローラ１８側に１ライン分のバッファが必要となる。
【００７９】
メモリコントローラ１８からのレディ信号がディスイネーブルを示す場合、画像入カコントローラ６はワークメモリ１０にＲＡＷデータを転送する。全てのＲＡＷデータを画像入カコントローラ６が転送し終えた後、ワークメモリ１０上に書き込まれたＲＡＷデータをフラッシュメモリ１６，１７に書き込む。
【００８０】
次に、転送単位でワークメモリ１０から古い順にＲＡＷデータを読み出し、フラッシュメモリ１６，１７の書かれていないブロックに順番に書き込んで行く。フラッシュメモリに書き込むブロックのアドレスは、画像入力コントローラ６側でワークメモリ１０上に保管するようにし、それを参照するようにしても良い。
【００８１】
ワークメモリ１０上のＲＡＷデータの全てをフラッシュメモリ１６，１７に移動させることで、ＲＡＷデータの１画面分がフラッシュメモリ１６，１７に格納されることになる。その後に、図４の実施形態で説明したように、１画面のＲＡＷデータを部分領域毎にワークメモリ１０に転送し、画像処理を行っていく。
【００８２】
不揮発性メモリ（ＮＡＮＤフラッシュメモリ）の書き込み速度は、ＳＤＲＡＭのような揮発性メモリのように確実な一定速度でないため、部分的な速度低下が発生すると撮像データの欠損に繋がる。本実施形態では、この不具合を回避することが可能となり、コスト削減を目的として不揮発性メモリの個数を減らすことができる。
【産業上の利用可能性】
【００８３】
本発明に係る撮像装置等は、システム全体のコスト削減を図ることができるため、数百万画素以上の画素を持つ固体撮像素子を搭載したデジタルカメラ等に適用すると有用である。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施形態に係る撮像装置の機能ブロック図である。
【図２】図１に示す撮像装置における画像処理及び撮像データ処理方法の説明図である。
【図３】本発明の別実施形態に係る撮像装置の機能ブロック図である。
【図４】図３に示す撮像装置の撮像データ処理方法の処理手順を示すフローチャートである。
【図５】図３に示す撮像装置の別実施形態に係る撮像データ処理方法の処理手順を示すフローチャートである。
【図６】図３に示す撮像装置の更に別実施形態に係る撮像データ処理方法の処理手順を示すフローチャートである。
【図７】図３に示す撮像装置の更に別実施形態に係る撮像データ処理方法の説明図である。
【図８】図７に示す撮像装置の撮像データ処理方法の説明図である。
【符号の説明】
【００８５】
３  撮像素子
６  画像入力コントローラ
８  ＣＰＵ
１０  ワークメモリ（揮発性メモリ）
１１  画像信号処理回路
１２  圧縮処理回路
１８，１９  フラッシュメモリコントローラ
１６，１７  不揮発性メモリ（ＮＡＮＤフラッシュメモリ）
２４  着脱型の外部記録メディア（不揮発性メモリ）
【図１】
2009147633.tif 000003
【図２】
2009147633.tif 000004
【図３】
2009147633.tif 000005
【図４】
2009147633.tif 000006
【図５】
2009147633.tif 000007
【図６】
2009147633.tif 000008
【図７】
2009147633.tif 000009
【図８】
2009147633.tif 000010