(57)【要約】【課題】従来のデジタルカメラでは、画像メモリのアクセス速度が不十分であったり、メモリ制御が複雑であるため、CCDデータ取り込み、Y/C分離処理、モニター表示処理、JPEG圧縮処理、外部メディア記録処理などの複数の信号処理を並列に処理することが困難であり、トータルとしての信号処理時間が長くかかってしまうという問題があった。【解決手段】本発明は、撮像素子の出力をデジタル化する撮像回路と、デジタル化された映像信号を処理する複数の信号処理回路と、前記複数の信号処理回路からのメモリアクセス要求を調停するアービタと、メモリアクセスを中継するメモリ制御回路と、メインメモリを備え、アービタは予め定められた優先順位に従って最も優先度の高い要求信号に応じてアクセス許可信号を出力し、アクセス許可を受けた信号処理回路がメモリ制御回路を介してメインメモリにアクセスする。【選択図】図１
2008186479.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して映像信号を生成する撮像手段と、
前記生成された映像信号に基づく映像信号を格納するメモリと、
前記メモリに格納された映像信号に対して、前記撮像手段の動作タイミングに同期して処理を施す第一の信号処理手段と、前記メモリに格納された映像信号に対して、前記撮像手段の動作タイミングには同期せずに処理を施す第二の信号処理手段と、を少なくとも含む複数の信号処理手段と、
前記複数の信号処理手段から発行される前記メモリに対するアクセス要求を調停した上で、前記アクセス要求を発行した信号処理手段に対して前記メモリへのアクセス許可を与えるアービタと、を備え、
前記複数の信号処理手段の少なくとも一つは、前記メモリにアクセス可能であるとともに、前記メモリとは別のバッファメモリであって、前記メモリ内に記憶されたデータの少なくとも一部を蓄えることができるバッファメモリにもアクセス可能であり、
前記アービタは、前記第一の信号処理手段及び前記第二の信号処理手段から前記メモリに対するアクセス要求が発行された場合、前記第二の信号処理手段よりも前記第一の信号処理手段を優先して前記アクセス許可を与え、
前記第一の信号処理手段及び前記第二の信号処理手段のうち、前記アクセス許可を与えられた信号処理手段が前記メモリにアクセスし、
前記第一の信号処理手段及び前記第二の信号処理手段のうち、前記バッファメモリにアクセス可能な信号処理手段は、前記アクセス許可を与えられなかった期間においても前記バッファメモリにアクセスすることにより信号処理を実施可能である、
ことを特徴とするデジタルカメラ。
【請求項２】
前記第一の信号処理手段は、少なくとも、前記メモリに格納された映像信号を輝度信号と色差信号に分離するY/C分離処理手段を含む、
ことを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
前記第二の信号処理手段は、少なくとも、前記メモリに格納された映像信号を圧縮する圧縮処理手段、前記メモリに格納された映像信号を記録メディアに記録するメディア記録処理手段のいずれかまたは複数を含む、
ことを特徴とする請求項１または２に記載のデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は効率のよい画像メモリの制御により、画像信号処理時間を向上させたデジタルカメラを提供することを目的とする。
【背景技術】
【０００２】
デジタルカメラで静止画もしくは動画を撮影する際に、CCDデータ取り込み処理、輝度信号と色差信号への分離処理（Y/C分離処理）、液晶モニターへの表示処理、JPEG圧縮処理、記録メディアへの記録処理等の各信号処理において、各信号処理間で発生するデータを一時的に画像メモリに蓄積させて処理を行うことは一般的である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来のデジタルカメラではこれらの処理を、画像メモリのアクセス速度が不十分であったり、複数の画像処理により発生するメモリアクセスを並列に処理することが複雑であるため、まずCCDデータ出力に同期して決められた期間内に終了させる必要があるCCDデータ取り込みを優先して行い、１画面分のCCDデータを画像メモリへの取り込み、その後１画面分のY/C分離処理を行い、１画面分のY色差信号を画像メモリへ取り込み、その後モニター表示処理、JPEG圧縮処理、外部メディアへの記録処理などを行っていた。そのため、トータルとしての信号処理時間が長くかかってしまうという問題があった。
【課題を解決するための手段】
【０００４】
本発明のデジタルカメラは、撮像素子の出力をデジタル化する撮像回路と、デジタル化された映像信号を前記撮像素子の出力に同期して処理する一つまたは複数の第一の信号処理回路と、デジタル化された映像信号を前記撮像素子の出力に同期せずに処理する一つまたは複数の第二の信号処理回路と、メモリと、前記第一および第二の信号処理回路からの前記メモリに対するアクセス要求を調停するアービタとを備え、前記アービタは、前記第一の信号処理回路に対して、前記第二の信号処理回路よりも優先して前記メモリに対するアクセス許可を与える、ことを特徴とする。
【０００５】
また、前記第一の信号処理回路は、前記デジタル化された映像信号を前記メインメモリに書き込むデータ処理回路、前記デジタル化された映像信号を輝度信号と色差信号に分離するY/C分離処理回路のいずれかまたは両方である、ことを特徴としてもよい。
【０００６】
また、前記第二の信号処理回路は、圧縮処理を行う圧縮処理回路、前記圧縮処理回路で生成された符号データを前記メインメモリに書き込む符号データ処理回路、前記符号データを前記メインメモリから読み出し記録メディアに記録するメディア記録処理回路のいずれかまたは複数である、ことを特徴としてもよい。
【０００７】
以上の様な手段により本発明は、効率のよいメモリ制御により、複数の信号処理の並列処理を実現させ、信号処理時間の向上により、撮影間隔の短縮、高速連写機能、撮影データの液晶モニターへの表示速度などを向上させたデジタルカメラを提供できる。
【発明の効果】
【０００８】
このように本発明のデジタルカメラによれば、以上のように本発明のデジタルカメラによれば、効率のよいメモリ制御により、複数の信号処理の並列処理を実現させ、信号処理時間の向上により、撮影間隔の短縮、高速連写機能、撮影データの液晶モニターへの表示速度などを向上させたデジタルカメラを提供する。
【発明を実施するための最良の形態】
【０００９】
（具体的な実施の形態）
（実施の形態１）
本実施の形態は、効率のよいメモリ制御により、複数の信号処理の並列処理を実現させ、信号処理時間の向上により、撮影間隔の短縮、高速連写機能、撮影データの液晶モニターへの表示速度などを向上させたデジタルカメラを実現するものである。
【００１０】
以下、本発明の実施の形態１を図に基づいて説明する。
【００１１】
図１は、本発明の実施の形態１に係るデジタルカメラの構成図である。
【００１２】
図１において、１０１は撮像素子の出力をデジタル化する撮像回路であり、１０２はメインメモリにデータを書き込むもしくは、読み出す必要がある複数の信号処理回路である。１０３は１０２の信号処理回路からのメモリアクセス要求を調停するアービタであり、１０４は１０２の信号処理回路からのメモリアクセスを中継するメモリ制御回路であり、１０５はメインメモリであり１０６は撮像データに対する信号処理後最終的に生成された画像ファイルを保存する、記録メディアである。
【００１３】
１１０は複数の信号処理回路１０２からのメモリアクセス要求信号であり、１１１はアービタ１０３からのメモリアクセス許可信号である。１１２は複数の信号処理回路１０２の各信号処理回路から出力されるメインメモリへのメモリアドレスであり、１１３はメモリ制御回路を中継して、メインメモリ１０５と複数の信号処理回路１０２間のデータ転送である。
【００１４】
１１４はアービタ１０３からメモリアクセス許可が与えられた信号処理回路とメインメモリ間でデータ転送ができるようにメモリ制御回路１０４で切り換える、メモリアクセス切り換え信号である。１１５はメモリ制御回路１０４からメインメモリ１０５に与えるメモリアドレスであり、１１６はメモリ制御回路１０４とメインメモリ１０５間のデータ転送であり、１１７はメモリ制御回路１１７からメインメモリ１０５に与えるコマンドである。
【００１５】
アービタ１０３は複数の信号処理回路１０２からのメモリアクセス要求信号に応じて信号処理回路にアクセス許可信号を出力し、アクセス許可を受けた信号処理回路がメモリ制御回路を介してメインメモリにアクセスする構成になっている。
【００１６】
図２に図１中のアービタ１０３の構成を示す。
【００１７】
アービタ１０３では、優先順位判定回路２０１において、あらかじめ定められた優先順位に従って複数の信号処理回路１０２の中で、最も優先度の高いメモリアクセス要求信号に対してアクセス許可信号を出し、アクセス許可信号によって選択された信号処理回路はメモリ制御回路を介してメモリアクセスを行う。
【００１８】
このように、メモリアクセス要求をアービタ１０３によって統合して制御することにより、１つのメインメモリに対して複数のメモリ制御手段をもつことなく簡単にメインメモリを制御でき、複数の信号処理回路から同時にメモリアクセス、要求が発生した場合でも、優先度の高い信号処理を優先して処理することができる。
【００１９】
アクセス許可信号によって選択された信号処理回路が行うメモリアクセスは、予め決められた一定期間であり、アービタ１０３は一定期間事に、その時点で最も優先順位が高い要求信号に応じてアクセス許可信号を出力する。
【００２０】
このように、一定時間の短いタイムサイクルでメモリアクセスを切り換えることで、１つの信号処理で長い時間メインメモリとアクセスすることがないため、優先順位の低い信号処理のメモリアクセスが長く待たされることがなく、複数の信号処理を破綻することなく処理することができる。
【００２１】
図３にメモリ制御回路１０４の構成を示す。
【００２２】
図３において、３０１はメモリアドレス切換え処理回路であり、アービタによってアクセス許可が与えられた信号処理回路からのメモリアドレスをメインメモリに与えるように切り換える構成になっている。３０２はメモリデータ切換え処理回路であり、アービタによってアクセス許可が与えられた信号処理回路とメインメモリ間でデータやりとりの処理を行う回路である。３０３はメモリコマンド生成回路であり、アービタによってアクセス許可が与えられた信号処理回路が、書き込み処理を行うか、読み出し処理を行うかに応じて切り換えを行う回路である。メモリ制御回路１０４では、アービタ１０３から出力されたメモリアクセス切り換え信号によって、メモリアクセスが許可された信号処理回路がメインメモリとアクセスできるように切り換える構成になっている。
【００２３】
図４に複数の信号処理回路１０２中の各信号処理回路の構成を示す。図４において、４０１は信号処理部、４０２はバッファメモリ、４０３はバッファメモリ制御回路、４０４はメモリアドレス発生回路である。
【００２４】
図４において、複数の信号処理回路１０２中の各信号処理回路がメモリ制御回路１０４を中継して、メインメモリに書き込む処理を行う際には、信号処理部４０１での信号処理後のデータを一旦バッファメモリ４０２に蓄え、バッファメモリ４０２上のデータが一定量を上回った場合にバッファメモリ制御回路４０３はアービタ１０３にアクセス要求信号を出力する。アービタによってアクセス要求が受け付けられ、メモリアクセスが許可されると、バッファメモリからのデータ読み出しとメインメモリへデータを書き込むためのメモリアドレスを出力する。
【００２５】
このように、バッファメモリ上の未処理のデータが一定量を下回った場合、またはバッファメモリ上の処理済みのデータが一定量を上回った場合にメモリアクセス要求信号を出力してアクセス権を獲得し、その上で信号処理回路が必要とするデータのメインメモリからの取り込み、またはバッファメモリ上の処理済のデータのメインメモリへの吐き出しを行うことにより、バッファメモリ上に信号処理回路が必要とするデータがあり、かつ信号処理済みのデータを蓄える余裕がある状態が自動的に維持されるので、メモリアクセスしていない期間も継続的に信号処理する事が可能になる。
【００２６】
また図４において、複数の信号処理回路１０２中の各信号処理回路がメモリ制御回路１０４を中継して、メインメモリからデータを読み出す処理を行う際には、メインメモリから読み出したデータを一旦バッファメモリ４０２に蓄え、バッファメモリ４０２上のデータが一定量を下回った場合にバッファメモリ制御回路４０３はアービタ１０３にアクセス要求信号を出力する。アービタによってアクセス要求が受け付けられ、メモリアクセスが許可されると、バッファメモリへのデータ書き込みとメインメモリからデータを読み出すためのメモリアドレスを出力する。
【００２７】
複数の信号処理回路から同時にメモリアクセス要求があった場合の優先順位の決め方は、一定時間内に終了させる必要がある信号処理に関するものには上位の順位を与え、メモリアクセスの遅延が許される信号処理に対しては、下位の順位を与える。
【００２８】
このように、メモリアクセスを一定時間内に終了させる必要がある信号処理回路が破綻をきたさない様に処理でき、優先順位が高いメモリアクセスがアクセスしない空き時間に、優先順位が低いメモリアクセスが受け付けられるため、メモリアクセスの空き時間を無くし、効率のよい複数の信号処理を並列に行うことができる。
【００２９】
信号処理回路１０２が持つバッファメモリ４０２が十分に大きければ、メモリアクセスが間欠的であっても信号処理が停止することは無いが、必要以上のバッファメモリを持つことは信号処理回路のコストを引き上げることになるので、容量の最適化が必要である。
【００３０】
よって、同時に発生するメモリアクセス要求のうち２つ以上が一定時間内に終了させる必要がある信号処理に関するものであったり、メモリアクセスの遅延が許される信号処理に関するメモリアクセスの場合には、単位時間内にアクセスするデータ量がより多い信号処理回路に対しては上位の順位を与え、単位時間内にアクセスするデータ量がより少ない信号処理に対しては、下位の順位を与える。
【００３１】
このように、同期間のメモリアクセス待ち時間において、単位時間内にアクセスするデータ量がより多い信号処理回路の方が多くのバッファ容量を必要とするため、単位時間内にアクセスするデータ量がより多い信号処理回路に対しては上位の順位を与えることで、バッファメモリの容量を抑えることができる。
【００３２】
また、複数の信号処理回路１０２からのメモリアクセス要求が同時に発生し、最も高い優先順位の信号処理回路がメモリアクセスしてから、順々に優先順位の高いものからメモリアクセスし、最も優先順位が低い信号処理回路がメモリアクセスするまでに各信号処理回路が１回ずつメモリアクセスするような場合には、メモリアクセス要求を出してからメモリアクセス許可が与えられるまでの時間の最大値、即ち最大待ち時間は信号処理回路に与えられた順位に比例する。全期間を通して信号処理回路を動作させ続ける為には、最大待ち時間の間に信号処理回路が処理するデータをバッファメモリが蓄える必要があるので、結局、バッファメモリとしては信号処理回路のデータ処理の速度と、信号処理回路に与えられた順位の積に比例した容量を備える必要がある。
【００３３】
このように、信号処理回路が持つバッファメモリの容量を必要最小限に抑えることができる。
【００３４】
実際に複数のメモリアクセス要求が発生した場合の制御方法について、図５を用いて信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３から同時にメモリアクセス要求が発生した場合について説明する。信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３から発生するメモリアクセス要求をそれぞれ要求A、要求B、要求Cとする。ここで、１回のメモリアクセス許可信号によって選択された信号処理回路が行うメモリアクセス時間をTとし、信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３の単位時間当たりのデータ処理量をそれぞれ、K、L、Mとし、メインメモリの処理速度をNとする。
【００３５】
ここで、上記３つの信号処理を破綻なく行うための条件として、K＋L＋M＜Nを満足するメインメモリの処理速度が必要である。説明を簡単にするため、信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３はそれぞれメインメモリに書き込み処理を行うものとし、それぞれのバッファメモリに、T期間にメインメモリが処理するデータ量つまり、N×Tがバッファメモリ上に蓄積されたらアービタに対して、メモリアクセス要求を出す。ここで、信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３の信号処理回路からのメモリアクセス要求をそれぞれ要求A、要求B、要求Cとし、優先順位が要求A、要求B、要求Cの順番で与えられているとする。
【００３６】
この様な条件において、メモリアクセス要求と、メモリアクセス許可と、メインメモリとのデータアクセスの関係について、図５に示す。図５において優先順位の判定はt=０時に最初の優先順位判定が行われ、以降T期間毎に優先順位の判定を行う。また図５中のt=t０において、信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３上のバッファメモリにおいてN×Tのデータ量が蓄積されたため、同時にメモリアクセス要求を出すものとする。図５では、説明を簡単にするためにK=４、L=２、M=１、N=８の場合について説明するが、本発明はこれに限られるものではない。
【００３７】
t=T時において、要求A、要求B、要求Cの要求が発生しており、この場合、優先順位が一番高い、要求Aが受け付けられ、要求Aへのアクセス許可信号がHIになり、信号処理回路A１０２１はメインメモリにデータの書き込み処理を行う。要求Aのアクセス許可信号がHIになったら、直後に要求AをLOに落とす。t=T時において、要求Aが受け付けられたため、信号処理回路A１０２１上のバッファメモリ上にN×Tのデータ量が蓄積されるのは、t=t０からN/K×T＝８/４T＝２T経過したt=t１のタイミングにおいて要求Aを出す。
【００３８】
t=２T時において、要求B、要求Cの要求が発生しており、この場合、優先順位が一番高い、要求Bが受け付けられ、要求Bへのアクセス許可信号がHIになり、信号処理回路B１０２２はメインメモリにデータの書き込み処理を行う。要求Aのアクセス許可信号がHIになったら、直後に要求BをLOに落とす。t=２T時において、要求Bが受け付けられたため、信号処理回路B１０２２上のバッファメモリ上にN×Tのデータ量が蓄積されるのは、t=t０からN/L×T＝８/２T＝４T経過したt=t２のタイミングにおいて要求Bを出す。
【００３９】
t=３T時において、要求A、要求Cの要求が発生しており、この場合、優先順位が一番高い、要求Aが受け付けられ、要求Aへのアクセス許可信号がHIになり、信号処理回路A１０２１はメインメモリにデータの書き込み処理を行う。要求Aのアクセス許可信号がHIになったら、直後に要求AをLOに落とす。t=３T時において、要求Aが受け付けられたため、信号処理回路A１０２１上のバッファメモリ上にN×Tのデータ量が蓄積されるのは、t=t０からN/K×T+t１＝８/４T+２T＝４T経過したt=t２のタイミングにおいて要求Aを出す。
【００４０】
t=４T時において、要求Cの要求だけが発生しており、この場合、要求Cが受け付けられ、要求Cへのアクセス許可信号がHIになり、信号処理回路C１０２３はメインメモリにデータの書き込み処理を行う。要求Cのアクセス許可信号がHIになったら、直後に要求CをLOに落とす。t=４T時において、要求Cが受け付けられたため、信号処理回路C１０２３上のバッファメモリ上にN×Tのデータ量が蓄積されるのは、t=t０からN/M×T＝８/１T＝８T経過したt=t４のタイミングにおいて要求Cを出す。
【００４１】
t=５T時において、要求A、要求Bの要求が発生しており、この場合、優先順位が一番高い、要求Aが受け付けられ、要求Aへのアクセス許可信号がHIになり、信号処理回路A１０２１はメインメモリにデータの書き込み処理を行う。要求Aのアクセス許可信号がHIになったら、直後に要求AをLOに落とす。t=５T時において、要求Bが受け付けられたため、信号処理回路A１０２１上のバッファメモリ上にN×Tのデータ量が蓄積されるのは、t=t０からN/K×T+t２＝８/４T+４T＝６T経過したt=t３のタイミングにおいて要求Aを出す。
【００４２】
t=６T時において、要求Bの要求だけが発生しており、この場合、要求Bが受け付けられ、要求Bへのアクセス許可信号がHIになり、信号処理回路B１０２２はメインメモリにデータの書き込み処理を行う。要求Bのアクセス許可信号がHIになったら、直後に要求BをLOに落とす。t=６T時において、要求Bが受け付けられたため、信号処理回路A１０２２上のバッファメモリ上にN×Tのデータ量が蓄積されるのは、t=t０からN/L×T+t２＝８/２T+４T＝８T経過したt=t４のタイミングにおいて要求Bを出す。
【００４３】
t=７T時において、要求Aの要求だけが発生しており、この場合、要求Aが受け付けられ、要求Aへのアクセス許可信号がHIになり、信号処理回路A１０２１はメインメモリにデータの書き込み処理を行う。要求Aのアクセス許可信号がHIになったら、直後に要求AをLOに落とす。t=７T時において、要求Aが受け付けられたため、信号処理回路A１０２１上のバッファメモリ上にN×Tのデータ量が蓄積されるのは、t=t０からN/K×T+t３＝８/４T+６T＝８T経過したt=t４のタイミングにおいて要求Aを出す。
【００４４】
t=８T時において、要求A、要求B、要求Cのいずれの要求も発生していないため、この場合、メインメモリはどの信号処理回路ともデータ転送処理を行わない。
【００４５】
t=t４時において,要求A、要求B、要求Cを同時に出しているため、t=９T時においての優先順位の判定は、t=T時と全く同様であり、以降上記説明の通りのメインメモリとのデータ転送を繰り返す。
【００４６】
以上の様な構成で制御を行うことで、上記３つの回路の信号処理に破綻をきたすことなく、効率のよいメモリ制御により複数の信号処理の並列処理を実現させることができる。
【００４７】
また、上記説明では、信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３について説明したが、本発明はそれに限られるわけではなく、信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３からのメモリアクセス要求に加えて、優先順位が低い複数の信号処理回路からの要求があり、信号処理回路A１０２１と信号処理回路B１０２２と信号処理回路C１０２３の信号処理以外の単位時間当たりのデータ処理量がPであり、K＋L＋M＋P＜Nを満足するならば、それら複数の信号処理も並列に処理することができる。
【００４８】
図６に本実施の形態１のデジタルカメラにおいて、高速連写撮影時の構成を示す。図６中の６０１〜６０８は図１中の複数の信号処理回路１０２に相当するものであり、６０１は撮像回路１０１によりデジタル化された撮像データをメインメモリに書き込み処理を行うCCDデータ処理回路であり、６０２はCCDデータ処理回路６０１で書き込み処理を行ったデータをメインメモリから読み出し、輝度信号と色差信号に分離（以下Y/C分離）するY/C分離処理回路であり、６０３はY/C分離処理回路６０２でY/C分離された信号を画像ファイル生成用に画素数変換した記録用Y/Cデータをメインメモリに書き込み処理を行う記録用Y/C生成処理回路であり、６０４はY/C分離処理回路６０２でY/C分離された信号を液晶表示用に画素数変換した表示用Y/Cデータを、メインメモリに書き込み処理を行う表示用Y/C生成処理回路であり、６０５は表示用Y/C生成処理回路６０４で書き込み処理を行った表示用Y/Cデータをメインメモリから読み出し、液晶表示させる表示データ読み出し処理回路６０４であり、６０６は記録用Y/C生成処理回路６０３で書き込み処理を行った記録用Y/Cデータをメインメモリから読み出し、圧縮処理を行う圧縮処理回路であり、６０７は圧縮処理回路６０６で生成された符号データをメインメモリに書き込み処理を行う符号データ処理回路であり、６０８は符号データ処理回路６０７で書き込み処理を行ったデータをメインメモリから読み出し、記録メディアに記録処理を行うメディア記録処理回路である。
【００４９】
以下、高速連写撮影モード時の動作について、図７のタイミング図を用いて説明する。
【００５０】
図７の（１）の期間において、CCDは１コマ目の撮像を行う。CCDから撮像した信号を出力する際の読み出しの方法はフレーム読み出しで行い、まず（２）の期間において、CCD上の奇数ラインに相当する第１フィールド信号が出力され、デジタル信号に変換後、CCDデータ処理回路６０１に入力され、そのデータをメインメモリへの書き込み処理を行う。この期間において、各信号処理回路６０１〜６０８から出力されるメモリアクセス要求はCCDデータ処理回路６０１からのみであり、メインメモリを独占して書き込み処理を行う。
【００５１】
ここで（１）の期間においてCCDデータ処理回路６０１における単位時間当たりの信号処理速度がaであるとし、メインメモリの単位時間当たりの信号処理速度をNとすると、a<Nであれば、（１）の期間における処理に破綻をきたすことはない。
【００５２】
図７の（２）の期間においては、CCD上の偶数ラインに相当する第２フィールド信号が出力され、デジタル信号に変換後、CCDデータ処理回路６０１に入力され、Y/C分離処理回路６０２においてメインメモリから読み出され第１フィールド信号と、CCDデータ処理回路６０１から出力される第２フィールド信号を用いてY/C分離処理を行う。また、それと並行して、前記説明した、記録Y/C生成処理回路６０３と表示用Y/C生成処理回路６０４と圧縮処理回路６０６と符号データ処理回路６０７と符号データ処理回路６０８における処理を並行して行う。
【００５３】
（２）の期間において、各信号処理回路から同時に発生するメインメモリへのメモリアクセス要求に対し優先順位を決め、優先順位の最も高い信号処理にメモリアクセス許可を出す。Y/C分離処理回路６０２と記録Y/C生成処理回路６０３と表示用Y/C生成処理回路６０４の各信号処理はCCDの垂直同期信号に合わせて（２）の期間内に終了させる必要があるため優先順位を高く設定し、圧縮処理回路６０６と符号データ処理回路６０７とメディア記録処理回路６０８の各信号処理は、メモリアクセスの遅延が許されるので優先順位を低く設定する。
【００５４】
ここで（２）の期間においてY/C分離処理回路６０２と、記録Y/C生成処理回路６０３と、表示用Y/C生成処理回路６０４と圧縮処理回路６０６と符号データ処理回路６０７とメディア記録処理回路６０８の各信号処理における単位時間当たりの信号処理速度をそれぞれ、b,c,d,e,f,gであるとし、メインメモリの単位時間当たりの信号処理速度をNとすると、b＋c＋d＋e+f+g<Nであれば、（２）の期間における処理に破綻をきたすことはない。
【００５５】
図７の（３）の期間においては、CCDは２コマ目の露光を開始し、２コマ目の露光と並行して表示データ読み出し処理回路６０５によって表示用Y/Cデータをメインメモリから読み出し液晶表示させる処理と、（２）の期間から引き続き圧縮処理回路６０６と符号データ処理回路６０７とメディア記録処理回路６０８による処理を行う。
【００５６】
ここで（３）の期間において表示データ読み出し処理回路６０５における単位時間当たりの信号処理速度をそれぞれ、hであるとし、メインメモリの単位時間当たりの信号処理速度をNとすると、e+f+g+h<Nであれば、（３）の期間における処理に破綻をきたすことはない。
【００５７】
次に２コマ目の露光が終了後、CCDから２コマ目の映像信号がフレーム読み出しで、まずCCD上の奇数ラインに相当するフィールド信号が撮像回路からCCDデータ処理回路６０１に入力され、そのデータをメインメモリへ書き込み処理を行う。並行して（３）から引き続き表示データ読み出し処理回路６０５と圧縮処理回路６０６と符号データ処理回路６０７とメディア記録処理回路６０８による処理を行う。
【００５８】
（４）の期間において、a+e+f+g+h<Nであれば（４）の期間における処理に破綻をきたすことはない。
【００５９】
（５）の期間においては、（２）の期間と同様にCCD上の偶数ラインに相当する第２フィールド信号が出力され、２コマ目のY/C分離処理６０２と記録Y/C生成処理回路６０３と表示用Y/C生成処理回路６０４と圧縮処理回路６０６と符号データ処理回路６０７と（４）から引き続き、１コマ目の表示用Y/C読み出し処理と、メディア記録処理を行う。
【００６０】
（５）の期間において、b+c+d+e+f+g+h<Nであれば、（５）の期間における処理に破綻をきたすことはない。
【００６１】
（５）の期間終了後、３コマ目の露光動作になるが、３コマ目の露光開始以降は、（２）、（３）、（４）の繰り返しになるため、説明を省略する。
【００６２】
連写時において以上のような処理を行うことで、複数の信号処理を並列に実行し、メインメモリアクセスの空き時間をほとんど無くすことでCCDの駆動速度と同じ速度で、高速連写を実現できる。
【００６３】
以上のような本発明の実施の形態１により、一定時間内に終了させる必要がある、CCDデータ処理、Y/C分離処理、記録用Y/C生成処理、表示用Y/C生成処理、表示用Y/C読み出し処理には信号処理には上位の優先順位を与え、上位の優先順位の信号処理回路がアクセスしない期間に、圧縮処理、符号データ処理、記録メディア記録処理遅延が許される信号処理を行うことで、複数の信号処理の並列処理を実現させ、信号処理時間の向上により、撮影間隔の短縮、高速連写機能、撮影データの液晶モニターへの表示速度などを向上させたデジタルカメラを構築できる。
【００６４】
（実施の形態２）
本実施の形態２は、効率のよいメモリ制御により、複数の信号処理の並列処理を実現させ、信号処理時間の向上により、撮影間隔の短縮、高速連写機能、撮影データの液晶モニターへの表示速度などを向上するとともに、操作に対する応答速度を向上させたデジタルカメラを実現するものである。
【００６５】
以下、本発明の実施の形態２を図８に基づいて説明する。
【００６６】
図８は、本発明の実施の形態２に係るデジタルカメラの構成図である。図８において１０１は撮像素子の出力をデジタル化する撮像回路であり、１０２はメインメモリにデータを書き込むもしくは、読み出す必要がある複数の信号処理回路である。
【００６７】
１０３は１０２の信号処理回路からのメモリアクセス要求を調停するアービタであり、１０４は１０２の信号処理回路からのメモリアクセスを中継するメモリ制御回路であり、１０５はメインメモリであり１０６は撮像データに対する信号処理後最終的に生成された画像ファイルを保存する、記録メディアである。
【００６８】
１１０は複数の信号処理回路１０２からのメモリアクセス要求信号であり、１１１はアービタ１０３からのメモリアクセス許可信号である。１１２は複数の信号処理回路１０２の各信号処理回路から出力されるメインメモリへのメモリアドレスであり、１１３はメモリ制御回路を中継して、メインメモリ１０５と複数の信号処理回路１０２間のデータ転送である。１１４はアービタ１０３からメモリアクセス許可が与えられた信号処理回路とメインメモリ間でデータ転送ができるようにメモリ制御回路１０４で切り換える、メモリアクセス切り換え信号である。
【００６９】
１１５はメモリ制御回路１０４からメインメモリ１０５に与えるメモリアドレスであり、１１６はメモリ制御回路１０４とメインメモリ１０５間のデータ転送であり、１１７はメモリ制御回路１１７からメインメモリ１０５に与えるコマンドである。
【００７０】
１１８はマイコンであり、ユーザーの操作を受け付けて信号処理回路A,B,C〜ｎを操作するとともに、メインメモリ上の表示データを操作して、液晶表示にユーザーの操作に対応した応答画面を表示する。アービタ１１９は複数の信号処理回路１０２およびマイコンからのメモリアクセス要求信号に応じて信号処理回路にアクセス許可信号を出力し、アクセス許可を受けた信号処理回路がメモリ制御回路を介してメインメモリにアクセスする構成になっている。
【００７１】
図９に図８中のアービタ１１９の構成を示す。アービタは優先順位判定回路とカウンタからなる。優先順位判定回路はあらかじめ定められた優先順位に従って複数の信号処理回路１０２とマイコンの中で、最も優先度の高いメモリアクセス要求信号に対してアクセス許可信号を出し、カウンタが０を示すまでアクセス許可信号を保持する。カウンタは、カウンタが０の時に優先順位判定回路がアクセス許可信号を出したならば、アクセス許可信号毎に予め定められた値をロードし、以後、０に達するまで１クロック毎にカウントダウンする。優先順位判定回路はカウンタが０に達した時点で最も優先度の高いメモリアクセス要求信号に対して新たなアクセス許可信号を出す。本構成によれば、カウンタがロードする値を大きくすれば長い時間アクセス許可が与えられ、カウンタがロードする値を小さくすれば短い時間だけアクセス許可が与えられる。
【００７２】
図８において複数の信号処理回路を並列に動作させる為には、一回のアクセス許可信号の長さを長くして、メモリにメモリアドレスを与えたりデータバスの転送方向を切り替えたりする頻度を抑え、これらに要する時間の割合がデータ転送に要する時間と比較して、より小さくなる方が望ましい。一方、マイコンは短い時間を単位としてメインメモリにアクセスするので、長い時間アクセス許可が与えられても無駄なだけであり、他のメモリアクセスを要する信号処理回路の動作余裕を圧迫する事になりかねない。
【００７３】
しかし、長い時間の連続アクセスを必要とする信号処理回路に対しては図９においてカウンタがロードする値を大きく設定することによりアクセス許可信号の継続時間を長くし、短時間のアクセスしか必要としないマイコンに対してはカウンタがロードする値を小さく設定することによりアクセス許可信号の継続時間を短くすることで、アクセス許可の割り当てを最適化することが出来る。
【００７４】
また、アクセス許可時間の長さを最適化する技術を開示する。先述のようにメモリにメモリアドレスを与えたりデータバスの転送方向を切り替えたりする頻度を抑えることで、これらに要する時間の比率を小さくし、マイコンおよび信号処理回路がデータ転送を行う時間の比率を高めることができるが、データ転送を一定時間連続して行う為には、信号処理回路がデータ転送を行う時間に比例したバッファメモリを持たねばならないので、一回のアクセス許可時間を無闇に長くすることはコストアップを招くことになる。そこで、本発明の請求項９によれば、一定の時間を定めて各信号処理回路がアクセスするデータ量を求め、各信号処理回路には前記データ量に比例した容量のバッファメモリを持たせ、アービタは前記データ量に比例した時間のアクセス許可信号を出すようカウンタを設定する。この場合、アービタは一定時間内に各信号処理回路に一回ずつアクセス許可を与えればよいのでアクセス許可信号の切り替え回数は最小であり、アクセス許可時間は各信号処理回路のバッファ容量に合わせて最大であるので、限られたバッファメモリ容量の制限の中でアクセス許可信号の切り替えに伴うロスタイムを最小限に抑えることができる。このように、アクセス許可時間の長さを最適化することができる。
【００７５】
以上のような本発明の実施の形態２により、マイコンに割り当てるアクセス許可信号の時間を短く設定すれば、マイコンの優先順位を高くしても他の信号処理回路のアクセスが待たされる時間は少ししか増えないので、マイコンからメインメモリへのアクセスを優先して許可することによりアクセスタイムを短縮することができる。その結果、ユーザーの操作に対する応答が、より短時間でメインメモリ上の表示データに反映されることになり、ユーザーの使用感は、より良好になる。
【００７６】
（実施の形態３）
本実施の形態３は、効率のよいメモリ制御により、複数の信号処理の並列処理を実現させ、信号処理時間の向上により、撮影間隔の短縮、高速連写機能、撮影データの液晶モニターへの表示速度などを向上させたデジタルカメラを実現するものである。
【００７７】
以下、本発明の実施の形態３を図に基づいて説明する。図１０は、本発明の実施の形態３に係るデジタルカメラの構成図である。
【００７８】
図１０において、１０１は撮像素子の出力をデジタル化する撮像回路であり、１０２はメインメモリにデータを書き込むもしくは、読み出す必要がある複数の信号処理回路である。１０３は１０２の信号処理回路からのメモリアクセス要求を調停するアービタであり、１０４は１０２の信号処理回路からのメモリアクセスを中継するメモリ制御回路であり、１０５はメインメモリであり、１０６は撮像データに対する信号処理後最終的に生成された画像ファイルを保存する、記録メディアである。
【００７９】
１２１は信号処理回路１０２からの第一のメモリアクセス要求信号であり、１２１は信号処理回路１０２からの第二のメモリアクセス要求信号、１１１はアービタ１０３からのメモリアクセス許可信号である。１１２は複数の信号処理回路１０２の各信号処理回路から出力されるメインメモリへのメモリアドレスであり、１１３はメモリ制御回路を中継して、メインメモリ１０５と複数の信号処理回路１０２間のデータ転送である。１１４はアービタ１０３からメモリアクセス許可が与えられた信号処理回路とメインメモリ間でデータ転送ができるようにメモリ制御回路１０４で切り換える、メモリアクセス切り換え信号である。
【００８０】
１１５はメモリ制御回路１０４からメインメモリ１０５に与えるメモリアドレスであり、１１６はメモリ制御回路１０４とメインメモリ１０５間のデータ転送であり、１１７はメモリ制御回路１１７からメインメモリ１０５に与えるコマンドである。１０２４は２つのメモリアクセス要求をもつ信号処理回路Dである。
【００８１】
ここで信号処理回路１０２中のある信号処理回路D１０２４が間欠的に多量のデータを出力するものであり、信号処理回路D１０２４が唯一つのメモリアクセス要求信号しか持たないと仮定すると、信号処理回路D１０２４に高い優先順位を与えれば、信号処理回路D１０２４はバッファメモリが空になるまでメモリアクセス要求信号を出し続けることになり、その間は優先順位が下位の信号処理回路はメモリアクセスが出来なくなってしまう恐れが有り、逆に、信号処理回路D１０２４に他の信号処理回路より低い優先順位を与えれば、メモリアクセス許可信号を多量のデータの転送に必要なだけの時間、確保できる保証が無くなって、信号処理回路からメインメモリに未転送のデータがバッファメモリの容量以上になったり（データオーバーフロー）、メインメモリから信号処理回路へ転送した信号処理未処理のデータがバッファメモリ上に存在しない状態（データアンダーフロー）になる恐れがある。
【００８２】
このようなジレンマを解消する為の技術を開示する。信号処理回路において、メモリアクセス要求信号を出力する回路は二つの閾値と二つのメモリアクセス要求出力を持ち、バッファメモリに第一の閾値を上回わるデータがある間は第一のメモリアクセス要求信号を出し、前記アービタ１０３においては、第一のメモリアクセス要求信号１１０１に対しては下位の順位を与えて、他のアクセス要求が無い場合に限ってメモリアクセス許可信号を与えるので、他の信号処理回路のメモリアクセスを妨げることがなく、信号処理回路がデータの出力を始めてデータ量が第二の閾値を上回った時には第二のメモリアクセス要求信号１１０１を出し、前記アービタ１０３においては第二のメモリアクセス要求信号に対しては他の信号処理回路に優先してメモリアクセス許可を与えるので、短時間でバッファメモリ上のデータ量を第二の閾値以下に減らしてデータオーバーフローを回避することができる。第二のメモリアクセス要求信号が出ている期間は、他のアクセス要求が受け付けられないが、信号処理回路D１０２４が連続してメモリアクセス権を取るためにバッファメモリのデータ量は急速に消費され、第二のメモリアクセス要求信号が出ている期間は短時間に抑えられるので、実用上問題ない。
【００８３】
以上のような本発明の実施の形態３により、異なる優先順位を持つ二つのメモリアクセス要求信号を使い分けることにより、低い優先度のアクセス要求信号によって他の信号処理回路がメモリアクセスしない期間を有効に利用してデータ転送を行い、高い優先度のアクセス要求信号によってデータオーバーフローまたはデータアンダーフローの回避を保証することが可能であり、これにより効率がよく信頼性が高いメモリシステムを構築できる。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施の形態１のデジタルカメラの構成を示すブロック図
【図２】同実施の形態１のアービタ回路の構成を示すブロック図
【図３】同実施の形態１のメモリ制御回路の構成を示すブロック図
【図４】同実施の形態１の信号処理回路の構成を示すブロック図
【図５】同実施の形態１のメインメモリとのデータアクセスのタイミングを示すタイミング図
【図６】同実施の形態１の連写撮影機能を搭載したデジタルカメラの構成を示すブロック図
【図７】同実施の形態１の連写撮影モード時のタイミングを示すタイミング図
【図８】本発明の実施の形態２のデジタルカメラの構成を示すブロック図
【図９】本発明の実施の形態２のアービタ回路の構成を示すブロック図
【図１０】本発明の実施の形態３のデジタルカメラの構成を示すブロック図
【図１】
2008186479.tif 000003
【図２】
2008186479.tif 000004
【図３】
2008186479.tif 000005
【図４】
2008186479.tif 000006
【図５】
2008186479.tif 000007
【図６】
2008186479.tif 000008
【図７】
2008186479.tif 000009
【図８】
2008186479.tif 000010
【図９】
2008186479.tif 000011
【図１０】
2008186479.tif 000012