(57)【要約】【課題】    動画像、静止画像の両撮影記録を十分な性能としつつ、少ない実装面積、省電力で実現し得る技術を提供しようとするものである。【解決手段】  撮像部９０を有し、撮像部９０によって得られた画像を動画像若しくは静止画像として記憶媒体に記憶する撮像装置であって、動画像として圧縮符号化する構成と、静止画像として圧縮符号化する構成のいずれかに再構成可能なプロセッサ２と、動画像、又は静止画像の撮影記録動作を指示する操作パネル１１０と、操作パネル１１０の指示に応じて、前記プロセッサを再構成するコントローラ１００とを備えることを特徴とする。【選択図】  図１
2005176217.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を有し、当該撮像手段によって得られた画像を動画像若しくは静止画像として記憶媒体に記憶する撮像装置であって、
動画像として圧縮符号化する構成と、静止画像として圧縮符号化する構成のいずれかに再構成可能なプロセッサと、
動画像、又は静止画像の撮影記録動作を指示する指示手段と、
該指示手段の指示に応じて、前記プロセッサを再構成する再構成手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記再構成手段が参照する前記プロセッサの再構成に係る情報を記憶する書き換え可能な記憶手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記プロセッサは、プログラム可能ゲートアレイであることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記プロセッサは、直交変換処理手段、量子化処理手段、逆直交変換処理手段、逆量子化処理手段を備え、前記再構成手段は前記処理手段の接続関係を変更することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記プロセッサは、更に動き検出処理手段、動き補償処理手段を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
動画像として圧縮符号化する構成と、静止画像として圧縮符号化する構成のいずれかに再構成可能なプロセッサと、撮像手段とを備え、撮像手段によって得られた画像を前記プロセッサで圧縮符号化し所定の記憶媒体に記憶する撮像装置の制御方法であって、
動画像、又は静止画像の撮影記録動作のいずれの指示があったかを判定する判定工程と、
該判定工程の判定結果に応じて、前記プロセッサを再構成する再構成手段と
を備えることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画・動画像を撮像する技術に関するものである。
【背景技術】
【０００２】
現在のデジタル・スチル・カメラは静止画は勿論のこと、動画像を撮影・記録することが可能になってきている。一方、デジタル・ムービー・カメラは動画像を撮像・記録するものであるが、静止画像について撮像・記録するものもある。
【０００３】
しかしながら、デジタル・スチル・カメラの動画像撮影・記録機能は、デジタル・スチル・カメラの主機能である静止画像の撮影・記録機能と比較して劣るのが現実である。これは、デジタル・ムービー・カメラでも同様で、デジタル・ムービー・カメラの静止画像撮影・記録機能は、動画像の撮影・記録機能と比較して性能が劣る。
【０００４】
従来の静止画像と動画像の撮影・記録機能を併せもつデジタル・スチル・カメラやデジタル・ムービー・カメラは、図４に示すように、静止画像と動画像の圧縮・符号化処理機構を、それぞれ別々にもっていた。これは、静止画像と動画像の圧縮・符号化処理の各工程が似ているようで、詳細が異なるため共用できないためである。しかし、LSIの面積や個数、消費電力の制約から、全て機能を実装した静止画像処理部と動画像処理部の両方を実装することは不可能である。よって、主機能の実装を優先し、副機能の実装は簡易的なものになりやすい。以下主機能とは、デジタル・スチル・カメラの静止画像撮影・記録機能あるいはデジタル・ムービー・カメラの動画像撮影・記録機能を指す。また、副機能は、デジタル・スチル・カメラの動画像撮影・記録機能あるいはデジタル・ムービー・カメラの静止画像撮影・記録機能を指すものとする。
【０００５】
デジタル・スチル・カメラでもデジタル・ムービー・カメラでも、画像の圧縮・符号化処理が必須である。そして、画像の圧縮・符号化処理の性能が画質を決定している。ところが上記の理由に依り、デジタル・スチル・カメラでは静止画像の圧縮・符号化処理を優先し、動画像の圧縮・符号化処理を御座なりにしている。デジタル・ムービー・カメラでは反対に、動画像の圧縮・符号化処理を優先し、静止画像の圧縮・符号化処理を御座なりにしている（例えば、特許文献１参照）。
【特許文献１】特開平７−２８４００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来のデジタル・スチル・カメラとデジタル・ムービー・カメラには、静止画像と動画像の圧縮・符号化処理機構を、それぞれ別々に持つ必要があり、ＬＳＩの実装面積は大きくなり、消費電力も大きいという問題がある。また、主機能のみの性能を優先する場合には実装面積、消費電力は共にすくなくできるものの、満足のいく副機能を提供できないという問題がある。
【０００７】
本発明はかかる問題点に鑑みなされたものであり、動画像、静止画像の両撮影記録を十分な性能としつつ、少ない実装面積、省電力で実現し得る技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
この課題を解決するため、本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段を有し、当該撮像手段によって得られた画像を動画像若しくは静止画像として記憶媒体に記憶する撮像装置であって、
動画像として圧縮符号化する構成と、静止画像として圧縮符号化する構成のいずれかに再構成可能なプロセッサと、
動画像、又は静止画像の撮影記録動作を指示する指示手段と、
該指示手段の指示に応じて、前記プロセッサを再構成する再構成手段とを備える。
【発明の効果】
【０００９】
本発明よれば、動画像、静止画像の両撮影記録を十分な性能としつつ、少ない実装面積、省電力で実現することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１１】
静止画像や動画像の圧縮・符号化手法にはさまざまな手法が存在する。本実施形態でも特定の圧縮・符号化手法に限ったものではないが、説明を簡単なものとするため、静止画像の圧縮・符号化手法としてＪＰＥＧを用い、動画像の圧縮・符号化手法としてＭＰＥＧを用いて説明する。
【００１２】
図１は実施形態における撮像装置における圧縮符号化する主要構成図である。
【００１３】
図示において、９０は撮像部、１００は装置全体の制御を司るコントローラであって、１１０は各種ボタンやスイッチ等で構成される操作パネルである。操作パネル１１０には、動画の撮影・記録を指示するボタン、静止画の撮影・記録を指示するボタンが設けられている。また、静止画撮影・記録ボタンは、押下する毎にオン、オフを切り換えるものであって、オン状態にしたときに動画像を記録を行い、再度押下することで動画像の記録を停止する。静止画撮影・記録ボタンは通常のデジタルスチルカメラと同様、一度の押下で静止画撮影記録を行うものである。なお、静止画撮影・記録ボタンは、動画像の撮影・記録中にも操作可能となっている。また、動画像及び静止画は、記録媒体（磁気テープやメモリカード等）に圧縮され保存されることになる。
【００１４】
また、図１における画像圧縮・符号化装置１は、再構成可能プロセッサ（reconfigurable processor）２、動きベクトル検出部２１、静止画像・動画像切り替えスイッチ２２、可変長符号化部２３、動き補償部２４を含む。そして、画像圧縮・符号化装置１の外部に二種類のメモリを持つ。外部メモリのひとつはフレームメモリ（frame memory）２５であり、ＲＡＭで構成される。また、もうひとつが再構成する際の指標となるデータを記憶している再構成情報格納メモリ（configurable memory）２６であり、書き換え可能で不揮発性のメモリである。再構成情報格納メモリが書き換え可能としたのは、将来の新たなアルゴリズムに対処するためである。なお、再構成情報格納メモリ（カード等）が脱着可能であれば、そのメモリを交換することで実現できるから、この限りではない。
【００１５】
動きベクトル検出部２１と動き補償部２４は、動画像の圧縮・符号化に使用する。本実施形態では動画像の圧縮・符号化手法としてＭＰＥＧを用いている。ＭＰＥＧは連続するピクチャ間に存在する相関を利用し、動き補償と呼ばれる技術によって符号化情報量を低減することをもっとも大きな特徴としている。動きベクトル検出部２１は、時間軸方向に動画像信号を標本化し、ある時間間隔ごとの連続した複数の静止画像間から、それらの画像中の画素の集合の動きに注目して、動きベクトルを検出する。動き補償部２４で、この動きベクトルを使用し後に続くフレームは前のフレームの画像を再利用する。このとき新たに圧縮・符号化すべき画像は、フレーム間の差分画像より小さい。そのため、より圧縮率の高いＭＰＥＧ符号を得ることが可能となる。
【００１６】
動きベクトル検出のアルゴリズムと動き補償のアルゴリズムは、動画像圧縮・符号化において重要な要素技術である。そのため、多くの従来例が発表されている。本実施形態では、特定の動きベクトル検出アルゴリズムや動き補償アルゴリズムに依存していない。よって、任意の動きベクトル検出アルゴリズムや動き補償アルゴリズムを使用することが可能である。
【００１７】
静止画像・動画像切り替えスイッチ２２は、現在の撮像状況に応じて、撮像素子（不図示のＣＣＤ）からの映像データの入力を切り替える。静止画撮影・記録指示があると、このスイッチ２２は、動きベクトル検出部２１を経由せず、入力画像を構成可能プロセッサ２へ入力する。また、動画像撮影記録である場合には、動きベクトル検出部２１の出力を構成可能プロセッサ２へ出力する。なお、動画像撮影記録中に、静止画の記録指示が入力された場合、マクロブロック単位で切り換え可能である。
【００１８】
尚、前記マクロブロックは、ＭＰＥＧ及びＪＰＥＧで使用する離散コサイン変換（ＤＣＴ）の処理単位でする。８×８画素のブロックを少なくとも１つ以上集めたものである。静止画像・動画像切り替えは、マクロブロック単位で行うが、離散コサイン変換（ＤＣＴ）、量子化、エントロピー符号化は８×８画素のブロック単位で処理している。
【００１９】
再構成可能プロセッサ２で画像を量子化する。内部構成は、ＭＰＥＧ符号化時とＪＰＥＧ符号化時で異なる。動画像撮影記録中に静止画撮影記録を可能にするためには、この再構成可能プロセッサ２は極めて短時間で内部構成を書き換えることができなくてはならない。なぜならば、マクロブロック単位で静止画像と動画像を切り替える必要があるためである。
【００２０】
再構成可能プロセッサ２は、内部の機能をプログラムで書き換え可能なデバイスである。変更可能なデバイスの例としてＦＰＧＡがある。しかし、ＦＰＧＡ（フィールド・プログラム可能ゲートアレイ）は書き換えにかかる時間が１分近くかかる。従って、マクロブロック単位で機能を切り替えるようにするためには、切り換えに要する時間が長すぎる。ところが近年、きわめて短時間に内部構成を書き換え可能なデバイスが発表されている。例えば特開平８−３３０９４５号公報記載の「プログラム可能ゲート・アレイの動的再構成システム」がある。
【００２１】
本実施形態における再構成可能プロセッサ構成は、マクロブロックの入力間隔以内で内部機能が切り替え可能ならば、どのような再構成可能プロセッサを使用してもよい。例えば上記公報記載のプロセッサでも構成することも可能である。また、今後より高性能な再構成可能プロセッサが発表されたならば、それを使用することも可能である。
【００２２】
可変長符号化部２３は量子化後の画像を可変長の符号を用いて符号化する。この可変長符号化部２３の機能は、ＭＰＥＧでもＪＰＥＧでも同じである。そのため、動画像圧縮・符号化でも、静止画像圧縮・符号化でも同じ符号化部２３を使用する。可変長符号化処理２３を再構成可能プロセッサ２内に実装するのは難しい。なぜならば、可変長符号化の処理時間は一定ではなく、量子化の処理時間は一定である。そのため、もし再構成可能プロセッサ２内に可変長符号化部２３を実装したとすると、問題が生じる。符号化に長い時間がかかる場合、量子化は終了して次のマクロブロックが入力可能であるのにもかかわらず、前のマクロブロックが符号化中であると、再構成可能プロセッサ２は書き換えできない。これは非効率であるため、可変長符号化処理２３を再構成可能プロセッサ２内に実装するのは難しい。
【００２３】
フレームメモリ２５は動き補償部２４がその処理に必要な前フレームのデータを格納するメモリである。また、再構成情報格納メモリ２６は、再構成可能プロセッサ２の内部状態を記録してある。必要に応じて、再構成情報格納メモリ２６から再構成情報を取り出し、再構成可能プロセッサ２を再構成する。
【００２４】
図１に示す実施形態のＭＰＥＧあるいはＪＰＥＧ符号化器の実施を説明する前に、従来技術によるＭＰＥＧあるいはＪＰＥＧ符号化器を説明する。
【００２５】
図５はＭＰＥＧによる動画像圧縮・符号化器を示す図である。入力した動画像１１２は、動きベクトル検出部（ＭＥ）２１でフレーム間の相関関係から撮影対象の動く方向と動く速度を求め動きベクトルとする。次に動画像１１２を離散コサイン変換部（ＤＣＴ）１１で離散コサイン変換をおこない、次に量子化部（Ｑ）１２で量子化し、最後に可変長符号化部（VLC）２３で、ハフマン符号を用いて符号化する。量子化部１２で量子化した画像は、逆量子化部（Ｑ-1)１４で逆量子化し、その結果を逆離散コサイン変換部（ＩＤＣＴ）１３で画像データに戻す。動き補償部（ＭＣ）２４では、この逆離散コサイン変換した結果を参照画像として原画像との間で動き補償をおこなう。
【００２６】
図６はＪＰＥＧ符号化の処理過程を示す図である。入力した静止画１１１は、離散コサイン変換部（ＤＣＴ）１１で離散コサイン変換をおこない、次に量子化部（Ｑ）１２で量子化し、最後に可変長符号化部（ＶＬＣ）２３で、ハフマン符号を用いて符号化し、出力する。
【００２７】
図５に示すＭＰＥＧ符号化器を、本実施形態に適用した際の構成を図２に示す。図５に示す従来技術によるMPEG符号化器の内部機能部のうち、離散コサイン変換部１１、量子化部１２、逆量子化部１４、および逆離散コサイン変換部１３を再構成可能プロセッサ２で実施する。動きベクトル検出部２１と動き補償部２４は本実施形態では専用機能部として独立して設けている。また、可変長符号化部２３も独立した専用機能部として設けている。
【００２８】
図２において、静止画像・動画像切り替えスイッチ２２は、再構成可能プロセッサ２の入力として、動きベクトル２１の出力を選択している。そのため、動きベクトル検出部２１の出力が再構成可能プロセッサ２に入力される。再構成可能プロセッサ２は、離散コサイン変換をおこない、次に量子化して、出力する。同時に、量子化後の結果を逆量子化し、逆離散コサイン変換して参照画像を生成する。生成した参照画像は、動き補償部２４に入力する。再合成可能プロセッサ２で量子化した結果を、可変長符号化部２３で、ハフマン符号を用いて符号化する。最後に、符号化後の結果１０２を出力する。
【００２９】
次に、図６に示すJPEG符号化器を本実施形態に適用した構成を図３に示す。図６に示す従来技術によるJPEG符号化器の内部機能部のうち、離散コサイン変換部１１と量子化部１２を再構成可能プロセッサ２で実施する。また、可変長符号化部２３も独立した専用機能部として設けている。
【００３０】
図３において、静止画像・動画像切り替えスイッチ２２は、再構成可能プロセッサの入力として、入力画像１０１を動を選択している。そのため、入力画像１０１が直接再構成可能プロセッサ２に入力される。再構成可能プロセッサ２は、離散コサイン変換をおこない、次に量子化して、出力する。再合成可能プロセッサ２で量子化した結果を、可変長符号化部２３で、ハフマン符号を用いて符号化する。最後に、符号化後の結果１０２を出力する。
【００３１】
MPEG符号化あるいはJPEG符号化の機能切り替えは、最短で１マクロブロック単位に可能であるが、内部に適当なバッファを有するのであれば必ずしも１マクロブロック単位で切り替える必要は無い。また、実施形態での切り替えは、コントローラ１００が、操作パネル１１０からの指示に従って行うものとしたが、再符号化可能プロセッサ２が自律しておこなってもよい。
【００３２】
図２及び図３の構成から容易に理解できるように、再構成可能プロセッサ２内には、予め離散コサイン変換部１１、量子化部１２、逆離散コサイン変換部１３、逆量子化部１４等に係る処理部が存在し、これらの接続関係（リダイレクション）を変更することが、再構成可能プロセッサ２の再構成処理に相当することになり、再構成にかかる処理は複雑ではなく、むしろ単純な処理と言って良い。
【００３３】
図９は実施形態におけるコントローラ１００の処理手順を示している。以下、同図に従って、上記実施形態の機能を実現する処理を説明する。なお、実施形態では、動画像撮影・記録が主機能とする撮像装置を例にして説明する。
【００３４】
先ず、ステップＳ１では、動画像撮影・記録ボタンがＯＮ状態になったか否かを判断する。ＯＮ状態になったと判断した場合には、ステップＳ２に進み、再構成情報メモリ２６からの情報を再構成可能プロセッサ２にロードし、再構成処理を行う。そして、ステップＳ３において動画像の記録を開始し、ステップＳ１に戻る。
【００３５】
ステップＳ１において、動画像撮影・記録ボタンがＯＮ状態になっていないと判断した場合には、ステップＳ４に進み、動画像撮影・記録ボタンがＯＦＦ状態になったか否かを判断する。ＯＦＦ状態になったと判断した場合には、ステップＳ５に進み、記録媒体への記録を停止し、ステップＳ１に戻る。
【００３６】
また、ステップＳ１及びＳ４にて、動画像撮影静止画撮影・記録ボタンの押下状態に変化がないと判断した場合、処理はステップＳ６に進み、静止画撮影・記録ボタンが押下されたか否かを判断する。静止画撮影・記録ボタンの押下が無かったと判断した場合には、ステップＳ１に戻る。
【００３７】
静止画撮影・記録ボタンが押下されたと判断した場合には、ステップＳ７で静止画像記録情報を再構成情報メモリ２６より再構成可能プロセッサ２にロードし、再構成し、ステップＳ８にて静止画像の記録処理を行い、ステップＳ１に戻る。なお、静止画像撮影・記録ボタンが押下されたとき、動画像撮影・記録動作中であった場合、ステップＳ８で静止画撮影・記録が完了したとき、再構成可能プロセッサ２には、最終的に、動画像記録情報が再構成情報メモリ２６よりロードされ再構成されるようにする。
【００３８】
なお、上記は、動画像撮影・記録ボタンと、静止画撮影・記録ボタンの操作による例を説明したが、動画像と静止画像とが排他的にしか機能しない装置が存在する。このような場合、それぞれのモードを指示する指示ボタンやスイッチに応じて再構成処理を行えば良い。また、モード指定する装置に適用する場合、動画像撮影中に静止画を撮影することはないので、再構成に要する時間は比較的長くても良いことになる。
【００３９】
＜変形例の説明＞
図７と図８は別の実施形態におけるMPEG符号化器とJPEG符号化器の実現を示している。図７に示すMPEG符号化器は、動きベクトル検出部２１と動き補償部２４も含めて、再構成可能プロセッサ２で実現している。可変長符号化部２３は図２に示す実施形態と同様独立した機能部として設けている。図２に示す実施形態と違い、入力画像１０１はそのまま、再構成可能プロセッサ２に入力する。そして、再構成可能プロセッサ２は、動きベクトルを検出し、離散コサイン変換をおこない、次に量子化して、出力する。同時に、量子化後の結果を逆量子化し、逆離散コサイン変換して参照画像を生成する。生成した参照画像と原画像から動き補償をおこなう。再合成可能プロセッサ２で量子化した結果を、可変長符号化部２３で、ハフマン符号を用いて符号化する。最後に、符号化後の結果１０２を出力する。本実施形態の場合、動きベクトル検出部２１と動き補償部２４も再構成可能プロセッサ２条に実装しているため、変更が可能である。よって、新しい動き補償アルゴリズムが開発されたならば、各機能処理部そのものを変更することで直ぐに対応可能となる。
【００４０】
図８に示すJPEG符号化器は、図３に示す実施形態と違い、入力画像１０１はそのまま、再構成可能プロセッサ２に入力する。そして、再構成可能プロセッサ２は、離散コサイン変換をおこない、次に量子化して、出力する。再合成可能プロセッサ２で量子化した結果を、可変長符号化部２３で、ハフマン符号を用いて符号化する。最後に、符号化後の結果１０２を出力する。
【００４１】
図２および図３に示す実施形態と同様、MPEG符号化あるいはJPEG符号化の機能切り替えは、最短で１マクロブロック単位に可能であるが、必ずしも１マクロブロック単位で切り替える必要は無い。切り替えは外部のコントローラがおこなっても、あるいは再符号化可能プロセッサ２が自律しておこなってもよい。なお、上記外部コントローラは図には記載していない。
【００４２】
以上説明したように本実施形態によれば、再構成可能プロセッサ２を用いて、動画像と静止画像の記録のために再構成することになるので、それぞれの圧縮符号化にかかる独立した回路を設ける必要はなくなり、１つの共通なプロセッサで構成できので、消費電力を少なくし、且つ実装面積が小さくなる分、撮像装置のバッテリー稼働時間を長くし、且つ、小型化が可能となる。
【図面の簡単な説明】
【００４３】
【図１】実施形態における画像符号化処理部のブロック構成図である。
【図２】動画像圧縮・符号化器として機能する場合の再構成可能プロセッサー内部の構成を示す図である。
【図３】静止画像圧縮・符号化器として機能する場合の再構成可能プロセッサー内部の構成を示す図である。
【図４】従来の動画像・静止画像の撮像装置の構成を示す図である。
【図５】動画像の圧縮・符号化の過程を示す図である
【図６】静止画像の圧縮・符号化の過程を示す図である
【図７】他の実施形態における動画像圧縮・符号化器として機能する際のブロック構成図である。
【図８】他の実施形態における静止画像圧縮・符号化器として機能する際のブロック構成図である。
【図９】実施形態における再構成処理の処理手順を示すフローチャートである。
【図１】
2005176217.tif 000003
【図２】
2005176217.tif 000004
【図３】
2005176217.tif 000005
【図４】
2005176217.tif 000006
【図５】
2005176217.tif 000007
【図６】
2005176217.tif 000008
【図７】
2005176217.tif 000009
【図８】
2005176217.tif 000010
【図９】
2005176217.tif 000011