(57)【要約】【課題】  撮影者の意図を反映させた代表フレームを簡便に取り出すことのできるデジタルカメラを提案する。【解決手段】  本発明のデジタルカメラ（１０）は、動画と静止画を共に撮像する機能を搭載し、フレーム相関圧縮方式により動画データを圧縮符号化するデジタルカメラであって、動画撮影中に静止画録画指示を受けた場合に、静止画録画指示が与えられる前又は前後の期間に撮像された動画圧縮データのＩピクチャ数を増加させる画像処理部（２０）を備える。かかる構成によれば、連続の画像データをある一定時間バッファリングし、静止画録画指示が与えられたときに、一定時間分遡ってこの画像データをＩピクチャとして圧縮記録することができる。これにより、静止画録画指示が与えられた瞬間より一定時間分過去の画像データは、Ｉピクチャとして取り出すことができるため、ユーザが意図する代表フレームを選択できる。【選択図】    図１
2006253768.tif 000002
【特許請求の範囲】
【請求項１】
動画と静止画を共に撮像する機能を搭載し、フレーム相関圧縮方式により動画データを圧縮符号化するデジタルカメラであって、動画撮影中に静止画録画指示を受けた場合に、静止画録画指示が与えられる前又は前後の期間に撮像された動画圧縮データのＩピクチャ数を増加させる画像処理部を備える、デジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラであって、前記画像処理部は、前記Ｉピクチャの解像度よりも高解像度の画像を撮像する撮像素子と、前記撮像素子が撮像した画像を縮小処理する縮小処理部と、前記縮小処理部によって縮小処理された画像をフレーム内符号化処理してＩピクチャを生成する動画圧縮部と、前記動画圧縮部によって生成されたＩピクチャを拡大処理する拡大処理部と、前記拡大処理部によって拡大処理されたＩピクチャと前記撮像素子が撮像した画像との差分情報を画像圧縮した静止画データを生成する静止画圧縮部とを備える、デジタルカメラ。
【請求項３】
請求項２に記載のデジタルカメラであって、動画又は静止画を表示するための表示装置を更に備え、前記画画像処理部は、静止画再生指示を受けると、前記動画圧縮部によって生成されたＩピクチャを前記拡大処理部によって拡大処理し、前記静止画圧縮部によって生成された静止画データに前記拡大処理されたＩピクチャを加算処理し、前記表示装置はこの加算処理された画像データを基に静止画を表示する、デジタルカメラ。
【請求項４】
請求項３に記載のデジタルカメラであって、前記画像処理部は、動画撮影中に静止画録画指示を受けると、前記Ｉピクチャにマーカー情報を記録する、デジタルカメラ。
【請求項５】
請求項４に記載のデジタルカメラであって、前記画像処理部は、Ｉピクチャ数を増加させる期間の先頭ピクチャに前記マーカー情報を記録する、デジタルカメラ。
【請求項６】
請求項５に記載のデジタルカメラであって、前記画像処理部は、動画再生時に静止画再生指示を受けると、前記マーカー情報が記録されたＩピクチャまで動画を早戻しし、前記マーカー情報が記録されたＩピクチャから前記静止画録画指示を受けた時点のＩピクチャまで動画生成する、デジタルカメラ。
【請求項７】
請求項６に記載のデジタルカメラであって、前記画像処理部は、前記静止画録画指示を受けた時点のＩピクチャに前記差分情報を加算することで、静止画を再生する、デジタルカメラ。
【請求項８】
請求項６に記載のデジタルカメラであって、前記画像処理部は、前記マーカー情報が記録されたＩピクチャから前記静止画録画指示を受けた時点のＩピクチャまでの動画生成をコマ送り再生により行う、デジタルカメラ。
【請求項９】
請求項６に記載のデジタルカメラであって、前記画像処理部は、前記マーカー情報が記録されたＩピクチャから前記静止画録画指示を受けた時点のＩピクチャまでの動画生成をスロー再生により行う、デジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画と動画を共に撮像する機能を搭載したデジタルカメラに関する。
【背景技術】
【０００２】
デジタルカメラは、一般に、被写体の原画像信号を出力する撮像素子と、撮像素子から出力される原画像信号に基づいてデジタルの原画像データを生成する信号処理回路と、信号処理回路から出力される原画像データを圧縮符号化する符号化回路と、符号化回路から出力される圧縮符号化データを記憶する記憶回路が搭載されている。符号化回路では、例えば、離散コサイン変換、量子化、可変長符号化等の手段により原画像データが圧縮符号化される。離散コサイン変換、量子化、ハフマン符号化等を用いる規格として、例えば、ＪＰＥＧ（Joint Photographic Coding Experts Group）が知られている。時系列的に連続する複数の画面をＪＰＥＧ規格によって圧縮符号化する規格として、例えば、モーションＪＰＥＧが知られている。時系列的に連続する複数画面から成る動画を圧縮符号化する規格として、例えば、ＭＰＥＧ（Moving Picture Experts Group）が知られている。ＭＰＥＧの画像圧縮には、フレーム内符号化画像であるＩピクチャ（Intra Picture）と、フレーム間符号化画像であるＰピクチャ（Predictive Picture）と、双方向予測符号化画像であるＢピクチャ（Bidirectionaly Predictive Picture）が用いられる。
【０００３】
デジタルカメラの性能向上に伴い、静止画と動画を共に撮像する機能を備えた機種が開発されている。このような機種では、デジタルカメラによって撮像された動画を構成する複数のフレームの中から代表フレームを選択し、これを静止画として扱う機能を備えているものもある。特許文献１には、撮影者の意図を反映させた代表フレームの決定を簡便にする技術が提案されている。同文献によれば、デジタルカメラの撮像部は、被写体を撮像し続けて得た各々のフレームを撮像順にリングバッファに送信する。リングバッファは、送信されてきたフレームを受信順に格納する。撮像中にシャッタースイッチが押下されると、タグ情報生成部は、シャッタースイッチ押下時に撮像したフレームが代表フレームであることを示す代表フレーム識別情報を作成する。シャッタースイッチ押下時から所定時間経過後、画像データ作成部は、リングバッファに格納された代表フレームと、代表フレーム撮像前後のフレーム数枚を一つの画像データとして作成するとともに、代表フレーム識別情報を付属させる。
【特許文献１】特開２００４−１２０４０３
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、撮影者が意図する代表フレームは、静止画録画ボタンが押下された瞬間に撮像されたフレームではなく、静止画録画ボタン押下時よりも僅かに過去の時間に撮像されたフレームである場合が多く、撮影者が意図する代表フレームを上手く取り出すことができない。
【０００５】
また、一般に、動画データの圧縮符号化には、フレーム相関圧縮が行われるため、ある瞬間の１コマを静止画として取り出すことは困難である。撮像した画像データを全てＪＰＥＧ方式により圧縮符号化し、静止画録画ボタン押下時に撮像した前後のフレーム数枚を抽出することにより、代表フレームを取り出すことができるが、これでは、モーションＪＰＥＧで圧縮画像データを作成するのと同様であるから、圧縮画像データを格納するためのメモリ容量が非常に大容量になるので、好ましくない。
【０００６】
また、動画録画モードから静止画録画モードに切り替える構成では、操作が煩雑になる上に、シャッターチャンスを逃してしまう虞があるので、好ましくない。
【０００７】
そこで、本発明はこのような問題を解決し、撮影者の意図を反映させた代表フレームを簡便に取り出すことのできるデジタルカメラを提案することを課題とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明のデジタルカメラは、動画と静止画を共に撮像する機能を搭載し、フレーム相関圧縮方式により、動画データを圧縮符号化するデジタルカメラであって、動画撮影中に静止画録画指示を受けた場合に、静止画録画指示が与えられる前又は前後の期間に撮像された動画圧縮データのＩピクチャ数を増加させる画像処理部を備える。かかる構成によれば、連続の画像データをある一定時間、バッファリングし、静止画録画指示が与えられたときに、一定時間分遡ってこの画像データをＩピクチャとして圧縮記録することができる。これにより、静止画録画指示が与えられた瞬間より一定時間分過去の画像データは、Ｉピクチャとして取り出すことができるため、ユーザが意図する代表フレームを選択できる。
【０００９】
画像処理部の構成としては、例えば、Ｉピクチャの解像度よりも高解像度の画像を撮像する撮像素子と、撮像素子が撮像した画像を縮小処理する縮小処理部と、縮小処理部によって縮小処理された画像をフレーム内符号化処理してＩピクチャを生成する動画圧縮部と、動画圧縮部によって生成されたＩピクチャを拡大処理する拡大処理部と、拡大処理部によって拡大処理されたＩピクチャと撮像素子が撮像した画像との差分情報を画像圧縮した静止画データを生成する静止画圧縮部とを備えた構成が望ましい。
【００１０】
本発明のデジタルカメラの構成として、例えば、動画又は静止画を表示するための表示装置を更に備え、画画像処理部は、静止画再生指示を受けると、動画圧縮部によって生成されたＩピクチャを前記拡大処理部によって拡大処理し、静止画圧縮部によって生成された静止画データに拡大処理されたＩピクチャを加算処理し、表示装置はこの加算処理された画像データを基に静止画を表示する構成が望ましい。
【００１１】
また、画像処理部は、動画撮影中に静止画録画指示を受けると、Ｉピクチャにマーカー情報を記録するように構成してもよい。これにより、マーカー位置のサーチが容易になるので、代表フレームの検索に便宜である。マーカー位置としては、特に、Ｉピクチャ数を増加させる期間の先頭ピクチャが好適である。
【００１２】
また、画像処理部は、動画再生時に静止画再生指示を受けると、マーカー情報が記録されたＩピクチャまで動画を早戻しし、マーカー情報が記録されたＩピクチャから静止画録画指示を受けた時点のＩピクチャまで動画生成するように構成してもよい。かかる構成により、代表フレームの検索が容易になる。また、マーカー情報が記録されたＩピクチャから静止画録画指示を受けた時点のＩピクチャまでの動画生成をコマ送り又はスロー再生により行ってもよい。
【発明の効果】
【００１３】
本発明によれば、連続の画像データをある一定時間、バッファリングし、静止画録画指示が与えられたときに、一定時間分遡ってこの画像データをＩピクチャとして圧縮記録することができる。これにより、静止画録画指示が与えられた瞬間より一定時間分過去の画像データは、Ｉピクチャとして取り出すことができるため、ユーザが意図する代表フレームを選択できる。
【発明を実施するための最良の形態】
【００１４】
図１は本実施形態のデジタルカメラのシステム構成図を示している。
デジタルカメラ１０は、動画と静止画を共に撮像する機能を搭載し、ＭＰＥＧ方式により、動画データを圧縮符号化する。デジカメラ１０は、主に、画像処理部２０、表示装置３１、静止画録画ボタン３２、及び静止画再生ボタン３３を備えて構成されている。静止画録画ボタン３２は、画像処理部２０に静止画録画指示を与えるための入力手段であり、静止画再生ボタン３３は、画像処理部２０に静止画再生指示を与えるための入力手段である。画像処理部２０は、ＣＣＤ（Charge Coupled Device）センサ２１、ゲインコントローラ２２、Ａ／Ｄ変換器２３、バッファメモリ２４、縮小処理部２５、動画圧縮部２６、拡大処理部２７、減算処理部２８、静止画圧縮部２９、及び加算処理部３０を備えている。
【００１５】
ＣＣＤセンサ２１は、被写体像の光情報を電気信号に変換する撮像素子（電化結合素子）であり、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等によって構成されている。ＣＣＤセンサ２１は、動画圧縮部２６によって生成される圧縮符号データ（Ｉピクチャ）の解像度よりも高解像度の画像を撮像する。ＣＣＤセンサ２１から出力される電気信号はゲインコントローラ２２によって、ＣＣＤセンサ２１におけるＲ，Ｇ，Ｂの各色の感度調整が施された後、各画素のＲ，Ｇ，Ｂの各色の信号として、Ａ／Ｄ変換器２３に入力される。Ａ／Ｄ変換器２３から出力される画像データは、バッファメモリ２４にバッファリングされる。バッファメモリ２４は、例えば、リングバッファ等のＦＩＦＯ（First In First Out）バッファである。バッファメモリ２４にバッファリングされた画像データは、一定の遅延時間を経過した後に、縮小処理部２５へと出力される。縮小処理部２５は、バッファメモリ２４から出力される画像データを縮小処理し、動画圧縮部２６に出力する。
【００１６】
動画圧縮部２６は、縮小された画像データをＭＥＧ方式により圧縮符号化する。ＭＰＥＧでは、動画像を圧縮する際、空間情報圧縮、時間情報圧縮、及び可変長符号化圧縮の３つの情報圧縮処理を行っている。
【００１７】
空間情報圧縮では、静止画像の空間領域における冗長性を除去することにより、画像を圧縮している。自然画像は、領域を狭く限ると、画素のレベル値が互いに近いことが多く、ある領域（空間）内における画素値の変化の度合（空間周波数）が比較的小さい。従って、画像を空間周波数領域のデータに変換すると、そのデータは空間周波数の低い低周波側に偏ることから、高周波側のデータより少ないビット数を低周波側のデータに割り当てることにより、全体として、少ないデータ量で画像を符号化できる。ＭＰＥＧでは、この空間周波数変換に離散コサイン変換を用いており、例えば、１６×１６画素のブロック毎に入力画像が離散コサイン変換される。
【００１８】
時間情報圧縮では、動画像の時間領域における冗長性を除去することにより、動画像を圧縮している。動画像はフレームと称される多数の静止画像から構成されており、これらフレームの殆どは１／３０秒以下の間隔で撮像された連続する静止画像であることから、前後の画像は近似したものになる。従って、直前フレームを元に現フレームとの差分のみを抽出して符号化する（フレーム間予測）ことにより、データ量を削減できる。また、画像内で動く物体を検出し、その動きを予測して現フレームとの差分を抽出すれば（動き補償）、予測の精度が向上して更にデータ量を削減できる。
【００１９】
可変長符号化では、上述した空間情報圧縮及び時間情報圧縮の各処理が行われた画像データを構成する各ビット列について、発生頻度を調べ、発生頻度の高いビット列に短い符号を割り当てるとともに、発生頻度の低いビット列に長い符号を割り当てることにより、画像データを圧縮している。この際、ハフマン符号等が広く用いられる。
【００２０】
ＭＰＥＧでは、例えば、０．５秒（１５フレーム）程度のフレームをグループ化したＧＯＰ（Group of Picture）を時間情報圧縮の処理単位としている。これにより、ＧＯＰ単位で動画像に対するランダムアクセスが可能になり、途中からの再生、巻き戻し、逆転再生などのトリックモードが実現される。
【００２１】
図２に示すように、一つのＧＯＰには、Ｉピクチャ、Ｐピクチャ、及びＢピクチャの３種類の圧縮データが存在する。Ｉピクチャは、ＧＯＰでの時間情報圧縮の基準となる元のフレームと等しい完結した圧縮データであり、一つのＧＯＰ内には、最低限一つ必要である。Ｐピクチャは、対応するフレームより過去のＩピクチャやＰピクチャのフレームとの差分（単方向フレーム間予測）が記録された圧縮データである。Ｂピクチャは、対応するフレームの過去及び未来に位置するＩピクチャやＰピクチャの二つのフレームとの差分（双方向フレーム間予測）が記録された圧縮データである。Ｂピクチャは、自フレームより未来のフレームをフレーム間予測に用いるため、符号化処理では、元のフレーム順の並び替えが行われ、Ｂピクチャの双方向フレーム間予測に用いられた二つのフレームのピクチャに後続する順序となる。
【００２２】
ユーザが静止画録画ボタン３２を押下することにより、画像処理部２０に静止画録画指示が与えられると、動画圧縮部２６にて生成されたＩピクチャ（動画の１コマ）が拡大処理部２７に転送され、拡大処理される。そして、当該Ｉピクチャの生成元の画像データ（ＣＣＤセンサ２１が撮像した高解像度の画像データ）と、当該Ｉピクチャは減算処理部２８にて減算処理され、両者の差分情報が生成される。静止画圧縮部２９は、この差分情報を画像圧縮した静止画データを生成し、蓄積する。
【００２３】
上述の構成において、動画再生時には、表示装置３１は、動画圧縮部２６にて生成された圧縮符号データをデコードし、動画を再生する。また、静止画録画ボタン３２が押下され、画像処理部２０に静止画録画指示が与えられると、上述の如く、動画圧縮部２６にて生成されたＩピクチャと、ＣＣＤセンサ２１にて撮像された高解像度画像データの差分情報が静止画圧縮部２９にて画像圧縮され、静止画データとして蓄積される。また、静止画再生ボタン３３が押下され、画像処理部２０に静止画再生指示が与えられると、動画圧縮部２６にて生成されたＩピクチャと、静止画圧縮部２９にて生成された静止画データは加算処理部３０にて加算処理され、解像度の高い静止画データが生成される。この静止画データは表示装置３１に転送され、静止画表示される。
【００２４】
ここで、画像処理部２０に静止画録画指示が与えられたときの処理を詳細に説明する。静止画録画指示が与えられると、動画圧縮部２６は、図３に示すように、静止画録画指示が与えられる前後の期間に撮像された動画圧縮データのＩピクチャ数を増加させる。上述の如く、バッファメモリ２４はＦＩＦＯ構造を備えており、ＣＣＤセンサ２１が撮像した画像データが一定時間蓄積されるので、バッファメモリ２４には、静止画録画指示が与えられる以前に撮像された過去の画像データが蓄積されている。動画圧縮部２６は、静止画録画指示が与えられる前又は前後の期間（Ｉピクチャ数増加期間）に撮像された画像データを画像圧縮する際に、Ｉピクチャの数を通常時よりも増大させる。図３では、Ｉピクチャ数増加期間に撮像された全ての画像データをＩピクチャとする例が示されているが、必ずしもＩピクチャ数増加期間に撮像された全ての画像データをＩピクチャとする必要はない。
【００２５】
尚、Ｉピクチャ数増加期間の先頭ピクチャにマーカー情報を記録しておくと、先頭ピクチャのサーチが容易となるので、好ましい。
【００２６】
画像処理部２０は、動画再生時に静止画再生指示を受けると、マーカー情報が記録されたＩピクチャまで動画を早戻しし、マーカー情報が記録されたＩピクチャから静止画録画指示を受けた時点のＩピクチャまで動画生成した後に、動画再生を停止するように構成してもよい。また、マーカー情報が記録されたＩピクチャから静止画録画指示を受けた時点のＩピクチャまでの動画生成をコマ送り再生、又はスロー再生により行うことも可能である。Ｉピクチャ数増加期間に生成されたＩピクチャ数は通常時よりも数が多いため、きめ細かいコマ送り再生や、スロー再生を行うことができる。また、コマ送り再生、又はスロー再生に利用されるＩピクチャに、静止画圧縮部２９に蓄積されている差分情報を加算することで、静止画を再生することもできる。
【００２７】
本実施形態によれば、連続の画像データをある一定時間、バッファリングし、静止画録画指示が与えられたときに、一定時間分遡ってこの画像データをＩピクチャとして圧縮記録することができる。これにより、静止画録画指示が与えられた瞬間より一定時間分過去の画像データは、Ｉピクチャとして取り出すことができるため、ユーザが意図する代表フレームを選択できる。
【００２８】
また、ＣＣＤセンサ２１は、動画に必要なサイズより大きな解像度を有しているので、拡大処理したＩピクチャと原画像との差分情報を記憶することにより、記憶容量を抑えつつ、高解像度の静止画を再生することができる。
【００２９】
また、静止画を再生する際には、マーカー位置まで早戻しし、静止画録画指示が与えられた位置までコマ送り再生、又はスロー再生することで、ユーザが意図する代表フレームを容易に選択できる。
【図面の簡単な説明】
【００３０】
【図１】本実施形態のデジタルカメラのシステム構成図である。
【図２】ＭＰＥＧにおけるＧＯＰの説明図である。
【図３】Ｉピクチャ数を増加させたときのＧＯＰの説明図である。
【符号の説明】
【００３１】
１０…デジタルカメラ  ２０…画像処理部  ２１…ＣＣＤセンサ  ２２…ゲインコントローラ  ２３…Ａ／Ｄ変換器  ２４…バッファメモリ  ２５…縮小処理部  ２６…動画圧縮部  ２７…拡大処理部  ２８…減算処理部  ２９…静止圧縮部  ３０…加算処理部  ３１…表示装置  ３２…静止画録画指示  ３３…静止画再生指示
【図１】
2006253768.tif 000003
【図２】
2006253768.tif 000004
【図３】
2006253768.tif 000005