(57)【要約】【課題】撮像条件を高速で切り替えて被写体を動画像として撮影する場合に、動画像データを圧縮符号化する際の圧縮効率を良くすることができ、撮影中のモニタ用に容易に見やすい表示をすることができ、再生時には簡単な処理によって撮像条件が一定の条件下の動画像を選択的に再生できるようにする。【解決手段】撮像素子から得られる原動画像データは、近傍の被写体１に合焦したフレーム画像Ｆ１，Ｆ３，Ｆ５‥‥と遠方の被写体２に合焦したフレーム画像Ｆ２，Ｆ４，Ｆ６‥‥とが交互に連続するデータである。その各フレーム画像のデータをバッファに書き込み、バッファから読み出して、近傍合焦状態のフレーム画像のみが連続する動画像のデータと、遠方合焦状態のフレーム画像のみが連続する動画像のデータとを得、その近傍合焦状態の動画像データおよび遠方合焦状態の動画像データを、別個に圧縮符号化して記録媒体に記録する。【選択図】図４
2009100176.tif 000002
【特許請求の範囲】
【請求項１】
単位時間ごとに撮像条件を交互または循環的に切り替えて被写体を撮影して、一連の単位画像データからなる原動画像データを得る撮影工程と、
上記原動画像データの各単位画像データを、一時記憶用のバッファに書き込み、当該バッファから読み出すことによって、１つのチャンネルでは上記撮像条件が同じ条件のもとで撮影された単位画像のデータのみからなり、それぞれのチャンネルの間では上記撮像条件が異なる条件のもとで撮影された単位画像のデータからなる複数チャンネルの動画像データを得る分割処理工程と、
上記複数チャンネルの動画像データを、各チャンネルごとに別個に圧縮符号化して、記録媒体に記録する圧縮記録工程と、
を備えることを特徴とする撮影記録方法。
【請求項２】
請求項１の撮影記録方法において、
上記撮影工程では、上記撮像条件として焦点距離を、上記単位時間ごとに交互または循環的に切り替えることを特徴とする撮影記録方法。
【請求項３】
請求項１の撮影記録方法において、
上記撮影工程では、上記撮像条件としてズーム状態を、上記単位時間ごとに交互または循環的に切り替えることを特徴とする撮影記録方法。
【請求項４】
請求項１の撮影記録方法において、
上記分割処理工程では、単位画像データのコピーまたは補間によって、上記複数チャンネルの動画像データとして、それぞれ目的の画面レートの動画像データを得ることを特徴とする撮影記録方法。
【請求項５】
請求項１の撮影記録方法において、
上記分割処理工程で得られた動画像データによって、上記複数チャンネル中のユーザによって選択されたチャンネルの動画像を、主画像としてディスプレイ画面上に表示し、他のチャンネルの動画像を、副画像としてディスプレイ画面に設定された子画面上に表示することを特徴とする撮影記録方法。
【請求項６】
請求項１の撮影記録方法において、
上記分割処理工程で得られた動画像データによって、上記複数チャンネル中のユーザによって選択されたチャンネルの動画像のみを、ディスプレイ画面上に表示することを特徴とする撮影記録方法。
【請求項７】
請求項１の撮影記録方法において、
上記圧縮記録工程では、上記複数チャンネル中の少なくとも１つのチャンネルの圧縮符号化された動画像データに対して、圧縮符号化された音声データを多重化して、または関連づけて、上記記録媒体に記録することを特徴とする撮影記録方法。
【請求項８】
撮像光学系および撮像素子を含む撮像部と、
ユーザによって当該の撮像装置に対する操作が実行される操作部と、
この操作部での操作に応じて、単位時間ごとに上記撮像部での撮像条件を交互または循環的に切り替えて、上記撮像部に被写体を撮影させ、上記撮像部から一連の単位画像データからなる原動画像データを出力させる制御部と、
一時記憶用のバッファを有し、上記原動画像データの各単位画像データを、当該バッファに書き込み、当該バッファから読み出すことによって、１つのチャンネルでは上記撮像条件が同じ条件のもとで撮影された単位画像のデータのみからなり、それぞれのチャンネルの間では上記撮像条件が異なる条件のもとで撮影された単位画像のデータからなる複数チャンネルの動画像データを出力する分割処理部と、
上記複数チャンネルの動画像データを、各チャンネルごとに別個に圧縮符号化して、記録媒体に記録する圧縮記録部と、
を備えることを特徴とする撮像装置。
【請求項９】
請求項８の撮像装置において、
さらに、上記複数チャンネル中の上記操作部で選択されたチャンネルの圧縮符号化された動画像データを、上記記録媒体から再生し、伸長復号する再生伸長部を備えることを特徴とする撮像装置。
【請求項１０】
撮像装置に搭載されたコンピュータを、
単位時間ごとに撮像条件を交互または循環的に切り替えて被写体を撮影して、一連の単位画像データからなる原動画像データを得る手段、
上記原動画像データの各単位画像データを、一時記憶用のバッファに書き込み、当該バッファから読み出すことによって、１つのチャンネルでは上記撮像条件が同じ条件のもとで撮影された単位画像のデータのみからなり、それぞれのチャンネルの間では上記撮像条件が異なる条件のもとで撮影された単位画像のデータからなる複数チャンネルの動画像データを得る手段、および、
上記複数チャンネルの動画像データを、各チャンネルごとに別個に圧縮符号化して、記録媒体に記録する手段、
として機能させることを特徴とする撮影記録用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ビデオカメラなどの撮像装置で、被写体を動画像として撮影し、動画像データを圧縮符号化して記録媒体に記録する方法、およびビデオカメラなどの撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラなどの撮像装置では、撮像光学系などとして種々の構成または機能が考えられており、撮影方法などとして種々の方法が考えられている。
【０００３】
具体的に、特許文献１（特開２００５−３５２１８３号公報）には、５群のレンズ群が順次配列された可変焦点距離レンズ系で、近距離合焦時のレンズ移動量を少なくすることが示されている。
【０００４】
また、特許文献２（特開２００６−５０３３６号公報）や特許文献３（特開２００６−２５４３２３号公報）には、静止画像の撮影時、露出などの撮像条件を順次変えて、撮像条件が異なる複数枚の静止画像を連続的に撮影し、そのうちの最も好ましい静止画像を選択する、いわゆるブラケット機能（ブラケット撮影）が示されている。
【０００５】
また、特許文献４（特開２００６−３１９５１３号公報）には、撮像素子により得られた、標準の画面レートより高速の画面レートの画像データを、圧縮符号化して一時記憶手段に書き込み、所定時間分書き込んだ後、一時記憶手段から標準の画面レートで読み出して伸長復号し、さらに圧縮符号化して記録媒体に記録することが示されている。
【０００６】
さらに、特許文献５（特開２００７−１７９０４４号公報）には、下部電極が設けられた透明基板と上部電極が設けられた透明天板とによって形成される空間内に無極性液体と極性液体とが装填され、上部電極と下部電極との間に印加される電圧に応じて、極性液体の濡れ性が変化して、無極性液体と極性液体との界面の形状が変化し、界面の湾曲率が変化することによって、レンズとしての焦点距離を変えることができる液体レンズが示されている。
【０００７】
このような液体レンズで撮像光学系を構成すれば、特許文献１に示されるように固体レンズを移動させて焦点距離を切り替える場合に比べて、焦点距離をより高速で切り替えることが可能となる。
【０００８】
上に挙げた先行技術文献は、以下の通りである。
【特許文献１】特開２００５−３５２１８３号公報
【特許文献２】特開２００６−５０３３６号公報
【特許文献３】特開２００６−２５４３２３号公報
【特許文献４】特開２００６−３１９５１３号公報
【特許文献５】特開２００７−１７９０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記のように焦点距離などの撮像条件を高速で切り替えることができることから、例えば、焦点距離を、相対的に短い距離と相対的に長い距離とに、１秒／６０またはそれ以下というような単位時間ごとに交互に高速で切り替えて、被写体を、毎秒６０フレームまたはそれ以上というような画面レートで、動画像として撮影し、その得られた、近傍合焦状態で撮影されたフレーム画像のデータと遠方合焦状態で撮影されたフレーム画像のデータとが交互に連続する動画像データを、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの圧縮方式によって圧縮符号化して、撮像装置に内蔵または装填されたディスク媒体や半導体メモリなどの記録媒体に記録することが、考えられる。
【００１０】
この方法によれば、近傍合焦状態での撮影と遠方合焦状態での撮影とを同時に行うこととができる。これに対して、例えば、近傍合焦状態で被写体を撮影した後、遠方合焦状態で被写体を撮影する方法では、近傍合焦時と遠方合焦時が期間的に異なり、近傍合焦時と遠方合焦時では近傍および遠方の被写体の動きや位置などの状況が変化するため、両者の動画像は内容的にも別の画像になってしまう。
【００１１】
しかし、上記のように、近傍合焦状態の単位画像データと遠方合焦状態の単位画像データとが交互に連続する動画像データを、そのまま圧縮符号化して記録媒体に記録すると、再生時、いずれかの合焦状態の動画像を選択的に再生し、ディスプレイ上に表示するに当たっては、圧縮符号化されて記録された動画像データを、そのまま記録媒体から再生して伸長復号した上で、近傍合焦状態の動画像データと遠方合焦状態の動画像データとに分離する必要があり、再生処理が煩雑となる。
【００１２】
しかも、圧縮符号化される動画像データは、近傍合焦状態の単位画像データと遠方合焦状態の単位画像データとが交互に連続するものであるため、圧縮方式によっては、圧縮効率が非常に悪くなる。
【００１３】
さらに、撮影中にモニタ用に、圧縮符号化される前の動画像データによってディスプレイ上に動画像を表示すると、近傍合焦状態の単位画像と遠方合焦状態の単位画像とが交互に表示されるため、表示が見にくくなる。
【００１４】
そこで、この発明は、焦点距離やズーム状態などの撮像条件を高速で切り替えて、被写体を動画像として撮影し、動画像データを圧縮符号化して記録媒体に記録する場合に、動画像データを圧縮符号化する際の圧縮効率を良くすることができ、撮影中のモニタ用に容易に見やすい表示をすることができるとともに、再生時には簡単な処理によって撮像条件が一定の条件下の動画像を選択的に再生することができるようにしたものである。
【課題を解決するための手段】
【００１５】
この発明の撮影記録方法は、
単位時間ごとに撮像条件を交互または循環的に切り替えて被写体を撮影して、一連の単位画像データからなる原動画像データを得る撮影工程と、
上記原動画像データの各単位画像データを、一時記憶用のバッファに書き込み、当該バッファから読み出すことによって、１つのチャンネルでは上記撮像条件が同じ条件のもとで撮影された単位画像のデータのみからなり、それぞれのチャンネルの間では上記撮像条件が異なる条件のもとで撮影された単位画像のデータからなる複数チャンネルの動画像データを得る分割処理工程と、
上記複数チャンネルの動画像データを、各チャンネルごとに別個に圧縮符号化して、記録媒体に記録する圧縮記録工程と、
を備えることを特徴とする。
【００１６】
なお、上記の撮影工程、分割処理工程および圧縮記録工程は、時間的に別のタイミングで実行されるものではなく、被写体が、ある時間に渡って連続して撮影されることによって、時間的に重複したタイミングで実行されるものである。
【発明の効果】
【００１７】
この発明の上記の撮影記録方法では、例えば、撮影工程で、単位時間ごとに焦点距離を相対的に短い距離と相対的に長い距離とに交互に切り替えて被写体を撮影する場合、分割処理工程では、２チャンネルの動画像データとして、一方のチャンネルの動画像データとしては、近傍合焦状態で撮影された単位画像のデータのみからなる動画像データが得られ、他方のチャンネルの動画像データとしては、遠方合焦状態で撮影された単位画像のデータのみからなる動画像データが得られる。
【００１８】
したがって、例えば、撮影前または撮影中にユーザによって選択されたチャンネルの動画像データにより、ユーザによって選択されたチャンネルの動画像をディスプレイ上に表示することによって、撮影中のモニタ用に容易に見やすい表示をすることができる。
【００１９】
しかも、一方のチャンネルの近傍合焦状態の動画像データ、および他方のチャンネルの遠方合焦状態の動画像データは、別個に圧縮符号化して、記録媒体に記録するので、圧縮効率を良くすることができるとともに、再生時には、ユーザによって選択されたチャンネルの圧縮符号化された動画像データを、記録媒体から再生し、伸長復号するだけの、簡単な処理によって、近傍合焦状態の動画像または遠方合焦状態の動画像を選択的に再生し、ディスプレイ上に表示することができる。
【００２０】
以上のように、この発明によれば、動画像データを圧縮符号化する際の圧縮効率を良くすることができ、撮影中のモニタ用に容易に見やすい表示をすることができるとともに、再生時には簡単な処理によって撮像条件が一定の条件下の動画像を選択的に再生することができる。
【発明を実施するための最良の形態】
【００２１】
［１．第１の実施形態：図１〜図７］
第１の実施形態として、焦点距離を相対的に短い距離と相対的に長い距離とに交互に高速で切り替えて、被写体を動画像として撮影する場合を示す。
【００２２】
以下では、この場合の撮影モードを遠近高速切り替え撮影モードとし、焦点距離が相対的に短い距離とされた状態または時を、近傍合焦状態または近傍合焦時とし、焦点距離が相対的に長い距離とされた状態または時を、遠方合焦状態または遠方合焦時とする。
【００２３】
なお、「高速で」とは、具体的には、切り替え周期（単位時間）を１秒より十分に短い時間とすることである。
【００２４】
（１−１．撮像装置のシステム構成：図１）
図１に、第１の実施形態に対応する撮像装置の一例を示す。
【００２５】
この例の撮像装置は、全体として、撮像部１０、信号処理部１９、制御部２１、操作部２５、分割処理部３０、エンコーダ４１および４２、記録再生部５０、表示処理部６０、ディスプレイ７０、デコーダ８０および外部インタフェース９０などによって構成される。
【００２６】
撮像部１０は、撮像光学系１１および撮像素子１５によって構成される。
【００２７】
撮像光学系１１は、レンズ系１２、および図では省略した光学フィルタなどの光学手段によって構成される。
【００２８】
レンズ系１２は、複数群または複数枚の固体レンズ、固体レンズと液体レンズとの組合せ、または液体レンズによって構成され、いずれかの固体レンズを移動させ、または液体レンズに印加される電圧を変えることによって、レンズ系１２としての焦点距離を高速で切り替えることができるものである。
【００２９】
撮像素子１５は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像素子やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などの固体撮像素子であり、読み出し出力のアナログ画像信号をデジタル画像データに変換するＡ／Ｄコンバータが内蔵されたものである。
【００３０】
信号処理部１９は、この撮像素子１５の出力の画像データに対して、シェーディング補正、ゲイン補正、欠陥画素の補間、ホワイトバランス調整、アパーチャ補正、ガンマ補正などの処理を行うものである。
【００３１】
撮像素子１５の出力の画像データが、例えばＲＧＢ３原色の画像データであって、これを輝度信号と色差信号とからなる画像データに変換する場合には、例えば信号処理部１９の終段で、その変換が実行される。
【００３２】
遠近高速切り替え撮影モードでの撮影時に、この信号処理部１９から得られる一連の画像データを、原動画像データとする。
【００３３】
制御部２１は、ＣＰＵ、このＣＰＵが実行すべき各種のプログラムや必要な固定データなどが格納されたＲＯＭ、およびプログラムやデータが展開されるＲＡＭなどによって構成され、撮像光学系１１や撮像素子１５など、撮像装置の各部を制御する。
【００３４】
操作部２５は、撮像装置の外筐部分に設けられた各種のキーボタンおよびダイヤルや、ディスプレイ７０の画面上に設けられたタッチパネルなどによって構成され、ユーザによって、撮影モードの選択などのカメラ操作や、各種の設定および調整などが実行される。
【００３５】
分割処理部３０は、この例では、一時記憶用の２つのバッファ３１および３２、スイッチ３３および制御回路３４によって構成され、遠近高速切り替え撮影モードでの撮影時、制御部２１により制御される制御回路３４により、信号処理部１９の出力の原動画像データが供給されるスイッチ３３が、後述のように切り替えられ、バッファ３１および３２への書き込み、およびバッファ３１および３２からの読み出しが、後述のように制御されることによって、バッファ３１から近傍合焦状態の動画像データを出力し、バッファ３２から遠方合焦状態の動画像データを出力する。
【００３６】
エンコーダ４１は、その近傍合焦状態の動画像データを圧縮符号化するものであり、エンコーダ４２は、その遠方合焦状態の動画像データを圧縮符号化するものである。
【００３７】
さらに、この例では、遠近高速切り替え撮影モードでの撮影時、マイクロホン４４からの、撮像装置の近傍の人の声などの音声の信号が、音声増幅回路４５で増幅され、Ａ／Ｄコンバータ４６でデジタル音声データに変換されてエンコーダ４１に供給され、エンコーダ４１では、その音声データと近傍合焦状態の動画像データとが、圧縮符号化され、多重化される。
【００３８】
記録再生部５０には、記録媒体５１が内蔵または装填される。記録媒体５１は、一定時間分の動画像を記録することができる記憶容量を有する、光ディスクや磁気ディスクなどのディスク媒体、または半導体メモリなどである。
【００３９】
記録再生部５０は、記録（書き込み）用および再生（読み出し）用の回路を有するとともに、記録媒体５１がディスク媒体である場合には、これを回転駆動する機構、光学ヘッドや磁気ヘッドなどの記録再生ヘッド、および記録再生ヘッドをディスク媒体（記録媒体５１）の径方向に移動させる機構などを備える。
【００４０】
そして、この例では、遠近高速切り替え撮影モードでの撮影時、記録再生部５０で、エンコーダ４１からの、圧縮符号化された動画像データと圧縮符号化された音声データとが多重化されたデータが、近傍合焦状態の動画像ファイルとして記録媒体５１に記録され、エンコーダ４２からの、圧縮符号化された動画像データが、遠方合焦状態の動画像ファイルとして記録媒体５１に記録される。
【００４１】
表示処理部６０は、遠近高速切り替え撮影モードでの撮影時には、後述のようにバッファ３１および３２の出力の圧縮符号化される前の動画像データを表示用に処理し、再生時には、後述のようにデコーダ８０で伸長復号された動画像データを表示用に処理する。
【００４２】
ディスプレイ７０は、撮影時にはモニタ用に画像が表示され、再生時には再生用に画像が表示される、液晶ディスプレイや有機ＥＬディスプレイなどである。
【００４３】
デコーダ８０は、遠近高速切り替え撮影モードで記録された動画像の再生時、記録再生部５０によって記録媒体５１から再生された、操作部２５で選択されたチャンネルの圧縮符号化された動画像データを、伸長復号して表示処理部６０に出力する。
【００４４】
その選択されたチャンネルの圧縮符号化された動画像データに、圧縮符号化された音声データが多重化されている場合には、その圧縮符号化された音声データも、デコーダ８０で伸長復号され、図では省略したスピーカやヘッドホンなどから、上記の人の声などの音声が出力される。
【００４５】
外部インタフェース９０は、撮像装置に記録媒体５１が内蔵または装填された状態で、記録再生部５０によって記録媒体５１から再生された、圧縮符号化された動画像データを、外部のＰＣ（パーソナルコンピュータ）などの再生機器に送信するための、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インタフェースやＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどのインタフェースである。
【００４６】
もちろん、記録媒体５１が装填タイプのものである場合には、記録媒体５１を撮像装置から取り外し、外部の再生機器に装填または接続して、外部の再生機器で動画像を再生することもできる。
【００４７】
遠近高速切り替え撮影モードではない通常撮影モードでの撮影時には、信号処理部１９の出力の動画像データが、そのまま表示処理部６０に供給されるとともに、エンコーダ４１で圧縮符号化されて記録媒体５１に記録され、通常撮影モードで記録された動画像の再生時には、記録再生部５０によって記録媒体５１から再生された、圧縮符号化された動画像データが、デコーダ８０で伸長復号されて表示処理部６０に出力される。
【００４８】
（１−２．遠近高速切り替え撮影モードでの撮影記録方法の一例：図２〜図５）
＜撮影および原動画像：図２＞
図１の例の撮像装置で、ユーザが遠近高速切り替え撮影モードで撮影を行うときには、ユーザは操作部２５で撮影モードとして遠近高速切り替え撮影モードを選択する。
【００４９】
遠近高速切り替え撮影モードが選択されると、制御部２１は、撮像光学系１１のレンズ系１２を近傍合焦状態と遠方合焦状態とに交互に高速で切り替えるとともに、撮像装置の各部を遠近高速切り替え撮影モードに対応するように制御する。
【００５０】
この場合、切り替え周期（単位時間）および画面レートは、あらかじめ制御部２１に設定されるが、例えば、
（ａ）切り替え周期が１秒／６０、画面レートが毎秒６０フレームのモード、
（ｂ）切り替え周期が１秒／１２０、画面レートが毎秒１２０フレームのモード、
（ｃ）切り替え周期が１秒／２４０、画面レートが毎秒２４０フレームのモード、
というような複数のモードの中から、ユーザが選択できるように構成することもできる。
【００５１】
図２に示すような、近傍合焦状態での焦点距離ｆａ、および遠方合焦状態での焦点距離ｆｃも、あらかじめ制御部２１に設定されるが、ユーザが必要に応じて、ある範囲内で選択または調整できるように構成することもできる。
【００５２】
ユーザが、モードを選択し、必要に応じて焦点距離ｆａ，ｆｃを選択または調整して、撮影を開始すると、図２に示すように、それぞれ単位時間の期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５‥‥中の、奇数番目の期間Ｔ１，Ｔ３，Ｔ５‥‥では近傍合焦状態とされ、偶数番目の期間Ｔ２，Ｔ４‥‥では遠方合焦状態とされるように、合焦状態（焦点距離）が単位時間ごとに交互に切り替えられる。
【００５３】
そして、期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５‥‥内において、それぞれ被写体から撮像光学系１１を通じて撮像素子１５に入射した光が、それぞれ期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５‥‥に対して一定時間だけ遅れた、それぞれ単位時間の期間Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５‥‥において、それぞれ撮像素子１５からフレーム画像Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５‥‥のデータとして読み出される。
【００５４】
図２は、被写体全体中で、撮像装置から見て、近傍の被写体１が右方向から左方向に動き、遠方の被写体２が逆に左方向から右方向に動いている場合で、奇数番目のフレーム画像Ｆ１，Ｆ３，Ｆ５‥‥は、近傍の被写体１に合焦した（必ずしも完全には合焦しないが、相対的に近傍の被写体１に合焦した）ものであるので、近傍の被写体１を実線で、遠方の被写体２を破線で、それぞれ示し、偶数番目のフレーム画像Ｆ２，Ｆ４‥‥は、遠方の被写体２に合焦した（必ずしも完全には合焦しないが、相対的に遠方の被写体２に合焦した）ものであるので、遠方の被写体２を実線で、近傍の被写体１を破線で、それぞれ示す。
【００５５】
＜各チャンネルの動画像データの生成：図３および図４＞
図３に、図１の例の分割処理部３０で、図２に示すような原動画像のデータから、近傍合焦状態の動画像データおよび遠方合焦状態の動画像データを得る方法を示す。
【００５６】
上記の期間Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８‥‥中の、奇数番目の期間Ｐ１，Ｐ３，Ｐ５，Ｐ７‥‥では、それぞれスイッチ３３をバッファ３１側に切り替えて、原動画像中の奇数番目のフレーム画像Ｆ１，Ｆ３，Ｆ５，Ｆ７‥‥のデータをバッファ３１に書き込み、偶数番目の期間Ｐ２，Ｐ４，Ｐ６，Ｐ８‥‥では、それぞれスイッチ３３をバッファ３２側に切り替えて、原動画像中の偶数番目のフレーム画像Ｆ２，Ｆ４，Ｆ６，Ｆ８‥‥のデータをバッファ３２に書き込む。
【００５７】
バッファ３１および３２からの読み出しは、期間Ｐ２および期間Ｐ３で、期間Ｐ１でバッファ３１に書き込まれたフレーム画像Ｆ１のデータを、バッファ３１から繰り返し読み出し、期間Ｐ３および期間Ｐ４で、期間Ｐ２でバッファ３２に書き込まれたフレーム画像Ｆ２のデータを、バッファ３２から繰り返し読み出し、期間Ｐ４および期間Ｐ５で、期間Ｐ３でバッファ３１に書き込まれたフレーム画像Ｆ３のデータを、バッファ３１から繰り返し読み出し、期間Ｐ５および期間Ｐ６で、期間Ｐ４でバッファ３２に書き込まれたフレーム画像Ｆ４のデータを、バッファ３２から繰り返し読み出す。
【００５８】
以後、同様である。したがって、この場合、バッファ３１および３２は、それぞれ少なくとも２フレーム分（２画面分）の画像データを蓄積できる容量とする。
【００５９】
以上によって、原動画像が図２および図４の上段に示すようなものである場合には、バッファ３１の出力として、図４の中段に示すように近傍合焦状態のフレーム画像のみが連続する、原動画像データと同じ画面レートの近傍合焦状態の動画像データが得られ、バッファ３２の出力として、図４の下段に示すように遠方合焦状態のフレーム画像のみが連続する、原動画像データと同じ画面レートの遠方合焦状態の動画像データが得られる。
【００６０】
なお、図４でも、近傍合焦状態のフレーム画像では、近傍の被写体１を実線で、遠方の被写体２を破線で、それぞれ示し、遠方合焦状態のフレーム画像では、遠方の被写体２を実線で、近傍の被写体１を破線で、それぞれ示す。
【００６１】
＜圧縮符号化および記録＞
図１の例の撮像装置では、上記のように得られた近傍合焦状態の動画像データと音声データとを、エンコーダ４１で圧縮符号化し、多重化して、記録媒体５１に記録し、上記のように得られた遠方合焦状態の動画像データを、エンコーダ４２で圧縮符号化して、記録媒体５１に記録する。
【００６２】
このように、近傍合焦状態の動画像データおよび遠方合焦状態の動画像データを別個に圧縮符号化するので、それぞれの圧縮効率を良くすることができる。
【００６３】
＜撮影中のモニタ：図５＞
撮影中（撮影記録中）のモニタについては、一例として、あらかじめ、図５に示すように、ディスプレイ画面７１上に子画面７２を設定し、ディスプレイ画面７１中の子画面７２を除く領域部分を親画面７３として、例えば、親画面７３には、近傍合焦状態の動画像データによって近傍合焦状態の動画像が表示され、子画面７２には、遠方合焦状態の動画像データによって遠方合焦状態の動画像が表示されるようにする。
【００６４】
したがって、ユーザが遠近高速切り替え撮影モードで撮影を開始すると、図５の左側に示すように、近傍合焦状態の動画像が親画面７３に表示され、遠方合焦状態の動画像が子画面７２に表示される。
【００６５】
この状態で、ユーザが、ディスプレイ画面７１上に設けられたタッチパネルの子画面７２上の部分、親画面７３上の部分またはいずれかの部分にタッチし、または操作部２５のモニタ切り替え用ボタンを押すと、親画面７３の画像と子画面７２の画像とが入れ替わって、図５の右側に示すように、遠方合焦状態の動画像が親画面７３に表示され、近傍合焦状態の動画像が子画面７２に表示されるようにする。
【００６６】
さらに、この状態で、ユーザが、タッチパネルの子画面７２上の部分、親画面７３上の部分またはいずれかの部分にタッチし、またはモニタ切り替え用ボタンを押すと、親画面７３の画像と子画面７２の画像とが入れ替わって、図５の左側に示すように、近傍合焦状態の動画像が親画面７３に表示され、遠方合焦状態の動画像が子画面７２に表示されるようにする。
【００６７】
この方法では、近傍合焦状態のフレーム画像と遠方合焦状態のフレーム画像とが交互に表示されないため、表示が見やすくなるとともに、ユーザは、親画面７３で任意の一方の合焦状態の動画像を観察しながら、子画面７２で他方の合焦状態の動画像も見ることができる。
【００６８】
ユーザが撮影開始前に初期状態として、図５の左側に示すように近傍合焦状態の動画像が親画面７３に表示される状態と図５の右側に示すように遠方合焦状態の動画像が親画面７３に表示される状態とのいずれかを選択できるように構成することもできる。
【００６９】
（１−３．遠近高速切り替え撮影モードでの撮影記録方法の他の例：図６）
第１の実施形態で、各チャンネルの動画像データの生成、音声の処理、および撮影中のモニタとしては、上記の例のほかに、以下のような方法を用いることもできる。
【００７０】
＜各チャンネルの動画像データの生成＞
上記の例は、図３および図４に示したように、バッファ３１および３２から、原動画像データ中の同じフレーム画像のデータを２フレーム分、繰り返し読み出すことによって、それぞれ原動画像データと同じ画面レートの近傍合焦状態の動画像データおよび遠方合焦状態の動画像データを得る場合であるが、このように同じフレーム画像のデータをコピーする代わりに、補間演算による補間によって、近傍合焦状態の動画像データおよび遠方合焦状態の動画像データとして、それぞれ原動画像データと同じ画面レートの動画像データを得るようにしてもよい。
【００７１】
具体的に、近傍合焦状態の動画像データについては、フレーム画像Ｆ１のデータとフレーム画像Ｆ３のデータとを画素ごとに平均化した値を、フレーム画像Ｆ１とフレーム画像Ｆ３との間に配列されるフレーム画像Ｆ１’のデータとして算出し、フレーム画像Ｆ３のデータとフレーム画像Ｆ５のデータとを画素ごとに平均化した値を、フレーム画像Ｆ３とフレーム画像Ｆ５との間に配列されるフレーム画像Ｆ３’のデータとして算出し、遠方合焦状態の動画像データについても、フレーム画像Ｆ２のデータとフレーム画像Ｆ４のデータとを画素ごとに平均化した値を、フレーム画像Ｆ２とフレーム画像Ｆ４との間に配列されるフレーム画像Ｆ２’のデータとして算出し、フレーム画像Ｆ４のデータとフレーム画像Ｆ６のデータとを画素ごとに平均化した値を、フレーム画像Ｆ４とフレーム画像Ｆ６との間に配列されるフレーム画像Ｆ４’のデータとして算出し、以後、同様とする。
【００７２】
＜音声の処理について＞
上記の例は、近傍合焦状態の動画像データに対してのみ音声データを多重化する場合であるが、遠方合焦状態の動画像データに対してのみ音声データを多重化してもよく、または近傍合焦状態の動画像データと遠方合焦状態の動画像データの双方に音声データを多重化してもよい。
【００７３】
近傍合焦状態の動画像データと遠方合焦状態の動画像データの双方に音声データを多重化する場合、同じ音声データを多重化してもよく、または別個の音声データを多重化してもよい。
【００７４】
また、圧縮符号化された音声データは、圧縮符号化された動画像データと多重化することなく、圧縮符号化された動画像データとは別のファイルとして記録媒体５１に記録してもよい。
【００７５】
この場合、圧縮符号化された動画像データのファイルに、関連する音声ファイルが存在することを示す情報、およびその音声ファイルを特定する情報を付加し、圧縮符号化された音声データのファイルに、関連する動画像ファイルが存在することを示す情報、およびその動画像ファイルを特定する情報を付加することによって、再生時、圧縮符号化された動画像データと圧縮符号化された音声データとを一緒に再生することができ、動画像と音声とを一緒に再生することができる。
【００７６】
＜撮影中のモニタ：図６＞
図５で上述した例は、近傍合焦状態の動画像と遠方合焦状態の動画像のうちの一方を親画面７３に表示すると同時に、他方を子画面７２に表示する場合であるが、親画面および子画面を設定しないで、近傍合焦状態の動画像と遠方合焦状態の動画像のうちの一方のみをディスプレイ画面上に表示するようにしてもよい。
【００７７】
例えば、撮影開始当初は、制御部２１での設定、または撮影開始前のユーザの選択に従って、図６の左側に示すように、近傍合焦状態の動画像データによって近傍合焦状態の動画像がディスプレイ画面７１に表示され、この状態で、ユーザが、ディスプレイ画面７１上に設けられたタッチパネルにタッチし、または操作部２５のモニタ切り替え用ボタンを押すと、図６の右側に示すように、遠方合焦状態の動画像データによって遠方合焦状態の動画像がディスプレイ画面７１に表示され、さらに、この状態で、ユーザが、タッチパネルにタッチし、またはモニタ切り替え用ボタンを押すと、図６の左側に示すように、近傍合焦状態の動画像データによって近傍合焦状態の動画像がディスプレイ画面７１に表示されるようにする。
【００７８】
この方法でも、近傍合焦状態のフレーム画像と遠方合焦状態のフレーム画像とが交互に表示されないため、表示が見やすくなるとともに、ユーザは、ディスプレイ画面７１で任意の一方の合焦状態の動画像を観察することができる。
【００７９】
さらに、モニタ方法としては、図４の上段に示すような原動画像のデータ中の、近傍合焦状態のフレーム画像Ｆ１，Ｆ３，Ｆ５‥‥のデータのみ、または遠方合焦状態のフレーム画像Ｆ２，Ｆ４，Ｆ６‥‥のデータのみを、表示処理部６０に供給することによって、ディスプレイ７０上に、近傍合焦状態のフレーム画像Ｆ１，Ｆ３，Ｆ５‥‥のみ、または遠方合焦状態のフレーム画像Ｆ２，Ｆ４，Ｆ６‥‥のみを、動画像として表示するようにしてもよい。
【００８０】
この場合も、撮影前または撮影中にユーザが表示される方の画像を選択できるように構成することができる。
【００８１】
（１−４．分割処理部の他の例：図７）
図７（Ａ）に示すように、分割処理部３０は１つのバッファ３５で構成することもできる。
【００８２】
この場合、アドレスマップとしては、第１の方法では、図７（Ｂ）に示すように、バッファ３５を１つのリングバッファ３５ｅを構成するものとして、原動画像のフレーム画像Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５‥‥のデータをリングバッファ３５ｅに順次書き込み、読み出しについては、チャンネル１として、近傍合焦状態のフレーム画像のデータが、図４の中段に示したように順次読み出され、チャンネル２として、遠方合焦状態のフレーム画像のデータが、図４の下段に示したように順次読み出されるように、読み出し位置を制御する。
【００８３】
図７（Ｂ）は、図４の期間Ｐ５と同様に、リングバッファ３５ｅにフレーム画像Ｆ５のデータが書き込まれ、チャンネル１としてリングバッファ３５ｅからフレーム画像Ｆ３のデータが読み出され、チャンネル２としてリングバッファ３５ｅからフレーム画像Ｆ４のデータが読み出されている状態（期間）を示す。
【００８４】
第２の方法では、図７（Ｃ）に示すように、バッファ３５を２つのリングバッファ３５ａおよび３５ｃを構成するものとして、一方のリングバッファ３５ａに近傍合焦状態のフレーム画像Ｆ１，Ｆ３，Ｆ５‥‥のデータを順次書き込むとともに、他方のリングバッファ３５ｃに遠方合焦状態のフレーム画像Ｆ２，Ｆ４‥‥のデータを順次書き込み、読み出しについては、チャンネル１として、一方のリングバッファ３５ａから近傍合焦状態のフレーム画像のデータが、図４の中段に示したように順次読み出され、チャンネル２として、他方のリングバッファ３５ｃから遠方合焦状態のフレーム画像のデータが、図４の下段に示したように順次読み出されるように、読み出し位置を制御する。
【００８５】
図７（Ｃ）は、図４の期間Ｐ５と同様に、リングバッファ３５ａにフレーム画像Ｆ５のデータが書き込まれ、チャンネル１としてリングバッファ３５ａからフレーム画像Ｆ３のデータが読み出され、チャンネル２としてリングバッファ３５ｃからフレーム画像Ｆ４のデータが読み出されている状態（期間）を示す。
【００８６】
［２．他の実施形態：図８および図９］
（２−１．焦点距離を３通り以上に循環的に高速で切り替える場合）
上述した第１の実施形態は、焦点距離を相対的に短い距離と相対的に長い距離とに交互に高速で切り替える場合であるが、焦点距離を３通り以上に循環的に高速で切り替えるようにしてもよい。
【００８７】
例えば、焦点距離を３通りに循環的に高速で切り替える場合には、分割処理部では、焦点距離が相対的に短い距離ｆａとされた時のフレーム画像のみが連続する近傍合焦状態の動画像のデータ、焦点距離が中間の距離ｆｂとされた時のフレーム画像のみが連続する中間合焦状態の動画像のデータ、および焦点距離が相対的に長い距離ｆｃとされた時のフレーム画像のみが連続する遠方合焦状態の動画像のデータが、同時並行的に得られるようにし、その近傍合焦状態の動画像データ、中間合焦状態の動画像データ、および遠方合焦状態の動画像データを、別個に圧縮符号化して、記録媒体５１に記録する。
【００８８】
（２−２．他の撮像条件を高速で切り替える場合：図８および図９）
以上は、焦点距離を高速で切り替える場合であるが、この発明は、ズーム状態や露出または絞りなどを高速で切り替えて、被写体を動画像として撮影する場合にも、適用することができる。
【００８９】
図８に、ズーム状態を交互に高速で切り替える場合を示す。図８の左側は、相対的にズームアウトした状態で被写体を撮影した時であり、図８の右側は、相対的にズームインした状態で被写体を撮影した時である。
【００９０】
この例では、図１の例の撮像装置の撮像光学系１１を、このようなズームアウト状態とズームイン状態とに交互に高速で切り替える。
【００９１】
ただし、ズーム状態を切り替える場合は、撮像光学系１１の構成上、焦点距離を切り替える場合と比べると、それほど高速で切り替えることは難しく、例えば、焦点距離を切り替える場合の上記（ｂ）（ｃ）のように切り替え周期を１秒／１２０以下とすることは困難である。
【００９２】
そのため、例えば、画面レートを毎秒１２０フレームとする場合には、切り替え周期は１秒／６０として、１秒／６０ごとにズームアウト状態とズームイン状態とに交互に切り替えて、図９に示すように、原動画像データとして、それぞれ１秒／６０の時間の期間Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６‥‥中の、奇数番目の期間Ｐ１，Ｐ３，Ｐ５‥‥では、ズームアウト状態のフレーム画像Ｆ１，Ｆ３，Ｆ５‥‥のデータとなり、偶数番目の期間Ｐ２，Ｐ４，Ｐ６‥‥では、ズームイン状態のフレーム画像Ｆ２，Ｆ４，Ｆ６‥‥のデータとなる画像データを得る。
【００９３】
分割処理部３０では、例えば、分割処理部３０を図１の例のように構成する場合、期間Ｐ１，Ｐ３，Ｐ５‥‥では、それぞれスイッチ３３をバッファ３１側に切り替えて、原動画像中の奇数番目のフレーム画像Ｆ１，Ｆ３，Ｆ５‥‥のデータをバッファ３１に書き込み、期間Ｐ２，Ｐ４，Ｐ６‥‥では、それぞれスイッチ３３をバッファ３２側に切り替えて、原動画像中の偶数番目のフレーム画像Ｆ２，Ｆ４，Ｆ６‥‥のデータをバッファ３２に書き込む。
【００９４】
そして、バッファ３１および３２からの読み出しは、読み出しクロックを書き込みクロックの２倍の周波数にして、期間Ｐ２の前半の期間Ｑ１、期間Ｐ２の後半の期間Ｑ２、期間Ｐ３の前半の期間Ｑ３、および期間Ｐ３の後半の期間Ｑ４で、期間Ｐ１でバッファ３１に書き込まれたフレーム画像Ｆ１のデータを、バッファ３１から繰り返し読み出し、期間Ｑ３、期間Ｑ４、期間Ｐ４の前半の期間Ｑ５、および期間Ｐ４の後半の期間Ｑ６で、期間Ｐ２でバッファ３２に書き込まれたフレーム画像Ｆ２のデータを、バッファ３２から繰り返し読み出し、期間Ｑ５、期間Ｑ６、期間Ｐ５の前半の期間Ｑ７、および期間Ｐ５の後半の期間Ｑ８で、期間Ｐ３でバッファ３１に書き込まれたフレーム画像Ｆ３のデータを、バッファ３１から繰り返し読み出し、期間Ｑ７、期間Ｑ８、期間Ｐ６の前半の期間Ｑ９、および期間Ｐ６の後半の期間Ｑ１０で、期間Ｐ４でバッファ３２に書き込まれたフレーム画像Ｆ４のデータを、バッファ３２から繰り返し読み出し、以後、同様とする。
【００９５】
したがって、バッファ３１の出力として、ズームアウト状態のフレーム画像のみが連続する、原動画像データの２倍の画面レートのズームアウト状態の動画像データが得られ、バッファ３２の出力として、ズームイン状態のフレーム画像のみが連続する、原動画像データの２倍の画面レートのズームイン状態の動画像データが得られる。
【００９６】
（２−３．撮像装置について）
撮像装置としては、ビデオカメラに限らず、動画撮影機能を有するものであれば、デジタルカメラや、携帯電話端末などに内蔵されたカメラでもよい。
【図面の簡単な説明】
【００９７】
【図１】この発明の撮像装置の一例を示す図である。
【図２】焦点距離高速切り替えの一例を示す図である。
【図３】近傍合焦状態の動画像および遠方合焦状態の動画像を得る方法の一例を示す図である。
【図４】原動画像、近傍合焦状態の動画像および遠方合焦状態の動画像の一例を示す図である。
【図５】モニタ方法の一例を示す図である。
【図６】モニタ方法の他の例を示す図である。
【図７】分割処理部を１つのバッファで構成する場合の例を示す図である。
【図８】ズーム高速切り替えの一例を示す図である。
【図９】ズームアウト状態の動画像およびズームイン状態の動画像を得る方法の一例を示す図である。
【符号の説明】
【００９８】
主要部については図中に全て記述したので、ここでは省略する。
【図１】
2009100176.tif 000003
【図２】
2009100176.tif 000004
【図３】
2009100176.tif 000005
【図４】
2009100176.tif 000006
【図５】
2009100176.tif 000007
【図６】
2009100176.tif 000008
【図７】
2009100176.tif 000009
【図８】
2009100176.tif 000010
【図９】
2009100176.tif 000011