(57)【特許請求の範囲】
【請求項１】
被写体に応じた映像信号を出力する撮像装置において、
単位画素毎の光電変換信号を蓄積し、蓄積した光電変化信号を蓄積時間が異なる１つ以上の映像信号として出力する撮像素子と、
蓄積時間が異なる１つ以上の映像信号からフレーム周波数の異なる１つ以上の映像信号を生成して出力する信号処理部と
を備え、
前記撮像素子は１つ以上の単位画素回路で構成され、
前記単位画素回路が、光電変換手段，前記光電変換手段から光電変換信号を読み出す第１の読み出し手段，前記光電変換手段をリセットするリセット手段，光電変換手段から読み出した光電変換信号を蓄積する蓄積手段，前記蓄積手段に蓄積した光電変換信号を読み出す第２の読み出し手段を備え、
前記第１の読み出し手段は前記光電変換手段をリセットする周期で前記光電変換信号を読み出し、前記第２の読み出し手段は前記光電変換手段をリセットする周期より長い周期で前記光電変換信号を読み出すように、前記第１の読み出し手段及び第２の読み出し手段を制御して蓄積時間が異なる１つ以上の映像信号を出力することを特徴とする撮像装置。
【請求項２】
被写体に応じた映像信号を出力する撮像方法において、
撮像素子が単位画素毎の光電変換信号を蓄積し、蓄積した光電変化信号を蓄積時間が異なる１つ以上の映像信号として出力する第１の段階と、
信号処理部が蓄積時間が異なる１つ以上の映像信号からフレーム周波数の異なる１つ以上の映像信号を生成して出力する第２の段階と
を備え、
前記第１の段階は、前記撮像素子を構成する１つ以上の単位画素回路が備える光電変換手段，前記光電変換手段から光電変換信号を読み出す第１の読み出し手段，前記光電変換手段をリセットするリセット手段，光電変換手段から読み出した光電変換信号を蓄積する蓄積手段，前記蓄積手段に蓄積した光電変換信号を読み出す第２の読み出し手段のうち、前記第１の読み出し手段及び第２の読み出し手段を、前記第１の読み出し手段は前記光電変換手段をリセットする周期で前記光電変換信号を読み出し、前記第２の読み出し手段は前記光電変換手段をリセットする周期より長い周期で前記光電変換信号を読み出すように制御して蓄積時間が異なる１つ以上の映像信号を出力することを特徴とする撮像方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び撮像方法に係り、特にフレーム周波数の異なる映像を出力する撮像装置及び撮像方法に関する。
【０００２】
【従来の技術】
近年、映像機器等の高性能化に伴い、映画或いはテレビジョン等の様々な映像メディアが開発されるに至った。例えば、ある映像メディアの映像は、その映像メディアに対応する独自のフォーマットで記録されている。
【０００３】
ところで、映像メディアの一例としての映画では、以前からフィルムでなければ高画質が保てないと言われていた。しかし、映画機材の電子機器化が進み、フィルムカメラが主流であった映画用カメラにおいて、ハイビジョン技術をベースにした２４コマ（フレーム／秒）の映画用ＣＣＤカメラが開発されるようになっている。
【０００４】
したがって、テレビジョンの高画質化と映画機材の電子機器化とにより、テレビジョンと映画との垣根が低くなり、素材やコンテンツの共用化がますます活発になると予想されている。また、テレビジョン及び映画に限ることなく、映像機器等の高性能化に伴い、様々な映像メディア間で素材やコンテンツの共用化が進むと予想される。
【０００５】
【発明が解決しようとする課題】
しかしながら、映像メディアに対応した独自のフォーマットで流通される映像を共用化する為には、互いのフレーム周波数の差異が大きな障害となる。例えばテレビジョンと映画とで映像の共有化を行う場合、テレビジョンのフレーム周波数が３０（フレーム／秒）若しくは２９．９７（フレーム／秒）であり、映画のフレーム周波数が２４（フレーム／秒）である。
【０００６】
したがって、フレーム周波数が異なる映像メディア間で映像を共有化する為には、フレーム周波数の変換を行うフォーマット変換器等の機材が必要であった。
【０００７】
このようなフォーマット変換器は、例えば数枚から数十枚のフレームメモリ及び演算装置から構成され、時間軸領域でのサブサンプリング処理又は内挿処理を行う。サブサンプリング処理は、映像のフレーム周波数を例えば３０（フレーム／秒）から２４（フレーム／秒）に変換するものである。また、内挿処理は、映像のフレーム周波数を例えば２４（フレーム／秒）から３０（フレーム／秒）に変換するものである。
【０００８】
以上のように、フレーム周波数が異なる映像メディア間で映像を共有化する為には、フレーム周波数の変換を行う大規模な機材又は装置が必要になるという問題があった。
【０００９】
また、フレーム周波数の変換には時間が必要であり、リアルタイムにフレーム周波数が異なる１つ以上の映像を得ることは非常に困難であるという問題があった。
【００１０】
本発明は、上記の点に鑑みなされたもので、フレーム周波数が異なる映像メディアに共用できる映像を撮影することができ、フレーム周波数の異なる１つ以上の映像を簡易に出力することが可能な撮像装置及び撮像方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、被写体に応じた映像信号を出力する撮像装置において、単位画素毎の光電変換信号を蓄積し、蓄積した光電変化信号を蓄積時間が異なる１つ以上の映像信号として出力する撮像素子と、蓄積時間が異なる１つ以上の映像信号からフレーム周波数の異なる１つ以上の映像信号を生成して出力する信号処理部とを備え、前記撮像素子は１つ以上の単位画素回路で構成され、前記単位画素回路が、光電変換手段，前記光電変換手段から光電変換信号を読み出す第１の読み出し手段，前記光電変換手段をリセットするリセット手段，光電変換手段から読み出した光電変換信号を蓄積する蓄積手段，前記蓄積手段に蓄積した光電変換信号を読み出す第２の読み出し手段を備え、前記第１の読み出し手段は前記光電変換手段をリセットする周期で前記光電変換信号を読み出し、前記第２の読み出し手段は前記光電変換手段をリセットする周期より長い周期で前記光電変換信号を読み出すように、前記第１の読み出し手段及び第２の読み出し手段を制御して蓄積時間が異なる１つ以上の映像信号を出力することを特徴とする。
【００１８】
このような撮像装置では、蓄積時間が異なる１つ以上の映像信号からフレーム周波数の異なる１つ以上の映像信号を生成して出力する。したがって、フレーム周波数が異なる映像メディアに共用できる映像を撮影することができ、フレーム周波数の異なる１つ以上の映像を簡易に出力することが可能である。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。
【００２０】
図１は、本発明の撮像装置の第１実施例の構成図を示す。図１の撮像装置１は、撮像部１０，信号処理部２０を備えるように構成される。撮像部１０は被写体の光学像を電気信号に変換し、変換した電気信号を映像信号として出力する。また、信号処理部２０は、撮像部１０から供給される映像信号をフレーム周波数の異なる複数の映像信号に変換して出力する。例えば図１の信号処理部２０は、Ａ（フレーム／秒）の映像信号１及びＢ（フレーム／秒）の映像信号２を出力している。
【００２１】
撮像部１０は信号処理部２０から出力される映像信号１及び映像信号２のフレーム周波数の最小公倍数となるフレーム周波数の映像信号を出力する。例えば撮像部１０から出力される映像信号のフレーム周波数をＬ（フレーム／秒）とすると、撮像部１０から出力される映像信号のフレーム周波数Ｌ（フレーム／秒），信号処理部２０から出力される映像信号１のフレーム周波数Ａ（フレーム／秒）及び映像信号２のフレーム周波数Ｂ（フレーム／秒）は以下の式（１）〜式（３）の関係を有している。
【００２２】
Ｌ＝Ａ′×Ｂ′×Ｇ・・・・・（１）
Ａ＝Ａ′×Ｇ・・・・・（２）
Ｂ＝Ｂ′×Ｇ・・・・・（３）
なお、ＧはＡ及びＢの最大公約数である。上記の式（１）〜式（３）の関係を有していれば、信号処理部２０は図２のように映像信号をフレーム単位で処理すればよく、装置構成を単純化できる。
【００２３】
図２は、信号処理部での処理を説明する一例の図を示す。なお、図２は、Ａ＝３，Ｂ＝２及びＧ＝１の場合について表している。信号処理部２０からＡ（フレーム／秒）の映像信号１及びＢ（フレーム／秒）の映像信号２を出力する場合、式（１）〜式（３）とに基づき、撮像部１０から図２（Ａ）のような６（フレーム／秒）の映像信号を出力する。
【００２４】
信号処理部２０は図２（Ａ）のような映像信号を２フレーム単位で加算し、加算した結果から１フレームを生成することにより、図２（Ｂ）のような３（フレーム／秒）の出力映像１を出力する。また、信号処理部２０は図２（Ａ）のような映像信号を３フレーム単位で積分し、積分した結果から１フレームを生成することにより、図２（Ｃ）のような２（フレーム／秒）の出力映像２を出力する。
【００２５】
図３は、信号処理部の一実施例の構成図を示す。図３の信号処理部２０は、フレーム遅延器２１〜２３と、加算器２４，２５と、スイッチ２６，２７とを備えるように構成される。
【００２６】
撮像部１０から出力される映像信号は、フレーム遅延器２１，２２と加算器２４，２５とに供給される。フレーム遅延器２１は、撮像部１０から出力された映像信号を１フレーム期間遅延させて加算器２４に出力する。また、フレーム遅延器２２は、撮像部１０から出力された映像信号を１フレーム期間遅延させて加算器２５及びフレーム遅延器２３に出力する。フレーム遅延器２３は、フレーム遅延器２２から出力された映像信号を１フレーム期間遅延させて加算器２５に出力する。
【００２７】
加算器２４は、撮像部１０から出力された映像信号と、フレーム遅延器２１から出力された映像信号とを加算し、加算した映像信号をスイッチ２６を介して出力映像信号１として出力する。スイッチ２６はサブサンプリング処理を行うものであり、例えば図２の場合、偶数フレームを選択して出力することにより２フレーム毎の出力映像信号１を出力することができる。
【００２８】
また、加算器２５は、撮像部１０から出力された映像信号と、フレーム遅延器２２から出力された映像信号と、フレーム遅延器２３から出力された映像信号とを加算し、加算した映像信号をスイッチ２７を介して出力映像信号２として出力する。スイッチ２７はサブサンプリング処理を行うものであり、例えば図２の場合、３の倍数のフレームを選択して出力することにより３フレーム毎の出力映像信号２を出力することができる。
【００２９】
図４は、信号処理部でのフィルタリング処理の一例について説明する図を示す。例えば信号処理部２０に時間方向のフィルタリング機能を持たせる場合、図３と同様なフレーム遅延器２１〜２３を複数段設置することにより実現できる。
【００３０】
図４は、７タップの場合について表している。また、図４のｋ１１〜ｋ３７はフィルタリング係数を表している。例えば図４（Ａ）のような映像を７フレーム単位で加算するときのフィルタ係数ｋ１１〜ｋ１７を変更することで時間軸フィルタ特性を可変することができる。
【００３１】
このように信号処理部２０に時間軸フィルタ特性を持たせ、その時間軸フィルタ特性を可変することにより、フレーム周波数の低い映像の動き解像度及び動きの滑らかさを可変することができ、フレーム周波数に応じて最適な映像を再生することができる。
【００３２】
図５は、本発明の撮像装置の第２実施例の構成図を示す。図５の撮像装置２は、撮像素子３０，信号処理部４０を備えるように構成される。撮像素子３０は被写体の光学像を電気信号に変換し、変換した電気信号を映像信号として出力端子３１及び３２から出力する。
【００３３】
信号処理部４０は撮像素子３０の出力端子３１及び３２から供給される映像信号（信号１，信号２）をフレーム周波数の異なる複数の映像信号（出力映像信号１，出力映像信号２）に変換して出力する。例えば信号処理部４０は、減算器４１と、フレーム遅延器４２，４３と、スイッチ４４と、加算器４５と、フレームメモリ４６とを備えるように構成される。
【００３４】
撮像素子３０の出力端子３１から供給される映像信号（信号１）は、出力映像信号１として出力されると共に、減算器４１に供給される。また、撮像素子３０の出力端子３２から供給される映像信号（信号２）は減算器４１及び加算器４５に供給される。
【００３５】
減算器４１は出力端子３１及び３２から供給される映像信号の差分を算出し、算出した差分信号をフレーム遅延器４２に出力する。フレーム遅延器４２は減算器４１から供給された差分信号を１フレーム期間遅延させてフレーム遅延器４３及び加算器４５に出力する。
【００３６】
また、フレーム遅延器４３はフレーム遅延器４２から供給された差分信号（信号３）を１フレーム期間遅延させ、１フレーム期間遅延させた差分信号をスイッチ４４に出力する。スイッチ４４は制御信号ＳＷ１に応じて開閉制御され、例えば制御信号ＳＷ１がＨレベルのときにグランド（ＧＮＤ）レベルを選択し、制御信号ＳＷ１がＬレベルのときにフレーム遅延器４３の出力を選択する。スイッチ４４は、フレーム遅延器４３から供給された差分信号を制御信号ＳＷ１に応じた信号（信号４）に変換して出力する。
【００３７】
加算器４５は出力端子３２から出力された映像信号（信号２）と、フレーム遅延器４２から出力された差分信号（信号３）と、スイッチ４４から出力された信号（信号４）とを加算し、加算信号をフレームメモリ４６に出力する。フレームメモリ４６は制御信号Ｗに応じて書き込みタイミングが制御されており、制御信号Ｗに応じて加算器４５から出力された加算信号を書き込む。フレームメモリ４６に書き込まれた加算信号は、出力映像信号２として出力される。
【００３８】
図６は、撮像素子の一実施例の構成図を示す。撮像素子３０は単位画素３５が格子状に配置されている。夫々の単位画素３５は、読み出しパルス線３６ａ，３６ｂ及びリセットパルス線３７を介して垂直走査回路３３に接続されると共に、信号読み出しパルス線３８ａ，３８ｂを介して水平走査回路３４ａ及び３４ｂに接続されている。夫々の単位画素３５は、非破壊読み出しが可能なＸ−Ｙアドレス構造となっている。
【００３９】
単位画素３５は、水平走査回路３４ａ及び３４ｂを有することで、単位画素３５から異なる２つの信号１，２を読み出すことができる。単位画素３５から読み出された異なる２つの信号１，２は、一方の信号１が信号読み出し線３８ａ及びアンプ３９ａを介して出力端子３１から出力され、他方の信号２が読み出し線３８ｂ及びアンプ３９ｂを介して出力端子３２から出力される。
【００４０】
図７は、単位画素の一例の構成図を示す。単位画素３５は、トランジスタＴｒ．１〜Ｔｒ．７と、フォトダイオードＰＤと、非破壊読み出し信号をホールドする容量Ｃと、読み出しパルス線３６ａ，３６ｂと、リセットパルス線３７と、信号読み出し線３８ａ，３８ｂとを備えるように構成される。
【００４１】
トランジスタＴｒ．１は、フォトダイオードＰＤに蓄積された光電変換信号を増幅して信号読み出し線３８ａに出力する。トランジスタＴｒ．２はゲート端子が読み出しパルス線３６ｂに接続されており、読み出しパルス線３６ｂから供給される読み出しパルス２に応じてトランジスタＴｒ．１の動作をオン／オフ制御する。
【００４２】
トランジスタＴｒ．３はゲート端子がリセットパルス線３７に接続されており、フォトダイオードＰＤに蓄積された電荷をリセットする。トランジスタＴｒ．４はフォトダイオードＰＤに蓄積された光電変換信号を読み出し、読み出した光電変換信号を容量Ｃに蓄積する。なお、トランジスタＴｒ．４はフォトダイオードＰＤから非破壊読み出しを行っている。
【００４３】
トランジスタＴｒ．５はゲート端子が読み出しパルス線３６ａに接続されており、読み出しパルス線３６ａから供給される読み出しパルス１に応じてトランジスタＴｒ．４の動作をオン／オフ制御する。トランジスタＴｒ．６は容量Ｃに蓄積された信号を増幅して信号読み出し線３８ｂに出力する。トランジスタＴｒ．７は、ゲート端子が読み出しパルス線３６ｂに接続されており、トランジスタＴｒ．６の信号読み出しタイミングを読み出しパルス線３６ｂから供給される読み出しパルス２で制御している。
【００４４】
図８は、本発明による撮像素子の一例のタイミング図を示す。撮像装置２から出力される出力映像信号１，出力映像信号２のフレーム周波数をＦｖ１，Ｆｖ２（Ｆｖ１＞Ｆｖ２）とすると、蓄積時間がＴｖ１，Ｔｖ２（Ｔｖ１＜Ｔｖ２）となる出力映像信号を得る必要がある。
【００４５】
図８（Ｄ）のような蓄積時間Ｔｖ１の出力映像信号１を得る為に、各単位画素３５のフォトダイオードＰＤをリセットするリセットパルスの周期を図８（Ｅ）のようにＴｖ１とする。すると、出力映像信号２に必要な蓄積時間Ｔｖ２は、図８（Ｃ）のように図８（Ｅ）のリセットパルスより長い期間（例えば、▲１▼＋▲２▼）となる。
【００４６】
期間▲１▼の光電変換信号は図８（Ｇ）に応じて出力端子１より出力されている。そこで、期間▲２▼の光電変換信号を得る為に、図８（Ｅ）のリセットパルスが出力されてから期間▲２▼が経過した後に図８（Ｆ）の読み出しパルス１をＨレベルとする。
【００４７】
図８（Ｅ）のリセットパルスが出力されてから期間▲２▼が経過した後に図８（Ｆ）の読み出しパルス１をＨレベルとすることで、期間▲２▼の光電変換信号が容量Ｃに蓄積される。フォトダイオードＰＤ及び容量Ｃに蓄積された信号は、図８（Ｇ）のような読み出しパルス２に応じてＴｖ１の周期で読み出され、撮像素子３０の出力端子３１，３２から出力される。
【００４８】
以後のフレームについても同様に考えることができる。図８（Ｆ）のような読み出しパルス１をＴｖ２の周期でＨレベルにすることで、リセットパルスの周期Ｔｖ１で動作するフォトダイオードＰＤから蓄積時間Ｔｖ２の信号を得る為に必要な中間（例えば、期間▲２▼，▲５▼，▲７▼等）の光電変換信号を出力端子３２から得ることが可能である。
【００４９】
図９は、本発明による信号処理部の一例のタイミング図を示す。図９（Ａ）の信号１は、出力端子３１から出力される信号である。図９（Ｄ）の信号２は、出力端子３２から出力される信号である。図９（Ｆ）の信号３は、信号１と信号２との差分信号が１フレーム期間（Ｔｖ１）遅延された信号である。図９（Ｈ）の信号４は、信号３が１フレーム期間（Ｔｖ１）遅延され、１フレーム期間（Ｔｖ１）遅延された信号が制御信号ＳＷ１で制御されるスイッチ４４を介して出力された信号である。
【００５０】
出力映像信号１は、図９（Ａ）の信号１がそのまま出力されたものである。一方、出力映像信号２は、信号２と信号３と信号４とを加算し、加算した信号を制御信号Ｗに応じてフレームメモリ４６に書き込み、書き込んだ信号をフレーム期間Ｔｖ２で出力したものである。
【００５１】
図９（Ｊ）のように、出力映像信号２の第１′フレームは、第２フレームの期間に出力端子３２から出力される蓄積期間▲２▼の信号２と第２フレームの期間にフレーム遅延器４２から出力される蓄積時間▲１▼の信号３とを加算し、加算した蓄積時間（▲１▼＋▲２▼）の信号をフレームメモリ４６に書き込み、書き込んだ信号を時間軸変換して読み出すことにより生成される。
【００５２】
出力映像信号２の第２′フィールドは、蓄積時間▲５▼の信号２と、蓄積時間▲４▼の信号３と、蓄積時間▲３▼の信号４とを加算し、加算した蓄積時間（▲３▼＋▲４▼＋▲５▼）の信号をフレームメモリ４６に書き込み、書き込んだ信号を第１′フレームに続いて読み出すことにより生成される。
【００５３】
このように、信号処理部４０は、撮像素子３０の出力端子３１及び３２から供給される映像信号（信号１，信号２）をフレーム周波数の異なる複数の映像信号（出力映像信号１，出力映像信号２）に変換して出力することができる。
【００５４】
なお、本実施例では、フレーム期間Ｔｖ１＜Ｔｖ２＜（Ｔｖ１×２）の例について説明したが、同様な考え方により撮像素子３０の出力端子３１及び３２から供給される映像信号（信号１，信号２）を様々なフレーム期間の出力映像信号２に変換して出力することが可能である。
【００５５】
【発明の効果】
上述の如く、本発明によれば、フレーム周波数が異なる映像メディアに共用できる映像を撮影することができ、フレーム周波数の異なる１つ以上の映像を簡易且つリアルタイムに出力することが可能である。
【００５６】
また、本発明によれば、フレーム周波数の低い映像の動き解像度及び動きの滑らかさを可変することができ、フレーム周波数に応じて最適な映像を再生することができる。
【００５７】
また、本発明によれば、映像信号をフレーム単位で処理すればよく、装置構成を単純化できる。例えば第１フレーム周波数を１２０Ｈｚ，第２フレーム周波数を３０，第３フレーム周波数を２４とすることにより、テレビジョン用の映像と映画用の映像とを同時に出力することができる。
【００５８】
【図面の簡単な説明】
【図１】本発明の撮像装置の第１実施例の構成図である。
【図２】信号処理部での処理を説明する一例の図である。
【図３】信号処理部の一実施例の構成図である。
【図４】信号処理部でのフィルタリング処理の一例について説明する図である。
【図５】本発明の撮像装置の第２実施例の構成図である。
【図６】撮像素子の一実施例の構成図である。
【図７】単位画素の一例の構成図である。
【図８】本発明による撮像素子の一例のタイミング図である。
【図９】本発明による信号処理部の一例のタイミング図である。
【符号の説明】
１    撮像装置
１０    撮像部
２０，４０    信号処理部
２１，２２，２３，４２，４３    フレーム遅延器
２４，２５，４５    加算器
２６，２７，４４    スイッチ
３０    撮像素子
３１，３２    出力端子
３３    垂直走査回路
３４ａ，３４ｂ    水平走査回路
３５    単位画素
４１    減算器
４６    フレームメモリ
【図１】
0004430840.tif 000002
【図２】
0004430840.tif 000003
【図３】
0004430840.tif 000004
【図４】
0004430840.tif 000005
【図５】
0004430840.tif 000006
【図６】
0004430840.tif 000007
【図７】
0004430840.tif 000008
【図８】
0004430840.tif 000009
【図９】
0004430840.tif 000010