(57)【要約】【課題】  音声付き動画を長時間撮影する場合であっても、動画と音声との間のずれが広がらないようにする。【解決手段】  第１の水晶発振器（１１４）を用いて動画信号をサンプリングするための第１のクロックを生成する第１のクロック生成手段（１１３）と、第２の水晶発振器（１１８）を用いて音声信号をサンプリングするための第２のクロックを生成する第２のクロック生成手段（１１７）と、前記第１のクロックと前記第２のクロックとの間のずれを調整するための補正値を計算する計算手段（１２１）と、前記補正値に従って撮像ユニットを駆動させるタイミングを調整する調整手段（１１５）とを有する撮像装置を提供する。【選択図】  図１
2005253056.tif 000002
【特許請求の範囲】
【請求項１】
第１の水晶発振器を用いて動画信号をサンプリングするための第１のクロックを生成する第１のクロック生成手段と、
第２の水晶発振器を用いて音声信号をサンプリングするための第２のクロックを生成する第２のクロック生成手段と、
前記第１のクロックと前記第２のクロックとの間のずれを調整するための補正値を計算する計算手段と、
前記補正値に従って撮像手段を駆動させるタイミングを調整する調整手段とを有することを特徴とする撮像装置。
【請求項２】
前記調整手段は、前記補正値に従って所定の水平期間を長さを調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定の水平期間は、読み出しパルスが発生した水平期間の次の水平周期であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記所定の水平期間は、読み出しパルスが発生した水平期間の次の水平周期から有効映像期間が始まるまでの１つ又は複数の水平周期であることを特徴とする請求項１又は２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声付き動画の撮影が可能な撮像装置（デジタルカメラ、カメラ付き携帯電話等）に関する。
【背景技術】
【０００２】
近年のデジタルカメラでは、静止画の撮影だけでなく、音声付き動画の撮影も可能である（例えば、特許文献１参照）。
【特許文献１】特開２００１−１９７４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
動画信号をサンプリングするためのクロックと、音声信号をサンプリングするためのクロックとを別々の水晶発振器を用いて生成する場合、２つの水晶発振器のずれによって動画と音声との間にずれが生じてしまう。このような撮像装置で音声付き動画を長時間撮影した場合、撮影時間が経過するごとに動画と音声との間のずれが広がってしまうという問題がある。
【０００４】
そこで、本発明は、音声付き動画を長時間撮影する場合であっても、動画と音声との間のずれが広がらないようにすることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明に係る撮像装置は、第１の水晶発振器を用いて動画信号をサンプリングするための第１のクロックを生成する第１のクロック生成手段と、第２の水晶発振器を用いて音声信号をサンプリングするための第２のクロックを生成する第２のクロック生成手段と、前記第１のクロックと前記第２のクロックとの間のずれを調整するための補正値を計算する計算手段と、前記補正値に従って撮像手段を駆動させるタイミングを調整する調整手段とを有する。
【発明の効果】
【０００６】
本発明によれば、音声付き動画を長時間撮影する場合であっても、動画と音声との間のずれが広がらないようにすることができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照しながら本発明の好適な実施形態を説明する。以下の実施形態では、画像を撮像し、撮像した画像の画像データを記憶媒体に記録する機能を有する装置（デジタルカメラ、カメラ付き携帯電話等）を撮像装置と呼ぶ。
【０００８】
図１は、本発明の一実施形態に係る撮像装置の一部分を示すブロック図である。本実施形態では、撮像装置が３０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）の動画付き音声を撮影する機能を有し、３０フレームあたり２２０５０バイトの音声データを割り当てる機能を有する場合を説明するが、本発明はこのような構成に限定されるものではない。
【０００９】
図１において、イメージセンサー１０２（ＣＣＤセンサー、ＣＭＯＳセンサー等）は、光学部１０１を介して入力された光学像を垂直同期信号ＶＤ及び水平同期信号ＨＤに従って連続的に撮像し、連続的に撮像された光学像を動画信号として出力する。Ａ／Ｄ変換器１０３は、イメージセンサー１０２から出力された動画信号をＴＧ１１３から供給されたクロックＡに従ってデジタル化し、動画データを出力する。動画処理部１０４は、動画データに対して所定の画像処理を施す。動画圧縮部１０５は、所定の動画圧縮方式に従って動画データで圧縮し、動画ビットストリームを出力する。
【００１０】
マイクロフォン部１０６は、入力された音声を音声信号に変換する。Ａ／Ｄ変換器１０７は、マイクロフォン部１０６から出力された音声信号をクロック生成部１１７から供給されたクロックＢに従ってデジタル化し、音声データを出力する。音声処理部１０８は、音声データに対して所定の音声処理を施す。音声圧縮部１０９は、所定の音声圧縮方式に従って音声データで圧縮し、音声ビットストリームを出力する。
【００１１】
動画ファイル生成部１１０は、動画圧縮部１０５から出力された動画ビットストリームと、音声圧縮部１０９から出力された音声ビットストリームとを含む動画ファイルを生成する。記録部１１１は、動画ファイル生成部１１０で生成された動画ファイルを記憶媒体１１２に記録する。記憶媒体１１２は、ディスク媒体、半導体メモリ等である。
【００１２】
ＴＧ１１３は、第１の水晶発振器１１４を用いてクロックＡを生成する。クロックＡは、動画信号をサンプリングするためのクロック周波数であり、ＳＳＧ１１５及びＡ／Ｄ変換器１０３に供給される。また、ＴＧ１１３は、ＳＳＧ１１５から供給された垂直同期信号ＶＤ及び水平同期信号ＨＤを用いて読み出しパルスを生成し、生成した読み出しパルスをイメージセンサー１０２に供給する。
【００１３】
ＳＳＧ１１５は、ＴＧ１１３から供給されたクロックＡを用いて垂直同期信号ＶＤ及び水平同期信号ＨＤを生成し、それらをＴＧ１１３に供給する。また、ＳＳＧ１１５は、制御部１２１から供給された補正値に従って垂直同期信号ＶＤ及び水平同期信号ＨＤを調整する。その結果、イメージセンサー１０２を駆動させるタイミングが調整される。また、ＳＳＧ１１５は、図２に示すように、垂直同期信号ＶＤに同期したＶＳＹＮＣパルスを生成する。同期器１１６は、ＶＳＹＮＣパルスをクロックＣに同期させる。同期器１１６は、例えば、クロックＣで駆動する２つのＤフリップフロップを直列に接続した構成である。同期器１１６の出力は、ＩＣＡＰ（インプットキャプチャー）１２０及び制御部１２１に供給される。
【００１４】
クロック生成部１１７は、第２の水晶発振器１１８を用いてクロックＢ及びクロックＣを生成する。クロックＢは、音声信号をサンプリングするためのクロック周波数であり、Ａ／Ｄ変換器１０７に供給される。クロックＣは、ＳＳＧ１１５から出力される水平同期信号ＨＤよりも十分に高速なクロック周波数であり、同期器１１６及びフリーランカウンタ１１９に供給される。
【００１５】
フリーランカウンタ１１９は、クロック生成部１１７から供給されたクロックＣによってカウント値を更新し続けるカウンタである。フリーランカウンタ１１９は、ＶＳＹＮＣパルスの１周期をクロックＣでカウントした値を表すのに十分なビット数を有する。例えば、ＶＳＹＮＣパルスの１周期をクロックＣでカウントした値が３００００である場合、フリーランカウンタ１１９は１６ビット以上のビット数を有する。
【００１６】
ＶＳＹＮＣパルス、同期器１１６の出力、クロックＣ、フリーランカウンタ１１９の出力及びＩＣＡＰ１２０の出力の関係を図３に示す。図３から明らかなように、ＩＣＡＰ１２０の出力はＶＳＹＮＣパルス毎に更新される。ＶＳＹＮＣパルスは垂直同期信号ＶＤに同期しているので、ＩＣＡＰ１２０の出力値同士の差分は垂直同期信号ＶＤの１周期をクロックＣでカウントした値に相当する。また、図３から明らかなように、ＩＣＡＰ１２０は同期器１１６の出力が立ち上がるときにフリーランカウンタ１１９の出力値をラッチする。
【００１７】
制御部１２１は、同期器１１６の出力が立ち上がるときにＩＣＡＰ１２０の出力値を読み込むとともに、図４に示すずれ量演算アルゴリズムに従って第１の水晶発振器１１４と第２の水晶発振器１１８との間のずれ量を計算する。ここで、第１の水晶発振器１１４と第２の水晶発振器１１８との間のずれ量は、第１の水晶発振器１１４と第２の水晶発振器１１８との間のずれを表すものであることは言うまでもない。また、第１の水晶発振器１１４は動画信号をサンプリングするためのクロックＡを生成するものであり、第２の水晶発振器１１８は音声信号をサンプリングするためのクロックＢを生成するものであるので、第１の水晶発振器１１４と第２の水晶発振器１１８との間のずれは、動画と音声との間のずれに相当するものであることも言うまでもない。
【００１８】
図４は、制御部１２１で実行されるずれ量演算アルゴリズムを説明するためのフローチャートである。図４で説明するずれ量演算アルゴリズムは、ＶＳＹＮＣパルスが発生するごとに実行される。ここで、図４で説明するずれ量演算アルゴリズムは、音声付き動画の撮影の開始が指示されたときに開始されることは言うまでもない。また、本実施形態に係る撮像装置は、音声付き動画の撮影の開始が指示されたときにその音声付き動画の記憶媒体１１２への記録を開始するように構成された装置であることも言うまでもない。
【００１９】
ステップＳ４０１：制御部１２１は、最初のＶＳＹＮＣパルスが発生したか否か否かを判定する。最初のＶＳＹＮＣパルスであると判定された場合はステップＳ４０２に進み、２回目以降のＶＳＹＮＣパルスであると判定された場合はステップＳ４０４に進む。
【００２０】
ステップＳ４０２：制御部１２１は、ずれ量を０とする。
【００２１】
ステップＳ４０３：制御部１２１は、ＩＣＡＰ１２０の出力値を読み込み、ＩＣＡＰ１２０の出力値に１フレーム期間に発生するクロックＣでカウントした値を加算して次の期待値を生成する。例えば、１フレーム期間に発生するクロック数が３００００であり、フリーランカウンタ１１９が１６ビットである場合、次の期待値は以下の式で計算される。ここで、「＆」はビット毎のＡＮＤ演算を意味する。
【００２２】
（次の期待値）＝（（ＩＣＡＰ１２０の出力値）＋３００００）＆０ｘ０ＦＦＦＦ
なお、ステップＳ４０３で生成された期待値は、次のＶＳＹＮＣパルスにおける期待値として使用されることは言うまでもない。
【００２３】
ステップＳ４０４：制御部１２１は、ＩＣＡＰ１２０の出力値を読み込み、ＩＣＡＰ１２０の出力値から現在の期待値を引くことによりずれ量を計算する。
【００２４】
ステップＳ４０５：制御部１２１は、現在の期待値に１フレーム期間に発生するクロックＣでカウントした値を加算して次の期待値を生成する。例えば、１フレームに発生するクロック数が３００００であり、フリーランカウンタ１１９が１６ビットである場合、次の期待値は以下の式で計算される。ここで、「＆」はビット毎のＡＮＤ演算を意味する。
【００２５】
（次の期待値）＝（（現在の期待値）＋３００００）＆（０ｘ０ＦＦＦＦ）
なお、ステップＳ４０５で生成された期待値は、次のＶＳＹＮＣパルスにおける期待値として使用されることは言うまでもない。
【００２６】
このようなアルゴリズムに従って制御部１２１は、ずれ量を演算する。
【００２７】
ずれ量が正である場合、制御部１２１はクロックＡが理想値よりも低い周波数であると判定する。また、ずれ量が負である場合、制御部１２１はクロックＡが理想値よりも高い周波数であると判定する。
【００２８】
ずれ量が正である場合、制御部１２１は、クロックＡが理想値よりも低い周波数であると判定し、ずれ量に相当する期間だけ１フレーム期間を短くするための補正値を計算する。この補正値は、例えば、Ｘ１−Ｘ２／Ｘ３により計算することができる。この式において、Ｘ１は通常の１Ｈ期間をクロックＡでカウントして得た値を表し、Ｘ２はずれ量の絶対値にクロックＣの周期をかけて得た値を表し、Ｘ３はクロックＡの周期を表す。補正値が得られた後、制御部１２１は、その補正値をＳＳＧ１１５に供給する。
【００２９】
ずれ量が負である場合、制御部１２１は、クロックＡが理想値よりも高い周波数であると判定し、ずれ量に相当する期間だけ１フレーム期間を長くするための補正値を計算する。この補正値は、例えば、Ｘ１＋Ｘ２／Ｘ３により計算することができる。この式において、Ｘ１は通常の１Ｈ期間をクロックＡでカウントして得た値を表し、Ｘ２はずれ量の絶対値にクロックＣの周期をかけて得た値を表し、Ｘ３はクロックＡの周期を表す。補正値が得られた後、制御部１２１は、その補正値をＳＳＧ１１５に供給する。
【００３０】
ＳＳＧ１１５は、図５に示すように、制御部１２１から供給された補正値に従って所定の１Ｈ期間の長さを調整するように構成されている。このように構成することにより、イメージセンサー１０２を駆動させるタイミングを調整することができるので、動画と音声の間のずれを少なくすることができる。
【００３１】
図６は、ＳＳＧ１１５の主要な構成要素を示すブロック図である。
【００３２】
図６において、レジスタ６０５は、ＴＧ１１３が読み出しパルスを発生した１Ｈ期間の次の１Ｈ期間に対応する値を保持する。レジスタ６０６は、通常の１Ｈ期間をクロックＡでカウントした値を保持する。レジスタ６０７は、制御部１２１から供給された補正値を保持する。
【００３３】
Ｈカウンタ６０１は、クロックＡが立ち上がる毎にカウント値を更新する。比較器６０３は、Ｈカウンタ６０１の出力値と選択器６０８の出力値とが等しいか否かを判定する。通常、選択器６０８は、レジスタ６０６の出力値を選択する。２つの出力値が等しい場合、Ｈカウンタ６０１はリセットされ、カウント値は０になる。
【００３４】
Ｖカウンタ６０２は、Ｈカウンタ６０１の出力値と選択器６０８の出力値とが等しくなる毎にカウント値を更新する。比較器６０４は、Ｖカウンタ６０２の出力値とレジスタ６０５の出力値とが等しいか否かを判定する。つまり、比較器６０４は、Ｖカウンタ６０２の出力値と、ＴＧ１１３が読み出しパルスを発生した１Ｈ期間の次の１Ｈ期間に対応する値と等しいか否かを判定する。２つの出力値が等しい場合、選択器６０８はレジスタ６０７を選択する。
【００３５】
このような構成により、ＳＳＧ１１５は、所定の１Ｈ期間（ＴＧ１１３が読み出しパルスを発生した１Ｈ期間の次の１Ｈ期間）を補正値によって長く或いは短くすることができるので、動画と音声の間のずれを少なくすることができる。
【００３６】
なお、３０ｆｐｓの速度でイメージセンサー１０２を駆動している場合、読み出しパルスの間隔は１／３０秒になる。従って、電子シャッターのシャッター速度が１／３０よりも十分に速い場合、所定の１Ｈ期間に対する調整は露光期間に影響を与えないと言える。
【００３７】
本実施形態では、読み出しパルスが発生したＨ期間の次のＨ期間でのみずれ量を補正する構成を採用したが、読み出しパルスが発生したＨ期間の次のＨ期間から有効映像期間が始まるまでの１つ又は複数のＨ期間でずれ量を補正する構成を採用することも可能である。
【００３８】
このように、本実施形態に係る撮像装置によれば、第１の水晶発振器を用いて動画信号をサンプリングするためのクロックを生成し、第１の水晶発振器とは異なる第２の水晶発振器を用いて音声信号をサンプリングするためのクロックを生成する場合であっても、動画と音声との間のずれが広がらないようにすることができる。これにより、音声付き動画を長時間撮影する場合であっても、動画と音声との間のずれが広がらないようにすることができ、再生時に生じる違和感を抑えることができる。
【００３９】
また、本実施形態に係る撮像装置によれば、動画と音声との間のずれを特定のＨ期間のみを調整することができるので、少ないハードウェア構成で動画と音声との間のずれが広がらないようにすることができる。
【００４０】
また、本実施形態に係る撮像装置によれば、音声と動画との間のずれの検出にフリーランカウンタを使用することができるので、他の処理に利用しているカウンタを利用することができ、ハードウェア構成の拡大及び製造コストの上昇を抑えることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態に係る撮像装置の一部分を示すブロック図である。
【図２】ＶＤ、ＨＤ及びＶＳＹＮＣパルスの関係を示す図である。
【図３】ＶＳＹＮＣパルス及びＩＣＡＰ１２０の出力の関係を示す図である。
【図４】ずれ量演算アルゴリズムを説明するためのフローチャートである。
【図５】ずれ量を補正する方法を説明するための図である。
【図６】ＳＳＧ１１５の主要な構成要素を示すブロック図である。
【図１】
2005253056.tif 000003
【図２】
2005253056.tif 000004
【図３】
2005253056.tif 000005
【図４】
2005253056.tif 000006
【図５】
2005253056.tif 000007
【図６】
2005253056.tif 000008