(57)【要約】【課題】レンズユニットと本体ユニット間での組合せの制約を受けることなく、画像データと音声データを同期させた動画を生成し記録する。【解決手段】レンズユニット２側で画像データを順次生成する。このデータ形式は、ＪＰＥＧ形式でもＹＵＶ形式でもよく、フレームごとに垂直同期信号１２４，２２４が本体ユニット１側に伝播される。本体ユニット１側では、垂直同期信号に従って音声データを生成する。レンズユニット２側で生成された画像データが、ユニット間インターフェース５を通じて本体ユニット１に転送される。受信した画像データと、生成した音声データを同期情報に合わせて、動画データを生成する。本体ユニット１が受信したフレームごとの画像データと、本体ユニット１が生成する音声データはレンズユニット２から受信した垂直同期信号に従って生成されており、画像データと音声データを同期情報に合わせた動画データの生成ができる。【選択図】図２
2011101218.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する前記撮像素子を一体型としたレンズユニットと、前記レンズユニットが交換自在に接続可能で、前記レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムにおいて、
前記レンズユニットが、前記撮像素子の映像信号に同期した同期信号を出力する同期信号出力手段を備え、
前記本体ユニットが、音声データを取得する音声入力手段と、前記同期信号出力手段の出力する同期信号を入力する同期信号入力手段を備え、
前記本体ユニットにおいて映像信号の動画記録を行う場合には、前記同期信号入力手段を介して入力される同期信号に同期させて前記音声データを取得することを特徴とするカメラシステム。
【請求項２】
前記映像信号が、前記同期信号と同期して前記レンズユニットから前記本体ユニットに出力されることを特徴とする請求項１記載のカメラシステム。
【請求項３】
前記映像信号が、前記同期信号と非同期で前記レンズユニットから前記本体ユニットに出力されることを特徴とする請求項１記載のカメラシステム。
【請求項４】
前記レンズユニットから出力される映像信号の周期を、前記本体ユニットの処理能力または設定に合わせて、前記レンズユニットの撮像素子により取得する映像信号よりも長いまたは短い周期とすることを特徴とする請求項３記載のカメラシステム。
【請求項５】
撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する前記撮像素子を一体型としたレンズユニットと、前記レンズユニットが交換自在に接続可能で、前記レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムにおいて、
前記本体ユニットが、音声データを取得する音声入力手段を備え、
前記本体ユニットにおいて映像信号の動画記録を行う場合に、前記レンズユニットから出力される映像信号のフレームレートと、前記本体ユニットで動画記録が行われる映像信号のフレームレートとが独立して設定可能であることを特徴とするカメラシステム。
【請求項６】
前記本体ユニットで映像信号の動画記録を行う場合、前記レンズユニットから出力される映像信号と前記音声入力手段で取得した音声データを同期させる同期信号は、前記本体ユニットに有するタイマ手段によって生成することを特徴とする請求項５記載のカメラシステム。
【請求項７】
前記本体ユニットで映像信号の動画記録を行う場合、前記レンズユニットから出力される映像信号と前記音声入力手段で取得した音声データを同期させる同期信号は、前記レンズユニットから映像信号を出力する転送タイミングによって生成することを特徴とする請求項５記載のカメラシステム。
【請求項８】
撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する前記撮像素子を一体型としたレンズユニットと、前記レンズユニットが交換自在に接続可能で、前記レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムの動画生成方法であって、
前記撮像素子の映像信号に同期した同期信号を出力する同期信号出力工程と、前記本体ユニットの音声入力手段により音声データを取得する音声入力工程と、前記同期信号出力工程で出力する同期信号を前記本体ユニットに入力する同期信号入力工程とを備え、
前記本体ユニットにおいて映像信号の動画記録を行う場合には、前記同期信号入力工程により入力される同期信号に同期させて、前記音声入力工程により音声データを取得することを特徴とするカメラシステムの動画生成方法。
【請求項９】
前記映像信号が、前記同期信号と同期して前記レンズユニットから前記本体ユニットに出力されることを特徴とする請求項８記載のカメラシステムの動画生成方法。
【請求項１０】
前記映像信号が、前記同期信号と非同期で前記レンズユニットから前記本体ユニットに出力されることを特徴とする請求項８記載のカメラシステムの動画生成方法。
【請求項１１】
前記レンズユニットから出力される映像信号の周期を、前記本体ユニットの処理能力または設定に合わせて、前記レンズユニットの撮像素子により取得する映像信号よりも長いまたは短い周期とすることを特徴とする請求項１０記載のカメラシステムの動画生成方法。
【請求項１２】
撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する前記撮像素子を一体型としたレンズユニットと、前記レンズユニットが交換自在に接続可能で、前記レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムの動画生成方法であって、
前記本体ユニットの音声入力手段により音声データを取得する音声入力工程を備え、
前記本体ユニットにおいて映像信号の動画記録を行う場合に、前記レンズユニットから出力される映像信号のフレームレートと、前記本体ユニットで動画記録が行われる映像信号のフレームレートとが独立して設定可能であることを特徴とするカメラシステムの動画生成方法。
【請求項１３】
前記本体ユニットで映像信号の動画記録を行う場合、前記レンズユニットから出力される映像信号と前記音声入力手段で取得した音声データを同期させる同期信号は、前記本体ユニットに有するタイマ手段によって生成することを特徴とする請求項１２記載のカメラシステムの動画生成方法。
【請求項１４】
前記本体ユニットで映像信号の動画記録を行う場合、前記レンズユニットから出力される映像信号と前記音声入力手段で取得した音声データを同期させる同期信号は、前記レンズユニットから映像信号を出力する転送タイミングによって生成することを特徴とする請求項１２記載のカメラシステムの動画生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子一体型のレンズユニットと、これを交換自在に接続可能な本体ユニットとからなるカメラシステムで、各ユニット間で授受する映像信号と音声データに基づき動画を生成、記録するカメラシステムとその動画生成方法に関するものである。
【背景技術】
【０００２】
近年、画像撮影装置としてデジタルカメラの利用が広まっている。プロフェッショナル仕様の一眼レフタイプのものから通常のスナップ写真を撮影するコンパクトタイプのものまで、デジタルカメラが数多く商品化されている。さらには、携帯電話にもデジタルカメラの機能が搭載されているものもあり、デジタルカメラは一般的なものになっている。このデジタルカメラを利用するユーザの増加に伴い、写真に対してこだわりを持つユーザ層も拡大している。このような状況の中で、レンズ交換式カメラも人気を博している。
【０００３】
このレンズ交換式カメラには大きく２通りあり、本体側に撮像素子までを組み込んでおき、純粋にレンズ部のみを交換できるカメラシステム（通常の一眼レフタイプ）と、レンズと撮像素子が一体化したレンズユニットを交換できるカメラシステムがある。
【０００４】
後者の撮像素子を有するレンズ部の交換が可能なカメラシステムの例が、特許文献１に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
通常の一眼レフタイプのカメラシステムでは、シャッター音を発生させるスピーカユニットや、音声入力を可能とするマイクユニットの機能は、レンズ部に依存しないため本体ユニット側に設置されている。これは、レンズ部からマイクユニットを離して設置し、ズームやフォーカスの駆動音が音声入力に混入することを避けるためでもある。
【０００６】
そして、通常の一眼レフタイプのカメラシステムでは、映像信号を取得するセンサ（撮像素子）は本体ユニットが持っているため、同じ筐体内で音声と映像を取得することができる。
【０００７】
また、撮像素子をレンズユニット側に有するカメラシステムにおいても、ズームやフォーカスの駆動音が音声入力に混入するのを避けるため、マイクユニットはレンズユニットから離して本体ユニット側に配置することが望ましい。
【０００８】
しかしながら、レンズユニット側に映像信号の取得用のセンサ（撮像素子）があるため、映像信号と音声信号からなる動画を生成しようとした場合、映像信号（画像データ）はレンズユニット側で生成され、音声信号（音声データ）は本体ユニット側で生成されるため、映像データと音声データとの同期が課題になる。
【０００９】
本発明は、前記従来技術の課題を解決するものであり、撮像素子を持つレンズユニットと、これを交換自在に接続する本体ユニットとの間での処理速度の差、フレームレートの違い等による組合せの制約を受けることなく、映像信号（画像データ）と音声データを同期させた動画を生成して記録する撮像素子一体型交換レンズ式のカメラシステムとその動画生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記の目的を達成するために、本発明に係る請求項１に記載したカメラシステムは、撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する撮像素子を一体型としたレンズユニットと、レンズユニットが交換自在に接続可能で、レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムにおいて、レンズユニットが、撮像素子の映像信号に同期した同期信号を出力する同期信号出力手段を備え、本体ユニットが、音声データを取得する音声入力手段と、同期信号出力手段の出力する同期信号を入力する同期信号入力手段を備え、本体ユニットにおいて映像信号の動画記録を行う場合には、同期信号入力手段を介して入力される同期信号に同期させて音声データを取得することを特徴とする。
【００１１】
この構成によって、映像信号（画像データ）と音声データを同期させた動画を生成し、記録することができる。
【００１２】
また、請求項２〜４に記載した発明は、請求項１のカメラシステムにおいて、映像信号が、同期信号と同期してレンズユニットから本体ユニットに出力されること、また、映像信号が、同期信号と非同期でレンズユニットから本体ユニットに出力されること、さらに、レンズユニットから出力される映像信号の周期を、本体ユニットの処理能力または設定に合わせて、レンズユニットの撮像素子により取得する映像信号よりも長いまたは短い周期とすることを特徴とする。
【００１３】
この構成によって、フレーム単位で映像信号（画像データ）と音声データを確実に同期させることができ、また、レンズユニットからの同期信号に制約されることなく、映像信号（画像データ）と音声データを同期させることができ、動画を生成し、記録することができる。
【００１４】
また、請求項５に記載したカメラシステムは、撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する撮像素子を一体型としたレンズユニットと、レンズユニットが交換自在に接続可能で、レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムにおいて、本体ユニットが、音声データを取得する音声入力手段を備え、本体ユニットにおいて映像信号の動画記録を行う場合に、レンズユニットから出力される映像信号のフレームレートと、本体ユニットで動画記録が行われる映像信号のフレームレートとが独立して設定可能であることを特徴とする。
【００１５】
この構成によって、撮像素子のフレームレートに制約されることのない、本体ユニットのフレームレートとして映像信号の動画記録を行うことができる。
【００１６】
また、請求項６，７に記載した発明は、請求項５のカメラシステムにおいて、本体ユニットで映像信号の動画記録を行う場合、レンズユニットから出力される映像信号と音声入力手段で取得した音声データを同期させる同期信号は、本体ユニットに有するタイマ手段によって生成すること、または、本体ユニットで映像信号の動画記録を行う場合、レンズユニットから出力される映像信号と音声入力手段で取得した音声データを同期させる同期信号は、レンズユニットから映像信号を出力する転送タイミングによって生成することを特徴とする。
【００１７】
この構成によって、タイマ手段や転送タイミングによって生成でき、撮像素子のフレームレートに制約されることのない、本体ユニットのフレームレートとして映像信号の動画記録を行うことができる。
【００１８】
また、請求項８に記載したカメラシステムの動画生成方法は、撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する撮像素子を一体型としたレンズユニットと、レンズユニットが交換自在に接続可能で、レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムの動画生成方法であって、撮像素子の映像信号に同期した同期信号を出力する同期信号出力工程と、本体ユニットの音声入力手段により音声データを取得する音声入力工程と、同期信号出力工程で出力する同期信号を本体ユニットに入力する同期信号入力工程とを備え、本体ユニットにおいて映像信号の動画記録を行う場合には、同期信号入力工程により入力される同期信号に同期させて、音声入力工程により音声データを取得することを特徴とする。
【００１９】
この方法によって、映像信号（画像データ）と音声データを同期させた動画を生成し、記録することができる。
【００２０】
また、請求項９〜１１に記載した発明は、請求項８の動画生成方法であって、映像信号が、同期信号と同期してレンズユニットから本体ユニットに出力されること、また、映像信号が、同期信号と非同期でレンズユニットから本体ユニットに出力されること、さらに、レンズユニットから出力される映像信号の周期を、本体ユニットの処理能力または設定に合わせて、レンズユニットの撮像素子により取得する映像信号よりも長いまたは短い周期とすることを特徴とする。
【００２１】
この方法によって、フレーム単位で映像信号（画像データ）と音声データを確実に同期させることができ、また、レンズユニットからの同期信号に制約されることなく、映像信号（画像データ）と音声データを同期させることができ、動画を生成し、記録することができる。
【００２２】
また、請求項１２に記載した動画生成方法は、撮影レンズを含む光学系を介して撮像素子に結像させ、光電変換によって電子データ化された画像データに変換した映像信号を出力する撮像素子を一体型としたレンズユニットと、レンズユニットが交換自在に接続可能で、レンズユニットからの出力データを画像処理してメモリカードに記録する本体ユニットからなるカメラシステムの動画生成方法であって、本体ユニットの音声入力手段により音声データを取得する音声入力工程を備え、本体ユニットにおいて映像信号の動画記録を行う場合に、レンズユニットから出力される映像信号のフレームレートと、本体ユニットで動画記録が行われる映像信号のフレームレートとが独立して設定可能であることを特徴とする。
【００２３】
この方法によって、撮像素子のフレームレートに制約されることのない、本体ユニットのフレームレートとして映像信号の動画記録を行うことができる。
【００２４】
また、請求項１３，１４に記載した発明は、請求項１２の動画生成方法であって、本体ユニットで映像信号の動画記録を行う場合、レンズユニットから出力される映像信号と音声入力手段で取得した音声データを同期させる同期信号は、本体ユニットに有するタイマ手段によって生成すること、または、本体ユニットで映像信号の動画記録を行う場合、レンズユニットから出力される映像信号と音声入力手段で取得した音声データを同期させる同期信号は、レンズユニットから映像信号を出力する転送タイミングによって生成することを特徴とする。
【００２５】
この方法によって、タイマ手段や転送タイミングによって生成でき、撮像素子のフレームレートに制約されることのない、本体ユニットのフレームレートとして映像信号の動画記録を行うことができる。
【発明の効果】
【００２６】
本発明によれば、撮像素子一体型のレンズユニットと、これを交換自在に接続可能な本体ユニットとからなるカメラシステムで、各ユニット間での処理速度の差、フレームレート違い等による組合せの制約を受けることなく、映像信号（画像データ）と音声データに基づく動画を生成し、記録することができるという効果を奏する。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態におけるカメラシステムの例（ａ），（ｂ）を示す外観図
【図２】本実施形態におけるカメラシステムを構成する本体ユニットとレンズユニットを示す機能ブロック図
【図３】本実施形態におけるカメラシステムを構成するレンズユニットの別の例を示す機能ブロック図
【図４】本実施形態におけるカメラユニットを構成するレンズユニットのさらに別の例を示す機能ブロック図
【図５】本実施形態における動画撮影時の画像データの流れ（ａ）、別の画像データの流れ（ｂ）を説明する図
【図６】本実施形態における実施例１のカメラシステムの画像データ制御を示す図
【図７】本実施形態における実施例２のカメラシステムの画像データ制御を示す図
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明における実施の形態を詳細に説明する。
【００２９】
図１（ａ），（ｂ）は本発明の実施形態におけるカメラシステム（撮像装置）の一例を示す外観図である。図１（ａ）においては、本体ユニット１と、本体ユニット１に着脱可能なレンズユニット２（レンズ部３）からなる。カメラシステムは、レンズユニット２と本体ユニット１が一体となって、撮像装置としての機能を発揮する。レンズユニット２は種々のタイプの中から利用者が適宜選択して本体ユニット１に装着するものであって、例えば、レンズユニット２（２’）として、単焦点レンズのレンズ部３や、図１（ｂ）の光学ズームを搭載したレンズ部３’を有するものがある。
【００３０】
次に、本実施形態におけるカメラシステムの機能構成について、図２〜図５を用いて説明する。図２は本実施形態におけるカメラシステムを構成する本体ユニットとレンズユニットの機能ブロックを示す図である。
【００３１】
図２に機能ブロックを示すレンズユニット２は、フォーカスレンズを備えたレンズ群１０７と、レンズ群１０７を介して受光した被写体像を光信号から電気信号に変換して出力する撮像素子１０８と、撮像素子１０８から出力される信号（アナログの画像データ）をデジタルの画像データに変換して信号増幅をするＡＦＥ（アナログフロントエンド）１０９と、変換されたデジタルの画像データに対してＹＵＶデータへの変換処理、ＪＰＥＧ形式の圧縮処理、ＲＡＷデータ生成処理などの所定の画像処理を行うことが可能な画像エンジンにマイクロコンピュータが内蔵されたＣＰＵ１０３と、を有している。
【００３２】
また、レンズユニット２は、本体ユニット１と電気的に接続するユニット間インターフェース５を構成するジョイントコネクタ１１６と、このジョイントコネクタ１１６を介して画像データを本体ユニット１に転送するための双方向バス１２３，制御信号１２１，シリアルインターフェース信号１２２，垂直同期信号１２４をそれぞれ授受する信号ラインを有している。
【００３３】
また、レンズユニット２は、レンズ群１０７の鏡筒の繰り出しと収納に用いるモータ１１０を制御するモータドライバ１１１を有している。このモータドライバ１１１は、本体ユニット１から受信した制御信号１２１によって制御される。この機構によって、交換レンズの種類によってはカメラシステムの電源を切ったときに鏡筒を収納し、また、図示しないボタンの押下によって変倍動作をするなどの種々の動作制御を行うことができる。
【００３４】
また、レンズユニット２は、本体ユニット１から供給される電力１２０からレンズユニット２の動作に必要な各種電力を生成させるＤＣ−ＤＣコンバータ１０１と、本体ユニット１から供給された電力１２０を検知して、このＤＣ−ＤＣコンバータを制御するサブＣＰＵ１０２と、レンズユニット２の外部に装着可能なテレコンバータレンズおよびワイドコンバータレンズを検出する検出回路１１３を備えている。
【００３５】
また、レンズユニット２は、カメラシステム（撮像装置）の傾きを検出するジャイロセンサ１０６と、撮像装置に加わる加速度を検出する加速度センサ１１２と、ジャイロセンサ１０６が検出した傾きおよび加速度センサ１１２が検出した加速度によって、レンズ群１０７を駆動するコイル１０５と、コイル１０５の駆動量を検出するホール素子１０４を備えている。
【００３６】
これら、ジャイロセンサ１０６，加速度センサ１１２，コイル１０５，ホール素子１０４によって手ぶれの防止機能を発揮することができる。
【００３７】
また、レンズユニット２は、画像処理および動作制御処理を行うソフトウェアがフラッシュロム（Flash ROM）１１４に記憶されており、このソフトウェアによる処理をワークエリアであるＲＡＭ１１５を使用してＣＰＵ１０３が各機構の動作および処理の制御を行うように構成されている。
【００３８】
また、図２に機能ブロックを示す本体ユニット１は、レンズユニット２と電気的に接続するユニット間インターフェース５を構成するジョイントコネクタ２０１と、このジョイントコネクタ２０１を介してレンズユニット２から受信する画像データをいわゆる画像エンジンであるＣＰＵ２０８に転送する双方向バス２２３と、双方向バス２２３を介して受信した画像データに対して、ＹＵＶデータへの変換処理、ＪＰＥＧ形式の圧縮処理、ＪＰＥＧ形式からの展開処理、ＲＡＷデータの生成処理などを適宜行ういわゆる画像エンジンであるＣＰＵ２０８と、レンズユニット２の制御信号１２１のラインに接続する制御信号２２１のラインと、レンズユニット２のシリアルインターフェース信号１２２のラインに接続するシリアルインターフェース信号２２２のラインと、レンズユニット２の垂直同期信号のラインと接続する垂直同期信号２２４のラインを備えている。
【００３９】
また、本体ユニット１は、所定の押下操作などによって当該カメラシステムの撮影動作を開始するスイッチであるフォーカス＆レリーズスイッチ２１１と、本体ユニット１において設定するカメラシステムの動作モードなどの選択設定に用いる十字キーなどで構成されるスイッチ２０６と、スイッチ２０６の入力を検知して所定の設定処理などを行い、かつ、リチウムイオンバッテリ２０４からの供給される電力をＤＣ−ＤＣコンバータ２０３を用いて電源制御し、また、レンズユニット２へ電力を供給するためのスイッチである電源スイッチ２０２も制御するサブＣＰＵ２０５を備えている。
【００４０】
また、本体ユニット１は、画像処理および動作制御処理を行うソフトウェアが記憶されたフラッシュロム２１９を備えており、このソフトウェアによる処理をワークエリアであるＲＡＭ２２０を使用してＣＰＵ２０８が各機構の動作および処理の制御を行うように構成されている。
【００４１】
また、本体ユニット１は、音声コーデック２１６と、この音声コーデック２１６に音声信号を入力するマイク２１８と、音声コーデック２１６から音を出力するスピーカ２１７と、ＵＳＢインターフェースコネクタ２１４と、ＡＶ出力用コネクタ２１３、ＨＤＭＩ信号の出力インターフェース２１２と、撮影された画像データを保存する着脱可能な記憶手段であるＳＤカード２１５と、本体ユニット１に外部ストロボを装着するときの接続回路を兼ねているストロボ２０７と、スイッチ２１１の操作によってフォーカシング動作時に被写体像をモニタリング表示させ、撮影動作をしたときには撮影した画像データを表示する表示手段であるＬＣＤ２１０およびＥＶＦ（Electronic View Finder）２０９を備えている。
【００４２】
図３は本実施形態におけるカメラシステムを構成するレンズユニットの別の例を示す機能ブロック図である。図３においてレンズユニット２’は、図２に示したレンズユニット２とほぼ同じ構成を有している。異なる構成はレンズ群３０７にズームレンズを備えることで、これを移動させるためのズーム用モータ３１０を有することである。レンズユニット２’は、図示しない本体ユニット１が備えるズームスイッチの操作によって、レンズ群３０７に備えられたフォーカスレンズとズームレンズに所定の動作をさせるように構成されている。
【００４３】
また、図４は本実施形態におけるカメラユニットを構成するレンズユニットのさらに別の例を示す機能ブロック図である。図４においてレンズユニット４は、図２に示したレンズユニット２とほぼ同じ構成を有している、異なる構成は大型の撮像素子４０８を備えることで、手ぶれ防止動作を行うホール素子１０４，コイル１０５，ジャイロセンサ１０６に相当する構成を省いた点である。
【００４４】
前記の構成を備えたカメラシステムによれば、動作モードの設定と、画像記録サイズや画像記録形式の設定によって、レンズユニット２の双方向バス１２３と、本体ユニット１の双方向バス２２３とのバス幅の設定変更をすることができる。これによって、送受信されるデータ量に応じてバス幅を随時変更できる構成を備えている。また、本実施形態におけるカメラシステムによれば、前述の撮影モード設定によって変化するレンズユニット２と本体ユニット１との間で送受信されるデータ量に応じて画像データ（映像信号）に対する複数の画像処理を分散させ、レンズユニット２と本体ユニット１の画像処理の分担範囲を変更することができ、それぞれの画像処理がどの段階にあるかにかかわらず処理途中の画像データについて、随時必要に応じてデータの授受ができるようになる。なお、レンズユニット２と本体ユニット１の間で行われるデータ通信の方式は、ＤＭＡ転送やパケット転送などの種々の転送方式から適宜選択すればよい。
【００４５】
また、本実施形態におけるカメラシステムはレンズユニット２，２’，４のいずれを用いても、前述の特徴ある処理を行うことができる。また、本発明に係る動画生成方法は、前記いずれのレンズユニットを有するカメラシステムであっても行うことができる。よって、以下の説明においては特に明記しない場合はレンズユニット２を用いた例を説明する。カメラシステムの動作は、レンズユニット２のフラッシュロム１１４および本体ユニット１のフラッシュロム２１９に記憶されているソフトウェアによって制御される。
【００４６】
ここで、動画撮影時の画像データの流れを図２，図５（ａ）を参照しながら説明する。まず、レンズユニット２が備えるレンズ群１０７を介して、撮像素子１０８が捉えた被写体像に相当する電気信号を出力し（Ｓ１）、この電気信号をデジタルデータに変換して（Ｓ２）、ＲＡＷデータを生成する。次に、このＲＡＷデータに対してＹＵＶ変換処理が行われ（Ｓ３）、これによって得られたＹＵＶデータがＪＰＥＧ形式で圧縮変換され（Ｓ４）、本体ユニット１に順次転送される（Ｓ５）。この転送処理までの流れは、本体ユニット１における撮影動作が継続している間、継続して行われる。
【００４７】
本体ユニット１は、ユニット間インターフェース５（ジョイントコネクタ１１６，２０１）を介してレンズユニット２からＪＰＥＧデータを順次受信すると（Ｓ６）、これを１つの画像ファイルとして所定のメタデータなどのヘッダ情報を付加しＪＰＥＧ形式の画像ファイルを生成する。生成されたＪＰＥＧ画像ファイルは記憶手段に送られて所定の記録媒体（ＳＤカード２１５）に保存される。また、受信されたＪＰＥＧデータを展開してＹＵＶデータに展開し（Ｓ７）、ＬＣＤ２１０などの表示手段に出力される。
【００４８】
また、動画撮影時の画像データの別の流れについても、図２，図５（ｂ）を参照しながら説明する。まず、レンズユニット２が備えるレンズ群１０７を介して、撮像素子１０８が捉えた被写体像に相当する電気信号を撮像素子１０８から出力し（Ｓ１）、この電気信号をデジタルデータに変換して（Ｓ２）、ＲＡＷデータを生成する。次に、このＲＡＷデータに対してＹＵＶ変換処理が行われ（Ｓ３）、これによって得られたＹＵＶデータが本体ユニット１に転送される（Ｓ５）。
【００４９】
本体ユニット１は、ユニット間インターフェース５（ジョイントコネクタ１１６，２０１）を介してレンズユニット２からＹＵＶデータを順次受信すると（Ｓ８）、ＬＣＤ２１０などの表示手段に出力する処理を行う。また、ＪＰＥＧ形式で圧縮変換するとともに（Ｓ９）、所定のメタデータなどのヘッダ情報を付加しＪＰＥＧ形式の画像ファイルを生成する。生成されたＪＰＥＧ画像ファイルは記憶手段に送られて所定の記録媒体（ＳＤカード２１５）に保存される。
【００５０】
前者の画像データの流れでは、ユニット間インターフェース５を介して送受信する画像データの形式がＪＰＥＧであるため、ＲＡＷデータやＹＵＶデータを送受信する場合と比較すると通信データ量は少なくなる。しかし、ＪＰＥＧ圧縮とＪＰＥＧ展開処理に時間を要し、この時間が表示手段に出力するまでの遅延となるので、ユニット間インターフェース５のスループットが十分大きい場合には、ＲＡＷデータまたはＹＵＶデータによって通信し、本体ユニット１では受け取ったデータに必要な後段の処理を施した上で表示および記録を行う方法をとってもよい。
【００５１】
また、後者の画像データの別の流れは、レンズユニット２は、Ａ／Ｄ変換処理、ＹＵＶ変換処理のみを行い、ＪＰＥＧデータに圧縮することなくＹＵＶデータを本体ユニット１に転送している。これによって、本体ユニット１は、ＪＰＥＧ展開処理をすることなく、受信したＹＵＶデータをＬＣＤ２１０に出力することができる。従って、通信処理の前後にＪＰＥＧ圧縮処理とＪＰＥＧ展開処理を行わないため、これらの処理に起因する表示遅延が発生することがない。しかし、画像データを非圧縮のまま転送するためノイズに弱く、ユニット間インターフェース５の通信帯域を広く確保することが必要となる。
【００５２】
ここで、ユニット間インターフェース５における通信帯域と、前述した２つの画像データの流れとの関係について具体的に説明する。レンズユニット２から本体ユニット１に転送される画像データのサイズが、ＶＧＡサイズ（６４０画素×４８０画素）の非圧縮ＹＵＶ４２２形式であって、１秒間に３０枚相当の画像データが送られるとした場合、１秒あたりにレンズユニット２から本体ユニット１に対して転送されるデータ量は約１８メガバイトになる（６４０×４８０×２×３０＝１８，４３２，０００）。
【００５３】
ユニット間インターフェース５の通信帯域が１８．４３２（メガバイト／秒）以上であれば非圧縮ＹＵＶ形式による画像データを転送しても、遅延が生じることはない。通信帯域が１８．４３２（メガバイト／秒）であった場合は、１秒間にちょうど３０枚相当の画像データが送られることになるので、１枚あたりの転送時間は１／３０（秒）（約３３ミリ秒）になる。
【００５４】
このときの遅延時間は、レンズユニット２から本体ユニット１に画像データが転送される時間と等しくなるので、１／３０（秒）の遅延が発生する。
【００５５】
一方、レンズユニット２から本体ユニット１に対してＪＰＥＧデータが転送されるときは、ＪＰＥＧ圧縮処理による圧縮率が１／１０であれば、転送時間も１／１０になり１／３００(秒)となる。
【００５６】
ここで、ＪＰＥＧ圧縮処理とＪＰＥＧ展開処理にそれぞれ１／３０(秒)を要すると仮定した場合、転送時間とこれらの時間を合計した時間が表示遅延となる。すなわち、表示遅延は約６９．３ミリ秒（１／３００＋１／３０＋１／３０（秒））となる。しかしながら、ＪＰＥＧ圧縮処理とＪＰＥＧ展開処理が１／３００（秒）であるならば、転送時間は約１０ミリ秒となり（１／３００＋１／３００＋１／３００（秒））、ＹＵＶ形式でのデータ転送よりも、遅延時間は短くなる。
【００５７】
一般に、通信帯域が同じ幅であって、圧縮処理および展開処理にかかる時間の合計が転送量の違いによる通信時間の差よりも小さければ、画像データを圧縮した後に本体ユニット１に転送したほうが表示遅延は小さくなる。従って、表示遅延が小さくなるように、ユニット間インターフェース５の通信帯域と、ＪＰＥＧ圧縮処理とＪＰＥＧ展開処理に要する時間の合計に基づいて、転送する画像データの形式を決定し、これによってレンズユニット２と本体ユニット１が行う処理内容を変更するようにしてもよい。
【００５８】
ここで、本実施形態における実施例１として、映像信号の動画記録を行う際に同時に取得、記録される音声データについて説明する。
【００５９】
前述した画像データの流れにおいて、音声データの扱いは、図２の本体ユニット１で行う構成としている。そのため、レンズユニット２と本体ユニット１間で映像信号（画像データ）と音声データの同期を行う必要があり、レンズユニット２で受光完了時に発生する垂直同期信号（１２４，２２４）による割り込みを、本体ユニット１にユニット間インターフェース５を通じて伝播させ、同期を取る。なお、本実施例１のカメラシステムでは、レンズユニット２が垂直同期信号（ＶＤ）を生成し、レンズユニット２から本体ユニット１へ垂直同期信号１２４を出力している。
【００６０】
このときのデータ制御について図６を参照しながら説明する。レンズユニット２側では画像データを順次生成する（Ｓ１１）。図６に示す三角形の１つが１フレームの画像データを示す。またデータ形式は、図５に示すＪＰＥＧ形式であってもＹＵＶ形式であってもよい。このとき、フレームごとに垂直同期信号が本体ユニット１側に伝播される。本体ユニット１側では、垂直同期信号２２４に従って音声データを生成する（Ｓ１３）。同時に、レンズユニット２側で生成された画像データが、ユニット間インターフェース５を通じて本体ユニット１に転送される（Ｓ１２）。本体ユニット１では、受信した画像データと、生成した音声データを同期情報に合わせて、動画データを生成する（Ｓ１４）。本体ユニット１が受信したフレームごとの画像データは垂直同期信号２２４の周期に合わせて生成されており、本体ユニット１が生成する音声データもレンズユニット２から受信した垂直同期信号１２４，２２４に従って生成されているため、画像データと音声データを同期情報に合わせて動画データを生成することが可能である。
【００６１】
このとき映像信号の転送タイミングについては、垂直同期信号に同期しても、垂直同期信号に非同期であってもよい。転送タイミングを垂直同期信号に同期させた場合、本体ユニット１側で動画データとする、最初のフレームについて、画像データと音声データの同期のズレ量を合わせるようにしておけば、すなわち、レンズユニット２から画像データを受信したタイミングと音声データの記録を開始したタイミングのズレをなくすように合成すれば、以降は垂直同期信号にあわせて合成していけばよい。ただし、各フレーム処理を遅延なく実施することを保証する必要が発生する。ここで、各フレーム処理とは、レンズユニット２側で行う、撮影した画像データをＪＰＥＧ形式やＹＵＶ形式など本体ユニット１に転送する形式に変換するまでの処理のことである。
【００６２】
また、垂直同期信号に非同期として、前記の各フレーム処理が完了したら本体ユニット１に画像データを転送するなど、任意のタイミングで転送することにすれば、本体ユニット１側で各フレームデータに対して同期信号によるタイミング合わせを行う必要があるが、各フレーム処理に対してのタイミングはクリティカルにはならない。
【００６３】
カメラシステムの起動時にレンズユニット２と本体ユニット１で能力交換を行い、センサ（撮像素子）の同期周波数をレンズユニット２から本体ユニット１側に通知しておけば、本体ユニット１は垂直同期信号の数を数えることで、例えば１秒ごとのタイミングを得ることができる。よって、本体ユニット１は、垂直同期信号の数をカウントすることで、所定時間分の音声データと、所定時間分の枚数の画像データを合成することができる。
【００６４】
本体ユニット１に書き込み速度の遅いメモリが装着されている場合、あらかじめ能力交換時に本体ユニット１からレンズユニット２に通知を行い、センサ（撮像素子）は３０ｆｐｓで動作していても、倍の周期の１５ｆｐｓで映像を送るようにすることで、書き込みが遅いメモリカードでも動画を実現可能とすることができる。
【００６５】
レンズユニット２の撮像周期よりも転送周期を長い周期に変更する方法として、レンズユニット２での画像処理において、フレーム単純間引き、フレーム間を加算（２フレームの画像データから、１フレームの画像データを生成する）などが考えられる。
【００６６】
この画像データの転送周期を遅くするその他の理由としては、省電力モードに設定されているとき、本体ユニット１の処理能力が遅いとき、低輝度などで高感度撮影が必要なときなども考えられる。
【００６７】
省電力モードでは単純にデータを間引くなどで処理対象フレーム数を減らすことで実現できる。
【００６８】
動作が遅い本体ユニット１と高速センサ（撮像素子）が実装さえたレンズユニット２との組合せでも切り換えが必要になる。動作前の能力交換で、センサ（撮像素子）は６０ｆｐｓのデータを出力が可能、本体ユニット１は３０ｆｐｓまでの処理が可能ということであれば、レンズユニット２は３０ｆｐｓでデータ転送をすることで動画記録を可能にすることができる。
【００６９】
また、高感度はフレームを加算することで実現できる。これは、レンズユニット２の撮像周期よりも転送周期を短い周期に変更することで、レンズユニット２が本来出力できるセンサ（撮像素子）の能力を超えた動画のフレームレートを実現することができる。この方法として、同じ画像を２回送る方法、次のフレームとの相関からフレーム補間をすることで新しいフレームを生成する方法が考えられる。
【００７０】
このように転送周期を変更することで、センサ（撮像素子）固有の画面周期の制約よりも多くのバリエーションで動画フレーム周期の動画記録が可能になる。
【００７１】
よって、本実施例１のような撮像素子を有するレンズユニット２を本体ユニット１に着脱可能なカメラシステムにおいて、装着するレンズユニット２によって撮像素子が異なり、レンズユニット２によって撮像素子の駆動周期が異なる場合でも、本体ユニット１側での設定や能力に合わせて、任意のフレームレートで動画記録を行うことができる。
【００７２】
次に、本実施形態における実施例２では、実施例１と同様に、動画としてファイルを構成し記録するのは、図２の本体ユニット１で行う構成であり、このときのデータ制御について図７を参照しながら説明する。レンズユニット２側では画像データを順次生成する（Ｓ２１）。図７の三角形の１つが１フレームの画像データを示し、データ形式はＪＰＥＧ形式でもＹＵＶ形式でもよい。このとき、レンズユニット側では撮像素子のフレームレートに基づき、画像データを生成する。
【００７３】
また、本体ユニット１側では、生成したい動画のフレームレートに合わせて音声データを生成する（Ｓ２３）。同時に、レンズユニット２側で生成された画像データが、ユニット間インターフェース５を通じて本体ユニット１に転送される（Ｓ２２）。本体ユニット１では、受信した画像データと、生成した音声データを同期情報に合わせて、動画データを生成する（Ｓ２４）。ここでは、センサ（撮像素子）のフレームレートを２４ｆｐｓ、生成したい動画のフレームレートを３０ｆｐｓとしている。音声データに比べて画像データのフレームレートが低いため、６枚に１枚同じ画像データのフレームを重ねることで、３０ｆｐｓの動画データを生成している。
【００７４】
このときの画像データと音声データの同期は、本体ユニット１側のタイマ手段で生成しても、また、レンズユニット２からの画像データ転送タイミングに合わせてもよい。
【００７５】
このタイマ手段で同期を取るようにすれば、本体ユニット１側で動画データとする、最初のフレームについて、画像データと音声データの同期のズレ量を合わせるようにしておけば、以降はタイマ手段に合わせて合成していけばよい。ただし、各フレーム処理を遅延なく実施することを保証する必要が発生する。
【００７６】
また、動画データの最初のフレーム同期については、あらかじめ本体ユニット１側からレンズユニット２側に対して制御信号１２１で制御を行い、結果が返ってくるまでの時間を計測しておくことで、本体ユニット１−レンズユニット２間のタイムラグを測定しておき、動画データ合成時のフレーム同期タイミングを調整すればよい。
【００７７】
また、本実施形態の図２に示す構成では本体ユニット１側にのみ、フォーカス＆レリーズスイッチ２１１を設けているが、これを制御信号２２１に接続して本体ユニット１とレンズユニット２の両方に同時にレリーズ信号を送信するようにして、これで同期を取るようにしてもよい。
【００７８】
さらに、画像データと音声データの同期は、画像データ転送タイミングに合わせるようにすれば、本体ユニット１側で各フレームデータに対して同期信号によるタイミング合わせを行う必要があるが、各フレーム処理に対してのタイミングはクリティカルにはならない。
【００７９】
カメラシステムの起動時にレンズユニット２と本体ユニット１で能力交換を行い、センサ（撮像素子）の画像データのフレームレートを本体ユニット１側に通知しておけば、本体ユニット１は画像データのフレームの数を数えることで、例えば１秒ごとのタイミングを得ることができる。
【００８０】
本体ユニット１に書き込み速度の遅いメモリが装着されている場合、レンズユニット２から送られてくる画像データを本体ユニット１側で適宜間引くか、フレーム間加算を行ってやれば、書き込みが遅いメモリカードでも動画を実現可能とすることができる。これにより、レンズユニット２のフレームレートよりも遅いフレームレートの動画を構成することが可能となる。
【００８１】
また、レンズユニット２のフレームレートよりも早いフレームレートの動画を構成する場合には、同一画像を複数回使用するとか、次のフレームとの相関からフレーム補間を行うなどすれば、レンズユニット２のフレームレートよりも早いフレームレートの動画を構成することも可能となる。
【００８２】
本発明のようなカメラシステムでは、レンズユニット２だけでなく、能力が異なる本体ユニット１も複数存在し、いずれのレンズユニット２と本体ユニット１の組合せであっても可能であり、交換可能なレンズユニット２と、レンズユニット２を装着する本体ユニット１における、それぞれの能力に合わせて動画生成を行うことができるようになる。
【産業上の利用可能性】
【００８３】
本発明に係る撮像素子一体型交換レンズ式のカメラシステムとその動画生成方法は、撮像素子一体型のレンズユニットと、これを交換自在に接続可能な本体ユニットとからなるカメラシステムで、各ユニット間での処理速度の差、フレームレート違い等による組合せの制約を受けることなく、映像信号（画像データ）と音声データを同期させた動画を生成し、記録することができ、各ユニット間で授受する映像信号と音声データを同期させた動画を得る装置、方法として有用である。
【符号の説明】
【００８４】
１  本体ユニット
２，２’，４  レンズユニット
３，３’  レンズ部
５  ユニット間インターフェース
１２４，２２４  垂直同期信号
【先行技術文献】
【特許文献】
【００８５】
【特許文献１】特許第３９４５０５２号公報
【図１】
2011101218.tif 000003
【図２】
2011101218.tif 000004
【図３】
2011101218.tif 000005
【図４】
2011101218.tif 000006
【図５】
2011101218.tif 000007
【図６】
2011101218.tif 000008
【図７】
2011101218.tif 000009