(57)【要約】【課題】顔検出やＡＦ／ＡＥ合焦の情報を利用して複数のワイヤレスマイクを検出した場合においてもユーザが所望のワイヤレスマイクからの音声信号のみを通信することを可能にした撮像装置システムを提供すること。【解決手段】装着型収音装置から無線通信により送信された音声信号を受信する受信手段を有する撮像装置であって、前記装着型収音装置と特定の被写体とを関連づけた情報を記憶する記憶手段と、所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段と、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段と、特定の被写体が複数いた場合に画像情報により注目して収音に使用すべき被写体を選択する選択手段と、前記推定手段の推定結果に応じて、前記収音装置より得られた前記音声信号出力を受信する手段と、前記撮像装置内部の収音装置より得られた音声信号入力とを合成させて、前記撮像手段により得られた画像信号とを関連づけて記録媒体に記録する記録手段とを有することを特徴とする。【選択図】図１
2017005322.tif 000002
【特許請求の範囲】
【請求項１】
外部収音装置から無線通信により送信された音声信号を受信する受信手段（１１１，１２１）を有する撮像装置であって、前記収音装置と特定の被写体とを関連づけた情報を記憶する記憶手段（１１７）と、所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段（１０１，１０２，１０３，１０４）と、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段（１１４）と、特定の被写体が複数いた場合に画像情報により注目して収音に使用すべき被写体を選択する選択手段（１１４）と、
前記選択手段の選択結果に応じて、前記収音装置より得られた前記音声信号出力を受信する手段（１１１）と、前記撮像装置内部の収音装置より得られた音声信号入力とを合成させる手段と（１０６）、前記撮像手段により得られた画像信号とを関連づけて記録媒体に記録する記録手段（１０４，１０７，１０８，１０９，１１０）とを有することを特徴とする撮像装置。
【請求項２】
記憶手段は、収音装置と関連付けた被写体を撮像装置において撮影し顔情報を記憶させ、収音装置のＩＤと年齢情報と共に記憶することを特徴とする請求項１に記載の撮像装置。
【請求項３】
推定手段は、前記撮像手段により得られた画像信号内に前記特定の被写体の顔画像に相関の高い画像が検出されているか否かによって、前記撮像手段の所定の撮影画角内に前記特定の被写体が検出されたか否かを推定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
選択手段は、撮像画角内に前記特定の被写体が検出されたと推定された場合、推定された全ての被写体それぞれが撮像画角に占める割合を検出して、割合に応じた注目度を算出し最も注目度が高い被写体を選択することを特徴とする請求項１に記載の撮像装置。
【請求項５】
選択手段は、撮像画角内に前記特定の被写体が検出されたと推定された場合、推定された全ての被写体位置に対するフォーカス情報を算出して、合焦距離に応じた注目度を算出し最も注目度が高い被写体を選択することを特徴とする請求項１に記載の撮像装置。
【請求項６】
選択手段における注目度は、撮像画角内に検出されたと推定された被写体の記憶手段により保存されている年齢情報より重みづけを変更して計算し、結果に応じた最も注目度が高い被写体を選択することを特徴とする請求項４又は請求項５に記載の撮像装置。
【請求項７】
前記受信手段は、複数の識別可能なワイヤレス装置により送信される情報を受信し請求項５に記載の選択された前記選択手段において、ワイヤレス装置を選択する。選択結果に応じて、決定されたワイヤレス装置の音声信号のみを受信し、前記記録手段は、ワイヤレス装置から受信された音声信号と撮像装置の音声信号を合成させることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に着脱可能なマイクや、表示部を備えたウェアラブル端末に装着型ワイヤレス装置に付属した外部マイクにより与えられた音声信号を処理する事が出来る撮像装置に関する。
【背景技術】
【０００２】
近年、スマートフォンやウェアラブル端末等の装着型ワイヤレス装置とカメラを接続して画像取得やカメラの制御を行うシステムが多く提案されており、連携して動作を行いたいという要望が多くなっている。
【０００３】
従来、撮像装置は、ワイヤレスマイクにより得られた音声信号を画像信号と共に記録していた。これらの撮像装置には、ワイヤレスマイクにより取得され送信された音声信号を受信し、その音声信号のレベルを処理して記録するものがあった。特許文献１では、被写体との距離をワイヤレスマイクからのワイヤレス通信の受信信号強度に基づいて推定し、ワイヤレスマイクから受信した音声信号のレベルを制御していた。
【０００４】
しかし、これではワイヤレスマイクが画角に入っていないのに音声信号を受信してしまうので、特許文献２では、ワイヤレス通信の受信信号強度に加えて、顔検出の有無やカメラの倍率によって画角にある事を検出した状態で、ワイヤレスマイクから受信した音声レベルを制御していた。また、複数のワイヤレスマイクが検出された時には、顔検出・ワイヤレス通信の受信信号強度に基づいて音量レベルの倍率を変化させて録音していた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３１４０７８号公報
【特許文献２】特開２０１１−１３０１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、複数のワイヤレスマイクが検出された場合にすべての通信に関して制御を行い音声信号のレベルを制御するため、音声が混雑してしまう。また、複数のワイヤレスマイクのデータを一つの撮像装置が受信する構成になっているが、複数のワイヤレスマイクからの音声データを受信するには情報量が肥大化し、全て同時にカメラに通信を行うため、通信状態によっては、通信速度が遅くなり動画撮影時に音声データの送信・受信速度が遅くなるため、処理が間に合わず音が録音できない場合がある。
【０００７】
そこで、本発明の目的は、顔検出や合焦時の撮像情報を利用して複数のワイヤレスマイクを検出した場合において、所望のワイヤレスマイクを選択してから、所望のワイヤレスマイクの音声信号のみを通信することで所望の音声信号を強調して録音する事が可能となり、通信量の軽減も可能にした撮像装置システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像装置は、ワイヤレス装置から無線通信により送信された音声信号を受信する受信手段を有する撮像装置であって、前記ワイヤレス装置と特定の被写体とを関連づけた情報を記憶する記憶手段と、所定の撮影画角内の光学像を撮像して画像信号を取得する撮像手段と、前記撮像手段の前記所定の撮影画角内に前記特定の被写体が入っているか否かを推定する推定手段と、前記推定手段の推定結果に応じて、検出された被写体の中で所望な被写体を選択する手段と、前記選択手段により選択された被写体から出力された音声信号と前記撮像手段により得られた音声信号と混合して記録させる記録手段を有し、前記撮像手段により得られた画像信号と関連付けて記録媒体に記録する記録手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明の撮像装置によれば、表示部を付属した装着型ワイヤレス装置に付属した外部マイクを使用して記録する際に、対象者の顔情報を基に注目したい対象者がいるか否かを推定し録音対象を決定し、装着型ワイヤレス装置の表示部に結果を返す。そして推定結果に応じて、複数の前記装着型ワイヤレス装置からもっとも注目するべき端末を選択してから、前記外部マイクから受信した音声信号を制御するので、選択が決定するまでワイヤレス装置からの音声データを撮像装置では通信しないため無駄な通信も防ぐ事が出来て、通信が混在する事がなく所望な音声のみを収音することが出来る。
【００１０】
また、撮影時に送信側の装着型ワイヤレス装置でも録音状況が確認出来るため、録音されている事を確認しながら撮影動作を行うことが出来るため、ユーザが所望な装着型ワイヤレス装置を選択する事も可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る、概略構成を示すブロック図である。
【図２】第１の実施形態に係る、装着型ワイヤレス装置の登録手順を示すフロー図である。
【図３】第１の実施形態に係る、撮像装置に記録されている装着型ワイヤレス装置の登録情報表である。
【図４】第１の実施形態に係る、撮像装置と通信させる装着型ワイヤレス装置を確定させる手順を示すフロー図である。
【図５】顔検出の状態と装着型ワイヤレス装置の通信対象を説明する補足図である。
【図６】第１の実施形態に係る、撮像装置と装着型ワイヤレス装置の通信状況表示手順を示すフロー図である。
【図７】装着型ワイヤレス装置の表示方法の補足図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［実施例１］
実施例１では、装着型ワイヤレス装置に付属した外部マイクと撮像機器からなる撮像システムの一例として、システムを説明する。図１は第１の実施形態に係る撮像装置１００と装着型ワイヤレス装置１１９の概略構成を示すブロック図である。撮像装置１００は、撮影した動画または静止画などのファイルをメモリカード１１０に記録できる。撮像素子１０１は、光電変換により入射光量に応じた電荷を生成して出力するＣＭＯＳセンサであり、全画素の信号を読み出す以外に、特定の画素の加算及び特定の行又は列おきに間引いて電荷を読み出すこともできる。
【００１４】
撮像素子駆動回路１０２は、ＣＰＵ１１４による制御に基づいて、動画モードまたは静止画モードで撮像素子１０１を駆動することができる。画像処理回路１０３は、撮像素子１０１からの画像信号をＡ／Ｄ変換し、ガンマ補正、色バランス調整及び色変換等の所定の画像処理を施す。画像メモリ１０４は、画像処理回路１０３からの動画または静止画の画像データを表示用及び記録処理用に一時記憶するのに使用される。マイク１０５は、外部の音声を取り込み、音声信号を出力する。
【００１５】
音声処理回路１０６は、マイク１０５からの音声信号をＡ／Ｄ変換し、ＰＣＭ符号化方式で符号化する。また、装着型ワイヤレス装置１１８の通信部１２１から送信され、撮像装置１００の通信部１１１を通して受信された音声信号と撮像装置のマイク１０５からの音声を複合させることが出来る。ＰＣＭバッファ１０７は、音声処理回路１０６からのＰＣＭ音声データを記録処理用に一記記憶する。
【００１６】
画像変換回路１１５は、動画記録時には、画像メモリ１０４に格納される動画の画像データとＰＣＭバッファ１０７に格納されるＰＣＭ音声データを多重化し、所定形式のストリームデータを生成する。生成されたストリームデータは、ストリームバッファ１０８に格納する。
【００１７】
ストリームバッファ１０８は、一定期間のストリームデータを格納することができるだけのメモリ領域を持つ。ストリームバッファ１０８のデータは、指定がない限りメモリカード１０９へ書き込みが行われる。書き込み制御部１１０は、メモリカード１１０の接続状態の監視とメモリカード１１０へのアクセスを制御する。
【００１８】
通信部１１１は、撮像装置１００と外部装置との間で通信を行うもので、音声信号、画像信号、などのデータを送受信する。例えば、装着型ワイヤレス装置１１７の通信部１２１をから送信された音声信号を受け取り、音声処理回路１０６に送る。その他、撮影に関わる制御信号やその他の情報を送受信する。通信部１１１は、例えば、赤外線通信モジュール、無線ＬＡＮ通信モジュール等の無線通信モジュールである。
【００１９】
操作部１１２は、レリーズボタン、動画記録ボタン、静止画連続撮影モードと動画記録モードなどを切り替えるモード切り換えダイヤルなどを有し、ユーザが種々の指示を撮像装置１００に入力ために使用される。表示部１１３は、液晶表示パネルからなり、記録時は撮像素子１０１によって撮像される画像を表示し、再生時には再生画像を表示する。表示部１１３はまた、撮像装置１００に対する設定メニュー等、記録時間、及びバッテリ残量等の情報を表示する。
【００２０】
ＣＰＵ１１４は、中央演算処理装置であり、撮像装置１００の各部を制御する。メモリ１１８は、ＣＰＵ１１４、ファイルシステム１１６の作業領域として使用する。ファイルシステム１１６は、メモリカード１１０へのファイルの書込みと読出しに必要な情報を提供する。
【００２１】
装着型ワイヤレス装置１１７は、情報を表示する表示部１２３、音声を入力するマイク１１８、カメラと通信を行う通信部１２１からなる。マイク１１８は、マイク１０５と同様に、内蔵されたマイクにより装着型ワイヤレス装置周辺の音声信号を収音し、音声処理回路１１９によりアナログデジタルデータ変換を行って一旦ＰＣＭバッファ１２０にためられた後、通信部１２１を通して外部装置に送信を行う。
【００２２】
通信部１２１は、通信部１１１と同様に、装着型ワイヤレス装置１１７と外部装置との間で通信を行うもので、ＰＣＭバッファ１２０に貯められた音声信号データを送信する。また、撮影開始や終了、撮影にかかる制御信号や、その他の制御信号を送受信する。通信部１２１は、例えば、赤外線通信モジュール、無線ＬＡＮ通信モジュール等の無線通信モジュールである。
【００２３】
操作部１２２は、装着型ワイヤレス装置１１７の電源、ユーザが種々の指示を装着型ワイヤレス装置１１７に入力するために使用される。表示部１２４は、液晶表示パネルからなり、撮像装置１００との通信状況を表示する。表示部１２４はまた、装着型ワイヤレス装置１１７に対する設定メニュー等、記録時間、及びバッテリ残量等の情報を表示する。メモリ１２５は、ＣＰＵ１２４、表示部１２３の作業領域として使用する。
【００２４】
ここで、本実施例の撮像システムの通常動作について説明する。ユーザが操作部１１２から撮影モードを起動する操作が行われたとすると、ＣＰＵ１１４に撮影モードへの起動指示が行われ撮影待機状態となる。撮影待機状態で、ユーザが操作部１１２の記録開始ボタンを操作する事により撮影開始の支持が送信されると、ＣＰＵ１１４は撮影開始の指示信号が送信されると、各ブロックに撮影開始の制御信号を送信し、以下のような動作をするように制御する。
【００２５】
撮像素子１０１より取り込まれた被写体の光学像を画像信号に変換しデジタル変換し、画像処理回路１０３を設定値に基づいて処理し、表示部１１３に送信する。表示部１１３は受信した画像信号に関する映像を表示させる。また、画像信号は画像メモリ１０４に一時保存される。マイク１０５より入力されたアナログ音声信号を音声処理回路１０６にてデジタルに変換し、適切な音声特性の処理が行われてＰＣＭバッファ１０７に一時保存される。その後、画像メモリ１０４に貯められた画像信号とＰＣＭバッファ１０７に貯められている音声信号データは、多重化されてストリームバッファ１０８に一時保存される。
【００２６】
この時、本実施例の撮像装置１００は、装着型ワイヤレス装置１１７から送信されたデジタル音声信号を通信部１１９が受信していれば、通信部１１９から音声処理回路１０６にデジタル音声信号が送信される。そうすると、音声処理回路１０５は、マイク１０５から得られた音声データと通信部１１９から送信された音声信号を混合させて一つの音声信号としてＰＣＭバッファ１０７に一時保存する。そして、書き込み制御部１１７は、ストリームバッファ１０８に記憶されたストリームを読み出して、記録媒体制御回路１１１を通して一つの動画ファイルとしてメモリカード１０９に記録していく。
【００２７】
以上の動作を撮影中は継続する。そして、ユーザが操作部１１２の操作ボタンを操作する事により撮影終了の指示信号が送られると制御部は各ブロックに送信する。撮影中同様にストリームバッファ１０８とＰＣＭバッファ１０７にデータが残っている場合は符号化とメモリカードへの書き込みを継続し、データがなくなると動画ファイルを完成させて記録動作を停止する。記録動作が終了すると、撮影状態から撮影待機状態に戻る。
【００２８】
本実施例の撮像装置１００は、図２に示すとおり、記録状態以外の任意のタイミングで装着型ワイヤレス装置１１７との通信許可用情報登録を行うことが出来る。図中のＳ２０１において、撮像装置１００の通信部１１１と装着型ワイヤレス装置の通信部１２１を立ち上げ、送受信動作を行い、通信方式として登録できる端末かどうかを判断する。通信できる端末と判断した場合（Ｓ２０２においてＹｅｓ）には、撮像装置１００の撮像素子１０１を起動させる。
【００２９】
操作部１１２の動作より装着型ワイヤレス装置１１７を装着する人の顔の撮影を行い顔の特徴情報を取得し、装着型ワイヤレス装置１１７のペアリング情報を生成させて、Ｓ２０４に示す登録データ（Ｓ２０５）をメモリ１１８に保存する。ペアリング情報には、Ｓ３０１に示す装着型ワイヤレス装置１１７の固有ＩＤ、撮影した顔の特徴情報がある。この情報は、装着型ワイヤレス装置１１７の通信許可判断の際に利用される。
【００３０】
この一連の撮影動作において、音声の混合判断処理について図４、図５、図６、図７を用いて説明する。
【００３１】
図４は装着型ワイヤレス装置１１７と撮像装置１００を通信させて、音声信号を装着型ワイヤレス装置１１７から撮像装置１００へ送信させるかどうかの判断フローを説明するための図であり、図５の５０１は、想定する表示部１２３とマイク１１８及び通信部１１１を備えたメガネ型の装着型ワイヤレス装置１１７の想定図である。
【００３２】
図６は通信や音声データ送信の許可判断を行った際に、装着型ワイヤレス装置１１７へ送信する表示データ処理フロー図であり、図７が表示部１２２の実際の表示例である。前記の記録待機状態及び記録状態において、どちらの状態でも、装着型ワイヤレス装置１１７と撮像機器１００が通信できる状態であれば、この処理は実行されて良い。
【００３３】
撮像機器が記録待機状態及び記録状態が設定されると、Ｓ４０１で撮像素子１０１からの得られた撮像データを画像処理回路１０２にて撮像された画像の中に顔画像があるかどうかを解析する。顔画像が検出された場合（Ｓ４０１はＹｅｓ）、Ｓ４０２にて前記登録された装着型ワイヤレス装置１１７に対応する顔画像３０１と相関性のある画像信号が含まれているかを解析する。顔画像３０１と相関性の高い顔画像が検出された場合（Ｓ４０２がＹｅｓ）、上記顔画像の検出解析は複数を行うことが可能である。
【００３４】
例えば、図５の５０２の状態では登録されているＩＤの顔画像を持つ被写体が一つと判断、５０３の場合は登録されているＩＤの顔画像を持つ被写体が二つと判断し、５０４の場合は、顔画像は二つ検出されているが登録されているＩＤの被写体は一つなので、検出された被写体は一つと判断する。
【００３５】
そこで、相関性が高い顔画像が一つしか発見されなかった場合（図５の５０２、５０４の状態）には、その一つの前記装着型ワイヤレス装置１１７を撮像装置１００の画角内にある装着型ワイヤレス装置と推定して、装着型ワイヤレス装置ＩＤ３０２の装着型ワイヤレス装置と通信を試みる。通信が開始できた場合（Ｓ４０３がＹｅｓ）には音声信号を装着型ワイヤレス装置１１７の通信部より撮像機器１００へ送信し、音声処理回路１０７にて合成処理を行う。
【００３６】
複数が発見された場合（図５の５０３の状態）には、通信が出来た装着型ワイヤレス装置のＩＤで登録されている顔画像と年齢の情報を抽出する。５０５、５０６に示す年齢によって分けられた顔画像の大きさ、フォーカス位置から求められる被写体距離を重み付けして優先順位を付けていく。例えば、ＩＤ０００１の顔画像が画角の３５％（重み：２．５）で合焦距離が１．５ｍ（重み：４）で、ＩＤ０００２の顔画像が画角の３０％（重み：３）で合焦距離が２．５ｍ（重み：３）だとすると、重みをそれぞれ合計して比較すると（ＩＤ０００１：６．５、ＩＤ０００２：６）、ＩＤ０００１の方が高くなるので、注目する被写体はＩＤ０００１の被写体となる。
【００３７】
ＩＤ０００１を最も注目する被写体と判断し前記装着型ワイヤレス装置１１７を撮像装置１００の画角内にある装着型ワイヤレス装置と推定し、音声信号を装着型ワイヤレス装置１１７の通信部より撮像機器１００へ送信し、音声処理回路１０７にて合成処理を行う。そして、これらの動作は撮影動作及び撮影待機動作中は継続される。
【００３８】
また、撮像装置１００を撮影待機動作中及び撮影動作にした場合に通信部１１１を動作させるため、ユーザが操作部１１２で動作開始ボタンを押したら、通信待機モードにする。このモードになっていない限りは、撮像装置１００と通信できる状態でも通信させない。通信モードになった場合には、表示部１３０に対して撮像装置１００と通信を待っている状態である事を、装着型ワイヤレス装置１１７を装着している被写体に教えるため起動であることを表示する。実施例では、７０１で示すとおり「起動中」として表示させている。
【００３９】
次に、Ｓ４０３にて通信できる状態と判断された場合には、録音開始待機中であることを表示部１３０に対して待機であることを表示させる。実施例では、７０２で示すとおり「待機中」として表示させている。次に、Ｓ４０４にて複数の対象がいないと判断できた場合には、すぐに録音対象として登録され通信が開始される。その場合には、表示部１３０に対して録音中であることを表示する。実施例では、７０３で示すとおり「録音中」として表示させている。
【００４０】
ここで、前述のように、本実施例の画像処理回路１１４では、検出された顔情報が登録されている装着型ワイヤレス装置１１７に対応する特定の被写体かを判断するため、画像信号の解析を行っている。そして、登録されている被写体と相関性の高い画像が含まれているか検出している。ここで、特定の人物の顔を判別（検出）する技術については、平均的な人の顔の輪郭、目、鼻、口等の位置に対するずれから特定の人物を判別（検出）する技術を代表として様々な技術があり、本発明の本筋ではないのでここでは説明を省略する。
【００４１】
以上説明したように、複数の装着型ワイヤレス装置があっても適切に注目する装着型ワイヤレス装置を選択し、特定の被写体の音声データを撮像装置に通信する事が出来る。このような構成にすれば、撮像装置の画角内に確実に入っている装着型ワイヤレス装置から音声を受信する事が出来て、複数の被写体が検出された場合でも最も注目する被写体からの音声のみを合成する事が出来るので、複数のワイヤレス機器との通信の混在や音声データの混在がなく適切な音声データにより撮影動作を行う事が出来る。また、選択が決定してから一つのワイヤレス機器からのみ音声信号データを送信・撮像装置で受信するので撮像装置の受信データ量も軽減することが出来る。
【００４２】
本発明では、顔検出や合焦情報を利用して複数のワイヤレスマイクを検出した場合において、所望のワイヤレスマイクを選択してから、所望のワイヤレスマイクの音声信号のみを通信することで所望の音声信号を強調して録音する事を可能にすることで、複数の音声データの混在による雑音や、ワイヤレス通信の速度低下を防いで動画撮影を行うことが出来る。
【符号の説明】
【００４３】
１００  撮像装置、１０１  撮像素子、１０２  撮像素子駆動回路、
１０３  画像処理回路、１０４  画像メモリ、１０５  マイク、
１０６  音声処理回路、１０７  ＰＣＭバッファ、１０８  ストリームバッファ、
１０９  メモリカード、１１０  書き込み制御部、１１１  通信部、１１２  操作部、
１１３  表示部、１１４  ＣＰＵ、１１５  ファイルシステム、１１６  メモリ、
１１７  装着型ワイヤレス装置、１１８  マイク、１１９  音声処理回路、
１２０  ＰＣＭバッファ、１２１  通信部、１２３  操作部、１２４  表示部、
１２５  ＣＰＵ、１２６  メモリ
【図１】
2017005322.tif 000003
【図２】
2017005322.tif 000004
【図３】
2017005322.tif 000005
【図４】
2017005322.tif 000006
【図５】
2017005322.tif 000007
【図６】
2017005322.tif 000008
【図７】
2017005322.tif 000009