(57)【要約】本発明は、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることのない画像切替システムを提供することを目的とする。  本発明の画像切替システムは、複数のカメラ１１と、前記複数のカメラ１１により撮像した画像を切り替えて出力する計算機１と、を含んで構成される画像切替システムであって、前記計算機１は、前記複数のカメラ１１により撮像した画像をそれぞれ、所定の時間分、記憶する映像遅延部１２と、前記複数のカメラ１１のうちの少なくとも１つにより撮像している第１の撮像対象に、第１の事象が発生したことを検出するマイク１４と、前記映像遅延部１２により所定の時間分画像を記憶した後、前記第１の撮像対象を撮像した画像のうち、前記マイク１４により前記第１の事象を検出した時点を少なくとも含む画像を、前記映像遅延部１２から読み出して出力する出力画像切替部１３と、を備える、ものである。【特許請求の範囲】
【請求項１】
複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、
前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、
前記複数のカメラのうちの少なくとも１つにより撮像している第１の撮像対象に、第１の事象が発生したことを検出する検出部と、
前記記憶部により所定の時間分画像を記憶した後、前記第１の撮像対象を撮像した画像のうち、前記検出部により前記第１の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する出力部と、を備える、
画像切替システム。
【請求項２】
請求項１記載の画像切替システムであって、
前記画像切替装置の出力部は、前記第１の撮像対象を撮像した画像を、前記検出部により前記第１の事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、
画像切替システム。
【請求項３】
請求項１または２記載の画像切替システムであって、
前記画像切替装置の出力部は、前記検出部が前記第１の事象を一定期間継続して検出している場合、前記第１の撮像対象を撮像した画像のうち、前記検出部により前記第１の事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項４】
請求項１から３のいずれか１項に記載の画像切替システムであって、
前記画像切替装置の出力部は、前記第１の撮像対象を撮像した画像を一定期間出力した場合、別のカメラにより撮像した第２の撮像対象の画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項５】
請求項１から４のいずれか１項に記載の画像切替システムであって、
前記画像切替システムの検出部は、前記第１の事象が発生していることを検出中に、別のカメラにより撮像している第２の撮像対象に第２の事象が発生したことを検出し、
前記画像切替システムの出力部は、前記第１の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第２の撮像対象を撮像した画像のうち、前記検出部により前記第２の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項６】
請求項１から５のいずれか１項に記載の画像切替システムであって、
前記複数のカメラのうちの１つは、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像範囲に捉えた、第３の撮像対象を撮像し、
前記画像切替え装置の出力部は、前記検出部により前記第１の事象を検出した後に一定期間経過した場合、前記第３の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項７】
請求項１記載の画像切替システムであって、前記画像切替装置は、
前記検出部により第１の事象が発生したことを検出した第１の撮像対象についての画像を読み出して出力するか否かを判定する判定部を備え、
前記画像切替装置の出力部は、前記記憶部により所定の時間分画像を記憶した後、前記第１の撮像対象を撮像した画像のうち、前記判定部により出力可と判定され、かつ、前記検出部により前記第１の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項８】
請求項７記載の画像切替システムであって、
前記画像切替システムの検出部は、前記第１の事象が発生していることを検出中に、別のカメラにより撮像している第２の撮像対象に第２の事象が発生したことを検出し、
前記画像切替装置の判定部は、前記第１の撮像対象についての画像または前記第２の撮像対象についての画像のいずれを読み出して出力するかを判定し、
前記画像切替装置の出力部は、前記記憶部により所定の時間分画像を記憶した後、前記判定部により出力すると判定された撮像対象を撮像した画像のうちの、前記検出部により当該撮像対象に発生した事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像システム。
【請求項９】
請求項８記載の画像切替システムであって、
前記画像切替装置の判定部は、前記第１の撮像対象および前記第２の撮像対象に設定された優先順位に基づいて、前記第１の撮像対象についての画像または前記第２の撮像対象についての画像のいずれを読み出して出力するかを判定する、
画像システム。
【請求項１０】
請求項８記載の画像切替システムであって、
前記画像切替装置の判定部は、前記検出部が前記第１の事象が発生していることを検出している期間および前記第２の事象が発生していることを検出している期間に基づいて、前記第１の撮像対象についての画像または前記第２の撮像対象についての画像のいずれを読み出して出力するかを判定する、
画像システム。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像切替システムは、さらに、マイクを含んで構成されるものであって、
前記画像切替装置の検出部は、前記マイクにより収音した音により、前記第１の撮像対象に第１の事象が発生したことを検出する、
画像切替システム。
【請求項１２】
請求項１１記載の画像切替システムであって、
前記複数のカメラはそれぞれ、異なる人を撮像し、
前記画像切替え装置の検出部は、前記マイクにより収音した音声により、前記複数のカメラにより撮像する異なる人のうちの、少なくとも１人が発話していることを検出する、
画像切替システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、複数の撮像対象のうちの特定の撮像対象に、カメラを切り替えて撮像する際、撮像する画像の切り替えをスムーズに行うことができる画像切替システムに関する。
【背景技術】
【０００２】  複数の撮像対象のうちの特定の撮像対象に自動的にカメラを切り替え、その特定の撮像対象を撮像する撮像対象切替システムは、その撮像がなされている撮像環境に応じて、その切替処理が大きく２つに分けられる。【０００３】  その１つの撮像環境は、撮像対象となる人物が予め決められたシナリオに沿って何らかの行為を行うシナリオ型の環境であり、例えば、演奏会、テレビドラマ等の撮像環境が挙げられる。この例の場合、演奏会の場合は楽曲、譜面を事前知識として利用することによって、テレビドラマの場合は台本を事前知識として利用することによって、次にカメラを向けるべき人物を予め特定し易く、従って、その撮像環境における場面の切り替えをスムーズに行うことができる。【０００４】  もう１つの撮像環境は、上述のシナリオ型の環境のようにシナリオが用意されておらず、なんらかのイベントが発生したことを検知するとそのイベント場面にカメラを切り替えるイベント型の環境であり、例えば、スポーツ、講義、会議等の撮像環境が挙げられる。画像認識技術や音声認識技術を利用してイベントが発生したことを検知することにより、不測のイベントも撮像することができる。【０００５】  ところで、上述のイベント型の環境での撮像対象切替システムには、次のような課題がある。すなわち、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでに時間差が発生してしまうということである。この点を、複数の話者により行われている会議の様子を、１台のカメラによりその発話者を捉えて撮像を行う撮像対象切替システムを例に考える。【０００６】  上述の例の撮像対象切替システムでは、発話者の音声をマイクで検出した場合に、その発話者の方向にカメラを回転させる。このため、カメラを回転させる回転処理に時間がかかると、カメラで撮像した画像を見ている視聴者にとっては、発話者の音声が聞こえ始めてから回転処理にかかった時間経過後にようやく発話者の画像が表示されることになる。すなわち、カメラにより撮像している画像と発話者の音声とが一致しない場合が考えられ、その会議における場面の切り替えをスムーズに行うことが困難である。【０００７】  この例以外にも、複数の話者をそれぞれ別々のカメラで撮像する撮像対象切替システムも考案されている。図９に、従来の撮像対象切替システムにおける処理動作の概略図を示す。図９の上段では、各話者（ａ、ｂ、ｃ）が発話している区間を長方形で示しており、中段では、マイクにより収音した各話者の音声をシステムが出力している区間を同じく長方形で示しており、下段では、発話者に割り当てられたカメラにより撮像した画像をシステムが出力している区間を同じく長方形で示している。このシステムでも、発話者の音声をマイクで検出してからその発話者の撮像を開始するまでに時間差（ｔ１〜ｔ１’、ｔ２〜ｔ２’、ｔ３〜ｔ３’の区間）を０にすることは困難である。【０００８】  イベント発生後の場面の切り替えをスムーズに行うために、特許文献１の撮像対象切替システムが提案されている。特許文献１では、ある話者が発話したことを検知してからその発話者をカメラにより撮像開始するまでの間、予め録画しておいた、その発話者の静止画像を���像画像として表示させ、カメラによる発話者の撮像を開始すると実際の撮像画像を表示させるものが提案されている。【０００９】
【特許文献１】特開平１０−６６０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】  しかしながら、特許文献１の撮像対象切替システムでは、発話前にカメラにより撮像していた画面と、予め録画しておいた、発話者の静止画像と、切り替え後にカメラにより撮像する発話者の画面と、を違和感無く、スムーズに視聴者に見せることは困難である。また、イベント型の環境での撮像対象切替システムにおける、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでに時間差が発生してしまうという課題は、解決していない。【００１１】  また、現在のイベント型の環境での撮像対象切り替えは、専門の人間（イベントが発生することを経験上予測することができる人）が機器を操作して、その切り替え行うことが多い。しかし、経験を積んだ専門の人間による切替操作であっても、特許文献１の撮像対象切替システムと同様、時間差が発生する可能性は以前残ったままである。【００１２】  本発明は、上記事情に鑑みてなされたものであって、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることのない画像切替システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】  本発明の画像切替システムは、複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、前記複数のカメラのうちの少なくとも１つにより撮像している第１の撮像対象に、第１の事象が発生したことを検出する検出部と、前記記憶部により所定の時間分画像を記憶した後、前記第１の撮像対象を撮像した画像のうち、前記検出部により前記第１の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する出力部と、を備える、ものである。【００１４】  この構成により、カメラマンやディレクタといったカメラを制御する人材が不要で、映像提供のためのコストを抑えることができ、質の高いカメラワークをリアルタイムで会議等を中継することができ、これによってリアルタイムの討論番組やパネルディスカッションの視聴で、視聴者が飽きることがない映像を作り出すことができる。【００１５】  また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記第１の撮像対象を撮像した画像を、前記検出部により前記第１の事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、ものを含む。【００１６】  この構成により、予め第１の事象が起きる前の第１の撮像対象に画像を切り替えておくことにより、その第１の撮像対象に対する注意を視聴者に促すことができ、その結果、その第２の事象に視聴者を惹き付ける効果がある。【００１７】  また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記検出部が前記第１の事象を一定期間継続して検出している場合、前記第１の撮像対象を撮像した画像のうち、前記検出部により前記第１の事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、ものである。【００１８】  この構成によれば、第１の事象が短時間のものである場合には第１の撮像対象を撮像した画像を出力しないため、短時間の画像切替が発生してしまうことにより視聴者に不快感を与えることを未然に防止することができる。
画像切替システム。【００１９】  また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記第１の撮像対象を撮像した画像を一定期間出力した場合、別のカメラにより撮像した第２の撮像対象の画像を、前記記憶部から読み出して出力する、ものである。【００２０】  この構成により、視聴者が同一画像に飽きてしまうことを防ぐことができる。【００２１】  また、本発明の画像切替システムは、前記画像切替システムの検出部が、前記第１の事象が発生していることを検出中に、別のカメラにより撮像している第２の撮像対象に第２の事象が発生したことを検出し、前記画像切替システムの出力部が、前記第１の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第２の撮像対象を撮像した画像のうち、前記検出部により前記第２の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、ものを含む。【００２２】  この構成により、複数の事象が複数の撮像対象で起こる場合でも、効果的に画像切替を行うことができる。【００２３】  また、本発明の画像切替システムは、前記複数のカメラのうちの１つが、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像範囲に捉えた、第３の撮像対象を撮像し、前記画像切替え装置の出力部が、前記検出部により前記第１の事象を検出した後に一定期間経過した場合、前記第３の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、ものを含む。【００２４】  この構成により、第１の事象が発生してからの経過間が短い場面では、全体を捉えた第３の撮像対象の画像を出力しないことにより、視聴者が画像切替により不快感を覚えるのを防止することができる。
【発明の効果】
【００２５】  本発明の画像切替システムによれば、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることが無いため、視聴者にとって快適な視聴環境を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態の画像切替システム
【図２】本発明の実施形態の画像切替システムにおける処理動作の概要を示す説明図
【図３】映像のずり上げ切替の説明図
【図４】シーンカメラへの切替方法の説明図
【図５】オーバラップ時の切替方法の説明図
【図６】短時間の発話時切替方法の説明図
【図７】映像の持続時間切替方法の説明図
【図８】本発明の第１〜第６実施形態の画像切替システムによる画像切替処理を、組み合わせた処理の流れ
【図９】従来の撮像対象切替システムにおける処理動作の概略図
【図１０】本発明の実施形態における、各話者に優先順位を設定する画像切替システムの構成
【符号の説明】
【００２７】  １  計算機
１１ａ〜１１ｃ  カメラ
１１ｄ  シーンカメラ
１２  映像遅延部
１２ａ〜１２ｄ  メモリ
１３  出力画像切替部
１４ａ〜１４ｃ  マイク
１４ｄ  センターマイク
１５  音声遅延部
１６  話者特定部
１７  画像切替決定部
１８  ミキシング部
１９  話者重み情報保持部
【発明を実施するための最良の形態】
【００２８】  以下、本発明の実施形態の画像切替システムについて、図面を用いて説明する。図１に、本発明の実施形態の画像切替システムを示す。
図１の画像切替システムは、計算機１、複数台のカメラ１１ａ〜１１ｄ、複数台のマイク１４ａ〜１４ｄ、とを含んで構成される。計算機１は、対になったカメラ１１Ｘとマイク１４Ｘ（Ｘ＝ａ、ｂ、ｃ、ｄ）から出力される画像情報と音情報に対して次段落以降に述べる処理を行い、その画像情報と音情報から構成される映像を例えばモニターに出力する。カメラ１１ａ〜１１ｃはそれぞれ、複数の話者（本発明の実施形態では話者が３人の場合を想定している）を別々に撮像するように設置されており、シーンカメラ１１ｄはその複数の話者全員を同時に撮像するシーンカメラとして使用される。マイク１４ａ〜１４ｃはそれぞれ、複数の話者毎の音声をそれぞれ別々に収音できるように設置されており、センターマイク１４ｄはその複数の話者全員を同時に収音できる。以下、計算機１について詳細に説明する。【００２９】  計算機１は、映像遅延部１２、出力映像切替部１３、音声遅延部１５、話者特定部１６、画像切替決定部１７、ミキシング部１８、とを含んで構成される。【００３０】  映像遅延部１２は、カメラ１１ａ〜１１ｄが撮像した画像情報を入力し、それぞれのカメラ１１から入力する画像情報を、それぞれ別々に、所定の時間分（Δｔ秒間）、記憶する。図１では、映像遅延部１２は、上記の画像情報をそれぞれ異なるメモリ１２ａ〜１２ｄに記憶するようにしている。メモリの記憶容量が少ない場合は、所定の時間分画像情報を記憶した後、既に記憶したその画像情報を次の所定の時間分の新しい画像情報により上書きして記憶するようにしても良い。【００３１】  音声遅延部１５は、マイク１４ｄが収音した音情報を入力し、その音情報を所定の時間分（Δｔ秒間）記憶する。【００３２】  話者特定部１６は、複数の話者それぞれから個別のマイク１４ａ〜１４ｃで集音した各音声にもとづき、複数の話者のうちの誰が発話しているか、いつ発話を開始したか、どのくらいの期間発話を継続しているか、または、発話の無い状態がどのくらいの期間継続しているか、など、音声の有無から判定される話者の発話状況を特定するものである。複数の話者のうちの発話者を特定する方法としては、ある閾値を越える強度の音がマイクに入力されたときにそのマイクを割り当てられている話者を発話者とする方法が挙げられる。また、発話の開始時点、発話の継続期間、あるいは、無音状態の継続期間を算出する方法は、ある閾値を越えるまたは下回る強度の音がマイクに入力されたときを起点または終点とする方法などが挙げられる。なお、本発明の話者の発話状況を特定するための方法は、上記の例に限らない。話者特定部１６は、話者の発話状況を画像切替決定部１７に通知する。【００３３】  画像切替決定部１７は、話者特定部１６により特定された話者の発話状況に基づいて、映像遅延部１２のメモリ１２ａ〜１２ｄに記憶した画像情報のうちの、出力画像切替部１３が読み出すすべき画像情報を決定する。例えば、話者特定部１６がマイク１４ａによる音声入力を検知したことと、その検知した時刻とを、画像切替決定部１７に通知すると、画像切替決定部１７は、マイク１４ａに対応するカメラ１１ａが撮像した画像情報を、その検知した時刻を開始点として、映像遅延部１２のメモリ１���ａから読み出すよう出力画像切替部１３に指示する。画像切替決定部１７が出力画像切替部１３に指示する内容の詳細については、後述する。【００３４】  出力画像切替部１３は、映像遅延部１２のメモリ１２ａ〜１２ｄに所定の時間分の画像情報を蓄積後、そのメモリ１２ａ〜１２ｄの少なくとも１つから画像情報を読み出して、ミキシング部１８に出力する。このとき、出力画像切替部１３は、画像切替決定部１７から条件（少なくとも、どのメモリ１２ａ〜１２ｃから、どの区間の画像情報を読み出すかという条件を含む）を指示されている場合は、読み出しを指示された区間の画像情報を指示されたメモリから読み出し、指示された区間以外の画像情報をメモリ１２ｄから読み出して、その画像情報をミキシング部１８に出力する。【００３５】  ミキシング手段１８は、出力画像切替部１３により読み出した画像情報と、音声遅延部１５で所定の時間遅延した音情報との同期を取り、その画像情報と音情報とから構成される映像情報を出力する。【００３６】  次に、本発明の実施形態の画像切替システムにおける処理動作について説明する。図２に、本発明の実施形態の画像切替システムにおける処理動作の概要を示す説明図を示す。【００３７】  本発明の実施形態の画像切替システムを利用すると、各話者の発話は、所定の間隔Δｔ（順にΔｔ１、Δｔ２、Δｔ３・・・）で時間的に区切ることができる。本発明の実施形態の画像切替システムは、実際の各話者の発話からΔｔ後に映像（出力音声と出力画像から成る）を出力することになるが、このΔｔの間に発話状況を把握することにより、次に出力すべき画像を予め特定することができ、従って、イベント型の環境での画像切替をスムーズに行うことができる。【００３８】  図２を参照して説明すると、画像切替システムは、実際に話者により発話されているΔｔ１（図面上段、各話者の発話）において、カメラにより撮像した画像とマイクにより収音した音声とを記憶しつつ、発話状況を特定する。Δｔ１終了後、画像切替システムは、引き続き実際に話者により発話されているΔｔ２において、カメラにより撮像した画像とマイクにより収音した音声とを記憶しつつ発話状況を特定すると同時に、記憶しておいたΔｔ１の区間の出力を開始する。ここで、実際に話者により発話されている区間をΔｔ１、２、３・・・として、Δｔ後に画像切替システムが画像および音声を出力する区間をΔＴ１、２・・・として、区別する。ΔＴ１の区間の出力では、発話が無い区間（長方形で囲まれる区間が存在していない区間）は、例えば複数の話者全員を同時に撮像した画像と音声とを読み出して出力するようにし、発話がなされている区間（長方形で囲まれる区間）はその発話者（図２では話者ａ）を撮像した画像と音声とを読み出して出力する。ΔＴ２、ΔＴ３の区間の映像の出力も、帰納的に可能となる。画像切替システムは、ΔＴ１の映像を出力する前に、どの話者が、どの時点から、発話を開始したかを把握しているため、発話が開始される時点からの時間差無しで映像の出力を行うことが可能となる。このため、図２の中段の出力音声、下段の出力画像に示すように、音声と画像とを同時（ｔ１、ｔ２、ｔ３の時点）に出力することができる。以下、本発明の実��形態の画像切替システムにおける各部の処理の流れを説明する。【００３９】  まず、映像遅延部１２は、カメラ１１ａ〜１１ｄで会議等の参加者である話者を、発話中、非発話中によらず撮影し、そのカメラ１１ａ〜１１ｄ毎に撮影された複数の映像を入力し、メモリ１２ａ〜１２ｄにそれぞれΔｔ秒間蓄積する（図２のΔｔ１の区間に相当）。【００４０】  一方、話者特定部１６は、この映像蓄積開始時からΔｔ秒を経過するまでの間（Δｔ１の区間）にマイク１４ａ〜１４ｃにより収音した音声から、発話者の特定を行う。話者特定部１６は、発話者がマイク１４ａ〜１４ｃに向って話した音声を、例えば０．５秒間で４０００回のサンプリングを行い、ある閾値以上の音声の入力が連続していることを検出した区間で、そのマイクを割り当てられている話者が発話中であることを特定する。話者特定部１６は、発話者が利用しているマイクと、発話中であることを特定した区間と、を画像切替決定部１７に通知する。【００４１】  画像切替決定部１７は、話者特定部１６からの通知を受け付けると、発話者が利用しているマイクに対応するカメラが撮像した画像情報のうち、発話中であることを特定した区間を、映像遅延部１２のメモリ１２ａから読み出すよう出力画像切替部１３に指示する。【００４２】  また、音声遅延部１５は、センターマイク１４ｄにより収音した音声を入力し、メモリ１５ａにΔｔ秒間蓄積する。【００４３】  Δｔ１終了後のΔｔ２の区間においても、映像遅延部１２、話者特定部１６、画像切替決定部１７、音声遅延部１５は、上述の処理を行う。一方、出力画像切替部１３は、Δｔ２の区間になると、映像遅延部１２に記憶したΔｔ１の区間の画像情報を読み出し、ミキシング部１８に出力する。このとき、発話が無い区間は、メモリ１２ｄに記憶した、複数の話者全員が含まれる画像を読み出して出力し、発話がなされている区間は、メモリ１２ａに記憶した、その発話者（図２では話者ａ）を撮像した画像を読み出して出力する。また、音声遅延部１５も、Δｔ２の区間になると、音声遅延部１２に記憶したΔｔ１の区間の音情報を読み出し、ミキシング部１８に出力する。【００４４】  ミキシング部１８は、出力画像切替部１３から入力する画像情報と、音声遅延部１２から入力する音情報と、の同期を取り、映像出力する（ΔＴ１）。この後、ΔＴ２、ΔＴ３の区間を次々映像出力することにより、各カメラ１１ａ〜１１ｄで撮影した画像を、１本の映像ストリームとして出力されることになる。【００４５】  本発明の実施形態の画像切替システムによれば、所定の時間分、カメラにより撮像した画像とマイクにより収音した音声とを記憶しつつ、発話状況を特定し、その所定の時間終了後、発話がなされている区間の画像と音声を読み出して出力することにより、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることなしに、映像を出力することができる。【００４６】  なお、本発明の実施形態の画像切替システムでは、カメラ１１Ｘとマイク１４Ｘ（Ｘ＝ａ、ｂ、ｃ、ｄ）が対になっているものが複数の話者毎に割り当てられている場合について説明するが、必ずしも、対になっている必要は無い。その場合の実施形態について説明する。【００４７】  カメラ１１ａ〜ｃだけを複数の話者に割り当てておき（マイクを複数の話者に割り当てない）、さらに、複数の話者毎の音声の波形を予め話者特定部１６に記憶しておく。話者特定部１６は、マイクから音情報を入力すると、その音情報の波形から発話者を特定する。話者特定部１６は、発話者に割り当てられたカメラと、発話中であることを特定した区間と、を画像切替決定部１７に通知する。これ以外の各部の処理は、上述したものと共通である。【００４８】  この構成によれば、話者の人数分だけマイクを用意する必要がなくなるため、本発明の画像切替システムを実現することが容易になる。【００４９】  また、本発明の実施形態の画像切替システムでは、マイク１４ａ〜１４ｃにより収音した音声から、カメラ１１の撮像対象である発話者の特定を行うように記載したが、マイクにより収音した音声に限るものではなく、発話が発生したことを検知できるあらゆる装置を適用することができる。例えば、マイクのスイッチのオン・オフにより発話者を特定したり、カメラ１１が撮像する画像から発話者を特定したり、する方法が挙げられる。【００５０】  また、本発明の実施形態の画像切替システムでは、カメラ１１により複数の話者を撮像し、そのうちの発話者の映像を出力する例について説明したが、これに限るものではない。本発明の画像切替システムは、上述の項目「背景技術」で述べたイベント型の環境に適用することができる。例えば、スポーツであれば、画像認識技術、音声認識技術または各種認識技術を利用してイベント（得点場面、勝敗が決定した場面など）が発生したことを検知することにより、不測のイベントも撮像することができる。【００５１】  以下、本発明の実施形態の画像切替システムを利用した、出力画像切替例を詳細に説明する。その際、上述した、複数の話者を撮像しそのうちの発話者の映像を出力する例を参照して、説明する【００５２】  （第１実施形態）
「映像のずり上げ切替」
映像のずり上げ切替とは、図３の映像のずり上げ切替の説明図に示すように、ある話者が発話を開始する例えば数秒前（ずり上げ間隔と呼ぶ。図３では、ｔ１ａ、ｔ２ａ、ｔ３ａの時点。なお、ｔ１、ｔ２、ｔ３の時点は、発話開始の時点。）からその話者の画像を出力するものである。これによれば、予め発話前の話者に画像を切り替えておくことにより、その話者に対する注意を視聴者に促すことができ、その結果、その話者の発話内容に視聴者を惹き付ける効果がある。【００５３】  この映像のずり上げ切替を実施する、本発明の第１実施形態の画像切替システムの構成は、図１と同じ構成である。出力画像切替部１３、画像切替決定部１７の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部１３、画像切替決定部１７以外の機能についての説明を省略する。【００５４】  画像切替決定部１７は、映像遅延部１２のメモリ１２ａ〜１２ｄに記憶したΔｔ１の区間の画像情報を以下に述べる条件により読み出し、ミキシング部１８に出力するよう出力画像切替部１３に指示する。このとき、出力画像切替部１３は、読み出しを指示された区間（図３の長方形のうちの塗りつぶしされた区間）と、その区間の先頭ｔ１からずり上げ間隔分の前の時点ｔ１ａまでの区間（図３の長方形のうちの塗りつぶしされていない区間）と、の画像情報を、指定されたメモリから読み出し、ミキシング部１８に出力する。それ以外の区間は、メモリ１２ｄに記憶した、複数の話者全員が含まれる画像を読み出して出力する。【００５５】  その後、ミキシング部１８は、出力画像切替部１３から入力する画像情報と、音声遅延部１２から入力する音情報と、の同期を取り、映像出力する（ΔＴ１）。この後、ΔＴ２、ΔＴ３の区間を次々映像出力することにより、各カメラ１１ａ〜１１ｄで撮影した画像を、１本の映像ストリームとして出力されることになる。【００５６】  （第２実施形態）
「シーンカメラへの切替」
上述の画像切替システムでは、発話の無い区間（沈黙時）では、シーンカメラ１１ｄにより撮像した画像を、映像として出力するように説明した。話者全員が同時に発話する区間においても、このシーンカメラ１１ｄにより撮像した画像を、映像として出力するようにしても良い。しかしながら、この方法では、沈黙時間（あるいは、同時発話時間）が短い場合にもシーンカメラの映像に切り替えることがあり、短時間に頻繁に切替が発生することにより、視聴者に不快感を感じさせることがある。このような不快感を感じさせないようにするシーンカメラへの切替方法について、図４のシーンカメラへの切替方法の説明図を参照して説明する。なお、本発明の第２実施形態の画像切替システムの構成は、図１と同じ構成である。出力画像切替部１３、画像切替決定部１７の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部１３、画像切替決定部１７以外の機能についての説明を省略する。【００５７】  図４の上段では、各話者（ａ、ｂ、ｃ）が発話している区間を長方形で示し、発話の無い区間を沈黙区間１、２、３として矢印により示している。画像切替決定部１７は、映像遅延部１２に記憶したΔｔ１の区間の画像情報を以下に述べる条件により読み出し、ミキシング部１８に出力するよう出力画像切替部１３に指示する。このとき、出力画像切替部１３は、発話が無い区間（沈黙区間）が所定の時間よりも長い場合（図４では沈黙区間１に該当）は、メモリ１２ｄに記憶した、複数の話者全員が含まれる画像を読み出して出力する。さらに、発話がなされている区間は、メモリ１２ａに記憶した、その発話者（図４では話者ａ）を撮像した画像を読み出して出力する。【００５８】  また、出力画像切替部１３は、Δｔ３の区間になると、映像遅延部１２のメモリ１２ａ〜１２ｄに記憶したΔｔ２の区間の画像情報を読み出し、ミキシング部１８に出力する。このとき、発話が無い区間（沈黙区間）が所定の時間よりも短い場合（図４では沈黙区間２に該当）は、その沈黙区間後に発話する予定の話者の画像を読み出して出力する（図４の長方形のうちの塗りつぶしされていない区間における、話者ｂの画像を読み出す）。なお、沈黙区間２前に発話していた話者の画像を引き続き読み出して出力するようにしても良い。さらに、発話がなされている区間は、メモリ１２ｂに記憶した、その発話者（図４では話者ｂ）を撮像した画像を読み出して出力する。【００５９】  その後、ミキシング部１８は、出力画像切替部１３から入力する画像情報と、音声遅延部１２から入力する音情報と、の同期を取り、映像出力する（ΔＴ１）。この後、ΔＴ２、ΔＴ３の区間を次々映像出力することにより、各カメラ１１ａ〜１１ｄで撮影した画像を、１本の映像ストリームとして出力されることになる。【００６０】  なお、第２実施形態では、沈黙区間におけるシーンカメラの切替方法について説明したが、話者全員が同時に発話する区間においても同様に切り替えることができる。【００６１】  （第３実施形態）
「オーバラップ時の切替」
会議などでは、複数の話者が同時に発話する場合も考えられる。この場合を、オーバラップと呼ぶ。オーバラップ時の画像切替について、図５のオーバラップ時の切替方法の説明図を参照して説明する。なお、本発明の第３実施形態の画像切替システムの構成は、図１と同じ構成である。出力画像切替部１３、画像切替決定部１７の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部１３、画像切替決定部１７以外の機能についての説明を省略する。【００６２】  画像切替決定部１７は、映像遅延部１２のメモリ１２ａ〜１２ｄに記憶したΔｔ２の区間の画像情報を以下に述べる条件により読み出し、ミキシング部１８に出力するよう出力画像切替部１３に指示する。このとき、出力画像切替部１３は、発話がなされている区間のうち、話者ｂ、ｃの発話がオーバラップしている区間（時点ｔ４〜ｔ５の区間）は、メモリ１２ｃに記憶した、その発話者（図５では話者ｃ）を撮像した画像を読み出して出力する。オーバラップしている区間前後（時点ｔ４以前、時点ｔ５以後）は、メモリ１２ｂに記憶した、その発話者（図５では話者ｂ）を撮像した画像を読み出して出力する。出力画像切替部１３は、画像切替決定部１７から通知される、発話中であることを特定した区間の始点・終点毎に、画像情報を読み出すメモリ１２ａ〜１２ｄを切り替えることになる。【００６３】  このように処理することにより、オーバラップする場合でも、画像切替を行うことができる。【００６４】  また、本発明の第３実施形態の画像切替システムでは、話者ｂ、ｃの発話がオーバラップしている区間（時点ｔ４〜ｔ５の区間）は、話者ｃを撮像した画像を優先して読み出し出力するようにしたが、各話者ａ、ｂ、ｃに優先順位を設定しておき、話者ａ、ｂ、ｃの少なくとも２者からの発話がオーバラップしている区間は、その優先順位が最も高い話者を撮像した画像を優先して読み出し出力するようにしても良い。この場合、図５に示す切替方法は、話者ｃの優先順位が話者ｂの優先順位よりも高かった場合の切替方法に相当することになる。【００６５】  図１０に、本発明の実施形態における、各話者に優先順位を設定する画像切替システムの構成を示す。話者重み情報保持部１９には、マイク１４Ｘ（Ｘ＝ａ、ｂ、ｃ）毎に設定された優先順位がメモリ等に記憶されている。話者特定部１６は、マイク１４への音情報の入力から複数の発話者を特定した場合、そのマイク１４に割り当てられたカメラ１１と、発話中であることを特定した各発話者毎の区間と、を画像切替決定部１７に通知する。画像切替決定部１７は、複数の発話者によって発話がなされている区間のうち、マイク１４ｂ、ｃからの発話がオーバラップしている区間（時点ｔ４〜ｔ５の区間）は、優先順位の高いマイク１４ｃを利用している発話者を撮像した画像（図５ではマイク１４ｃと対になっているカメラ１１ｃによって撮像した画像）を読み出してミキシング部１８に出力するよう、出力画像切替部１３に指示する。このとき、出力画像切替部１３は、発話がなされている区間のうち、話者ｂ、ｃの発話がオーバラップしている区間（時点ｔ４〜ｔ５の区間）は、メモリ１２ｃに記憶した、話者ｃを撮像した画像を読み出して出力す��。【００６６】  あるいは、各話者に優先順位を設定する本発明の実施形態の画像切替システムの構成としては、カメラ１１ａ〜ｃだけを複数の話者に割り当てておき（マイクを複数の話者に割り当てない）、複数の話者毎の音声の波形を予め話者特定部１６に記憶しておき、さらに、その複数の話者毎に設定された優先順位を予め話者重み情報保持部１９に記憶しておく。話者特定部１６は、マイクから音情報を入力すると、その音情報の波形から発話者を特定する。話者特定部１６は、その音情報の波形から複数の発話者を特定した場合、その複数の発話者に割り当てられたカメラと、発話中であることを特定した各発話者毎の区間と、を画像切替決定部１７に通知する。画像切替決定部１７は、複数の発話者によって発話がなされている区間のうち、話者ｂ、ｃの発話がオーバラップしている区間（時点ｔ４〜ｔ５の区間）は、優先順位の高い発話者を撮像した画像（図５では話者ｃに割り当てられたカメラ１１ｃによって撮像した画像）を読み出し、ミキシング部１８に出力するよう、出力画像切替部１３に指示する。このとき、出力画像切替部１３は、発話がなされている区間のうち、話者ｂ、ｃの発話がオーバラップしている区間（時点ｔ４〜ｔ５の区間）は、メモリ１２ｃに記憶した、話者ｃを撮像した画像を読み出して出力する。【００６７】  このように、複数の発話者による発話がオーバラップする場合でも、予め設定した優先順位に応じて、優先順位の高い話者を撮像した画像に適宜切り替えることができるため、本発明の実施形態の画像切替システムを利用する際の利便性が向上する。【００６８】  （第４実施形態）
「短時間の発話時の切替」
会話の中には、発話の伴う相槌を打つことが頻繁にある。上述の画像切替では、ある話者が上記の相槌を打つと、その話者に画像が瞬間的に切り替えられることになる。このような画像切替は、視聴者に不快感を与えてしまう。第４実施形態の画像切替システムは、短時間の発話により画像切替が発生してしまうことにより、視聴者に不快感を与えることを防止するものである。この短時間の発話時の画像切替について、図６の短時間の発話時切替方法の説明図を参照して説明する。図６では、話者ｂの発話と、話者ｃの相槌がオーバラップする場合である。なお、本発明の第４実施形態の画像切替システムの構成は、図１と同じ構成である。出力画像切替部１３、画像切替決定部１７の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部１３、画像切替決定部１７以外の機能についての説明を省略する。【００６９】  画像切替決定部１７は、映像遅延部１２のメモリ１２ａ〜１２ｄに記憶したΔｔ２の区間の画像情報を以下に述べる条件により読み出し、ミキシング部１８に出力するよう指示する。このとき、出力画像切替部１３は、各話者の発話がなされている区間のうち、所定の時間（オーバラップ間隔）よりも短いものがあれば（話者ｃの時点ｔ４〜ｔ５の区間に該当）、その話者の画像を読み出さず、オーバラップ間隔よりも長いもの（話者ａ、ｃの発話区間に該当）があれば、その話者に対応するメモリから画像を読み出して出力する。【００７０】  その後、ミキシング部１８は、出力画像切替部１３から入力する画像情報と、音声遅延部１２から入力する音情報と、の同期を取り、映像出力する（ΔＴ１）。この後、ΔＴ２、ΔＴ３の区間を次々映像出力することにより、各カメラ１１ａ〜１１ｄで撮影した画像を、１本の映像ストリームとして出力する。ミキシング部１８は、話者ｃの相槌を省いた画像を出力することになる。【００７１】  第４実施形態の画像切替システムによれば、短時間の発話により画像切替が発生してしまうことにより、視聴者に不快感を与えることを防止することができる。【００７２】  なお、本発明の第３実施形態の画像切替システムは、時間間隔Δｔのうちの複数の発話者による発話がオーバラップしている区間では、所定の時間よりも長い時間発話を行った話者の画像を読み出し、所定の時間よりも短い時間発話を行った話者の画像を読み出さないように説明したが、時間間隔Δｔのうちの発話がなされている各発話者毎の時間を比較し、最も長い期間発話している話者の画像を読み出し、それ以外の話者の画像を読み出さないように画像切替決定部１７が処理するようにしてもよい。この処理により、複数の発話者による発話がオーバラップする場合でも、より長い時間発話を行った話者を撮像した画像に適宜切り替えることができるため、本発明の実施形態の画像切替システムを利用する際の利便性が向上する。【００７３】  （第５実施形態）
「映像の持続時間切替」
視聴者は同一カメラにより撮像した画像を一定時間見続けると、その画像に飽きてしまう傾向にある。この映像の持続時間切替は、同一のカメラにより撮像した画像を出力して一定時間が経過する前に、別のカメラにより撮像した画像を出力するものである。【００７４】  第５実施形態の画像切替システムでは、同一のカメラにより撮像した発話者の画像を一定時間出力すると、別のカメラにより撮像した、その発話を聞いている話者（聞き手）の画像を出力する。ここでは、その聞き手を特定する方法の１例を説明する。この映像の持続時間切替について、図７の映像の持続時間切替方法の説明図を参照して説明する。図７では、発話者ａの画像を一定時間出力したため、その一定時間終了後次の発話者である話者ｂの画像に切り替える場合である。なお、本発明の第５実施形態の画像切替システムの構成は、図１と同じ構成である。出力画像切替部１３、画像切替決定部１７の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部１３、画像切替決定部１７以外の機能についての説明を省略する。【００７５】  図７の上段では、各話者（ａ、ｂ、ｃ）が発話している区間を長方形で示し、上記の一定時間を矢印により示している。画像切替決定部１７は、映像遅延部１２に記憶したΔｔ２の区間の画像情報を読み出し、ミキシング部１８に出力するよう指示する。このとき、出力画像切替部１３は、発話がなされている区間（図７では話者ａの発話区間）が所定の時間よりも長い場合は、メモリ１２ａに記憶した話者ａの画像を発話開始から一定時間分読み出して出力し、さらに、メモリ１２ｂに記憶した話者ｂの画像をその一定時間の終点から読み出して出力する。【００７６】  第５実施形態の画像切替システムによれば、視聴者が同一画像に飽きてしまうことを防ぐことができる。【００７７】  （第６実施形態）
次に、本発明の第１〜第６実施形態の画像切替システムによる画像切替処理を、組み合わせた処理の流れを、図８に示すフローチャートに従って説明する。この処理においては、話者（参加者）を３人、所定の時間Δｔを８（秒）、ずり上げ間隔を１（秒）、沈黙時間を５（秒）、オーバラップ間隔を２（秒）、とする。【００７８】  話者特定部１６は、マイク１４ａ〜１４ｃから入力される音情報にもとづき、話者毎の音声が連続した発話時間と、３人の発話区間が全くない無音時間と、に分解する（ステップＳ１）。話者特定部１６からこの分解結果を受け付けた画像切替決定部１７は、３人の沈黙時間が５秒以上か否かを調べ（ステップＳ２）、５秒以上である場合には、無音時間の開始時にシーンカメラ１１ｄへ切替えるよう出力画像切替部１３に指示する（ステップＳ３）。ステップＳ３の処理後、話者特定部１６は、ステップＳ１の処理を繰り返す。【００７９】  画像切替決定部１７は、ステップＳ２の処理で５秒以上で無い場合には、発話箇所の前に１秒以上の無音時間が３人にあるのか否かを調べる（ステップＳ４）。ある場合には、画像切替決定部１７は、発話の１秒前にずり上げ切替を行うよう出力画像切替部１３に指示し（ステップＳ５）、一方、ない場合には、その発話時の発話切替を出力画像切替部１３に指示する（ステップＳ６）。【００８０】  また、画像切替決定部１７は、ステップＳ５、６の処理後に、その発話箇所内の発話が、１人か否かを調べる（ステップＳ７）。１人である場合にはステップＳ１０へ進み、１人でない場合には、さらにその発話箇所内の発話が２人か否かを調べる（ステップＳ８）。２人である場合には、その発話箇所内で２人の発話が２秒以上重なるか否かを調べ（ステップＳ９）、重ならない場合には、ステップＳ１０へ移行する。【００８１】  一方、画像切替決定部１７は、ステップＳ８で、発話箇所の発話が２人でないとした場合には、さらにその発話箇所内で２秒以上、３人の発話が重なるか否かを調べる（ステップＳ１１）。【００８２】  画像切替決定部１７は、３人の発話が重なるとされた場合には、その３人の発話の重なり時にシーンカメラの映像に切り替えるよう出力画像切替部１３に指示した後（ステップＳ１２）、ステップＳ４以下の処理を繰り返し実行する。【００８３】  一方、画像切替決定部１７は、ステップＳ９で、２人の発話が重なると判定した場合には、２人目の発話時にオーバラップ切替をセットし、２人目の発話終了時にオーバラップ戻し切替を出力画像切替部１３に指示し（ステップＳ１３）、再びステップＳ４以下の処理を実行する。【００８４】  画像切替決定部１７は、ステップＳ１０では、１人の発話または２人の重なった発話が、退屈しない一定の持続時間を経過したか否かを調べ、一定の持続時間を経過した場合には、その持続時間後に適切な切替対象へ切り替えるよう出力画像切替部１３に指示し（ステップＳ１４）、ステップＳ４以下の処理を再実行する。【００８５】  このような実施形態の画像切替システムによれば、発話状況および会話空間のレイアウトにもとづいて、画像切替決定部１７が画像切替のためのスイッチングアルゴリズムを決定し、映像遅延部１２に蓄積された複数の映像の中から、出力画像切替部１３が前記スイッチングアルゴリズムに従って少なくとも１つの画像を選択し、ミキシング部１８によって前記出力画像切替部１３で選択した映像を、音声遅延手段１５で遅延された音声とミキシングするように構成したことにより、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることが無いため、視聴者にとって快適な視聴環境を提供することができる。【００８６】  また、カメラマンやディレクタといったカメラを制御する人材が不要で、映像提供のためのコストを抑えることができ、質の高いカメラワークをリアルタイムで会議等を中継する場合で利用でき、これによってリアルタイムの討論番組やパネルディスカッションの視聴で、飽きることがない映像を作り出すことができる。【００８７】  本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。【００８８】  本出願は、２００５年５月１２日出願の日本特許出願（特願２００５−１３９９８５）に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【００８９】  以上のように、本発明の画像切替システムによれば、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることが無いため、視聴者にとって快適な視聴環境を提供することができるという効果を奏し、収録後の番組編集で用いられる場合と同様の質の高い自動的なカメラワークを、リアルタイムに中継する場合やシナリオのない番組にも利用する技術分野において有用である。
【図１】
2006121123.tif 000002
【図２】
2006121123.tif 000003
【図３】
2006121123.tif 000004
【図４】
2006121123.tif 000005
【図５】
2006121123.tif 000006
【図６】
2006121123.tif 000007
【図７】
2006121123.tif 000008
【図８】
2006121123.tif 000009
【図９】
2006121123.tif 000010
【図１０】
2006121123.tif 000011
【手続補正書】
【提出日】平成19年3月6日(2007.3.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、
前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、
前記複数のカメラのうちの少なくとも１つにより撮像している第１の撮像対象に、ある事象が発生したことを検出する検出部と、
前記記憶部により所定の時間分画像を記憶した後、前記第１の撮像対象を撮像した画像のうちの、前記検出部により前記第１の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して一定期間出力した場合、別のカメラにより撮像した画像を前記記憶部から読み出して出力する出力部と、を備える、
画像切替システム。
【請求項２】
請求項１記載の画像切替システムであって、
前記画像切替装置の出力部は、前記第１の撮像対象を撮像した画像を、前記検出部により前記第１の撮像対象に発生した前記事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、
画像切替システム。
【請求項３】
請求項１または２記載の画像切替システムであって、
前記画像切替装置の出力部は、前記検出部が前記第１の撮像対象に発生した前記事象を一定期間継続して検出している場合、前記第１の撮像対象を撮像した画像のうちの、前記検出部により前記第１の撮像対象に発生した前記事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項４】
（削除）
【請求項５】
請求項１から３のいずれか１項に記載の画像切替システムであって、
前記画像切替システムの検出部は、前記第１の撮像対象に前記事象が発生していることを検出中に、別のカメラにより撮像している第２の撮像対象に前記事象が発生したことを検出し、
前記画像切替システムの出力部は、前記第１の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第２の撮像対象を撮像した画像のうちの、前記検出部により前記第２の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項６】
請求項１から３、５のいずれか１項に記載の画像切替システムであって、
前記複数のカメラのうちの１つは、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像し、
前記画像切替え装置の出力部は、前記検出部により前記第１の撮像対象に発生した前記事象を検出した後に一定期間経過した場合、前記複数の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項７】
請求項１記載の画像切替システムであって、前記画像切替装置は、
前記検出部により前記事象が発生したことを検出した前記第１の撮像対象についての画像を読み出して出力するか否かを判定する判定部を備え、
前記画像切替装置の出力部は、前記記憶部により所定の時間分画像を記憶した後、前記第１の撮像対象を撮像した画像のうちの、前記判定部により出力可と判定され、かつ、前記検出部により前記第１の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。
【請求項８】
請求項７記載の画像切替システムであって、
前記画像切替システムの検出部は、前記第１の撮像対象に発生した前記事象が発生していることを検出中に、別のカメラにより撮像している第２の撮像対象に前記事象が発生したことを検出し、
前記画像切替装置の判定部は、前記第１の撮像対象についての画像または前記第２の撮像対象についての画像のいずれを読み出して出力するかを判定し、
前記画像切替装置の出力部は、前記記憶部により所定の時間分画像を記憶した後、前記判定部により出力すると判定された撮像対象を撮像した画像のうちの、前記検出部により当該撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像システム。
【請求項９】
請求項８記載の画像切替システムであって、
前記画像切替装置の判定部は、前記第１の撮像対象および前記第２の撮像対象に設定された優先順位に基づいて、前記第１の撮像対象についての画像または前記第２の撮像対象についての画像のいずれを読み出して出力するかを判定する、
画像システム。
【請求項１０】
請求項８記載の画像切替システムであって、
前記画像切替装置の判定部は、前記検出部が前記第１の撮像対象に前記事象が発生していることを検出している期間および前記第２の撮像対象に前記事象が発生していることを検出している期間に基づいて、前記第１の撮像対象についての画像または前記第２の撮像対象についての画像のいずれを読み出して出力するかを判定する、
画像システム。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像切替システムは、さらに、マイクを含んで構成されるものであって、
前記画像切替装置の検出部は、前記マイクにより収音した音により、前記第１の撮像対象に前記事象が発生したことを検出する、
画像切替システム。
【請求項１２】
請求項１１記載の画像切替システムであって、
前記複数のカメラはそれぞれ、異なる人を撮像し、
前記画像切替え装置の検出部は、前記マイクにより収音した音声により、前記複数のカメラにより撮像する異なる人のうちの、少なくとも１人が発話していることを検出する、
画像切替システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
［００１１］
また、現在のイベント型の環境での撮像対象切り替えは、専門の人間（イベントが発生することを経験上予測することができる人）が機器を操作して、その切り替えを行うことが多い。しかし、経験を積んた専門の人間による切替操作であっても、特許文献１の撮像対象切替システムと同様、時間差が発生する可能性は以前残ったままである。
［００１２］
本発明は、上記事情に鑑みてなされたものであって、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることのない画像切替システムを提供することを目的とする。
課題を解決するための手段
［００１３］
本発明の画像切替システムは、複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、前記複数のカメラのうちの少なくとも１つにより撮像している第１の撮像対象に、ある事象が発生したことを検出する検出部と、前記記憶部により所定の時間分画像を記憶した後、前記第１の撮像対象を撮像した画像のうちの、前記検出部により前記第１の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して一定期間出力した場合、別のカメラにより撮像した画像を前記記憶部から読み出して出力する出力部と、を備える、ものである。
［００１４］
この構成により、カメラマンやディレクタといったカメラを制御する人材が不要で、映像提供のためのコストを抑えることができ、質の高いカメラワークをリアルタイムで会議等を中継することができ、これによってリアルタイムの討論番組やパネルディスカッションの視聴で、視聴者が飽きることがない映像を作り出すことができる。
［００１５］
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記第１の撮像対象を撮像した画像を、前記検出部により前記第１の撮像対象に発生した前記事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、ものを含む。
［００１６］
この構成により、予め事象が起きる前の第１の撮像対象に画像を切り替えておくことにより、その第１の撮像対象に対する注意を視聴者に促すことができ、その結果、その事象に視聴者を惹き付ける効果がある。
［００１７］
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記検出部
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
が前記第１の撮像対象に発生した前記事象を一定期間継続して検出している場合、前記第１の撮像対象を撮像した画像のうちの、前記検出部により前記第１の撮像対象に発生した前記事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、ものである。
［００１８］
この構成によれば、事象が短期間のものである場合には第１の撮像対象を撮像した画像を出力しないため、短時間の画像切替が発生してしまうことにより視聴者に不快感を与えることを未然に防止することができる。
［００１９］
［００２０］
［００２１］
また、本発明の画像切替システムは、前記画像切替システムの検出部が、前記第１の撮像対象に前記事象が発生していることを検出中に、別のカメラにより撮像している第２の撮像対象に前記事象が発生したことを検出し、前記画像切替システムの出力部が、前記第１の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第２の撮像対象を撮像した画像のうちの、前記検出部により前記第２の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、ものを含む。
［００２２］
この構成により、複数の事象が複数の撮像対象で起こる場合でも、効果的に画像切替を行うことができる。
［００２３］
また、本発明の画像切替システムは、前記複数のカメラのうちの１つが、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像し、前記画像切替え装置の出力部が、前記検出部により前記第１の撮像対象に発生した前記事象を検出した後に一定期間経過した場合、前記複数の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、ものを含む。
［００２４］
この構成により、事象が発生してからの経過間が短い場面では、全体を捉えた画像を出力しないことにより、視聴者が画像切替により不快感を覚えるのを防止することができる。
【国際調査報告】
2006121123.tif 000012
2006121123.tif 000013
2006121123.tif 000014