(57)【要約】  本開示における映像出力装置は、複数の映像を合成して表示する映像出力装置である。撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部（１１）と、画像処理部（１１）で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部（１２）とを備えている。
2014049989.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像を合成して表示する映像出力装置であって、
撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、前記基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、
前記画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部と、
を備えたことを特徴とする映像出力装置。
【請求項２】
前記画像処理部は、撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出する基準フレーム抽出部と、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する対応フレーム抽出部とを有することを特徴とする請求項１に記載の映像出力装置。
【請求項３】
前記撮影部で撮影される映像は、出力部が出力するフレームレートよりも高いフレームレートで撮影されていることを特徴とする請求項１に記載の映像出力装置。
【請求項４】
前記画像処理部の基準フレーム抽出部は、基準映像から所定の時間間隔で基準フレームを抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項５】
前記画像処理部の基準フレーム抽出部は、基準映像から連続したフレームを所定の数だけ平均したものを基準フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項６】
前記画像処理部の対応フレーム抽出部は、基準フレームとの類似度が最大となる１フレームを対応フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項７】
前記画像処理部の対応フレーム抽出部は、基準フレームとの類似度が最大となるように同一の映像に含まれる複数のフレームを平均したものを対応フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項８】
前記画像処理部の対応フレーム抽出部は、フレーム間の動きベクトルに基づいて基準フレームとの類似度を算出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項９】
前記画像処理部の対応フレーム抽出部は、フレームの画素値の差分に基づいて基準フレームとの類似度を算出するものであることを特徴とする請求項２に記載の映像出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の映像を合成し、同一画面上に表示するための映像出力装置に関する。
【背景技術】
【０００２】
複数の映像を同時に再生しそれぞれの比較を行うことは広く行われており、例えばスポーツのトレーニングでは手本となる動作と自身の動作を比較する、あるいは好調時と現状の動作を比較するなどの用法が考えられる。【０００３】
特許文献１において、複数の映像信号を記録するとともに、再生時に着目すべき特定の現象を検出し、現象が発生した瞬間の時刻情報を併せて記録を行い、再生時にはこの現象が略同時に表示されるよう再生タイミングを制御することを特徴とする映像記録再生装置が開示されている。特許文献１に記載の装置を用いることで、例えばゴルフのスイングフォームを比較する際に、各映像におけるインパクトの瞬間がほぼ同時に表示されるよう映像を再生することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１６２７３６号公報
【発明の概要】
【０００５】
本開示における映像出力装置は、複数の映像を合成して表示する映像出力装置である。撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部とを備えている。
【図面の簡単な説明】
【０００６】
【図１】図１は本開示の一実施の形態における映像出力装置の構成を示すブロック図である。
【図２】図２は本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。
【図３】図３は対応フレームを抽出する処理の流れを示すフローチャートである。
【図４】図４はゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。
【図５】図５はスイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。
【図６】図６は映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。
【図７】図７は映像がフレーム単位で離散化されている様子を模式的に表した説明図である。
【図８】図８は１フレームにあたる時間が長い場合を模式的に表した説明図である。
【発明を実施するための形態】
【０００７】
以下、本開示の一実施の形態による映像出力装置について、図１〜図８を用いて説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００８】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【０００９】
［１−１．構成］
図１は、本開示の一実施の形態における映像出力装置の構成を示すブロック図である。
【００１０】
図１に示すように、映像出力装置１には、映像を撮影するためのビデオカメラなどの撮影部２と、利用者が映像出力装置１の動作を指示するためのコントローラ３と、映像出力装置１から出力される映像情報を表示するための外部モニタなどの表示部４が、データ伝送が可能な手段により接続されている。これにより、映像出力装置１は、撮影部２により撮影した複数の映像を合成して表示部４に表示する動作を行う。コントローラ３は、例えば再生する複数の映像を選択する動作、再生する映像の中から基準映像を選択する動作などの指示を与えるもので、キーボードやマウスなどの入力装置によって構成されている。
【００１１】
また、映像出力装置１は、画像処理部１１と、出力部１２と、記録媒体１３と、内部メモリ１４と、ＣＰＵからなる制御部１５とを有し、それぞれの各部は、バスラインを介してデータの伝送が可能なように構成されている。
【００１２】
画像処理部１１は、撮影部２で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出する基準フレーム抽出部１１ａと、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する対応フレーム抽出部１１ｂとを有している。これにより、画像処理部１１は、映像からフレームを抽出する動作と、フレーム間の類似性を判定する動作と、基準フレームと基準フレームのそれぞれについて抽出された対応フレームとを同一画面上に配置した合成フレームを生成する動作を含む、種々の画像処理を行う。画像処理部１１は、デジタル・シグナル・プロセッサ（ＤＳＰ）やマイクロコンピュータなどの信号処理装置、または信号処理装置とソフトウェアの組み合わせによって構成される。
【００１３】
また、出力部１２は、画像処理部１１で生成される基準フレームと対応フレームとを合成した合成フレームを出力するためのものである。記録媒体１３は、再生したい映像データを予め記録する、あるいは出力部１２によって生成された合成フレームを静止画、あるいは映像データとして記録するために用いるもので、ハードディスクなどによって構成される。内部メモリ１４は、画像処理部１１、および出力部１２のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。制御部１５は映像出力装置１の全体の動作を制御する手段である。
【００１４】
［１−２．動作］
以上のように構成された本実施の形態による映像出力装置について、図２を用いて、その動作を説明する。図２は、本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。
【００１５】
図２に示すように、まず初めに、利用者はコントローラ３を通して再生すべき複数の映像を選択する（ステップＳ１０１）。次いで、ステップＳ１０１で選択された複数の映像の中から１本の基準映像を決定する（ステップＳ１０２）。基準映像はコントローラ３を通して利用者が指定する他、ステップＳ１０１で選択された複数の映像から任意の１つの映像を基準映像としてもよい。
【００１６】
次いで、画像処理部１１は、指定された基準映像から基準フレームを抽出する（ステップＳ１０３）。基準フレームを抽出する方法としては、基準映像から所定の時間間隔で基準フレームを抽出する方法、あるいは基準映像から連続したフレームを所定の数だけ平均したものを基準フレームとして抽出する方法などを用いることにより実現することができる。
【００１７】
次に、基準映像以外の映像から、基準フレームとの類似度が最大となる１フレームを対応フレームとして抽出する（ステップＳ１０４）。対応フレームを抽出する具体的な手順については後述する。
【００１８】
対応フレームが抽出されたら、画像処理部１１によって基準フレームと対応フレームを合成して出力用の合成フレームを生成する（ステップＳ１０５）。
【００１９】
最後に、いずれかの映像が終端に達したかを判定する（ステップＳ１０６）。いずれの映像も終端に達していない場合は、ステップＳ１０３以降の処理を繰り返す。
【００２０】
＜対応フレームを抽出する具体的な手順＞
以下、対応フレームを抽出する手順について、図３を参照しながら説明する。図３は対応フレームを抽出する処理の流れを示すフローチャートである。
【００２１】
図３に示すように、まず、初期化処理として、類似度算出の対象となる探索フレームの位置を、直前に抽出された対応フレームの位置に指定するとともに、最大類似度Ｒｍａｘを０に初期化する（ステップＳ２０１）。
【００２２】
次に、図２のステップＳ１０３で抽出された基準フレームと、探索フレームとの間の類似度Ｒを算出する（ステップＳ２０２）。類似度を算出する方法としては、フレームの画素値の差分に基づいて基準フレームとの類似度を算出する方法を用いてもよい。例えば、各画素値のＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、基準フレームの動きベクトルと探索フレームの動きベクトルの差分、または画像の自己相関係数など、画像の類似度を算出するための一般的な手法を用いることができる。
【００２３】
なお、類似度Ｒを算出する方法として、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などのように、画像が類似していない程、値が大きくなるような指標を用いる場合は、算出された値の逆数を求めるか、（−１）を乗じるなどの処理を行い、画像が類似している程、値が大きくなるように変更するのが望ましい。
【００２４】
また、フレーム間の動きベクトルに基づいて基準フレームとの類似度を算出する際には、基準フレームの動きベクトルは、「直前に抽出された基準フレームと最新の基準フレームとの間の動きベクトル」を、探索フレームの動きベクトルは、「直前に抽出された対応フレームと最新の探索フレームとの間の動きベクトル」を、それぞれ用いることが望ましい。
【００２５】
このようにして算出した類似度Ｒは、これまでの最大類似度Ｒｍａｘと比較する（ステップＳ２０３）。類似度Ｒが最大類似度Ｒｍａｘより大きい場合は、最大類似度Ｒｍａｘの値を類似度Ｒに置き換え、この時の探索フレームの位置を記憶する（ステップＳ２０４）。
【００２６】
次いで、現在の探索フレームの位置が、予め定められた探索範囲の終端に達したかを判定する（ステップＳ２０５）。終端に達していない場合は、探索フレームの位置を１フレーム進める処理を行う（ステップＳ２０６）。探索フレームの位置を１フレーム進めた後、再びステップＳ２０２により、類似度Ｒを算出する処理を行う。終端に達したと判定された場合は、最大類似度Ｒｍａｘに対応する位置のフレームを対応フレームとして抽出する（ステップＳ２０７）。
【００２７】
以上の処理フローにより、対応フレームを抽出することができる。
【００２８】
なお、探索範囲は、所定のフレーム数だけ探索する、所定の時間に相当するフレーム数だけ探索する、などで定める。更に好ましくは、コントローラ３を通して利用者がこれらを指定することができるのが望ましい。
【００２９】
＜対応フレームを抽出する手順の変形例＞
上記実施の形態の例では、類似度Ｒが最大となる１フレームを対応フレームとして抽出する例について説明した。変形例としては、基準フレームとの類似度Ｒが最大となるように同一の映像に含まれる複数のフレームを平均したものを対応フレームとして抽出するように構成してもよい。特に、基準フレームが複数のフレームを平均したものである場合は、単一の探索フレームとの間で比較を行うよりも類似度Ｒを高めることが可能となる。
【００３０】
［１−３．効果等］
本開示における実施の形態の効果について、特定の動作として、ゴルフのスイングの動作を撮影した映像を処理して出力する場合を例にとって説明する。
【００３１】
図４は、ゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。なお、図中では、スイング動作の代表的な部分のみを表記している。ｔ＝０から２つの映像を同時に再生する場合、動作のどの地点もタイミングは一致していない。
【００３２】
一方、図５は、スイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。再生開始位置のみを調整しているため、図４に比較すると、Ｓ２の映像が全体的に左に寄っているが、タイミングが合っているのは動作の開始のみで、それ以外のタイミングは依然合っていないままである。
【００３３】
図６は、映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。図７は、映像がフレーム単位で離散化されている様子を模式的に表した説明図である。図８は、１フレームにあたる時間が長い場合を模式的に表した説明図である。
【００３４】
図６に示すように、映像全体でタイミングを合わせて再生するためには、Ｓ２の映像全体を時間方向に伸縮させ、Ｓ１の映像の各ポイントに対して、Ｓ２の映像において、対応するポイントのタイミングを一致させればよい。
【００３５】
なお、実際にこのような画像処理を行う際には、撮影フレームレートの制約を受ける。一般的な動画像の各フレームは、時間軸上で離散化されているため、時間軸上での伸縮の分解能は、図７に示すように、１フレームの時間の分解能に等しくなる。また、図８に示すように、１フレームの時間が長い、すなわちフレームレートが低い映像の場合、タイミングのずれ量が１フレームの時間より短くなり、フレーム単位の伸縮では調整が困難になる。従って、撮影部で撮影する映像は、出力部から出力されるフレームレートよりも高いフレームレートで撮影を行い、時間軸上での伸縮の分解能を高めることが望ましい。
【００３６】
本開示における映像出力装置は、撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部を備えている。
【００３７】
これにより、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができる。
【００３８】
また、動作のスピードが異なる映像を比較する場合や映像のフレーム間で差分をとって異なる箇所を明確にする場合など、特定の瞬間だけでなく動作全体のタイミングを合わせた方がよい場合がある。この際、動作の各段階でスピードの違いが一定ではなく、スピードの違いに時間的なゆらぎがあることが考えられる。本開示による映像出力装置は、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部を有しているため、動作に時間的なゆらぎがある複数の映像を、ゆらぎを自動的に吸収して略同時に表示することができる。
【００３９】
以上のように、本開示による映像出力装置は、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができ、映像による動作の比較を行う際の利便性を向上させることができる。
【００４０】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００４１】
そこで、以下、他の実施の形態を例示する。
【００４２】
上記実施の形態では２つの映像を利用する例について説明したが、３つ以上の映像を扱うようにしてもよい。この場合は、１つの基準映像に対して残りの映像からそれぞれ対応フレームを抽出する。これによって、より多数の映像を同時に表示することができる。
【００４３】
また、基準映像は１つだけでなく、複数の基準映像が存在するようにしてもよい。これによって、例えばある特定のペア間でのみタイミングを合わせるということができる。さらに、ある映像がどの基準映像と対応付けられるかを利用者がコントローラ３を通して指定することができることが好ましい。
【００４４】
また、実施の形態におけるフレーム間の類似度を算出し、類似度が最大となる１フレームを対応フレームとするという処理の流れに対して、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などの画像が類似していないほど値が大きくなるような指標を、そのまま非類似度として用い、非類似度が最小となるフレームを対応フレームとしてもよい。これによって非類似度を類似度に変換する必要がなくなる。
【００４５】
また、上記実施の形態で説明した映像出力装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部、または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００４６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００４７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００４８】
また、上記実施の形態の各処理は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【００４９】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００５０】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００５１】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００５２】
本開示の技術によれば、複数の映像を合成し、同一画面上に表示する映像出力装置に適用可能である。具体的には、ビデオサーバーなどに本開示の技術は適用可能である。
【符号の説明】
【００５３】
１  映像出力装置
２  撮影部
３  コントローラ
４  表示部
１１  画像処理部
１１ａ  基準フレーム抽出部
１１ｂ  対応フレーム抽出部
１２  出力部
１３  記録媒体
１４  内部メモリ
１５  制御部
【図１】
2014049989.tif 000003
【図２】
2014049989.tif 000004
【図３】
2014049989.tif 000005
【図４】
2014049989.tif 000006
【図５】
2014049989.tif 000007
【図６】
2014049989.tif 000008
【図７】
2014049989.tif 000009
【図８】
2014049989.tif 000010
【手続補正書】
【提出日】平成27年3月19日(2015.3.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の映像を合成し、同一画面上に表示するための映像出力装置に関する。
【背景技術】
【０００２】
複数の映像を同時に再生しそれぞれの比較を行うことは広く行われており、例えばスポーツのトレーニングでは手本となる動作と自身の動作を比較する、あるいは好調時と現状の動作を比較するなどの用法が考えられる。
【０００３】
特許文献１において、複数の映像信号を記録するとともに、再生時に着目すべき特定の現象を検出し、現象が発生した瞬間の時刻情報を併せて記録を行い、再生時にはこの現象が略同時に表示されるよう再生タイミングを制御することを特徴とする映像記録再生装置が開示されている。特許文献１に記載の装置を用いることで、例えばゴルフのスイングフォームを比較する際に、各映像におけるインパクトの瞬間がほぼ同時に表示されるよう映像を再生することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１６２７３６号公報
【発明の概要】
【０００５】
本開示における映像出力装置は、複数の映像を合成して表示する映像出力装置である。撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部とを備えている。
【図面の簡単な説明】
【０００６】
【図１】図１は本開示の一実施の形態における映像出力装置の構成を示すブロック図である。
【図２】図２は本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。
【図３】図３は対応フレームを抽出する処理の流れを示すフローチャートである。
【図４】図４はゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。
【図５】図５はスイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。
【図６】図６は映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。
【図７】図７は映像がフレーム単位で離散化されている様子を模式的に表した説明図である。
【図８】図８は１フレームにあたる時間が長い場合を模式的に表した説明図である。
【発明を実施するための形態】
【０００７】
以下、本開示の一実施の形態による映像出力装置について、図１〜図８を用いて説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００８】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【０００９】
［１−１．構成］
図１は、本開示の一実施の形態における映像出力装置の構成を示すブロック図である。
【００１０】
図１に示すように、映像出力装置１には、映像を撮影するためのビデオカメラなどの撮影部２と、利用者が映像出力装置１の動作を指示するためのコントローラ３と、映像出力装置１から出力される映像情報を表示するための外部モニタなどの表示部４が、データ伝送が可能な手段により接続されている。これにより、映像出力装置１は、撮影部２により撮影した複数の映像を合成して表示部４に表示する動作を行う。コントローラ３は、例えば再生する複数の映像を選択する動作、再生する映像の中から基準映像を選択する動作などの指示を与えるもので、キーボードやマウスなどの入力装置によって構成されている。
【００１１】
また、映像出力装置１は、画像処理部１１と、出力部１２と、記録媒体１３と、内部メモリ１４と、ＣＰＵからなる制御部１５とを有し、それぞれの各部は、バスラインを介してデータの伝送が可能なように構成されている。
【００１２】
画像処理部１１は、撮影部２で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出する基準フレーム抽出部１１ａと、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する対応フレーム抽出部１１ｂとを有している。これにより、画像処理部１１は、映像からフレームを抽出する動作と、フレーム間の類似性を判定する動作と、基準フレームと基準フレームのそれぞれについて抽出された対応フレームとを同一画面上に配置した合成フレームを生成する動作を含む、種々の画像処理を行う。画像処理部１１は、デジタル・シグナル・プロセッサ（ＤＳＰ）やマイクロコンピュータなどの信号処理装置、または信号処理装置とソフトウェアの組み合わせによって構成される。
【００１３】
また、出力部１２は、画像処理部１１で生成される基準フレームと対応フレームとを合成した合成フレームを出力するためのものである。記録媒体１３は、再生したい映像データを予め記録する、あるいは出力部１２によって生成された合成フレームを静止画、あるいは映像データとして記録するために用いるもので、ハードディスクなどによって構成される。内部メモリ１４は、画像処理部１１、および出力部１２のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。制御部１５は映像出力装置１の全体の動作を制御する手段である。
【００１４】
［１−２．動作］
以上のように構成された本実施の形態による映像出力装置について、図２を用いて、その動作を説明する。図２は、本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。
【００１５】
図２に示すように、まず初めに、利用者はコントローラ３を通して再生すべき複数の映像を選択する（ステップＳ１０１）。次いで、ステップＳ１０１で選択された複数の映像の中から１本の基準映像を決定する（ステップＳ１０２）。基準映像はコントローラ３を通して利用者が指定する他、ステップＳ１０１で選択された複数の映像から任意の１つの映像を基準映像としてもよい。
【００１６】
次いで、画像処理部１１は、指定された基準映像から基準フレームを抽出する（ステップＳ１０３）。基準フレームを抽出する方法としては、基準映像から所定の時間間隔で基準フレームを抽出する方法、あるいは基準映像から連続したフレームを所定の数だけ平均したものを基準フレームとして抽出する方法などを用いることにより実現することができる。
【００１７】
次に、基準映像以外の映像から、基準フレームとの類似度が最大となる１フレームを対応フレームとして抽出する（ステップＳ１０４）。対応フレームを抽出する具体的な手順については後述する。
【００１８】
対応フレームが抽出されたら、画像処理部１１によって基準フレームと対応フレームを合成して出力用の合成フレームを生成する（ステップＳ１０５）。
【００１９】
最後に、いずれかの映像が終端に達したかを判定する（ステップＳ１０６）。いずれの映像も終端に達していない場合は、ステップＳ１０３以降の処理を繰り返す。
【００２０】
＜対応フレームを抽出する具体的な手順＞
以下、対応フレームを抽出する手順について、図３を参照しながら説明する。図３は対応フレームを抽出する処理の流れを示すフローチャートである。
【００２１】
図３に示すように、まず、初期化処理として、類似度算出の対象となる探索フレームの位置を、直前に抽出された対応フレームの位置に指定するとともに、最大類似度Ｒｍａｘを０に初期化する（ステップＳ２０１）。
【００２２】
次に、図２のステップＳ１０３で抽出された基準フレームと、探索フレームとの間の類似度Ｒを算出する（ステップＳ２０２）。類似度を算出する方法としては、フレームの画素値の差分に基づいて基準フレームとの類似度を算出する方法を用いてもよい。例えば、各画素値のＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、基準フレームの動きベクトルと探索フレームの動きベクトルの差分、または画像の自己相関係数など、画像の類似度を算出するための一般的な手法を用いることができる。
【００２３】
なお、類似度Ｒを算出する方法として、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などのように、画像が類似していない程、値が大きくなるような指標を用いる場合は、算出された値の逆数を求めるか、（−１）を乗じるなどの処理を行い、画像が類似している程、値が大きくなるように変更するのが望ましい。
【００２４】
また、フレーム間の動きベクトルに基づいて基準フレームとの類似度を算出する際には、基準フレームの動きベクトルは、「直前に抽出された基準フレームと最新の基準フレームとの間の動きベクトル」を、探索フレームの動きベクトルは、「直前に抽出された対応フレームと最新の探索フレームとの間の動きベクトル」を、それぞれ用いることが望ましい。
【００２５】
このようにして算出した類似度Ｒは、これまでの最大類似度Ｒｍａｘと比較する（ステップＳ２０３）。類似度Ｒが最大類似度Ｒｍａｘより大きい場合は、最大類似度Ｒｍａｘの値を類似度Ｒに置き換え、この時の探索フレームの位置を記憶する（ステップＳ２０４）。
【００２６】
次いで、現在の探索フレームの位置が、予め定められた探索範囲の終端に達したかを判定する（ステップＳ２０５）。終端に達していない場合は、探索フレームの位置を１フレーム進める処理を行う（ステップＳ２０６）。探索フレームの位置を１フレーム進めた後、再びステップＳ２０２により、類似度Ｒを算出する処理を行う。終端に達したと判定された場合は、最大類似度Ｒｍａｘに対応する位置のフレームを対応フレームとして抽出する（ステップＳ２０７）。
【００２７】
以上の処理フローにより、対応フレームを抽出することができる。
【００２８】
なお、探索範囲は、所定のフレーム数だけ探索する、所定の時間に相当するフレーム数だけ探索する、などで定める。更に好ましくは、コントローラ３を通して利用者がこれらを指定することができるのが望ましい。
【００２９】
＜対応フレームを抽出する手順の変形例＞
上記実施の形態の例では、類似度Ｒが最大となる１フレームを対応フレームとして抽出する例について説明した。変形例としては、基準フレームとの類似度Ｒが最大となるように同一の映像に含まれる複数のフレームを平均したものを対応フレームとして抽出するように構成してもよい。特に、基準フレームが複数のフレームを平均したものである場合は、単一の探索フレームとの間で比較を行うよりも類似度Ｒを高めることが可能となる。
【００３０】
［１−３．効果等］
本開示における実施の形態の効果について、特定の動作として、ゴルフのスイングの動作を撮影した映像を処理して出力する場合を例にとって説明する。
【００３１】
図４は、ゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。なお、図中では、スイング動作の代表的な部分のみを表記している。ｔ＝０から２つの映像を同時に再生する場合、動作のどの地点もタイミングは一致していない。
【００３２】
一方、図５は、スイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。再生開始位置のみを調整しているため、図４に比較すると、Ｓ２の映像が全体的に左に寄っているが、タイミングが合っているのは動作の開始のみで、それ以外のタイミングは依然合っていないままである。
【００３３】
図６は、映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。図７は、映像がフレーム単位で離散化されている様子を模式的に表した説明図である。図８は、１フレームにあたる時間が長い場合を模式的に表した説明図である。
【００３４】
図６に示すように、映像全体でタイミングを合わせて再生するためには、Ｓ２の映像全体を時間方向に伸縮させ、Ｓ１の映像の各ポイントに対して、Ｓ２の映像において、対応するポイントのタイミングを一致させればよい。
【００３５】
なお、実際にこのような画像処理を行う際には、撮影フレームレートの制約を受ける。一般的な動画像の各フレームは、時間軸上で離散化されているため、時間軸上での伸縮の分解能は、図７に示すように、１フレームの時間の分解能に等しくなる。また、図８に示すように、１フレームの時間が長い、すなわちフレームレートが低い映像の場合、タイミングのずれ量が１フレームの時間より短くなり、フレーム単位の伸縮では調整が困難になる。従って、撮影部で撮影する映像は、出力部から出力されるフレームレートよりも高いフレームレートで撮影を行い、時間軸上での伸縮の分解能を高めることが望ましい。
【００３６】
本開示における映像出力装置は、撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部を備えている。
【００３７】
これにより、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができる。
【００３８】
また、動作のスピードが異なる映像を比較する場合や映像のフレーム間で差分をとって異なる箇所を明確にする場合など、特定の瞬間だけでなく動作全体のタイミングを合わせた方がよい場合がある。この際、動作の各段階でスピードの違いが一定ではなく、スピードの違いに時間的なゆらぎがあることが考えられる。本開示による映像出力装置は、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部を有しているため、動作に時間的なゆらぎがある複数の映像を、ゆらぎを自動的に吸収して略同時に表示することができる。
【００３９】
以上のように、本開示による映像出力装置は、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができ、映像による動作の比較を行う際の利便性を向上させることができる。
【００４０】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００４１】
そこで、以下、他の実施の形態を例示する。
【００４２】
上記実施の形態では２つの映像を利用する例について説明したが、３つ以上の映像を扱うようにしてもよい。この場合は、１つの基準映像に対して残りの映像からそれぞれ対応フレームを抽出する。これによって、より多数の映像を同時に表示することができる。
【００４３】
また、基準映像は１つだけでなく、複数の基準映像が存在するようにしてもよい。これによって、例えばある特定のペア間でのみタイミングを合わせるということができる。さらに、ある映像がどの基準映像と対応付けられるかを利用者がコントローラ３を通して指定することができることが好ましい。
【００４４】
また、実施の形態におけるフレーム間の類似度を算出し、類似度が最大となる１フレームを対応フレームとするという処理の流れに対して、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などの画像が類似していないほど値が大きくなるような指標を、そのまま非類似度として用い、非類似度が最小となるフレームを対応フレームとしてもよい。これによって非類似度を類似度に変換する必要がなくなる。
【００４５】
また、上記実施の形態で説明した映像出力装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部、または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００４６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００４７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００４８】
また、上記実施の形態の各処理は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【００４９】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００５０】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００５１】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００５２】
本開示の技術によれば、複数の映像を合成し、同一画面上に表示する映像出力装置に適用可能である。具体的には、ビデオサーバーなどに本開示の技術は適用可能である。
【符号の説明】
【００５３】
１    映像出力装置
２    撮影部
３    コントローラ
４    表示部
１１    画像処理部
１１ａ    基準フレーム抽出部
１１ｂ    対応フレーム抽出部
１２    出力部
１３    記録媒体
１４    内部メモリ
１５    制御部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の映像を合成して表示する映像出力装置であって、
撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、前記基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、
前記画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部と、
を備えたことを特徴とする映像出力装置。
【請求項２】
前記画像処理部は、撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出する基準フレーム抽出部と、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する対応フレーム抽出部とを有することを特徴とする請求項１に記載の映像出力装置。
【請求項３】
前記撮影部で撮影される映像は、出力部が出力するフレームレートよりも高いフレームレートで撮影されていることを特徴とする請求項１に記載の映像出力装置。
【請求項４】
前記画像処理部の基準フレーム抽出部は、基準映像から所定の時間間隔で基準フレームを抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項５】
前記画像処理部の基準フレーム抽出部は、基準映像から連続したフレームを所定の数だけ平均したものを基準フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項６】
前記画像処理部の対応フレーム抽出部は、基準フレームとの類似度が最大となる１フレームを対応フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項７】
前記画像処理部の対応フレーム抽出部は、基準フレームとの類似度が最大となるように同一の映像に含まれる複数のフレームを平均したものを対応フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項８】
前記画像処理部の対応フレーム抽出部は、フレーム間の動きベクトルに基づいて基準フレームとの類似度を算出するものであることを特徴とする請求項２に記載の映像出力装置。
【請求項９】
前記画像処理部の対応フレーム抽出部は、フレームの画素値の差分に基づいて基準フレームとの類似度を算出するものであることを特徴とする請求項２に記載の映像出力装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2014049989.tif 000011
【図２】
2014049989.tif 000012
【図３】
2014049989.tif 000013
【図４】
2014049989.tif 000014
【図５】
2014049989.tif 000015
【図６】
2014049989.tif 000016
【図７】
2014049989.tif 000017
【図８】
2014049989.tif 000018
【国際調査報告】
2014049989.tif 000019
2014049989.tif 000020
2014049989.tif 000021
2014049989.tif 000022