(57)【要約】      （修正有）【課題】複数の映像入力インタフェースから入力される映像を切り替えて表示する際、表示フレームに欠落が生じないようにする。【解決手段】３つの映像入力に対応する映像処理部６０１、６０３，６０５とインタフェース６０２，６０４，６０６と、入力する映像を表示部に複写して表示する映像複写部６１３と、入力映像の映像データを保存し、表示用に利用する５つのフレームバッファ６０７，６０８，６０９，６１０，６１１と、映像入力部が出力するＶｓｙｎｃを監視する映像入力Ｖｓｙｎｃ監視部と、表示部６１２が表示用に出力するＶｓｙｎｃを監視する表示用Ｖｓｙｎｃ監視部と、映像複写部６１３から入力映像のインタフェース指定を受け付ける入出力切り替え部６１４と、表示映像タイミング調停部とを備え、映像入力のＶｓｙｎｃがディセーブルで表示用Ｖｓｙｎｃがイネーブル状態の時に映像入力用のフレームバッファを切り替える。【選択図】図６
2019086725.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像入力部と、
表示部と、
ＣＰＵと、
入力装置を接続する複数のインタフェースと、
入力する映像を表示部に複写して表示する映像複写部と、
入力映像の映像データを保存し、表示用に利用するフレームバッファを少なくとも４つ以上確保することができるメモリと、
映像入力部が出力するＶｓｙｎｃを監視する映像入力Ｖｓｙｎｃ監視部と、
表示部が表示用に出力するＶｓｙｎｃを監視する表示用Ｖｓｙｎｃ監視部と、
前記映像複写部から入力映像のインタフェース指定を受け付ける入力要求受付部を含む入出力切り替え部と、
表示映像タイミング調停部と、
切り替えて表示する入力映像Ｖｓｙｎｃがディセーブルで、表示用Ｖｓｙｎｃがイネーブルの時に、入力映像の保存する前記フレームバッファを変更する入出力切り替え部とを備える映像処理装置。
【請求項２】
表示用に利用する前記フレームバッファの３つを順次読みだすことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
表示用に利用する入力映像の映像データが前記フレームバッファの３つを順次上書き保存していくことを特徴とする請求項１に記載の映像処理装置。
【請求項４】
表示用に利用しない入力映像の映像データを前記フレームバッファの表示用に利用しないフレームバッファに保存することを特徴とする請求項１に記載の映像処理装置。
【請求項５】
映像入力がなされる前に入力映像Ｖｓｙｎｃがディセーブル状態であることを特徴とする請求項１に記載の映像処理装置。
【請求項６】
映像入力がなされる前の入力映像Ｖｓｙｎｃがディセーブル状態である時には出力用Ｖｓｙｎｃがディセーブルであっても入出力切り替え部がフレームバッファの設定行うことを特徴とする請求項１に記載の映像処理装置。
【請求項７】
インタフェースのうち少なくとも一つがＵＳＢであることを特徴とする請求項１に記載の映像処理装置。
【請求項８】
インタフェースのうち少なくとも一つがＰＣＩｅであることを特徴とする請求項１に記載の映像処理装置。
【請求項９】
インタフェースのうち少なくとも一つがＭＩＰＩであることを特徴とする請求項１に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像処理装置に関する。
【背景技術】
【０００２】
昨今、スマートフォンやドローンなど映像入力及び出力機能を有する機器・装置が多数提案されてきている。
【０００３】
これらの機器・装置では、使用するアプリケーションプロセッサが有する映像入力と出力の機能を利用し、誰もが接することのできる汎用的な非リアルタイムＯＳ上で動作するソフトウェアで実現している。
【０００４】
ソフトウェアで構成する利点は、アプリケーションプロセッサが有する複数の異なるインタフェースに接続可能な映像入力装置が利用できるため、これらのインタフェースを用いた多様な映像入力装置、例えば光学系レンズを用いた映像入力装置と赤外線による映像入力装置やレーザーを用いた距離測定用の映像入力装置を接続し、単一な映像入力装置のみを利用した映像よりも、より多様な映像を入力及び出力することが可能になっている。これらの具体的な構成について説明する。
【０００５】
非リアルタイムＯＳにおける入力映像の表示の仕組みは、一般的に図１で示すような構成になっている。すなわち撮像部１０１より入力された画像データは映像処理部１０２にてコンピュータで処理可能なデータに加工される。加工されたデータを取り込むためにＣＰＵ１０６上で動作する映像複写部１０５が映像処理部よりデータを受け取り映像複写部が管理するメモリ１０３上に映像データ１０４として保存される１０９。映像複写部は保存した映像データを読み出し、映像表示制御部１０７へ映像データを受け渡す１１０。映像表示制御部は受け取った映像データを表示装置１０８で表示を行う。
【０００６】
このような構成に対して、カメラのようなリアルタイムＯＳを利用した撮像専用機では、図２の構成をとるのが一般的である。すなわち、撮像部２０１より入力された映像データは映像処理部２０２にてコンピュータで処理可能なデータに加工される。ＣＰＵ２０６上で動作する映像複写部２０５は映像処理部に対して映像出力指示２０９を発行し、映像処理部はメモリ２０３に映像データ２０４を直接書き込む。映像複写部では、出力を指示するとともに、映像表示制御部２０７に映像処理部が出力した映像データを読みだすように映像入力指示２１０を発行する。映像入力指示を受け取った映像表示制御部は、メモリにある映像データを読み出して、表示部２０８に映像を表示する。
【０００７】
このようにカメラのような撮像専用機では入力映像を出力するまでを最短化するための構成となっている。リアルタイムＯＳで構成する方法は、単一の映像入力装置に対して有効だが、入力を複数にする場合は、それぞれの映像入力装置に対して同じ構成を複数持つ必要がある。一方、非リアルタイムＯＳは、映像入力と映像出力を映像複写部が仲介する構成となるため、容易に複数の映像入力部を設けることができる。図３にその構成を示す。
【０００８】
すなわち、映像入力１の映像は映像処理部３０１によってコンピュータで処理可能なデータに加工され、映像入力２の映像は映像処理部３０３によってコンピュータで処理可能なデータに加工され、映像入力３の映像は映像処理部３０５によってコンピュータで処理可能なデータに加工される。ＣＰＵ３１０上で動作する映像複写部３０９は映像入力１の映像データを映像入力１のインタフェース３０２を経由して受け取り映像複写部が確保・管理するメモリ３０８に映像データ３０７を保存する。
【０００９】
同様に映像入力２の映像データを映像入力２のインタフェース３０４を経由して受け取り映像複写部が確保・管理するメモリに映像データを保存し、映像入力３の映像データを映像入力３のインタフェース３０６を経由して受け取り映像複写部が確保・管理するメモリに映像データを保存する。
【００１０】
映像を表示するために、映像複写部は表示しようとする映像データ３１４を映像表示制御部３１１へ受け渡す。映像表示制御部３１１は受け取った映像を表示装置３１２へ表示する。このように非リアルタイムＯＳでは異なるインタフェースを経由して異なる映像入力を受け取る表示するに当たり、インタフェースの数や種類に寄らず、映像データ３１３を受け取りメモリに保存する３１３までを同一の経路としていることで、多様な映像入力の受け取りを容易にしている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開2012-89158号公報
【特許文献２】特開2004-253922号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、非リアルタイムＯＳ上のソフトウェアから異なるインタフェースからの入力映像を個々に切り替えながら表示しようとする際に、同一の経路を利用した入力映像に対して欠落フレームのない映像出力を行うのは困難であった。
【００１３】
図４に非リアルタイムＯＳにおける一般的な映像入出力処理のメモリ伝送と図５にそれぞれの映像入力と映像表示のＶｓｙｎｃのタイミングチャートを示す。図４に於いて、映像複写部４１７が映像入力１の映像処理部４０１によってコンピュータで処理可能なデータに加工された映像データを表示しようとするとき、映像複写部は映像入力１の表示開始５０５を発行し、インタフェース１のドライバ４０３にから映像データを受け取る。映像入力１から出力される映像は映像入力１のＶｓｙｎｃ５０１によって連続的に出力される。そのため、映像複写部は受け取った入力映像をメモリ４１６中に確保した映像入力１のフレームバッファ４０４に受け取るごとに保存していく必要がある。
【００１４】
映像複写部は映像入力１を保存しつつ、表示用ドライバ４１３が表示制御及び表示部４１５に映像を表示できるように、メモリ上にある表示部用のフレームバッファ４１４に映像入力１のフレームバッファに保存した映像データを複写して行く。複写された映像データは表示用ドライバによって、表示Ｖｓｙｎｃ５０４のタイミングで表示できるように読みだされ、表示制御及び表示部に渡される。このような複写動作を連続的に行うことで、映像入力１の映像が表示装置で表示されることになる。この時に表示Ｖｓｙｎｃは映像入力１Ｖｓｙｎｃの映像データを複写した後のタイミングに合わせるようにイネーブルにすることで入力と出力の相互のタイミング関係を保つ。
【００１５】
映像入力２および映像入力３の映像が、映像入力１の表示開始と同時に動作すると、各映像入力は、映像入力２のＶｓｙｎｃ５０２、映像入力３のＶｓｙｎｃ５０３のタイミングで出力される。この時、各々の入力装置のＶｓｙｎｃは映像入力毎に異なることになる。映像入力１を表示しているときに、映像入力２に切り替える為、映像入力２の表示切替５０６を発行する。発行した後に表示部用のフレームバッファへの書き込みを実施しなければならない為、表示部用フレームバッファ利用中に映像データを書き換えないようにするタイミングが必要となるため表示Ｖｓｙｎｃがディセーブルの時に発行する。
【００１６】
表示部用のフレームバッファを映像入力２の映像データに書き換えるために、表示用Ｖｓｙｎｃは書き換えが終わるまでディセーブルになり書き換えが完了し、映像入力２のＶｓｙｎｃと合わせるように表示用Ｖｓｙｎｃを動作させると、映像入力２の映像を表示できる。この時に、映像入力１及び映像入力２のＳｃｅｎｅ３の映像データは表示することができなくなり、連続した映像表示にはならず欠落した映像となる。
【課題を解決するための手段】
【００１７】
複数の映像入力部と、表示部と、ＣＰＵと、入力装置を接続する複数のインタフェースと、入力する映像を表示部に複写して表示する映像複写部と、入力映像の映像データを保存し、表示用に利用するフレームバッファを少なくとも４つ以上確保することができるメモリと、映像入力部が出力するＶｓｙｎｃを監視する映像入力Ｖｓｙｎｃ監視部と、表示部が表示用に出力するＶｓｙｎｃを監視する表示用Ｖｓｙｎｃ監視部と、前記映像複写部から入力映像のインタフェース指定を受け付ける入力要求受付部を含む入出力切り替え部と、表示映像タイミング調停部と、切り替えて表示する入力映像Ｖｓｙｎｃがディセーブルで、表示用Ｖｓｙｎｃがイネーブルの時に、入力映像の保存する前記フレームバッファを変更する入出力切り替え部とを備える。
【発明の効果】
【００１８】
異なるインタフェースを用いても、フレームバッファの共用によりリソース低減が可能になる。映像入力から出力までにおいて、ソフトウェアの動作を最小化できるため、入力に対する出力遅延を最小限に抑えることが可能になる。入力のフレームバッファと表示用フレームバッファを共用し切り替えて利用することで、非リアルタイムＯＳを利用してもリアルタイムＯＳと同程度の入力から出力までの遅延を最小化することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】非リアルタイムＯＳにおける映像表示。
【図２】リアルタイムＯＳを使用した専用撮像機の映像表示。
【図３】非リアルタイムＯＳにおける複数の映像入力による映像表示。
【図４】非リアルタイムＯＳにおける映像表示の映像伝送。
【図５】映像入力と表示のタイミングチャート。
【図６】映像表示の映像伝送。
【図７】入出力映像切り替え制御部の構成。
【図８】Ｖｓｙｎｃのタイミングチャート。
【発明を実施するための形態】
【００２０】
図６に本発明を適用した映像処理装置を示す。図７に入出力映像切り替え制御部を示す。図８に本発明による映像入力及び表示用Ｖｓｙｎｃのタイミングチャートを示す。図６から図８に従って本発明を説明する。
【００２１】
図６において、６０１は映像入力１の映像処理部、６０２は映像入力１のインフェース１、６０３は映像入力２の映像処理部、６０４は映像入力２のインフェース２、６０５は映像入力３の映像処理部、６０６は映像入力３のインフェース３、６０７は映像入出力兼用フレームバッファ１、６０８は映像入出力兼用フレームバッファ２、６０９は映像入出力兼用フレームバッファ３、６１０は映像入出力兼用フレームバッファ４、６１１は映像入出力兼用フレームバッファ５、６１２は出力制御及び表示部、６１３は映像複写部、６１４は入出力切り替え部、６１５は映像入力指示、６１６はフレームバッファ指定指示、６１７は映像入力Ｖｓｙｎｃ監視、６１８は表示用Ｖｓｙｎｃ監視、６１９は入力切り替え指示である。
【００２２】
図７において、７０１は入力要求受付部、７０２は出力先設定部、７０３は映像入力Ｖｓｙｎｃ監視部、７０４は表示用フレームバッファ設定部、７０５は表示用Ｖｓｙｎｃ監視部、７０６は表示映像タイミング調停部である。図８において、８０１は映像入力１のＶｓｙｎｃ、８０２は映像入力２のＶｓｙｎｃ、８０３は映像入力３のＶｓｙｎｃ、８０４は表示用Ｖｓｙｎｃ、８０５は映像入力１の切り替え指示、８０６は映像入力２の切り替え指示、８０７は映像入力３の切り替え指示である。
【００２３】
映像複写部６１３は表示する映像入力のインタフェースを選択するときに該当するインタフェースからの入力に切り替えるよう入出力切り替え部６１４へ入力切替指示６１９及び８０５を発行する。表示がされていないときは、表示用Ｖｓｙｎｃ８０４は常にディセーブルの為、映像入力１のＶｓｙｎｃ８０１と両方がディセーブルの時に指示を出すことになる。
【００２４】
指示を受けた入出力切り替え部６１４では、入力要求受付部７０１で指示を受け取り、出力先設定部７０２によって映像入力１、映像入力２及び映像入力３に対して映像入力指示６１５を発行する。指示を受けた映像入力１、映像入力２及び映像入力３は各々の映像処理部から出力される映像データを入出力切り替え部へ出力する。映像切り替え部では、受け取った映像を、出力に応じたフレームバッファへ保存する。
【００２５】
映像入力１を表示するため、映像入力１の映像データは、Ｓｃｅｎｅ１の映像データを映像入出力兼用フレームバッファ６０９、及びＳｃｅｎｅ２を映像入出力兼用フレームバッファ６１０、Ｓｃｅｎｅ３を映像入出力兼用フレームバッファ６１１へ保存するように入力される映像データの保存を制御する。
【００２６】
映像入力２の映像データは、Ｓｃｅｎｅに関わらず映像入出力兼用フレームバッファ６０８へ保存し、映像入力３の映像データは、Ｓｃｅｎｅに関わらず映像入出力兼用フレームバッファ６０８へ保存する。映像入力１の映像データの保存が完了した後、入出力切り替え部の表示用フレームバッファ設定部７０４は出力制御および表示部６１２に、入出力兼用フレームバッファ６０９、入出力兼用フレームバッファ６１０、入出力兼用フレームバッファ６１１を順次サイクリックに読みだして表示するようにフレームバッファ指定指示６１６を発行する。
【００２７】
指示を受け付けた出力制御および表示部は、表示用Ｖｓｙｎｃ８０４に従って入出力兼用フレームバッファ６０９、入出力兼用フレームバッファ６１０、入出力兼用フレームバッファ６１１を順次読みだして表示する。
【００２８】
次に、映像入力２を表示するよう、映像複写部が入出力切り替え部へ映像入力２の切り替え指示８０６を発行する。指示を受けた入出力切り替え部では、映像入力２のＶｓｙｎｃ８０２と表示用Ｖｓｙｎｃを入出力切り替え部の映像入力Ｖｓｙｎｃ監視部と表示用Ｖｓｙｎｃ監視部が監視し、表示映像タイミング調停部７０６が、映像入力２のＶｓｙｎｃがディセーブルになり、表示用Ｖｓｙｎｃがイネーブルになっているときに、映像入力１の映像データを映像入出力兼用フレームバッファ６０７へ保存し、映像入力２の映像データをＳｃｅｎｅ４の映像データを映像入出力兼用フレームバッファ６０９、及びＳｃｅｎｅ５を映像入出力兼用フレームバッファ６１０、Ｓｃｅｎｅ６を映像入出力兼用フレームバッファ６１１へ保存するように入力される映像データの保存を制御する。
【００２９】
この時の表示はＳｃｅｎｅ３を映像入出力兼用フレームバッファ６１１から読み出しているときであり、映像入力２のＳｃｅｎｅ４を映像入出力兼用フレームバッファ６０９に保存しても表示には影響しない。表示用Ｖｓｙｎｃが次にディセーブルからイネーブルに移行し、映像入出力兼用フレームバッファ６０９を読み出すときには映像入力１から映像入力２に映像データが変更されているため、表示はフレームの欠落なく映像入力２の映像データを表示する。
【００３０】
映像入力３に切り替える際も同様な制御を行う。映像複写部が入出力切り替え部へ映像入力３の切り替え指示８０７を発行する。指示を受けた入出力切り替え部では、映像入力３のＶｓｙｎｃ８０３と表示用Ｖｓｙｎｃを入出力切り替え部の映像入力Ｖｓｙｎｃ監視部と表示用Ｖｓｙｎｃ監視部が監視し、表示映像タイミング調停部が、映像入力３のＶｓｙｎｃがディセーブルになり、表示用Ｖｓｙｎｃがイネーブルになっているときに、映像入力２の映像データを映像入出力兼用フレームバッファ６０８へ保存し、映像入力３の映像データをＳｃｅｎｅ６の映像データを映像入出力兼用フレームバッファ６１１、及びＳｃｅｎｅ７を映像入出力兼用フレームバッファ６０９、Ｓｃｅｎｅ８を映像入出力兼用フレームバッファ６１０へ保存するように入力される映像データの保存を制御する。
【００３１】
この時の表示はＳｃｅｎｅ５を映像入出力兼用フレームバッファ６１０から読み出しているときであり、映像入力３のＳｃｅｎｅ６を映像入出力兼用フレームバッファ６１１に保存しても表示には影響しない。表示用Ｖｓｙｎｃが次にディセーブルからイネーブルに移行し、映像入出力兼用フレームバッファ６１０を読み出すときには映像入力２から映像入力３に映像データが変更されているため、表示はフレームの欠落なく映像入力３の映像データを表示する。
【００３２】
以上説明したように、非リアルタイムＯＳの映像の入出力の仕組みを利用した複数の映像入力を表示するに当たり、入力映像のＶｓｙｎｃがディセーブルで表示用Ｖｓｙｎｃがイネーブルの時に、入力映像を保存するフレームバッファを切り替えることで、表示しているフレームを欠落なく切り替えて表示することが可能になる。
【００３３】
なお、このような映像入力を行うインタフェースについては、非リアルタイムＯＳの標準仕様に基づいた本実施例に於いては、特別なものは必要ではない為、ＵＳＢ、ＰＣＩｅ、ＭＩＰＩなどの標準的なインタフェースを利用することができる。
【符号の説明】
【００３４】
１０１  撮像部        １０２映像処理部      １０３  メモリ
【図１】
2019086725.tif 000003
【図２】
2019086725.tif 000004
【図３】
2019086725.tif 000005
【図４】
2019086725.tif 000006
【図５】
2019086725.tif 000007
【図６】
2019086725.tif 000008
【図７】
2019086725.tif 000009
【図８】
2019086725.tif 000010