(57)【要約】【課題】高解像度の動画像データの再生、一時停止、コマ送り、一時停止解除といった再生動作について利用者の使い勝手を向上させること。【解決手段】本発明は、複数の復号処理部のうち動画像データの再生の一時停止の指示を受けた復号処理部から次段以降の復号処理部へ一時停止の指示を順送りする機能を有する復号化部１１と、外部から一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部へ一時停止の指示を送る制御を行う制御部１２と、連続再生の際には復号化部１１の複数の復号処理部で復号化されたフレーム単位の動画像データを順次選択して出力し、制御部１２が一時停止の指示を受け付けた際には制御部１２から一時停止の指示を受けた復号処理部で復号化された動画像データを一時停止解除の指示があるまで選択して出力する選択部１３とを有する画像処理装置１である。【選択図】図１
2010114616.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像データをフレーム単位で順次復号化する複数の復号処理部を備え、当該複数の復号処理部のうち前記動画像データの再生の一時停止の指示を受けた復号処理部から次段以降の復号処理部へ当該一時停止の指示を順送りする機能を有する復号化部と、
前記復号化部の複数の復号処理部へ前記符号化された動画像データをフレーム単位で順次出力する制御を行うとともに、外部から前記一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部へ当該一時停止の指示を送る制御を行う制御部と、
前記制御部が連続再生の指示を受け付けた際には前記復号化部の複数の復号処理部で復号化されたフレーム単位の動画像データを順次選択して出力し、前記制御部が前記一時停止の指示を受け付けた際には前記制御部から前記一時停止の指示を受けた復号処理部で復号化された動画像データを一時停止解除の指示があるまで選択して出力する選択部と
を有する画像処理装置。
【請求項２】
前記復号化部の複数の復号処理部は、前記一時停止の指示を受け付けた際に処理しているフレームの動画像データの復号化を前記一時停止解除の指示があるまで繰り返し行う
請求項１記載の画像処理装置。
【請求項３】
前記制御部は、前記動画像データの再生の一時停止の状態において外部からコマ送りの指示を受け付けた際、前記一時停止の指示を送った復号処理部へコマ送りの指示を与え、
前記制御部から前記コマ送りの指示を受けた復号処理部は、次段の復号処理部へコマ送りの指示を送り、
前記選択部は、前記次段の復号処理部で復号化された動画像データを選択する
請求項１または２記載の画像処理装置。
【請求項４】
前記コマ送りの指示を受けた復号処理部は、前段の復号処理部で処理しているフレームの次のフレームについて動画像データの復号化を一時停止解除の指示があるまで繰り返し行う
請求項３記載の画像処理装置。
【請求項５】
前記制御部は、前記一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部の識別情報を記憶しておき、前記一時停止の指示の次の指示を送る際には記憶した当該識別情報に基づく復号処理部へ指示を送る
請求項１から４のうちいずれか１項に記載の画像処理装置。
【請求項６】
前記符号化された動画像データは、各フレームごと独立して復号化できるデータ形式で符号化されたものである
請求項１から５のうちいずれか１項に記載の画像処理装置。
【請求項７】
制御部が外部から連続再生の際には、符号化された動画像データを複数の復号処理部においてフレーム単位で順次復号化し、復号化されたフレーム単位の動画像データを順次選択して出力する工程と、
前記制御部が外部から前記動画像データの再生の一時停止の指示を受け付けた際には、当該一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部へ当該一時停止の指示を送るとともに、当該一時停止の指示を受けた復号処理部から次段以降の復号処理部へ当該一時停止の指示を順送りする工程と、
前記制御部から前記一時停止の指示を受けた復号処理部および当該一時停止の指示が順送りされた復号処理部で処理しているフレームの動画像データの復号化を、一時停止の解除の指示があるまで各々の復号処理部で繰り返す工程と、
前記一時停止の指示を受けた復号処理部で復号化された動画像データを一時停止の解除の指示があるまで選択して出力する工程と
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。詳しくは、符号化された動画像データを復号化して再生するにあたり、一時停止の指示やコマ送りの処理を実現する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、液晶パネルの高解像度化が進み、有効画素数にして２０４８×１０８０程度の解像度を有する映像信号、いわゆるHigh-Definition信号（ただし、本明細書では、2K信号と称する。）に対応可能なもの（例えば、特許文献１，２参照）が普及してきている。
【０００３】
さらに、デジタルシネマ等の分野で利用するために、有効画素数にして４０９６×２１６０程度の解像度を有する映像信号、即ち2K信号に対して約４倍の解像度を有する映像信号（以下、4K信号と称する。）に対応可能な液晶パネルも登場してきている。
【０００４】
【特許文献１】特開２００３−３４８５９７号公報
【特許文献２】特開２００１−２８５８７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、4K信号のような高解像度の動画像データについて復号化して再生を行っている際、一時停止して一定期間静止画像を出力しようとした場合、順次送られるフレームの動画像データの復号化処理はそのまま続行される。すなわち、一時停止の指示があった段階で、復号化した画像データのメモリの書き換えを中止し、同じ画像データを繰り返し出力している。しかし、その間、復号処理部は順次送られるフレームの動画像データの復号化処理を行っており、このため一時停止を解除した際には、一時停止している画像からコマの飛んだ画像から再生されるといった不都合が生じている。
【０００６】
本発明は、高解像度の動画像データの再生、一時停止、コマ送り、一時停止解除といった再生動作について利用者の使い勝手を向上できる技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明は、符号化された動画像データをフレーム単位で順次復号化する複数の復号処理部を備え、複数の復号処理部のうち動画像データの再生の一時停止の指示を受けた復号処理部から次段以降の復号処理部へ一時停止の指示を順送りする機能を有する復号化部と、復号化部の複数の復号処理部へ符号化された動画像データをフレーム単位で順次出力する制御を行うとともに、外部から一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部へ一時停止の指示を送る制御を行う制御部と、制御部が連続再生の指示を受け付けた際には復号化部の複数の復号処理部で復号化されたフレーム単位の動画像データを順次選択して出力し、制御部が一時停止の指示を受け付けた際には制御部から一時停止の指示を受けた復号処理部で復号化された動画像データを一時停止解除の指示があるまで選択して出力する選択部とを有する画像処理装置である。
【０００８】
また、本発明は、制御部が外部から連続再生の指示を受け付けた際には、符号化された動画像データを複数の復号処理部においてフレーム単位で順次復号化し、復号化されたフレーム単位の動画像データを順次選択して出力する工程と、制御部が外部から動画像データの再生の一時停止の指示を受け付けた際には、この一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部へ一時停止の指示を送るとともに、一時停止の指示を受けた復号処理部から次段以降の復号処理部へ一時停止の指示を順送りする工程と、制御部から一時停止の指示を受けた復号処理部および一時停止の指示が順送りされた復号処理部で処理しているフレームの動画像データの復号化を、一時停止の解除の指示があるまで各々の復号処理部で繰り返す工程と、一時停止の指示を受けた復号処理部で復号化された動画像データを一時停止の解除の指示があるまで選択して出力する工程とを有する画像処理方法である。
【０００９】
このような本発明では、符号化された動画像データをフレーム単位で順次複数の復号処理部で復号化する。ここで、外部から連続再生の指示があった際にはこの複数の復号処理部で復号化されたフレーム単位の動画像データを選択部で順次選択して出力する。一方、外部から一時停止の指示があった際には、制御部から現在のフレームの復号化処理を行っている復号処理部へ一時停止の指示を送る。この一時停止の指示は、次段以降の復号処理部へ順送りされ、全ての復号処理部は各自が一時停止の指示を受けた際に処理しているフレームの動画像データにおける復号化処理を一時停止解除まで繰り返す。そして、選択部は、制御部から一時停止の指示を受けた復号処理部で復号化された動画像データを一時停止解除まで選択して出力することになる。
【００１０】
一時停止の指示があると、各復号処理部は、一時停止の指示を受けた際に処理しているフレームの動画像データの復号化処理を繰り返しているため、一時停止解除やコマ送りの指示があった場合には、一時停止で出力している画像の次のフレームの画像を選択して出力できるようになる。
【００１１】
ここで、次段の復号処理部とは、ある復号処理部で処理するフレームの次のフレームを処理する復号処理部のことである。また、コマ送りとは、一時停止しているフレームの静止画像から次のフレームの静止画像へ切り替える処理を言う。
【００１２】
また、本願請求項に記載される「一時停止解除の指示」とは、一時停止から連続再生へ切り替える指示、一時停止からコマ送りへ切り替える指示など、一時停止から別の再生モードへ切り替える際にそれまでの一時停止を解除する指示のことを言う。
【発明の効果】
【００１３】
本発明によれば、複数の復号処理部によって順次フレームの動画像データを復号する装置において、一時停止を解除やコマ送りをした際、一時停止の次のフレームの画像を再生することが可能となる。これにより、高解像度の動画像データの再生、一時停止、コマ送り、一時停止解除といった再生動作について利用者の使い勝手を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態（以下、実施形態とする）について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の概要（全体構成、各部構成、復号化部の構成、復号処理部の構成）
２．データ構造（画面領域、１フレームのデータ構造）
３．画像処理方法（コマンドの流れ、フレームデータの流れ）
【００１５】
＜１．画像処理装置の概要＞
［全体構成］
図１は、本実施形態に係る画像処理装置の概要を説明する構成図である。本実施形態に係る画像処理装置１は、主として符号化された高解像度の動画像データを復号化し、映像出力装置である例えばプロジェクタ２に送るサーバとして適用されるものである。
【００１６】
高解像度の動画像データとしては、4K信号はもちろんのこと、従来の2K信号やそれ以下の解像度の画像データに対しても適用可能である。また、将来登場するであろう4K信号よりもさらに高解像度の画像データに対しても適用可能である。
【００１７】
なお、本実施形態では、説明を分かりやすくするため、4K信号を処理対象とする。すなわち、本実施形態では、図４に示すように、画枠の画素数が５５００×２２５０、有効画素の画素数が４０９６×２１６０である4K信号の動画像データを処理対象とする。
【００１８】
本実施形態の画像処理装置１は、例えばデジタルシネマ投影システムといった画像再生システム１００におけるサーバ（デジタルシネマサーバ）として適用される。画像再生システム１００は、サーバである本実施形態の画像処理装置１と、スクリーン２０に映像を投影するプロジェクタ２と、画像処理装置１を介して映像の投影を制御するコンピュータ３とを備えている。
【００１９】
コンピュータ３は画像処理装置１と接続されており、コンピュータ３上で実行されるソフトウェアによって画像処理装置１へ所定の指示を与える機能を有している。コンピュータ３と画像処理装置１とは、ＵＳＢ（Universal Serial Bus）等のシリアル通信ケーブルで接続されていても、ＬＡＮ（Local Area Network）等のネットワークを介して接続されていてもよい。また、有線のみならず無線で接続されていてもよい。
【００２０】
画像処理装置１は、4K信号に対応した符号化された動画像データを復号化してプロジェクタ２へ出力する機能を有する。プロジェクタ２は、画像処理装置１から出力された4K信号の動画像データを処理し、カラー動画像としてスクリーン２０へ拡大投影するものである。
【００２１】
図１に示す画像再生システム１００では、画像処理装置１、プロジェクタ２、コンピュータ３が各々別体となっていて、それぞれケーブル等で接続される構成であるが、これらの全部または一部が一体となっている構成であってもよい。
【００２２】
例えば、本実施形態の画像処理装置１がコンピュータ３の本体筐体に組み込まれており、コンピュータ３からプロジェクタ２へ復号化した動画像データを送る構成が考えられる。また、本実施形態の画像処理装置１の筐体内にコンピュータ３が組み込まれている構成も考えられる。
【００２３】
また、本実施形態の画像処理装置１がプロジェクタ２の筐体内に組み込まれている構成も考えられる。この場合、コンピュータ３とプロジェクタ２とが接続され、コンピュータ３からプロジェクタ２へ指示を与え、プロジェクタ２内の画像処理装置１で復号化した動画像データをスクリーン２０に投影することになる。
【００２４】
また、コンピュータ３、画像処理装置１、プロジェクタ２が全て同じ筐体内に組み込まれている構成も考えられる。また、コンピュータ３、画像処理装置１、プロジェクタ２が各々離れた位置に存在し、それぞれがインターネット等のネットワークを介して接続されている構成も考えられる。本発明はいずれの構成であっても適用可能である。
【００２５】
［各部構成］
コンピュータ３は、ソフトウェアを実行するＣＰＵ（Central Processing Unit）、ソフトウェアやデータを記憶する記憶手段、ディスプレイ、キーボード等の入出力手段を備えている。
【００２６】
本実施形態では、コンピュータ３のＣＰＵで実行されるソフトウェアとして、画像処理装置１に対して所定の指示を与える機能や、画像処理装置１の状態、設定、映像の再生状況を認識する機能等を実現するユーザインタフェースを備えている。
【００２７】
したがって、ユーザは、コンピュータ３で実行されるソフトウェアのユーザインタフェースを介して画像処理装置１に指示を与え、映像表示のコントロールを行う。また、ユーザは、ソフトウェアのユーザインタフェースを介して画像処理装置１の動作状況等を認識することになる。
【００２８】
本実施形態では、コンピュータ３から画像処理装置１に対して映像再生（連続再生）の開始、停止の指示や、連続再生中に一時停止をする指示、一時停止中にコマ送りをする指示、一時停止を解除する指示といった各種の指示を与える。画像処理装置１は、これらを外部からの指示として受け付け、各々に対応する処理を実行することになる。
【００２９】
なお、システム構成において、本実施形態の画像処理装置１の筐体内にコンピュータ３が組み込まれている場合には、別体のコンピュータ３は存在せず、画像処理装置１の筐体にコンピュータ３を構成するＣＰＵ、記憶手段、入出力手段を備えることになる。この場合であっても、便宜上、画像処理装置１に与えられる利用者からの指示は外部からの指示ということにする。
【００３０】
プロジェクタ２は、画像処理装置１から送られる復号化された動画像データを拡大投影装置を介してスクリーン２０に投影するものである。プロジェクタ２は、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）に対応した液晶表示デバイス等の変調素子を備えており、画像処理装置１から送られてきた動画像データでＲＧＢの液晶表示デバイス等を駆動し、各色の光を変調する。そして、変調されたＲＧＢ各色の光を合成し、投射レンズを介して拡大投影する。
【００３１】
なお、本実施形態ではプロジェクタ２を映像出力装置として用いているが、プロジェクタ以外の映像出力装置であっても適用可能である。
【００３２】
画像処理装置１は、符号化された動画像データを記憶する記憶部１０と、符号化された動画像データを復号化する復号化部１１と、記憶部１０および復号化部１１等を制御する制御部１２と、入力される動画像データを選択してプロジェクタ２へ出力する選択部１３とを備えている。
【００３３】
記憶部１０は、例えばハードディスクドライブ等の大容量のデータを格納可能な記憶手段である。記憶部１０は画像処理装置１の筐体内に組み込まれている構成や、ネットワーク等の回線を介して外部に接続されている構成が考えられる。なお、記憶部１０は、読み書き自在の記憶手段のほか、読み出し専用の記憶手段（例えば、ＤＶＤ（Digital Versatile Disk）等の記憶媒体）であってもよい。
【００３４】
記憶部１０は、符号化された動画像データを記憶しており、制御部１２からの指示に応じて符号化された動画像データをフレーム単位で出力する。
【００３５】
復号化部１１は、符号化された動画像データをフレーム単位で順次復号化する複数の復号処理部を備えている。複数の復号処理部を備えていることで、4K等の高解像度の動画像データをフレーム単位で順次処理でき、１つの復号処理部にかかる負担を軽減できるようになっている。
【００３６】
また、復号化部１１は、この複数の復号処理部のうち動画像データの再生の一時停止の指示を受けた復号処理部から次段以降の復号処理部へ一時停止の指示を順送りする機能を有している。復号化部の構成の詳細は後述する。
【００３７】
制御部１２は、記憶部１０に指示を与えて所定フレームの動画像データを読み出す制御や、読み出した動画像データをフレーム単位で復号化部１１へ送る制御を行う。具体的には、記憶部１０に対して所望フレームの読み出し要求を行い、送られてきたフレーム単位の動画像データを復号化部１１の各復号化処理部へ順次振り分ける。
【００３８】
また、制御部１２は、外部（コンピュータ３）から一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部へ一時停止の指示を送る制御を行う。
【００３９】
制御部１２は、一時停止等の指示を送った復号処理部の識別情報を記憶している。これは、一時停止等の指示の次の指示を送る際に、記憶した識別情報を基づく復号処理部へ次の指示を与えることができるようにするためである。これにより、最新の指示を与えた復号処理部に次の指示を与えることができるようになる。
【００４０】
例えば、一時停止している間にコマ送りの指示をコンピュータ３から受けた場合、制御部１２は、記憶している識別情報に基づき一時停止の指示を出した復号処理部へコマ送りの指示を与えることになる。そして、コマ送りの指示を受けた復号処理部は、次段の復号処理部へコマ送りの指示を送ることになる。
【００４１】
なお、制御部１２が記憶する識別情報は、復号化部１１からの要求で書き替えられる。つまり、制御部１２が指示を送る対象を復号化部１１からの要求で変更することができる。
【００４２】
例えば、前段の復号処理部からコマ送りの指示を受けた復号処理部は、次の指示を受けるのが自らの復号処理部になるため、制御部１２へ自らの次の指示を受ける復号処理部であることを示すコマンドを送る。これにより、制御部１２は、現在記憶している識別情報をその復号処理部の識別情報に書き換え、次の指示を与える対象を切り替えることになる。
【００４３】
また、制御部１２は、記憶部１０に要求したフレームのカウントを記憶している。連続再生では、このカウントが順次進行していき、記憶部１０から連続したフレームの動画像データが送られるが、一時停止を行った場合には、一時停止の処理でそれまでに読み出したフレームのカウントを記憶している。そして、コマ送りを行った際にはコマ送りごと、記憶したカウントの次のフレームを記憶部１０に要求してカウントを進め、記憶する。また、一時停止の解除があった際には、それまで記憶していたカウントの進行を再開し、順次フレームの動画像データを記憶部１０に要求することになる。
【００４４】
制御部１２は、ＦＰＧＡ（Field Programmable Gate Array）を備えた構成となっており、記憶部１０や復号化部１１に対する制御動作が所定のプログラミングによる回路構成によって自在に設定可能となっている。
【００４５】
選択部１３は、復号化部１２の複数の復号処理部から送られる復号化された動画像データの選択を行い、プロジェクタ２に出力する処理を行う。すなわち、連続再生の際には復号化部１２の複数の復号処理部で復号化されたフレーム単位の動画像データを順次選択して出力する。これにより、復号化された各フレームの動画像データが順次プロジェクタ２に送られ、動画像としてスクリーン２０に投影されることになる。
【００４６】
一方、制御部１２が一時停止の指示を受け付けた際には制御部１２から一時停止の指示を受けた復号処理部で復号化された動画像データを一時停止解除の指示があるまで選択して出力する。これにより、一時停止の指示があった際のフレームの画像が連続してプロジェクタ２に出力され、スクリーン２０には同じフレームの画像、すなわち、そのフレームの静止画像が投影されることになる。
【００４７】
選択部１３は、復号化部１１の複数の復号処理部から送られる復号化後のデータに書き込まれたフラグに基づき、どのデータを選択するかを決定する。
【００４８】
［復号化部の構成］
図２は、復号化部の構成例の詳細を説明するブロック図である。復号化部１１は、複数の復号処理部ＤＥＣを備えている。図２に示す例では、４つの復号処理部ＤＥＣ１〜４が設けられているが、これは一例であり、４つより多い場合、少ない場合のいずれであっても適用可能である。本実施形態では、説明を分かりやすくするため、４つの復号化部ＤＥＣ１〜４を備える場合を例とする。
【００４９】
４つの復号処理部ＤＥＣ１〜４は、符号化された動画像データについてそれぞれフレーム単位で復号化処理を実行するものである。本実施形態では、４つの復号処理部ＤＥＣ１〜４があるため、４フレーム分の動画像データを１フレーム分〜４フレーム分の時間をかけて処理する。すなわち、１つの復号処理部では、最短で１フレーム分の時間、最大で４フレーム分の時間をかけて１フレーム分の動画像データを処理することができる。
【００５０】
本実施形態の復号処理部ＤＥＣ１〜４は、符号化された動画像データをフレーム単位で復号処理するため、符号化された動画像データとして、各フレームごと独立して符号化できるデータ形式のもの（例えば、JPEG2000）を取り扱う。
【００５１】
各復号処理部ＤＥＣ１〜４には、制御部１２との間で指示（コマンド）を入出力する第１のコマンドデータラインＤＬ１が接続されている。第１のコマンドデータラインＤＬ１は、制御部１２と各復号処理部ＤＥＣ１〜４との間で並列接続となっている。これにより、制御部１２は、所定の指示（コマンド）を第１のコマンドデータラインＤＬ１を介して所定の復号処理部ＤＥＣ１〜４へ送ることができる。例えば、連続再生の開始の指示や停止の指示、一時停止の指示、コマ送りの指示、一時停止解除の指示等を送ることができる。
【００５２】
また、各復号処理部ＤＥＣ１〜４には、制御部１２から符号化された動画像データを受け取る動画像データラインＤＬ３が接続されている。動画像データラインＤＬ３は、制御部１２と各復号処理部ＤＥＣ１〜４との間で並列接続となっている。これにより、制御部１２は記憶部１０から読み出した符号化されたフレーム単位の動画像データを、動画像データラインを介して所定のタイミング復号処理部ＤＥＣ１〜４へ送ることができる。
【００５３】
また、各復号処理部ＤＥＣ１〜４には復号化した動画像データを選択部１３に出力する出力データラインＤＬ４が設けられている。各復号処理部ＤＥＣ１〜４でそれぞれ復号化した動画像データは、出力データラインＤＬ４を介して所定のタイミングでそれぞれ選択部１３へ送られることになる。
【００５４】
また、各復号処理部ＤＥＣ１〜４は、それぞれ次段の復号処理部に向けて指示を与える第２のコマンドデータラインＤＬ２が接続されている。すなわち、復号処理部ＤＥＣ１は次段である復号処理部ＤＥＣ２に向けて指示を与える第２のコマンドデータラインＤＬ２が接続されている。また、復号処理部ＤＥＣ２は次段である復号処理部ＤＥＣ３に向けて指示を与える第２のコマンドデータラインＤＬ２が接続されている。また、復号処理部ＤＥＣ３は次段である復号処理部ＤＥＣ４に向けて指示を与える第２のコマンドデータラインＤＬ２が接続されている。また、復号処理部ＤＥＣ４は次段である復号処理部ＤＥＣ１に向けて指示を与える第２のコマンドデータラインＤＬ２が接続されている。これにより、いずれかの復号処理部から次段の復号処理部に送られる指示は、順次、次段の復号処理部に送られ、全ての復号処理部に伝えられることになる。
【００５５】
［復号処理部の構成］
図３は、復号処理部の構成例の詳細を説明するブロック図である。復号処理部ＤＥＣは、ＦＰＧＡを中心として、複数の画像処理回路ＤＳＰと複数のメモリとを備えた構成となっている。この復号処理部ＤＥＣは、4K信号によるJPEG2000（以下、J2Cと言う。）の符号化データに対応したものである。画像処理回路ＤＳＰは、2K信号と4K信号とから成る１組みの信号を３組み分処理するため、合計６つ設けられている。また、メモリは、３組み分の信号を一時記憶するため、合計３つ設けられている。
【００５６】
復号処理部ＤＥＣに設けられたＦＰＧＡにより、所定のプログラミングによる回路構成が自在に設定できるようになっている。本実施形態では、このプログラミングによって、復号処理部ＤＥＣから次段の復号処理部へ向けて指示を与える機能を実現している。この機能によって第２のコマンドデータラインを介した次段の復号処理部への指示の送出が可能となっている。
【００５７】
また、ＦＰＧＡに行う所定のプログラミングによって、制御部１２や前段の復号処理部から送られた指示（コマンド）による画像データの復号処理動作を設定することもできる。
【００５８】
特に、本実施形態では、制御部１２もしくは前段の復号処理部から一時停止の指示（コマンド）が送られていた場合、これを受けた際に処理していたフレームの復号処理を、一時停止の解除の指示があるまで繰り返し行う動作を実現している。
【００５９】
また、本実施形態では、復号処理部が制御部１２からコマ送りの指示を受けた場合、その復号処理部の前段の復号処理部で処理しているフレームの次のフレームについての動画像データの制御部１２から取得する。そして、そのフレームの動画像データの復号化を一時停止解除の指示があるまで繰り返し行うことになる。このような処理を、ＦＰＧＡに行うプログラミングによって実現している。
【００６０】
＜２．データ構造＞
［画面領域］
図４は、画面領域の構成を説明する模式図である。この画面領域の構成は、4K信号に対応したもので、画枠の画素が５５００×２２５０、有効画素の画素数が４０９６×２１６０となっている。4K信号の画像データは画枠の画素数分を備えており、映像表示のスキャン方向に対応したデータ構造を備えている。
【００６１】
１フレーム分の映像表示のスキャンは、画面左上から右方向へ１ラインごとの走査を最下段のラインまで繰り返す。したがって、１フレーム分の画像データこの順番に対応したデータ構造となっている。
【００６２】
ここで、画枠の画素の１ライン分のスキャンでは、水平同期信号HsyncがＨｉｇｈになることで水平方向の有効画素を構成している。また、ラインの垂直方向では、垂直同期信号VsyncがＨｉｇｈになることで垂直方向の有効画素を構成している。
【００６３】
［１フレームのデータ構造］
図５は、１フレームの画像データのデータ構造を説明する模式図である。１フレームの画像データは、先に説明した画面構成における映像表示のスキャン方向に対応したデータ構造で格納されている。すなわち、ライン単位の画像データが直列に並ぶ構成であり、データ構造の開始部分にヘッダ、終了部分にフッタが設けられている。
【００６４】
したがって、１フレーム分の画像データは、ヘッダの直後およびフッタの直前に垂直ブランキング期間に対応するデータが格納され、この間に有効画素に対応した各ライン分に対応したデータが格納される。有効画素に対応した各ライン分のデータの前後には、そのラインの水平ブランキング期間に対応したデータが格納される。
【００６５】
符号化された１フレーム分の動画像データは、制御部１２の指示によって記憶部１０から読み出され、順次復号化部１１の復号処理部ＤＥＣへ送られる。復号処理部ＤＥＣでは、制御部１２から送られてきた１フレーム分の画像データを復号し、図５に示すデータ構造の動画像データを選択部１３へ出力する。この際、データ構造のヘッダに所定のフラグを書き込むことで、選択部１３でのフレームデータの選択が行われる。
【００６６】
復号処理部ＤＥＣによってデータ構造のヘッダにどのようなフラグを書き込むかは、復号処理部ＤＥＣのＦＰＧＡ（図３参照）によるプログラミングによって設定することができる。このフラグにより、復号処理部ＤＥＣから復号化された１フレーム分の画像データが選択部１３へ送られても、選択部１３でそのフレームの画像データを選択させるか否かを制御できることになる。
【００６７】
＜３．画像処理方法＞
次に、本実施形態に係る画像処理方法を説明する。図６は、本実施形態の画像処理方法でのコマンドの流れを説明する図である。なお、以下の説明で図６に示されない符号は適宜図１、２を参照するものとする。
【００６８】
［コマンドの流れ］
（連続再生の場合）
コンピュータ３から画像処理部１の制御部１２へ連続再生の指示を与えると、制御部１２は、記憶部１０から１フレーム単位で符号化された動画像データの読み出しを要求する。本実施形態では、符号化された動画像データとしてJ2Cを例とする。ここでN（Nは正の整数）をフレーム番号として、１フレーム分の動画像データをJ2C-Nと表す。
【００６９】
具体的には、J2C-1から１フレームごと順次読み出しを要求する。制御部１２は、読み出された１フレームごとの動画像データを復号化部１１の復号処理部ＤＥＣ１〜４に順番に送出する。これにより、復号処理部ＤＥＣ１にはJ2C-1、復号処理部ＤＥＣ２にはJ2C-2、復号処理部ＤＥＣ３にはJ2C-3、復号処理部ＤＥＣ４にはJ2C-4が送られる。また、そのまま連続再生が続く場合には、復号処理部ＤＥＣ１にJ2C-5、復号処理部ＤＥＣ２にJ2C-6、復号処理部ＤＥＣ３にJ2C-7、復号処理部ＤＥＣ４にJ2C-8…といった順に、４フレームごと進む繰り返しで各復号処理部ＤＥＣ１〜４へ動画像データが送られる。
【００７０】
各復号処理部ＤＥＣ１〜４は、各々送られてきた１フレーム分の動画像データを復号化し、選択部１３へ出力する。選択部１３は、各復号処理部ＤＥＣ１〜４から順次送られてきた１フレームごとの復号化された動画像データを順番に選択し、プロジェクタ２へ出力する。これにより、フレーム順にそって連続した映像が再生され、スクリーン２０に投影されることになる。
【００７１】
連続再生を行っている間は、各復号処理部ＤＥＣ１〜４間でのコマンドの流れは、NOP（Non Operation）となり、動作に寄与する指示は与えられない。
【００７２】
（一時停止の場合）
連続再生中にコンピュータ３から制御部１２へ一時停止の指示を与えると、制御部１２は、一時停止の指示を受け付けた際に出力しているフレームの動画像データを処理している復号処理部へ、一時停止のコマンド（ポーズコマンド）を送る。
【００７３】
例えば、制御部１２がコンピュータ３から一時停止の指示を受けた際、復号処理部ＤＥＣ３で復号処理しているとすると、制御部１２は復号処理部ＤＥＣ３へ一時停止のコマンドを送る。制御部１２は、復号処理部ＤＥＣ３の識別情報を記憶する。そして、復号処理部ＤＥＣ３が処理しているフレームより後の３フレーム分を記憶部１０から読み出し、他の復号処理部ＤＥＣ４、１、２に順次送出した段階で読み出しを停止し、それまでカウントしたフレームの番号を記憶する。
【００７４】
制御部１２から一時停止のコマンドを送られた復号処理部ＤＥＣ３は、次段の復号処理部ＤＥＣ４に一時停止のコマンドを順送りする。さらに、復号処理部ＤＥＣ４は次段の復号処理部ＤＥＣ１に一時停止のコマンドを順送りする。さらに、復号処理部ＤＥＣ１は次段の復号処理部ＤＥＣ２に一時停止のコマンドを順送りする。一時停止のコマンドの順送りは、一時停止の解除もしくはコマ送りの指示があるまで続けられる。
【００７５】
一時停止のコマンドを受けた各復号処理部ＤＥＣ１〜４は、メモリ（図３参照）に一時記憶している１フレーム分の符号化された動画像データの復号化処理を繰り返し実行する。すなわち、前段の復号処理部から一時停止のコマンドが送られている間は、同じフレームの復号化処理を繰り返し実行し、同じフレームの復号化された動画像データを選択部１３に送り続ける。
【００７６】
この際、制御部１２から一時停止のコマンドを受けた復号処理部ＤＥＣ３は、復号化した動画像データのデータ構造（図５参照）におけるヘッダにフラグを書き込む。このフラグは、復号処理部ＤＥＣ３が復号化したフレームの動画像データを選択部１３で選択させるためのものである。
【００７７】
復号処理部ＤＥＣ３は、一時停止の間、繰り返し行う復号化処理で生成した動画像データのヘッダにこのフラグを書き込んで出力する。
【００７８】
選択部１３は、各復号処理部ＤＥＣ１〜４から各々のフレームの動画像データが送られてきても、このヘッダに書き込まれたフラグを参照して、復号処理部ＤＥＣ３で復号化したフレームの動画像データのみを選択する。これにより、選択部１３からプロジェクタ２には、復号処理部ＤＥＣ３で復号化したフレームの動画像データが送られ、一時停止の間、そのフレームの動画像データのみが繰り返し投影されることになる。
【００７９】
（コマ送りの場合）
一時停止の間、コンピュータ３から制御部１２へコマ送りの指示を与えると、制御部１２は、一時停止のコマンドを受け付けた際に記憶している識別番号に基づき、一時停止のコマンドを送った復号処理部へコマ送りの指示（コマンド）を与える。
【００８０】
例えば、制御部１２が一時停止のコマンドを送った際に記憶した識別情報が復号処理部ＤＥＣ３の場合、この復号処理部ＤＥＣ３へコマ送りのコマンドを送る。制御部１２からコマ送りのコマンドを受けた復号処理部ＤＥＣ３は、次段の復号処理部ＤＥＣ４へコマ送りのコマンドを送る。
【００８１】
前段の復号処理部ＤＥＣ３からコマ送りのコマンドを受けた復号処理部ＤＥＣ４は、次段の復号処理部ＤＥＣ１へ一時停止のコマンドを順送りする。さらに、復号処理部ＤＥＣ１は次段の復号処理部ＤＥＣ２へ一時停止のコマンドを順送りする。さらに、復号処理部ＤＥＣ２は次段の復号処理部ＤＥＣ３へ一時停止のコマンドを順送りする。さらに、復号処理部ＤＥＣ３は次段の復号処理部ＤＥＣ４へ一時停止のコマンドを順送りする。一時停止のコマンドの順送りは、一時停止の解除もしくはコマ送りの指示があるまで続けられる。
【００８２】
復号処理部ＤＥＣ３へコマ送りのコマンドを送った制御部１２は、記憶していたフレームの番号、すなわち、それまで読み出した最後のフレームの番号から、カウントを１つ進め、次のフレームの符号化された動画像データを記憶部１０から読み出す。そして、そのカウントしたフレームの番号を記憶するとともに、そのフレームの動画像データを、一時停止のコマンドを送った復号処理部ＤＥＣ３へ送出する。
【００８３】
制御部１２からコマ送りのコマンドを受けた復号処理部ＤＥＣ３は、制御部１２から新たに送られてきたフレームの動画像データの復号化処理を行う。この際、復号化した動画像データのデータ構造（図５参照）におけるヘッダには、フラグを書き込まないようにする。すなわち、復号処理部ＤＥＣ３は、制御部１２から送られるコマ送りのコマンドを受けたことを契機として、次のフレームの復号化処理ではデータ構造のヘッダにフラグを書き込まない動作を行う。
【００８４】
復号処理部ＤＥＣ３は、次のフレームの復号化処理を行うが、前段の復号処理部ＤＥＣ２から一時停止のコマンドが順送りされている間はそのフレームの復号化処理を繰り返すことになる。この際、データ構造のヘッダにフラグが書き込まれないため、選択部１３は復号処理部ＤＥＣ３で復号化したフレームの動画像データを選択しないことになる。
【００８５】
一方、前段の復号処理部ＤＥＣ３からコマ送りのコマンドを送られた復号処理部ＤＥＣ４は、自らが復号化処理したフレームの動画像データにおけるデータ構造のヘッダにフラグを書き込んで出力する。このフラグは、復号処理部ＤＥＣ４が復号化したフレームの動画像データを選択部１３で選択させるためのものである。
【００８６】
復号処理部ＤＥＣ４は、前段の復号処理部ＤＥＣ３からコマ送りのコマンドを受けた後、その後に一時停止のコマンドが順送りされてくる間、繰り返し行う復号化処理で生成した動画像データのヘッダにこのフラグを書き込んで出力する。
【００８７】
選択部１３は、各復号処理部ＤＥＣ１〜４から各々のフレームの動画像データが送られてきても、このヘッダに書き込まれたフラグを参照して、復号処理部ＤＥＣ４で復号化したフレームの動画像データのみを選択する。これにより、選択部１３からプロジェクタ２には、復号処理部ＤＥＣ４で復号化したフレームの動画像データが送られ、コマ送りされたフレームの動画像データのみが繰り返し投影されることになる。
【００８８】
また、復号処理部ＤＥＣ４は、前段の復号処理部ＤＥＣ３からコマ送りのコマンドを受けた後、制御部１２に自らの識別情報を書き込むよう要請する。制御部１２は、この要請を受けることで、それまで記憶していた復号処理部ＤＥＣ３の識別情報を復号処理部ＤＥＣ４の識別情報に書き替える。これにより、コンピュータ３から次の指示があった際には、書き替えた識別情報に基づいて復号処理部ＤＥＣ４へコマンドを送ることになる。
【００８９】
同様に、復号処理部ＤＥＣ４で復号化したフレームの動画像データの投影中にコマ送りの指示があった場合、制御部１２は記憶した識別情報から復号処理部ＤＥＣ４へコマ送りのコマンドを送る。復号処理部ＤＥＣ４は次段の復号処理部ＤＥＣ１へコマ送りのコマンドを送り、復号処理部ＤＥＣ１から後段には一時停止のコマンドが順送りされる。また、前段の復号処理部ＤＥＣ４からコマ送りのコマンドを送られた復号処理部ＤＥＣ１は、制御部１２へ識別情報の書き換えを要求する。
【００９０】
これにより、復号処理部ＤＥＣ１で復号化したフレームの動画像データへコマ送りされ、このフレームの動画像データが繰り返し投影されることになる。
【００９１】
（一時停止解除の場合）
コンピュータ３から制御部１２へ一時停止解除の指示を与えると、制御部１２は、記憶した識別情報に基づき、現在一時停止中となっているフレームの復号化処理を行っている復号処理部ＤＥＣ１へ一時停止解除のコマンドを送る。
【００９２】
制御部１２から一時停止解除のコマンドを受けた復号処理部ＤＥＣ１は、次段の復号処理部ＤＥＣ２へ一時停止解除のコマンドを順送りする。さらに、復号処理部ＤＥＣ２は次段の復号処理部ＤＥＣ３へ一時停止解除のコマンドを順送りする。さらに、復号処理部ＤＥＣ３は次段の復号処理部ＤＥＣ４へ一時停止解除のコマンドを順送りする。
【００９３】
制御部１２は、一時停止解除のコマンドを送った後、記憶していたフレームの番号、すなわち、それまで読み出した最後のフレームの番号からカウントを順次進める処理を再開し、読み出したフレームの符号化された動画像データを順番に各復号処理部ＤＥＣ１〜４へ送出する。
【００９４】
また、各復号処理部ＤＥＣ１〜４は、一時停止解除のコマンドを受ける順に現在復号化処理しているフレームから順次制御部１２より送出されるフレームの動画像データの復号化処理を実施する。この際、復号化した動画像データのデータ構造のヘッダにフラグを書き込み、選択部１３へ出力する。
【００９５】
選択部１３は、各復号処理部ＤＥＣ１〜４より順次送られる復号化されたフレームの動画像データをフラグに基づき選択する。これにより、プロジェクタ２からスクリーン２０に各フレームの動画像データが連続して投影されることになる。
【００９６】
［フレームデータの流れ］
次に、本実施形態の画像処理方法におけるフレームデータの流れを説明する。図７は、本実施形態の画像処理方法でのフレームデータの流れの一例を説明する図である。なお、以下の説明で図６に示されない符号は適宜図１、２を参照するものとする。
【００９７】
（連続再生の場合）
連続再生では、各復号処理部ＤＥＣ１〜４は、制御部１２から順次１フレーム単位で送られる符号化された動画像データを復号化処理する。図７に示す例では、復号処理部ＤＥＣ１にJ2C-1、復号処理部ＤＥＣ２にJ2C-2、復号処理部ＤＥＣ３にJ2C-3、復号処理部ＤＥＣ４にJ2C-4が送られる。
【００９８】
ここで、図７に示すドットの付されたフレームデータは、それが復号化されて表示対象となっていることを示している。連続再生が続くと、復号処理部ＤＥＣ１にJ2C-5、復号処理部ＤＥＣ２にJ2C-6、復号処理部ＤＥＣ３にJ2C-7、復号処理部ＤＥＣ４にJ2C-8…といった順に、各復号処理部１〜４には、４フレームごと進む繰り返しで符号化された動画像データが送られる。図７に示す例では、J2C-1〜J2C-15まで連続再生されている。
【００９９】
（一時停止の場合）
J2C-15の動画像データが再生されている途中でコンピュータ３から制御部１２に一時停止の指示があると、制御部１２は、J2C-15の動画像データの復号化を行っている復号処理部ＤＥＣ３に一時停止のコマンドを送る。
【０１００】
制御部１２から一時停止のコマンドを受けた復号処理部ＤＥＣ３は、次段の復号処理部ＤＥＣ４に一時停止のコマンドを順送りするとともに、その段階で処理しているJ2C-15の動画像データの復号化を繰り返す。復号化された動画像データのヘッダにはフラグが書き込まれるため、それ以降、一時停止解除の指示かコマ送りの指示があるまでJ2C-15の復号化された動画像データが選択され、そこで一時停止した状態での映像が投影される。
【０１０１】
また、前段の復号処理部ＤＥＣ３から一時停止のコマンドを受けた復号処理部ＤＥＣ４は、次段の復号処理部ＤＥＣ１へ一時停止のコマンドを順送りする。また、復号処理部ＤＥＣ１は、次段の復号処理部ＤＥＣ２へ一時停止のコマンドを順送りし、復号処理部ＤＥＣ２は、次段の復号処理部ＤＥＣ３へ一時停止のコマンドを順送りする。
【０１０２】
一時停止のコマンドを受けた各復号処理部ＤＥＣ１〜４は、その段階で処理している動画像データの復号化を繰り返す。この繰り返しは、一時停止解除の指示かコマ送りの指示があるまで行われる。具体的には、復号処理部ＤＥＣ４はJ2C-16の動画像データの復号化を繰り返し、復号処理部ＤＥＣ１はJ2C-17の動画像データの復号化を繰り返し、復号処理部ＤＥＣ２はJ2C-18の動画像データの復号化を繰り返す。
【０１０３】
各復号処理部ＤＥＣ１〜４でそれぞれ同じ動画像データの復号化を繰り返しても、ヘッダにフラグが書き込まれているのは制御部１２から一時停止のコマンドを受けた復号処理部ＤＥＣ３である。このため、一時停止の間は復号処理部ＤＥＣ３で処理しているJ2C-15を復号化した動画像データのみが選択部１３で選択されることになる。
【０１０４】
ここで、制御部１２から一時停止のコマンドを復号処理部ＤＥＣ３に送ると、J2C-15からフレーム分の動画像データが４つの復号処理部に順に送られ、この状態で各フレームの復号化処理が繰り返されることになる。つまり、一時停止のコマンドを受けた復号処理部が最も若い番号のフレームを処理し、そこから４フレーム分の復号化処理を各復号処理部で繰り返していることになる。
【０１０５】
これは、一時停止している状態で後述するコマ送りの指示があった際、一時停止しているフレームの次のフレームへコマ送りできるようにするためである。すなわち、制御部１２から一時停止のコマンドを同時に全ての復号処理部に送ってしまうと、一時停止して表示されているフレームより前のフレームしか復号処理部に存在しない状態が発生しうる。これでは、その状態からコマ送りしても、次のフレームには進めず、コマが戻るといった不具合が発生する。本実施形態では、制御部１２から一時停止のコマンドを送る復号処理部を１つに特定しており、そこから次段の復号処理部へ順送りに一時停止のコマンドを送っている。したがって、制御部１２から一時停止のコマンドを受けた復号処理部で処理するフレームが最も若くなり、コマ送りの際には必ず次のフレームを選択して表示できるようになる。
【０１０６】
（コマ送りの場合）
J2C-15の動画像データで一時停止している際にコンピュータ３から制御部１２にコマ送りの指示があると、制御部１２は、J2C-15の動画像データの復号化を行っている復号処理部ＤＥＣ３にコマ送りのコマンドを送る。
【０１０７】
制御部１２からコマ送りのコマンドを受けた復号処理部ＤＥＣ３は、次段の復号処理部ＤＥＣ４にコマ送りのコマンドを順送りするとともに、制御部１２から次の４フレーム後となるJ2C-19の符号化された動画像データを受け取り、復号化を繰り返す。この復号化された動画像データのヘッダにはフラグは書き込まれない。
【０１０８】
一方、コマ送りコマンドを順送りされた復号処理部ＤＥＣ４は、次段の復号処理部ＤＥＣ１へ一時停止のコマンドを送る。また、復号処理部ＤＥＣ１は、次段の復号処理部ＤＥＣ２へ一時停止のコマンドを送る。これにより、復号処理部ＤＥＣ４は、自らが復号化したJ2C-16の動画像データのヘッダにフラグを書き込み、選択部１３へ出力する処理を繰り返す。また、復号処理部ＤＥＣ１、２は、各々処理しているJ2C-17、J2C-18の復号化を繰り返す。
【０１０９】
選択部１３は、ヘッダにフラグが書き込まれた復号処理部ＤＥＣ４から送られるJ2C-16の復号化された動画像データを選択し、その映像を投影する。これにより、J2C-15から１つフレームの進んだJ2C-16の動画像データに映像が切り替わり、この状態で一時停止と同様な状態となる。
【０１１０】
また、J2C-16の動画像データへコマ送りされ、ここで一時停止している際に次のコマ送りの指示があると、先と同様な処理となって、次段の復号処理部ＤＥＣ１で処理するJ2C-17の復号化された動画像データが選択され、投影されることになる。
【０１１１】
いずれも、コマ送りの指示があった際には、一時停止からコマ送りされたフレームの番号が最も若く、次段以降の復号処理部ではそれ以降の４フレーム分の復号化処理を繰り返す状態となる。これにより、コマ送りを続けても、必ず次のフレームへコマを進めた状態で停止できるようになる。
【０１１２】
（一時停止解除の場合）
J2C-17の動画像データで一時停止している際にコンピュータ３から制御部１２に一時停止解除の指示があると、制御部１２は、J2C-17の動画像データの復号化を行っている復号処理部ＤＥＣ１に一時停止解除のコマンドを送る。
【０１１３】
復号処理部ＤＥＣ１は、これによって同じフレームを繰り返し復号化する処理をやめ、以降は次に送られるJ2C-21、J2C-25、…といった４フレームおきの符号化された動画像データの復号化処理を行う。
【０１１４】
また、復号処理部ＤＥＣ１は、次段の復号処理部ＤＥＣ２に一時停止解除のコマンドを順送りする。また、復号処理部ＤＥＣ２は、次段の復号処理部ＤＥＣ３へ一時停止のコマンドを送る。また、復号処理部ＤＥＣ３は、次段の復号処理部ＤＥＣ４へ一時停止のコマンドを送る。これにより、各復号処理部ＤＥＣ２〜４は、各々同じフレームを繰り返し復号化する処理をやめ、以降は次に送られる４フレームおきの符号化された動画像データの復号化処理を行う。
【０１１５】
各復号処理部ＤＥＣ１〜４で復号化される動画像データのヘッダにはフラグが書き込まれる。選択部１３は、一時停止解除のあったJ2C-17のフレームから以降のJ2C-18、J2C-19、J2C-20、J2C-21、…、J2C-28、…といった順次送られるフラグ付きの動画像データを出力順に選択し、プロジェクタ２へ送出する。これにより、連続再生の映像がスクリーン２０に投影されることになる。
【図面の簡単な説明】
【０１１６】
【図１】本実施形態に係る画像処理装置の概要を説明する構成図である。
【図２】復号化部の構成例の詳細を説明するブロック図である。
【図３】復号処理部の構成例の詳細を説明するブロック図である。
【図４】画面領域の構成を説明する模式図である。
【図５】１フレームの画像データのデータ構造を説明する模式図である。
【図６】本実施形態の画像処理方法でのコマンドの流れを説明する図である。
【図７】本実施形態の画像処理方法でのフレームデータの流れの一例を説明する図である。
【符号の説明】
【０１１７】
１…画像処理装置、２…プロジェクタ、３…コンピュータ、１０…記憶部、１１…復号化部、１２…制御部、１３…選択部、２０…スクリーン、１００…画像再生システム
【図１】
2010114616.tif 000003
【図２】
2010114616.tif 000004
【図３】
2010114616.tif 000005
【図４】
2010114616.tif 000006
【図５】
2010114616.tif 000007
【図６】
2010114616.tif 000008
【図７】
2010114616.tif 000009