(57)【要約】【課題】  高速再生時にも立体画像を表示させる。【解決手段】  左眼用画像と右眼用画像の一方に対応した第一映像ストリームと他方に対応した第二映像ストリームを再生する装置であって、再生速度に応じて、第一映像ストリームから第一再生フレームを決定する第一再生フレーム決定手段と、前記第一再生フレームを、前記第一映像ストリームから再生する第一再生手段と、前記第一再生フレーム決定手段によって決定された第一再生フレームに応じて、第二映像ストリームから第二再生フレームを決定する第二再生フレーム決定手段と、前記第二再生フレームを、前記第二映像ストリームから再生する第二再生手段とを有する。【選択図】  図１
2016010082.tif 000002
【特許請求の範囲】
【請求項１】
左眼用画像と右眼用画像の一方に対応した第一映像ストリームと他方に対応した第二映像ストリームを再生する装置であって、
再生速度に応じて、第一映像ストリームから第一再生フレームを決定する第一再生フレーム決定手段と、
前記第一再生フレームを、前記第一映像ストリームから再生する第一再生手段と、
前記第一再生フレーム決定手段によって決定された第一再生フレームに応じて、第二映像ストリームから第二再生フレームを決定する第二再生フレーム決定手段と、
前記第二再生フレームを、前記第二映像ストリームから再生する第二再生手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第二再生フレーム決定手段は、前記第一再生フレームの再生時刻情報に一番近傍のフレームを前記第二再生フレームとすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二再生フレーム決定手段は、前記第一再生フレームのフレーム間隔を用いて、前記第二再生フレームを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第一再生手段と前記第二再生手段から得られた画像の視差を測定する視差測定手段を有し、
前記第二再生フレーム決定手段は、前記視差測定手段によって測定された視差に応じて、第二再生フレームの決定方法を切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第二再生フレーム決定手段は、再生速度に応じて、第二再生フレームの決定方法を切り替えることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
３Ｄコンテンツとは、右目用映像と左目用映像の２つの視点の画像を準備することが可能な画像コンテンツである。この３Ｄコンテンツを再生する技術として、継時分離方式と呼ばれるものが知られている。この方式では、左目用映像と右目用映像とを交互にディスプレイ上に表示し、継時型ステレオ眼鏡（液晶シャッター付）を通して映像を見ると、目の残像反応により左右のシーンを脳内で重ねあわせて立体映像として認識させる。
【０００３】
より詳細には、左目用映像がディスプレイ上に表示されている瞬間には、継時型ステレオ眼鏡は、左目に対応する液晶シャッターを透過状態にし、右目に対応する液晶シャッターを遮光状態にする。右目用映像がディスプレイ上に表示されている瞬間には、先ほどとは逆に、右目に対応する液晶シャッターを透過状態にし、左目に対応する液晶シャッターを遮光状態にする。これにより、左右のそれぞれの目に対応した映像を、対応した目にだけ見せることで立体映像として認識させることが可能である。
【０００４】
このように継時分離方式では、左右の映像を時間軸方向で交互に表示させるために、例えば、通常の２Ｄ映像であれば、1秒間に２４枚の映像を表示させるのに対して、左右の映像を合わせて１秒間に４８枚の映像を表示させる必要がある。したがって、一画面の書き換え速度が、２Ｄ画像の２倍で行える画像再生装置において立体映像が可能となる。 
【０００５】
ところで、映画館では３Ｄコンテンツを開始から終了まで上映するだけで問題ないが、家庭内に３Ｄを導入するためには通常の１倍速再生だけでは不十分であり、ユーザの使い勝手を考えると、従来と同様にランダムアクセス、早送り、巻き戻し等の特殊再生も保障する必要がある。特殊再生時の動作時は、特許文献１に記載されている２Ｄ映像を表示する方法が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１１０１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら従来技術の構成では、特殊再生時に２Ｄ映像に切り替えて表示するため、通常再生時の立体視映像が確認できない。そのため早送りや巻き戻しにより所望のシーンを視認することが難しいという問題があった。また、1.5倍速の映像と話速変換された音声を再生する早見再生でも２Ｄ映像になってしまうという問題があった。
【０００８】
また、変速再生時に両目視差に応じた2本の映像ストリームをそれぞれ変速再生をおこなうと同期関係がずれ、立体視映像として認識できなくなるといった問題があった。
【０００９】
本発明は上述の問題を鑑みてなされたもので、特殊再生時にも立体視映像を実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の構成は、左眼用画像と右眼用画像の一方に対応した第一映像ストリームと他方に対応した第二映像ストリームを再生する装置であって、再生速度に応じて、第一映像ストリームから第一再生フレームを決定する第一再生フレーム決定手段と、前記第一再生フレームを、前記第一映像ストリームから再生する第一再生手段と、前記第一再生フレーム決定手段によって決定された第一再生フレームに応じて、第二映像ストリームから第二再生フレームを決定する第二再生フレーム決定手段と、前記第二再生フレームを、前記第二映像ストリームから再生する第二再生手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、高速再生時にも立体画像を表示させることができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置のブロック図である。
【図２】立体視通常再生の左右映像表示フレームを示すイメージ図である。
【図３】高速再生時の左右映像の表示フレームを示すイメージ図である。
【図４】高速再生動作を示すフローチャートである。
【図５】メインストリーム及びエクステントストリームの構造を示す図である。
【図６】表示フレームの判断動作を示すフローチャートである。
【図７】表示フレームの判断動作を示すフローチャートである。
【図８】高速再生時の表示フレームを示す図である。
【図９】高速再生時の処理を示すフローチャートである。
【図１０】画像処理装置のブロック図である。
【図１１】高速再生動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１４】
［実施例１］
図1は、本発明の実施形態に係る画像処理装置100のハードウェアブロック図である。
200は、画像処理装置から着脱可能なメモリカードなどの記録媒体である。記録媒体200には、両目視差に応じた2本のストリームが記録されており、例えば左目用映像ストリームをメインストリームとすると、右目用映像ストリームをエクステントストリームとする。
【００１５】
メインストリーム、エクステントストリームは、ISO/IEC JTC 1のMoving Picture Experts   Groupによって決められたMPEG-2方式や、ISO/IEC 14496-10 「MPEG-4 Part 10 Advanced Video Coding（通称：MPEG-4 AVC）」で策定されている符号化方式で採用されているフレーム間圧縮方式を採用した映像データと、LPCM(Liner Pulse Code Modulation)や、AC-3（Audio Code number 3）等の音声データが多重化されたストリームである。
【００１６】
101は、DRAM108に格納されている画像を読み込み表示出力する液晶パネルや外部映像出力端子を含む表示出力手段である。この表示出力手段は、立体視映像を表示する場合、DRAM108に用意された右目用と左目用の映像を交互に表示出力する継時分離方式を採用した表示出力手段である。
【００１７】
102は、DRAM108に格納されている音声データを読み込み、出力するスピーカや外部音声出力端子を含む音声出力手段である。この音声出力手段は、圧縮されたAC-3などの音声データを出力する場合に、デコードし出力することが可能である。
【００１８】
103は、前記メインストリームから抽出された映像データをデコードし再生画像をDRAM108へ出力する第一再生手段である。104は、前記メインストリームから第一再生手段がデコード処理する映像データの抽出と音声データの抽出を行う第一ストリーム処理手段である。この第一ストリーム処理手段は、ストリームデータを処理することに特化したDSP(Digital Signal Processor)であり、ストリームデータの解析、抽出を高速におこなうことが可能なプロセッサである。
【００１９】
105は、前記エクステントストリームから抽出された映像データをデコードし再生画像をDRAM108へ出力する第二再生手段である。106は、前記エクステントストリームから第二再生手段がデコード処理する映像データを抽出と音声データの抽出を行う第二ストリーム処理手段である。この第二ストリーム処理手段は、ストリームデータを処理することに特化したDSP(Digital Signal Processor)であり、ストリームデータの解析、抽出を高速におこなうことが可能なプロセッサである。
【００２０】
107は、画像処理装置100と記録媒体200とのインターフェースとなるMedia I/Fである。108は、画像処理装置100の各ブロックで処理する画像データ、符号化データを一時保持するDRAM(Dynamic Random Access Memory)である。109は、表示出力手段101 〜 Media I/F 107 及び、CPU111を接続し、画像データ、符号化ストリームの転送に用いられるデータバスである。110は、CPU111と表示出力手段101 〜Media I/F 107を接続し、CPU111から各ブロックを制御する制御バスである。
【００２１】
111は、画像処理装置100全体を制御するメインCPUである。112は、CPU 111と、RAM 114及びROM113を接続するプログラムバスである。
【００２２】
画像処理装置100は、表示出力手段101  〜  RAM114で構成されている。立体視通常再生動作は、Media I/F 107を介して記録媒体200からDRAM108に読み込まれたメインストリームとエクステントストリームを、それぞれ第一ストリーム処理手段104と第二ストリーム処理手段106とを用いて、映像データと音声データに分離しDRAM108へ格納する。映像データから第一再生手段103と第二再生手段105を用いて左目用再生画像と右目用再生画像を生成し、表示出力手段101を用いて表示出力される。また、音声データは音声出力手段を用いて出力される。
【００２３】
図2は、本発明の実施形態に係る画像処理装置100における立体視通常再生の左右映像表示フレームを示すイメージ図である。
【００２４】
左目用の各表示フレームは、右目用の各表示フレームと１対１の関係にあり、例えばL0はR0と、L1はR1とが対応しており、この左目と右目の表示フレームをペアフレームとする。ペアフレームは、左目用表示フレームと右目用表示フレームにおいては、左目用表示フレームの方が先に表示されるようにPTS (Presentation Time Stamp)が設定されている。これにより左目用表示フレームと右目用表示フレームとが交互に表示されることで、継時分離方式による立体視映像を実現している。
【００２５】
また、L0とL1のPTSの間隔が、左目用映像のフレームレートであり、R0とR1のPTSの間隔が右目用映像のフレームレートである。この左目映像と左目映像のフレームレートは同一である。
【００２６】
図3は、本発明の実施形態に係る画像処理装置100におけるペアフレームを表示する場合の立体視1.5倍速再生時の左右映像の表示フレームを示すイメージ図である。左目用表示フレームは、1.5倍速再生のため通常再生時の表示フレームを間引いて表示される。この場合、L1、L2、L4、L5、L7、L8、L10、L11、・・・が表示され、L0、L3、L6、L9、L12は表示されない。
【００２７】
右目用表示フレームは、メインストリームから生成された左目表示フレームのうち表示出力されるフレームと対になるフレームを表示する。この場合、R1、R2、R4、R5、R7、R8、R10、R11、・・・が表示され、R0、R3、R6、R9、R12は表示されない。
【００２８】
図4は、図３で示した本発明の実施形態に係る画像処理装置100におけるペアフレームを表示する場合の立体視1.5倍速再生動作フローチャートである。Media I/F 107を介して記録媒体200からDRAM108にメインストリームを読み込む(S401)。S401で読み込んだメインストリームからメイン映像データを第一ストリーム処理手段104を用いて抽出する。 (S402)。
【００２９】
S402で抽出したメイン映像データに再生速度に応じた表示フレームが格納されているか判断する。例えば1.5倍速の場合は、図２、および図３におけるL1、L2、L4、L5、L7、L8、L10、L11をデコードするのに必要なメイン映像データがS401で抽出された映像データ内に存在するかを判断する（S403）。S403でNoならば、S401へ移行する。S403でYesならば、第一再生手段103はS402で抽出したメイン映像データから表示フレームを生成する。この場合、メインストリームは左目用映像ストリームなので、左目用表示フレームが生成される(S404)。
【００３０】
Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S405)。S405で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する（S406）。
【００３１】
次に、S406で抽出したエクステント映像データから、S404で生成された再生画像と対になるエクステント映像データがあるかを判断する。1.5倍速の場合は、図２、および図３におけるR1、R2、R4、R5、R7、R8、R10、R11をデコードするのに必要なエクステント映像データがS406で抽出された映像データ内に存在するかを判断する(S407)。S407でNoならば、S405へ移行する。S407でYesならば、第二再生手段105は、S406で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S408)。
【００３２】
S404、S408で生成された左目用（メイン）表示フレームと右目用（エクステント）表示フレームを表示出力手段101を用いて表示する(S409)。ユーザから再生停止指示があったか確認する(S410)。S410でNoならば、S401へ戻る。S410でYesならば立体視1.5倍速再生動作を終了する。
【００３３】
また、S402、S406において、各ストリームから映像データのみを抽出したが、音声データも同時に抽出してもよい。その場合、抽出された音声データは、S409で表示するタイミングにあわせて音声出力手段102を用いて出力される。
【００３４】
図５は、記録媒体200に記録されているメインストリーム、及びエクステントストリームの構造を示している。符号化された映像・音声データは、エレメンタリストリーム (ES: Elementary Stream)と呼ばれ、それぞれVideoES、AudioESとする。また、VideoES、AudioESを適当な大きさに分割してパケット化したものは PES (Packetized Elementary Stream)と呼ばれる。
【００３５】
メインストリームとエクステントストリームはMPEG-2システムにおけるTS(トランスポートストリーム)であり、トランスポートパケット (Transport Packet; TS packetとも) と呼ばれる 188バイト固定長のパケットで構成されている。
【００３６】
トランスポートパケットは4ByteのTSPacket HeaderとPayload(分割されたPES)とadaptation field(固定長データにするためのスタッフィング領域) とで構成され、TSPacket Headerには、どのようなデータを内包しているのかを表すパケット識別子であるPIDや、PESの先頭領域に配置されるPES Headerを内包しているかを識別するpayload_unit_start_indicatorなどの情報が格納されている。映像データの表示時刻であるPTSはPES Headerに格納されている。
【００３７】
図６は、本発明の実施形態に係る画像処理装置100において、S403におけるメイン映像データに表示フレームがあるかの判断動作フローチャートである。まず、S401で記録媒体200から読み込まれたメインストリームのうち表示フレームの判断処理をおこなっていないデータが存在するかを判断する（S601）。S601でNoならば表示フレームがないと判断される(S606)。S601でYesならば、TS Packet Header 内のpayload_unit_start_indicator を確認し、PES Headerを内包しているか判断する（S602）。S602でNoならばS601へ戻る。
【００３８】
S602でYesならば、PES HeaderからPTSを取得する（S603）。S603で取得したPTSが現在設定されている再生速度で表示されるPTSかを判断する(S604)。S604 でNoならばS601へ戻る。S604 でYesならば表示フレームありと判断される(S605)。
【００３９】
図７は、本発明の実施形態に係る画像処理装置100において、S40７におけるエクステント映像データにメイン表示フレームが存在するかの判断動作フローチャートである。まず、S701で記録媒体200から読み込まれたエクステント映像データのうち表示フレームの判断処理をおこなっていないデータが存在するかを判断する（S701）。S701でNoならば表示フレームがないと判断される(S706)。S701でYesならば、TS Packet Header 内のpayload_unit_start_indicator を確認し、PES Headerを内包しているか判断する（S702）。
【００４０】
S702でNoならばS701へ戻る。S702でYesならば、PES HeaderからPTSを取得する（S703）。S703で取得したPTSが、図６のS604でYesと判断された表示フレームと対になるフレームかをかを判断する。例えば、メイン映像の通常再生フレーム間隔をTm、S604でYesと判断されたPTSをPTSm、S703で取得したPTSをPTSeとすると、
PTSm ≦ PTSe ≦PTSm + Tm  ・・・  式(1)
の式(1)が成立するかを判断する(S704)。
【００４１】
S704 でNoならばS701へ戻る。S704 でYesならば表示フレームありと判断される(S705)。
【００４２】
以上、図１〜図７で説明した実施形態によれば、2つの映像ストリームから左右視点の映像を再生し、立体視映像を実現する装置における変倍速再生時に、一方のメイン映像はユーザによって指示された変倍速再生をおこない、もう片方のエクステント映像はメイン映像で表示されるメイン表示フレームのPTSから対になるペアフレームを検出し、再生表示することで、立体視映像の変倍速を実現することが可能である。
【００４３】
［実施例２］
次に、第二実施形態について説明する。なお、以下で説明する第二実施形態は、装置構成については、第一実施形態と同様であるため、その説明を省略する。また、通常再生時の表示フレームについても、第一実施形態で説明した図２と同様であるため省略する。
【００４４】
図８は、本発明の実施形態に係る画像処理装置100における立体視1.5倍速再生時に、表示時刻基準のエクステント表示フレームを出力する場合のイメージ図である。左目用表示フレームは、1.5倍速再生のため通常再生時の表示フレームを間引いて表示される。この場合、L1、L2、L4、L5、L7、L8、L10、L11、・・・が表示され、L0、L3、L6、L9、L12は表示されない。
【００４５】
右目用表示フレームは、メインストリームから生成された左目表示フレームのうち表示出力されるフレーム間隔の中間表示時刻に一番近傍となるフレームを表示する。この場合、R0、R1、R3、R4、R6、R7、R9、R10、R12、・・・が表示され、R2、R5、R8、R11は表示されない。
【００４６】
図９は、図８で示した本発明の実施形態に係る画像処理装置100における立体視1.5倍速再生時に、表示時刻基準のエクステント表示フレームを出力する場合のフローチャートである。Media I/F 107を介して記録媒体200からDRAM108にメインストリームを読み込む(S901)。S901で読み込んだメインストリームからメイン映像データを第一ストリーム処理手段104を用いて抽出する(S902)。
【００４７】
S902で抽出したメイン映像データに再生速度に応じた表示フレームが格納されているか判断する。例えば1.5倍速の場合は、図８におけるL1、L2、L4、L5、L7、L8、L10、L11をデコードするのに必要なメイン映像データがS901で抽出された映像データ内に存在するかを判断する（S903）。S903でNoならば、S901へ移行する。S903でYesならば、第一再生手段103はS902で抽出したメイン映像データから表示フレームを生成する。この場合、メインストリームは左目用映像ストリームなので、左目用表示フレームが生成される(S904)。
【００４８】
現在の再生速度で次に表示すべき表示フレームのPTSを決定し、S903で生成した表示フレームとの中間PTSを算出する(S905)。
【００４９】
Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S906)。S906で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する（S907）。
【００５０】
次に、S907で抽出したエクステント映像データから、S905で取得した中間PTS近傍の表示フレームがあるかを判断する。例えば1.5倍速の場合は、図８におけるR0、R1、R3、R4、R6、R7、R9、R10、R12をデコードするのに必要なエクステント映像データがS907で抽出された映像データ内に存在するかを判断する(S908)。S908でNoならば、S906へ移行する。
【００５１】
S908でYesならば、第二再生手段105は、S907で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S909)。S904、S909で生成された左目用（メイン）表示フレームと右目用（エクステント）表示フレームを表示出力手段101を用いて表示する(S910)。ユーザから再生停止指示があったか確認する(S911)。S911でNoならば、S901へ戻る。S911でYesならば立体視1.5倍速再生動作を終了する。
【００５２】
また、S902、S907において、各ストリームから映像データのみを抽出したが、音声データも同時に抽出してもよい。その場合、抽出された音声データは、S910で表示するタイミングにあわせて音声出力手段102を用いて出力される。
【００５３】
以上、図８〜図９で説明した実施形態によれば、2つの映像ストリームから左右視点の映像を再生し、立体視映像を実現する装置における変倍速再生時に、一方のメイン映像はユーザによって指示された変倍速再生をおこない、もう片方のエクステント映像はメイン映像で表示されるメイン表示フレーム間隔の中間表示時刻に一番近傍となるフレームを表示することで、左右対になるペアフレームのうちメイン表示フレームとエクステント表示フレームのどちらか一方が表示されることで、時間軸方向によりなめらかな立体視映像の変倍速を実現することが可能である。
【００５４】
［実施例３］
次に、第三実施形態について説明する。図10は、本発明の実施形態に係る画像処理装置300のハードウェアブロック図である。200は、図1と同様の画像処理装置から着脱可能なメモリカードなどの記録媒体であり、両目視差に応じた2本のメインストリームとエクステントストリームが記録されている。
【００５５】
画像処理装置300を構成する表示出力手段101 〜 RAM 114は図１で示した画像処理装置100と同様のブロックである。115は、第一再生手段103で生成されたメイン表示フレームと、第二再生手段105で生成されたエクステント表示フレームとにおける画像領域の水平方向のずれ量、すなわち、両撮像画像に写し出された同一対象物に関する位置的なずれ量を、視差として算出する視差算出手段である。立体視通常再生は、画像処理装置100と同様の処理で実現される。
【００５６】
図11は、本発明の実施形態に係る画像処理装置300の立体視1.5倍速再生動作フローチャートである。Media I/F 107を介して記録媒体200からDRAM108にメインストリームを読み込む(S1101)。S1101で読み込んだメインストリームからメイン映像データを第一ストリーム処理手段104を用いて抽出する(S1102)。
【００５７】
S1102で抽出したメイン映像データに再生速度に応じた表示フレームが格納されているか判断する。例えば1.5倍速の場合は、図８におけるL1、L2、L4、L5、L7、L8、L10、L11をデコードするのに必要なメイン映像データがS1101で抽出された映像データ内に存在するかを判断する（S1103）。S1103でNoならば、S1101へ移行する。S1103でYesならば、第一再生手段103はS1102で抽出したメイン映像データから表示フレームを生成する。この場合、メインストリームは左目用映像ストリームなので、左目用表示フレームが生成される(S1104)。
【００５８】
現在の再生速度で次に表示すべき表示フレームのPTSを決定し、S1103で生成した表示フレームとの中間PTSを算出する(S1105)。
【００５９】
＜表示時刻基準のエクステント表示フレームを出力する＞
Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S1106)。S1106で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する（S1107）。
【００６０】
次に、S1107で抽出したエクステント映像データから、S1105で取得した中間PTS近傍の表示フレームがあるかを判断する。例えば1.5倍速の場合は、図８におけるR0、R1、R3、R4、R6、R7、R9、R10、R12をデコードするのに必要なエクステント映像データがS1107で抽出された映像データ内に存在するかを判断する(S1108)。S1108でNoならば、S1106へ移行する。S1108でYesならば、第二再生手段105は、S1107で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S1109)。
【００６１】
S1104で生成された左目用（メイン）表示フレームと、S1109で生成された右目用（エクステント）表示フレームの視差を視差算出手段115を用いて算出し、算出された視差が規定値以下か判断する(S1110)。S1110においてYesならばS1111へ、NoならばS1115へ移行する。
【００６２】
＜ペアフレームとなるエクステント表示フレームを表示出力する＞
S1110でNoと判断された場合は、S1107もしくはS1114で読み込まれたエクステント映像データ内に、S1104で生成されたメイン表示フレームと対になるエクステント表示フレームがあるかを判断する (S1115)。S1115でYesと判断された場合は、第二再生手段105は、S1107もしくはS1114で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S1116)。
【００６３】
S1115でNoと判断された場合は、再度Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S1113)。S1113で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する（S1114）。
【００６４】
S1104で生成された左目用（メイン）表示フレームと、S1109またはS1116で生成された右目用（エクステント）表示フレームを表示出力手段101を用いて表示する(S1111)。ユーザから再生停止指示があったか確認する(S1112)。S1112でNoならば、S1101へ戻る。S1112でYesならば立体視1.5倍速再生動作を終了する。
【００６５】
また、S1102、S1107またはS1114において、各ストリームから映像データのみを抽出したが、音声データも同時に抽出してもよい。その場合、抽出された音声データは、S1111で表示するタイミングにあわせて音声出力手段102を用いて出力される。また、本実施の形態では、視差によりエクステント表示フレームを切り替えたが、ユーザによって指示された再生速度により切り替えてもよい。
【００６６】
以上、図10〜図11で説明した実施形態によれば、2つの映像ストリームから左右視点の映像を再生し、立体視映像を実現する装置における変倍速再生時に、まずメイン表示フレーム間隔の中間表示時刻となるエクステント表示フレームを生成し、左右映像の視差が規定値より大きい場合には、メイン表示フレームと対になるエクステント表示フレームを生成し表示する。これにより、時間軸方向になめらかな変倍速再生時に、動きの激しいシーンなどで視差が乱れることなく立体視変倍速再生が実現できる。
【符号の説明】
【００６７】
100  画像処理装置、200  記録媒体、108  DRAM、111  CPU、113,114  RAM
【図１】
2016010082.tif 000003
【図２】
2016010082.tif 000004
【図３】
2016010082.tif 000005
【図４】
2016010082.tif 000006
【図５】
2016010082.tif 000007
【図６】
2016010082.tif 000008
【図７】
2016010082.tif 000009
【図８】
2016010082.tif 000010
【図９】
2016010082.tif 000011
【図１０】
2016010082.tif 000012
【図１１】
2016010082.tif 000013