(57)【要約】  スケーラブルビデオ符号化及び復号化に備えて、エンコーダ、デコーダ、対応する符号化及び復号化方法が使用される。スケーラブルビデオエンコーダ(100)は、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成する画像を符号化するエンコーダを有する。ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームは、画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、２つ以上のスライスグループ中の少なくとも１つのスライスグループが、エンハンスメントレイヤビットストリームで意図的に符号化されないように、ベースレイヤビットストリームの１つ以上のスライスグループの全てと、エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及びエンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成される。
2009512342.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化するエンコーダを有する装置であって、
前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで、前記エンコーダは前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームを形成するようにした装置。
【請求項２】
前記エンハンスメントレイヤビットストリームは少なくとも１つの関心領域アプリケーションをサポートするよう形成され、関心領域を含む前記エンハンスメントレイヤの少なくとも２つ以上のスライスグループの何れかが前記エンハンスメントレイヤビットストリーム内で符号化され、前記エンハンスメントレイヤ内の関心領域でない２つ以上のスライスグループの何れかは意図的に符号化されないようにした請求項１記載の装置。
【請求項３】
前記エンハンスメントレイヤビットストリームに対応するシーケンスパラメータセットにmissing_slice_groups_allowed_flagフィールドを加えることで、前記エンコーダは前記シンタックスエレメントを付加する請求項１記載の装置。
【請求項４】
前記エンハンスメントレイヤビットストリーム及び前記ベースレイヤビットストリーム間に同じスライスグループマッピングが存在し、前記missing_slice_groups_allowed_flagフィールドが１に等しかった場合、num_slice_groups_minus_1フィールド及びslice_group_map_typeフィールドに関する同じスライスグループマッピングは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームについて同じ値を有する請求項３記載の装置。
【請求項５】
前記画像について意図的に符号化されないスライスグループの品質を指定するために、前記エンコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにnum_missing_slice_groupフィールドを加える請求項１記載の装置。
【請求項６】
０，１及び６の何れかに等しいslice_group_mapフィールドについてラスタスキャンの順序でｉ番目に意図的に省略されたスライスグループマップユニット中の少なくとも意図的に符号化されないスライスグループを特定するために、前記エンコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにmissing_slice_group_id[i]を追加する請求項５記載の装置。
【請求項７】
前記エンハンスメントレイヤビットストリームの最後のスライスグループが、少なくとも１つの意図的に符号化されないスライスグループであることを示すように、前記エンコーダはslice_group_mapフィールドを２，３，４及び５の何れかに等しく設定する請求項５記載の装置。
【請求項８】
スケーラブルビデオエンコーディングのための方法であって、
画像を符号化し、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するエンコードステップを有し、前記エンコードステップは、
前記画像を複数の画像ブロックに区分けするすステップと、
該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化するステップと、
前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化するステップと、
前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化するステップと、
を有するようにした方法。
【請求項９】
前記エンハンスメントレイヤビットストリームは少なくとも１つの関心領域アプリケーションをサポートするよう形成され、関心領域を含む前記エンハンスメントレイヤの少なくとも２つ以上のスライスグループの何れかが前記エンハンスメントレイヤビットストリーム内で符号化され、前記エンハンスメントレイヤ内の関心領域でない２つ以上のスライスグループの何れかは意図的に符号化されないようにした請求項８記載の方法。
【請求項１０】
前記エンハンスメントレイヤビットストリームに対応するシーケンスパラメータセットにmissing_slice_groups_allowed_flagフィールドを加えることで、前記シンタックスエレメントを付加するステップを前記エンコードステップは有するようにした請求項８記載の方法。
【請求項１１】
前記エンハンスメントレイヤビットストリーム及び前記ベースレイヤビットストリーム間に同じスライスグループマッピングが存在し、前記missing_slice_groups_allowed_flagフィールドが１に等しかった場合、num_slice_groups_minus_1フィールド及びslice_group_map_typeフィールドに関する同じスライスグループマッピングは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームについて同じ値を有する請求項１０記載の方法。
【請求項１２】
前記画像について意図的に符号化されないスライスグループの品質を指定するために、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにnum_missing_slice_groupフィールドを加えるステップを前記エンコードステップは有する請求項８記載の方法。
【請求項１３】
０，１及び６の何れかに等しいslice_group_mapフィールドについてラスタスキャンの順序でｉ番目に意図的に省略されたスライスグループマップユニット中の少なくとも意図的に符号化されないスライスグループを特定するために、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにmissing_slice_group_id[i]を追加するステップを前記エンコードステップは有する請求項１２記載の方法。
【請求項１４】
前記エンハンスメントレイヤビットストリームの最後のスライスグループが、少なくとも１つの意図的に符号化されないスライスグループであることを示すように、slice_group_mapフィールドを２，３，４及び５の何れかに等しく設定するステップを前記エンコードステップは有する請求項１２記載の方法。
【請求項１５】
デコーダを有する装置であって、前記デコーダは、
複数のスライスグループの少なくとも１つがエンハンスメントレイヤで意図的に符号化されないことを示すシンタックスエレメントを読み取ること、前記シンタックスエレメントで特定されている前記複数のスライスグループ中の少なくとも１つについて、ベースレイヤ情報だけを用いて前記エンハンスメントレイヤを復号すること、及びエンハンスメントレイヤ情報を用いて前記エンハンスメントレイヤの前記複数のスライスグループの残りを復号することで、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームをデコードするようにした装置。  
【請求項１６】
前記エンハンスメントレイヤビットストリームは関心領域アプリケーションをサポートし、関心領域を含む複数のスライスグループの何れかが前記エンハンスメントレイヤビットストリームに含まれ、関心領域でない前記複数のスライスグループの何れかは意図的に省略されているようにした請求項１５記載の装置。
【請求項１７】
前記エンハンスメントレイヤビットストリームに対応するシーケンスパラメータセットにおけるmissing_slice_groups_allowed_flagフィールドを読み取ることで、前記デコーダは前記シンタックスエレメントを読み取る請求項１５記載の装置。
【請求項１８】
前記エンハンスメントレイヤビットストリーム及び前記ベースレイヤビットストリーム間に同じスライスグループマッピングが存在し、前記missing_slice_groups_allowed_flagフィールドが１に等しかった場合、num_slice_groups_minus_1フィールド及びslice_group_map_typeフィールドに関する同じスライスグループマッピングは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームについて同じ値を有する請求項１７記載の装置。
【請求項１９】
画像パラメータセット内の画像について意図的に符号化されない複数のスライスグループの品質を特定するために、前記デコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにおけるnum_missing_slice_groupフィールドを読み取る請求項１５記載の装置。
【請求項２０】
０，１及び６の何れかに等しいslice_group_mapフィールドについてラスタスキャンの順序でｉ番目に意図的に省略されたスライスグループマップユニット中の少なくとも意図的に見逃されたスライスグループを特定するために、前記デコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにおけるmissing_slice_group_id[i]を読み取る請求項１９記載の装置。
【請求項２１】
slice_group_mapフィールドが２，３，４及び５の何れかに等しい場合、前記デコーダは、前記エンハンスメントレイヤビットストリームの最後のスライスグループを、少なくとも１つの意図的に符号化されないスライスグループであるように特定する請求項１９記載の装置。
【請求項２２】
前記エンハンスメントレイヤビットストリームに指定されている特定のプロファイルでマルチループデコード処理が許容されているか否かによらず、少なくとも１つの意図的に符号化されたスライスグループをデコードするように前記デコーダがINTRA_BLモードを利用する請求項１５記載の装置。  
【請求項２３】
少なくとも１つの意図的に符号化されていないスライスグループをデコードするように前記デコーダがBL_SKIPモードを利用する請求項１５記載の装置。
【請求項２４】
前記少なくとも１つの意図的に符号化されてないスライスグループが欠如しているように検出されたが、前記エンハンスメントレイヤに対応する画像パラメータセット及びシーケンスパラメータセットでは指定されてなかった場合、前記少なくとも１つの意図的に符号化されてないスライスグループを隠すように誤り隠蔽処理を前記デコーダが実行する請求項１５記載の装置。
【請求項２５】
スケーラブルビデオデコードのための方法であって、
複数のスライスグループの少なくとも１つがエンハンスメントレイヤで意図的に符号化されないことを示すシンタックスエレメントを読み取ること、前記シンタックスエレメントで特定されている前記複数のスライスグループ中の少なくとも１つについて、ベースレイヤ情報だけを用いて前記エンハンスメントレイヤを復号すること、及びエンハンスメントレイヤ情報を用いて前記エンハンスメントレイヤの前記複数のスライスグループの残りを復号することで、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームをデコードするデコードステップを有する方法。  
【請求項２６】
前記エンハンスメントレイヤビットストリームは関心領域アプリケーションをサポートし、関心領域を含む複数のスライスグループの何れかが前記エンハンスメントレイヤビットストリームに含まれ、関心領域でない前記複数のスライスグループの何れかは意図的に省略されているようにした請求項２５記載の方法。
【請求項２７】
前記エンハンスメントレイヤビットストリームに対応するシーケンスパラメータセットにおけるmissing_slice_groups_allowed_flagフィールドを読み取ることで、前記デコードステップは前記シンタックスエレメントを読み取る請求項２５記載の方法。
【請求項２８】
前記エンハンスメントレイヤビットストリーム及び前記ベースレイヤビットストリーム間に同じスライスグループマッピングが存在し、前記missing_slice_groups_allowed_flagフィールドが１に等しかった場合、num_slice_groups_minus_1フィールド及びslice_group_map_typeフィールドに関する同じスライスグループマッピングは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームについて同じ値を有する請求項２７記載の方法。
【請求項２９】
画像パラメータセット内の画像について意図的に符号化されない複数のスライスグループの品質を特定するために、前記デコードステップは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにおけるnum_missing_slice_groupフィールドを読み取る請求項２５記載の方法。
【請求項３０】
０，１及び６の何れかに等しいslice_group_mapフィールドについてラスタスキャンの順序でｉ番目に意図的に省略されたスライスグループマップユニット中の少なくとも意図的に見逃されたスライスグループを特定するために、前記デコードステップは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにおけるmissing_slice_group_id[i]を読み取る請求項２９記載の方法。
【請求項３１】
slice_group_mapフィールドが２，３，４及び５の何れかに等しい場合、前記デコードステップは、前記エンハンスメントレイヤビットストリームの最後のスライスグループを、少なくとも１つの意図的に符号化されないスライスグループであるように特定する請求項２９記載の方法。
【請求項３２】
前記エンハンスメントレイヤビットストリームに指定されている特定のプロファイルでマルチループデコード処理が許容されているか否かによらず、少なくとも１つの意図的に符号化されたスライスグループをデコードするように前記デコードステップがINTRA_BLモードを利用する請求項２５記載の方法。  
【請求項３３】
少なくとも１つの意図的に符号化されていないスライスグループをデコードするように前記デコードステップがBL_SKIPモードを利用する請求項２５記載の方法。
【請求項３４】
前記少なくとも１つの意図的に符号化されてないスライスグループが欠如しているように検出されたが、前記エンハンスメントレイヤに対応する画像パラメータセット及びシーケンスパラメータセットでは指定されてなかった場合、前記少なくとも１つの意図的に符号化されてないスライスグループを隠すように誤り隠蔽処理を前記デコードステップが実行する請求項２５記載の方法。
【請求項３５】
スケーラブルビデオエンコーディングのためのビデオ信号構造であって、
ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するように画像は符号化され、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、
前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成されるようにした構造。
【請求項３６】
スケーラブルビデオ信号データを有する記憶媒体であって、
ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するように画像は符号化され、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、
前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成されるようにした記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にビデオエンコーディング及びデコーディングに関し、特にスケーラブルビデオエンコーディング及びデコーディングのための方法及び装置に関連する。
【背景技術】
【０００２】
関心領域(ROI:  Regions-of-interest)スケーラビリティは、あるスケーラブルビデオコーディング装置にとって重要な特性である。ROIの中で及び外で、様々な空間的な／時間的な／品質のスケーラビリティを持つことをユーザは希望するかもしれない。
【０００３】
フレキシブルマクロブックオーダリング(FMO:  Flexible  Macroblock  Ordering)はROIの特性を実現するために議論されてきた。国際標準化機構／国際電気技術委員会(ISO/IEC)動画エキスパートグループ4(MPEG-4)パート10アドバンストビデオコーディング(AVC)規格／国際電気通信連合、電気通信セクタ(ITU-T)H.264規格(以後、「MPEG4/H.264規格」又は単に「H.264規格」と呼ぶ)は、画像中のマクロブロック各々がスライスグループに含まれること、及び全てのスライスグループが一次(primary)符号化画像に含まれることを要求する(但し、冗長(redundant)画像に対しては要求されない。)。H.264規格は如何なるスライスグループを失うことも許容せず、これは、ROIでないものを含むスライスグループに対してさえ、それらのスライスグループを符号化し、それらをネットワークに送付することを依然として要することを意味する。ROI外のマクロブロックに対するビットを制御するオプションをエンコーダは有する、との議論があるかもしれない。例えば、ある従来技術では、エンコーダは非ROIのマクロブロック全てを符号化し、BL_SKIP又はINTRA_BLモードにすることができる。BL_SKIP又はINTRA_BLモードを通知するのに要するビットがたとえ僅かであったとしても、それらを符号化する余分な負担をエンコーダにかけてしまう。より重要なことに、非ROIを符号化するには余分なNALユニットを要し、従って余分なビットレートオーバーヘッドを要する。例えば、クオーターコモン中間フォーマット(QCIF)ベースレイヤ及びコモン中間フォーマット(CIF)エンハンスメントレイヤ(30fps)に関する(1/4対3/4)及び(1/2対1/2)のROI対非ROI分割の場合、リアルタイムプロトコル(RTP)でエンハンスメントレイヤで非ROIをINTRA_BLモードで伝送するためのビットレートオーバーヘッドは、それぞれ12kbps及び9bpsのように近似的に計算される。同時にそれは全てのNALユニットを分析するルータの負担も増やしてしまう。更に、デコーダは非ROIのビットストリームを分割しなければならない。ジョイントスケーラブルビデオモデル(JSVM)バージョン3.0では、ベースレイヤマクロブロックタイプによらず、エンハンスメントレイヤ内の全てのマクロブロックに対するINTRA_BLモードは、マルチループデコーディングを必要とすることを想定しており、それは或るプロファイルに対しては許容されないかもしれないことに留意すべきである。この制約は、エンコーダがシングルループデコーディングだけをサポートする場合にINTRA_BLモードの利用性を制限してしまう。従って、現在のところJSVMバージョン3.0は、デコードループがシングルであるかマルチであるかによらず、非ROIの全てのMBについてINTRA_BLモードの利用を許可していない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の課題は従来技術に関するこれら及び他の問題点や欠点を解消又は軽減することであり、そのためのスケーラブル映像符号化及び復号化のための方法及び装置をもたらすことである。
【課題を解決するための手段】
【０００５】
本発明の一形態によれば、スケーラブルビデオエンコーダが使用される。スケーラブルビデオエンコーダは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームを形成する画像を符号化するエンコーダを有する。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成される。
【０００６】
本発明の別の形態によれば、スケーラブルビデオエンコーディングのための方法が使用される。本方法は、画像を符号化し、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するエンコードステップを有する。前記エンコードステップは、前記画像を複数の画像ブロックに区分けするすステップを有する。エンコーディングステップは、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化するステップを有する。エンコーディングステップは、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化するステップを更に含む。エンコーディングステップは、前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化するステップを更に含む。
【０００７】
本発明の更に別の形態によれば、スケーラブルビデオデコーダが使用される。スケーラブルビデオデコーダは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームをデコードするデコーダを有する。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、複数のスライスグループの少なくとも１つがエンハンスメントレイヤで意図的に符号化されないことを示すシンタックスエレメントを読み取ること、前記シンタックスエレメントで特定されている前記複数のスライスグループ中の少なくとも１つについて、ベースレイヤ情報だけを用いて前記エンハンスメントレイヤを復号すること、及びエンハンスメントレイヤ情報を用いて前記エンハンスメントレイヤの前記複数のスライスグループの残りを復号することでデコードされる。  
本発明の更に別の形態によれば、スケーラブルビデオデコードのための方法が使用される。本方法は、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームをデコードするデコードステップを有し、デコードステップは、複数のスライスグループの少なくとも１つがエンハンスメントレイヤで意図的に符号化されないことを示すシンタックスエレメントを読み取ること、前記シンタックスエレメントで特定されている前記複数のスライスグループ中の少なくとも１つについて、ベースレイヤ情報だけを用いて前記エンハンスメントレイヤを復号すること、及びエンハンスメントレイヤ情報を用いて前記エンハンスメントレイヤの前記複数のスライスグループの残りを復号することでデコードを行う。
【０００８】
本発明の更に別の形態によれば、スケーラブルビデオエンコーディングのためのビデオ信号構造が使用される。ビデオ信号構造は、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するように符号化された画像を含む。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成される。
【０００９】
本発明の更に別の形態によれば、スケーラブルビデオ信号データを有する記憶媒体が使用される。ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを形成するように符号化された画像を記憶媒体は含む。前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームは、前記画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、前記２つ以上のスライスグループ中の少なくとも１つのスライスグループが、前記エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、前記エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及び前記エンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで形成される。
【発明を実施するための最良の形態】
【００１０】
本発明に関するこれらの並びに他の形態、特徴及び利点は、添付図面に関連する以下の詳細な実施例から更に明らかになるであろう。
【００１１】
本発明は添付図面と共により良く理解されるであろう。
【実施例１】
【００１２】
本発明はスケーラブルなビデオエンコーディング及びデコーディングに関する。本説明は本発明の原理を示す。明示的に説明又は図示されていないが、本発明原理を実現し且つ本発明の精神及び範囲内に含まれる様々な手段を得るように当業者は工夫できることが、理解されるべきである。
【００１３】
ここで説明される具体例及び条件とする言語は、発明者による技術進歩に貢献する概念及び発明原理の理解を読者に促すべく教示的に意図されているにすぎず、そのような特別に言及された具体例及び条件に限定せずに本発明は解釈されるべきである。
【００１４】
更に、特定の実施例だけでなく、本発明の原理、形態及び実施例を説明する全ての記述は、構造的及び機能的双方の均等物を包含するように意図される。更に、そのような均等物は現在既知の均等物だけでなく将来開発される均等物(即ち、構造によらず、同じ機能を実行するよう開発された如何なるもの)をも含むことも意図される。
【００１５】
従って、ここで提示されるブロック図は発明原理を使用する回路例の概念図を表すことが、当業者に理解されるであろう。同様に理解されることは、フローチャート、流れ図、状態遷移図、擬似コード等の如何なるものも様々な処理を表現し、その処理は本質的にはコンピュータ読み取り可能な媒体で表現され且つコンピュータ又はプロセッサにより(たとえそれらが明示的に示されていなかったとしても実際にはそれらで)実行可能である。
【００１６】
図示されている様々な要素の機能は、専用のハードウエアだけでなく、適切なソフトウエアに関連するソフトウエアを実行可能なハードウエアにより用意されてもよい。プロセッサが用意される場合、１つの共有されるプロセッサにより、複数の個別プロセッサにより、或いは共有されるもののいくつかにより、その機能が提供されてもよい。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用が、ソフトウエアを実行可能なハードウエアを排他的に言及するようには解釈されるべきでなく、暗黙的に、ディジタル信号プロセッサ(DSP)ハードウエア、ソフトウエアを格納するリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)及び不揮発性ストレージ等(これらだけに限定されない)を含んでよい。
【００１７】
周知慣用の他のハードウエアが含まれてもよい。同様に、図示されている如何なるスイッチも単なる概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作を通じて、専用ロジックを通じて、プログラム制御及び専用ロジックの相互作用を通じて、或いはマニュアルでさえ実行可能であり、状況をより具体的に考察する実施者によって特定の技術が選択可能である。
【００１８】
特許請求の範囲では、特定の機能を実行する手段として表現されているどの要素も、ある機能を実行する如何なる実行技術をも包含するように意図され、その技術は例えばａ）その機能を実行する回路要素の組み合わせ又はｂ）その機能を実行するようにソフトウエアを実行する適切な回路と共に使用されるソフトウエア(従って、ファームウエア、マイクロコードその他の如何なる形式でもよい)を含む。そのような請求項で規定される本発明は、様々に記載された手段により提供される機能は、その請求項が要求する方法で共に準備及び結合されることを前提としている。従って、そのような機能を提供できる如何なる手段も、請求項に示されるものと等価であるように解釈される。
【００１９】
図１を参照するに、本発明が適用されるジョイントスケーラブルビデオモデルバージョン3.0(以下、「JSVM3.0」という)のエンコーダの例が、参照番号100で全体的に示されている。JSVM3.0エンコーダ100は、３つの空間レイヤ及び動き補償一次フィルタリングを利用する。JSVM3.0エンコーダ100は、２次元(2D)デシメータ104、2Dで子メータ106及び動き補償一次フィルタリング(MCTF:  Motion  Compensated  Temporal  Filtering)モジュール108を含み、それら各々はビデオ信号データ102を受信する入力を有する。
【００２０】
2Dデシメータ106は、MCTFモジュール110の入力に信号を伝達するように接続される。MCTFモジュール110の第１出力はモーションコーダ112の出力に信号を伝達するように接続され、MCTFモジュール110の第２出力は予測モジュール116の入力に信号を伝達するように接続される。モーションコーダ112の第１出力は、マルチプレクサ114の第1入力に信号を伝達するように接続される。モーションコーダ112の第２出力はモーションコーダ124の入力に信号を伝達するように接続される。予測モジュール116の第1出力は空間トランスフォーマ118の入力に信号を伝達するように接続される。空間トランスフォーマ118の出力はマルチプレクサ114の第２入力に信号を伝達するように接続される。予測モジュール116の第２出力は補間器120の入力に信号を伝達するように接続される。補間器120の出力は予測モジュール122の第１入力に信号を伝達するように接続される。予測モジュール122の第１出力は空間トランスフォーマ126の入力に信号を伝達するように接続される。空間トランスフォーマ126の出力はマルチプレクサ114の第２入力に信号を伝達するように接続される。予測モジュール122の第２出力は補間器130の入力に信号を伝達するように接続される。補間器130の出力は予測モジュール134の第１入力に信号を伝達するように接続される。予測モジュール134の出力は空間トランスフォーマ136に信号を伝達するように接続される。空間トランスフォーマの出力はマルチプレクサ114の第２入力に信号を伝達するように接続される。
【００２１】
２Ｄデシメータ104の出力はMCTFモジュール128の入力に信号を伝達するように接続される。MCTFモジュール128の第１出力はMCTFモーションコーダ124の第２入力に信号を伝達するように接続される。モーションコーダ124の第１出力はマルチプレクサ114の第１入力に信号を伝達するように接続される。モーションコーダ124の第２出力はモーションコーダ132の第１入力に信号を伝達するように接続される。MCTFモジュール128の第２出力は予測モジュール122の第２出力に信号を伝達するように接続される。
【００２２】
MCTFモジュール108の第１出力はモーションコーダ132の第２入力に信号を伝達するように接続される。モーションコーダ132の出力はマルチプレクサ114の第１入力に信号を伝達するように接続される。MCTFモジュール108の第２出力は予測モジュール134の第２入力に信号を伝達するように接続される。マルチプレクサ114の出力は出力ビットストリーム138を与える。
【００２３】
各空間レイヤに関し、動き補償時間分解が実行される。この分解は時間的なスケーラビリティをもたらす。下位の空間レイヤからの動き情報は、上位レイヤでの動きの予測に使用可能である。テクスチャ符号化の際、連続的な空間レイヤ間での空間予測は、冗長性を除去するように適用可能である。イントラ予測又は動き補償イントラ予測の結果による残差信号(residual  signal)は符号変換される。クオリティベースレイヤ残差は、各空間レイヤで最少の再構成品質をもたらす。クオリティベースレイヤは、レイヤ間の予測が一切なされない場合、H.264標準仕様のストリームに符号化可能である。クオリティスケーラビリティに関し、クオリティエンハンスメントレイヤは追加的に符号化される。これらのエンハンスメントレイヤは、粗い又は緻密な粒度(SNR)のスケーラビリティを与えるように選択可能である。
【００２４】
図２を参照するに、本発明が適用されるスケーラブルビデオデコーダの一例が、参照番号200により全体的に示されている。デマルチプレクサ202の入力は、スケーラブルビデオデコーダ200の入力として利用可能であり、スケーラブルビットストリームを受信する。デマルチプレクサ202の第１出力は、空間逆変換SNRスケーラブルエントロピデコーダ204の入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ204の第１出力は、予測モジュール206の第１入力に信号を伝達するように接続される。予測モジュール206の出力は、逆MCTFモジュール208の第１入力に信号を伝達するように接続される。
【００２５】
空間逆変換SNRスケーラブルエントロピデコーダ204の第２出力は、モーションベクトル(MV:  Motion  Vector)デコーダ210の第1入力に信号を伝達するように接続される。MVデコーダ210の出力は、逆MCTFモジュール208の第２入力に信号を伝達するように接続される。
【００２６】
デマルチプレクサ202の第２出力は、空間逆変換SNRスケーラブルエントロピデコーダ212の入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ212の第１出力は、予測モジュール214の第１入力に信号を伝達するように接続される。予測モジュール214の第１出力は補間モジュール216の入力に信号を伝達するように接続される。補間モジュール216の出力は予測モジュール206の第２入力に信号を伝達するように接続される。予測モジュール214の第２出力は、逆MCTFモジュール218の第１入力に信号を伝達するように接続される。
【００２７】
空間逆変換SNRスケーラブルエントロピデコーダ212の第２出力はMVデコーダ220の第１入力に信号を伝達するように接続される。MVデコーダ220の第１出力はMVデコーダ210の第２入力に信号を伝達するように接続される。MVデコーダ220の第２出力は、逆MCTFモジュール218の第２入力に信号を伝達するように接続される。
【００２８】
デマルチプレクサ202の第３出力は、空間逆変換SNRスケーラブルエントロピデコーダ222の入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ222の第１出力は、予測モジュール224の第１入力に信号を伝達するように接続される。予測モジュール224の第１出力は補間モジュール226の入力に信号を伝達するように接続される。補間モジュール226の出力は予測モジュール214の第２入力に信号を伝達するように接続される。
【００２９】
予測モジュール224の第２出力は、逆MCTFモジュール228の第１入力に信号を伝達するように接続される。空間逆変換SNRスケーラブルエントロピデコーダ222の第２出力は、MVデコーダ230の入力に信号を伝達するように接続される。MVデコーダ230の第１出力はMVデコーダ220の第２出力に信号を伝達するように接続される。MVデコーダ230の第２出力は、逆MCTFモジュール228の第２入力に信号を伝達するように接続される。
【００３０】
逆MCTFモジュール228の出力は、デコーダ200のある出力として利用可能であり、レイヤ０信号を出力する。逆MCTFモジュール218の出力は、デコーダ200のある出力として利用可能であり、レイヤ１信号を出力する。逆MCTFモジュール208の出力は、デコーダ200のある出力として利用可能であり、レイヤ２信号を出力する。
【００３１】
FMO(フレキシブルマクロブロックオーダリング)は、ROI(関心領域)スケーラビリティの特性を実現するために議論されてきた。H.264/AVC標準仕様は如何なるスライスグループを見逃すことも許容しておらず、これは、非ROIを含むスライスグループでさえ依然として符号化され且つネットワークに送信されなければならないことを意味する。本発明の一実施例によれば、この条件は緩和され、エンハンスメントレイヤでスライスグループを見逃すことが許容され、意図的にスライスを見逃す規範動作(normative  behavior)を規定する。ベースレイヤはH.264標準仕様と互換性を維持したまま残る。
【００３２】
従って本発明の一実施例では、H.264規格の条件を緩和し、ROIのアプリケーションに関してエンハンスメントレイヤでスライスグループを見逃すことを許容することを我々は提案する。この方法は、少なくとも以下の利点をもたらす：(a)ビットレートを節約すること；(b)ルータの付加を軽減すること；(c)デコーダでの分析を簡易化すること；及び(d)非ROI領域に関するエンコーダによる符号化処理を減らすこと。
【００３３】
エンハンスメントレイヤでスライスグループを見逃すことを許容する際、直ちに生じる１つの問題は、欠けたスライスグループがエンコーダにより意図的にエンコードされなかったのか、或いはネットワークのエラーに起因して欠如しているのかをデコーダが如何にして決定するかである。スライスグループが意図的に省略されていた場合、本発明原理では、デコーダが画像全体(ROIプラス非ROI)をデコードする能力を未だ持っており、デコードプロセスの結果は様々なデコーダの間で一貫しており、エンコーダ／デコーダのビット精度は維持可能であるように、デコーダは或る規範動作を行う。しかしながら、ネットワーク障害でスライスグループが欠如した場合、アプリケーションに依存して、非規範的な誤り隠蔽処理(non-normative  error  concealment)が適用可能である。
【００３４】
スライスグループが意図的に又は非意図的に欠けているか否かの曖昧さを無くすため、我々は、以下の表１に示されるようなシーケンス＿パラメータ＿セット()［sequence_parameter_set()］、即ち、欠如＿スライス＿グループ＿許可＿フラグ[missing_slice_groups_allowed_flag]の中に１つのフラグを追加することを提案する。特に、表１はシーケンスパラメータセットRBSPシンタックスを示す。スライス＿グループ＿マップ＿タイプ[slice_group_map_type]の全てをサポートするため、０，１及び６に等しいslice_group_map_typeに関してどのスライスグループが欠如しているかを我々は示す必要がある。それ以外の場合、最後のスライスグループのみが欠如しており、追加的なシンタックスは一切必要ないように常に考えてよい。最も一般的に予想される四角形のROIのスケーラビリティの場合、slice_group_map_type==2が選択されることになり、従ってピクチャ＿パラメータ＿セット()[picture_parameter_set()]にシンタックスは殆ど追加されない。完全なシンタックスは表２に示されている。
【００３５】
［表１］
【表１】
2009512342.tif 000003
【００３６】
［表２］
【表２】
2009512342.tif 000004
missing_slice_groups_allowed_flagは、ビットストリームの中でスライスグループを失うことの許可を指定する。missing_slice_groups_allowed_flagが存在しなかった場合、それは０に等しいものと推定される。missing_slice_groups_allowed_flagが１に等しかった場合、「同じスライスグループマッピング」が、ベースレイヤ及びエンハンスメントレイヤの間に存在しなければならない。「同じスライスグループマッピング」とは、同じnum_slice_groups_minus_1及び同じslice_group_map_typeを意味する。
【００３７】
num_missing_slice_groupsは、ある画像について欠如しているスライスグループ数を示す。
【００３８】
missing_slice_group_id[i]は、ラスタスキャンの順番でｉ番目のスライスグループマップ中の欠如しているスライスグループを示す。
【００３９】
新たなシンタックスが用意された場合、エンハンスメントレイヤ中のスライスグループは意図的に失われているか、或いはそうではなくネットワーク障害に起因して欠如しているかをデコーダは判定できる。意図的に見逃すグループについて、何がデコード処理の規範動作であるかを決定する際、以下の事項が考察されてもよい：(1)欠如しているスライスグループはエンハンスメントレイヤで非ROIに適用されるので、品質は非常に高い必要はないが、品質は許容可能であるべきであること；及び(2)複雑さは低く維持されるべきであり、デコーダは現在のSVC設計で利用可能な機能を再利用すべきであること。
【００４０】
現在のSVC設計を利用してよい次の２つの可能なソリューションを我々は提案する：(1)残差なしにINTRA_BLモードを利用すること、即ちベース＿レイヤ(base_layer)画像をコピー又はアップサンプリングすること、及び(2)残差なしにBL_SKIPモードを利用すること。従って我々は上記の何れかの方法を使って規範動作を選択し、意図的に見逃したスライスグループをデコードできる。
【００４１】
図３を参照するに、関心領域に関するジョイントスケーラブルビデオエンコーディングの方法例が、参照番号300で全体的に示されている。本方法は開始ブロック305から始まり、関心領域(ROI)情報と共に符号化を開始し、機能ブロック310に制御を進める。既往ブロック310ではROI情報に依存してスライスグループを作成し、判定ブロック315に制御を進める。判定ブロック315は、符号化される現在のレイヤがベースレイヤであるか否かを確認する。そうであったならば(ベースレイヤであったならば)、制御は機能ブロック320に進められる。そうでなければ制御は機能ブロック325に進められる。
【００４２】
機能ブロック320は、(ベースレイヤの)全てのスライスグループをエンコードし、制御を終了ブロック370に進める。
【００４３】
機能ブロック325は、ベースレイヤスライスグループをエンハンスメントレイヤスライスグループに対応付け、制御を機能ブロック330に進める。機能ブロック330は、missing_slice_group_allowed_flagを１に等しくなるように設定し、制御を判定ブロック335に進める。判定ブロック335は、現在のスライスグループが関心領域に属するか否かを判定する。そうであれば(属していれば)、制御は機能ブロック340に進められる。そうでなければ制御は機能ブロック335に進められる。
【００４４】
機能ブロック340はインターレイヤ(又はレイヤ間)予測を使って現在のスライスグループを符号化し、処理を判定ブロック345に進める。
【００４５】
機能ブロック355は現在のスライスグループを符号化せずに、制御を機能ブロック360に進める。機能ブロック360はnum_missing_slice_groupをインクリメントし(増やし)、制御を判定ブロック345に進める。
【００４６】
判定ブロック345はnum_missing_slice_groupが１より大きいか否かを判定する。そうであれば(大きかった場合)、制御は機能ブロック350に進められる。そうでなければ制御は終了ブロック370に進められる。
【００４７】
機能ブロック350は、各々の欠如したスライスグループｉに関し、missing_slice_groups_id[i]を指定し、制御を終了ブロック370に進める。
【００４８】
図４Ａ，４Ｂを参照するに、関心領域に関するジョイントスケーラブルビデオデコーディングの方法例が、参照番号400で全体的に示されている。本方法は開始ブロック405から始まり、エンハンスメントレイヤのデコードを開始し、制御を機能ブロック410に進める。機能ブロック410は、missing_slice_groups_allowed_flagを取得し、制御を機能ブロック415に進める。機能ブロック415は、各々の欠如スライスグループｉに関し、missing_slice_group_id[i]を指定し、制御を機能ブロック420に進める。機能ブロック420はnum_missing_slice_groupsを取得し、制御を判定ブロック425に進める。判定ブロック425は、num_missing_slice_groupsが１より大きいか否かを判定する。そうであれば(大きかったならば)、制御は機能ブロック430に進められる。そうでなければ制御は判定ブロック435に進められる。
【００４９】
機能ブロック430は、各スライスグループｉについて、missing_slice_group_id[i]を読み取り、制御を判定ブロック435に進める。
【００５０】
判定ブロック435はROI領域だけをデコードするか否かを確認する。そうであれば、制御は判定ブロック440に進められる。そうでなければ制御は判定ブロック450に進められる。
【００５１】
判定ブロック440は(関心領域ROIを含む)スライスグループが意図的に見逃されているか否かを判定する。そうであれば制御は機能ブロック445に進められる。そうでなければ制御は機能ブロック460に進められる。
【００５２】
機能ブロック445は次のROIスライスグループをデコードし、制御を終了ブロック480に進める。
【００５３】
機能ブロック460は失われたROIスライスグループを隠蔽し、制御を終了ブロック480に進める。
【００５４】
判定ブロック450はスライスグループがROIに属するか否かを判定する。そうであれば制御は機能ブロック455に進められる。そうでなければ制御は判定ブロック465に進められる。
【００５５】
機能ブロック455はROIスライスグループをデコードし、制御を終了ブロック480に進める。
【００５６】
判定ブロック465は、スライスグループが意図的に見逃されているか否かを判定する。そうであれば、制御は機能ブロック470に進められる。そうでなければ制御は機能ブロック460に進められる。
【００５７】
機能ブロック470は、ベースレイヤのそのスライスグループをデコードし、制御を機能ブロック475に進める。機能ブロック475は、残差なしにINTRA_BLモード又はBL_SKIPモードを利用して、エンハンスメントレイヤのそのスライスグループをデコードし、制御を終了ブロック480に進める。
【００５８】
本発明に付随する多くの利点／特徴の内のいくつかを説明する。その内のいくつかは既に述べたとおりである。例えば、１つの利点／特徴はスケーラブルビデオエンコーダである。スケーラブルビデオエンコーダは画像を符号化するエンコーダを含み、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを生成する。画像を複数の画像ブロックに区分けすること、該複数の画像ブロックを、ベースレイヤビットストリームの１つ以上のスライスグループに及びエンハンスメントレイヤビットストリームの２つ以上のスライスグループにグループ化すること、２つ以上のスライスグループ中の少なくとも１つのスライスグループが、エンハンスメントレイヤビットストリームで意図的に符号化されないように、前記ベースレイヤビットストリームの１つ以上のスライスグループの全てと、エンハンスメントレイヤビットストリームの２以上のスライスグループの全てより少ないものとを符号化すること、及びエンハンスメントレイヤの少なくとも１つの意図的に符号化されないスライスグループを示すようにヘッダのシンタックスエレメントを符号化することで、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームは形成される。
【００５９】
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリームは少なくとも１つの関心領域アプリケーションをサポートするよう形成され、関心領域を含む前記エンハンスメントレイヤの少なくとも２つ以上のスライスグループの何れかが前記エンハンスメントレイヤビットストリーム内で符号化され、前記エンハンスメントレイヤ内の関心領域でない２つ以上のスライスグループの何れかは意図的に符号化されないようにしたことである。
【００６０】
更に別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリームに対応するシーケンスパラメータセットにmissing_slice_groups_allowed_flagフィールドを加えることで、前記エンコーダは前記シンタックスエレメントを付加するようにしたことである。
【００６１】
更に別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリーム及び前記ベースレイヤビットストリーム間に同じスライスグループマッピングが存在し、前記missing_slice_groups_allowed_flagフィールドが１に等しかった場合、num_slice_groups_minus_1フィールド及びslice_group_map_typeフィールドに関する同じスライスグループマッピングは、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームについて同じ値を有するようにしたことである。
【００６２】
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記画像について意図的に符号化されないスライスグループの品質を指定するために、前記エンコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにnum_missing_slice_groupフィールドを加えるようにしたことである。
【００６３】
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、０，１及び６の何れかに等しいslice_group_mapフィールドについてラスタスキャンの順序でｉ番目に意図的に省略されたスライスグループマップユニット中の少なくとも意図的に符号化されないスライスグループを特定するために、前記エンコーダは、前記エンハンスメントレイヤビットストリームに対応する画像パラメータセットにmissing_slice_group_id[i]を追加するようにしたことである。
【００６４】
別の利点／特徴は上記のスケーラブルビデオエンコーダにおいて、前記エンハンスメントレイヤビットストリームの最後のスライスグループが、少なくとも１つの意図的に符号化されないスライスグループであることを示すように、前記エンコーダはslice_group_mapフィールドを２，３，４及び５の何れかに等しく設定するようにしたことである。
【００６５】
本発明に関するこれらの並びに他の特徴及び利点は、本説明に基づいて当業者には明確に理解されるであろう。ハードウエア、ソフトウエア、ファームウエア、特定目的のプロセッサ又はそれらの組み合わせ等の様々な形式で本発明が実現されてよいことは理解されるであろう。
【００６６】
最適には、本発明の教示内容はハードウエア及びソフトウエアの組み合わせで実現される。更に、プログラム記憶装置に物理的に実装されたアプリケーションプログラムとしてソフトウエアは実現されてもよい。アプリケーションプログラムは、アップロードされてもよいし、何らかの適切なアーキテクチャを備えたマシンで実行されてもよい。好ましくは、そのマシンはハードウエア(１つ以上の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)及び入力／出力(I/O)インターフェース)を有するコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロインストラクションコードを含んでもよい。本願で説明された様々な(CPUで実行されてよい)プロセス及び機能は、マイクロインストラクションコードの一部でもよいし、アプリケーションプログラムの一部でもよいし、或いはそれらの何らかの組み合わせでもよい。更に、様々な他の周辺装置(例えば、追加的なデータストレージユニット及び印刷装置等)がコンピュータプラットフォームに接続されてもよい。
【００６７】
添付図面に描かれたシステム構成要素及び方法の一部は好ましくはソフトウエアで実現されるので、システム構成要素又はプロセス機能ブロックの実際のつながりは、発明内容がプログラムされる具体的方法に依存して異なるかもしれないことが、更に理解されるべきである。本教示内容の下で、本発明に関するこれら及び同様な実現手段又は構成を当業者は認識するであろう。
【００６８】
添付図面と共に実施例が説明されてきたが、本発明はそれらの具体的な実施例に限定されないこと、本発明の範囲及び精神から逸脱せずに、様々な変更及び修正が当業者によりなされてよいことは理解されるであろう。そのような変更及び修正は添付の特許請求の範囲内に含まれるよう意図されている。
【００６９】
＜関連出願＞
本願は“METHOD  AND  APPARATUS  FOR  SCALABLE  VIDEO  ENCODING  AND  DECODING”西暦2005年10月12日付で出願された米国仮出願第60/725,700号の利益を享受し、その全内容が本願のリファレンスに組み入れられる。
【図面の簡単な説明】
【００７０】
【図１】本発明が適用されるジョイントスケーラブルビデオモデル(JSVM)3.0エンコーダ例のブロック図を示す。
【図２】本発明が適用されるデコーダ例を示すブロック図である。
【図３】関心領域と共にジョイントスケーラブルビデオエンコーディングを行う本発明の一実施例による方法例を示すフローチャートである。
【図４Ａ】関心領域と共にジョイントスケーラブルビデオデコーディングを行う本発明の一実施例による方法例を示すフローチャートである。
【図４Ｂ】関心領域と共にジョイントスケーラブルビデオデコーディングを行う本発明の一実施例による方法例を示すフローチャートである。
【図１】
2009512342.tif 000005
【図２】
2009512342.tif 000006
【図３】
2009512342.tif 000007
【図４Ａ】
2009512342.tif 000008
【図４Ｂ】
2009512342.tif 000009
【手続補正書】
【提出日】平成20年4月23日(2008.4.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ベースレイヤ及びエンハンスメントレイヤを形成するために画像を符号化するエンコーダを有するスケーラブルビデオ符号化装置であって、
前記画像を複数の画像ブロックに区分けし、前記複数の画像ブロックを１つ以上のスライスに関連付けること、前記ベースレイヤの１つ以上のスライスの全て及び前記エンハンスメントレイヤの１つ以上のスライス全てより少ないスライスを符号化すること、及び
前記エンハンスメントレイヤの少なくとも１つの符号化されてないスライスを指定するシンタックスエレメントを符号化することで、前記ベースレイヤ及び前記エンハンスメントレイヤを形成するようにした装置。
【請求項２】
前記エンハンスメントレイヤが少なくとも１つの関心領域アプリケーションをサポートするよう形成され、前記エンハンスメントレイヤで符号化されるエンハンスメントレイヤについての１つ以上のスライス全てより少ないスライスが、関心領域を含むスライスグループに含まれ、前記エンハンスメントレイヤにおける少なくとも１つの符号化されてないスライスは、関心領域のない少なくとも１つのスライスグループ内に含まれる請求項１記載の装置。
【請求項３】
前記シンタックスエレメントは、ヘッダに含まれる請求項１記載の装置。
【請求項４】
ベースレイヤ及びエンハンスメントレイヤを形成するために画像を符号化する符号化ステップを有するスケーラブルビデオ符号化方法であって、前記符号化ステップは、
前記画像を複数の画像ブロックに区分けするステップと、
前記複数の画像ブロックを１つ以上のスライスに関連付けるステップと、
前記ベースレイヤの１つ以上のスライスの全て及び前記エンハンスメントレイヤの１つ以上のスライス全てより少ないスライスを符号化するステップと、
前記エンハンスメントレイヤの少なくとも１つの符号化されてないスライスを指定するシンタックスエレメントを符号化するステップと、
を有する方法。
【請求項５】
前記エンハンスメントレイヤが少なくとも１つの関心領域アプリケーションをサポートするよう形成され、前記エンハンスメントレイヤで符号化されるエンハンスメントレイヤについての１つ以上のスライス全てより少ないスライスが、関心領域を含むスライスグループに含まれ、前記エンハンスメントレイヤにおける少なくとも１つの符号化されてないスライスは、関心領域のない少なくとも１つのスライスグループ内に含まれる請求項４記載の方法。
【請求項６】
前記シンタックスエレメントは、ヘッダに含まれる請求項４記載の方法。  
【請求項７】
ベースレイヤ及びエンハンスメントレイヤを復号するデコーダを有するスケーラブルビデオ復号化装置であって、前記デコーダは、前記エンハンスメントレイヤで１つ以上のスライスが意図的に符号化されていなかったことを示すシンタックスエレメントを分析すること、ベースレイヤ情報のみを用いて、前記エンハンスメントレイヤで意図的に符号化されてない１つ以上のスライスを復号すること、エンハンスメントレイヤ情報を用いて、前記エンハンスメントレイヤにおける複数のスライスの内の残りを復号することで、ベースレイヤ及びエンハンスメントレイヤを復号する装置。
【請求項８】
前記シンタックスエレメントは、ヘッダに含まれる請求項７記載の装置。
【請求項９】
前記エンハンスメントレイヤに示される特定のプロファイルでマルチループデコード処理が許可されているか否かによらず、前記デコーダは、INTRA_BLモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする請求項８記載の装置。
【請求項１０】
前記デコーダは、BL_SKIPモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする請求項８記載の装置。
【請求項１１】
前記エンハンスメントレイヤで符号化されていない１つ以上のスライスが欠如しているように検出されているが、前記エンハンスメントレイヤに対応する画像パラメータセット及びシーケンスパラメータセットでは指定されていなかった場合、前記エンハンスメントレイヤで符号化されてない１つ以上のスライスを隠すように誤り隠蔽処理を前記デコーダが実行する請求項８記載の装置。
【請求項１２】
前記エンハンスメントレイヤで１つ以上のスライスが意図的に符号化されていなかったことを示すシンタックスエレメントを分析するステップと、
ベースレイヤ情報のみを用いて、前記エンハンスメントレイヤで意図的に符号化されてない１つ以上のスライスを復号するステップと、
エンハンスメントレイヤ情報を用いて、前記エンハンスメントレイヤにおける複数のスライスの内の残りを復号するステップと、
を有するスケーラブルビデオ復号方法。
【請求項１３】
前記シンタックスエレメントは、ヘッダに含まれる請求項１２記載の方法。
【請求項１４】
前記エンハンスメントレイヤに示される特定のプロファイルでマルチループデコード処理が許可されているか否かによらず、INTRA_BLモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする請求項１２記載の方法。
【請求項１５】
前記デコーダは、BL_SKIPモードを用いて、前記エンハンスメントレイヤにおける１つ以上の符号化されてないスライスをデコードする請求項１２記載の方法。
【請求項１６】
前記エンハンスメントレイヤで符号化されていない１つ以上のスライスが欠如しているように検出されているが、前記エンハンスメントレイヤに対応する画像パラメータセット及びシーケンスパラメータセットでは指定されていなかった場合、前記エンハンスメントレイヤで符号化されてない１つ以上のスライスを隠すように誤り隠蔽処理を実行する請求項１２記載の方法。
【請求項１７】
画像を複数の画像ブロックに区分けし、前記複数の画像ブロックを１つ以上のスライスに関連付けることで、ベースレイヤ及びエンハンスメントレイヤを形成するために符号化される前記画像を有するスケーラブルビデオ符号化用のビデオ信号構造であって、  
前記ベースレイヤの１つ以上のスライスの全て及び前記エンハンスメントレイヤの１つ以上のスライス全てより少ないスライスが符号化され、及び前記エンハンスメントレイヤの少なくとも１つの符号化されてないスライスを指定するようにシンタックスエレメントが符号化されるようにした構造。
【請求項１８】
符号化されるスケーラブルビデオ信号データを有する記憶媒体であって、
画像を複数の画像ブロックに区分けし、前記複数の画像ブロックを１つ以上のスライスに関連付けることで、ベースレイヤ及びエンハンスメントレイヤを形成するために符号化される前記画像を有し、前記ベースレイヤの１つ以上のスライスの全て及び前記エンハンスメントレイヤの１つ以上のスライス全てより少ないスライスが符号化され、及び前記エンハンスメントレイヤの少なくとも１つの符号化されてないスライスを指定するようにシンタックスエレメントが符号化されるようにした記憶媒体。
【国際調査報告】
2009512342.tif 000010
2009512342.tif 000011
2009512342.tif 000012