(57)【要約】空間／時間解像度を上昇させる方法は、ａ．初期時間／空間解像度を有する現在のビデオを供給するステップと、ｂ．最低の時間／空間解像度の現在のビデオを生成するために、現在のビデオの時間／空間解像度を繰り返し低減させるステップと、ｃ．前記最低の時間／空間解像度の現在のビデオの空間／時間解像度を上昇させるステップと、ｄ．次に高い時間／空間解像度の現在のビデオの空間／時間解像度を上昇させるステップと、ｅ．ステップ（ｄ）を初期時間／空間解像度に至るまで繰り返すステップとを含む。【選択図】図４Ｓ
2016525295.tif 000002
【特許請求の範囲】
【請求項１】
空間解像度を上昇させる方法であって、
ａ．初期時間解像度を有する現在のビデオを供給するステップと、
ｂ．最低の時間解像度の現在のビデオを生成するために、前記現在のビデオの前記時間解像度を繰り返し低減させるステップと、
ｃ．前記最低の時間解像度の現在のビデオの前記空間解像度を上昇させるステップと、
ｄ．次に高い時間解像度の現在のビデオの前記空間解像度を上昇させるステップと、
ｅ．ステップ（ｄ）を前記初期時間解像度に至るまで繰り返すステップと、
を含む、方法。
【請求項２】
時間解像度を上昇させる方法であって、
ａ．初期空間解像度を有する現在のビデオを供給するステップと、
ｂ．最低の空間解像度の現在のビデオを生成するために、前記現在のビデオの前記空間解像度を繰り返し低減させるステップと、
ｃ．前記最低の空間解像度の現在のビデオの前記時間解像度を上昇させるステップと、
ｄ．次に高い空間解像度の現在のビデオの前記時間解像度を上昇させるステップと、
ｅ．ステップ（ｄ）を前記初期空間解像度に至るまで繰り返すステップと、
を含む、方法。
【請求項３】
ステップ（ａ）における前記現在のビデオは、元のビデオを空間的に低減したビデオを含み、
前記ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対して行われ、
前記ステップ（ｃ）および（ｄ）は、前記現在のビデオの前記上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含み、前記計算するステップは、各々の低減した時間解像度の元のビデオを使用するステップを含む、請求項１に記載の方法。
【請求項４】
ステップ（ａ）における前記現在のビデオは、元のビデオを時間的に低減したビデオを含み、
前記ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対し行われ、
前記ステップ（ｃ）および（ｄ）は、前記現在のビデオの前記上昇した時間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含み、前記計算するステップは、各々の低減した空間解像度の元のビデオを使用するステップを含む、請求項２に記載の方法。
【請求項５】
前記現在のビデオは、前記元のビデオの既に復号された空間的に低減したビデオを含み、
前記元のビデオに対する操作は、エンコーダで行われ、
前記拡張データを計算するステップは、前記エンコーダで行われ、
前記拡張データは、前記エンコーダからデコーダへ供給され、
前記拡張データを使用するステップは、前記エンコーダおよび前記デコーダの両方で行われる、請求項３に記載の方法を含む、ビデオ圧縮方法。
【請求項６】
前記現在のビデオは、前記元のビデオの既に復号された時間的に低減したビデオを含み、
前記元のビデオに対する操作は、エンコーダで行われ、
前記拡張データを計算するステップは、前記エンコーダで行われ、
前記拡張データは、前記エンコーダからデコーダへ供給され、
前記拡張データを使用するステップは、前記エンコーダおよび前記デコーダの両方で行われる、請求項４に記載の方法を含む、ビデオ圧縮方法。
【請求項７】
前記拡張データは、圧縮されたモードで提供される、請求項５に記載の方法。
【請求項８】
前記拡張データは、圧縮されたモードで提供される、請求項６に記載の方法。
【請求項９】
前記拡張データを計算するステップは、前記上昇した空間解像度の現在のビデオと、前記各々の低減した時間解像度の元のビデオとを比較するステップを含む、請求項５に記載の方法。
【請求項１０】
前記拡張データを計算するステップは、前記上昇した時間解像度の現在のビデオと、前記各々の低減した空間解像度の元のビデオとを比較するステップを含む、請求項６に記載の方法。
【請求項１１】
前記ステップ（ｂ）における低減させるステップの前に、前記現在のビデオを時間的にぼかすステップをさらに含む、請求項１に記載の方法。
【請求項１２】
前記ステップ（ｄ）は、前記現在のビデオのぼかしを時間的に除去するステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記ぼかしを除去するステップは、前記次に高い時間解像度の現在のビデオの前記空間解像度を上昇させるステップの後に行われる、請求項１２に記載の方法。
【請求項１４】
前記ステップ（ｂ）における低減させるステップの前に、前記現在のビデオを空間的にぼかすステップをさらに含む、請求項２に記載の方法。
【請求項１５】
前記ステップ（ｄ）は、前記現在のビデオのぼかしを空間的に除去するステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記ぼかしを除去するステップは、前記次に高い空間解像度の現在のビデオの前記時間解像度を上昇させるステップの後に行われる、請求項１５に記載の方法。
【請求項１７】
画像圧縮方法であって、
ａ．初期空間解像度を有する元の画像を供給するステップと、
ｂ．最低の空間解像度の元の画像を生成するために、前記元の画像の前記空間解像度を繰り返し低減させるステップと、
ｃ．前記最低の空間解像度の元の画像から最低の空間解像度の現在の画像を供給するステップと、
ｄ．前記現在の画像の前記空間解像度を、前記元の画像の次に高い空間解像度に上昇させるステップと、
ｅ．前記ステップ（ｄ）を前記元の画像の前記初期空間解像度に至るまで繰り返すステップと、
を含み、
前記ステップ（ｄ）は、前記現在の画像の前記上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含み、前記計算するステップは、各々の低減した空間解像度の元の画像を使用するステップを含み、
前記元の画像に対する操作は、エンコーダで行われ、
前記最低の空間解像度の現在の画像は、前記エンコーダからデコーダへ供給され、
前記拡張データを計算するステップは、前記エンコーダで行われ、
前記拡張データは、前記エンコーダから前記デコーダへ供給され、
前記拡張データを使用するステップは、前記エンコーダおよび前記デコーダの両方で行われる、画像圧縮方法。
【請求項１８】
前記最低の空間解像度の現在の画像は、圧縮されたモードで提供される、請求項１７に記載の方法。
【請求項１９】
前記拡張データは、圧縮されたモードで提供される、請求項１７に記載の方法。
【請求項２０】
前記拡張データを計算するステップは、前記上昇した空間解像度の現在の画像と、前記各々の低減した空間解像度の元の画像とを比較するステップを含む、請求項１７に記載の方法。
【請求項２１】
前記ステップ（ｂ）における低減させるステップの前に、前記元の画像を空間的にぼかすステップをさらに含む、請求項１７に記載の方法。
【請求項２２】
前記ステップ（ｄ）は、前記現在の画像のぼかしを空間的に除去するステップをさらに含む、請求項２１に記載の方法。
【請求項２３】
前記ぼかしを除去するステップは、前記現在の画像の前記空間解像度を上昇させるステップの後に行われる、請求項２２に記載の方法。
【請求項２４】
レイテンシのないビデオ圧縮方法であって、
請求項１７に記載の方法を使用して第１のビデオフレームを圧縮するステップと、
一度に１つの最後のフレームを前記既に処理されたビデオに追加し、請求項６に記載の方法を使用して、次のフレームを繰り返し圧縮するステップとを含み、
前記現在のビデオは、前記既に復号されたビデオを含み、前記元のビデオは、前記追加された新たな最後のフレームを持つ前記既に処理されたビデオを含む、レイテンシのないビデオ圧縮方法。
【請求項２５】
前記ステップ（ｃ）および（ｄ）における前記空間解像度を上昇させるステップは、より低い時間解像度の現在のビデオを分析するステップを含む、請求項１に記載の方法。
【請求項２６】
前記ステップ（ｃ）および（ｄ）における前記空間解像度を上昇させるステップは、前記上昇させられる空間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップを含む、請求項２５に記載の方法。
【請求項２７】
前記上昇させられる空間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップは、画素レベルで行われる、請求項２６に記載の方法。
【請求項２８】
前記ステップ（ｃ）および（ｄ）における前記時間解像度を上昇させるステップは、より低い空間解像度の現在のビデオを分析するステップを含む、請求項２に記載の方法。
【請求項２９】
前記ステップ（ｃ）および（ｄ）における前記時間解像度を上昇させるステップは、前記上昇させられる時間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップを含む、請求項２８に記載の方法。
【請求項３０】
前記上昇させられる時間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップは、画素レベルで行われる、請求項２９に記載の方法。
【請求項３１】
前記ステップ（ｄ）における前記空間解像度を上昇させるステップは、より低い空間解像度の現在の画像を分析するステップを含む、請求項１７に記載の方法。
【請求項３２】
前記ステップ（ｄ）の前記空間解像度を上昇させるステップは、前記上昇させられる空間解像度の現在の画像の前記空間幾何学的構造を計算するステップを含む、請求項３１に記載の方法。
【請求項３３】
前記上昇させられる空間解像度の現在の画像の前記空間幾何学的構造を計算するステップは、画素レベルで行われる、請求項３２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像およびビデオ処理の分野にある。
【０００２】
関連特許出願の相互参照
本特許出願は、２０１３年６月２５日に出願された米国仮特許出願第６１／８３８，８９２号の関連出願で、この仮出願からの優先権を主張するものであり、本米国仮特許出願は参照により本明細書全体に援用される。
【背景技術】
【０００３】
未加工のビデオファイルは巨大である。例えば、１秒当たりのフレーム数（ｆｐｓ：ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）が１２０、１フレーム当り３８４０×２１６０画素、１画素あたり３色、および１色あたり１６ビットの超高解像度（ＵＨＤ：Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）の映画は、以下の帯域幅を必要とする。
３８４０＊２１６０＊１２０＊３＊１６＝４７，７７５，７４４，０００ビット毎秒≒５０ギガビット毎秒であり、約５００個の高速（１００Ｍｂｐｓ）ファイバーチャネルに等しい。
当該映画が、通常通り、２時間続くとすると、以下の記憶容量が必要である。
４７，７７５，７４４，０００＊７，２００≒３４３，９８５ギガビット≒４５テラバイトであり、約５０００枚の普通の（５ギガバイト）ＤＶＤディスクに等しい。
ビデオ圧縮は、「視覚品質に影響を与えずにビデオのサイズを低減する技術」であり、したがって、ビデオを扱うどの用途にも必要なツールである。
【０００４】
一般的に、ビデオはＲＧＢ色空間またはＹＵＶ色空間のコンポーネント等、複数のコンポーネントからなる。ただし、ここではそのコンポーネントのうち１つのみを、一般性を失うことなく考察する。ビデオへ全体の一般化は特許文献１に述べられている。
【０００５】
整数格子Ｚｎは、実ユークリッド空間Ｒｎにおけるｎ組の整数のセットである。フレームは、格子Ｚ２上では矩形のグリッドとして見え、ビデオはＺ３上では立方体形のグリッドとして見ることができる。格子のサブセットは、それ自体が格子であるが、副格子と呼ばれる。非特許文献１を参照されたい。図１にＺ２の副格子の例を示す。２つのＱｕｉｎｃｕｎｘ副格子をユニット１１０に示す。白く丸囲みされた点が偶数の副格子を構成し、黒く丸囲みされた点が奇数の副格子である。４つの二進（ｄｙａｄｉｃ）副格子をユニット１２０に同様に示す。伸張（ｄｉｌａｔｉｏｎ）マトリクスは副格子に関連付けられている。Ｑｕｉｎｃｕｎｘの場合はユニット１１５を、二進の場合はユニット１２５を参照されたい。さらに、可能な副格子の数は、対応する伸張マトリクスの行列式で決まることに留意されたい。
【０００６】
ダウンサンプリングは、所与の格子から副格子を抽出するステップを意味する。例えば、図２に二進ダウンサンプリングを示す。ユニット２１０に入力信号を示す。ユニット２２０に時間ダウンサンプリングを、ユニット２３０に空間ダウンサンプリングを示す。ユニット２４０に時間および空間が組み合わされたダウンサンプリングを示す。
【０００７】
汎用ビデオ・コーデックは、図３に示すように、以下のものからなる。
【０００８】
１．エンコーダ
入力ビデオをＹで示し、符号化された出力ビデオをＹ’で示す。
２．ビット・ストリーム
ビット・ストリームは、符号化されたビデオＹ’である。
用途により、送信されるかまたはディスクに保存される。
３．デコーダ
デコーダへの入力がビット・ストリームであり、復号された出力ビデオを
【数１】
2016525295.tif 000003
で示す。
詳細については、特許文献１を参照されたい。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際出願公開ＷＯ／２０１４／０５３９８２
【非特許文献】
【００１０】
【非特許文献１】“Ｍｕｌｔｉｗａｖｅｌｅｔｓ  ｉｎ  Ｒｎ  ｗｉｔｈ  ａｎ  Ａｒｂｉｔｒａｒｙ  Ｄｉｌａｔｉｏｎ  Ｍａｔｒｉｘ”，  Ｃ．  Ｃａｂｒｅｌｌｉ，  Ｃ．  Ｈｅｉｌ，  ａｎｄ  Ｕ．  Ｍｏｌｔｅｒ，  ｉｎ  Ｌ．  Ｄｅｂｎａｔｈ，  Ｗａｖｅｌｅｔｓ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ，  ２００２
【発明の概要】
【００１１】
本発明の第一の態様によれば、ａ．初期時間解像度を有する現在のビデオを供給するステップと、ｂ．最低の時間解像度の現在のビデオを生成するために、現在のビデオの時間解像度を繰り返し低減させるステップと、ｃ．前記最低の時間解像度の現在のビデオの空間解像度を上昇させるステップと、ｄ．次に高い時間解像度の現在のビデオの空間解像度を上昇させるステップと、ｅ．ステップ（ｄ）を初期時間解像度に至るまで繰り返すステップとを含む、空間解像度を上昇させる方法が提供される。
【００１２】
ステップ（ａ）における現在のビデオは、元のビデオを空間的に低減したビデオを含んでもよく、ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対し行ってもよく、ステップ（ｃ）および（ｄ）は、現在のビデオの上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップとをさらに含んでもよく、前記計算するステップは、各々の低減した時間解像度の元のビデオを使用するステップを含んでもよい。
【００１３】
本方法は、ビデオ圧縮方法を含んでもよく、現在のビデオは、元のビデオの既に復号された空間的に低減したビデオを含んでもよく、元のビデオに対する操作は、エンコーダで行われてもよく、拡張データを計算するステップは、エンコーダで行われてもよく、前記拡張データは、前記エンコーダからデコーダへ供給されてもよく、拡張データを使用するステップは、エンコーダおよびデコーダの両方で行われてもよい。
【００１４】
拡張データは、圧縮されたモードで提供されてもよい。
【００１５】
拡張データを計算するステップは、上昇した空間解像度の現在のビデオと、各々の低減した時間解像度の元のビデオとを比較するステップを含んでもよい。
【００１６】
本方法は、ステップ（ｂ）における低減させるステップの前に、現在のビデオを時間的にぼかすステップをさらに含んでもよい。
【００１７】
ステップ（ｄ）は、前記現在のビデオのぼかしを時間的に除去するステップをさらに含んでもよい。
【００１８】
ぼかしを除去するステップは、次に高い時間解像度の現在のビデオの空間解像度を上昇させるステップの後に行ってもよい。
【００１９】
本発明の第二の態様によれば、ａ．初期空間解像度を有する現在のビデオを供給するステップと、ｂ．最低の空間解像度の現在のビデオを生成するために、現在のビデオの空間解像度を繰り返し低減させるステップと、ｃ．前記最低の空間解像度の現在のビデオの時間解像度を上昇させるステップと、ｄ．次に高い空間解像度の現在のビデオの時間解像度を上昇させるステップと、ｅ．ステップ（ｄ）を初期空間解像度に至るまで繰り返すステップとを含む、時間解像度を上昇させる方法が提供される。
【００２０】
ステップ（ａ）における現在のビデオは、元のビデオの時間的に低減したビデオを含んでもよく、ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対し行ってもよく、ステップ（ｃ）および（ｄ）は、現在のビデオの上昇した時間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含んでもよく、計算するステップは、各々の低減した空間解像度の元のビデオを使用するステップを含んでもよい。
【００２１】
本方法は、ビデオ圧縮方法を含んでもよく、前記現在のビデオは、元のビデオの既に復号された時間的に低減したビデオを含んでもよく、元のビデオに対する操作は、エンコーダで行われてもよく、拡張データを計算するステップは、エンコーダで行われてもよく、前記拡張データは、前記エンコーダからデコーダへ供給されてもよく、拡張データを使用するステップは、エンコーダおよびデコーダの両方で行われてもよい。
【００２２】
拡張データは、圧縮されたモードで提供されてもよい。
【００２３】
拡張データを計算するステップは、上昇した時間解像度の現在のビデオと、各々の低減した空間解像度の元のビデオとを比較するステップを含んでもよい。
【００２４】
本方法は、ステップ（ｂ）における低減させるステップの前に、現在のビデオを空間的にぼかすステップをさらに含んでもよい。
【００２５】
ステップ（ｄ）は、前記現在のビデオのぼかしを空間的に除去するステップをさらに含んでもよい。
【００２６】
ぼかしを除去するステップは、次に高い空間解像度の現在のビデオの時間解像度を上昇させるステップの後に行ってもよい。
【００２７】
本発明の第三の態様によれば、ａ．初期空間解像度を有する元の画像を供給するステップと、ｂ．最低の空間解像度の元の画像を生成するために、前記元の画像の空間解像度を繰り返し低減させるステップと、ｃ．前記最低の空間解像度の元の画像から最低の空間解像度の現在の画像を供給するステップと、ｄ．現在の画像の空間解像度を、元の画像の次に高い空間解像度に上昇させるステップと、ｅ．ステップ（ｄ）を元の画像の初期空間解像度に至るまで繰り返すステップとを含む、画像圧縮方法が提供され、前記ステップ（ｄ）は、現在の画像の上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含んでもよく、前記計算するステップは、各々の低減した空間解像度の元の画像を使用するステップを含んでもよく、元の画像に対する操作は、エンコーダで行われてもよく、前記最低の空間解像度の現在の画像は、前記エンコーダからデコーダへ供給されてもよく、拡張データを計算するステップは、エンコーダで行われてもよく、前記拡張データは、前記エンコーダからデコーダへ供給されてもよく、拡張データを使用するステップは、エンコーダおよびデコーダの両方で行われてもよい。
【００２８】
最低の空間解像度の現在の画像は、圧縮されたモードで提供されてもよい。
【００２９】
拡張データは、圧縮されたモードで提供されてもよい。
【００３０】
拡張データを計算するステップは、上昇した空間解像度の現在の画像と、各々の低減した空間解像度の元の画像とを比較するステップを含んでもよい。
【００３１】
本方法は、ステップ（ｂ）における低減させるステップの前に、元の画像を空間的にぼかすステップをさらに含んでもよい。
【００３２】
ステップ（ｄ）は、前記現在の画像のぼかしを空間的に除去するステップをさらに含んでもよい。
【００３３】
ぼかしを除去するステップは、現在の画像の空間解像度を上昇させるステップの後に行われてもよい。
【００３４】
本発明の第四の態様によれば、レイテンシのないビデオ圧縮方法が提供される。
【図面の簡単な説明】
【００３５】
【図１】Ｑｕｉｎｃｕｎｘおよび二進の副格子ならびに伸張マトリクスを示す。
【図２】二進ダウンサンプリングを示す。
【図３】汎用ビデオ・コーデックの図である。
【図４Ｓ】ビデオの空間解像度上昇の図である。
【図４Ｔ】ビデオの時間解像度上昇の図である。
【図５】単一画像エンコーダ・レイズ・アルゴリズムの図である。
【図６】単一画像デコーダ・レイズ・アルゴリズムの図である。
【図７】具体的な単一画像エンコーダ・レイズ・アルゴリズムの図である。
【図８】具体的な単一画像デコーダ・レイズ・アルゴリズムの図である。
【図９】レイテンシのないビデオ・エンコーダの図である。
【図１０】レイテンシのないビデオ・デコーダの図である。
【図１１】レイテンシのないエンコーダ・レイズ・アルゴリズムの図である。
【図１２】レイテンシのないデコーダ・レイズ・アルゴリズムの図である。
【図１３】具体的なレイテンシのないエンコーダ・レイズ・アルゴリズムの図である。
【図１４】具体的なレイテンシのないデコーダ・レイズ・アルゴリズムの図である。
【図１５】マルチ・フレーム・ビデオ・コーデックの図である。
【図１６】マルチ・フレーム・エンコーダ・レイズ・アルゴリズムの図である。
【図１７】マルチ・フレーム・デコーダ・レイズ・アルゴリズムの図である。
【図１８】具体的な時間マルチ・フレーム・エンコーダ・レイズ・アルゴリズムの図である。
【図１９】具体的な時間マルチ・フレーム・デコーダ・レイズ・アルゴリズムの図である。
【図２０】具体的な空間マルチ・フレーム・エンコーダ・レイズ・アルゴリズムの図である。
【図２１】具体的な空間マルチ・フレーム・デコーダ・レイズ・アルゴリズムの図である。
【発明を実施するための形態】
【００３６】
本発明は、特許文献１に記載されているように、レイズ操作のための新たなアルゴリズム、すなわち、ビデオの空間‐時間解像度上昇の各々の１ステージを提供するものである。レイズ操作は、エンコーダおよびデコーダの両方で行われる。エンコーダは、デコーダのレイズ操作をシミュレートし、必要に応じて追加の詳細を送る。
【００３７】
新たなレイズ・アルゴリズムは、画像およびビデオ・コーデックの現在の技術水準に勝る多くの基本的利点を有する、新たな画像およびビデオ圧縮コーデックをもたらすものである。すなわち以下のものである。
１．デコーダは、レイズ・アルゴリズムのＯｒａｃｌｅ（登録商標）操作を、動きベクトルなどの補足情報の必要なく、行う。
２．エンコーダから補足情報を受取る必要がないため、圧縮率が大幅に向上する。
３．コーデックは、最良の圧縮結果を達成するよう画素レベルで動作できる。対照的に、ｍｐｅｇは様々なブロックサイズの使用を余儀なくされる。
４．画素レベルで動作するので、ｍｐｅｇ規格では普通である、煩わしいブロック・アーティファクトを被ることはない。
５．デコーダは、ズームおよび回転など複雑な動きを検出するために、オプティカルフローなど、より高度な方法を使用できる。対象的に、ｍｐｅｇは平行移動（ｔｒａｎｓｌａｔｉｏｎ）のみを検出するブロック・マッチング・アルゴリズムを使用する。
６．デコーダは、エッジ検出方法など、より高度な空間予測方法を使用することもできる。これはｍｐｅｇでは不可能である。
７．コーデックは、計算を加速するためにＧＰＵなど、ＳＩＭＤ（ｓｉｎｇｌｅ  ｉｎｓｔｒｕｃｔｉｏｎ  ｍｕｌｔｉｐｌｅ  ｄａｔａ：単一命令複数データ）プロセッシング・ハードウェアを使用できるが、逆にｍｐｅｇでは、ＳＩＭＤがほぼ不可能である。
８．ＳＩＭＤハードウェアを使用することができるため、処理能力と引き換えに圧縮率を得て、より良い圧縮アルゴリズムを設計することができる。これは、補足情報を送る必要のために圧縮におけるいかなる実質的な向上も妨げられる、ｍｐｅｇでは可能ではない。
【００３８】
図４Ｓはビデオの空間解像度上昇のためのレイズ・アルゴリズムのフローチャートである。ステップ４１０で、ビデオの初期時間解像度が、何らかの所与の最低時間解像度ビデオに達するまで、繰り返し低減される。ステップ４２０で、次に、当該の所与の最低時間解像度ビデオの空間解像度が、Ｏｒａｃｌｅアルゴリズムを使用して上昇させられる。Ｏｒａｃｌｅアルゴリズムでは、最初に最低時間解像度ビデオを時間的および空間的の両方で分析する。時間分析においては、上昇予定の空間解像度ビデオの時間動きフィールドを計算する。同様に、空間分析においては、上昇予定の空間解像度ビデオの空間幾何学的構造を計算する。最後に、当該空間および／または時間情報を使用して、上昇した空間解像度ビデオを予測する。ここで、Ｏｒａｃｌｅアルゴリズムは、所与の最低時間解像度ビデオのより高い空間解像度ビデオを、エンコーダから補足情報を一切受取ることなしに再構築することを強調する。一旦これが終わると、エンコーダは、予測された上昇した空間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。次にステップ４３０で、これらの不足している詳細が、再構築されたビデオに追加される。ステップ４４０で、ステップ４１０とは反対の操作が行われる。すなわち、ビデオの時間解像度が繰り返し上昇させられる。これは次のサブステップを用いて行われる。
・サブステップ４４１で、次に高い時間解像度ビデオの空間解像度が、ステップ４２０で述べたように、Ｏｒａｃｌｅアルゴリズムを使用して上昇させられる。ここで、Ｏｒａｃｌｅアルゴリズム予測は、エンコーダから補足情報を一切受取ることなしに行われることを再び強調する。
・一旦これが終わると、エンコーダは、当該予測された上昇した空間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。サブステップ４４２で、これらの不足している詳細が、再構築されたより高い空間解像度ビデオに追加される。
【００３９】
上記２つのサブステップが、ステップ４１０の初期時間解像度に達するまで、繰り返し行われる。ただし、この時までに、ビデオ全体の空間解像度が上昇していることに注意されたい。
【００４０】
時間解像度上昇のためのレイズ・アルゴリズムは非常に似ている。図４Ｓの用語、空間と時間とを入れ替えさえすれば、図４Ｔになる。ここで、ステップ４６０において、ビデオの初期空間解像度が、何らかの所与の最低空間解像度ビデオに達するまで、繰り返し低減される。ステップ４７０で、所与の最低空間解像度ビデオの時間解像度が上昇させられる。上述のように、Ｏｒａｃｌｅアルゴリズムでは、最初に最低空間解像度ビデオを時間的および空間的の両方で分析する。時間分析においては、上昇予定の時間解像度ビデオの時間動きフィールドを計算する。同様に、空間分析においては、上昇予定の時間解像度ビデオの空間幾何学的構造を計算する。最後に、当該時間および／または空間情報を使用して、上昇した時間解像度ビデオを予測する。その予測は、エンコーダから補足情報を一切受取ることなしに行われることを再び強調する。次にエンコーダは、予測された上昇した時間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。次にステップ４８０で、これらの不足している詳細が、再構築されたビデオに追加される。ステップ４９０で、ステップ４６０とは反対の操作が行われる。すなわち、次のサブステップを用いて、ビデオの空間解像度が繰り返し上昇させられる。
・サブステップ４９１で、次に高い空間解像度ビデオの時間解像度が、ステップ４７０で述べたように、Ｏｒａｃｌｅアルゴリズムを使用して上昇させられる。ここで、Ｏｒａｃｌｅアルゴリズム予測は、エンコーダから補足情報を一切受取ることなしに行われることを再び強調する。
・一旦これが終わると、エンコーダは、当該予測された上昇した時間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。次にサブステップ４９２で、これら不足している詳細が、再構築されたより高い時間解像度ビデオに追加される。
【００４１】
上記２つのサブステップが、ステップ４６０の初期空間解像度に達するまで、繰り返し行われる。上述の通り、この時までに、ビデオ全体の時間解像度が上昇している。
【００４２】
本発明はさらに、超解像、画像マッティングおよび合成、穴埋め、画像スティッチング、３Ｄ再構成、インペインティング、認識その他など、多くの他の画像およびビデオ用途にも有用である。参考文献［４］を参照されたい。例えば、図４Ｓからステップ４３０およびサブステップ４４２を省略すれば、ビデオの空間超解像度上昇のためのアルゴリズムを得る。同様に、図４Ｔからステップ４８０およびサブステップ４９２を省略すれば、ビデオの時間超解像度上昇のためのアルゴリズムを得る。
【００４３】
以下、次の使用例における新たなレイズ・アルゴリズムの説明に進む。使用例は、単一画像圧縮、レイテンシのないビデオ圧縮、およびマルチ・フレーム・ビデオ圧縮である。
【００４４】
使用例：単一画像コーデック
本発明はさらに、単一画像の圧縮にも適用され、その場合は、レイズ・アルゴリズムを、フレーム無しのビデオの時間解像度上昇として見てもよい。レイズ・アルゴリズムを図５および図６に示す。主要ステージの概説の後に、具体的なレイズ実装の説明に進む。
【００４５】
単一画像エンコーダ・レイズ・アルゴリズム
（図５）
ステージＩ
ステップ１：Ｙを入力画像とする。次に、２次元ぼかしフィルタをＹに適用して、その結果のぼかし画像をＢとして示す。
ステップ２：Ｂをダウンサンプリングして、その結果のダウンサンプリングされたサブ画像をＣとして示す。例えば、Ｑｕｉｎｃｕｎｘ法によるダウンサンプリングを、図１のユニット１１０に描く。
ステップ３：ぼかしてダウンサンプリングされたサブ画像Ｃに適用された、現単一画像エンコーダ・レイズ・アルゴリズムを使用して、ＣをＣ’に再帰的に符号化する。最低レベルでは、最低解像度のサブ画像Ｘに達する。次に、参考文献［２］に説明されている方法など、既存の画像圧縮方法を使用して、Ｘを符号化する。再帰を終了する最低レベルは、参考文献［３］に説明されているようなレート歪み技術を使用して、予めあるいは動的に定めることができる。
ステップ４：符号化されたデータＣ’をビット・ストリームにのせる。
【００４６】
ステージＩＩ
【数２】
2016525295.tif 000004
【００４７】
ステージＩＩＩ
【数３】
2016525295.tif 000005
【００４８】
単一画像ビット・ストリーム
ビット・ストリームは、符号化されたサブ画像Ｃ’および詳細Ｄ’からなる。Ｃ’は再帰的に計算されるので、Ｃ’自体は非常に低い解像度の符号化されたサブ画像および対応する詳細のシーケンスからなる。
【００４９】
単一画像デコーダ・レイズ・アルゴリズム
（図６）
ステージＩ
ステップ１：ビット・ストリームからＣ’を得る。
【００５０】
ステージＩＩ
【数４】
2016525295.tif 000006
【００５１】
ステージＩＩＩ
【数５】
2016525295.tif 000007
【００５２】
例１：具体的な単一画像レイズ・アルゴリズム
（図７、図８）
本セクションでは、上述の単一画像レイズ・アルゴリズムの可能な一つの実装を説明する。ただし、他の多くのエンコーダ／デコーダ実装が可能なことに留意されたい。
【数６】
2016525295.tif 000008
エッジ検出方法など、多くの画像処理ツールが本目的のために使用できる。例えば、参考文献［４］および参考文献［５］を参照されたい。
【００５３】
【数７】
2016525295.tif 000009
【００５４】
使用例：レイテンシのないビデオ・コーデック
レイテンシのないビデオ・コーデックでは、ビデオフレームが順次処理される。すなわち、各ステップでは、既に圧縮されたビデオフレームを所与として、次に来るフレームを圧縮する。本例でのレイズ・アルゴリズムは、追加の最後のフレームを持つビデオの時間解像度上昇に等しい。レイテンシのないビデオ・コーデックは、レイテンシがシステムの最も重要な面である、ビデオ会議およびテレビ電話など、タイム・クリティカルな用途にとって不可欠である。
【００５５】
レイテンシのないビデオ圧縮アルゴリズムは次の各ステップからなる。
【数８】
2016525295.tif 000010
【００５６】
上記ステップ４〜６を、ｋ＝１，．．．，ＮとしてＮ回繰り返し適用する。
図９にレイテンシのないビデオ・エンコーダが描かれ、さらに、図１０に対応するレイテンシのないビデオ・デコーダが描かれている。
【００５７】
次に、レイテンシのないレイズ・アルゴリズムの主要ステージを検討し、さらに具体的なレイテンシのないレイズ実装の説明に進む。
【００５８】
レイテンシのないエンコーダ・レイズ・アルゴリズム
ｋ＝１，．．，Ｎ  繰り返し
（図１１）
ステージＩ
【数９】
2016525295.tif 000011
【００５９】
ステージＩＩ
【数１０】
2016525295.tif 000012
【００６０】
ステージＩＩＩ
【数１１】
2016525295.tif 000013
【００６１】
レイテンシのないビデオ・ビット・ストリーム
ｋ＝１，．．．，Ｎ  繰り返し
【数１２】
2016525295.tif 000014
【００６２】
レイテンシのないデコーダ・レイズ・アルゴリズム
ｋ＝１，．．．，Ｎ  繰り返し
（図１２）
ステージＩ
【数１３】
2016525295.tif 000015
【００６３】
ステージＩＩ
【数１４】
2016525295.tif 000016
【００６４】
ステージＩＩＩ
【数１５】
2016525295.tif 000017
【００６５】
例２：具体的なレイテンシのないレイズ・アルゴリズム
（図１３、図１４）
本セクションでは、上述のレイテンシのないレイズ・アルゴリズムの可能な一実装を説明する。ただし、他の多くの実装が可能なことに留意されたい。
【００６６】
【数１６】
2016525295.tif 000018
【００６７】
空間予測
【数１７】
2016525295.tif 000019
【００６８】
時間予測
【数１８】
2016525295.tif 000020
【００６９】
ブロック構築
【数１９】
2016525295.tif 000021
【００７０】
ブロック・マッチング
【数２０】
2016525295.tif 000022
【００７１】
予測
【数２１】
2016525295.tif 000023
【００７２】
低レイテンシのＯｒａｃｌｅ予測方法
【数２２】
2016525295.tif 000024
【００７３】
使用例：マルチ・フレーム・ビデオ・コーデック
マルチ・フレーム・ビデオ・コーデックでは、ビデオフレームは、例えば、ビデオの各々のカットに対応するブロックのようなブロックで処理される。特許文献１を参照されたい。さらに、フレームのそのような各ブロックを、独立して並行に処理する。本セクションでは、したがって、ビデオをそのように対応するフレームのブロックであると単純に考える。マルチ・フレーム・ビデオ・コーデックは、ビデオ・オン・デマンド（ＶＯＤ：Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）またはＤＶＤなど、リアルタイムの相互作用を必要としない用途に有用である。
【００７４】
図１５を参照のマルチ・フレーム・ビデオ・コーデックは、次のステージからなる。
【００７５】
ステージＩ：縮小操作
入力ビデオをＹで示すとし、軸、空間または時間を選ぶ。次に、Ｙを対応する軸方向に沿ってぼかし、ぼかしビデオをＰとして示す。さらに、Ｐを適宜ダウンサンプリングしてＱを得る。例えば、軸が時間の場合、ダウンサンプリングは、ビデオのフレームを１つ置きに取り除く行為であってもよい。図２を参照されたい。同様に、軸が空間の場合、ダウンサンプリングは、各フレームから、奇数のＱｕｉｎｃｕｎｘ副格子を取り除く行為であってもよい。図１を参照されたい。
【００７６】
ステージＩＩ：符号化／復号操作
【数２３】
2016525295.tif 000025
【００７７】
ステージＩＩＩ：レイズ操作
【数２４】
2016525295.tif 000026
【００７８】
本セクションでは、マルチ・フレーム・ビデオ・コーデックのためのレイズ・アルゴリズムを説明する。レイズ・アルゴリズムの主要ステージの概説の後、いくつかの具体的なレイズ実装の説明に進む。
【００７９】
マルチ・フレーム・エンコーダ・レイズ・アルゴリズム
（図１６）
ステージＩ
ステップ１：軸方向を、各々の縮小軸方向に対して相補しているものとして設定する。すなわち、各々の縮小軸が空間だった場合、軸は時間で、逆も同様である。
ステップ２：Ｒを、ＰにおけるＱの相補物として示すとする。図１５を参照されたい。例えば、ダウンサンプリングが、ビデオのフレームを１つ置きに取り除く行為である場合、ＲはＰから取り除かれる１つ置きのフレームである。同様に、ダウンサンプリングが、各フレームから奇数のＱｕｉｎｃｕｎｘ副格子を取り除く行為である場合、Ｒはそれぞれの各フーレムの奇数のＱｕｉｎｃｕｎｘ副格子である。
ステップ３：
【数２５】
2016525295.tif 000027
軸が空間の場合は、各フレームに２次元ぼかしフィルタを適用し、軸が時間の場合は、フレームの方向に沿って１次元ぼかしフィルタを適用することに留意されたい。
ステップ４：
【数２６】
2016525295.tif 000028
軸が空間の場合は、例えば各フレームの奇数のＱｕｉｎｃｕｎｘ副格子を取り除いて、各フレームを空間的にダウンサンプリングすることに留意されたい。図１ユニット１１０を参照されたい。同様に、軸が時間の場合は、例えばフレームを１つ置きに取り除くことによって、フレームを時間的にダウンサンプリングすることに留意されたい。図２を参照されたい。
【００８０】
ステージＩＩ
【数２７】
2016525295.tif 000029
【００８１】
ステージＩＩＩ
【数２８】
2016525295.tif 000030
【００８２】
ステージＩＶ
【数２９】
2016525295.tif 000031
【００８３】
マルチ・フレーム・ビデオ・ビット・ストリーム
【数３０】
2016525295.tif 000032
【００８４】
マルチ・フレーム・デコーダ・レイズ・アルゴリズム
（図１７）
ステージＩ
【数３１】
2016525295.tif 000033
【００８５】
ステージＩＩ
【数３２】
2016525295.tif 000034
【００８６】
ステージＩＩＩ
【数３３】
2016525295.tif 000035
【００８７】
ステージＩＶ
【数３４】
2016525295.tif 000036
【００８８】
例３：具体的な時間マルチ・フレーム・レイズ・アルゴリズム
（図１８、図１９）
本セクションでは、上述の時間マルチ・フレーム・レイズ・アルゴリズムの可能な一実装を説明する。ただし、他の多くの実装が可能なことに留意されたい。
【００８９】
【数３５】
2016525295.tif 000037
【００９０】
空間予測
【数３６】
2016525295.tif 000038
【００９１】
時間予測
【数３７】
2016525295.tif 000039
【００９２】
マルチ‐フレームＯｒａｃｌｅ方法
【数３８】
2016525295.tif 000040
【００９３】
例４：具体的な空間マルチ・フレーム・レイズ・アルゴリズム
（図２０、図２１）
本セクションでは、上述の空間マルチ・フレーム・レイズ・アルゴリズムの可能な一実装を説明する。これは例３と非常に類似しており、ここでは、空間操作および時間操作の役割が交換されただけである。ただし、他の多くの実装が可能なことに留意されたい。
【００９４】
【数３９】
2016525295.tif 000041
【００９５】
空間予測
上述の例３と同じである。
【００９６】
時間予測
上述の例３と同じである。
【００９７】
マルチ‐フレームＯｒａｃｌｅ方法
【数４０】
2016525295.tif 000042
【００９８】
次の文献は、本出願において参照されており、全てが本明細書に引用により組み入れられている。
【００９９】
特許文献
特許文献［１］Ｉｌａｎ  Ｂａｒ−Ｏｎ  及び  Ｏｌｅｇ  Ｋｏｓｔｅｎｋｏ，  Ａ  Ｎｅｗ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ，国際公開ＷＯ／２０１４／０５３９８２号
特許文献［２］Ｉｌａｎ  Ｂａｒ−Ｏｎ，  Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  ａ  Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  Ｄｉｓｃｒｅｔｅ  Ｍｕｌｔｉｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ，  米国特許第８，３３１，７０８号（Ｂ２）、２０１２年１２月１１日
特許文献［３］Ｉｌａｎ  Ｂａｒ−Ｏｎ  及び  Ｏｌｅｇ  Ｋｏｓｔｅｎｋｏ，  Ａ  Ｍｅｔｈｏｄ  ａｎｄ  ａ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｗａｖｅｌｅｔ  Ｂａｓｅｄ  Ｐｒｏｃｅｓｓｉｎｇ、国際出願公開ＷＯ／２００８／０８１４５９号。
【０１００】
参考文献
参考文献［１］“Ｍｕｌｔｉｗａｖｅｌｅｔｓ  ｉｎ  Ｒｎ  ｗｉｔｈ  ａｎ  Ａｒｂｉｔｒａｒｙ  Ｄｉｌａｔｉｏｎ  Ｍａｔｒｉｘ”，  Ｃ．  Ｃａｂｒｅｌｌｉ，  Ｃ．  Ｈｅｉｌ，  ａｎｄ  Ｕ．  Ｍｏｌｔｅｒ，  ｉｎ  Ｌ．  Ｄｅｂｎａｔｈ，  Ｗａｖｅｌｅｔｓ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ，  ２００２
参考文献［２］“Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ”，  Ｋｈａｌｉｄ  Ｓａｙｏｏｄ，  Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ，  ２０００
参考文献［３］“Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ  ｏｐｔｉｍｉｚａｔｉｏｎ”，  ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ＿ｏｐｔｉｍｉｚａｔｉｏｎ
参考文献［４］“Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ：  Ａｌｇｏｒｉｔｈｍｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ”，  Ｒｉｃｈａｒｄ  Ｓｚｅｌｉｓｋｉ，  ２０１０
参考文献［５］“Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ：  Ａ  Ｍｏｄｅｒｎ  Ａｐｐｒｏａｃｈ”，  Ｄａｖｉｄ  Ａ．  Ｆｏｒｓｙｔｈ，  Ｊｅａｎ  Ｐｏｎｃｅ，  ２０１１。
【図１】
2016525295.tif 000043
【図２】
2016525295.tif 000044
【図３】
2016525295.tif 000045
【図４Ｓ】
2016525295.tif 000046
【図４Ｔ】
2016525295.tif 000047
【図５】
2016525295.tif 000048
【図６】
2016525295.tif 000049
【図７】
2016525295.tif 000050
【図８】
2016525295.tif 000051
【図９】
2016525295.tif 000052
【図１０】
2016525295.tif 000053
【図１１】
2016525295.tif 000054
【図１２】
2016525295.tif 000055
【図１３】
2016525295.tif 000056
【図１４】
2016525295.tif 000057
【図１５】
2016525295.tif 000058
【図１６】
2016525295.tif 000059
【図１７】
2016525295.tif 000060
【図１８】
2016525295.tif 000061
【図１９】
2016525295.tif 000062
【図２０】
2016525295.tif 000063
【図２１】
2016525295.tif 000064
【手続補正書】
【提出日】平成28年2月12日(2016.2.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
空間解像度を上昇させる方法であって、
ａ．初期時間解像度を有する現在のビデオを供給するステップと、
ｂ．最低の時間解像度の現在のビデオを生成するために、前記現在のビデオの前記時間解像度を繰り返し低減させるステップと、
ｃ．前記最低の時間解像度の現在のビデオの前記空間解像度を上昇させるステップと、
ｄ．次に高い時間解像度の現在のビデオの前記空間解像度を上昇させるステップと、
ｅ．ステップ（ｄ）を前記初期時間解像度に至るまで繰り返すステップと、
を含む、方法。
【請求項２】
ステップ（ａ）における前記現在のビデオは、元のビデオを空間的に低減したビデオを含み、
前記ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対して行われ、
前記ステップ（ｃ）および（ｄ）は、前記現在のビデオの前記上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含み、前記計算するステップは、各々の低減した時間解像度の元のビデオを使用するステップを含む、請求項１に記載の方法。
【請求項３】
前記現在のビデオは、前記元のビデオの既に復号された空間的に低減したビデオを含み、
前記元のビデオに対する操作は、エンコーダで行われ、
前記拡張データを計算するステップは、前記エンコーダで行われ、
前記拡張データは、前記エンコーダからデコーダへ供給され、
前記拡張データを使用するステップは、前記エンコーダおよび前記デコーダの両方で行われる、請求項２に記載の方法を含む、ビデオ圧縮方法。
【請求項４】
前記拡張データを計算するステップは、前記現在のビデオおよび前記元のビデオの時間動きフィールドおよび空間幾何学的構造を分析するステップを含む、請求項３に記載の方法。
【請求項５】
前記ステップ（ｂ）における低減させるステップの前に、前記現在のビデオをぼかすステップをさらに含む、請求項１に記載の方法。
【請求項６】
前記ステップ（ｃ）および（ｄ）における前記空間解像度を上昇させるステップは、前記現在のビデオの時間動きフィールドおよび空間幾何学的構造を分析するステップを含む、請求項１に記載の方法。
【請求項７】
前記ステップ（ｂ）における低減させるステップの前に、前記現在のビデオおよび前記元のビデオをぼかすステップをさらに含む、請求項２に記載の方法。
【請求項８】
前記ステップ（ｃ）および（ｄ）における前記空間解像度を上昇させるステップは、前記現在のビデオおよび前記元のビデオの時間動きフィールドおよび空間幾何学的構造を分析するステップを含む、請求項２に記載の方法。
【請求項９】
前記拡張データを計算するステップは、前記現在のビデオおよび前記元のビデオの時間動きフィールドおよび空間幾何学的構造を分析するステップを含む、請求項２に記載の方法。
【請求項１０】
前記ステップ（ｂ）における低減させるステップの前に、前記現在のビデオおよび前記元のビデオをぼかすステップをさらに含む、請求項３に記載の方法。
【請求項１１】
前記空間解像度を上昇させるステップは、前記現在のビデオおよび前記元のビデオの時間動きフィールドおよび空間幾何学的構造を分析するステップを含む、請求項３に記載の方法。
【国際調査報告】
2016525295.tif 000065
2016525295.tif 000066
2016525295.tif 000067