【手続補正書】
【提出日】令和2年6月18日(2020.6.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するデプス画像取得部と、
前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する撮影画像取得部と、
前記デプス画像の実測されたデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて圧縮するデプス画像圧縮部と、
前記複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力する出力部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記デプス画像圧縮部は、圧縮後のデータとして、圧縮対象のデプス画像と、２つの前記撮影画像における対応点の視差に基づき演算により求めたデプス画像との差分画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記デプス画像圧縮部は、圧縮対象のデプス画像における画素値が表す距離に応じて、単位距離当たりの階調数を異ならせて当該画素値を量子化することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記デプス画像圧縮部は、圧縮対象のデプス画像における被写体の像の領域において、当該被写体の距離に応じた単位距離当たりの階調数を割り当てたうえ、その像の画素値を量子化することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記デプス画像圧縮部は、被写体の存在しない距離範囲における単位距離当たりの階調数が、被写体の存在する距離範囲における単位距離当たりの階調数より小さくなるように、圧縮対象のデプス画像における画素値を量子化することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記デプス画像圧縮部は、圧縮対象のデプス画像における画素値が表す距離が小さいほど、単位距離当たりの階調数を大きくして、当該画素値を量子化することを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
前記デプス画像圧縮部は、量子化前後の画素値の対応関係を表す情報をさらに生成することを特徴とする請求項３から６のいずれかに記載の画像処理装置。
【請求項８】
前記デプス画像取得部は、前記カメラが異なる視点から実測した、複数のデプス画像のデータを取得し、
前記デプス画像圧縮部は、前記差分画像を、前記複数のデプス画像のそれぞれに対し生成することを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記デプス画像圧縮部は、前記視差に基づくデプス画像を、前記圧縮対象のデプス画像が実測された際の視点からのデプス画像に変換したうえで、当該圧縮対象のデプス画像との差分画像を生成することを特徴とする請求項２または８に記載の画像処理装置。
【請求項１０】
機械学習機能を備えることにより撮影画像のデータに基づき対応するデプス画像のデータを提供するサーバに接続する通信部をさらに備え、
前記デプス画像圧縮部は、前記サーバに前記撮影画像のデータを送信することにより、対応するデプス画像のデータを取得し、当該デプス画像と圧縮対象のデプス画像との差分画像のデータを、圧縮後のデータとして生成することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
被写体を異なる視点から撮影してなる複数の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得する画像データ取得部と、
前記圧縮後のデプス画像のデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて伸張するデプス画像伸張部と、
少なくとも伸張された前記デプス画像の実測データを用いて所定の処理を行い結果を出力する出力部と、
を備えたことを特徴とするコンテンツ処理装置。
【請求項１２】
前記デプス画像伸張部は、前記圧縮後のデプス画像に、２つの前記撮影画像における対応点の視差に基づき演算により求めたデプス画像を加算することにより、デプス画像を伸張することを特徴とする請求項１１に記載のコンテンツ処理装置。
【請求項１３】
画像データ取得部は、画素値が量子化された前記デプス画像の圧縮後のデータとともに、量子化前後の画素値の対応関係を表す情報を取得し、
前記デプス画像伸張部は、前記圧縮後のデプス画像の画素値を、前記対応関係を表す情報に基づき量子化前の画素値に戻すことを特徴とする請求項１１または１２に記載のコンテンツ処理装置。
【請求項１４】
機械学習機能を備えることにより撮影画像のデータに基づき対応するデプス画像のデータを提供するサーバに接続する通信部をさらに備え、
前記デプス画像伸張部は、前記サーバに前記撮影画像のデータを送信することにより、対応するデプス画像のデータを取得し、当該デプス画像と前記圧縮後のデプス画像を加算することにより、デプス画像を伸張することを特徴とする請求項１１に記載のコンテンツ処理装置。
【請求項１５】
前記画像データ取得部は、前記デプス画像のデータを前記撮影画像のデータより小さいフレームレートで取得し、
前記デプス画像伸張部は、前記撮影画像から取得した動きベクトルに基づき、伸張した前記デプス画像を時間軸上で補間することを特徴とする請求項１１から１４のいずれかに記載のコンテンツ処理装置。
【請求項１６】
前記画像データ取得部は、前記デプス画像のデータを前記撮影画像のデータより小さいフレームレートで取得し、
前記デプス画像伸張部は、前記複数の撮影画像のデータを用いて生成したデプス画像から取得した動きベクトルに基づき、伸張した前記デプス画像を時間軸上で補間することを特徴とする請求項１１から１４のいずれかに記載のコンテンツ処理装置。
【請求項１７】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータと、前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを伝送する画像処理装置と、前記デプス画像のデータと撮影画像のデータを用いて情報処理を実施するコンテンツ処理装置と、を含むコンテンツ処理システムであって、
前記画像処理装置は、
前記デプス画像の実測されたデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて圧縮するデプス画像圧縮部と、
前記複数の撮影画像のデータと、圧縮後のデプス画像のデータを出力する出力部と、
を備え、
前記コンテンツ処理装置は、
前記圧縮後のデプス画像のデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて伸張するデプス画像伸張部と、
少なくとも伸張された前記デプス画像の実測データを用いて所定の処理を行い結果を出力する出力部と、
を備えたことを特徴とするコンテンツ処理システム。
【請求項１８】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得するステップと、
前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得するステップと、
前記デプス画像の実測されたデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて圧縮するステップと、
前記複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力するステップと、
を含むことを特徴とする、画像処理装置による画像処理方法。
【請求項１９】
被写体を異なる視点から撮影してなる複数の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得するステップと、
前記圧縮後のデプス画像のデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて伸張するステップと、
少なくとも伸張された前記デプス画像の実測データを用いて所定の処理を行い結果を出力するステップと、
を含むことを特徴とする、コンテンツ処理装置による画像処理方法。
【請求項２０】
被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像のデータを取得する機能と、
前記被写体を異なる視点から撮影してなる複数の撮影画像のデータを取得する機能と、
前記デプス画像の実測されたデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて圧縮する機能と、
前記複数の撮影画像のデータと、圧縮されたデプス画像のデータを出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項２１】
被写体を異なる視点から撮影してなる複数の撮影画像のデータと、前記被写体の距離を測定するカメラが実測した、当該距離を画素値とするデプス画像の圧縮後のデータを取得する機能と、
前記圧縮後のデプス画像のデータを、前記複数の撮影画像から生成されたデプス画像のデータを用いて伸張する機能と、
少なくとも伸張された前記デプス画像の実測データを用いて所定の処理を行い結果を出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。