(57)【特許請求の範囲】
【請求項１】
動画信号の複数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域と共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の領域をエンコードまたは圧縮するエンコードエンジンと、
前記エンコードエンジンに結合され、前記各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別するコンテキストエンジンと、
前記エンコードエンジンに結合され、エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する送信機と
を備え、
前記コンテキストエンジンは、
前記関心対象領域に含まれる前記複数の関心対象オブジェクトの重心を識別し、前記各画像フレームの中心部、または前記各画像フレームの中心部の近くに、前記関心対象領域に含まれる前記複数の関心対象オブジェクトの前記重心が位置するように、前記関心対象領域を調整し、
前記送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整し、
調整された前記関心対象領域を含む複数の画像フレームを前記エンコードエンジンに転送する、画像処理装置。
【請求項２】
動画信号の複数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域と共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の領域をエンコードまたは圧縮するエンコードエンジンと、
前記エンコードエンジンに結合され、前記各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別するコンテキストエンジンと、
前記エンコードエンジンに結合され、エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する送信機と
を備え、
前記コンテキストエンジンは、前記送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整する、画像処理装置。
【請求項３】
前記送信機はさらに、前記１以上の関心対象オブジェクトと前記背景とを別々に送信する、請求項１または２に記載の画像処理装置。
【請求項４】
前記１以上の関心対象オブジェクトはビデオ会議の参加者の１以上の顔を含む、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記コンテキストエンジンは、前記各画像フレーム内の前記１以上の関心対象オブジェクトを識別する、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記コンテキストエンジンはさらに、前記各画像フレーム内の前記関心対象領域をより目立たせるために前記各画像フレーム内で前記関心対象領域を拡大する、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記コンテキストエンジンはさらに、前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心に位置させるよう前記関心対象領域を調整する、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記コンテキストエンジンはさらに、前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心外位置に位置させるよう、コンテキスト情報に基づいて、前記関心対象領域を調整する、請求項１から５のいずれか１項に記載の画像処理装置。
【請求項９】
前記１以上の関心対象オブジェクトは、ビデオ会議の参加者の１以上の顔を含み、
前記コンテキスト情報は前記１以上の顔の顔の向きを含む、請求項８に記載の画像処理装置。
【請求項１０】
動画信号の複数の画像フレームを受信する工程と、
受信された各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別する工程と、
前記関心対象領域に含まれる前記複数の関心対象オブジェクトの重心を識別する工程と、
前記各画像フレームの中心部、または前記各画像フレームの中心部の近くに、前記関心対象領域に含まれる前記複数の関心対象オブジェクトの前記重心が位置するように、前記関心対象領域を調整する工程と、
送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整する工程と、
調整された前記関心対象領域を含む複数の画像フレームを転送する工程と、
転送された前記各画像フレーム内の１以上の関心対象オブジェクトと共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の関心対象オブジェクトに関連付けられた１以上の領域をエンコードまたは圧縮する工程と、
エンコードまたは圧縮された前記複数の画像フレームを前記送信機から１以上の受信機に送信する工程と、
を備える画像処理方法。
【請求項１１】
動画信号の複数の画像フレームを受信する工程と、
受信された各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別する工程と、
送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整する工程と、
調整された前記関心対象領域を含む各画像フレーム内の１以上の関心対象オブジェクトと共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の関心対象オブジェクトに関連付けられた１以上の領域をエンコードまたは圧縮する工程と、
エンコードまたは圧縮された前記複数の画像フレームを前記送信機から１以上の受信機に送信する工程と
を備える画像処理方法。
【請求項１２】
前記各画像フレーム内の前記１以上の関心対象オブジェクトを識別する工程をさらに備える、請求項１０または１１に記載の画像処理方法。
【請求項１３】
前記各画像フレーム内の前記関心対象領域をより目立たせるために前記各画像フレーム内で前記関心対象領域を拡大する工程をさらに備える、請求項１０から１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心に位置させるよう前記各画像フレーム内の前記関心対象領域を調整する工程をさらに備える、請求項１０から１２のいずれか１項に記載の画像処理方法。
【請求項１５】
前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心外位置に位置させるよう、コンテキスト情報に基づいて、前記関心対象領域を調整する工程をさらに備える、請求項１０から１２のいずれか１項に記載の画像処理方法。
【請求項１６】
前記１以上の関心対象オブジェクトは、ビデオ会議の参加者の１以上の顔を含み、
前記コンテキスト情報は前記１以上の顔の顔の向きを含む、請求項１５に記載の画像処理方法。
【請求項１７】
エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する工程をさらに備え、
前記送信する工程は、前記１以上の関心対象オブジェクトと前記背景とを別々に送信する工程を含む、請求項１０から１６のいずれか１項に記載の画像処理方法。
【請求項１８】
コンピュータに、請求項１０から１７のいずれか１項に記載の画像処理方法を実行させるためのプログラム。
【請求項１９】
複数の画像フレームを有する動画信号をキャプチャするカメラと、
操作可能に前記カメラに結合されたエンコードエンジンであり、キャプチャされた前記複数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトと共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の関心対象オブジェクトをエンコードまたは圧縮するエンコードエンジンと、
前記エンコードエンジンに結合され、エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する送信機と、
前記エンコードエンジンに結合され、前記各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別するコンテキストエンジンと
を備え、
前記コンテキストエンジンは、
前記関心対象領域に含まれる前記複数の関心対象オブジェクトの重心を識別し、前記各画像フレームの中心部、または前記各画像フレームの中心部の近くに、前記関心対象領域に含まれる前記複数の関心対象オブジェクトの前記重心が位置するように、前記関心対象領域を調整し、
前記送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整し、
調整された前記関心対象領域を含む複数の画像フレームを前記エンコードエンジンに転送する、画像処理システム。
【請求項２０】
複数の画像フレームを有する動画信号をキャプチャするカメラと、
操作可能に前記カメラに結合されたエンコードエンジンであり、キャプチャされた前記複数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトと共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の関心対象オブジェクトをエンコードまたは圧縮するエンコードエンジンと、
前記エンコードエンジンに結合され、エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する送信機と、
前記エンコードエンジンに結合され、前記各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別するコンテキストエンジンと
を備え、
前記コンテキストエンジンは、前記送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整する、画像処理システム。
【請求項２１】
前記コンテキストエンジンは、前記カメラに結合され、前記キャプチャされた複数の画像フレームを受信し、前記各画像フレーム内の前記１以上の関心対象オブジェクトを識別する、請求項１９または２０に記載の画像処理システム。
【請求項２２】
動画信号の複数の画像フレームを受信する手段と、
受信された各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別する手段と、
前記関心対象領域に含まれる前記複数の関心対象オブジェクトの重心を識別する手段と、
前記各画像フレームの中心部、または前記各画像フレームの中心部の近くに、前記関心対象領域に含まれる前記複数の関心対象オブジェクトの前記重心が位置するように、前記関心対象領域を調整する手段と、
送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整する手段と、
調整された前記関心対象領域を含む複数の画像フレームを転送する手段と、
転送された前記各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域を囲む背景領域のビット密度よりも高い１以上のビット密度に基づき、前記１以上の領域をエンコードする手段と、
エンコードまたは圧縮された前記複数の画像フレームを前記送信機から１以上の受信機に送信する手段と
を備える画像処理装置。
【請求項２３】
動画信号の複数の画像フレームを受信する手段と、
受信された各画像フレーム内の複数の関心対象オブジェクトを含む関心対象領域を識別する手段と、
送信機から送信された前記複数の画像フレームを受信する１以上の受信者の視点およびジェスチャのうち少なくとも一方を含むコンテキスト情報に含まれる前記視点および前記ジェスチャのうち少なくとも一方に従って、前記各画像フレーム内の前記関心対象領域の位置および大きさのうち少なくとも一方を調整する手段と、
調整された前記関心対象領域を含む前記各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域を囲む背景領域のビット密度よりも高い１以上のビット密度に基づき、前記１以上の領域をエンコードする手段と、
エンコードまたは圧縮された前記複数の画像フレームを前記送信機から１以上の受信機に送信する手段と
を備える画像処理装置。
【請求項２４】
前記各画像フレーム内の前記関心対象領域をより目立たせて表示するよう前記各画像フレーム内で前記関心対象領域を拡大する手段をさらに備える、請求項２２または２３に記載の画像処理装置。
【請求項２５】
前記各画像フレーム内の前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心に位置させるよう前記各画像フレーム内の前記関心対象領域を調整する手段をさらに備える、請求項２２から２４のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般的にデータ処理に関し、特に、関心に基づいた画像処理のオブジェクトに関する。
【背景技術】
【０００２】
別記しない限り、本項で説明される内容は本願に対する先行技術ではなく、本項に含められるからと言って先行技術として認められるものではない。
【０００３】
一般的に画像処理アプリケーション、特にビデオ会議ソリューションにおいて、１以上のカメラからライブで動画像フレームが受信またはキャプチャされ、キャプチャされた動画像フレームが圧縮され、圧縮された動画像フレームが１以上の受信者へ送信される。受信された動画像フレームは受信者側で解凍される。今日、ビデオ会議などより多くの画像処理アプリケーションがモバイルデバイスを用いてネットワークを介して実施されている。そのようなネットワークにおいては、固定デバイスを用いるアプリケーションをサポートする従来のネットワークと比較し利用可能な容量が少ないことがある。このことにより、送信される動画の品質、およびこれらのアプリケーションのユーザーエクスペリエンスは理想的であるとは言えないことが多い。
【図面の簡単な説明】
【０００４】
添付の図面に限定ではなく例示として示される本開示の実施形態を説明する。図面において、同様の参照符号は同様の要素を指す。
【図１】図１は、本開示の様々な実施形態に係る、例示的な画像処理デバイスを示すブロック図である。
【図２】図２は、本開示の様々な実施形態に係る、動画信号の例示的な個別の画像フレームを示すブロック図である。
【図３】図３は、本開示の様々な実施形態に係る、画像処理デバイスのエンコードエンジンの動作の一部を示すフロー図である。
【図４】図４は、本開示の様々な実施形態に係る、画像処理デバイスのコンテキストエンジンの動作の一部を示すフロー図である。
【図５】図５は、本開示の様々な実施形態に係る、画像処理デバイスの動作の一部を示すフロー図である。
【図６】図６は、本開示の様々な実施形態に係る、説明される方法および／または装置の様々な態様を実施するために用いるのに適した例示的なコンピュータシステムを示すブロック図である。
【図７】図７は、本開示の実施形態に係る、画像処理デバイスの様々な動作を装置に実行させるプログラミング命令を有する製品を示すブロック図である。
【発明を実施するための形態】
【０００５】
本開示の様々な実施形態は、装置、方法、並びに、各画像フレームの背景のエンコードおよび／または圧縮に用いられるビット密度よりも高い１以上のビット密度で、それら各画像フレーム内の１以上の関心対象オブジェクトをエンコードおよび／または圧縮するエンコードエンジンを含むシステムについて説明する。画像処理システムは、関心対象オブジェクトを強調すべく、１以上の関心対象オブジェクトの少なくとも一部を含む関心対象領域を識別し、各フレーム内で関心対象領域をスケーリングするコンテキストエンジンをさらに含んでよい。
【０００６】
様々な実施形態において、装置は、動画信号の多数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域と共に各画像フレームを形成する背景のエンコードおよび／または圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、１以上の領域をエンコードおよび／または圧縮するエンコードエンジンとを含んでよい。装置は、エンコードエンジンに結合された、エンコード／圧縮された多数の画像フレームを１以上の受信者に送信する送信機をさらに含んでよい。
【０００７】
様々な実施形態において、１以上の関心対象オブジェクトはビデオ会議の参加者の１以上の顔を含んでよい。
【０００８】
様々な実施形態において、装置は、エンコードエンジンに結合された、各画像フレーム内の１以上の関心対象オブジェクトを識別するコンテキストエンジンをさらに含んでよい。
【０００９】
様々な実施形態において、コンテキストエンジンはさらに、各画像フレームの１以上の関心対象オブジェクトを少なくとも部分的に含んでよい関心対象領域を識別してよい。
【００１０】
様々な実施形態において、コンテキストエンジンはさらに、各画像フレーム内で関心対象領域をより目立たせるために各画像フレーム内で関心対象領域を拡大してよい。
【００１１】
様々な実施形態において、コンテキストエンジンはさらに、１以上の関心対象オブジェクトのうち少なくとも１つを各画像フレーム内の中心に位置させるよう関心対象領域を調整してよい。
【００１２】
様々な実施形態において、コンテキストエンジンはさらに、１以上の関心対象オブジェクトのうち少なくとも１つを各画像フレーム内の中心外位置に位置させるよう、コンテキスト情報に基づいて、関心対象領域を調整してよい。
【００１３】
様々な実施形態において、装置の１以上の関心対象オブジェクトは、ビデオ会議の参加者の１以上の顔を含んでよく、コンテキスト情報は１以上の顔の顔の向きを含んでよい。
【００１４】
様々な実施形態において、送信機はさらに、１以上の関心対象オブジェクトと背景とを別々に送信してよい。
【００１５】
様々な実施形態において、方法は、動画信号の多数の画像フレームを受信する工程と、各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域と共に各画像フレームを形成する背景のエンコードおよび／または圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、１以上の領域をエンコードおよび／または圧縮する工程とを含んでよい。
【００１６】
様々な実施形態において、方法は、各画像フレーム内の１以上の関心対象オブジェクトを識別する工程をさらに含んでよい。
【００１７】
様々な実施形態において、方法は、各画像フレームの１以上の関心対象オブジェクトを少なくとも部分的に含む関心対象領域を識別する工程をさらに含んでよい。
【００１８】
様々な実施形態において、方法は、各画像フレーム内で関心対象領域をより目立たせるために各画像フレーム内で関心対象領域を拡大する工程をさらに含んでよい。
【００１９】
様々な実施形態において、方法は、１以上の関心対象オブジェクトのうち少なくとも１つを各画像フレーム内の中心に位置させるよう各画像フレーム内で関心対象領域を調整する工程をさらに含んでよい。
【００２０】
様々な実施形態において、方法は、１以上の関心対象オブジェクトのうち少なくとも１つを各画像フレーム内の中心外位置に位置させるよう、コンテキスト情報に基づいて、関心対象領域を調整する工程をさらに含んでよい。
【００２１】
様々な実施形態において、方法の１以上の関心対象オブジェクトは、ビデオ会議の参加者の１以上の顔を含んでよく、コンテキスト情報は１以上の顔の顔の向きを含んでよい。
【００２２】
様々な実施形態において、方法は、エンコード／圧縮された多数の画像フレームを１以上の受信者に送信する工程であり、１以上の関心対象オブジェクトと背景とを別々に送信する工程をさらに含んでよい。
【００２３】
様々な実施形態において、システムは、多数の画像フレームを有する動画信号をキャプチャするカメラと、操作可能にカメラに結合されたエンコードエンジンであり、キャプチャされた多数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトと共に各画像フレームを形成する背景のエンコードおよび／または圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、１以上の関心対象オブジェクトをエンコードおよび／または圧縮するエンコードエンジンとを含んでよい。システムは、エンコードエンジンに結合され、エンコード／圧縮された多数の画像フレームを１以上の受信者に送信する送信機をさらに含んでよい。
【００２４】
様々な実施形態において、コンテキスト情報は、１以上の受信者の視角を含んでよく、システムのコンテキストエンジンはさらに、キャプチャされた動画信号を１以上の受信者の視角に基づき調整するようカメラを制御してよい。
【００２５】
様々な実施形態において、製品は、有形の非一時的なコンピュータ可読記憶媒体と、記憶媒体に格納された多数のプログラミング命令とを含んでよく、多数のプログラミング命令は実行されると装置に、動画信号の多数の画像フレームを受信する手順と、各画像フレーム内の１以上の関心対象オブジェクトと共に各画像フレームを形成する背景のエンコードおよび／または圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、１以上の関心対象オブジェクトをエンコードおよび／または圧縮する手順とを実行させてよい。
【００２６】
以下の詳細な説明において、本明細書の一部を構成する添付の図面を参照する。それら図面において、例示として、本開示を実施することが出来る実施形態が示されている。本開示の態様から逸脱することなく、他の実施形態を用いることも可能であり、かつ、構造的、または論理的な変更を加えることが可能である。よって、以下の詳細な説明は、限定的に解釈されるべきではなく、本開示に係る実施形態の態様は、添付の請求項およびそれらの同等物によってのみ定められる。
【００２７】
本開示の実施形態を理解いただくのに有用であるように、複数の独立した動作として様々な動作を順序立てて説明する。しかし、説明の順序は、これらの動作に順序依存性があることを示唆するものとして解釈されるべきではない。
【００２８】
説明を目的とし、「Ａ／Ｂ」、または「Ａおよび／またはＢ」といった形式の文言は、（Ａ）、（Ｂ）、または（ＡおよびＢ）であることを意味する。説明を目的とし、「Ａ、Ｂ、およびＣのうち少なくとも１つ」といった形式の文言は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）、または（Ａ、Ｂ、およびＣ）であることを意味する。説明を目的とし、「（Ａ）Ｂ」といった形式の文言は、（Ｂ）または（ＡＢ）、つまり、Ａは場合に応じて用いられる要素であることを意味する。
【００２９】
説明において「一実施形態において」または「実施形態において」といった文言を用いるが、それぞれ同じ、または異なる実施形態のうち１以上を指し得る。さらに、本開示の実施形態に関して用いられる「備える」、「含む」、「有する」などといった用語は同義語である。説明において、各画像フレームの「関心対象オブジェクト」および「背景」について言及する。請求項を含む本願の目的において、「背景」という用語は、他に明言されていない限り、画像フレームから１以上の「関心対象オブジェクト」を除いた残りの部分を指す。
【００３０】
図１は、本開示の様々な実施形態に係る、例示的な画像処理デバイスを示すブロック図である。図１に示すように、画像処理デバイス１００は、互いにバス１４０を介して結合された、エンコードエンジン１１０、コンテキストエンジン１２０、および送信機１３０を含み得る。図１は互いにバス１４０で結合された、デバイス１００の様々なコンポーネントを示すが、様々な実施形態において、エンコードエンジン１１０、コンテキストエンジン１２０、および送信機１３０は、１以上のポイントツーポイント接続またはバス階層など何らかの適したメカニズムを介して結合されてもよい。
【００３１】
図１は特定のコンポーネントを示すが、デバイス１００は、アンテナ、カメラ、デコードエンジン、ディスプレイなど、画像処理および／または送信を補助する他の適したコンポーネントを含んでもよい。それら他のコンポーネントは本開示の理解を容易にするべく示されていない。さらに、図１に示されるコンポーネントはデバイス１００内の独立したブロックとして示されているが、これらのブロックのいくつかにより実行される機能は、単一のコンポーネント内で統合されてもよく、または、２以上の別個のコンポーネントを用いてさらに細分されてもよい。例えば、デコードエンジン（図示せず）およびエンコードエンジン１１０は、単一のデコード／エンコードエンジンに統合されてもよい。加えて、エンコードエンジン１１０、コンテキストエンジン１２０、および送信機１３０の全て、または一部を含むデバイス１００は、ソフトウェアまたはハードウェア、或いは、これらの組み合わせにより実装されてもよい。
【００３２】
様々な実施形態において、画像処理デバイス１００は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、タブレット、携帯電話、ポケベル、オーディオおよび／または動画プレーヤ（例えば、ＭＰ３プレーヤ、またはＤＶＤプレーヤ）、ゲーム機器、ビデオカメラ、デジタルカメラ、ナビゲーション機器（例えばＧＰＳ機器）、無線周辺機器（例えば、プリンタ、スキャナ、ヘッドセット、キーボード、マウスなど）、医療機器（例えば、心拍数モニタ、血圧モニタなど）、セットトップボックス、並びに／或いは、他の適した比較的固定型、携帯型、または移動型の電子機器など有線の、または無線の電子機器を含んでよい。
【００３３】
様々な実施形態において、画像処理デバイス１００は、プリベートネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、バーチャルプライベートネットワーク（ＶＰＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、プロプライエタリーネットワーク、またはインターネットと一般的に呼ばれる公衆ネットワーク、或いはこれらの組み合わせなどの１以上の有線、または無線ネットワーク接続を介して、処理された画像を送信してもよい。
【００３４】
様々な実施形態において、画像処理デバイス１００は、スペクトル拡散変調（例えば、直接シーケンス符号分割多重アクセス（ＤＳ−ＣＤＭＡ）、および／または周波数ホッピング符号分割多重アクセス（ＦＨ−ＣＤＭＡ）、時分割多重化（ＴＤＭ）変調、周波数分割多重化（ＦＤＭ）変調、直交周波数分割多重（ＯＦＤＭ）変調、マルチ搬送波変調（ＭＤＭ）、直交周波数分割多重マルチアクセス（ＯＦＤＭＡ）、ＳＣ−ＦＤＭＡ（単一搬送波ＦＤＭＡ）、並びに／或いは、無線リンクを介して通信を行うのに適した他の変調技術を含む、処理された画像を無線送信する様々な変調技術を用いる機能を有していてもよい。一例において、ビデオ会議デバイス１００は、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、および／または無線メトロポリタンエリアネットワーク（ＷＭＡＮ）を実施するのに、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、近距離無線通信（ＮＦＣ）、ウルトラワイドバンド（ＵＷＢ）、および／または無線自動識別（ＲＦＩＤ）など非常に少ない電力を必要とする適した無線通信規格に準拠して動作してもよい。
【００３５】
様々な実施形態において、画像処理デバイス１００は、ビデオ会議アプリケーションまたはシステムの一部であってよく、画像処理デバイス１００と同様であってもなくてもよい１以上の他の画像処理デバイス（図示せず）とのビデオ会議を容易にしてもよい。
【００３６】
様々な実施形態において、エンコードエンジン１１０は、一連の画像フレームを含む動画信号を受信する。様々な実施形態において、動画信号は、圧縮されていない未加工データ形式の画像フレームを含む。様々な実施形態において、動画信号は、１９８４年にＩｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）が発行したＨ．２６１、１９９３年にＩｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ（ＩＳＯ）が発行したＭＰＥＧ−１  ｐａｒｔ  ２、および１９９８年にＩＳＯが発行したＨ．２６４／ＭＰＥＧ−４  ＡＶＣなど何らかの損失の多い、または損失のないエンコード／圧縮方式で既にエンコード／圧縮されている。エンコードエンジン１１０は、外部のソースから動画信号を受信してよい、デバイス１００の通信インタフェース（図示せず）から動画信号を受信してよい。代替的に、エンコードエンジン１１０は、デバイス１００に取り付けられた、またはデバイス１００と統合されたビデオカメラからバス１４０を介して動画信号を受信してよい。
【００３７】
エンコードエンジン１１０は、ストリームとして１つずつ、または並行して複数の画像フレームをエンコードおよび／または圧縮してもよい。エンコードエンジン１１０は、動画信号が既にエンコード／圧縮されていた場合、当該動画信号をトランスコード（例えば、動画信号をデコードし、異なる方式で再エンコードする）してもよい。エンコードエンジン１１０は、動画信号、字幕、およびデジタル著作権管理などのサーチされたフォワード、バックウォード、またはランダムアクセスに関する情報など、追加的な情報を動画信号にエンコードまたは追加してもよい。エンコードエンジン１１０は、フレーム間圧縮、フレーム内圧縮、離散コサイン変換（ＤＣＴ）、フラクタル圧縮、マッチングパースート、離散ウェーブレット変換（ＤＷＴ）など公知の動画／画像圧縮方式または方法のいずれかを用いて画像フレームをエンコード／圧縮してもよい。
【００３８】
様々な実施形態において、エンコードエンジン１１０は、１以上の画像フレーム内の１以上の関心対象オブジェクト（ＯＯＩ）に関する情報を有する。ＯＯＩは、デバイス１００のアプリケーションまたは利用シナリオに関連したものであってよい。例示的なＯＯＩには、ビデオ会議セッション中の発言者の顔および／または肩周辺領域、テレビ放送中にレース場を走る自動車、監視カメラによりキャプチャおよび／または追跡される動いているオブジェクトなどが含まれ得る。様々な実施形態において、動画信号の画像フレーム内に含まれるＯＯＩ領域の数はフレーム毎に異なり得る。例えば、ある画像フレーム内ではＯＯＩは１つであり、次の、または他の画像フレーム内ではＯＯＩは複数であり得る。
【００３９】
図２は、本開示の様々な実施形態に係る、動画ストリームの例示的な個別の画像フレームを示すブロック図である。示されるように、画像フレーム２００は、ＯＯＩ領域２１０、ＯＯＩ領域２１２、ＯＯＩ領域２１４、および、ＯＯＩ領域２１０〜２１４を囲む、画像フレーム２００内の影付きの領域として示される背景２３０を含み得る。図２は３つのＯＯＩ領域を有する画像フレーム２００を示すが、様々な実施形態において、画像フレーム２００は、より多く、またはより少ないＯＯＩ領域を含む。図２は同じサイズおよび形状を有する複数のＯＯＩ領域２１０〜２１４を示すが、それら様々なＯＯＩ領域２１０〜２１４のサイズ、形状、および位置は単に例示であり、様々な実施形態においては異なり得る。さらに、例示的な図示においては、ＯＯＩ領域２１０〜２１４を囲む背景２３０を示すが、他の画像フレームにおいては、背景２３０はＯＯＩ領域２１０〜２１４を部分的にのみ囲む、またはＯＯＩ領域２１０〜２１４に隣接してもよい。
【００４０】
様々な実施形態において、エンコードエンジンは、複数の異なる量子化パラメータを適用し、１以上のＯＯＩ領域２１０〜２１４、およびＯＯＩ領域２１０〜２１４と共に画像フレームを形成する背景２３０をエンコード／圧縮してもよい。いくつかの実施形態において、エンコードエンジン１１０は、背景２３０をエンコード／圧縮するのに用いられたビット密度よりも高い１以上のビット密度を用いて１以上のＯＯＩ領域２１０〜２１４をエンコード／圧縮してもよい。例えば、デバイス１００を用いたビデオ会議アプリケーションにおいて、発言者の顔および肩の周囲の領域は、２つのＯＯＩ領域として識別され得る。エンコードエンジン１１０は、他の会議出席者が発言者の表情をよりはっきりと見られるように、高いビット密度を用いて発言者の顔の周囲の領域をエンコード／圧縮してもよく、中間のビット密度を用いて発言者の肩の周囲の領域をエンコード／圧縮してもよく、低いビット密度を用いて画像フレームの背景をエンコード／圧縮してもよい。このように、各画像フレーム内で、発言者の顔領域（例えば１以上のＯＯＩ領域）には、顔以外の領域（たとえば背景）よりも多くのビットが割り当てられる。高い、中間の、または低いビット密度というのは適用例毎に変わり得る。
【００４１】
様々な実施形態において、上述したようにビット密度を選択的に用いてエンコードおよび／または圧縮を行うのに加えて、或いはこのことに替えて、エンコードエンジン１１０は、領域別の符号化技術を用いて画像フレーム２００をエンコード／圧縮してもよい。例えば、ＯＯＩ領域２１０〜２１４および背景２３０は、異なるエンコード／圧縮モデルを用いて別々にエンコード／圧縮されてもよい。エンコードエンジン１１０は、背景２３０をノンパラメリック背景モデルに基づいてエンコード／圧縮してもよい。エンコードエンジン１１０は、ＯＯＩ領域２１０〜２１４を別のエンコード／圧縮モデルに基づきエンコード／圧縮してもよい。画像フレーム２００のエンコード／圧縮されたＯＯＩ領域２１０〜２１４は、エンコード／圧縮された背景２３０とは別に、送信機１３０を介して１以上の受信者（図１は図示せず）に送信されてもよい。１以上の受信者は、受信毎に背景およびＯＯＩ領域を別々に解凍およびデコードし、領域および背景を組み合わせて完全な画像フレームを再構築してもよい。
【００４２】
様々な実施形態において、エンコードエンジン１１０は、先行する、または続く画像フレームに基づき特定の画像フレーム２００をエンコード／圧縮し、フレーム間圧縮などを用いてより効率的な圧縮を実現してもよい。
【００４３】
ビデオ会議アプリケーションなど様々な実施形態において、背景２３０は多くの時間において動きがない、または実質的に動きがなく、フレーム毎に変化がない、または最小限の変化しかない。したがって、各画像フレームの背景を送信するのではなく、送信機１３０は、２以上の画像フレーム毎など一定期間毎に背景２３０を送信してもよい。他の実施形態において、送信機１３０は、１以上の先行する画像フレームに亘る背景の（実質的な）変化を検出すると動的に背景２３０を送信する。ビット密度が最適化されたエンコード、および／または領域別のエンコード／圧縮技術を用い、背景およびＯＯＩ領域を別々にエンコード、圧縮、および送信することにより、デバイス１００の符号化および／または送信の効率性が向上し得る。したがって、デバイス１００に基づいたビデオ会議、特にネットワーク回線容量に限りがあるモバイルデバイスを用いて実施されるビデオ会議アプリケーションにおいて、ユーザーエクスペリエンスが改善される。
【００４４】
様々な実施形態において、コンテキストエンジン１２０は、画像フレーム２００または動画ストリーム内の１以上のＯＯＩ領域２１０〜２１４を検出、識別、および／または追跡し、ＯＯＩ領域２１０〜２１４に関する情報をエンコードエンジン１１０へ提供してもよい。コンテキストエンジン１２０は、オブジェクトの追跡または顔認識に関して公知である様々な技術に基づきＯＯＩ領域２１０〜２１４を検出してもよい。そのようなオブジェクト追跡技術の１つにおいて、一連のＡｄａＢｏｏｓｔ分類器に基づき画像フレーム上のウィンドウが全体的にスキャンされてもよい。様々な実施形態において、コンテキストエンジン１２０は、エンコードエンジン１１０が画像フレームをエンコード／圧縮するのを補助すべく、ＯＯＩ情報を提供してもよい。
【００４５】
様々な実施形態において、コンテキストエンジン１２０はさらに、１以上のＯＯＩ領域の少なくとも一部を含みうる画像フレーム内の関心対象領域（ＲＯＩ）を識別してもよい。例示的なＲＯＩは、図２において破線で囲まれる領域として示されるＲＯＩ２２０である。ＲＯＩ２２０の場所およびサイズは、（Ｒｘ，Ｒｙ）などの座標によって表される境界ボックスに基づいて識別され得る。様々な実施形態において、ＲＯＩ２２０は、背景２３０の一部を含んでも含まなくてもよい。
【００４６】
様々な実施形態において、コンテキストエンジン１２０は、ＲＯＩ領域２２０内の中心点Ｐｃを識別してもよい。いくつかの実施形態において、ＰｃはＲＯＩの全てのＯＯＩ領域の重心として定められてもよい。例えば、Ｐｃは以下の数式に基づいて識別されてもよい。
【数１】
0005859111.tif 000002
ここでＰｉは検出されたＯＯＩ領域のそれぞれの中心位置であり、Ｎは検出されたＯＯＩ領域の数である。他の実施形態において、ＰｃはＲＯＩ内の、カメラに最も近い関心対象オブジェクトなど最も大きなＯＯＩ領域の中心点として識別される。例えば、Ｐｃは、
【数２】
0005859111.tif 000003
として定められる。ここでａｒｇｍａｘ（ｓｉｚｅ（Ｐｉ））は、サイズが最も大きなＯＯＩ領域の中心点である。さらに他のいくつかの実施形態において、Ｐｃは、１以上の先行するフレームから変化したことが検出されたＯＯＩの中心点であってもよい。例えば、Ｐｃは、参加者が複数であるビデオ会議で発言中である人、または監視カメラによって追跡されている、動いているオブジェクトの１つを表すＯＯＩを示すのに用いられてもよい。様々な実施形態において、上述したように、ＰｃはＲＯＩ２２０の本当の意味での「中心」であってもなくてもよい。
【００４７】
様々な実施形態において、示されるように、コンテキストエンジン１２０は、ＯＯＩ領域２１０〜２１４の全てを含む境界ボックスに基づいてＲＯＩ領域２２０を識別する。様々な実施形態において、ＲＯＩ２２０が識別されると、コンテキストエンジン１２０は、画像フレーム２００の中心部に、または中心部近くに中心点Ｐｃが位置するように、ＲＯＩ２２０のサイズ、位置、およびスケーリングの調整を含む、ＲＯＩ２２０の調整を行う。様々な実施形態において、ＲＯＩ２２０を囲む領域は、ＲＯＩ２２０と、背景２３０のＲＯＩ２２０を囲む部分との間の空間的関連性を維持するようＲＯＩ２２０と併せて移動および／またはスケーリングされる。
【００４８】
いくつかの実施形態において、コンテキストエンジン１２０は、ＲＯＩ２２０内の画像を歪めて、または歪めず、画像フレーム２００の寸法（元のサイズ）まで可能な限りＲＯＩ２２０を拡大してもよい。いくつかの実施形態において、ＲＯＩ２２０の寸法（またはアスペクト比）は、画像フレーム２００の寸法（またはアスペクト比）に一致するまでは拡大されない。したがって、コンテキストエンジンは選択的に、背景領域２３０の一部を含めるか、またはＲＯＩ２２０の一部を取り除くかを選択し、正しいアスペクト比でＲＯＩ２２０内の画像を表示する。同様に、コンテキストエンジン１２０は、画像フレーム２００の中止位置に、または中止位置近くに中心点Ｐｃを移動させるよう選択的にＲＯＩ２２０および背景２３０の一部を取り除く／含める。その結果、ＲＯＩ２２０内のＯＯＩのうち少なくとも１つ、例えばＯＯＩ２１０はより大きく、画像フレーム２００の中心部において、または中心部近くにおいて焦点を合わせた状態で表示される。
【００４９】
様々な実施形態において、コンテキストエンジン１２０は、上述したように、エンコードエンジン１１０が画像フレームをエンコードおよび／または圧縮し、続いて送信を行うのを補助すべく、スケーリング／修正されたＲＯＩ２２０を含む画像フレームをエンコードエンジン１１０に提供してもよい。
【００５０】
様々な実施形態において、画像フレームのストリームを有する動画信号をキャプチャすべく、カメラ（図示せず）がデバイス１００に取り付けられる、またはデバイス１００と統合される。コンテキストエンジン１２０は操作可能にカメラに結合され、カメラを制御する。各画像フレーム内にＲＯＩ２２０が識別されると、ＲＯＩ２２０をスケーリングする、または移動させるのではなく、コンテキストエンジン１２０はズームインまたはズームアウト、或いはカメラアングルをパンするようカメラを制御してＲＯＩ２２０に焦点を合わせ、これにより、ＲＯＩ２２０のＯＯＩのうち少なくとも１つを画像フレーム２００の中心部に位置させてもよい。
【００５１】
様々な実施形態において、コンテキストエンジン１２０はさらに、１以上のコンテキスト情報に基づいて、意図的にＯＯＩのうち少なくとも１つを中心外位置に位置させるようＲＯＩ２２０のサイズおよび場所を調整してもよい。コンテキスト情報は、デバイス１００のアプリケーションまたは利用シナリオに応じたものであってよい。例えばビデオ会議セッションにおいて、コンテキストエンジン１２０は、発言者の顔の向き（例えばポーズ）をコンテキスト情報として用いてもよい。
【００５２】
様々な実施形態において、顔の向き情報は、識別されたＲＯＩの他に可能性のある関心対象領域を推測するのに用いられてもよく、また、ＲＯＩの安定した抽出結果を得るのに用いられてもよい。例えば、発言者がカメラに真っ直ぐ向いている場合、発言者は動画の中心部に、または中心部の近くに映され得る。しかし、発言者が右側を見ながら話している場合、様々な実施形態において、コンテキストエンジン１２０は選択的に、ＲＯＩ２２０のウィンドウを発言者の右側に移動させ、またはパンし、ＲＯＩ２２０を拡大、縮小、または調整し、発言者の「右側」の背景２３０をもっと映すようにする。他の例として、ビデオ会議は複数の参加者を含みうる。コンテキストエンジン１２０は最初に全ての参加者を関心対象オブジェクトとして認識し、全ての参加者を含めてＲＯＩを設定してよい。しかし、顔の向き情報は、参加者のうちの１人がカメラを向いてなく、下を向いている（例えば書類を見ている）ことを示し得る。様々な実施形態において、コンテキストエンジン１２０は、会話に関わっている参加者がスクリーンの中心でより目立って映されるよう、下を向いている参加者（またはＯＯＩ）をＲＯＩから一時的に除外することを選択する。様々な実施形態において、除外されている参加者の顔の向きが（実質的に）変化したことを検出すると、コンテキストエンジン１２０はＲＯＩ２２０を再調整し、画像内に当該参加者を含める。
【００５３】
様々な実施形態において、コンテキストエンジン１２０は、画像フレーム２００を分析し、コンテキスト情報を作成する。例えば、ビデオ会議アプリケーションにおいて、発言者の顔の向きをコンテキスト情報に含めるべく、コンテキストエンジン１２０は発言者の顔の向きを分析してもよい。コンテキストエンジン１２０は、ピッチ、ヨー、およびロールなど顔の３つの異なる角度の測定および分析に基づき発言者の顔の向きを分析してもよい。
【００５４】
様々な実施形態において、コンテキスト情報を作成すべくコンテキストエンジン１２０が画像フレームを分析する代わりに、コンテキスト情報はコンテキストエンジン１２０へ提供されてもよい。例えば、デバイス１００の送信機１３０からネットワークを介し１以上の受信者へ動画が送信されてもよい。上述したものと同様の顔の向きを追跡する方法、または他の公知の方法に基づき、１以上の受信者の視点（視角）が受信者側に設置された１以上のカメラによって追跡されてもよい。代替的に、顔の向きの追跡に加え、１以上の受信者のジェスチャが、適切なソフトウェアと併せて米国ワシントン州レッドモンドのＭｉｃｒｏｓｏｆｔから販売されるＸｂｏｘ３６０（登録商標）Ｋｉｎｅｃｔ（登録商標）カメラキットなど公知の方法のいずれかを用いて、カメラによって同様に識別および／または追跡されてもよい。したがって、いくつかの実施形態において、コンテキスト情報は動画を受信する１以上の受信者の視点および／またはジェスチャを含む。例えば、受信者が動画の左側を見ている場合、そのような視点情報がネットワークを介しコンテキストエンジン１２０へフィードバックされ、コンテキストエンジン１２０は動画の左側の情報をより多く与えるように、動画のＲＯＩ領域２２０、または１以上の取り付けられたカメラを調整する。また、受信者のジェスチャは、同様の目的でコンテキストエンジン１２０へフィードバックされてもよい。代替的に、動画の受信者は、キーボード、マウス、マイクを介した音声入力など他の入力方法を介してコンテキストエンジン１２０へコンテキスト情報を提供してもよい。したがって、１以上の受信者からコンテキスト情報を受信することにより、デバイス１００は、ビデオ会議の出席者に対し仮想現実感を与えることが出来、または動画の受信者に対して遠隔制御機能を提供することが出来る。
【００５５】
様々な実施形態において、コンテキストエンジン１２０は、上述したように、画像フレームのエンコードおよび／または圧縮、並びに続く送信機１３０による画像フレームの送信を補助するべく、コンテキスト情報に基づき調整されたＲＯＩ２２０を含む画像フレームをエンコードエンジン１１０に提供する。
【００５６】
図３は、本開示の様々な実施形態に係る、画像処理デバイスのエンコードエンジンの動作の一部を示すフロー図である。ブロック３１０において、エンコードエンジン１１０は、画像フレームのストリーム、および各画像フレームに埋め込まれた１以上のＯＯＩ領域に関する情報を受信してよい。ブロック３２０において、エンコードエンジン１１０は、上述したように、ビット密度を選択的に用いたエンコード／圧縮、および／または領域毎に異なるエンコード／圧縮を用い、各画像フレームをエンコード／圧縮してもよい。ビット密度を選択的に用いたエンコード／圧縮において、送信機１３０は、背景、および１以上のＯＯＩ領域を別々に１以上の受信者へ送信してよい。送信機１３０は、背景の変化を検出したことに応じ、２以上の画像フレーム毎など一定期間ごとに、または動的に背景を送信してもよい。エンコードエンジン１１０は全ての画像が処理されるまで上述した動作を繰り返してもよい。１以上のＯＯＩ領域は、画像フレーム毎に送信されてもよい。その後１以上の受信者は受信毎に画像を解凍し再構築してよい。
【００５７】
図４は、本開示の様々な実施形態に係る、画像処理デバイスのコンテキストエンジンの動作の一部を示すフロー図である。ブロック４１０において、コンテキストエンジン１２０は、画像フレームのストリームを受信してよく、画像フレームのストリームを１つずつ、または並行して処理してよい。コンテキストエンジン１２０は、エンコードエンジン１１０と並行して画像フレームのストリームを受信してよく、または代替的に、エンコードエンジン１１０の前に画像フレームを処理してもよい。ブロック４２０において、上述したように、コンテキストエンジン１２０は、画像フレーム内の１以上のＯＯＩ領域を識別し、エンコードおよび／または圧縮を行うべくＯＯＩ領域情報をエンコードエンジン１１０に提供してもよい。ブロック４３０において、コンテキストエンジン１２０は、ＯＯＩ領域のうち少なくとも１つを含む、画像フレーム内のＲＯＩを設定してよい。コンテキストエンジン１２０は、１以上のＯＯＩ領域が目立つように示され、画像の中心において画像内で焦点が合った状態で映されるようにＲＯＩをスケーリングし、画像フレーム内のＲＯＩの外側の領域の表示を少なくしてよい。コンテキストエンジン１２０は、少なくとも１つのＯＯＩ領域が画像フレーム内の中心に位置するようＲＯＩのサイズおよび位置を調整してよい。ブロック４４０において、コンテキストエンジン１２０は、画像フレームに関連付けられたコンテキスト情報を作成すべく画像フレームを分析してよい。ブロック４５０において、コンテキストエンジン１２０は、１以上のＯＯＩ領域のうち少なくとも１つが画像フレーム内の中心外位置に位置するようコンテキスト情報に基づいてＲＯＩを調整してよい。コンテキストエンジン１２０は、コンテキスト情報に基づいた調整を行って、または行わず、ＯＯＩ情報、および／またはＲＯＩ情報をエンコードエンジン１１０へ渡してよい。コンテキストエンジン１２０は、全ての画像が処理されるまで上述した工程を繰り返してもよい。
【００５８】
図５は、本開示の様々な実施形態に係る、画像処理デバイスの動作の一部を示すフロー図である。ブロック５１０において、画像処理デバイス１００に取り付けられた１以上のビデオカメラ（図１において図示せず）は、２次元（２Ｄ）または３次元（３Ｄ）形式の動画像をキャプチャしてもよい。ブロック５２０において、コンテキストエンジンは、各画像フレームを分析し、１以上のＯＯＩ領域を識別してもよい。ブロック５３０において、コンテキストエンジン１２０は、画像フレーム内のＲＯＩを設定し、画像フレームの中心部に少なくとも１つのＯＯＩが位置するよう画像フレーム内のＲＯＩをスケーリングしてよい。ブロック５４０において、コンテキストエンジンは、画像フレームを分析し、顔の向き情報の推測を含む１以上のコンテキスト情報を作成し、コンテキスト情報に基づいてＲＯＩを変更してもよい。コンテキストエンジン１２０は変更されたＲＯＩを含む画像フレームをエンコードエンジン１１０に転送してよい。ブロック５５０において、エンコードエンジン１１０は、ビット密度を選択的に用いたエンコードおよび／または圧縮、或いは領域毎に異なるエンコードおよび／または圧縮に基づき、画像フレームのストリームを１つずつ、または並行してエンコード／圧縮してよい。ブロック５６０において、送信機１３０は、エンコード／圧縮された画像フレームを１以上の受信者へ送信してよい。コンテキストエンジン１２０、エンコードエンジン１１０、および送信機１３０は、全ての画像フレームが処理されるまで上述した工程を繰り返してよい。
【００５９】
図６は、本開示の様々な実施形態に係る、説明される方法および／または装置の様々な態様を実施するために用いるのに適した例示的なコンピュータシステムを示すブロック図である。示されるように、システム６００は、電源ユニット６０１、多数のプロセッサまたはプロセッサコア６０２、システムメモリ６０４、大容量記憶装置６０６、および通信インタフェース６１０を含んでよい。請求項を含む本願の目的において、文脈上明らかにそうでないことが求められない限り、「プロセッサ」および「プロセッサコア」といった用語は同義語として見なされてよい。
【００６０】
加えて、コンピューティングシステム６００は、１以上の有形の非一時的コンピュータ可読大容量記憶デバイス６０６（ディスケット、ハードディスク、コンパクトディスク読み出し専用メモリ（ＣＤＲＯＭ）など）、入出力デバイス６０８（キーボード、カーソルコントロールなど）を含みうる。様々な実施形態において、Ｉ／Ｏデバイス６０８は、１以上のカメラ６１８を含みうる。要素は互いに、および上記にて列挙された要素に、１以上のバスであってよいシステムバス６１２を介して結合されていてよい。複数のバスが用いられた場合、それらは１以上のバスブリッジによってブリッジ接続されてもよい（図示せず）。データは、Ｉ／Ｏデバイス６０８、例えば、カメラ６１８からプロセッサ６０２へシステムバス６１２を介して渡されてもよい。
【００６１】
システムメモリ６０４および大容量記憶装置６０６を用いて、本明細書においては６２２でまとめて示す、１以上のオペレーティングシステム、ファームウェアモジュールまたはドライバ、並びにアプリケーションなどを実装するプログラミング命令のワーキングコピーおよびパーマネントコピーを格納してよい。プログラミング命令はプロセッサ６０２によって実行されると、上述したように、エンコードエンジン１１０、コンテキストエンジン１２０、および／または送信機１３０の動作をコンピューティングシステム６００に実行させる。カメラ６１８は、動画像のストリームをキャプチャしてよく、また、上述したようにコンテキストエンジン１２０により制御されてもよい。
【００６２】
プログラミング命令のパーマネントコピーは、例えば、ＣＤなどの配布媒体（図示せず）、または（配信サーバ（図示せず）からの）通信インタフェース６１０を介して工場、または現場の永続記憶装置６０６に格納されてもよい。つまり、エージェントプログラムを実装する１以上の配布媒体を用いて、エージェントを配布し、様々なコンピューティングデバイスをプログラムしてもよい。
【００６３】
これら要素６０１〜６２２の他の構成は公知であるので、さらに詳細には説明しない。
【００６４】
図７は、本開示の実施形態に係る、画像処理デバイスの様々な動作を装置に実行させるプログラミング命令を有する製品を示す。示されるように、製品７００はコンピュータ可読非一時的記憶媒体７１０を含んでよい。記憶媒体７１０は、画像処理デバイスを実装するプログラミング命令７２０を含みうる。
【００６５】
記憶媒体７１０は、フラッシュメモリ、光学または磁気ディスクなどが含まれるがこれらに限定されない、幅広い種類の当分野で公知の永続記憶媒体であり得る。プログラミング命令７２０は特に、プログラミング命令７２０を画像処理装置が実行したことに応じて、動画信号の複数の画像フレームを受信する手順と、各画像フレーム内の１以上の関心対象オブジェクトと共に各画像フレームを形成する背景のエンコード／圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、１以上の関心対象オブジェクトをエンコードおよび／または圧縮する手順とを当該画像処理装置に実行させる。
【００６６】
本明細書において特定の実施形態を示し説明してきたが、当業者であれば、本開示の実施形態の態様から逸脱することなく、示され説明された特定の実施形態に代わり、様々な代替および／または同様の実施例が可能であることを理解されよう。本願は、本明細書で説明された実施形態の適合例または変形例を網羅することが意図されている。よって、本開示の実施形態は、請求項およびその同等物によってのみ定められることが明白に意図されている。
［項目１］
動画信号の複数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域と共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の領域をエンコードまたは圧縮するエンコードエンジンとを備える画像処理装置。
［項目２］
前記エンコードエンジンに結合され、エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する送信機をさらに備える、項目１に記載の画像処理装置。
［項目３］
前記１以上の関心対象オブジェクトはビデオ会議の参加者の１以上の顔を含む、項目１に記載の画像処理装置。
［項目４］
前記エンコードエンジンに結合され、前記各画像フレーム内の前記１以上の関心対象オブジェクトを識別するコンテキストエンジンをさらに備える、項目１に記載の画像処理装置。
［項目５］
前記コンテキストエンジンはさらに、前記各画像フレームの前記１以上の関心対象オブジェクトを少なくとも部分的に含む関心対象領域を識別する、項目４に記載の画像処理装置。
［項目６］
前記コンテキストエンジンはさらに、前記各画像フレーム内の前記関心対象領域をより目立たせるために前記各画像フレーム内で前記関心対象領域を拡大する、項目５に記載の画像処理装置。
［項目７］
前記コンテキストエンジンはさらに、前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心に位置させるよう前記関心対象領域を調整する、項目５に記載の画像処理装置。
［項目８］
前記コンテキストエンジンはさらに、前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心外位置に位置させるよう、コンテキスト情報に基づいて、前記関心対象領域を調整する、項目５に記載の画像処理装置。
［項目９］
前記１以上の関心対象オブジェクトは、ビデオ会議の参加者の１以上の顔を含み、
前記コンテキスト情報は前記１以上の顔の顔の向きを含む、項目８に記載の画像処理装置。
［項目１０］
前記送信機はさらに、前記１以上の関心対象オブジェクトと前記背景とを別々に送信する、項目２に記載の画像処理装置。
［項目１１］
動画信号の複数の画像フレームを受信する工程と、
各画像フレーム内の１以上の関心対象オブジェクトと共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の関心対象オブジェクトに関連付けられた１以上の領域をエンコードまたは圧縮する工程とを備える画像処理方法。
［項目１２］
前記各画像フレーム内の前記１以上の関心対象オブジェクトを識別する工程をさらに備える、項目１１に記載の画像処理方法。
［項目１３］
前記各画像フレームの前記１以上の関心対象オブジェクトを少なくとも部分的に含む関心対象領域を識別する工程をさらに備える、項目１１に記載の画像処理方法。
［項目１４］
前記各画像フレーム内の前記関心対象領域をより目立たせるために前記各画像フレーム内で前記関心対象領域を拡大する工程をさらに備える、項目１３に記載の画像処理方法。
［項目１５］
前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心に位置させるよう前記各画像フレーム内の前記関心対象領域を調整する工程をさらに備える、項目１３に記載の画像処理方法。
［項目１６］
前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心外位置に位置させるよう、コンテキスト情報に基づいて、前記関心対象領域を調整する工程をさらに備える、項目１３に記載の画像処理方法。
［項目１７］
前記１以上の関心対象オブジェクトは、ビデオ会議の参加者の１以上の顔を含み、
前記コンテキスト情報は前記１以上の顔の顔の向きを含む、項目１６に記載の画像処理方法。
［項目１８］
エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する工程をさらに備え、
前記送信する工程は、前記１以上の関心対象オブジェクトと前記背景とを別々に送信する工程を含む、項目１１から１７のいずれか１項に記載の画像処理方法。
［項目１９］
複数の画像フレームを有する動画信号をキャプチャするカメラと、
操作可能に前記カメラに結合されたエンコードエンジンであり、キャプチャされた前記複数の画像フレームを受信し、各画像フレーム内の１以上の関心対象オブジェクトと共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記１以上の関心対象オブジェクトをエンコードまたは圧縮するエンコードエンジンと、
前記エンコードエンジンに結合され、エンコードまたは圧縮された前記複数の画像フレームを１以上の受信機に送信する送信機とを備える画像処理システム。
［項目２０］
前記カメラに結合されたコンテキストエンジンであり、前記キャプチャされた複数の画像フレームを受信し、前記各画像フレーム内の前記１以上の関心対象オブジェクトを識別するコンテキストエンジンをさらに備える、項目１９に記載の画像処理システム。
［項目２１］
プログラムであり、実行されると装置に、
動画信号の複数の画像フレームを受信する手順と、
各画像フレーム内の１以上の関心対象オブジェクトと共に前記各画像フレームを形成する背景のエンコードまたは圧縮に用いられるビット密度よりも高い１以上のビット密度に基づき、前記各画像フレーム内の前記１以上の関心対象オブジェクトをエンコードまたは圧縮する手順とを実行させるプログラム。
［項目２２］
動画信号の複数の画像フレームを受信する手段と、
各画像フレーム内の１以上の関心対象オブジェクトに関連付けられた１以上の領域を囲む背景領域のビット密度よりも高い１以上のビット密度に基づき、前記１以上の領域をエンコードする手段とを備える画像処理装置。
［項目２３］
前記各画像フレームの前記１以上の関心対象オブジェクトを少なくとも部分的に含む関心対象領域を識別する手段をさらに備える、項目２２に記載の画像処理装置。
［項目２４］
前記各画像フレーム内の前記関心対象領域をより目立たせて表示するよう前記各画像フレーム内で前記関心対象領域を拡大する手段をさらに備える、項目２３に記載の画像処理装置。
［項目２５］
前記各画像フレーム内の前記１以上の関心対象オブジェクトのうち少なくとも１つを前記各画像フレーム内の中心に位置させるよう前記各画像フレーム内の前記関心対象領域を調整する手段をさらに備える、項目２３または２４に記載の画像処理装置。
【図１】
0005859111.tif 000004
【図２】
0005859111.tif 000005
【図３】
0005859111.tif 000006
【図４】
0005859111.tif 000007
【図５】
0005859111.tif 000008
【図６】
0005859111.tif 000009
【図７】
0005859111.tif 000010