(57)【要約】      （修正有）【課題】符号化された単一の画像を出力するための多数の画像センサ及び多数のエンコーダを使用する方法及びデバイスを提供する。【解決手段】撮像デバイスにおいて、第１の画像センサが撮像した画像データは、符号化された画像に第１のタイル又は第１のスライスとして加えられ、第２の画像センサが撮像した画像データは、符号化された画像に第２のタイル又は第２のスライスとして加えられる。ストリームマルチプレクサは、第１のエンコーダが符号化したデータ及び第２のエンコーダが符号化したデータを受信して、符号化された画像を形成するよう構成されており、符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む。【選択図】図７
2020053963.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像センサ（１０２ａ）及び第２の画像センサ（１０２ｂ）と、
第１のエンコーダ（１０６ａ）及び第２のエンコーダ（１０６ｂ）と、
ストリームマルチプレクサ（１１０）と、を含み、
前記第１のエンコーダは、前記第１の画像センサが撮像した（Ｓ７０２）第１の画像データ（１０４ａ）を符号化する（Ｓ７０６）よう構成されており、
前記第２のエンコーダは、前記第２の画像センサが撮像した（Ｓ７０４）第２の画像データ（１０４ｂ）を符号化する（Ｓ７０８）よう構成されており、
前記ストリームマルチプレクサは、前記第１のエンコーダが符号化したデータ及び前記第２のエンコーダが符号化したデータを受信して（Ｓ７１０、Ｓ７１２）、符号化された画像を形成する（Ｓ７１４）よう構成されており、
前記符号化された画像は、前記符号化された第１のデータ（１０８ａ）を、第１のタイル又は第１のスライスとして含み、前記符号化された第２のデータ（１０８ｂ）を、第２のタイル又は第２のスライスとして含む、
撮像デバイス（１００）。
【請求項２】
前記第１の符号化されたデータ及び前記第２の符号化されたデータのそれぞれは、前記第１のセンサ及び前記第２のセンサが前記第１の画像データ及び前記第２の画像データを撮像した瞬間を示すメタデータを含み、
前記ストリームマルチプレクサは、前記第１の画像データを撮像する前記瞬間と前記第２の画像データを撮像する前記瞬間とが等しいことを、前記第１の符号化されたデータ及び前記第２の符号化されたデータの前記メタデータのそれぞれが示す場合にのみ、前記符号化された画像を形成するよう構成されている、
請求項１に記載の撮像デバイス。
【請求項３】
前記第１の画像データ及び前記第２の画像データが撮像される瞬間を同期するよう構成された１つ又はそれ以上の第１のコントローラ（３０２）をさらに含む、
請求項１又は２に記載の撮像デバイス。
【請求項４】
前記１つ又はそれ以上の第１のコントローラは、前記第１の画像センサ及び前記第２の画像センサのフォーカス設定と、
前記第１の画像センサ及び前記第２の画像センサの赤外線（ｉｎｆｒａｒｅｄ又はＩＲ）カットフィルタ設定と、
前記第１の画像センサ及び前記第２の画像センサの露光設定と、
のリストからの少なくとも１つを同期するよう構成されている、
請求項１〜３のいずれか一項に記載の撮像デバイス。
【請求項５】
前記第１のエンコーダ及び前記第２のエンコーダのホワイトバランス設定と、
前記第１のエンコーダ及び前記第２のエンコーダのトーンマッピング設定と、
のリストからの少なくとも１つを同期するよう構成されている１つ又はそれ以上の第２のコントローラ（３０４）をさらに含む、
請求項１〜４のいずれか一項に記載の撮像デバイス。
【請求項６】
前記第１の画像データ及び前記第２の画像データの内容を分析し、前記画像データのそれぞれを符号化するためのビットレート割当量を判定するよう構成されているアナライザユニット（３０６）をさらに含み、
前記第１のエンコーダ及び前記第２のエンコーダは、前記第１の画像データ及び前記第２の画像データを、前記判定したビットレート割当量にしたがって符号化するよう構成されている、
請求項１〜５のいずれか一項に記載の撮像デバイス。
【請求項７】
前記アナライザユニットは、前記第１のエンコーダと同じチップ内に実装されている、請求項６に記載の撮像デバイス。
【請求項８】
第３の画像センサ（１０２ｃ）をさらに含み、
前記第１のエンコーダ又は前記第２のエンコーダは、前記第３の画像センサが撮像した第３の画像データ（１０４ｃ）を符号化するよう構成されており、
前記符号化された画像は、前記符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含む、
請求項１〜７のいずれか一項に記載の撮像デバイス。
【請求項９】
第３の画像センサ（１０２ｃ）及び第４の画像センサ（１０２ｄ）をさらに含み、
前記第１のエンコーダ又は前記第２のエンコーダは、前記第３の画像センサが撮像した第３の画像データを符号化するよう構成されており、
前記第１のエンコーダ又は前記第２のエンコーダは、前記第４の画像センサが撮像した第４の画像データを符号化するよう構成されており、
前記符号化された画像は、前記符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含み、前記符号化された第４のデータを、第４のタイル又は第４のスライスとしてさらに含む、
請求項１〜７のいずれか一項に記載の撮像デバイス。
【請求項１０】
前記符号化された画像は、クワッドビューの形態を有し、
前記符号化された画像データのそれぞれは、前記クワッドビュー内にビューのそれぞれを形成する、
請求項９に記載の撮像デバイス。
【請求項１１】
前記符号化された第１のデータ、前記符号化された第２のデータ、前記符号化された第３のデータ、及び前記符号化された第４のデータは、前記符号化された画像内にて水平方向又は垂直方向にシーケンス状に互いに隣り合って配置されている、
請求項９に記載の撮像デバイス。
【請求項１２】
前記ストリームマルチプレクサはさらに、前記符号化された画像をビットストリーム（１１２）として出力するよう構成されている、
請求項１〜１１のいずれか一項に記載の撮像デバイス。
【請求項１３】
前記ストリームマルチプレクサは、前記第１のエンコーダ内に実装されている、
請求項１〜１２のいずれか一項に記載の撮像デバイス。
【請求項１４】
第１の画像センサ（１０２ａ）により、第１の画像データ（１０４ａ）を撮像すること（Ｓ７０２）と、
第２の画像センサ（１０２ｂ）により、第２の画像データ（１０４ｂ）を撮像すること（Ｓ７０４）と、
第１のエンコーダ（１０６ａ）により、前記第１の画像データを符号化すること（Ｓ７０６）と、
第２のエンコーダ（１０６ｂ）により、前記第２の画像データを符号化すること（Ｓ７０８）と、
ストリームマルチプレクサにより（１１０）、前記符号化された第１の画像データ（１０８ａ）を受信すること（Ｓ７１０）と、
前記ストリームマルチプレクサにより、前記符号化された第２の画像データ（１０８ｂ）を受信すること（Ｓ７１２）と、
前記ストリームマルチプレクサにより、前記符号化された画像を形成すること（Ｓ７１４）と、を含み、
前記符号化された画像は、前記符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、前記符号化された第２のデータを、第２のタイル又は第２のスライスとして含む、
符号化された画像を形成するための方法。
【請求項１５】
処理機能を有するデバイスにより実行されると、請求項１４に記載の方法を実施するよう構成されている命令を保存しているコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を符号化することの分野に関する。本発明は特に、符号化された単一の画像を出力するための多数の画像センサ及び多数のエンコーダを採用する方法及びデバイスに関する。
【背景技術】
【０００２】
近年、ネットワークカメラ監視システムなどの監視カメラの数が増えている。多くの監視システムは、シーンの画像を撮像するための複数の画像センサを使用して、シーンの広いエリアをカバーし、及び／又は、シーンをさらに詳細に撮像する。通常、そのような監視システムは、複数の画像ストリームを生成する。これは、オペレータのディスプレイ又はビデオ分析ユニットなどに転送され、シーンの映像がさらに分析されたり、編集されたりする。しかし、このソリューションでは、シーンの特定の部分（例えば、画像センサの視野の縁に対応する部分）に対する、画像データに行われる自動分析の品質が低下したり、又は複雑となったりする場合がある。別の不都合な点としては、画像ストリーム内のフレームを編集又は精査する際に、異なる画像ストリーム間の同期が必要となることである。
【０００３】
したがって、このコンテキストにおける改善の必要がある。
【発明の概要】
【０００４】
上記を鑑み、本発明の目的はしたがって、上記の問題を克服するか、又は少なくとも軽減することである。特に、本発明の目的は、Ｈ．２６５エンコーディングなどにおけるタイル／スライスのコンセプトを活用して、複数の画像センサが撮像した複数の画像データから、符号化された単一の画像を生成するデバイス及び方法を提供することである。
【０００５】
本発明の第１の態様によると、
第１の画像センサ及び第２の画像センサと、
第１のエンコーダ及び第２のエンコーダと、
ストリームマルチプレクサと、を含み、
第１のエンコーダは、第１の画像センサが撮像した第１の画像データを符号化するよう構成されており、第２のエンコーダは、第２の画像センサが撮像した第２の画像データを符号化するよう構成されており、
ストリームマルチプレクサは、第１のエンコーダが符号化したデータ及び第２のエンコーダが符号化したデータを受信して、符号化された画像を形成するよう構成されており、符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む、撮像デバイスが提供される。
【０００６】
タイル及びスライスは、独立して復号化／符号化できる矩形領域の格子に写真を分割することを可能にする。本コンセプトが、下記の発明に関するコンセプトに係るデバイスにより好適に採用され得ることを、発明者は認識した。この発明に関するコンセプトは、少なくとも２つの画像センサを有する。この少なくとも２つの画像センサは、別々のエンコーダにそれぞれ接続されている。これら別々のエンコーダは、それら画像センサのそれぞれからの画像を符号化し、したがって、第１の符号化されたデータ及び第２の符号化されたデータを提供する。第１の符号化されたデータ及び第２の符号化されたデータは、ストリームマルチプレクサ、すなわち、少なくとも２つの別々に符号化されたデータから、符号化された単一の画像を形成するよう構成されているユニットにより受信される。符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む。
【０００７】
上記の実施形態から、いくつかの利点が実現され得る。単一のビットストリーム（例えば、画像センサのフレームレートに基づく時間間隔毎の単一の画像／フレーム）のみの分析が必要とされるために分析が簡略され、別々のストリームの内容を同期して、例えば、その進路内での、シーン内で動く、異なる画像センサが撮像したオブジェクトに追従したり、又は第１の画像センサが撮像したシーンの部分と第２の画像センサが撮像したシーンの部分との間の移行部に位置するシーンの内容を分析したりすることに関連する問題を排除する。さらに、符号化された単一の画像は、複数の画像センサが撮像した画像データを編集すること（例えば、クロッピング、回転、など）を、別々に編集して共に配置する必要のある複数の画像を使用して同じ編集を行うことと比較して、簡略にする。さらに、複数の画像センサが撮像したビデオの同期精査が簡略になる。なぜなら、画像センサのそれぞれからの画像データが、単一のビットストリームに結合されるためである。これは、複数の画像センサが撮像したシーンが連続していなくとも、すなわち、第１の画像センサの視野が、第２の画像センサの視野に近くなくとも、好適である。
【０００８】
いくつかの実施形態によると、第１の符号化されたデータ及び第２の符号化されたデータのそれぞれは、第１のセンサが第１の画像データを撮像した瞬間及び第２のセンサが第２の画像データを撮像した瞬間を示すメタデータを含む。ストリームマルチプレクサは、第１の画像データを撮像するための瞬間と第２の画像データを撮像するための瞬間とが等しいことを、第１の符号化されたデータ及び第２の符号化されたデータのメタデータのそれぞれが示す場合にのみ、符号化された画像を形成するよう構成されている。好適には、２つの画像センサの１つが何らかの理由により画像の撮像に失敗すると、ストリームマルチプレクサはもう一方の画像センサからの符号化された画像データを破棄し、ストリームマルチプレクサにより形成された符号化された画像における、２つの画像センサからの画像データの同期を維持してよい。
【０００９】
本開示では、「瞬間を示すメタデータ」という用語は一般に、ストリームマルチプレクサが、第１のエンコーダ及び第２のエンコーダのそれぞれからの符号化された画像データ間の時間的同期／比較に使用できる、タイムスタンプや実行数などのいずれのタイプのデータを指す。
【００１０】
いくつかの実施形態によると、撮像デバイスは、第１の画像データ及び第２の画像データが撮像される瞬間を同期するよう構成されている１つ又はそれ以上の第１のコントローラをさらに含む。いくつかの実施形態では、撮像デバイスは、第１のセンサ及び第２のセンサと通信するコントローラを１つ含む。他の実施形態では、撮像デバイスは、それぞれが、画像センサのそれぞれと通信して、互いにも通信するコントローラを２つ含む。好適には、２つの画像センサにより画像を撮像するための時間的同期が実現されてよい。
【００１１】
いくつかの実施形態によると、１つ又はそれ以上の第１のコントローラは、第１の画像センサ及び第２の画像センサのフォーカス設定と、第１の画像センサ及び第２の画像センサの赤外線（ｉｎｆｒａｒｅｄ又はＩＲ）カットフィルタ設定と、第１の画像センサ及び第２の画像センサの露光設定と、のリストからの少なくとも１つを同期するよう構成されている。その結果、第１の画像センサ及び第２の画像センサからの画像データは、（すなわち、第１の画像センサ及び第２の画像センサにおける同様の設定を使用して）より等しく撮像され得る。これは、符号化された画像に行われる自動分析及び／又は手動分析と、同様に、符号化された画像が復号化された際の外観と、をさらに改善し得る。
【００１２】
いくつかの実施形態によると、撮像デバイスは、第１のエンコーダ及び第２のエンコーダのホワイトバランス設定と、第１のエンコーダ及び第２のエンコーダのトーンマッピング設定と、のリストからの少なくとも１つを同期するよう構成されている１つ又はそれ以上の第２のコントローラをさらに含む。いくつかの実施形態では、撮像デバイスは、第１のエンコーダ及び第２のエンコーダと通信する第２のコントローラを１つ含む。他の実施形態では、撮像デバイスは、それぞれが、エンコーダのそれぞれと通信して、互いにも通信するそのようなコントローラを２つ含む。好適には、第１の画像センサ及び第２の画像センサからの画像データは、（すなわち、第１の画像エンコーダ及び第２の画像エンコーダにおける同様の設定を使用して）より等しく符号化され得る。これは、符号化された画像に行われる自動分析及び／又は手動分析と、同様に、符号化された画像が復号化された際の外観と、をさらに改善し得る。
【００１３】
いくつかの実施形態によると、撮像デバイスは、第１の画像データ及び第２の画像データの内容を分析し、画像データのそれぞれを符号化するためのビットレート割当量を判定するよう構成されているアナライザユニットをさらに含む。第１のエンコーダ及び第２のエンコーダは、第１の画像データ及び第２の画像データを、判定したビットレート割当量にしたがって符号化するよう構成されている。他の実施形態によると、アナライザユニットは、第１の画像センサ及び第２の画像センサにより以前に撮像された画像データの内容を分析し、第１の画像データ及び第２の画像データを符号化するためのビットレート割当量を判定するよう構成されている。好適には、第１の画像データ／第２の画像データの１つ、すなわち、さらなる詳細及び／又はより重要な内容を含む１つが、他と比較してより高いビットレート割当量を使用して符号化されてよく、符号化された画像に行われる自動分析又は手動分析をさらに改善する。ＨＥＶＣ／ＡＶＣエンコーディングなどにおけるスライス／タイルは、上述するように、別々に符号化できるため、そのような、第１のエンコーダ及び第２のエンコーダ間のビットレートの分割が実現できる。
【００１４】
いくつかの実施形態によると、アナライザユニットは、第１のエンコーダと同じチップ内に実装されている。好適には、これは、撮像デバイスの製造プロセスの簡略化を促進する。アナライザユニットを、第１のエンコーダと同じチップ上に実装することは、データへのアクセスを容易にし得る。
【００１５】
いくつかの実施形態によると、撮像デバイスは、第３の画像センサをさらに含む。第１のエンコーダ又は第２のエンコーダは、第３の画像センサが撮像した第３の画像データを符号化するよう構成されている。符号化された画像は、符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含む。したがって、エンコーダの少なくとも１つが、２つの画像センサに接続されている。本実施形態は、シーンの広いエリアを撮像すること、及び／又は、シーン内のさらなる詳細を撮像することを促進する。
【００１６】
いくつかの実施形態によると、撮像デバイスは、第３の画像センサ及び第４の画像センサをさらに含む。第１のエンコーダ又は第２のエンコーダは、第３の画像センサが撮像した第３の画像データを符号化するよう構成されている。第１のエンコーダ又は第２のエンコーダは、第４の画像センサが撮像した第４の画像データを符号化するよう構成されている。符号化された画像は、符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含み、符号化された第４のデータを、第４のタイル又は第４のスライスとしてさらに含む。したがって、エンコーダの少なくとも１つが、複数の画像センサに接続されている。本実施形態では、符号化された画像は、クワッドビューの形態を有してよい。符号化された画像データのそれぞれは、クワッドビュー内にビューのそれぞれを形成する。クワッドビューは、監視の用途に使用される、下記の発明に関するコンセプトを使用する共通ビューであり、クワッドビューの画像フレームの同期精査を簡略にする。他の実施形態では、符号化された第１のデータ、第２のデータ、第３のデータ、及び第４のデータは、符号化された画像内にて水平方向又は垂直方向にシーケンス状に互いに隣り合って配置されている。好適には、これは、単一の画像センサが、シーン全体を撮像した場合に見えるようなものと同様に、符号化された画像が、連続して撮像されたシーンを表すことを可能にする。いくつかの小型の画像センサを使用することは、撮像された画像の品質を同程度に実現する単一の大型の画像センサの使用に比較して、コスト効率が良好となり得る。これはまた、パノラマ画像の実現にも便利である。
【００１７】
いくつかの実施形態によると、ストリームマルチプレクサはさらに、符号化された画像をビットストリームとして出力するよう構成されている。
【００１８】
いくつかの実施形態によると、ストリームマルチプレクサは、第１のエンコーダ内に実装されている。その結果、第１のエンコーダはマスタエンコーダとして機能し、他のエンコーダ（単一又は複数）により（例えば、符号化されたスライス又はタイルの形態に）符号化されたデータを受信し、受信した、符号化されたデータを、符号化された第１の画像データと繋ぎ合わせ、符号化された画像を形成する。好適には、これは、第１のエンコーダ（マスタエンコーダ）の、第１のタイプのハードウェア（例えば、第１のタイプのチップ）上の実装、又は、第１のタイプのソフトウェアを使用しての実装を可能とし得る。残りのエンコーダ（単一又は複数）（スレーブエンコーダ（単一又は複数））は、第２のタイプのハードウェア（例えば、第２のタイプのチップ）上に実装、又は、同じ第２のソフトウェアを使用して実装できる。好適には、これは、撮像デバイスの製造プロセスの簡略化を促進し得る。別の実施形態では、２つの同一のチップ／ソフトウェアが使用される。ストリームマルチプレクサはここでは、スレーブチップ上において無効となっている。好適には、異なるコンポーネントが少ないことで、製品が安価となる。
【００１９】
本発明の第２の態様によると、
−  第１の画像センサにより、第１の画像データを撮像することと、
−  第２の画像センサにより、第２の画像データを撮像することと、
−  第１のエンコーダにより、第１の画像データを符号化することと、
−  第２のエンコーダにより、第２の画像データを符号化することと、
−  ストリームマルチプレクサにより、符号化された第１の画像データを受信することと、
−  ストリームマルチプレクサにより、符号化された第２の画像データを受信することと、
−  ストリームマルチプレクサにより、符号化された画像を形成することと、を含み、符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む、符号化された画像を形成するための方法により、上記の目的が実現される。
【００２０】
本発明の第３の態様によると、処理機能を有するデバイスにより実行されると、第２の態様の方法を実施するよう構成されているコンピュータコード命令を保存しているコンピュータ可読媒体を含むコンピュータプログラム製品により、上記の目的が実現される。
【００２１】
第２の態様及び第３の態様は一般に、第１の態様と同じ特徴及び利点を有してよい。本発明は更に、特に明白に言及していない限り、すべての可能な特徴の組み合わせに関連することに留意されたい。
【００２２】
本発明の、上記及び更なる目的、特徴、並びに利点は、添付図面を参照しての、本発明の好適な実施形態の、以下に記載する例示的且つ非限定の詳細説明を通して良好に理解される。ここでは、同様のコンポーネントには同じ参照番号が用いられる。
【図面の簡単な説明】
【００２３】
【図１】図１は、第１の実施形態に係る撮像デバイスを示す。
【図２】図２は、第２の実施形態に係る撮像デバイスを示す。
【図３】図３は、第３の実施形態に係る撮像デバイスを示す。
【図４】図４は、第４の実施形態に係る撮像デバイスを示す。
【図５】図５は、一実施形態に係る符号化された画像の表示を示す。
【図６】図６は、別の実施形態に係る符号化された画像の表示を示す。
【図７】図７は、ある実施形態に係る、符号化された画像を形成するための方法を示す。
【発明を実施するための形態】
【００２４】
本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の実施形態を示す。以下に開示するシステム及びデバイスは、作動中のものとして説明される。
【００２５】
アドバンスドビデオコーディング（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ又はＡＶＣ、これはＨ．２６４とも呼ぶ）及び高効率ビデオコーディング（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ又はＨＥＶＣ、これはＨ．２６５とも呼ぶ）などの、符号化することの新たな方法では、タイル（ＨＥＶＣエンコーディングによってのみサポートされている）及びスライスのコンセプトが導入されている。タイル及びスライスは、独立して復号化／符号化できる矩形領域の格子に画像を分割することを可能にする。独立してコード化できるようにするため、１つを超えるスライス又はタイルからのピクセルを使用するいずれの予測はあってはならず、予測からの結果は、同じスライス又はタイル内でのみ使用されなければならない。本コンセプトは、並列処理の目的に使用されてよい。本コンセプトはまた、複数の画像センサ及び複数のエンコーダを含む撮像デバイスにおける、符号化された単一の画像、すなわち、複数のエンコーダが符号化した画像データを、１つの符号化された画像に繋ぎ合わせることを実現するために、ここに記すように使用されてよい。
【００２６】
図１は、第１の実施形態に係る本コンセプトを実装する撮像デバイス１００を示す。撮像デバイス１００は、２つの画像センサ１０２ａ〜画像センサ１０２ｂを含む。画像センサ１０２ａ〜画像センサ１０２ｂのそれぞれは、シーンの画像データを撮像する。好適には、画像センサ１０２ａ〜画像センサ１０２ｂのそれぞれは、図１に示すように、シーンの異なる部分を少なくとも部分的に撮像する。例えば、画像センサ１０２ａ〜画像センサ１０２ｂは、撮像デバイス１００からの同じ方向にてシーンを撮像してよい。可視光又は赤外線（ｉｎｆｒａｒｅｄ  ｌｉｇｈｔ又はＩＲ）を採用する画像センサ、熱センサ、飛行時間（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ又はＴｏＦ）センサなどのいずれの種類の画像センサを、下記の目的に使用してよいことに留意されたい。撮像デバイスの画像センサ１０２は、シーンの画像データを連続して撮像するよう構成されてよいし（例えば、デジタルビデオカメラ）、又はシーンの単一の瞬間を撮像するよう構成されてもよい（例えば、デジタルスチルカメラ）。
【００２７】
図１の実施形態では、第１の画像センサ１０２ａは、第１のエンコーダ１０６ａに接続されており、第２の画像センサ１０２ｂは、第２のエンコーダ１０６ｂに接続されている。第１のエンコーダ１０６ａは、第１の画像センサ１０２ａが撮像して、第１のエンコーダ１０６ａが受信した第１の画像データ１０４ａを符号化するよう構成されている。第２のエンコーダ１０６ｂは、第２の画像センサ１０２ｂが撮像して、第２のエンコーダ１０６ｂが受信した第２の画像データ１０４ｂを符号化するよう構成されている。撮像デバイス１００は、第１のエンコーダ１０６ａが符号化したデータ１０８ａ及び第２のエンコーダ１０６ｂが符号化したデータ１０８ｂを受信するよう構成されているストリームマルチプレクサ１１０をさらに含む。ストリームマルチプレクサ１１０はさらに、符号化された画像１１２を形成するよう構成されている。符号化された画像は、符号化された第１のデータ１０８ａを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータ１０８ｂを、第２のタイル又は第２のスライスとして含む。換言すると、ストリームマルチプレクサ１１０は、スライス又はタイルとして符号化された第１の画像データ１０４ａを含む、第１のエンコーダ１０６ａから受信したビットストリーム１０８ａと、スライス又はタイルとして符号化された第２の画像データ１０４ｂを含む、第２のエンコーダ１０６ｂから受信したビットストリーム１０８ｂと、を、符号化された画像を含む単一のビットストリーム１１２に集約する（又は、例えば、連結する）よう構成されている。
【００２８】
いくつかの実施形態によると、第１の符号化されたデータ１０８ａ及び第２の符号化されたデータ１０８ｂは、第１のセンサが第１の画像データを撮像した瞬間及び第２のセンサが第２の画像データを撮像した瞬間を示すメタデータを含む。このメタデータは、例えば、ビットストリーム１０８ａ〜ビットストリーム１０８ｂのヘッダ内に含まれてよい。これにより、第１のエンコーダ１０４ａ及び第２のエンコーダ１０４ｂから受信したビットストリーム（符号化された画像データ）１０８ａ〜ビットストリーム（符号化された画像データ）１０８ｂのそれぞれが、画像センサ１０２ａ〜画像センサ１０２ｂが同じ時点にて撮像した画像データを表すか否かを、ストリームマルチプレクサ１１０は迅速に検出できる。いくつかの実施形態では、ストリームマルチプレクサ１１０は、第１の画像データ１０４ａを撮像する瞬間と第２の画像データ１０４ｂを撮像する瞬間とが等しいことを、第１の符号化されたデータ及び第２の符号化されたデータのメタデータ１０８ａ〜メタデータ１０８ｂのそれぞれが示す場合にのみ、符号化された画像１１２を形成するよう構成されている。他の実施形態では、ストリームマルチプレクサは、符号化された画像の受信されていない部分（スライス又はタイル）が、例えば、符号化された画像内の黒いエリアにより表される、符号化された画像１１２を依然として形成するよう構成されてよい。符号化された画像データを同期することは一般に、特に効率がよくなるわけではない。その代わりに、第１の画像又は第２の画像が失われた場合に、写真のグループ内にスライスを混ぜ合わせないために他方を破棄するよう、エンコーディングの前に同期を行うことが望ましい。失った第１の画像又は第２の画像の代わりに黒いエリアが挿入されている場合に、次の画像のための参照フレームが黒くなるようエンコーダに返答することで、同様の問題を解消できる。
【００２９】
いくつかの実施形態によると、ストリームマルチプレクサ１１０は、第１のエンコーダ１０６ａ内に実装されている。本実施形態では、第１のエンコーダ１０６ａは、マスタエンコーダと呼ばれてよい。第２のエンコーダ１０６ｂは、スレーブエンコーダと呼ばれてよい。本実施形態を図２に示す。図２の実施形態では、第１のエンコーダ１０６ａ（図１にてストリームマルチプレクサ１１０としても機能する）は、第２のエンコーダ１０６ｂが符号化したデータ１０８ｂを受信するよう構成されている。第１のエンコーダ１０６ａはさらに、符号化された画像１１２を形成するよう構成されている。符号化された画像１１２は、符号化された第１のデータ（図２に図示せず）を、第１のタイル又は第１のスライスとして含み、符号化された第２のデータ１０８ｂを、第２のタイル又は第２のスライスとして含む。
【００３０】
図１〜図２の実施形態では、撮像デバイス１００は、２つの画像センサ１０２ａ〜画像センサ１０２ｂを含む。しかし、いずれの数の画像センサ及びエンコーダが採用されてよいことに留意されたい。例えば、撮像デバイス１００は、撮像した画像データを第３のエンコーダ又は第１のエンコーダ１０６ａ及び第２のエンコーダ１０６ｂの１つに送信してよい第３の画像センサ１０２ｃを含んでよい。換言すると、撮像デバイス１００のエンコーダ１０６の少なくとも１つは、複数の画像センサに接続されてよい。図３は、そのような実施形態の１つを示す。ここでは、第２のエンコーダ１０６ｂは、第３の画像センサ１０２ｃが撮像した第３の画像データ１０４ｃを、ストリームマルチプレクサ１１０に送信される第３のスライス又はタイルに符号化するよう構成されている。いくつかの実施形態によると、第２の画像センサ１０２ｂ及び第３の画像センサ１０２ｃからの画像データ１０４ｂ〜画像データ１０４ｃは、第２のエンコーダ１０６ｂによるエンコーディングの前に連結されてよいことに留意されたい。その結果、第２の画像センサ１０２ｂ及び第３の画像センサ１０２ｃからの画像データ１０４ｂ〜画像データ１０４ｃは、いくつかの実施形態では、単一のスライス又はタイルに符号化されてよい。
【００３１】
任意に、撮像デバイス１００は、画像センサ１０２と通信して、画像センサ１０２間の撮像設定を同期するよう構成されている、１つ又はそれ以上の第１のコントローラ３０２を含んでよい。例えば、１つ又はそれ以上の第１のコントローラ３０２は、第１画像データ１０４及び第２の画像データ１０４（且つ、例えば、第３の画像データ１０４）が撮像される瞬間を同期するよう構成されてよい。いくつかの実施形態では、撮像デバイス１００は、撮像デバイス１００のすべての画像センサ１０２と通信して、画像センサ１０２のそれぞれが画像データ１０４を撮像している瞬間を同期する単一の第１のコントローラ３０２を含む。他の実施形態では（図３に図示せず）、撮像デバイスは、画像センサ１０２のそれぞれに対する別々の第１のコントローラ３０２を含む。複数の第１のコントローラ３０２のそれぞれは、センサ１０２ａ〜センサ１０２ｃのそれぞれと通信して、互いにも通信して、画像センサ１０２を同期する。
【００３２】
代替又は追加的に、１つ又はそれ以上の第１のコントローラ３０２は、画像センサ１０２のフォーカス設定と、画像センサ１０２の赤外線（ｉｎｆｒａｒｅｄ又はＩＲ）カットフィルタ設定と、画像センサ１０２の露光設定と、のリストからの少なくとも１つを同期するよう構成されている。
【００３３】
任意に、撮像デバイスは、第１のエンコーダ１０６ａ及び第２のエンコーダ１０６ｂと通信して、エンコーダ１０６ａ〜エンコーダ１０６ｂ間のエンコーディング設定を同期するよう構成されている、１つ又はそれ以上の第２のコントローラ３０４をさらに含んでよい。いくつかの実施形態では、撮像デバイス１００は、撮像デバイス１００のすべてのエンコーダ１０６と通信して、エンコーダ１０６間の設定を同期する単一の第２のコントローラ３０４を含む。他の実施形態では（図３に図示せず）、撮像デバイスは、画像センサ１０２のそれぞれに対する別々の第２のコントローラ３０４を含む。複数の第２のコントローラ３０４のそれぞれは、画像センサ１０２ａ〜画像センサ１０２ｂのそれぞれと通信して、互いにも通信して、画像処理パラメータを同期する。例えば、１つ又はそれ以上の第２のコントローラ３０４は、画像センサ１０２のそれぞれに対する画像プロセッサ（図示せず）のホワイトバランス設定と、画像プロセッサのトーンマッピング設定と、のリストからの少なくとも１つを同期するよう構成されてよい。トーンマッピングとは、撮像した画像データの輝度レベルがいくらか落とされ、ビット深度を減らすことを意味する（例えば、画像センサが、ワイドダイナミックレンジ画像センサの場合）。最も暗い部分及び最も明るい部分の双方が考慮されることにより、スケールの両端がさらに鮮明となる。トーンマッピングには、２つのタイプがある。グローバルトーンマッピングでは、すべてのピクセルが同様に扱われる。つまり、画像内の随所の同じレベルが除去されることを意味する。ローカルトーンマッピングでは、画像／画像データ内でローカルに決定が下され、どのレベルを除去するか判定される。
【００３４】
任意に、撮像デバイスは、第１の画像データ１０４及び第２の画像データ１０４（且つ、第３の画像データ１０４）の内容を分析し、画像データ１０４ａ〜画像データ１０４ｃのそれぞれを符号化するためのビットレート割当量を判定するよう構成されたアナライザユニット３０６をさらに含んでよい。このビットレート割当量は、受信した画像データ１０４を、この判定したビットレート割当量にしたがって符号化するよう構成されているエンコーダ１０６に送信される。そのような分析の実施形態は、ＥＰ３０２１５８３Ａ１（軸ＡＢ及びＳＥ）に記載されている。
【００３５】
いくつかの実施形態によると、アナライザユニット３０６は、例えば、撮像デバイス１００からの短期出力ビットレート及び長期出力ビットレートに注目する履歴データに基づいて、ビットレート割当量を判定／制御し、エンコーダのそれぞれに対するビットレート割当量を判定するよう構成されている。そのようなビットレート制御方法の例は、出願人のＥＰ出願１７１６７７２４．８及び１７１６７７３２．１に見ることができる。いくつかの実施形態では、アナライザユニット３０６は、第１のエンコーダ１０６ａと同じチップ内に実装されている。
【００３６】
図１〜図３の実施形態では、画像センサ１０２は、撮像デバイスからの同じ方向にてシーンの画像データを撮像するものとして描かれている。しかし、この設計は単に例示の目的であり、撮像デバイス１００の他の設計も等しく可能である。代替的設計の１つを図４に示す。これは、上から見た撮像デバイス１００を示す。本実施形態での撮像デバイス１００は、円形（球状又はディスク形状）設計を有し、４つの画像センサ１０２ａ〜画像センサ１０２ｄは、周囲のシーンを最大で９０度の角度にてそれぞれが撮像するよう配置されている。そのような撮像デバイスはしたがって、撮像デバイス１００周囲のエリア／シーンの３６０度パノラマビューを提供し得る。その結果、撮像デバイス１００は、第３の画像センサ１０２ｃと、第４の画像センサ１０２ｄと、を含んでよい。本実施形態では、第１のエンコーダ又は第２のエンコーダ（図４に図示せず）は、第３の画像センサ１０２ｃが撮像した第３の画像データを符号化するよう構成されてよい。さらに、第１のエンコーダ又は第２のエンコーダ（図４に図示せず）は、第４の画像センサ１０２ｄが撮像した第４の画像データを符号化するよう構成されてよい。本実施形態では、図１〜図３を参照して上述したものと同様に、符号化された画像は、符号化された第３のデータを、第３のタイル又は第３のスライスとしてさらに含み、符号化された第４のデータを、第４のタイル又は第４のスライスとしてさらに含む。もちろん、図１〜図３に示すような撮像デバイスもまた、第４の画像センサ（及び、用途により、第５の画像センサ、第６の画像センサ、など）を含んでよい。さらに、画像センサのいずれの他の適切な配置が、本開示の範囲内にて等しく適用可能である。
【００３７】
図５〜図６は、異なる画像センサ１０２のそれぞれから生じた４つのタイル又はスライスを含む、符号化された画像の異なる形態を示す。図５では、符号化された第１のデータ１０４、第２のデータ１０４、第３のデータ１０４、及び第４のデータ１０４は、点線で示すように、符号化された画像１１２内にて水平方向にシーケンス状に互いに隣り合って配置されている。他の実施形態では（図示せず）、符号化された第１のデータ１０４、第２のデータ１０４、第３のデータ１０４、及び第４のデータ１０４は、符号化された画像１１２内にて垂直方向にシーケンス状に互いに隣り合って配置されている。復号化されると（例えば、ディスプレイ５０２に表示されると）、符号化された画像１１２の復号化されたバージョンがしたがって、単一の画像センサが、シーン全体を撮像した場合に見えるようなものと同様に、連続して撮像したシーンを示し得る。このように画像を符号化することは、例えば図５に示すように（ディスプレイ５０２内の一点鎖線矩形５０４）、復号化された画像のクロッピング／ズーミングを自然に見える様相にて可能にする。さらに、復号化された画像が、撮像したシーンの３６０度パノラマビューを表す場合、表示するようなシーンの「回転」がエンコーダ側にて、符号化された画像１１２内のタイル／スライスの順序を変えることにより、実現されてよい。
【００３８】
図６の実施形態では、符号化された画像１１２は、クワッドビューの形態を有する。符号化された画像データのそれぞれは、クワッドビュー内のビューのそれぞれを形成する。
【００３９】
図５及び図６に示す実施形態は、可能であれば、例えばＨ．２６５にてチルトが可能であるが、Ｈ．２６４にてスライスは可能ではないことに留意されたい。しかし、スライスを使用する同様の実施形態、例えば、図５の垂直タイルの代わりに、水平スライスを用いるものもまた可能であることを、当業者は理解するであろう。
【００４０】
図７は、上述するような、符号化された画像を形成するための方法を、例示の目的で示す。この方法は、
−  第１の画像センサにより、第１の画像データを撮像することＳ７０２と、
−  第２の画像センサにより、第２の画像データを撮像することＳ７０４と、
−  第１のエンコーダにより、第１の画像データを符号化することＳ７０６と、
−  第２のエンコーダにより、第２の画像データを符号化することＳ７０８と、
−  ストリームマルチプレクサにより、符号化された第１の画像データを受信することＳ７１０と、
−  ストリームマルチプレクサにより、符号化された第２の画像データを受信することＳ７１２と、
−  ストリームマルチプレクサにより、符号化された画像を形成することＳ７１４と、を含む。符号化された画像は、符号化された第１のデータを、第１のタイル又は第１のスライスとして含み、符号化された第２のデータを、第２のタイル又は第２のスライスとして含む。
【００４１】
図７は、方法のステップを、連続するステップのシーケンスとして示すが、ステップは、ここに示す順序にて厳密に行われる必要はなく、２つ又はそれ以上ステップが同時に行われてよいことに留意されたい。例えば、第１の画像及び第２の画像は、同時に撮像されてよく、同時に符号化されてよい。第１の画像データ及び第２の画像データは、同時に、又は、いずれの所望する順序にてストリームマルチプレクサに転送されてよい。
【００４２】
ここに開示する発明に関するコンセプトは、第１の画像センサ及び第２の画像センサ（且つ、第３の画像センサ、第４の画像センサ、など）が、画像データを連続して撮像するビデオエンコーディングと、画像エンコーディングと、の双方に使用できる。符号化されたビデオストリームにおけるＩフレームは基本的に静止画像であり、その結果、本開示は、画像エンコーディングにも好適に使用されることに留意されたい。
【００４３】
上記に開示するデバイス及び方法は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせとして実装されてよい。ハードウェアの実装では、上記説明に引用される、機能ユニット（例えば、第１の画像センサ及び第２の画像センサ、第１のエンコーダ及び第２のエンコーダ、第１のコントローラ、第２のコントローラ、アナライザユニット、ストリームマルチプレクサ、など）間のタスクの分割は、物理ユニットへの分割に必ずしも対応しない。反対に、１つの物理コンポーネントは、多数の機能を有してよく、１つのタスクは、いくつかの物理コンポーネントにより協力して実行されてよい。特定のコンポーネント又はすべてのコンポーネント（例えば、第１の画像センサ及び第２の画像センサ、第１のエンコーダ及び第２のエンコーダ、第１のコントローラ、第２のコントローラ、アナライザユニット、ストリームマルチプレクサ、など）は、デジタル信号プロセッサ又はマイクロプロセッサにより実行されるソフトウェアとして実装されてよく、又は、ハードウェアとして、若しくは特定用途向け集積回路として実装されてよい。そのようなソフトウェア（コンピュータプログラム製品）は、コンピュータ記憶媒体（又は、非一時的媒体）及び通信媒体（又は、一時的媒体）を含んでよい、コンピュータ可読媒体上に配布されてよい。当業者に知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報の保存のためのいずれの方法又は技術にて実装される揮発性及び不揮発性の双方の、リムーバブル及び非リムーバブルの双方の媒体を含む。
【００４４】
さらに、開示する実施形態に対するバリエーションが、特許権を主張する本発明の実施において、本図面、本開示、及び添付の本特許請求の範囲の検討により、当業者により理解され、達成され得る。例えば、ここに記載する画像センサは、複数のエンコーダに接続されてよい。エンコーダのそれぞれは、画像センサが撮像した画像データの別々の部分を受信する。そのような実施形態もまた、ＥＰ２８１４２５３Ｂ１（軸ＡＢ、ＳＥ）に記載する方法と組み合わせることができる。
【００４５】
さらに、本図面及び本明細書にて、本発明の好適な実施形態及び実施例が開示されている。具体的な用語が採用されているものの、これらは総称的かつ説明においてのみ使用されており、限定を目的とするものではない。本発明の範囲は、以下の特許請求の範囲により明らかとなっている。特許請求の範囲では、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の要素又はステップを排除しない。不定冠詞「ａ」又は「ａｎ」は、複数を排除しない。
【図１】
2020053963.tif 000003
【図２】
2020053963.tif 000004
【図３】
2020053963.tif 000005
【図４】
2020053963.tif 000006
【図５】
2020053963.tif 000007
【図６】
2020053963.tif 000008
【図７】
2020053963.tif 000009
【外国語明細書】
2020053963000001.pdf
2020053963000002.pdf
2020053963000003.pdf
2020053963000004.pdf