(57)【要約】  本開示の技術は、ビデオテレフォニー（ＶＴ）及び人間機械インターフェース（ＨＭＩ）アプリケーションのために使用され得るような、３次元画像のフィードバックベース立体視表示器を対象とする。一例によれば、本明細書では、立体視的に撮影された画像の関心領域（ＲＯＩ）が、撮影された画像の少なくとも１つの画素についての視差を決定することに基づいて自動的に決定され得ることについて説明する。別の例によれば、立体視的に撮影された画像の３Ｄ表現のプレゼンテーションのためのゼロ視差平面（ＺＤＰ）が、識別されたＲＯＩに基づいて決定され得る。この例によれば、ＲＯＩは、自動的に識別されるか、又はＲＯＩを識別するユーザ入力の受信に基づいて識別され得る。
2014508430.tif 000002
【特許請求の範囲】
【請求項１】
立体視画像データを処理するための方法であって、
少なくとも２つの立体視的に撮影された画像を収集することと、
前記撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別することと、
前記少なくとも２つの撮影された画像の識別された前記関心領域（ＲＯＩ）に基づいて前記少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定することと、
を備える、方法。
【請求項２】
前記撮影された少なくとも２つの画像の前記ＲＯＩを識別することが、
前記ＲＯＩを識別するユーザ入力を受信すること
を備える、請求項１に記載の方法。
【請求項３】
前記撮影された少なくとも２つの画像の前記ＲＯＩを識別することが、
前記ＲＯＩを自動的に識別すること
を*備える、請求項１に記載の方法。
【請求項４】
前記少なくとも２つの画像の少なくとも１つの画素の視差を決定することと、
前記少なくとも１つの画素の前記決定された視差に基づいて前記ＲＯＩを自動的に識別することと、を更に備える、請求項３に記載の方法。
【請求項５】
前記ＲＯＩを自動的に識別することが、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて自動的に識別することを備える、請求項３に記載の方法。
【請求項６】
識別された前記ＲＯＩの少なくとも１つの画素の視差を決定することと、
識別された前記ＲＯＩの典型的な視差を決定することと、を更に備える、請求項１に記載の方法。
【請求項７】
前記少なくとも２つの撮影された画像の識別された前記ＲＯＩに基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定することが、識別された前記ＲＯＩの決定された前記典型的な視差に基づいて前記ＺＤＰを決定することを備える、請求項６に記載の方法。
【請求項８】
前記少なくとも２つの撮影された画像の３ＤプレゼンテーションのためのＺＤＰを決定することが、前記識別されたＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記３Ｄプレゼンテーションを表示することを備える、請求項１に記載の方法。
【請求項９】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、
前記撮影された少なくとも２つの画像の第２のＲＯＩを識別することと、
識別された前記第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定することと、
を更に備える、請求項１に記載の方法。
【請求項１０】
前記少なくとも２つの撮影された画像の識別された前記ＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定することが、前記撮影された少なくとも２つの画像を整合させること及び／又はトリミングすることを備える、請求項１に記載の方法。
【請求項１１】
立体視画像データを処理するための装置であって、
少なくとも２つの画像を立体視的に撮影するように少なくとも１つの撮像装置を制御するように構成された撮像モジュールと、
前記少なくとも２つの撮影された画像の関心領域（ＲＯＩ）を識別するように構成されたＲＯＩ識別モジュールと、
識別された前記ＲＯＩに基づいて前記撮影された少なくとも２つの画像の前記３次元表示のためのゼロ視差平面（ＺＤＰ）を決定するように構成されたＺＤＰ決定モジュールと、
を備える、１つ以上のプロセッサを備える、装置。
【請求項１２】
前記ＲＯＩ識別モジュールが、ＲＯＩを識別するユーザ入力の受信に基づいて前記ＲＯＩを識別するように構成された、請求項１１に記載の装置。
【請求項１３】
前記ＲＯＩ識別モジュールが、前記ＲＯＩを自動的に識別するように構成された、請求項１１に記載の装置。
【請求項１４】
前記少なくとも２つの画像の少なくとも１つの画素の視差を決定するように構成された視差モジュールを更に備え、
前記ＲＯＩ識別モジュールが、前記少なくとも１つの画素の決定された前記視差に基づいて前記少なくとも２つの撮影された画像のＲＯＩを識別するように構成された、請求項１３に記載の装置。
【請求項１５】
前記ＲＯＩ識別モジュールが、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記少なくとも２つの撮影された画像のＲＯＩを識別するように構成された、請求項１３に記載の装置。
【請求項１６】
前記識別されたＲＯＩの少なくとも１つの画素の視差を決定するように構成された視差モジュールを更に備え、
前記ＺＤＰ決定モジュールが、前記識別されたＲＯＩの典型的な視差を決定するように更に構成された、請求項１１に記載の装置。
【請求項１７】
前記ＺＤＰ決定モジュールが、前記識別されたＲＯＩの前記決定された典型的な視差に基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、請求項１６に記載の装置。
【請求項１８】
前記ＺＤＰ決定モジュールが、前記識別されたＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、請求項１１に記載の装置。
【請求項１９】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記ＲＯＩ決定モジュールが、前記撮影された少なくとも２つの画像の第２のＲＯＩを識別するように構成され、前記ＺＤＰ決定モジュールが、前記識別された第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定するように構成された、請求項１１に記載の装置。
【請求項２０】
前記ＺＤＰ決定モジュールが、前記撮影された少なくとも２つの画像を整合させること及び／又はトリミングすることによって前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、請求項１１に記載の装置。
【請求項２１】
前記装置がワイヤレス機器である、請求項１１に記載の装置。
【請求項２２】
前記装置がビデオテレフォニー機器又は人間機械インターフェース機器である、請求項１１に記載の装置。
【請求項２３】
実行すると、１つ以上のプロセッサに、
少なくとも２つの立体視的に撮影された画像を受信することと、
前記撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別することと、
前記少なくとも２つの撮影された画像の前記識別された関心領域（ＲＯＩ）に基づいて前記少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定することと、
を行わせる命令を備える、コンピュータ可読記憶媒体。
【請求項２４】
前記命令が、前記コンピュータ機器に、
前記ＲＯＩを識別するユーザ入力の受信に基づいて前記撮影された少なくとも２つの画像の前記ＲＯＩを識別させる、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項２５】
前記命令が、前記コンピュータ機器に、
前記撮影された少なくとも２つの画像の前記ＲＯＩを自動的に識別させる、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項２６】
前記命令が、前記コンピュータ機器に、
前記少なくとも２つの画像の少なくとも１つの画素の視差を決定することと、
前記少なくとも１つの画素の前記決定された視差に基づいて前記ＲＯＩを自動的に識別することと、
を行わせる、請求項２５に記載のコンピュータ可読記憶媒体。
【請求項２７】
前記命令が、前記コンピュータ機器に、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記ＲＯＩを自動的に識別させる、請求項２５に記載のコンピュータ可読記憶媒体。
【請求項２８】
前記命令が、前記コンピュータ機器に、更に、
前記識別されたＲＯＩの少なくとも１つの画素の視差を決定することと、
前記識別されたＲＯＩの典型的な視差を決定することと、
を行わせる、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項２９】
前記命令が、前記コンピュータ機器に、更に、
前記識別されたＲＯＩの前記決定された典型的な視差に基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定させる、請求項２８に記載のコンピュータ可読記憶媒体。
【請求項３０】
前記命令が、前記コンピュータ機器に、
前記識別されたＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記ＺＤＰを決定させる、請求項２８に記載のコンピュータ可読記憶媒体。
【請求項３１】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記命令が、前記コンピュータ機器に、更に、
前記撮影された少なくとも２つの画像の第２のＲＯＩを識別することと、
前記識別された第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定することと、
を行わせる、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項３２】
前記命令が、前記コンピュータ機器に、更に、
前記撮影された少なくとも２つの画像を整合及び／又はトリミングさせる、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項３３】
立体視画像データを処理するための装置であって、
少なくとも２つの立体視的に撮影された画像を受信するための手段と、
前記撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別するための手段と、
前記少なくとも２つの撮影された画像の前記ＲＯＩに基づいて前記少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定するための手段と、
前記決定されたＺＤＰでの前記３Ｄプレゼンテーションの前記３Ｄプレゼンテーションを表示するための手段と、を備える、装置。
【請求項３４】
前記撮影された少なくとも２つの画像のＲＯＩを識別するための前記手段が、前記ＲＯＩを識別するユーザ入力の受信に基づいて前記ＲＯＩを識別する、請求項３３に記載の装置。
【請求項３５】
ＲＯＩを識別するための前記手段が、前記撮影された少なくとも２つの画像の前記ＲＯＩを自動的に識別する、請求項３３に記載の装置。
【請求項３６】
前記少なくとも２つの画像の少なくとも１つの画素の視差を決定するための手段を更に備え、
前記撮影された少なくとも２つの画像のＲＯＩを識別するための前記手段が、前記少なくとも１つの画素の前記決定された視差に基づいて前記ＲＯＩを自動的に識別する、請求項３３に記載の装置。
【請求項３７】
前記撮影された少なくとも２つの画像のＲＯＩを識別するための前記手段が、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記ＲＯＩを自動的に識別する、請求項３３に記載の装置。
【請求項３８】
前記識別されたＲＯＩの少なくとも１つの画素の視差を決定するための手段と、
識別された前記ＲＯＩの前記少なくとも１つの画素の前記決定された視差に基づいて識別された前記ＲＯＩの典型的な視差を決定するための手段と
を更に備える、請求項３３に記載の装置。
【請求項３９】
ＺＤＰを決定するための前記手段が、識別された前記ＲＯＩの前記決定された典型的な視差に基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定する、請求項３８に記載の装置。
【請求項４０】
ＺＤＰを決定するための前記手段が、識別された前記ＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記ＺＤＰを決定する、請求項３３に記載の装置。
【請求項４１】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、ＲＯＩを識別するための前記手段が、前記撮影された少なくとも２つの画像の第２のＲＯＩを更に識別し、
ＺＤＰを決定するための前記手段が、識別された前記第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定する、請求項３３に記載の装置。
【請求項４２】
前記撮影された少なくとも２つの画像を整合及び／又はトリミングするための手段を更に備える、請求項３３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、ビデオのフィードバックベース表示器に関する。より詳細には、本開示は、ビデオテレフォニー（ＶＴ：video telephony）アプリケーション及び／又は人間機械インターフェース（ＨＭＩ：human-machine interface）アプリケーションなどのフィードバックベースビデオアプリケーションのための３次元（３Ｄ）ビデオのプレゼンテーションのための技術について説明する。
【背景技術】
【０００２】
近年、ユーザの画像がリアルタイムで表示される、ビデオのフィードバックベース表示器がますます普及してきている。例えば、フィードバックベースビデオは、ビデオテレフォニー（ＶＴ）アプリケーションのために使用され得る。ビデオテレフォニー（ＶＴ）は、関連するオーディオを持つ又は持たない、撮影された双方向ビデオを使用してユーザが通信するシステムを指す。第１の位置において撮影された、第１のユーザのビデオ及び／又はオーディオは、リアルタイム又はほぼリアルタイムで第２の位置にいる第２のユーザに送信され得、その逆も同様である。２次元（２Ｄ）ビデオテレフォニーシステムの一例は、Ａｐｐｌｅ社（登録商標）によるＩｐｈｏｎｅ４（登録商標）上での使用のために利用可能なＦａｃｅｔｉｍｅ（登録商標）ビデオテレフォニーアプリケーションである。２Ｄ  ＶＴシステムの他の例としては、Ｇｏｏｇｌｅ社によって提供されるＧｏｏｇｌｅ  Ｃｈａｔウェブアプリケーション、及びＡｐｐｌｅ社（登録商標）によって提供されるｉＣｈａｔ通信インターフェースなどによって提供されるビデオチャット機構がある。多くの他のビデオテレフォニーアプリケーションも存在する。
【０００３】
フィードバックベースビデオはまた、人間機械インターフェース（ＨＭＩ）アプリケーションのために使用され得る。ＨＭＩアプリケーションは、コンピュータ又は他の機械とインターフェースするための機構を人間ユーザに与え得る。ＨＭＩの例としては、キーボード、マウス、ボイスコマンド、又はタッチスクリーンインターフェースがあり得る。近年、ユーザからフィードバックを受信するために機械についての何らかの形態の動き検出を利用するＨＭＩが開発されている。動きベースＨＭＩの非限定的な例は、様々なセンサ、例えば、１つ以上の加速度計、ジャイロスコープ、光センサ、又はユーザの動きを検出するように構成された他のタイプのセンサを採用する。動きベースＨＭＩの一例は、任天堂（登録商標）Ｗｉｉ（登録商標）ゲーミングコンソールによって採用されている。別の非限定的な例は、機器入力のためにユーザ移動を検出するためにユーザの写真画像の撮影に依拠する、Ｘｂｏｘ（登録商標）ゲーミングコンソールのためのマイクロソフトのＫｉｎｅｃｔ（登録商標）インターフェースである。幾つかの例では、ＨＭＩシステムは、検出されたユーザ入力（例えば、検出されたユーザの動き）のユーザへのフィードバックを提供し得る。例えば、ユーザの１つ以上の画像が、撮影され、ユーザに表示器を介して提示され得る。これらの例によれば、移動が検出されると、ユーザはユーザの移動を閲覧し得る。例えば、ユーザは、画像フィードバックを介して、表示器を介して提示される仮想被写体をユーザが操作している様を閲覧し得る。仮想被写体のユーザ操作は機械入力を行い得る。
【０００４】
近年、（例えば、動画、テレビ番組などのための）３次元（３Ｄ）ビデオ画像が人気を得ている。例えば、ユーザが自宅で３Ｄビデオを視聴することを可能にする技術（例えば、テレビジョン、３Ｄグラス、ブルーレイ（登録商標）プレーヤ、ゲーミングシステム、コンピュータ機器）が最近開発された。例えば、ビデオテレフォニー及び／又は人間機械インターフェース機構に、ビデオのフィードバックベース表示器のための３Ｄビデオを与えることが望ましいことがある。
【０００５】
ユーザに３Ｄとして知覚される画像又はビデオを与えるために、幾つかの技術によれば、僅かに異なるパースペクティブ（遠近）から撮影されたように見える画像がユーザの異なる眼に与えられ得る。ユーザの異なる眼に与えられる異なる遠近は、表示された画像における深さの知覚を生じ得る。各眼について１つ以上の画像をフィルタリングする専用グラスを介してユーザの眼の各々に異なる画像が提示され得る。幾つかの例では、３Ｄ画像表示器を提供するために、例えば、２つ以上のカメラが異なる遠近から同じ画像を撮影することによって画像が立体視的に撮影され得る。
【発明の概要】
【０００６】
概して、本開示では、例えば、ビデオテレフォニー（ＶＴ）アプリケーション及び人間機械インターフェース（ＨＭＩ）アプリケーションにフィードバックベース３次元ビデオを与えるための技術について説明する。本開示の一態様によれば、画像画素の視差に基づいてフィードバックベースビデオのプレゼンテーションのための関心領域（ＲＯＩ：region of interest）を識別する技術について説明する。視差は、３Ｄビデオプレゼンテーションの異なるビュー間の画素位置の差として説明され得る。ＲＯＩは、撮影されたビデオの表示器が向けられ得る（例えば、焦点を合わせられ得る）撮影されたビデオのエリア又は被写体であり得る。例えば、ＲＯＩは、撮影されたビデオの被写体の顔及び／又は体であり得る。ＲＯＩはまた、撮影されたビデオの被写体が保持している被写体など、被写体を備え得る。本開示の技術によれば、ＲＯＩは、撮影されたビデオ画像から決定され得る画素視差に基づいて識別され得る。例えば、撮影されたビデオ内の最も近接した被写体は、決定された画像視差に基づいて識別され得る。
【０００７】
別の例では、本開示では、フィードバックベース３Ｄ画像の表示のための技術について説明する。例えば、ゼロ視差平面（ＺＤＰ）、又は１つ以上の画像被写体が殆んど又は全く視差がなく見える、表示された３Ｄ画像の平面は、撮影された画像の識別されたＲＯＩに基づいて決定され得る。これらの技術は、表示された３Ｄ画像のＺＤＰの自動（例えば、ユーザ介入なしの）調整を提供し得る。
【０００８】
例えば、立体視画像データを処理する方法について本明細書で説明する。本方法は、少なくとも２つの立体視的に撮影された画像を収集することを含む。本方法は、撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別することを更に含む。本方法は、少なくとも２つの撮影された画像の識別された関心領域（ＲＯＩ）に基づいて少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定することを更に含む。
【０００９】
別の例によれば、立体視画像データを処理するための装置について本明細書で説明する。本装置は１つ以上のプロセッサを含む。１つ以上のプロセッサは、少なくとも２つの画像を立体視的に撮影するように少なくとも１つの撮像装置を制御するように構成された撮像モジュールを含む。１つ以上のプロセッサは、少なくとも２つの撮影された画像の関心領域（ＲＯＩ）を識別するように構成されたＲＯＩ識別モジュールを更に含む。１つ以上のプロセッサは、識別されたＲＯＩに基づいて撮影された少なくとも２つの画像の３次元表示のためのゼロ視差平面（ＺＤＰ）を決定するように構成されたＺＤＰ決定モジュールを更に含む。
【００１０】
別の例によれば、命令を備えるコンピュータ可読記憶媒体について本明細書で説明する。命令は、１つ以上のプロセッサに、少なくとも２つの立体視的に撮影された画像を受信させる。命令は、更に、１つ以上のプロセッサに、撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別させる。命令は、更に、１つ以上のプロセッサに、少なくとも２つの撮影された画像の識別された関心領域（ＲＯＩ）に基づいて少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定させる。
【００１１】
別の例によれば、立体視画像データを処理するための機器について本明細書で説明する。本機器は、少なくとも２つの立体視的に撮影された画像を受信するための手段を含む。本機器は、撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別するための手段を更に含む。本機器は、少なくとも２つの撮影された画像の識別された関心領域（ＲＯＩ）に基づいて少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定するための手段を更に含む。本機器は、決定されたＺＤＰでの３Ｄプレゼンテーションの３Ｄプレゼンテーションを表示するための手段を更に含む。
【００１２】
本開示の１つ以上の例の詳細を添付の図面及び以下の説明に記載する。本発明の他の特徴、目的、及び利点は、その説明及び図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１３】
【図１Ａ】本開示の技術に一致する、３次元画像を処理及び／又は表示するように構成され得るＶＴ機器の一例を示すブロック図。
【図１Ｂ】本開示の技術に一致する、３次元画像を処理及び／又は表示するように構成された人間機械インターフェース（ＨＭＩ）機器の一例を示すブロック図。
【図２】本開示の技術に一致する、ＶＴ機器又はＨＭＩ機器の画像処理モジュールの一例を示すブロック図。
【図３】本開示の技術に一致する、シーンの立体視撮像の一例を示す概念図。
【図４】本開示の技術に一致する、立体視的に撮影された右画像及び左画像中のそれぞれの画素位置を示す概念図。
【図５】本開示の技術に一致する、撮影された画像中の関心領域（ＲＯＩ）を識別する方法の一例を示す流れ図。
【図６】本開示の技術に一致する、撮影された画像の識別されたＲＯＩに基づいて３Ｄプレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定する方法の一例を示す流れ図。
【図７】本開示の技術に一致する、ＲＯＩの画素の典型的な視差を決定するために生成され得るヒストグラムの一例を示す概念図。
【図８】本開示の技術に一致する、撮影された画像のＲＯＩに基づいて決定されたＺＤＰでの３次元プレゼンテーションの表示を示す概念図。
【図９】本開示の技術に一致する、撮影された画像のＲＯＩに基づいて決定されたＺＤＰでの３次元プレゼンテーションの表示を示す概念図。
【図１０】本開示の技術に一致する、撮影された画像のＲＯＩに基づいて決定されたＺＤＰでの３次元プレゼンテーションの表示を示す概念図。
【図１１】本開示の技術に一致する、３次元フィードバックベース画像を表示するための方法の一例を示すフローチャート。
【図１２】本開示の技術に一致する、３次元フィードバックベース画像を表示するための方法の一例を示すフローチャート。
【図１３】本開示の技術に一致する、３次元プレゼンテーションを生成するために撮影された画像を処理することの一例を示す概念図。
【発明を実施するための形態】
【００１４】
本開示は、ビデオの３次元（３Ｄ）表示のための技術を対象とする。これらの技術は、３Ｄビデオテレフォニー通信のために、及び／又は３Ｄ人間機械インターフェース（ＨＭＩ）を提供するために有用であり得る。一例によれば、これらの技術は、複数の撮影されたビュー間の視差に基づいて、撮影されたビデオプレゼンテーションの関心領域（ＲＯＩ）の識別情報を提供する。別の例によれば、撮影された３Ｄビデオは、決定されたＲＯＩに基づくゼロ視差平面（ＺＤＰ）で提示され得、例えば、ＲＯＩの被写体は、殆んど又は全く視差がなく提示され得る。
【００１５】
図１Ａは、本開示の技術に一致する、ＶＴ機器１０１Ａ、１０１Ｂを含むビデオテレフォニー（ＶＴ）システムの一例を示すブロック図である。ＶＴ機器１０１Ａ、１０１Ｂはそれぞれ、ビデオを撮影するように、及び／又はユーザにビデオ画像を表示するように構成された機器を備え得る。ＶＴ機器１０１Ａ、１０１Ｂとして使用され得る機器の非限定的な例としては、パーソナルコンピュータ、ラップトップコンピュータ、ネットブック、タブレットコンピュータ、スマートフォン、ビデオカメラ及びゲーミングコンソールがある。ビデオを撮影するように、及び／又はビデオ画像を表示するように構成された任意の他の機器又は独立した機器の組合せが、第１のＶＴ機器１０１Ａ又は第２のＶＴ機器１０１Ｂとして使用され得る。更に、２つ以上の機器が、第１のＶＴ機器１０１Ａ又は第２のＶＴ機器１０１Ｂのうちの１つを備えるために通信可能に結合され得る。例えば、上記で説明した機器のうちの１つ以上（例えば、パーソナルコンピュータ）は、ＶＴ機器１０１Ａ、１０１Ｂのうちの単一の１つを備えるために、ワイヤード（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦｉｒｅＷｉｒｅ）又はワイヤレス（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラーネットワーク）を介して別の機器（例えば、一般にウェブカムと呼ばれるコンピュータカメラ）に結合され得る。
【００１６】
機器１０１Ａ及び１０１Ｂは、それぞれ第１及び第２のユーザが、撮影された画像（例えば、ビデオ）を介して別のユーザと通信することを可能にするように構成され得る。例えば、第１のＶＴ機器１０１Ａは、第１のユーザの１つ以上の画像を撮影し、撮影された画像を機器１０１Ｂに通信し得る。機器１０１Ｂは、第２のユーザに受信した撮影された画像を提示し得る。同様に、機器１０１Ｂは、第２のユーザの画像を撮影し、第１のユーザへの表示のために第１の機器１０１Ａに撮影された画像を通信し得る。
【００１７】
幾つかの例では、ＶＴ機器１０１Ａ、１０１Ｂのうちの１つ以上は、画像を立体視的に撮影し得る。例えば、図１に示すように、機器１０１Ａと機器１０１Ｂとの各々は、それぞれ第１の撮像要素１１２Ａ、１１２Ｂと第２の撮像要素１１４Ａ、１１４Ｂとを含み得る。第１の撮像要素１１２Ａ、１１２Ｂは、シーンのそれぞれの右画像を撮影するように構成され得る。第２の撮像要素１１４Ａ、１１４Ｂは、シーンのそれぞれの左画像を撮影するように構成され得る。第１の撮像要素及び第２の撮像要素は、シーンのそれぞれ右画像及び左画像を撮影するように構成され、配置された１つ以上のカメラを含み得る。
【００１８】
図１Ａに同じく示すように、ＶＴ機器１０１Ａ、１０１Ｂはそれぞれ、１つ以上のプロセッサ１０２Ａ、１０２Ｂを含む。プロセッサ１０２Ａ、１０２Ｂは、それぞれのＶＴ機器１０１Ａ、１０１Ｂを、本開示の技術と矛盾しないように動作させる１つ以上の信号を処理するように構成されたＶＴ機器１０１Ａ、１０１Ｂの任意の計算構成要素を備え得る。幾つかの例によれば、プロセッサ１０２Ａ、１０２Ｂは、実行されると、本開示の技術と矛盾しないように動作するように構成された特定のコンピュータ機器としてプロセッサ１０２Ａ、１０２Ｂを構成する命令（例えば、コンピュータ可読媒体に記憶された命令）を実行するように構成され得る。プロセッサ１０２Ａ、１０２Ｂは、同じく又は代わりに、ＶＴ機器１０１Ａ、１０１Ｂを、本開示の技術と矛盾しないように動作させる電気信号、光信号、磁気信号、及び／又は他の信号を処理するように構成された特定のハードウェア構成要素を備え得る。
【００１９】
様々な例では、プロセッサ１０２Ａ、１０２Ｂは、１つ以上の中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ：digital signal processor）、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）、又は他の回路の任意の組合せを含み得る。場合によっては、プロセッサ１０２Ａ及び１０２Ｂは、ＶＴ機器１０１Ａ、１０１Ｂのうちの１つ以上を、本明細書で説明する技術と矛盾しないように動作させる命令を実行するように構成され得る。そのような場合、命令は、ＶＴ機器１０１Ａ、１０１Ｂの１つ以上のコンピュータ可読媒体（図示せず）に記憶され得る。例えば、命令は、ＶＴ機器１０１Ａ、１０１Ｂのランダムアクセスメモリ（ＲＡＭ）構成要素、ハードディスクメモリ構成要素、及び／又はフラッシュ又は他の固体メモリ構成要素のうちの１つ以上を備え得る記憶要素又は機器（図示せず）に記憶され得る。
【００２０】
図１Ａの例では、ＶＴ機器１０１Ａ、１０１Ｂの様々なモジュール１１０Ａ、１１０Ｂ、１２０Ａ、１２０Ｂ、及び１３２Ａ、１３２Ｂは、単一のそれぞれのプロセッサ１０２Ａ、１０２Ｂ中に実装されるものとして示されている。但し、他の例では、図１Ａのこれらのモジュールのうちの１つ以上は、２つ以上の別個のハードウェア構成要素（例えば、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、マイクロプロセッサ、特定のハードウェア構成要素、又は信号を処理することが可能な同様の構成要素の１つ以上の組合せ）中に実装され得る。
【００２１】
図１Ａに示すように、それぞれ第１のＶＴ機器１０１Ａと第２のＶＴ機器１０１Ｂとはそれぞれ、撮像モジュール１１０Ａ及び撮像モジュール１１０Ｂを含む。撮像モジュール１１０Ａ、１１０Ｂは、画像を撮影するようにそれぞれ第１のカメラ要素１１２Ａ、１１２Ｂと第２のカメラ要素１１４Ａ、１１４Ｂとを制御するように構成され得る。例えば、撮像モジュール１１０Ａ、１１０Ｂは、ビデオ画像を撮影するようにカメラ要素１１２Ａ、１１２Ｂ、１１４Ａ、１１４Ｂを動作させるときを制御するように、及び／又はカメラ要素１１２Ａ、１１２Ｂ、１１４Ａ、１１４Ｂを合焦させるように、又は場合によっては撮影された画像内の被写体に関してカメラ要素１１２Ａ、１１２Ｂ、１１４Ａ、１１４Ｂを制御するように構成され得る。幾つかの例では、第１のカメラ要素１１２Ａ、１１２Ｂと第２のカメラ要素１１４Ａ、１１４Ｂとは、第１のカメラ要素１１２Ａ、１１２Ｂと第２のカメラ要素１１４Ａ、１１４Ｂとのうちの１つ以上をビデオの撮影のために向けることを可能にする１つ以上の機械アクチュエータを含み得る。これらの例によれば、撮像モジュール１１０Ａ、１１０Ｂは、カメラ要素１１２Ａ、１１２Ｂ、１１４Ａ、１１４Ｂを向けるように１つ以上の機械アクチュエータを制御し得る。
【００２２】
図１Ａに同じく示すように、第１及び第２のＶＴ機器１０１Ａ、１０１Ｂはまた、表示モジュール１３２Ａ、１３２Ｂを含み得る。それぞれの表示モジュール１３２Ａ、１３２Ｂはそれぞれ、画像のプレゼンテーションのために１つ以上の表示器（図示せず）を制御するように構成され得る。例えば、第１のＶＴ機器１０１Ａの表示モジュール１３２Ａは、（例えば、通信モジュール１３０Ａ、１３０Ｂを介して）第２のＶＴ機器１０１Ｂから受信した画像を提示するように１つ以上の表示器を制御するように構成され得る。
【００２３】
それぞれの表示モジュール１３２Ａ、１３２Ｂは、１つ以上の立体視表示器、例えば、表示された画像をユーザが３次元的に知覚するようにそれぞれ右画像及び左画像を同時に提示するように構成された１つ以上の表示器を制御するように構成され得る。例えば、表示モジュール１３２Ａ、１３２Ｂは、それぞれ右画像及び左画像が視聴者の右眼及び左眼によって視聴されるように視聴者が着用し得る専用グラスと連携して１つ以上の表示器を制御するように構成され得る。例えば、専用グラスは、偏光、波長、周波数、又は他のフィルタリングなどの差を介してそれぞれ右画像及び左画像を提示し得る。幾つかの例では、表示モジュール１３２Ａ、１３２Ｂは、専用グラスと同期される１つ以上の表示器を制御するように構成され得る。例えば、専用グラスは、それぞれ右画像及び左画像を提示する表示器と同期して明状態と暗状態との間で遷移するシャッターとして働き得る。この例によれば、専用グラス及び表示器は、遷移が視聴者に実質的に知覚できないように、人間の眼によって検出可能な周波数よりも速い周波数で右画像を提示することと左画像を提示することとの間で遷移し得る。他の例によれば、表示モジュール１３２Ａ、１３２Ｂは、代わりに、専用グラスを必要としない表示器（例えば、自動立体視表示器）を制御するように構成され得る。上記で説明した立体視例及び自動立体視例によれば、３次元ビデオプレゼンテーションのそれぞれ右画像（ビュー）と左画像（ビュー）との間の差により、例えば、画像の幾つかの被写体が表示面の前又は後ろにあるように見えるように、１つ以上の表示された画像が深さを有するものとして知覚されるようになり得る。
【００２４】
図１Ａに同じく示すように、第１及び第２のＶＴ機器１０１Ａ、１０１Ｂはそれぞれ、画像処理モジュール１２０Ａ、１２０Ｂを更に含み得る。概して、画像処理モジュール１２０Ａ、１２０Ｂは、（例えば、撮像モジュール１１０Ａ、１１０Ｂから）撮影された画像の１つ以上の表現を受信し、表示、ストレージ、及び／又は通信のために１つ以上の表現を処理し得る。一例によれば、画像処理モジュール１２０Ａ、１２０Ｂは、立体視表示器に好適なプレゼンテーションを作成するために撮影された画像の１つ以上の表現を処理し得る。例えば、画像処理モジュール１２０Ａ、１２０Ｂは、画像が視聴者に実質的に３次元に見えるように連携して表示され得るそれぞれ右ビュー及び左ビューを作成するために１つ以上の表現を処理し得る。場合によっては、画像処理モジュール１２０Ａ、１２０Ｂは、表示モジュール１３２Ａ、１３２Ｂに１つ以上の処理された画像表現を通信するように構成され得る。表示モジュール１３２Ａ、１３２Ｂは、画像のプレゼンテーションのために立体視表示器（図１に図示せず）を制御するように構成され得る。
【００２５】
一例では、それぞれの画像処理モジュール１２０Ａ、１２０Ｂは、それぞれの画像処理モジュール１２０Ａ、１２０Ｂを含む同じＶＴ機器１０１Ａ、１０１Ｂの１つ以上の撮像モジュール１１０Ａ、１１０Ｂから受信した撮影された画像の１つ以上の表現を処理し得る。例えば、画像処理モジュール１２０Ａは、撮像モジュール１１０Ａから撮影された画像の１つ以上の表現を受信し、その１つ以上の表現を処理し、第１のＶＴ機器１０１Ａの通信モジュール１３０Ａを介して第２のＶＴ機器１０１Ｂに処理された１つ以上の表現を通信し得る。第２のＶＴ機器１０１Ｂは、通信モジュール１３０Ｂを介して１つ以上の表現を受信し、処理された１つ以上の表現を使用して（例えば、表示モジュール１３２Ｂを介して）ビデオ画像を表示し得る。
【００２６】
別の例によれば、撮影された画像の１つ以上の未処理表現が、通信モジュール１３０Ａを介して第２のＶＴ機器１０１Ｂに通信され得る。この例によれば、第２のＶＴ機器１０１Ｂの画像処理モジュール１２０Ｂは、受信した１つ以上の表現を処理し、第２のＶＴ機器１０１Ｂに結合された表示器を介したプレゼンテーションのために表示モジュール１３２Ｂに処理された１つ以上の表現を通信し得る。更に別の例では、撮影された画像は、第１及び第２のＶＴ機器１０１Ａ、１０１Ｂのそれぞれの画像処理モジュール１２０Ａ、１２０Ｂによって組み合わせて処理され得る。
【００２７】
上記で説明した様々な例によれば、撮影された画像の１つ以上の処理された又は処理されていない表現は、通信チャネル１０６を介してそれぞれの通信モジュール１３０Ａ、１３０Ｂを使用して第１のＶＴ機器と第２のＶＴ機器との間で通信され得る。それぞれの通信モジュール１３０Ａ、１３０Ｂは、任意の知られている形態の通信を介して、撮影された画像の表現など、撮影された画像に関する情報を通信するように構成され得る。通信モジュール１３０Ａ、１３０Ｂによって使用され得る通信技術の非限定的な例には、ワイヤード通信（例えば、電気、光などを問わない任意の物理送信線路）及びワイヤレス通信（例えば、Ｗｉ−Ｆｉ（登録商標）、セルラーネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標））がある。場合によっては、通信モジュール１３０Ａ、１３０Ｂは、インターネット又は別のプライベートネットワーク、公衆ネットワーク又はグローバルネットワークを使用して通信し得る。概して、任意の他の形態の電子通信は、通信モジュール１３０Ａと通信モジュール１３０Ｂとの間の通信を可能にするために使用され得る。幾つかの例では、１つ以上の処理された又は処理されていない表現は、ＶＴ機器１０１ＡとＶＴ機器１０１Ｂとの間でその全体が通信され得る。他の例では、１つ以上の処理された又は処理されていない表現は、ハイパーテキスト転送プロトコル（ＨＴＴＰ：hypertext transfer protocol）ストリーミングプロトコルなどのストリーミングプロトコルに従ってＶＴ機器１０１ＡとＶＴ機器１０１Ｂとの間で通信され得る。
【００２８】
図１Ｂは、本開示の技術に一致する、人間機械インターフェース（ＨＭＩ）機器１０１Ｃの一例を示すブロック図である。ＨＭＩ機器１０１Ｃは、ビデオを撮影するように、及び／又はユーザにビデオ画像を表示するように構成された任意の機器を備え得る。ＨＭＩ機器１０１Ｃとして使用され得る機器の非限定的な例には、パーソナルコンピュータ、ラップトップコンピュータ、ネットブック、タブレットコンピュータ、スマートフォン、ゲーミングコンソール、又は多種多様な機器若しくはコンピュータの制御のための制御システムがある。多種多様な機器又は独立した機器の組合せは、ビデオを撮影するように、及び／又はビデオ画像を表示するように構成され得、従って、ＨＭＩ機器１０１Ｃとして使用され得る。
【００２９】
ＨＭＩ機器１０１Ｃは、ＨＭＩ機器１０１Ｃを制御するためにフィードバックベースビデオをユーザに与えるように構成され得る。例えば、ＨＭＩ機器１０１Ｃは、ＨＭＩ機器１０１Ｃのユーザの画像を撮影し得る。ＨＭＩ機器１０１Ｃは、１つ以上の他の画像（例えば、仮想被写体）とともに、ユーザにユーザの撮影された画像を提示し得る。ユーザは、１つ以上の他の画像をユーザが操作している様を閲覧し得る。１つ以上の画像の操作により、ユーザがＨＭＩ機器１０１Ｃを制御することが可能になり得る。
【００３０】
幾つかの例では、ＨＭＩ機器１０１Ｃは、ビデオ画像を立体視的に撮影するように構成され得る。例えば、図２に示すように、ＨＭＩ機器１０１は、それぞれ第１の撮像要素１１２Ｃと第２の撮像要素１１４Ｃとを含む。第１の撮像要素１１２Ｃは、被写体（例えば、ユーザ）の１つ以上の右画像を撮影するように構成され得る。第２の撮像要素１１４Ｃは、被写体の１つ以上の左画像を撮影するように構成され得る。
【００３１】
図１Ｂに示すように、ＨＭＩ機器１０１Ｃは、１つ以上のプロセッサ１０２Ｃを含む。プロセッサ１０２Ｃは、それぞれのＨＭＩ機器１０１Ｃを、本開示の技術と矛盾しないように動作させるように構成された命令を実行するように構成された、ＨＭＩ機器１０１Ｃの任意の計算構成要素を備え得る。プロセッサ１０２Ｃによって実行されると、命令は、本開示の技術と矛盾しないように動作するように構成された特定のコンピュータ機器としてプロセッサ１０２Ｃを構成し得る。
【００３２】
図１Ｂに同じく示すように、ＨＭＩ機器１０１Ｃは１つ以上のプロセッサ１０２Ｃを含む。プロセッサ１０２Ｃは、ＨＭＩ機器１０１Ｃを、本開示の技術と矛盾しないように動作させる１つ以上の信号を処理するように構成された、ＨＭＩ機器１０１Ｃの任意の計算構成要素を備え得る。幾つかの例によれば、プロセッサ１０２Ｃは、実行されると、本開示の技術と矛盾しないように動作するように構成された特定のコンピュータ機器としてプロセッサ１０２Ｃを構成する命令（例えば、コンピュータ可読媒体に記憶された命令）を実行するように構成され得る。プロセッサ１０２Ｃは、同じく又は代わりに、ＨＭＩ機器１０１Ｃを、本開示の技術に矛盾しないように動作させるための電気信号、光信号、磁気信号、及び／又は他の信号を処理するように構成された特定のハードウェア構成要素を備え得る。
【００３３】
様々な例では、プロセッサ１０２Ｃは、１つ以上の中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の回路の任意の組合せを含み得る。場合によっては、プロセッサ１０２Ｃは、ＨＭＩ機器１０１Ｃを、本明細書で説明する技術と矛盾しないように動作させる命令を実行するように構成され得る。そのような場合、命令は、ＨＭＩ機器１０１Ｃの１つ以上のコンピュータ可読媒体（図示せず）に記憶され得る。例えば、命令は、ＨＭＩ機器１０１Ｃのランダムアクセスメモリ（ＲＡＭ）構成要素、ハードディスクメモリ構成要素、及び／又はフラッシュ若しくは他の固体メモリ構成要素のうちの１つ以上を備え得る記憶要素又は機器（図示せず）に記憶され得る。
【００３４】
図１Ｂの例では、ＨＭＩ機器１０１Ｃの様々なモジュール１１０Ｃ、１２０Ｃ、及び１３２Ｃは、単一のプロセッサ１０２Ｃを介して実装されるものとして示されている。但し、他の例では、図１Ｃのこれらのモジュールのうちの１つ以上は、２つ以上の別個のハードウェア構成要素（例えば、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、マイクロプロセッサ、特定のハードウェア構成要素、又は信号を処理することが可能な同様の構成要素の１つ以上の組合せ）中に実装され得る。
【００３５】
図１Ｂに示すように、ＨＭＩ機器１０１Ｃは撮像モジュール１１０Ｃを含む。撮像モジュール１１０Ｃは、画像を撮影するようにそれぞれ第１のカメラ要素１１２Ｃと第２のカメラ要素１１４Ｃとを制御するように構成され得る。例えば、撮像モジュール１１０Ｃは、ビデオ画像を撮影するように第１のカメラ要素１１２Ｃと第２のカメラ要素１１４Ｃとを動作させるときを制御するように、及び／又は撮像の焦点を制御するように構成され得る。幾つかの例では、第１のカメラ要素１１２Ｃと第２のカメラ要素１１４Ｃとは、ビデオのキャプチャのために第１のカメラ要素１１２Ｃと第２のカメラ要素１１４Ｃとを向けることを可能にする１つ以上の機械アクチュエータを含み得る。これらの例によれば、撮像モジュール１１０Ｃは、第１のカメラ要素１１２Ｃと第２のカメラ要素１１４Ｃとを向けるように１つ以上の機械アクチュエータを制御し得る。
【００３６】
ＨＭＩ機器１０１Ｃはまた、撮像要素１１２Ｃ、１１４Ｃによって撮影された１つ以上の画像を処理するように構成され得る。図２の例に同じく示すように、ＨＭＩ機器１０１Ｃは画像処理モジュール１２０Ｃを含む。概して、画像処理モジュール１２０Ｃは、（例えば、撮像要素１１２Ｃ、１１４Ｃから）撮影されたビデオ画像の１つ以上の表現を受信し、表示のために１つ以上の表現を処理し得る。例えば、画像処理モジュール１２０Ｃは、他の画像とともに表示するための１つ以上の撮影された画像を処理し得る。画像処理モジュール１２０Ｃは、同じく又は代わりに、立体視表示器のために１つ以上の表現を処理し得る。例えば、画像処理モジュール１２０Ｃは、視聴者に実質的に３次元に見えるビデオプレゼンテーションの表示を生じるために連携して表示され得るそれぞれ右ビュー及び左ビューを作成するように構成され得る。
【００３７】
画像処理モジュール１２０Ｃは、表示モジュール１３２Ｃに撮影されたビデオ画像の１つ以上の処理された表現を通信し得る。表示モジュール１３２Ｃは、撮影されたビデオ画像の受信した処理された表現に基づいて１つ以上の画像を表示するように１つ以上の表示器（例えば、図１Ｂに示されていない立体視表示器）を制御し得る。幾つかの例では、ＨＭＩ機器１０１Ｃは、撮像要素１１２Ｃ、１１４Ｃによって撮影された画像がリアルタイム又はほぼリアルタイムで処理されるように、及び／又は表示モジュール１３２Ｃによって表示されるように動作可能であり得る。
【００３８】
表示モジュール１３２Ｃは、画像のプレゼンテーションのために１つ以上の表示器（例えば、図２に図示していない立体視表示器）を制御するように構成され得る。例えば、表示モジュール１３２Ｃは、画像処理モジュール１２０Ｃから受信した画像を提示するように１つ以上の表示器を制御するように構成され得る。例えば、表示モジュール１３２Ｃは、それぞれ右画像及び左画像が視聴者の右眼及び左眼によって視聴されるように視聴者が着用し得る専用グラスと併せて使用され得る。例えば、専用グラスは、偏光、波長、周波数、又は他のフィルタリングなどの差を介してそれぞれ右画像及び左画像を提示し得る。幾つかの例では、表示モジュール１３２Ｃは、専用グラスと同期される１つ以上の表示器を制御するように構成され得る。例えば、専用グラスは、それぞれ右画像及び左画像を提示する表示器と同期して明状態と暗状態との間で遷移するシャッターとして働き得る。この例によれば、専用グラス及び表示器は、遷移が視聴者に実質的に知覚できないように、人間の眼によって検出可能な周波数よりも速い周波数で右画像を提示することと左画像を提示することとの間で遷移し得る。他の例によれば、表示モジュール１３２Ｃは、代わりに、専用グラスを必要としない表示器（例えば、自動立体視表示器）を制御するように構成され得る。上記で説明した立体視例及び自動立体視例によれば、３次元ビデオプレゼンテーションのそれぞれ右画像（ビュー）と左画像（ビュー）との間の差により、例えば、画像の幾つかの被写体が表示面の前又は後ろにあるように見えるように、１つ以上の表示された画像が深さを有するものとして知覚されるようになり得る。
【００３９】
図１Ａ及び図１Ｂは、それぞれ共通の要素を共有し得るＶＴ機器１０１Ａ、１０１Ｂ及びＨＭＩ機器１０１Ｃ（以下、機器１０１と総称する）を示す。例えば、機器１０１はそれぞれ、第１及び第２の撮像装置１１２Ａ〜１１２Ｃ及び１１４Ａ〜１１４Ｃ（以下、それぞれ撮像装置１１２、１１４と総称する）と、撮像モジュール１１０Ａ〜１１０Ｃ（以下、撮像モジュール１１０と総称する）と、画像処理モジュール１２０Ａ〜１２０Ｃ（以下、画像処理モジュール１２０と総称する）と、表示器制御モジュール１３２Ａ〜１３２Ｃ（以下、表示器制御モジュール１３２と総称する）とを含む。
【００４０】
単に例示のために、撮影された画像の３Ｄ表示器のために僅かに異なる遠近の画像を立体視的に撮影するように構成された第１の撮像要素１１２と第２の撮像要素１１４とを含む機器１０１が示されている。図示されていない他の例によれば、機器１０１のうちのいずれかは、代わりに又は追加として、３Ｄプレゼンテーションのために画像を立体視的に撮影するように構成された撮像要素の他の構成を含み得る。例えば、機器１０１がシーンの異なる遠近の画像を撮影するように構成された複数のカメラ要素（例えば、３つ以上）を含む、マルチビュー撮像技術が使用され得る。別の例では、機器１０１は、単体レンズを使用して画像の複数のビューを撮影するように構成されたプレノプティックカメラを使用し得る。
【００４１】
図２は、画像処理モジュール２２０の一例を示すブロック図である。上記で説明したように、画像処理モジュール２２０は、表示のために１つ以上の画像を処理するように構成されたハードウェア、ソフトウェア、又はハードウェア若しくはソフトウェアの任意の組合せによって実装された構成要素であり得る。例えば、画像処理モジュール２２０は、概して、３次元表示のために画像を処理するように構成され得る。
【００４２】
図２に示すように、画像処理モジュール２２０は視差モジュール２２２を含む。視差モジュール２２２は、少なくとも２つの撮影された画像間の１つ以上の画素の視差を決定するために、少なくとも２つの撮影された画像の１つ以上の画素を処理するように構成され得る。図２に示すように、画像処理モジュール２２０はＲＯＩ識別モジュール２２４を更に含む。幾つかの例では、ＲＯＩ識別モジュール２２４は、所望のＲＯＩを示すユーザ入力を受信することによって、撮影された画像中のＲＯＩを識別し得る。例えば、１つ以上のＶＴ機器又はＨＭＩ機器１０１は、所望のＲＯＩを示すユーザ入力を受信するように構成され得る。ＲＯＩ識別モジュール２２４は、代わりに、撮影された画像のＲＯＩを自動的に決定するために他の技術を使用し得る。例えば、ＲＯＩ識別モジュール２２４は、撮影された画像のＲＯＩを自動的に決定するために、１つ以上のコンピュータビジョンアルゴリズム又は他の技術を使用し得る。使用され得るアルゴリズム及び／又は技術の非限定的な例には、動き推定（画像画素／被写体の相対移動）、オプティカルフロー（例えば、プレゼンテーションの観察者とプレゼンテーションの被写体との間の相対運動によって生じる、視覚平面中の被写体輝度パターン（object brightness pattern）の明らかな動きの表現）、及び／又はぼけ度（例えば、より少ないぼけ度が、画像被写体が観察者により近いことを示す、画像被写体の相対ぼけ度）、（例えば、ハールウェーブレットを利用する）顔認識技術、（例えば、知られているテクスチャをもつ被写体を識別するためにスケール不変特徴変換（ＳＩＦＴ：scale invariant feature transform）アルゴリズム又は他の技術を利用する）被写体認識、（画像被写体を識別するために画素色を利用する）カラーヒストグラム、又は撮影された画像のＲＯＩを自動的に決定するための任意の他の技術がある。
【００４３】
図２に同じく示すように、画像処理モジュール２２０はＺＤＰ決定モジュール２２６を更に含む。ＺＤＰ決定モジュール２２６は、ＲＯＩ識別モジュール２２４から、撮影された画像のＲＯＩの指示を受信するように構成され得る。ＺＤＰ決定モジュール２２６は、識別されたＲＯＩに基づいて、３Ｄ画像の表示のためにゼロ視差平面（ＺＤＰ）を決定し得る。ＺＤＰは、画像被写体が視聴者に実質的に２次元（２Ｄ）に見える表示された３Ｄ画像の平面、例えば、表示面８９０に又はその近くに実質的に見える画像被写体として説明され得る。ＺＤＰの被写体は、画像のそれぞれ右ビューと左ビューとの間で殆んど又は全く差がない（例えば、殆んど又は全く視差がない）ことがある。３Ｄ画像はまた、ＺＤＰの画像被写体ではない他の画像被写体、例えば、それぞれ右画像と左画像との間の差（視差）により表示面の前又は後ろに見える画像を備え得る。幾つかの例では、画像画素の視差は、正（ＺＤＰの前）の値又は負（ＺＤＰの後ろ）の値によって表され得る。３Ｄ画像を閲覧するとき、被写体は、３Ｄ画像のＺＤＰから飛び出すように、又は引っ込むように見え得る。ＺＤＰ決定モジュール２２６は、撮影された画像が識別されたＲＯＩの又はその近くのＺＤＰで表示され得るように、撮影された画像を処理し得る。一例として、ＺＤＰ決定モジュール２２６は、ＲＯＩの１つ以上の被写体が３Ｄ画像を提示する表示器の表面に又はその近くに見えるようにＲＯＩの１つ以上の被写体が表示されるように撮影された画像を整列（例えば、相対位置をシフト）、トリミング、及び／又は場合によっては処理するために撮影された画像を処理し得る。整列、シフト、及び／又は場合によっては処理されると、識別されたＲＯＩ内の画像画素の視差値はゼロに近くなるか、実質的に等しくなり得る。
【００４４】
幾つかの例によれば、図２に示すように、ＺＤＰ決定モジュールは、視差モジュール２２２から画素視差の１つ以上の指示を受信し得る。例えば、ＺＤＰ決定モジュールは、撮影された画像のＲＯＩの画素についての画素視差の１つ以上の指示を受信し得る。１つ以上の指示に基づいて、ＺＤＰ決定モジュール２２６は、（例えば、視差モジュール２２２を介して）ＲＯＩの画素の典型的な視差を決定することに基づいて、識別されたＲＯＩの又はその近くのＺＤＰで表示されるべき撮影された画像を処理（例えば、整列、トリミング、又は場合によっては処理）し得る（例えば、ＲＯＩの画素及び／又は被写体は殆んど又は全く視差がなく表示され得る）。一例によれば、ＺＤＰ決定モジュール２２６は、ＲＯＩの画素の相対視差を表すヒストグラムを作成し、最大画素数をもつヒストグラムのビンを選択することによってＲＯＩの典型的な視差を決定し得る。従って、ＺＤＰ決定モジュールは、撮影された画像が典型的な視差の深さの又はその近くのＺＤＰで表示され得るように、撮影された画像を処理し得る。
【００４５】
図３は、画像の（例えば、２つ以上のカメラを介した）立体視撮影の一例を示す概念図である。図３に示すように、撮像要素３１２、３１４は、被写体３４２、３４４、及び３４６のそれぞれ第１及び第２の画像を撮影するように構成され得る。図３に示す例によれば、第２の撮像要素３１４は、（例えば、被写体３４２、３４４、３４６を備える）同じシーンの画像を、但し第１の撮像要素３１２とは僅かに異なる遠近から撮影し得る。幾つかの例では、それぞれ第１及び第２の撮像要素３１２は、シーンのそれぞれ右ビュー及び左ビューを撮影するように構成され得る。撮影された右画像及び左画像は、処理され、連携してユーザに３Ｄビデオプレゼンテーションとして表示され得る。
【００４６】
図３の例では、被写体３４２は画像画素３５２を含む。同様に、被写体３４６は画像画素３５４を含む。画像画素３５２と画像画素３５４とは、それぞれ、第１のカメラ要素３１２及び第２のカメラ要素３１４によって撮影された画像中の被写体３４２及び被写体３４６の特定のポイントを表し得る。第１の撮像要素３１２と第２の撮像要素３１４との間の異なる遠近により、画像画素３５２と画像画素３５４とは、それぞれ撮像要素３１２及び撮像要素３１４によって撮影された画像中で異なる位置に見え得る。それぞれの撮影された画像間（例えば、それぞれ右画像と左画像との間）の画素位置のそのような差は、画素についての視差として説明され得る。視差は画素数として示され得る。例えば、視差は、少なくとも２つの撮影された画像中の同じ画素のそれぞれの位置間の画素数及び／又は画素の約数として表され得る。幾つかの例では、視差は正又は負の視差であり得る。例えば、画素についての正の視差は、画素が参照平面（例えば、撮影された画像のＺＤＰ）の前に見える被写体の画素であることを示し得る。この例によれば、画素についての負の視差は、画素が参照平面（例えば、撮影された画像のＺＤＰ）の後ろに見えることを示し得る。
【００４７】
本開示の一態様によれば、撮影された画像間の画像画素の決定された視差は、撮影された画像の関心領域を決定するために使用され得る。本開示の別の態様によれば、撮影された画像間の画像画素の決定された視差は、（例えば、立体視表示器を介した）撮影された画像の表示のためにＺＤＰを決定するために使用され得る。
【００４８】
図４は、撮影された左画像４６２と撮影された右画像４６４との間の視差の一例を示す概念図である。それぞれの撮影された右画像４６２と左画像４６４とは、立体カメラ、例えば、図３に示した第１のカメラ要素３１２と第２のカメラ要素３１４とを含むカメラによって撮影され得る。
【００４９】
図４に示すように、撮影された左画像４６２は、撮影された左画像４６２中の第１の画素と第２の画素とのそれぞれ位置４５２Ａと位置４５４Ａとの指示を含む。同様に、撮影された右画像４６２は、撮影された右画像４６４中のそれぞれ位置４５２Ｃと位置４５４Ｃとの指示を含む。説明のために、撮影された右画像４６４は、撮影された左画像４６２の位置４５２Ａと位置４５４Ａとに対応する、それぞれ位置４５２Ｂと位置４５４Ｂとの指示を更に含む。様々な画素位置４５２Ａ、４５２Ｂ、及び４５２Ｃは、図３に示した被写体３４２の画素３５２に対応し得る。同様に、様々な画素位置４５４Ａ、４５４Ｂ、及び４５４Ｃは、図３に示した被写体３４６の画素３５４に対応し得る。
【００５０】
図４の例に示すように、撮影された画像中の（例えば、被写体の）特定のポイントを表す画素は、それぞれの撮像要素（例えば、図３の撮像要素３１２、３１４）の異なる配置により、撮影された左画像４６２では撮影された右画像４６４とは異なる位置を有し得る。撮影された右画像４６４の下部に示すように、画像画素３５２は撮影された左画像４６２中の第１の位置４５２Ｂ中にあり得、一方、画像画素３５２は撮影された右画像４６４中の第２の位置４５２Ｃ中にあり得る。これらの位置間の差は、それぞれ右の撮影された画像４６２と左の撮影された画像４６４との間の画素３５２の視差と見なされ得る。同様に、撮影された右画像４６４の上部に示すように、画像画素３５４は撮影された左画像４６２中の第１の位置４５４Ｂ中にあり得、一方、画像画素３５４は撮影された右画像４６４中の第２の位置４５４Ｃ中にあり得る。これらの位置間の差は、それぞれ右の撮影された画像４６２と左の撮影された画像４６４との間の画素３５４の視差と見なされ得る。図４に同じく示すように、撮影された画像間で、ある画素の視差が別の画素の視差よりも大きいことも、小さくいこともあり得る。例えば、図４に示すように、画素４５２についての視差（例えば、画素位置４５２Ｂと画素位置４５２Ｃとの間の差）は、画素４５４についての視差（例えば、画素位置４５４Ｂと画素位置４５４Ｃとの間の差）よりも大きい。
【００５１】
本開示の技術によれば、画像処理モジュール１２０（例えば、視差モジュール２２２）は、撮影された画像の１つ以上の画素についての視差を決定し得る。本開示の一態様によれば、画像処理モジュール１２０（例えば、ＲＯＩ識別モジュール２２４）は、撮影された画像の関心領域（ＲＯＩ）を識別するために決定された視差を使用し得る。ＲＯＩは、撮影されたビデオ中の注目する１つ以上の被写体を含む撮影された画像の領域であり得る。ＲＯＩは被写体の顔又は体を備え得る。別の例では、ＲＯＩは、被写体、ホワイトボード、被写体の手、又は任意の他の被写体を備え得る。幾つかの例では、画像処理モジュール１２０は、撮影された画像の１つ以上の観察者（例えば、撮像装置３１２、３１４）に最も近い撮影された画像の１つ以上の被写体としてＲＯＩを識別し得る。
【００５２】
本開示の技術に一致する幾つかの例によれば、画像処理モジュール１２０は、画像画素（例えば、撮影された画像の被写体又は被写体のポイント）が観察者からどのくらい近くにあるか、又はどれくらい遠くにあるかを決定するために画素視差を使用し得る。例えば、観察者により近い被写体の画素は、観察者からより遠くに離れている被写体の画素よりも大きい視差を有し得る。例えば、図３に示す例によれば、被写体３４２の画素３５２は観察者により近いが、被写体３４４の画素３５４は観察者からより遠くに離れている。図４の例によれば、図４に示すように、画像処理モジュール１２０は、撮影された右画像４６２と左画像４６４との間で（図４に示すように、左画像画素位置４５２Ｂと右画像画素位置４５２Ｃとの間で）画像画素３５２が（図４に示すように、左画像画素位置４５４Ｂと右画像画素位置４５４Ｃとの間で）画像画素３５４よりも大きい視差を有すると決定し得る。従って、画像処理モジュール１２０は、画像画素３５２と画像画素３５４とについて決定された視差に基づいて、画像被写体３４２をＲＯＩとして識別し得る。
【００５３】
画像処理モジュール１２０は、一例として、撮像を撮影された画像の１つ又は特定の被写体に合焦するために、識別されたＲＯＩを使用し得る。画像処理モジュール１２０は、同じく又は代わりに、撮影された画像を表示するために、識別されたＲＯＩを使用し得る。例えば、画像処理モジュール１２０は、ＲＯＩの被写体に合焦して、又は表示されたビデオ中でＲＯＩが顕著になる（例えば、ズームインされる、ライティングされる、明るい色で表示される、又は他のエフェクトが行われる）ように撮影された画像を処理し得る。画像処理モジュール１２０は、同じく（又は代わりに）、本開示の技術に一致する、撮影された画像の表示のためにＺＤＰを決定するために識別されたＲＯＩを使用し得る。
【００５４】
また、幾つかの例では、撮影された画像の識別されたＲＯＩは、画像が撮影されている間に変化し得る。一例によれば、画像処理モジュール１２０は、被写体の顔が画像を撮影した１つ以上の撮像要素（例えば、観察者）に最も近いので、被写体の顔を画像のＲＯＩとして識別するために画像画素の視差を使用し得る。被写体は、次いで、観察者の前に被写体（例えば、写真）などの被写体を出し得る。画像処理モジュール１２０は、例えば、画像画素の視差に基づいて、現在、撮影された画像の観察者にその被写体が最も近いと自動的に決定し得る。従って、画素視差に基づいて、画像処理モジュール１２０は、差し出された被写体を撮影された画像の新しいＲＯＩとして識別し得る。本明細書で説明する画像処理モジュール１２０は、同じく又は代わりに、他の技術に基づいてＲＯＩの変化を自動的に決定するように構成され得る。例えば、ＲＯＩ識別モジュール２２４は、撮影された画像のＲＯＩを自動的に決定するために、１つ以上のコンピュータビジョンアルゴリズム又は他の技術を使用し得る。使用され得るアルゴリズム及び／又は技術の非限定的な例には、動き推定（画像画素／被写体の相対移動）、オプティカルフロー（例えば、プレゼンテーションの観察者とプレゼンテーションの被写体との間の相対運動によって生じる、視覚平面中の被写体輝度パターンの明らかな動きの表現）、及び／又はぼけ度（例えば、より少ないぼけ度が、画像被写体が観察者により近いことを示す、画像被写体の相対ぼけ度）、（例えば、ハールウェーブレットを利用する）顔認識技術、（例えば、知られているテクスチャをもつ被写体を識別するためにスケール不変特徴変換（ＳＩＦＴ）アルゴリズム又は他の技術を利用する）被写体認識、（画像被写体を識別するために画素色を利用する）カラーヒストグラム、又は撮影された画像のＲＯＩを自動的に決定するための任意の他の技術がある。他の例によれば、ＲＯＩ識別モジュール２２４は、ＲＯＩの変化を示すユーザ入力の受信に基づいて撮影された画像のＲＯＩの変化を識別し得る。
【００５５】
図５は、シーンの１つ以上の撮影された画像のための関心領域を決定する方法の一例を示す流れ図である。図５の例によれば、撮像モジュール１１０は、少なくとも２つの撮像要素（例えば、撮像要素１１２、１１４）を制御して、（５０２において）シーンの第１及び第２の画像を撮影する。シーンの撮影された第１及び第２の画像は少なくとも１つの画像画素を含み得る。少なくとも１つの画像画素は、撮影されたシーン中のポイントを表し得る。図５に同じく示すように、画像処理モジュール１２０（例えば、視差モジュール２２２）は、（５０４において）第１及び第２の画像の少なくとも１つの画素についての視差を決定する。画像処理モジュール１２０は、第１の画像と第２の画像との間で少なくとも１つの画素のそれぞれの位置間の差を決定することによって視差を決定し得る。画像処理モジュール１２０（例えば、ＲＯＩ識別モジュール２２４）は、更に、（５０６において）少なくとも１つの画素についての決定された視差に基づいて、撮影された画像の関心領域を識別する。
【００５６】
一例によれば、画像処理モジュール１２０は、第１及び第２の撮影された画像の複数の画素についての視差を決定し得る。複数の画素は、第１及び第２の撮影された画像の全ての画素を備え、又は代わりに第１及び第２の画像の画素のサブセットを備え得る。例えば、画像処理モジュール１２０は、シーンの被写体の画素を識別し、識別された画素についての視差を決定し得る。画像処理モジュール１２０は、画像の処理のためのエッジ検出技術に基づいて、シーンの被写体の画素を決定し得る。
【００５７】
一例によれば、画像処理モジュール１２０は、撮影された画像の少なくとも２つのビュー間で最大量の視差をもつ、又は最大の変位をもつ撮影された画像の画素を決定することに基づいてＲＯＩを識別し得る。画像処理モジュール１２０は、どの画素が最大の視差を有するかに基づいて、撮影された画像の観察者に最も近い撮影された画像の１つ以上の被写体を識別し得る。従って、画像処理モジュール１２０は、撮影された画像の観察者に最も近い１つ以上の被写体を、撮影された画像のＲＯＩとして識別し得る。
【００５８】
本開示の一態様によれば、図５に関して上記で説明したように、画像処理モジュール１２０は、立体視的に撮影された画像のためのＲＯＩを識別するために画像画素の視差を使用し得る。以下で更に詳細に説明する本開示の別の態様によれば、画像処理モジュール１２０は、図５の例に従って識別されたＲＯＩ、又は他の技術に従って識別されたＲＯＩに基づいて１つ以上の撮影された画像の表示のためのゼロ視差平面を決定し得る。
【００５９】
図６は、フィードバックベース画像（例えば、ビデオ画像）の立体視表示器のためのゼロ視差平面を識別する方法の一例を示すフローチャートである。図６に示すように、画像処理モジュール１２０（例えば、ＲＯＩ識別モジュール２２４）は、（６０１において）少なくとも２つの撮影された第１と第２の画像（例えば、立体視的に撮影された画像）のためのＲＯＩを識別する。画像処理モジュール１２０は、ＲＯＩを自動的に識別し得る。例えば、画像処理モジュール１２０は、図５に関して上記で説明したように、撮影された画像の少なくとも１つの画素についての決定された視差に基づいて、ＲＯＩを識別し得る。
【００６０】
他の例によれば、画像処理モジュール１２０は、ＲＯＩを自動的に識別するための他の技術に基づいてＲＯＩを自動的に識別し得る。例えば、画像処理モジュール１２０は、撮影された画像の観察者に最も近い被写体の識別情報に依拠する他の技術を利用し得る。例えば、画像処理モジュール１２０は、本明細書で説明するように、撮影された画像のＲＯＩを自動的に決定するために１つ以上のコンピュータビジョンアルゴリズムあるいは他の技術を使用し得る。
【００６１】
他の例によれば、画像処理モジュール１２０は、所望のＲＯＩを示すユーザ入力を受信することに基づいて識別されるＲＯＩに基づいて立体視表示器のためのＺＤＰを決定し得る。例えば、ＶＴ又はＨＭＩ機器１０１は、マウス、キーボード、タッチスクリーンを介してなどユーザからの所望のＲＯＩの指示、又は所望のＲＯＩのボイスプロンプト選択を受信するように構成され得る。機器１０１がタッチセンシティブ表示器を含む１つのそのような例によれば、ユーザは、被写体を所望のＲＯＩとして識別するために被写体（例えば、被写体の顔、又は表示された画像の他の被写体）において又はその近くでタッチセンシティブ表示器と対話する（例えば、タッチする）ことによって所望のＲＯＩを入力し得る。
【００６２】
図６に同じく示すように、画像処理モジュール１２０は、更に、（６０２において）ステップ６０１において識別されたＲＯＩの少なくとも１つの画素についての視差を（例えば、視差モジュール２２２を介して）決定する。一例では、画像処理モジュール１２０は、識別されたＲＯＩの全ての画素についての視差を決定し得る。他の例では、画像処理モジュール１２０は、識別されたＲＯＩの画素のサブセットについての視差を決定し得る。例えば、画像処理モジュール１２０は、ＲＯＩの少なくとも１つの被写体を識別し、相応して、識別された少なくとも１つの被写体の画像画素についての視差を決定し得る。
【００６３】
図６に同じく示すように、画像処理モジュール１２０は、更に、（６０３において）ＲＯＩの典型的な視差を決定する。１つのそのような例によれば、画像処理モジュール１２０は、ステップ６０２において視差が決定された画素（例えば、ＲＯＩの画素の全て又はサブセット）についての決定された視差を平均化することによって典型的な視差を決定し得る。別の例によれば、画像処理モジュール１２０は、図７に関して以下で説明するように様々な視差範囲に対応する幾つかのビンを備えるヒストグラムにＲＯＩの画素を割り当てることによって、ＲＯＩについての典型的な視差を決定し得る。これらの例によれば、画像処理モジュール１２０は、最大画素数がＲＯＩの典型的な視差として割り当てられたビンの視差範囲を識別し得る。
【００６４】
図６に同じく示すように、画像処理モジュール１２０は、（６０４において）ＲＯＩの識別された典型的な視差に基づくＺＤＰを有する立体視ビデオプレゼンテーションを生成するために動作可能であり得る。上記で説明したように、立体視表示器を介して与えられるそれぞれ右画像と左画像との間の差によって、例えば、画像の幾つかの被写体が表示器の表示面の前又は後ろにあるように見えるように、１つ以上の表示された画像が深さを有するものとして知覚されるようになり得る。幾つかの例では、画像処理モジュール１２０（及び／又は表示器制御モジュール１３２）は、１つ以上の他の画素及び／又は画像被写体が表示器の表示面の前又は後ろに見えるようにしながら、識別されたＲＯＩの１つ以上の画素及び／又は画像被写体が殆んど又は全く視差がなく表示される（例えば、立体視表示器の表示面に又はその近くに見える）ようにするために、立体視ビデオプレゼンテーションのそれぞれ第１及び第２の（例えば、右及び左の）ビューを整列、トリミング及び／又は処理することによって、識別された典型的な視差に基づくＺＤＰを有する立体視ビデオプレゼンテーションを生成し得る。１つ以上の立体ビューを整列させるための技術について、図１３に関して以下で更に詳細に説明する。
【００６５】
図７は、図６のステップ６０３に関して上記で説明したように、ＲＯＩの典型的な視差を決定するために画像処理モジュール１２０によって生成され得るヒストグラムの一例を示す概念図である。図７の例に示すように、画像処理モジュール１２０（例えば、視差モジュール２２２）は、ＲＯＩの画素についての視差を決定し、複数のビン７Ａ〜７Ｊのうちの１つにＲＯＩの各画素を割り当て得る。図７の例では１０個のビンが示されているが、異なる例では任意の数のビンが使用され得る。図７のヒストグラムのＸ軸上に示すように、ビン７Ａ〜７Ｊはそれぞれ、ＲＯＩの画素についての視差の異なる範囲を表し得る。単に例示のために、視差が１〜１００のスケールに基づいて決定され、１が最小視差量であり、１００が最大視差量である場合、ビン７Ａが１〜１０の視差範囲を表し得、ビン７Ｂが１１〜２０の視差範囲を表し得、ビン７Ｃが２１〜３０の視差範囲を表し得、以下同様に、ビン７Ｊが９１〜１００の視差範囲を表し得る。
【００６６】
図７のヒストグラムのＹ軸上に示すように、１つ以上の画素にはビン７Ａ〜７Ｊのうちの１つ以上が割り当てられ得る。図７の例に示すように、ビン７Ｊには最小画素数が割り当てられていて、一方、ビン７Ｅには最大画素数を割り当てられている。一例によれば、画像処理モジュール１２０は、最大画素数が割り当てられている、複数のビン７Ａ〜７Ｊのうちの１つの選択に基づいてＲＯＩの典型的な視差を決定し得る。図７の例によれば、ビン７Ａ〜７ｄ及び７Ｆ〜７Ｊと比較してビン７Ｅに最も大きい画素数が割り当てられている。従って、ビン７Ｅの視差範囲、又はビン７Ｅの範囲の視差は、図６に関して上記で説明したように、立体視画像の表示のためのＺＤＰを決定するために典型的な視差として使用され得る。
【００６７】
別の例によれば、図７に示すヒストグラムは、ガウス分布と同様であると見なされ得る。この例によれば、画像処理モジュール１２０は、図６に関して上記で説明したように、立体視画像の表示のためのＺＤＰを決定するために典型的な視差としてガウス分布（例えば、平均）の手段を使用し得る。
【００６８】
図８〜図１０は、図６に関して上記で説明したように、識別されたＲＯＩに基づいて決定されたＺＤＰで視聴者８７０に立体視ビデオプレゼンテーションを表示することの様々な例を示す概念図である。図８〜図１０に示すように、視聴者８７０（例えば、人間視聴者）は、右眼８７２と左眼８７４とを有する。図８〜図１０の例では、視聴者８７０は立体視表示器８００を閲覧している。立体視表示器８００は、左眼８７２に知覚されるべき第１の画像と右眼８７４に知覚されるべき第２の画像とを視聴者８７０に提示するように表示器制御モジュール１３２によって制御され得る。幾つかの例では、図８〜図１０に同じく示すように、視聴者８７０は、第１の画像を視聴者の左眼８７２に知覚させ、第２の画像を視聴者の右眼８７４に知覚させるように構成された立体視グラス８７６又は別の機器を着用し得る。例えば、立体視グラス８７６は、液晶シャッターグラス（ＬＣシャッターグラス）又はアクティブシャッターグラスであり得る。これらの例によれば、立体視グラス８７６は、それぞれ液晶層に電圧が印加されたときに暗状態になり、そうでない場合、レンズは透過状態である液晶層を含んでいるそれぞれ右レンズと左レンズとを含み得る。立体視グラス８７６のそれぞれ右レンズ及び左レンズは、表示器９００がそれぞれ右画像のプレゼンテーションと左画像のプレゼンテーションとの間で遷移するレートに従って暗状態と透過状態の間で遷移するように構成され得る（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、Ｗｉ−ｆｉ（登録商標）、又は他の形態のワイヤレス通信などのワイヤレス通信を介して同期される）。従って、それぞれ右画像と左画像とは、ユーザに表示された画像を３次元的に知覚させるために視聴者の左眼８７２と右眼８７４とに単独で表示され得る。
【００６９】
立体視グラス８７６は、代わりに、アナグリフグラス、クロマデプスグラス、又は偏光３Ｄグラス、若しくは異なるビューを視聴者の左眼８７２と右眼８７４とに知覚させることを可能にする任意の他の機器又は構造を備え得る。立体視グラス８７６は、異なるビューを任意のタイプのフィルタリング、例えば、光波長、偏光、又は他の技術を介して知覚させるように構成され得る。別の例として、異なるビューを視聴者の左眼８７２と右眼８７４とに知覚させるために、立体視グラス８７６の代わりに、専用コンタクトレンズ又は他の光学的構造が使用され得る。
【００７０】
図８〜図１０に示す立体視グラス８７６は、例示の目的のために与えられたものにすぎず、非限定的なものである。他の例では、表示器８００は、立体視グラス８７６を使用せずに、それぞれ右画像と左画像とをそれぞれ視聴者の右眼と左眼とに提示するように構成された自動立体視表示器であり得る。例えば、表示器８００は、視差バリア技術（各眼が画素の異なるセットを見ることを可能にする、一連の高精度スリットをもつ材料の層）、レンズ技術（僅かに異なる角度から閲覧したときに異なる画像を拡大するように設計された拡大レンズのアレイ）、ボリュメトリック（volumetric）技術（例えば、電子ホログラフィック、及び光照射野（light field）を含む、（ｘ，ｙ，ｚ）空間中の明確な領域からの照明の放出、散乱、又は中継を介して３Ｄ像を作成する）、及び／又は本開示の技術に一致する、識別されたＲＯＩに基づいて決定されたＺＤＰでユーザに画像を自動立体視的に提示するこれらの技術の任意の組合せを採用し得る。
【００７１】
図８〜図１０に示す例は画像被写体８４２、８４４、及び８４６の立体視表示器を示し、それらの画像被写体は、表示器８００の表示面８９０に対して視聴者によって知覚されることになる。図８〜図１０に示す画像被写体は、概して、図３に示し、上記で説明した第１の撮像要素３１２と第２の撮像要素３１４とによって撮影されたシーンの被写体３４２、３４４及び３４６に対応する。
【００７２】
図８は、本開示の技術に一致する、撮影されたビデオのＲＯＩに基づいて決定されたＺＤＰで提示される３Ｄ画像の立体視表示器の一例を示す概念図である。図８に示すように、画像処理モジュール１２０（例えば、ＲＯＩ識別モジュール２２４）は、被写体８４４を撮影された画像のＲＯＩ８８０として識別している。画像処理モジュール１２０は、自動的に又は手動で被写体８４４をＲＯＩ８８０として識別し得る。例えば、上記で説明したように、画像処理モジュール１２０は、様々な本明細書で説明する技術に従って被写体８４４をＲＯＩとして自動的に識別し得る。他の例によれば、画像処理モジュール１２０は、被写体８４４の選択をＲＯＩ８８０として示すユーザ入力の受信に基づいて被写体８４４をＲＯＩ８８０として識別し得る。
【００７３】
図８に同じく示すように、画像処理モジュール１２０は、被写体８４４をＲＯＩ８８０とし識別することに基づいて、識別されたＲＯＩ８８０に基づいて決定されたＺＤＰで立体視的に表示されるべき撮影された画像を処理（例えば、整列、トリミング、及び／又は場合によっては処理）し得る。ＺＤＰは、画像被写体が視聴者に実質的に２次元（２Ｄ）に見える表示された３Ｄ画像の平面、例えば、表示面８９０に又はその近くに実質的に見える画像被写体として説明され得る。ＺＤＰの被写体は、画像のそれぞれ右ビューと左ビューとの間で殆んど又は全く差がない（例えば、殆んど又は全く視差がない）ことがある。３Ｄ画像はまた、ＺＤＰの画像被写体ではない他の画像被写体、例えば、それぞれ右画像と左画像との間の差（視差）により表示面の前又は後ろに見える画像を備え得る。３Ｄ画像を閲覧するとき、被写体は、３Ｄ画像のＺＤＰから飛び出すように、又は引っ込むように見え得る。表示面８９０は、ＬＣＤ表示器又はプラズマ表示器などの表示装置の表面であり得る。表示面８９０は、代わりに、プロジェクタ機器が画像を投影する壁又は他の表面など、画像が投影される表面であり得る。
【００７４】
上記で説明したように、表示された画像をユーザに３次元として知覚させるために、画像処理モジュール１２０は、僅かに異なる画像（ビュー）がそれぞれ視聴者の左眼８７２と右眼８７４とを対象とするような表示のための画像を処理し得る。それぞれ右画像と左画像との間の差によって、表示された画像の１つ以上の被写体が表示器８００の表面の前又は後ろに見えるようなり得る。本開示の技術に一致して、画像処理モジュール１２０は、ＲＯＩ８８０の被写体（例えば、図８の被写体８４４）がそれぞれ左ビュー８７２と右ビュー８７４との間の差（視差）が殆んど又は全くないように提示され、それによって表示面８９０に又はその近くに見え得るように、表示された立体視画像のＺＤＰ８９２を決定し得る。一方、図８に同じく示すように、被写体８４２は、被写体８４２が表示面８９０の実質的に前にあるものとして視聴者８７０によって知覚されるように表示され、被写体８４６は、被写体８４６が表示器８００の実質的に後ろにあるものとして視聴者８７０によって知覚されるように表示される。被写体８４２及び８４６は、表示された右画像と左画像との間のそれぞれの差により表示面の前又は後ろに見え得る。
【００７５】
図９及び図１０は、本開示の技術に一致する、撮影されたビデオのＲＯＩ９９０に基づいて選択されたＺＤＰ９８２で提示される３Ｄ画像の立体視表示器の他の例を示す概念図である。図９に示すように、画像処理モジュール１２０は、ＲＯＩ９８０の識別に基づいて、被写体８４２が表示面８９０に又はその近くに、例えば、図８に示すように被写体８４４の代わりにＺＤＰ９９２に又はその近くに見えるように被写体８４２を表示させる。図９に同じく示すように、画像処理モジュール１２０は、被写体８４４がＺＤＰ９９２の後ろに見えるようにし、被写体８４６がＺＤＰ９９２の更に後ろに見えるようにする。図１０の例によれば、画像処理モジュール１２０は、被写体８４６を撮影された画像のＲＯＩ１０８０として識別する。従って、画像処理モジュールは、被写体８４６がＺＤＰ１０８２に又はその近くに見えるように撮影された画像を処理する。
【００７６】
幾つかの例によれば、図１に示したＶＴ機器１０１Ａ、１０１Ｂ、又は図２に示したＨＭＩ機器２０１は、撮影画像の識別されたＲＯＩ８８０の変化に基づいて表示された画像のＺＤＰを自動的に遷移するように構成され得る。例えば、画像処理モジュール１２０は、撮影された画像の第１のＲＯＩ（例えば、被写体８４４を含む、図８のＲＯＩ８９０）を（例えば、自動的に、又はユーザ入力の受信に基づいて）識別し得る。画像処理モジュール１２０は、更に、第２のＲＯＩ（例えば、被写体８４２を含む、図９のＲＯＩ９９０）を識別し得る。従って、画像処理モジュール１２０は、第２のＲＯＩ（例えば、ＲＯＩ９９０）の１つ以上の被写体が表示された画像の第２のＺＤＰに又はその近くに見える（例えば、表示面８９０に又はその近くに見える）ように３Ｄ画像の表示を自動的に変更し得る。
【００７７】
例えば、第１のユーザは、図１に示す第１のＶＴ機器１０１Ａを介して、第２のＶＴ機器１０１Ｂを介して撮影された第２のユーザの画像を閲覧し得る。被写体８４４が第２のユーザであると仮定すると、第１のＶＴ機器１０１Ａ又は第２のＶＴ機器１０１Ｂのうちの１つの画像処理モジュール１２０は、被写体８４４をＲＯＩ８９０として（例えば、自動的に、又はユーザ入力の受信によって）識別し得る。従って、第１のＶＴ機器１０１Ａは、図８の例に示すように、被写体８４４（例えば、第２のユーザの顔）がＺＤＰ８８２に又はその近くに見えるように第１のユーザに表示される画像を提示し得る。
【００７８】
第２のユーザは、ユーザ自身の前に写真又は他の被写体を保持し得る。画像処理モジュール１２０は、差し出された写真（例えば、被写体８４２）を第２のＲＯＩ９９０として識別し得る。画像処理モジュール１２０は、例えば、被写体８４２が撮像要素１１２、１１４により近くなったと自動的に決定することによって自動的に写真を識別し得、又は、第２のＶＴ機器１０１Ｂは、第２のユーザからの、第２のユーザが写真をＲＯＩとして識別することを所望するという入力を受信し得る。従って、画像処理モジュール１２０（及び／又は表示モジュール１３２）は、図９に表示したように、視差が殆んど又は全くないように（例えば、ＺＤＰ９８２に又はその近くに）写真が見えるように画像をユーザに表示させる。
【００７９】
図１１は、撮影された画像の識別されたＲＯＩの変化に基づいて撮影された画像の立体視表示器を自動的に変更する方法の一例を示すフローチャートである。図１１に示すように、撮像モジュールは、（１１０２において）例えば、少なくとも２つの立体カメラ１１２、１１４を使用して、第１及び第２の画像を撮影する。画像処理モジュール１２０は、更に、（１１０４において）撮影された画像の第１のＲＯＩを識別する。画像処理モジュール１２０は、自動的に、又はユーザ入力の受信を介して第１のＲＯＩを識別し得る。画像処理モジュール１２０は、更に、（１１０６において）識別された第１のＲＯＩに基づいて選択されたゼロ視差平面（ＺＤＰ）での表示のための第１及び第２の画像を処理（例えば、整列、トリミング、又は場合によっては処理）する。例えば、画像処理モジュール１２０は、第１のＲＯＩの１つ以上の被写体が表示面８９０に又はその近くに見えるように、第１及び第２の画像を処理し得る。
【００８０】
画像処理モジュール１２０は、更に、（１１０８において）第１及び第２の撮影された画像のための第２のＲＯＩを識別する。画像処理モジュールは、第２のＲＯＩを自動的に識別し得るか、又は第２のＲＯＩを識別するユーザ入力を受信し得る。画像処理モジュール１２０は、更に、（１１１０において）第２の識別されたＲＯＩに基づく第２のＺＤＰでの表示のための撮影された第１及び第２の画像を変更する。例えば、画像処理モジュール１２０は、第２のＲＯＩの１つ以上の被写体が表示面８９０に又はその近くに見えるように第１及び第２の撮影された画像を処理し得る。画像処理モジュール１２０は、更に、第１の識別されたＲＯＩの１つ以上の被写体が表示面８９０に又はその近くにもはや見えないように第１及び第２の撮影された画像を、処理することができる。
【００８１】
図１２は、本開示に一致する、撮影された画像のＲＯＩに基づく１つ以上の撮影された画像の表示のためのＺＤＰを決定する方法の一例を示す流れ図である。例示のために、図１２に、本開示の技術に一致する、図１Ａ及び図１Ｂに示した１つ以上のＶＴ機器１０１Ａ、１０２Ｂ及び／又は１つ以上のＨＭＩ機器１０１Ｃのそれぞれの構成要素によって実行される様々な動作を示す。図１２の例は、例示のために与えられたものにすぎず、非限定的なものである。ＶＴ機器又はＨＭＩ機器１０１の任意の構成要素が図１２に示す動作を実行し得る。
【００８２】
図１２に示すように、ＶＴ機器又はＨＭＩ機器１０１の撮像モジュール１１０は、（１２０２において）シーンのそれぞれ第１及び第２の画像を撮影するように構成される。例えば、撮像モジュール１１０は、１つ以上の撮像要素１１２、１１４がそれぞれ第１及び第２の画像を撮影するように制御するように構成され得る。他の例によれば、撮像モジュール１１０は、シーンの複数のビューを撮影するように構成された単一の撮像要素、例えば、プレノプティックカメラを制御し得る。
【００８３】
撮像モジュール１１０は、更に、（１２０４において）撮影された第１及び第２の画像の表現を通信する。例えば、撮像モジュール１１０は、１つ以上のプロセッサ、ＤＳＰ、又は他の計算構成要素によって読取り可能であり得る電子表現を通信し得る。図１２の例によれば、撮像モジュール１１０は、処理のために画像処理モジュール１２０に撮影された第１及び第２の画像の表現を通信し得る。例えば、機器１０１がＶＴ機器１０１Ａであった場合、撮像モジュール１１０Ａは、処理のために第２のＶＴ機器１０１Ｂの画像処理モジュール１２０Ｂに撮影された第１及び第２の画像の表現を通信し得る。他の例によれば、撮像モジュール１１０Ａは、第１のＶＴ機器１０１Ａの画像処理モジュール１２０Ａに撮影された第１及び第２の画像の表現を通信し得る。画像処理モジュール１２０Ａが撮影された第１及び第２の画像を処理すると、画像処理モジュール１２０Ａは、さらなる処理、表示及び／又は記憶のために、第２のＶＴ機器１０１Ｂに処理された第１及び第２の画像の表現を通信し得る。別の例によれば、機器１０１がＨＭＩ機器１０１Ｃであった場合、撮像モジュール１１０Ｃは、処理、記憶、及び／又は表示のために、ＨＭＩ機器１０１Ｃにローカルである画像処理モジュール１０１Ｃに撮影された画像を通信し得る。
【００８４】
画像処理モジュール１２０は、（１２０６において）撮像モジュール１１０から、１つ以上の撮影された第１及び第２の画像の表現を受信する。画像処理モジュール１２０は、記憶、通信、及び／又は表示のために受信した画像を処理するように構成され得る。例えば、画像処理モジュール１２０は、ユーザに実質的に三次元に見えるために立体視的に表示され得るマルチビュー表現を作成するために第１及び第２の撮影された画像の表現を受信するように構成され得る。
【００８５】
立体視画像を表示するために、画像のゼロ視差平面（ＺＤＰ）を定義することが望ましいことがある。ＺＤＰは、画像被写体が視聴者に実質的に２次元（２Ｄ）に見える表示された３Ｄ画像の平面、例えば、表示面８９０に又はその近くに実質的に見える画像被写体として説明され得る。ＺＤＰの被写体は、画像のそれぞれ右ビューと左ビューとの間で殆んど又は全く差がない（例えば、殆んど又は全く視差がない）ことがある。３Ｄ画像はまた、ＺＤＰの画像被写体ではない他の画像被写体、例えば、それぞれ右画像と左画像との間の差（視差）により表示面の前又は後ろに見える画像を備え得る。３Ｄ画像を閲覧するとき、被写体は、３Ｄ画像のＺＤＰから飛び出すように、又は引っ込むように見え得る。
【００８６】
画像処理モジュール１２０は、撮影された画像の識別されたＲＯＩに基づく３Ｄ画像のプレゼンテーションのためのＺＤＰを決定するように構成され得る。例えば、図１２に示すように、画像処理モジュール１２０（例えば、ＲＯＩ識別モジュール２２４）は、（１２０８において）ステップ１２０６において撮像モジュールから受信した第１及び第２の画像についてのＲＯＩを識別する。画像処理モジュール１２０は、自動的に（例えば、図５に関して上記で説明した視差モジュール２２２によって、又は本明細書で説明する他の技術によって決定された画像画素視差に基づいて）、又はＲＯＩを識別するユーザ入力の受信に基づいてＲＯＩを識別し得る。
【００８７】
画像処理モジュール１２０は、更に、（１２１０において）ＲＯＩの１つ以上の画素についての典型的な視差を決定する。例えば、画像処理モジュール１２０は、図２に示す視差モジュール２２２から受信した画素視差の１つ以上の指示に基づいて典型的な視差を決定し得る。
【００８８】
画像処理モジュール１２０は、更に、（１２１２において）３Ｄ表示器に好適な撮影された画像の１つ以上の表現を生成するために、（ステップ１２０において受信した）撮影された画像の受信した表現を処理する。例えば、画像処理モジュール１２０は、表示された画像が視聴者に実質的に３次元に見えることを可能にするように構築されたそれぞれ右ビュー又は左ビューを生成し得る。１つのそのような例によれば、画像処理モジュール１２０は、表示された画像のＺＤＰがステップ１２１０において決定された典型的な視差に基づく深さに構成されるように、撮影された画像の１つ以上の他の表現を生成し得る。１つ以上の３Ｄ表現を生成することは、表示された画像のＺＤＰがステップ１２１０において決定された典型的な視差に基づく深さに構成されるように、それぞれ右ビュー及び左ビュー（例えば、撮影された画像）をトリミングすること、整列すること、及び／又は場合によっては処理することを含み得る。
【００８９】
図１２に同じく示すように、画像処理モジュール１２０は、ユーザへの表示のために１つ以上の表示モジュール１３２に３Ｄプレゼンテーションの生成された表現を通信し得る。機器１０１がＶＴ機器１０１Ａである例では、画像処理モジュールは、表示のために別のＶＴ機器１０１Ｂに３Ｄプレゼンテーションを通信し得る。例えば、画像処理モジュール１２０は、３Ｄプレゼンテーションの表現全体を通信し得る。別の例によれば、画像処理モジュール１２０は、ストリーミング技術、例えば、ＨＴＴＰストリーミングを介して表現を通信し得る。機器１０１がＨＭＩ機器１０１Ｃである例では、画像処理モジュール１２０は、ＨＭＩ機器１０１Ｃにローカルである表示器制御モジュール１３２Ｃに３Ｄプレゼンテーションを通信し得る。例えば、画像処理モジュール１２０Ｃは、ＨＭＩ機器１０１Ｃの記憶構成要素（例えば、ランダムアクセスメモリ、ハードドライブ、フラッシュメモリ）中に３Ｄ表現を記憶し得る。表示器制御モジュール１３２Ｃは、次いで、記憶された３Ｄ表現にアクセスし、視聴者に３Ｄ表現を提示するように１つ以上の表示器を制御し得る。別の例によれば、画像処理モジュール１２０Ｃは、例えば、システムバス又は他の機器間通信機構を介して直接表示器制御モジュール１３２Ｃに３Ｄ表現を通信し得る。
【００９０】
図１２に同じく示すように、表示モジュール１３２は、（１２１４において）識別された典型的な視差の又はその近くのＺＤＰでの表示のために第１及び第２の画像の処理された３Ｄ表現を受信する。表示モジュール１３２は、１つ以上の立体視表示器を制御して、（１２１６において）ステップ１２１０において画像処理モジュール１２０によって決定されたＲＯＩの典型的な視差に基づくＺＤＰを有する３次元画像を提示する。
【００９１】
一例によれば、図１２において破線で示すように、ＶＴ機器及び／又はＨＭＩ機器１０１は、それぞれ第１及び第２の画像を断続的に撮影し、撮影された画像のＲＯＩを識別し、識別されたＲＯＩに基づくＺＤＰでの表示のために撮影された画像の１つ以上の３Ｄプレゼンテーションを生成するように構成され得る。従って、本開示の技術は、本開示の技術に一致する、被写体の画像が連続的に撮影され、１つ以上の識別されたＲＯＩに基づくＺＤＰでリアルタイム又はほぼリアルタイムでユーザに表示される、ＶＴ又はＨＭＩなどのフィードバックベースビデオアプリケーションのために使用され得る。
【００９２】
図１３は、本開示の技術に一致する、３Ｄ画像のプレゼンテーションのために第１及び第２の撮影された画像を処理する技術の一例を示す概念図である。図１３に示すように、画像処理モジュール１２０は、第１及び第２の撮影された画像（それぞれ、撮影された左画像１３０１、撮影された右画像１３０２）の表現を受信し得る。本明細書で説明するように、画像処理モジュール１２０は、３次元プレゼンテーションのために左及び右の撮影された画像の表現を処理し得る。例えば、画像処理モジュール１２０は、左画像１３０１と右画像１３０２とが撮影された画像中で識別されたＲＯＩに従って決定されたＺＤＰで提示され得るように、撮影された左画像１３０１と右画像１３０２との表現を処理し得る。例えば、画像処理モジュール１２０は、識別されたＲＯＩの１つ以上の被写体が表示されたときに視差が殆んど又は全くなく見えるように、互いに対して撮影された左画像１３０１と右画像１３０２との表現を整列、トリミング、又は場合によっては処理し得る。
【００９３】
例えば、図１３の例に示すように、画像処理モジュール１２０は、（例えば、被写体１３２４を備える）ＲＯＩ１３８０が表示面１３９０に又はその近くに見えるように、それぞれ左画像１３０１及び右画像１３０２を構成、整列、又は場合によっては配置し得る。例えば、被写体１３２４が表示面１３９０に又はその近くに見えるようにするために、それぞれ第１及び第２の画像は、視聴者によって視聴されたときに、被写体１３２４について第１の画像と第２の画像との間に差が殆んど又は全くなく見えるように互いに整列され得る。従って、被写体１３２４は、表示面１３２４に又はその近くに見え得る。同時に、被写体１３２２は表示面１３２４の前で見え得、被写体１３２６は表示面１３２５４の後ろに見え得る。
【００９４】
図１３に同じく示すように、画像処理モジュール１２０は、右画像１３０１及び左画像１３０２の各々をトリミングし得る。例えば、図１３に示すように、それぞれ右画像１３０１及び左画像１３０２が上記で説明したように整列されたとき、右画像と左画像との一部分は、画像が提示される表示面又は他の表示面１３９０の表示領域を超えて拡大し得る。従って、画像処理モジュール１２０は、表示器領域内の第１の画像１３０１及び第２の画像１３０２のそれぞれの一部分のみを提示するように、それらの一部分を削除する（トリミングする）ように動作し得る。図１３に示すように、トリミングされた右画像とトリミングされた左画像とを作成するために、左画像と右画像との各々の一部分がトリミングされている。
【００９５】
図１３に示す概念例は、撮影された画像のＲＯＩに基づいて決定されたＺＤＰで撮影された画像の３Ｄプレゼンテーションを生成するために画像処理モジュール１２０によって実行され得るクロッピング及び整列の一例にすぎない。図１３の例は、３Ｄプレゼンテーションを用意するために実行され得る処理の一例にすぎない。本開示の技術に一致する３Ｄプレゼンテーションを用意するために画像処理モジュール１２０によって他の処理ステップも実行され得る。
【００９６】
幾つかの例について説明した。これらの例のうちの１つ以上では、本明細書で説明した機能は、少なくとも部分的に特定のハードウェア構成要素又はプロセッサなどのハードウェアで実装され得る。より一般的には、それらの技術は、ハードウェア、プロセッサ、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体又は通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技術の実装のための命令、コード及び／又はデータ構造を取り出すために１つ以上のコンピュータあるいは１つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【００９７】
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気ストレージ機器、フラッシュメモリ、あるいは命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続も、コンピュータ可読媒体、即ち、コンピュータ可読伝送媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【００９８】
命令は、１つ以上の中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）などの１つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明した技術の実施に好適な他の構造のいずれかを指し得る。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内に与えられ得、若しくは複合コーデックに組み込まれ得る。また、本技術は、１つ以上の回路又は論理要素中に十分に実装され得る。
【００９９】
本開示の技術は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示する技術を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ以上のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
【０１００】
様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
【図１Ａ】
2014508430.tif 000003
【図１Ｂ】
2014508430.tif 000004
【図２】
2014508430.tif 000005
【図３】
2014508430.tif 000006
【図４】
2014508430.tif 000007
【図５】
2014508430.tif 000008
【図６】
2014508430.tif 000009
【図７】
2014508430.tif 000010
【図８】
2014508430.tif 000011
【図９】
2014508430.tif 000012
【図１０】
2014508430.tif 000013
【図１１】
2014508430.tif 000014
【図１２】
2014508430.tif 000015
【図１３】
2014508430.tif 000016
【手続補正書】
【提出日】平成25年11月11日(2013.11.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
立体視画像データを処理するための方法であって、
少なくとも２つの立体視的に撮影された画像を取得することと、
取得された前記少なくとも２つの画像の関心領域（ＲＯＩ）を識別することと、
取得された前記少なくとも２つの画像の間の画素視差を決定することと、ここで、取得された前記少なくとも２つの画像の間の前記画素視差は取得された前記少なくとも２つの画像の各取得された画像で表現される前記ＲＯＩと関連付けられ、前記画素視差を決定することは取得された前記少なくとも２つの画像の各取得された画像で表現される前記ＲＯＩの相対画素視差を表現するためのヒストグラムを作成することを備える、
取得された前記少なくとも２つの画像の１つ以上の画像被写体が実質的に２次元（２Ｄ）に見える取得された前記少なくとも２つの画像の３次元（３Ｄ）プレゼンテーションの平面を、取得された前記少なくとも２つの画像の前記３Ｄプレゼンテーションのためのゼロ視差平面（ＺＤＰ）として識別することと、
前記ＺＤＰを決定された前記画素視差に少なくとも部分的に基づいて調節し、前記ＲＯＩの少なくとも一部分を前記ＺＤＰに又はその近くに表示させることと、
を備える、方法。
【請求項２】
取得された前記少なくとも２つの画像の前記ＲＯＩを識別することが、
前記ＲＯＩを識別するユーザ入力を受信すること
を備える、請求項１に記載の方法。
【請求項３】
取得された前記少なくとも２つの画像の前記ＲＯＩを識別することが、
前記ＲＯＩを自動的に識別すること
を備える、請求項１に記載の方法。
【請求項４】
取得された前記少なくとも２つの画像の少なくとも１つの画素の視差を決定することと、
前記少なくとも１つの画素の前記決定された視差に基づいて前記ＲＯＩを自動的に識別することと、を更に備える、請求項３に記載の方法。
【請求項５】
前記ＲＯＩを自動的に識別することが、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、
からなるグループから選択される１つ以上の技術に基づいて自動的に識別することを備える、請求項３に記載の方法。
【請求項６】
前記画素視差を決定することが、
１）識別された前記ＲＯＩの少なくとも１つの画素の視差を決定することと、
２）識別された前記ＲＯＩの典型的な視差を決定することと、のうちの少なくとも１つを更に備える、請求項１に記載の方法。
【請求項７】
取得された前記少なくとも２つの画像の３ＤプレゼンテーションのためのＺＤＰを決定することが、識別された前記ＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記３Ｄプレゼンテーションを表示することを備える、請求項１に記載の方法。
【請求項８】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、
取得された前記少なくとも２つの画像の第２のＲＯＩを識別することと、
前記識別された第２のＲＯＩに基づいて前記第１のＺＤＰを調節して取得された前記少なくとも２つの画像の３Ｄプレゼンテーションのための第２のＺＤＰを形成し、前記第２のＲＯＩの少なくとも一部分を前記第２のＺＤＰに又はその近くに表示させることと、
を更に備える、請求項１に記載の方法。
【請求項９】
取得された前記少なくとも２つの画像の３Ｄプレゼンテーションのための前記ＺＤＰを識別することが、取得された前記少なくとも２つの画像の１つ以上を記整合させること及びトリミングすることの少なくとも1つを備える、請求項１に記載の方法。
【請求項１０】
立体視画像データを処理するための装置であって、
少なくとも１つの撮像装置に、少なくとも２つの画像を立体視的に撮影させることによって、少なくとも部分的に基づいて前記少なくとも２つの画像を取得するように構成された画像取得モジュールと、
取得された前記少なくとも２つの画像の関心領域（ＲＯＩ）を識別するように構成されたＲＯＩ識別モジュールと、
取得された前記少なくとも２つの画像の間の画素視差を決定するように構成された視差モジュールと、ここで、取得された前記少なくとも２つの画像の間の前記画素視差は取得された前記少なくとも２つの画像の各取得された画像で表現される前記ＲＯＩと関連付けられ、前記画素視差モジュールは取得された前記少なくとも２つの画像の各取得された画像で表現される前記ＲＯＩの相対画素視差を表現するためのヒストグラムを作成することに少なくとも部分的に基づいて前記画素視差を決定する、
取得された前記少なくとも２つの画像の１つ以上の画像被写体が実質的に２次元（２Ｄ）に見える取得された前記少なくとも２つの画像の３次元（３Ｄ）プレゼンテーションの平面を、取得された前記少なくとも２つの画像の前記３Ｄ表示のためのゼロ視差平面（ＺＤＰ）として識別するように構成されたＺＤＰ識別モジュールと、
前記ＺＤＰを決定された前記画素視差に少なくとも部分的に基づいて調節し、前記ＲＯＩの少なくとも一部分を前記ＺＤＰに又はその近くに表示させるように構成されたＺＤＰ調節モジュールと、
を備える、１つ以上のプロセッサを備える、装置。
【請求項１１】
前記ＲＯＩ識別モジュールが、ＲＯＩを識別するユーザ入力の受信に基づいて前記ＲＯＩを識別するように構成された、請求項１０に記載の装置。
【請求項１２】
前記ＲＯＩ識別モジュールが、前記ＲＯＩを自動的に識別するように構成された、請求項１０に記載の装置。
【請求項１３】
前記視差モジュールが更に取得された前記少なくとも２つの画像の少なくとも１つの画素の前記画素視差を決定するよう成され、
前記ＲＯＩ識別モジュールが更に、前記少なくとも１つの画素の決定された前記画素視差に基づいて、撮影された前記少なくとも２つの画像の前記ＲＯＩを識別するように構成された、請求項１２に記載の装置。
【請求項１４】
前記ＲＯＩ識別モジュールが、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて、撮影された前記少なくとも２つの画像のＲＯＩを識別するように構成された、請求項１２に記載の装置。
【請求項１５】
前記ＺＤＰ識別モジュールが、識別された前記ＲＯＩの典型的な視差を決定し、前記決定された典型的な視差に少なくとも部分的に基づいて前記ＺＤＰを識別するように更に構成された、請求項１０に記載の装置。
【請求項１６】
前記ＺＤＰ決定モジュールが、識別された前記ＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように取得された前記少なくとも２つの画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、請求項１０に記載の装置。
【請求項１７】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記ＲＯＩ決定モジュールが、取得された前記少なくとも２つの画像の第２のＲＯＩを識別するように更に構成され、前記ＺＤＰ調節モジュールが、前記第１のＺＤＰを調節して前記識別された第２のＲＯＩに基づいて、撮影された前記少なくとも２つの画像の３Ｄプレゼンテーションのための第２のＺＤＰを形成し、前記第２のＲＯＩの少なくとも一部分を前記第２のＺＤＰに又はその近くに表示させるように構成された、請求項１０に記載の装置。
【請求項１８】
前記ＺＤＰ識別モジュールが、撮影された前記少なくとも２つの画像を整合させること及びトリミングすることの少なくとも1つによって取得され、撮影された前記少なくとも２つの画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、請求項１０に記載の装置。
【請求項１９】
前記装置がワイヤレス機器である、請求項１０に記載の装置。
【請求項２０】
前記装置がビデオテレフォニー機器又は人間機械インターフェース機器である、請求項１０に記載の装置。
【請求項２１】
実行すると、１つ以上のプロセッサに、
少なくとも２つの立体視的に撮影された画像を受信することと、
受信された前記少なくとも２つの画像の関心領域（ＲＯＩ）を識別することと、
受信された前記少なくとも２つの画像の間の画素視差を決定することと、ここで、取得された少なくとも２つの画像の間の前記画素視差は取得された前記少なくとも２つの画像の各取得された画像で表現される前記ＲＯＩと関連付けられ、前記画素視差を決定することは受信された前記少なくとも２つの画像の各受信された画像で表現される前記ＲＯＩの相対画素視差を表現するためのヒストグラムを作成することを備える、
取得された前記少なくとも２つの画像の１つ以上の画像被写体が実質的に２次元（２Ｄ）に見える取得された前記少なくとも２つの画像の３次元（３Ｄ）プレゼンテーションの平面を、受信された前記少なくとも２つの画像の前記３Ｄプレゼンテーションのためのゼロ視差平面（ＺＤＰ）として識別することと、
前記ＺＤＰを決定された前記画素視差に少なくとも部分的に基づいて調節し、前記ＲＯＩの少なくとも一部分を前記ＺＤＰに又はその近くに表示させることと、
を行わせる命令を備える、コンピュータ可読記憶媒体。
【請求項２２】
前記命令が、前記コンピュータ機器に、
前記ＲＯＩを識別するユーザ入力の受信に基づいて、受信された前記少なくとも２つの画像の前記ＲＯＩを識別させる、請求項２１に記載のコンピュータ可読記憶媒体。
【請求項２３】
前記命令が、前記コンピュータ機器に、
受信された前記少なくとも２つの画像の前記ＲＯＩを自動的に識別させる、請求項２１に記載のコンピュータ可読記憶媒体。
【請求項２４】
前記命令が、前記コンピュータ機器に、
受信された前記少なくとも２つの画像の少なくとも１つの画素の視差を決定することと、
前記少なくとも１つの画素の決定された前記視差に基づいて前記ＲＯＩを自動的に識別することと、
を行わせる、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項２５】
前記命令が、前記コンピュータ機器に、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記ＲＯＩを自動的に識別させる、請求項２３に記載のコンピュータ可読記憶媒体。
【請求項２６】
前記命令が、前記コンピュータ機器に、更に、
識別された前記ＲＯＩの少なくとも１つの画素の視差を決定することと、
識別された前記ＲＯＩの典型的な視差を決定することと、
を行わせる、請求項２１に記載のコンピュータ可読記憶媒体。
【請求項２７】
前記命令が、前記コンピュータ機器に、更に、
識別された前記ＲＯＩの決定された前記典型的な視差に基づいて、撮影された前記少なくとも２つの画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定させる、請求項２６に記載のコンピュータ可読記憶媒体。
【請求項２８】
前記命令が、前記コンピュータ機器に、
識別された前記ＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記ＺＤＰを決定させる、請求項２６に記載のコンピュータ可読記憶媒体。
【請求項２９】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記命令が、前記コンピュータ機器に、更に、
受信された前記少なくとも２つの画像の第２のＲＯＩを識別することと、
識別された前記第２のＲＯＩに基づいて前記第１のＺＤＰを調節して、受信された前記少なくとも２つの画像の３Ｄプレゼンテーションのための第２のＺＤＰを形成し、前記第２のＲＯＩの少なくとも一部分を前記第２のＺＤＰに又はその近くに表示させることと、
を行わせる、請求項２１に記載のコンピュータ可読記憶媒体。
【請求項３０】
前記命令が、前記コンピュータ機器に、更に、
受信された前記少なくとも２つの画像を整合及びトリミングの少なくとも１つを行わせる、請求項２１に記載のコンピュータ可読記憶媒体。
【請求項３１】
立体視画像データを処理するための装置であって、
少なくとも２つの立体視的に撮影された画像を受信するための手段と、
受信された前記少なくとも２つの画像の関心領域（ＲＯＩ）を識別するための手段と、
受信された前記少なくとも２つの画像の間の画素視差を決定するための手段と、ここで、取得された少なくとも２つの画像の間の前記画素視差は取得された前記少なくとも２つの画像の各取得された画像で表現される前記ＲＯＩと関連付けられ、受信された前記少なくとも２つの画像の各受信された画像で表現される前記ＲＯＩの相対画素視差を表現するためのヒストグラムを生成するための手段を含む、
取得された前記少なくとも２つの画像の画像被写体が実質的に２次元（２Ｄ）に見える取得された前記少なくとも２つの画像の３次元（３Ｄ）プレゼンテーションの平面を、受信された前記少なくとも２つの画像の前記３Ｄプレゼンテーションのためのゼロ視差平面（ＺＤＰ）として識別するための手段と、
前記ＺＤＰを決定された前記画素視差に少なくとも部分的に基づいて調節し、前記ＲＯＩの少なくとも一部分を前記ＺＤＰに又はその近くに表示させるための手段と、を備える、装置。
【請求項３２】
受信された前記少なくとも２つの画像のＲＯＩを識別するための前記手段が、前記ＲＯＩを識別するユーザ入力の受信に基づいて前記ＲＯＩを識別する、請求項３１に記載の装置。
【請求項３３】
ＲＯＩを識別するための前記手段が、受信された前記少なくとも２つの画像の前記ＲＯＩを自動的に識別する、請求項３１に記載の装置。
【請求項３４】
前記少なくとも２つの画像の少なくとも１つの画素の視差を決定するための手段を更に備え、
受信された前記少なくとも２つの画像の前記ＲＯＩを識別するための前記手段が、前記少なくとも１つの画素の決定された前記視差に基づいて前記ＲＯＩを自動的に識別する、請求項３１に記載の装置。
【請求項３５】
受信された前記少なくとも２つの画像の前記ＲＯＩを識別するための前記手段が、
動き検出と、
オプティカルフローと、
顔認識と、
被写体認識と、
カラーヒストグラムと、
ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記ＲＯＩを自動的に識別する、請求項３１に記載の装置。
【請求項３６】
識別された前記ＲＯＩの少なくとも１つの画素の視差を決定するための手段と、
識別された前記ＲＯＩの前記少なくとも１つの画素の決定された前記視差に基づいて識別された前記ＲＯＩの典型的な視差を決定するための手段と
を更に備える、請求項３１に記載の装置。
【請求項３７】
前記ＺＤＰを決定するための前記手段が、識別された前記ＲＯＩの決定された前記典型的な視差に基づいて受信された前記少なくとも２つの画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定する、請求項３６に記載の装置。
【請求項３８】
前記ＺＤＰを決定するための前記手段が、識別された前記ＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記ＺＤＰを決定する、請求項３１に記載の装置。
【請求項３９】
前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記ＲＯＩを識別するための前記手段が、撮影された前記少なくとも２つの画像の第２のＲＯＩを更に識別し、
前記ＺＤＰを決定するための前記手段が、識別された前記第２のＲＯＩに基づいて前記第１のＺＤＰを調節して受信された前記少なくとも２つの画像の３Ｄプレゼンテーションのための第２のＺＤＰを形成する、請求項３１に記載の装置。
【請求項４０】
撮影された前記少なくとも２つの画像を整合及びトリミングの少なくとも一方をするための手段を更に備える、請求項３１に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］  立体視画像データを処理するための方法であって、少なくとも２つの立体視的に撮影された画像を取得することと、前記撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別することと、前記少なくとも２つの撮影された画像の識別された前記関心領域（ＲＯＩ）に基づいて前記少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定することと、を備える、方法。
［２］  前記撮影された少なくとも２つの画像の前記ＲＯＩを識別することが、前記ＲＯＩを識別するユーザ入力を受信することを備える、［１］に記載の方法。
［３］  前記撮影された少なくとも２つの画像の前記ＲＯＩを識別することが、前記ＲＯＩを自動的に識別することを*備える、［１］に記載の方法。
［４］  前記少なくとも２つの画像の少なくとも１つの画素の視差を決定することと、前記少なくとも１つの画素の前記決定された視差に基づいて前記ＲＯＩを自動的に識別することと、を更に備える、［３］に記載の方法。
［５］  前記ＲＯＩを自動的に識別することが、動き検出と、オプティカルフローと、顔認識と、被写体認識と、カラーヒストグラムと、ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて自動的に識別することを備える、［３］に記載の方法。
［６］  識別された前記ＲＯＩの少なくとも１つの画素の視差を決定することと、識別された前記ＲＯＩの典型的な視差を決定することと、を更に備える、［１］に記載の方法。
［７］  前記少なくとも２つの撮影された画像の識別された前記ＲＯＩに基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定することが、識別された前記ＲＯＩの決定された前記典型的な視差に基づいて前記ＺＤＰを決定することを備える、［６］に記載の方法。
［８］  前記少なくとも２つの撮影された画像の３ＤプレゼンテーションのためのＺＤＰを決定することが、前記識別されたＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記３Ｄプレゼンテーションを表示することを備える、［１］に記載の方法。
［９］  前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記撮影された少なくとも２つの画像の第２のＲＯＩを識別することと、識別された前記第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定することと、を更に備える、［１］に記載の方法。
［１０］  前記少なくとも２つの撮影された画像の識別された前記ＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定することが、前記撮影された少なくとも２つの画像を整合させること及び／又はトリミングすることを備える、［１］に記載の方法。
［１１］  立体視画像データを処理するための装置であって、少なくとも２つの画像を立体視的に撮影するように少なくとも１つの撮像装置を制御するように構成された撮像モジュールと、前記少なくとも２つの撮影された画像の関心領域（ＲＯＩ）を識別するように構成されたＲＯＩ識別モジュールと、識別された前記ＲＯＩに基づいて前記撮影された少なくとも２つの画像の前記３次元表示のためのゼロ視差平面（ＺＤＰ）を決定するように構成されたＺＤＰ決定モジュールと、を備える、１つ以上のプロセッサを備える、装置。
［１２］  前記ＲＯＩ識別モジュールが、ＲＯＩを識別するユーザ入力の受信に基づいて前記ＲＯＩを識別するように構成された、［１１］に記載の装置。
［１３］  前記ＲＯＩ識別モジュールが、前記ＲＯＩを自動的に識別するように構成された、［１１］に記載の装置。
［１４］  前記少なくとも２つの画像の少なくとも１つの画素の視差を決定するように構成された視差モジュールを更に備え、前記ＲＯＩ識別モジュールが、前記少なくとも１つの画素の決定された前記視差に基づいて前記少なくとも２つの撮影された画像のＲＯＩを識別するように構成された、［１３］に記載の装置。
［１５］  前記ＲＯＩ識別モジュールが、動き検出と、オプティカルフローと、顔認識と、被写体認識と、カラーヒストグラムと、ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記少なくとも２つの撮影された画像のＲＯＩを識別するように構成された、［１３］に記載の装置。
［１６］  前記識別されたＲＯＩの少なくとも１つの画素の視差を決定するように構成された視差モジュールを更に備え、前記ＺＤＰ決定モジュールが、前記識別されたＲＯＩの典型的な視差を決定するように更に構成された、［１１］に記載の装置。
［１７］  前記ＺＤＰ決定モジュールが、前記識別されたＲＯＩの前記決定された典型的な視差に基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、［１６］に記載の装置。
［１８］  前記ＺＤＰ決定モジュールが、前記識別されたＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、［１１］に記載の装置。
［１９］  前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記ＲＯＩ決定モジュールが、前記撮影された少なくとも２つの画像の第２のＲＯＩを識別するように構成され、前記ＺＤＰ決定モジュールが、前記識別された第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定するように構成された、［１１］に記載の装置。
［２０］  前記ＺＤＰ決定モジュールが、前記撮影された少なくとも２つの画像を整合させること及び／又はトリミングすることによって前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための前記ＺＤＰを決定するように構成された、［１１］に記載の装置。
［２１］  前記装置がワイヤレス機器である、［１１］に記載の装置。
［２２］  前記装置がビデオテレフォニー機器又は人間機械インターフェース機器である、［１１］に記載の装置。
［２３］  実行すると、１つ以上のプロセッサに、少なくとも２つの立体視的に撮影された画像を受信することと、前記撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別することと、前記少なくとも２つの撮影された画像の前記識別された関心領域（ＲＯＩ）に基づいて前記少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定することと、を行わせる命令を備える、コンピュータ可読記憶媒体。
［２４］  前記命令が、前記コンピュータ機器に、前記ＲＯＩを識別するユーザ入力の受信に基づいて前記撮影された少なくとも２つの画像の前記ＲＯＩを識別させる、［２３］に記載のコンピュータ可読記憶媒体。
［２５］  前記命令が、前記コンピュータ機器に、前記撮影された少なくとも２つの画像の前記ＲＯＩを自動的に識別させる、［２３］に記載のコンピュータ可読記憶媒体。
［２６］  前記命令が、前記コンピュータ機器に、前記少なくとも２つの画像の少なくとも１つの画素の視差を決定することと、前記少なくとも１つの画素の前記決定された視差に基づいて前記ＲＯＩを自動的に識別することと、を行わせる、［２５］に記載のコンピュータ可読記憶媒体。
［２７］  前記命令が、前記コンピュータ機器に、動き検出と、オプティカルフローと、顔認識と、被写体認識と、カラーヒストグラムと、ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記ＲＯＩを自動的に識別させる、［２５］に記載のコンピュータ可読記憶媒体。
［２８］  前記命令が、前記コンピュータ機器に、更に、前記識別されたＲＯＩの少なくとも１つの画素の視差を決定することと、前記識別されたＲＯＩの典型的な視差を決定することと、を行わせる、［２３］に記載のコンピュータ可読記憶媒体。
［２９］  前記命令が、前記コンピュータ機器に、更に、前記識別されたＲＯＩの前記決定された典型的な視差に基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定させる、［２８］に記載のコンピュータ可読記憶媒体。
［３０］  前記命令が、前記コンピュータ機器に、前記識別されたＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記ＺＤＰを決定させる、［２８］に記載のコンピュータ可読記憶媒体。
［３１］  前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、前記命令が、前記コンピュータ機器に、更に、前記撮影された少なくとも２つの画像の第２のＲＯＩを識別することと、前記識別された第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定することと、を行わせる、［２３］に記載のコンピュータ可読記憶媒体。
［３２］  前記命令が、前記コンピュータ機器に、更に、前記撮影された少なくとも２つの画像を整合及び／又はトリミングさせる、［２３］に記載のコンピュータ可読記憶媒体。
［３３］  立体視画像データを処理するための装置であって、少なくとも２つの立体視的に撮影された画像を受信するための手段と、前記撮影された少なくとも２つの画像の関心領域（ＲＯＩ）を識別するための手段と、前記少なくとも２つの撮影された画像の前記ＲＯＩに基づいて前記少なくとも２つの撮影された画像の３次元（３Ｄ）プレゼンテーションのためのゼロ視差平面（ＺＤＰ）を決定するための手段と、前記決定されたＺＤＰでの前記３Ｄプレゼンテーションの前記３Ｄプレゼンテーションを表示するための手段と、を備える、装置。
［３４］  前記撮影された少なくとも２つの画像のＲＯＩを識別するための前記手段が、前記ＲＯＩを識別するユーザ入力の受信に基づいて前記ＲＯＩを識別する、［３３］に記載の装置。
［３５］  ＲＯＩを識別するための前記手段が、前記撮影された少なくとも２つの画像の前記ＲＯＩを自動的に識別する、［３３］に記載の装置。
［３６］  前記少なくとも２つの画像の少なくとも１つの画素の視差を決定するための手段を更に備え、前記撮影された少なくとも２つの画像のＲＯＩを識別するための前記手段が、前記少なくとも１つの画素の前記決定された視差に基づいて前記ＲＯＩを自動的に識別する、［３３］に記載の装置。
［３７］  前記撮影された少なくとも２つの画像のＲＯＩを識別するための前記手段が、動き検出と、オプティカルフローと、顔認識と、被写体認識と、カラーヒストグラムと、ぼけ度と、からなるグループから選択される１つ以上の技術に基づいて前記ＲＯＩを自動的に識別する、［３３］に記載の装置。
［３８］  前記識別されたＲＯＩの少なくとも１つの画素の視差を決定するための手段と、識別された前記ＲＯＩの前記少なくとも１つの画素の前記決定された視差に基づいて識別された前記ＲＯＩの典型的な視差を決定するための手段とを更に備える、［３３］に記載の装置。
［３９］  ＺＤＰを決定するための前記手段が、識別された前記ＲＯＩの前記決定された典型的な視差に基づいて前記少なくとも２つの撮影された画像の前記３Ｄプレゼンテーションのための前記ＺＤＰを決定する、［３８］に記載の装置。
［４０］  ＺＤＰを決定するための前記手段が、識別された前記ＲＯＩのうちの少なくとも１つの被写体が表示面に又はその近くに見えるように前記ＺＤＰを決定する、［３３］に記載の装置。
［４１］  前記ＲＯＩが第１のＲＯＩであり、前記ＺＤＰが第１のＺＤＰであり、ＲＯＩを識別するための前記手段が、前記撮影された少なくとも２つの画像の第２のＲＯＩを更に識別し、ＺＤＰを決定するための前記手段が、識別された前記第２のＲＯＩに基づいて前記少なくとも２つの撮影された画像の３Ｄプレゼンテーションのための第２のＺＤＰを決定する、［３３］に記載の装置。
［４２］  前記撮影された少なくとも２つの画像を整合及び／又はトリミングするための手段を更に備える、［３３］に記載の装置。
【国際調査報告】
2014508430.tif 000017
2014508430.tif 000018
2014508430.tif 000019