(57)【要約】【課題】情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供する。【解決手段】立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御する制御部を備える、情報処理装置。【選択図】図１
2018008269.tif 000002
【特許請求の範囲】
【請求項１】
立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御する制御部を備える、情報処理装置。
【請求項２】
前記制御部は、前記表示に係る視差を抑制すべき度合いを示す視差抑制量に基づいて前記表示を制御する、請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、検波値に基づいて、前記視差抑制量を制御する、請求項２に記載の情報処理装置。
【請求項４】
前記検波値は、前記レンズの合焦度合が高い程、大きい値であり、
前記制御部は、前記検波値が大きい程、前記視差抑制量が小さくなるように制御する、請求項３に記載の情報処理装置。
【請求項５】
前記制御部は、前記検波値に基づいて行われるオートフォーカス制御における前記レンズの移動開始時刻に基づいて、前記視差抑制量を制御する、請求項３に記載の情報処理装置。
【請求項６】
前記制御部は、前記検波値に基づいて行われるオートフォーカス制御における前記レンズの移動速度に基づいて、前記視差抑制量を制御する、請求項３に記載の情報処理装置。
【請求項７】
前記制御部は、前記左眼用撮像画像信号から得られる左眼用撮像画像と、前記右眼用撮像画像信号から得られる右眼用撮像画像とのマッチングに基づいて、前記表示に係る視差が抑制されるように、前記左眼用撮像画像と前記右眼用撮像画像に視差調整処理を施すことで、前記表示を制御する、請求項３に記載の情報処理装置。
【請求項８】
前記制御部は、前記マッチングにより、前記左眼用撮像画像、及び前記右眼用撮像画像における各位置の視差を示す視差画像信号を生成し、前記視差画像信号と前記視差抑制量に基づいて各位置の視差を抑制させるための視差調整画像信号を生成し、前記視差調整画像信号に基づいて、前記視差調整処理を施す請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、前記マッチングにより、前記左眼用撮像画像と前記右眼用撮像画像との間の画像全体のシフト量を特定し、前記シフト量と前記視差抑制量に基づいて視差調整量を特定し、前記視差調整量に基づいて、前記視差調整処理を施す請求項８に記載の情報処理装置。
【請求項１０】
前記制御部は、前記マッチングにおける差分絶対値の合計により得られる視差検出情報に応じて、前記視差調整処理に基づく表示制御を行うか、他の表示制御を行うかを選択する、請求項７に記載の情報処理装置。
【請求項１１】
前記制御部は、前記視差抑制量が所定の閾値より大きい場合に、前記表示における左眼用表示画像と右眼用表示画像が同一の画像となるように、前記表示を制御する、請求項３に記載の情報処理装置。
【請求項１２】
前記制御部は、前記視差抑制量に応じて、前記左眼用撮像画像信号から得られる左眼用撮像画像と、前記右眼用撮像画像信号から得られる右眼用撮像画像とが合成された画像を表示させる、請求項３に記載の情報処理装置。
【請求項１３】
前記制御部は、前記視差抑制量に応じて、前記左眼用撮像画像信号から得られる左眼用撮像画像、または前記右眼用撮像画像信号から得られる右眼用撮像画像のうちいずれか一方の画素レベルを低下させた画像を表示させる、請求項３に記載の情報処理装置。
【請求項１４】
前記制御部は、前記視差抑制量に応じて、ぼかし処理を施す、請求項３に記載の情報処理装置。
【請求項１５】
前記情報処理装置は、前記左眼用撮像画像信号、及び前記右眼用撮像画像信号を蓄積する蓄積部をさらに備え、
前記制御部は、前記視差抑制量に基づいて、前記蓄積部に蓄積された前記左眼用撮像画像信号、及び前記右眼用撮像画像信号から得られる画像を表示させる、請求項３に記載の情報処理装置。
【請求項１６】
前記制御部は、前記蓄積部に蓄積された、前記検波値に基づいて行われるオートフォーカス制御における前記レンズの移動開始直前の撮像に基づく前記左眼用撮像画像信号と前記右眼用撮像画像信号と、から得られる画像を表示させる、請求項１５に記載の情報処理装置。
【請求項１７】
前記制御部は、ユーザの入力に応じて前記表示を制御する、請求項１に記載の情報処理装置。
【請求項１８】
立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御することを含む、情報処理方法。
【請求項１９】
コンピュータに、
立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御する機能を実現させるための、プログラム。
【請求項２０】
立体視用の撮像装置、
立体視用の表示装置、及び
前記撮像装置から取得したレンズの合焦状態を示す検波値と、前記撮像装置から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて前記表示装置の表示を制御する制御部、
を備える、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。
【背景技術】
【０００２】
自動的に被写体へフォーカスを合わせるオートフォーカス（以下、ＡＦと呼ぶ場合もある）機能を有する撮像装置が用いられている。例えば特許文献１には、２つの撮像光学系を有する立体視用の撮像装置において、オートフォーカス機能を実現するための技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３‐１３０６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ユーザが撮像により得られた画像を観察している際に、撮像装置のオートフォーカスが動作すると、フォーカスの合っていない画像がユーザに提示されてしまう。例えば、立体視用の撮像装置により取得される画像が立体視用の表示装置に表示されている場合、フォーカスの合っていない画像を立体視することはユーザにとって困難であり、ユーザに不快感を与える恐れがある。【０００５】
そこで、オートフォーカスの動作中にユーザが受ける不快感を低減させることが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム、及び情報処理システムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御する制御部を備える、情報処理装置が提供される。【０００７】
また、本開示によれば、立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御することを含む、情報処理方法が提供される。【０００８】
また、本開示によれば、コンピュータに、立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御する機能を実現させるための、プログラムが提供される。【０００９】
また、本開示によれば、立体視用の撮像装置、立体視用の表示装置、及び前記撮像装置から取得したレンズの合焦状態を示す検波値と、前記撮像装置から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて前記表示装置の表示を制御する制御部、を備える、情報処理システムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、オートフォーカスの動作中にユーザが受ける不快感を低減させることが可能である。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係る情報処理装置１の構成例を示すブロック図である。
【図２】視差抑制量制御部２０による視差抑制量の制御例を説明するための説明図である
【図３】同実施形態に係る表示制御部３０の構成例を示すブロック図である
【図４】同実施形態に係る２Ｄ処理部３２の第１の構成例を示す説明図である。
【図５】同実施形態に係る選択部３２２の出力画像信号から得られる出力画像を説明するための説明図である。
【図６】同実施形態に係る２Ｄ処理部３２の第２の構成例を示す説明図である。
【図７】同実施形態に係る２Ｄ処理部３２の第３の構成例を示す説明図である。
【図８】同実施形態に係る３Ｄ処理部３４の第１の構成例を示す説明図である。
【図９】同実施形態に係る視差調整部３４５Ｌ，３４５Ｒによる視差調整処理を説明するための概念図である。
【図１０】同実施形態に係る３Ｄ処理部３４の第２の構成例を示す説明図である。
【図１１】同実施形態に係る３Ｄ処理部３４の第３の構成例を示す説明図である。
【図１２】同実施形態に係る３Ｄ処理部３４の第４の構成例を示す説明図である。
【図１３】同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
【図１４】変形例に係る欠落画素の補間処理を説明するための説明図である。
【図１５】同実施形態に係る３Ｄ処理部３４による欠落の補間処理を示すフローチャートである。
【図１６】ハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
＜＜１．構成例＞＞
＜１−１．全体構成＞
＜１−２．表示制御部＞
＜＜２．動作例＞＞
＜＜３．変形例＞＞
＜３−１．変形例１＞
＜３−２．変形例２＞
＜３−３．変形例３＞
＜３−４．変形例４＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞
【００１５】
＜＜１．構成例＞＞
＜１−１．全体構成＞
まず、図１を参照しながら、本開示の一実施形態の構成例を説明する。図１は、本開示の一実施形態に係る情報処理装置１の構成例を示すブロック図である。本実施形態に係る情報処理装置１は、撮像に基づいて、立体視可能な画像を表示する情報処理装置である。
【００１６】
図１に示すように、本実施形態に係る情報処理装置１は、撮像部１０、制御部１５、及び表示部４０を備える。
【００１７】
（撮像部）
撮像部１０は、立体視用の撮像部（撮像装置）であり、撮像に基づいて２つの画像信号（左眼用撮像画像信号、及び右眼用撮像画像信号）を取得する。図１に示すように、本実施形態に係る撮像部１０は、レンズ１０１Ｌ，１０１Ｒと、イメージセンサ１０２Ｌ，１０２Ｒと、検波部１０３と、ＡＦ制御部１０４と、レンズ駆動部１０５と、現像処理部１０６と、を備える。
【００１８】
レンズ１０１Ｌ，１０１Ｒは、レンズ駆動部１０５により移動（駆動）させられ、撮像部１０の合焦調整に用いられるフォーカスレンズである。レンズ１０１Ｌ，１０１Ｒは、被写体までの焦点を調整し、焦点があった位置からの光を集光して、それぞれイメージセンサ１０２Ｌ，１０２Ｒに供給する。
【００１９】
イメージセンサ１０２Ｌ，１０２Ｒは、それぞれ左右に並び、複数の画素を有する撮像素子である。イメージセンサ１０２Ｌ，１０２Ｒは、入射光を光電変換し、画素毎の画素信号を出力する。なお、イメージセンサ１０２Ｌは、左眼用の撮像を行い、イメージセンサ１０２Ｒは、右眼用の撮像を行う。
【００２０】
検波部１０３は、イメージセンサ１０２Ｌ，１０２Ｒのうち、少なくともいずれか一方から取得した画素信号に基づいてレンズの合焦状態を示すＡＦ検波値（以下、単に検波値と呼ぶ場合もある）を、取得する。検波値の種類、及び検波部１０３による検波値の取得方法は、撮像部１０に係るオートフォーカスの方式により異なるが、本実施形態に係る検波部１０３はレンズの合焦度合が高い程、大きい値を検波値として取得する。
【００２１】
撮像部１０に係るＡＦの方式は、例えば、撮像により得られる画像のコントラストが高くなるように合焦調整を行うコントラストＡＦ方式であってもよい。この場合、例えば検波部１０３は、水平に隣接する画素レベル（画素値）の差分絶対値を画素毎に特定し、各イメージセンサにおいて特定された差分絶対値のうちの最大値を当該イメージセンサに係る検波値として取得してもよい。
【００２２】
ＡＦ制御部１０４は、検波部１０３により得られた検波値に基づいて、オートフォーカス（ＡＦ）に係る制御を行う。ＡＦ制御部１０４は、レンズ１０１Ｌ，１０１Ｒを移動させる方向（例えば前、または後）と、移動量とをレンズ移動パラメータとして特定し、レンズ移動パラメータを含むレンズ駆動信号をレンズ駆動部１０５に出力する。なお、ＡＦ制御部１０４は、レンズ駆動部１０５の構成に応じて、レンズ１０１Ｌ，１０１Ｒのそれぞれに係るレンズ移動パラメータを独立に特定してもよいし、レンズ１０１Ｌ，１０１Ｒの双方に共通するレンズ移動パラメータを特定してもよい。また、ＡＦ制御部１０４は、オートフォーカス制御に係る情報（例えば、レンズの移動開始時刻、レンズの移動速度等）を制御部１５に提供する。
【００２３】
レンズ駆動部１０５は、レンズ駆動信号に基づいて、レンズ１０１Ｌ，１０１Ｒを移動させるための部位であり、例えばモータにより実現される。レンズ駆動部１０５は、レンズ１０１Ｌ，１０１Ｒをそれぞれ独立に移動させてもよいし、双方に共通したレンズ移動パラメータに基づいてレンズ１０１Ｌ，１０１Ｒを移動させてもよい。
【００２４】
現像処理部１０６は、イメージセンサ１０２Ｌ，１０２Ｒから取得した画素信号に基づいて、現像処理を行い、イメージセンサ１０２Ｌ，１０２Ｒのそれぞれに係る画像信号（左眼用撮像画像信号、及び右眼用撮像画像信号）を取得する。現像処理部１０６による現像処理は、例えばデモザイク処理を含んでもよい。また、現像処理部１０６は、黒レベル補正処理や、ガンマ補正処理、ホワイトバランス補正処理等の処理をさらに行ってもよい。現像処理部１０６は、イメージセンサ１０２Ｌに係る左眼用撮像画像信号と、イメージセンサ１０２Ｒに係る右眼用撮像画像信号と、を後述する制御部１５へ出力する。
【００２５】
（制御部）
制御部１５は、情報処理装置１の各構成を制御する。また、制御部１５は、図１に示すように、視差抑制量制御部２０、表示制御部３０としても機能する。
【００２６】
視差抑制量制御部２０は、検波部１０３により取得される検波値に基づいて、表示に係る視差を抑制すべき度合いを示す視差抑制量を制御する。視差抑制量制御部２０は、検波値から直接的に視差抑制量を制御してもよいし、検波値に基づいて行われるオートフォーカス制御に係る情報に基づいて、視差抑制量を制御してもよい。図２は、視差抑制量制御部２０による視差抑制量の制御例を説明するための説明図である。
【００２７】
図２のグラフＧ１に示すように、視差抑制量制御部２０はオートフォーカス制御におけるレンズの移動開始時刻（ＡＦ動作開始時刻）に基づいて、視差抑制量を制御してもよい。係る場合、視差抑制量制御部２０は、図２のグラフＧ１に示すように、レンズの移動開始時刻から所定時間の間は視差抑制量が上昇し、その後減少するように、視差抑制量を制御してもよい。係る構成によれば、ＡＦ動作中において、後述する表示制御部３０により、ユーザが受ける不快感をより低減させる表示制御処理が緩やかに行われ得る。
【００２８】
また、図２のグラフＧ２に示すように、視差抑制量制御部２０は、検波部１０３により取得された検波値に基づいて、視差抑制量を制御してもよい。係る場合、視差抑制量制御部２０は、図２のグラフＧ２に示すように、検波値が大きい程、視差抑制量が小さくなるように制御してもよい。係る構成によれば、検波値が小さい場合には、フォーカスがあっておらず（合焦度が低く）、ＡＦ動作中であるため、視差抑制量を大きくすることで、後述する表示制御部３０の表示制御により、ユーザが受ける不快感をより低減させることが可能である。また、検波値が大きい場合には、フォーカスがあっており（合焦度が高く）、ＡＦ動作が収束している状態であるため、視差抑制量を小さくすることで、快適に立体視可能な画像が表示されやすい。
【００２９】
また、図２のグラフＧ３に示すように、視差抑制量制御部２０はオートフォーカス制御におけるレンズの移動速度（所定時間におけるレンズの移動量）に基づいて、視差抑制量を制御してもよい。係る場合、視差抑制量制御部２０は、図２のグラフＧ３に示すように、レンズの移動速度が大きい程、視差抑制量が大きくなるように制御してもよい。係る構成によれば、レンズの移動速度が大きい場合には、最適なレンズ位置が探られている状態であるため、視差抑制量を大きくすることで、後述する表示制御部３０の表示制御により、ユーザが受ける不快感をより低減させることが可能である。また、レンズの移動速度が小さい場合には、フォーカスがあっている状態であるため、視差抑制量を小さくすることで、快適に立体視可能な画像が表示されやすい。
【００３０】
なお、視差抑制量制御部２０による視差抑制量の制御は上述した例に限定されない。例えば、視差抑制量制御部２０は、左眼用撮像画像信号、及び右眼用撮像画像信号に基づいて視差抑制量を制御してもよい。例えば、視差抑制量制御部２０は、左眼用撮像画像信号、及び右眼用撮像画像信号から得られる画像に対するエッジ検出処理に基づき、急峻なエッジを含む被写体が撮像されていると判定された場合に、視差抑制量が大きくなるように制御してもよい。また、視差抑制量制御部２０は、撮像画像のコントラストが低い場合に視差抑制量が小さくなるように制御してもよい。また、視差抑制量制御部２０は、上述した視差抑制量の制御処理のうちいくつかを組み合わせて、視差抑制量を制御してもよい。また、視差抑制量は、不図示の記憶部に術式、撮像装置、またはユーザ等に応じた値が予め記憶されていてもよく、視差抑制量制御部２０は、術式、撮像装置、またはユーザ等に応じて、記憶部から適切な値を選択することで視差抑制量を制御してもよい。また、撮像部１０の使用時にユーザが視差抑制量を入力（設定）し、視差抑制量制御部２０は、ユーザの入力に基づいて、視差抑制量を制御してもよい。
【００３１】
表示制御部３０は、撮像部１０から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、検波値に基づいて制御される視差抑制量と、に基づいて表示部４０による表示を制御する。表示制御部３０による表示制御の詳細については、図３〜１２を参照して後述するが、表示制御部３０は、撮像部１０におけるオートフォーカスの動作中にユーザが受ける不快感を低減させるように表示を制御する。
【００３２】
（表示部）
表示部４０は、立体視用の表示部（表示装置）であり、表示制御部３０に制御されて、左眼用表示画像と、右眼用表示画像と、を表示する。
【００３３】
＜１−２．表示制御部＞
以上、本実施形態に係る情報処理装置１の全体構成について説明した。続いて、図３〜１２を参照して、表示制御部３０について、詳細に説明を行う。図３は、本実施形態に係る表示制御部３０の構成例を示すブロック図である。
【００３４】
図３に示すように、表示制御部３０は、２Ｄ処理部３２、３Ｄ処理部３４、及び出力信号選択部３６を有する。２Ｄ処理部３２、及び３Ｄ処理部３４は撮像部１０から得られる左眼用撮像画像信号、及び右眼用撮像画像信号と視差抑制量とに基づいて、画像信号（出力画像信号）を出力する。また、出力信号選択部３６は、２Ｄ処理部３２、及び３Ｄ処理部３４のいずれから出力された出力画像信号に基づいて、表示制御を行うかを選択する。すなわち、出力信号選択部３６の選択に応じて、２Ｄ処理部３２による出力画像信号により表示が制御される場合と、３Ｄ処理部３４による出力画像信号により表示が制御される場合がある。以下、２Ｄ処理部３２、３Ｄ処理部３４、及び出力信号選択部３６のそれぞれの機能についてより詳細に説明する。
【００３５】
２Ｄ処理部３２は、撮像部１０から得られる左眼用撮像画像信号、及び右眼用撮像画像信号と視差抑制量とに基づいて、例えば両眼視差を有しない（立体視することが出来ない）２つの画像信号を出力し得る。以下、２Ｄ処理部３２のいくつかの構成例について図４〜７を参照して説明する。
【００３６】
（２Ｄ処理部の第１の構成例）
図４は、図３に示す２Ｄ処理部３２の第１の構成例を示す説明図である。図４に示す２Ｄ処理部３２は、選択部３２２により構成される。選択部３２２には、イメージセンサ１０２Ｌに係る左眼用撮像画像信号と、イメージセンサ１０２Ｒに係る右眼用撮像画像信号と、視差抑制量が入力される。また、選択部３２２は、上記の入力に基づいて、左眼用出力画像信号と右眼用出力画像信号を出力する。
【００３７】
例えば、選択部３２２は、左眼用出力画像信号として、左眼用撮像画像信号を出力し、右眼用出力画像信号として、左眼用撮像画像信号、または右眼用撮像画像信号のいずれか一方を、視差抑制量に基づいて選択して出力してもよい。例えば、選択部３２２は、視差抑制量が所定の閾値より大きい場合に右眼用出力画像信号として、左眼用撮像画像信号を出力し、所定の閾値以下の場合に右眼用出力画像信号として、右眼用撮像画像信号を出力してもよい。なお、所定の閾値は例えば０であってもよい。
【００３８】
図５は、選択部３２２の出力画像信号から得られる出力画像を説明するための説明図である。図５に示す状態Ｃ１は、視差抑制量が所定の閾値以下である場合の出力画像を示している。図５に示す状態Ｃ１において、左眼用出力画像は、左眼用撮像画像信号から得られる左眼用撮像画像であり、右眼用出力画像は、右眼用撮像画像信号から得られる右眼用撮像画像である。
【００３９】
一方、図５に示す状態Ｃ２は、視差抑制量が所定の閾値より大きい場合の出力画像を示している。図５に示す状態Ｃ２において、左眼用出力画像、及び右眼用出力画像はいずれも左眼用撮像画像信号から得られる左眼用撮像画像である。すなわち、表示制御部３０は、視差抑制量が所定の閾値より大きい場合に、表示における左眼用表示画像と右眼用表示画像が同一の画像となるように、表示を制御し得る。係る構成により、ユーザには視差のない画像が提示されるため、フォーカスの合っていない画像の立体視によりユーザが不快感を受けることが抑制される。
【００４０】
なお、上記では選択部３２２が、右眼用出力画像信号に係る選択を行う例を説明したが、上記に限定されない。すなわち、２Ｄ処理部３２は、２Ｄ処理部３２における左眼用撮像画像信号及び右眼用撮像画像信号と、左眼用出力画像信号及び右眼用出力画像信号と、の関係が逆になるように構成されてもよい。
【００４１】
例えば、選択部３２２は左眼用出力画像信号に係る選択を行ってもよい。係る例において、選択部３２２は、視差抑制量が所定の閾値より大きい場合に、左眼用出力画像信号、及び右眼用出力画像信号として右眼用撮像画像信号を出力してもよい。なお、選択部３２２が右眼用出力画像信号に係る選択を行うか、左眼用出力画像信号に係る選択を行うかは、ユーザにより決定されてもよいし、ユーザの利き目の情報に基づいて決定されてもよい。ユーザの利き目の情報に基づいて決定される場合、選択部３２２は、利き目ではない目に対応する出力画像信号に係る選択を行ってもよい。
【００４２】
（２Ｄ処理部の第２の構成例）
図６は、図３に示す２Ｄ処理部３２の第２の構成例を示す説明図である。図６に示す２Ｄ処理部３２は、ゲイン調整部３２４Ｌ，３２４Ｒ、及び加算部３２６により構成される。図６に示す２Ｄ処理部３２は、左眼用出力画像信号として、左眼用撮像画像信号を出力する。また、図６に示す２Ｄ処理部３２は、右眼用出力画像信号として、視差抑制量に応じて、左眼用撮像画像信号と、右眼用撮像画像信号とを合成して出力する。
【００４３】
ゲイン調整部３２４Ｌ，３２４Ｒは、それぞれ左眼用撮像画像信号、右眼用撮像画像信号に視差抑制量に応じたゲインを乗じて出力する。例えばゲイン調整部３２４Ｒに係るゲインをαとすると、ゲイン調整部３２４Ｌに係るゲインは１−αであってもよい。また、上記αの値は視差抑制量が０の場合に１であり、視差抑制量が大きい程、０に近づくように設定されてもよい。なお、αが０の場合、表示における左眼用表示画像と右眼用表示画像が同一の画像となり得る。
【００４４】
加算部３２６は、ゲイン調整部３２４Ｌ，３２４Ｒの出力を加算（合成）し、右眼用出力画像信号として出力する。係る構成により、右眼用出力画像信号は、左眼用撮像画像信号と右眼用撮像画像信号とが合成（所謂アルファブレンド）された信号となる。すなわち、表示制御部３０は、視差抑制量に応じて、左眼用撮像画像信号から得られる左眼用撮像画像と、右眼用撮像画像信号から得られる右眼用撮像画像とが合成された画像を表示させ得る。係る構成により、視差抑制量に応じて、表示される画像が徐々に切り替わるため、ユーザは違和感を受け難い。
【００４５】
なお、図４を参照して説明した２Ｄ処理部３２と同様に、図６に示す２Ｄ処理部３２は、左眼用撮像画像信号及び右眼用撮像画像信号と、左眼用出力画像信号及び右眼用出力画像信号と、の関係が逆になるように構成されてもよい。
【００４６】
（２Ｄ処理部の第３の構成例）
図７は、図３に示す２Ｄ処理部３２の第３の構成例を示す説明図である。図７に示す２Ｄ処理部３２は、ゲイン調整部３２８により構成される。図７に示す２Ｄ処理部３２は、右眼用出力画像信号として、右眼用撮像画像信号を出力する。また、図７に示す２Ｄ処理部３２の、左眼用撮像画像信号に視差抑制量に応じたゲインを乗じ、左眼用出力画像信号として出力する。
【００４７】
ゲイン調整部３２８は、左眼用撮像画像信号に視差抑制量に応じたゲインを乗じ、左眼用出力画像信号として出力する。ゲイン調整部３２８に係るゲインをαとすると、αの値は視差抑制量が０の場合に１であり、視差抑制量が大きい程、０に近づくように設定されてもよい。すなわち、表示制御部３０は、視差抑制量に応じて、左眼用撮像画像信号から得られる左眼用撮像画像の画素レベルを低下させた画像を表示させ得る。なお、αが０の場合、ユーザは右眼用表示画像のみを知覚し得る。
【００４８】
なお、図４を参照して説明した２Ｄ処理部３２と同様に、図７に示す２Ｄ処理部３２は、左眼用撮像画像信号及び右眼用撮像画像信号と、左眼用出力画像信号及び右眼用出力画像信号と、の関係が逆になるように構成されてもよい。すなわち、表示制御部３０は、視差抑制量に応じて、右眼用撮像画像信号から得られる右眼用撮像画像の画素レベルを低下させた画像を表示させ得る。また、表示制御部３０は、視差抑制量に応じて、左眼用撮像画像、及び右眼用撮像画像の両方の画素レベルを低下させた画像を表示させてもよい。
【００４９】
以上、２Ｄ処理部３２の幾つかの構成例について説明した。続いて、図３に示す３Ｄ処理部３４について説明する。３Ｄ処理部３４は、立体視表示におけるユーザの不快感を低減するために、例えば、左眼用撮像画像、及び右眼用撮像画像の両方に対して、処理を行う。また、３Ｄ処理部３４は、撮像部１０から得られる撮像画像信号と視差抑制量とに基づいて、例えば両眼視差を有する（立体視可能な）２つの画像信号を出力し得る。以下、３Ｄ処理部３４のいくつかの構成例について図８〜１２を参照して説明する。
【００５０】
（３Ｄ処理部の第１の構成例）
図８は、図３に示す３Ｄ処理部３４の第１の構成例を示す説明図である。図８に示す３Ｄ処理部３４は、視差画像生成部３４１、視差調整画像生成部３４３、及び視差調整部３４５Ｌ，３４５Ｒにより構成される。図８に示す３Ｄ処理部３４を有する表示制御部３０は、左眼用撮像画像信号から得られる左眼用撮像画像と、右眼用撮像画像信号から得られる右眼用撮像画像とのマッチングに基づいて、表示に係る視差が抑制されるように、左眼用撮像画像と右眼用撮像画像に視差調整処理を施すことで、表示を制御し得る。
【００５１】
視差画像生成部３４１は、左眼用撮像画像信号から得られる左眼用撮像画像と右眼用撮像画像信号から得られる右眼用撮像画像とのマッチングにより、各画像における各位置の視差を示す視差画像信号を生成する。
【００５２】
視差画像生成部３４１は、例えばブロックマッチングにより、左眼用撮像画像と右眼用撮像画像の対応する画素のずれ量（視差）を特定し、各位置の視差をマップした視差画像に係る視差画像信号を生成してもよい。また、視差画像生成部３４１は、ブロックマッチングにおいて、複数の画素により構成されるブロック単位の差分絶対値を合計した結果を、画像全体でさらに合計した値を、視差検出情報として出力してもよい。視差検出情報は、３Ｄ処理部における、視差検出、または視差抑制の精度を示す指標であり、出力信号選択部３６による選択に用いられる。なお、上記のようにして特定された視差検出情報が大きい場合、左右の画像間にオクルージョン領域が存在する等の理由により、マッチングミスが発生している可能性が高く、視差検出の精度が低い恐れがある。また、視差検出の精度が低い場合、後述する視差抑制（視差調整）の精度も低下し得る。
【００５３】
視差調整画像生成部３４３は、視差画像信号と視差抑制量とに基づいて、各位置の視差を抑制させるための視差調整画像に係る視差調整画像信号を生成する。例えば、位置（ｘ，ｙ）における視差画像の視差量をｄ（ｘ，ｙ）とすると、視差調整画像の出力ｃ（ｘ，ｙ）は以下の数式（１）で表される。
【００５４】
ｃ（ｘ，ｙ）＝（ｄ（ｘ，ｙ）−ｄ（ｘ，ｙ）／ａ）／２    （１）
【００５５】
なお、上記の数式（１）において、ａは視差抑制量に応じた１以上の定数である。例えば、視差抑制量が大きい程、ａの値が大きくなるように設定されてもよい。
【００５６】
視差調整部３４５Ｌ，３４５Ｒは、視差調整画像信号に基づいて、視差を抑制するような視差調整処理を左眼用撮像画像信号、右眼用撮像画像信号に施し、それぞれ、左眼用出力画像信号、右眼用出力画像信号を出力する。
【００５７】
図９は、視差調整部３４５Ｌ，３４５Ｒによる視差調整処理を説明するための概念図である。視差調整部３４５Ｌ，３４５Ｒは、視差調整画像における出力ｃ（ｘ，ｙ）に基づき、各画素位置を水平方向（ｘ軸方向）にシフトさせる。
【００５８】
例えば、図９に示す左眼用撮像画像ＮＬにおける画素ｌ（ｘ，ｙ）は、ｘ軸方向に‐ｃ（ｘ，ｙ）だけシフトさせられる。すなわち、図９に示すように、左眼用出力画像信号における左画像ＤＬの画素ｌ'（ｘ‐ｃ（ｘ，ｙ），ｙ）の値が、左眼用撮像画像ＮＬにおける画素ｌ（ｘ，ｙ）の値となる。同様に、図９に示すように、右眼用出力画像信号における左画像ＤＲの画素ｒ'（ｘ＋ｃ（ｘ，ｙ），ｙ）の値が、右眼用撮像画像ＮＲにおける画素ｒ（ｘ，ｙ）の値となる。なお、図９において、左眼用撮像画像ＮＬにおける画素ｌ（ｘ，ｙ）と、右眼用撮像画像ＮＲにおける画素ｒ（ｘ，ｙ）は、視差画像生成部３４１によりマッチングした（対応付けられた）画素である。
【００５９】
上記のような視差調整処理により、各画素における視差が抑制され、立体視に係るユーザへの負荷が軽減され得る。
【００６０】
（３Ｄ処理部の第２の構成例）
図１０は、図３に示す３Ｄ処理部３４の第２の構成例を示す説明図である。図１０に示す３Ｄ処理部３４は、マッチング部３４７、及び画像シフト調整部３４９Ｌ，３４９Ｒにより構成される。
【００６１】
図１０に示す３Ｄ処理部３４を有する表示制御部３０は、左眼用撮像画像と右眼用撮像画像とのマッチングに基づいて、表示に係る視差が抑制されるように、左眼用撮像画像と右眼用撮像画像に視差調整処理を施すことで、表示を制御し得る。図８を参照して説明した３Ｄ処理部３４が画像における各位置（画素ごと）のマッチングに基づいて視差調整処理を施すのに対し、図１０に示す３Ｄ処理部３４は、画像全体のマッチングに基づいて視差調整処理を施す。係る構成によれば、演算量が低減される。
【００６２】
マッチング部３４７は、画像全体のマッチングにより、左眼用撮像画像と右眼用撮像画像との間の画像全体のシフト量を特定する。例えば、マッチング部３４７は、左眼用撮像画像と右眼用撮像画像とを水平方向にシフトさせながら差分絶対値を算出し、差分絶対値を画像全体で合計した値が最も小さくなるシフト量を、左眼用撮像画像と右眼用撮像画像との間の画像全体のシフト量として特定してもよい。また、マッチング部３４７は、上記のような差分絶対値を画像全体で合計した値を、視差検出情報として、出力してもよい。
【００６３】
画像シフト調整部３４９Ｌ，３４９Ｒは、マッチング部３４７により特定されたシフト量と、視差抑制量に基づいて、左眼用撮像画像信号、及び右眼用撮像画像信号に視差調整処理を施す。例えば、画像シフト調整部３４９Ｌ，３４９Ｒは、シフト量と視差調整量に基づいて、視差調整量を特定し、特定された視差調整量だけ、左眼用撮像画像と右眼用撮像画像の画像全体をシフトさせることで、視差調整処理を施してもよい。例えばシフト量をｄとすると、視差調整量ｃは、以下の数式（２）で表される。
【００６４】
ｃ＝（ｄ−ｄ／ａ）／２    （２）
【００６５】
なお、上記の数式（２）において、ａは視差抑制量に応じた１以上の定数であり、視差抑制量が大きい程、ａの値が大きくなるように設定されてもよい。
【００６６】
（３Ｄ処理部の第３の構成例）
図１１は、図３に示す３Ｄ処理部３４の第３の構成例を示す説明図である。図１１に示す３Ｄ処理部３４は、ぼかし部３５１Ｌ，３５１Ｒにより構成される。
【００６７】
ぼかし部３５１Ｌ，３５１Ｒは、視差抑制量に応じて、それぞれ左眼用撮像画像信号、右眼用撮像画像信号にぼかし処理を施し、それぞれ左眼用出力画像信号、右眼用出力画像信号を出力する。
【００６８】
例えば、ぼかし部３５１Ｌ，３５１Ｒは、視差抑制量が大きい程、ぼけ感が大きくなるように、ぼかし処理を施してもよい。ぼかし部３５１Ｌ，３５１Ｒは、例えばガウスぼかしフィルタにより構成されてもよく、係る場合、視差抑制量が大きい程、ガウス関数における分散の値が大きく設定されてもよい。
【００６９】
ＡＦ動作中には、レンズの移動により、画像のぼけ感が大きく変化することで、ユーザに不快感を与えやすい。上記構成によれば、ＡＦ動作中に、視差抑制量に応じて、表示される画像がぼかされる（ぼけ感が付加される）ことで、ぼけ感の変化が大きくならないように表示制御が行われ、ユーザが受ける不快感を低減させることが可能である。
【００７０】
（３Ｄ処理部の第４の構成例）
図１２は、図３に示す３Ｄ処理部３４の第４の構成例を示す説明図である。図１２に示す３Ｄ処理部３４は、蓄積部３５３Ｌ，３５３Ｒ、及び出力選択部３５５Ｌ，３５５Ｒにより構成される。
【００７１】
蓄積部３５３Ｌ，３５３Ｒは、それぞれ左眼用撮像画像信号、及び右眼用撮像画像信号を蓄積する。蓄積部３５３Ｌ，３５３Ｒは、例えば所定時間分の左眼用撮像画像信号、及び右眼用撮像画像信号を蓄積してもよい。
【００７２】
出力選択部３５５Ｌ，３５５Ｒは、視差抑制量に基づいて、それぞれ左眼用出力画像信号、及び右眼用出力画像信号を出力する。出力選択部３５５Ｌ，３５５Ｒは、例えば視差抑制量が所定の閾値よりも大きい場合に、蓄積部３５３Ｌ，３５３Ｒに蓄積された左眼用撮像画像信号、右眼用撮像画像信号を左眼用出力画像信号、右眼用出力画像信号として出力してもよい。また、出力選択部３５５Ｌ，３５５Ｒは、例えば視差抑制量が所定の閾値以下である場合に、現在の左眼用撮像画像信号、右眼用撮像画像信号を左眼用出力画像信号、右眼用出力画像信号として出力してもよい。
【００７３】
出力選択部３５５Ｌ，３５５Ｒが蓄積部３５３Ｌ，３５３Ｒに蓄積された左眼用撮像画像信号、右眼用撮像画像信号を左眼用出力画像信号、右眼用出力画像信号として出力させる場合、当該左眼用撮像画像信号、及び当該右眼用撮像画像信号は、ＡＦ制御部１０４によるＡＦ制御におけるレンズの移動開始直前の撮像に基づく撮像画像信号であってもよい。
【００７４】
係る構成によれば、ＡＦ動作中のレンズの移動によりぼけ感が大きく変化する画像が表示されず、レンズ移動開始直前の撮像に基づく左眼用撮像画像信号、及び右眼用撮像画像信号から得られる画像が表示されるため、ユーザが受ける不快感を低減させることが可能である。
【００７５】
（出力信号選択部）
出力信号選択部３６は、上述した２Ｄ処理部３２、及び３Ｄ処理部３４のいずれから出力された出力画像信号に基づいて、表示制御を行うかを選択する。出力信号選択部３６は、例えば不図示の操作部を介して入力されるユーザの入力に応じて、選択を行って表示を制御してもよい。
【００７６】
また、図８、及び図１０を参照して説明したように、３Ｄ処理部３４が視差検出情報を出力し、また視差調整処理を行う構成である場合、出力信号選択部３６は、視差検出情報に応じて上記選択を行って表示を制御してもよい。例えば、視差検出情報が大きい場合、視差検出、または視差抑制の精度が低い恐れがあるため、出力信号選択部３６は、２Ｄ処理部３２の出力画像信号を選択し、表示制御部３０は２Ｄ処理部３２の処理に基づいて、表示制御を行ってもよい。一方、視差検出情報が小さい場合、出力信号選択部３６は、３Ｄ処理部３４の出力画像信号を選択し、表示制御部３０は、３Ｄ処理部３４の視差調整処理に基づく表示制御を行ってもよい。
【００７７】
なお、出力信号選択部３６による選択の結果、オートフォーカスの動作中に通常の画像表示と異なる制御が行われる場合、表示制御部３０は、立体視における不快感を低減させるための表示制御処理が行われていることを示す通知を表示させてもよい。例えば、選択された左眼用出力画像信号、及び右眼用出力画像信号が、撮像部１０から入力された左眼用撮像画像信号、及び右眼用撮像画像信号と同一ではない場合に、通常の画像表示と異なる制御が行われていると判定されてもよい。
【００７８】
＜＜２．動作例＞＞
以上、本実施形態の構成例について説明した。続いて、本実施形態の動作例について、図１３を参照して説明する。図１３は、本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
【００７９】
図１３に示すように、まず撮像部１０による撮像（Ｓ１０２）と現像処理（Ｓ１０４）が行われ撮像画像信号が撮像部１０から制御部１５の表示制御部３０に提供される。また、撮像部１０により検波（Ｓ１０６）が行われて検波値が取得され、検波値に基いてＡＦ制御（Ｓ１０８）が行われる。
【００８０】
続いて、制御部１５の視差抑制量制御部２０が、検波値、またはＡＦ制御に係る情報に基づいて、視差抑制量を制御する（Ｓ１１０）。
【００８１】
続いて、表示制御部３０の２Ｄ処理部３２の処理により、出力画像信号が出力され（Ｓ１１２）、さらに表示制御部３０の３Ｄ処理部３４の処理により、出力画像信号が出力される（Ｓ１１４）。続いて、出力信号選択部３６が出力画像信号を選択（Ｓ１１６）、表示制御部３０は、選択された出力画像信号に基づいて表示部４０の表示を制御する（Ｓ１１８）。
【００８２】
なお、上述したステップＳ１０２〜Ｓ１１８の処理は一例であって、本実施形態は係る例に限定されない。例えば、上述した各ステップの処理は、上述した順序と異なる順序で処理されても、並列的に処理されてもよい。また、上述したステップＳ１０２〜Ｓ１１８は繰り返されてもよい。また、予め視差抑制量が設定、記憶されている場合には、ステップＳ１１０の処理が行われず、記憶された視差抑制量がステップＳ１１０より後の処理で用いられてもよい。また、ステップＳ１１２、及びステップＳ１１４の処理のうち、いずれか一方の処理のみが行われてもよい。
【００８３】
＜＜３．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
【００８４】
＜３−１．変形例１＞
上記実施形態では、表示制御部３０が２Ｄ処理部３２、３Ｄ処理部３４、及び出力信号選択部３６を有し、出力信号選択部３６が２Ｄ処理部３２または３Ｄ処理部３４のいずれかの出力画像信号を選択する例を説明したが、本技術は係る例に限定されない。例えば、表示制御部３０は、上述した２Ｄ処理部３２の機能、または３Ｄ処理部３４の機能のうち、いずれかのみを有してもよい。また、表示制御部３０は上述したいくつかの２Ｄ処理部３２の構成例のうち複数の機能、または、いくつかの３Ｄ処理部３４の構成例のうち複数の機能、を同時に有してもよい。
【００８５】
＜３−２．変形例２＞
上記実施形態では、図８、９を参照して説明した３Ｄ処理部３４の第１の構成例において視差調整部３４５Ｌ，３４５Ｒが各画素位置を水平方向にシフトさせる例を説明した。係る例において、視差画像生成部３４１によるブロックマッチングにおける視差の誤検出や、視差調整部３４５Ｌ，３４５Ｒによる画素のシフトにおけるシフト先の画素の重複により、画素の欠落が発生する場合がある。以下では、変形例として、画素が欠落した場合に、３Ｄ処理部３４が周辺の画素から欠落した画素（欠落画素）を補間する例を説明する。
【００８６】
図１４は、欠落画素の補間処理を説明するための説明図である。図１４において、現在注目している画素Ｐ１は欠落画素である。図１４に示すように、画素Ｐ１の周辺には、画素Ｐ１に隣接する欠落でない画素が存在する。そこで、３Ｄ処理部３４は、例えば画素Ｐ１の周辺に存在する画素のうち欠落でない画素の画素レベルの平均値を、画素Ｐ１の画素レベルとする補間処理を行ってもよい。図１４に示す例において、補間処理により得られた画素Ｐ１の画素レベルは、ｐは、次の数式（３）で求められる。
【００８７】
ｐ＝（ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ）／６    （３）
【００８８】
図１５は、３Ｄ処理部３４による欠落の補間処理を示すフローチャートである。まず、後述する画素カウントの値と、注目している画素（注目画素）の位置がリセット（初期化）れる（Ｓ２０２）。続いて、注目画素の位置が更新される（Ｓ２０４）。
【００８９】
更新後の注目画素が欠落画素ではない場合（Ｓ２０６においてＮＯ）、処理はステップＳ２０４に戻る。一方、更新後の注目画素が欠落画素ではある場合（Ｓ２０６においてＹＥＳ）、図１４を参照して説明した欠落画素の補間処理が行われる（Ｓ２０８）。
【００９０】
続いて、補間処理が行われた画素がカウントされる（Ｓ２１０）。さらに、全画素の欠落画素判定が行われたか否かが判定される（Ｓ２１２）。全画素の欠落画素判定が行われるまで、ステップＳ２０４〜Ｓ２１２の処理は繰り返される。
【００９１】
全画素の欠落画素判定が行われた場合（Ｓ２１２においてＹＥＳ）、画素カウントが参照されて、画素カウントが０であるか否かが判定される（Ｓ２１４）。画素カウントが０でない場合（Ｓ２１４においてＮＯ）、すなわち上述のステップＳ２０４〜Ｓ２１２の処理において補間処理が１度でも行われた場合には、欠落画素が残っている可能性があるため、処理はステップＳ２０２に戻る。
【００９２】
一方、画素カウントが０である場合（Ｓ２１４においてＹＥＳ）、すなわち上述のステップＳ２０４〜Ｓ２１２の処理において補間処理が１度も行われた場合には、欠落画素が存在しないため、処理は終了する。
【００９３】
以上、説明したように、本変形例によれば、欠落した画素を補間することが可能である。
【００９４】
＜３−３．変形例３＞
上記実施形態では、撮像部１０が右眼用、及び左眼用のレンズとイメージセンサとを有する例を説明したが、本技術は係る例に限定されない。
【００９５】
例えば、立体視用の撮像部が有するイメージセンサの数は１つであってもよい。係る場合、例えば、撮像部は当該１つのイメージセンサを左側の画素群、及び右側の画素群に分割し、左側の画素群、及び右側の画素群に基づいた２の画像信号を出力することで、立体視用の撮像を行うことが可能である。
【００９６】
また、撮像部１０が１の対物レンズと、１のリレー光学系を有し、リレー光学系によって伝送された光束が、絞りによって２つに分離されてイメージセンサに入射することで、立体視用の撮像が行われてもよい。また、撮像部１０が２の対物レンズと、１のリレー光学系を有し、視差を有する２つの光学像がリレー光学系によって伝送されて、イメージセンサに入射することで、立体視用の撮像が行われてもよい。
【００９７】
＜３−４．変形例４＞
上記実施形態では、撮像部１０に係るＡＦの方式がコントラストＡＦ方式である例を説明したが、本技術は係る例に限定されない。例えば、撮像部１０に係るＡＦの方式は、レンズから入る光を２分割し、像のズレからピントのズレ具合を評価し、当該評価に基づいて合焦調整を行う位相差ＡＦ方式であってもよい。係る場合に撮像部１０が備えるイメージセンサ１０２Ｌ，１０２Ｒは、例えばレンズから入る光を２分割して検出する位相差画素を有する、像面位相差撮像素子であってもよい。また、検波部１０３は、２分割された像の間隔を計測し、当該間隔に基づいて検波値を取得してもよい。
【００９８】
＜＜４．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図１６を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１６は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１６に示す情報処理装置９００は、例えば、図１に示した情報処理装置１を実現し得る。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【００９９】
図１６に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１００】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図１に示す制御部１５を形成し得る。
【０１０１】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１０２】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１０３】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図１に示す表示部４０を形成し得る。
【０１０４】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
【０１０５】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１０６】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１０７】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０１０８】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１０９】
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
【０１１０】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１１１】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
【０１１２】
＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、オートフォーカスの動作中にユーザが受ける不快感を低減させることが可能である。
【０１１３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１４】
例えば、上記実施形態では、情報処理装置１が、撮像部１０、制御部１５、及び表示部４０を備える例を説明したが、本技術は係る例に限定されない。例えば、上述した撮像部１０、制御部１５、及び表示部４０の機能を、それぞれ異なる装置が有してもよい。例えば、上述した撮像部１０の機能を有する撮像装置、制御部１５の機能を有する情報処理装置、及び表示部４０の機能を有する表示装置が、ネットワーク等により接続された情報処理システムも本開示の技術的範囲に含まれ得る。
【０１１５】
また、本技術は、例えば医療用の３Ｄ内視鏡や３Ｄ顕微鏡に適用されてもよい。医療用の３Ｄ内視鏡や３Ｄ顕微鏡が用いられる現場では、撮像により得られる画像をユーザが撮像と同時に観察することが多く、また、観察対象（被写体）との距離が変動しやすくＡＦの動作が頻繁に行われやすいため、本技術は特に有効となり得る。もちろん、本技術の適用対象は上記に限定されず、本技術は、立体視用の撮像に係る多様な装置に適用されてよい。
【０１１６】
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御する制御部を備える、情報処理装置。
（２）
前記制御部は、前記表示に係る視差を抑制すべき度合いを示す視差抑制量に基づいて前記表示を制御する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、検波値に基づいて、前記視差抑制量を制御する、前記（２）に記載の情報処理装置。
（４）
前記検波値は、前記レンズの合焦度合が高い程、大きい値であり、
前記制御部は、前記検波値が大きい程、前記視差抑制量が小さくなるように制御する、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記検波値に基づいて行われるオートフォーカス制御における前記レンズの移動開始時刻に基づいて、前記視差抑制量を制御する、前記（３）に記載の情報処理装置。
（６）
前記制御部は、前記検波値に基づいて行われるオートフォーカス制御における前記レンズの移動速度に基づいて、前記視差抑制量を制御する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記制御部は、前記左眼用撮像画像信号から得られる左眼用撮像画像と、前記右眼用撮像画像信号から得られる右眼用撮像画像とのマッチングに基づいて、前記表示に係る視差が抑制されるように、前記左眼用撮像画像と前記右眼用撮像画像に視差調整処理を施すことで、前記表示を制御する、前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記制御部は、前記マッチングにより、前記左眼用撮像画像、及び前記右眼用撮像画像における各位置の視差を示す視差画像信号を生成し、前記視差画像信号と前記視差抑制量に基づいて各位置の視差を抑制させるための視差調整画像信号を生成し、前記視差調整画像信号に基づいて、前記視差調整処理を施す前記（７）に記載の情報処理装置。
（９）
前記制御部は、前記マッチングにより、前記左眼用撮像画像と前記右眼用撮像画像との間の画像全体のシフト量を特定し、前記シフト量と前記視差抑制量に基づいて視差調整量を特定し、前記視差調整量に基づいて、前記視差調整処理を施す前記（８）に記載の情報処理装置。
（１０）
前記制御部は、前記マッチングにおける差分絶対値の合計により得られる視差検出情報に応じて、前記視差調整処理に基づく表示制御を行うか、他の表示制御を行うかを選択する、前記（７）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記制御部は、前記視差抑制量が所定の閾値より大きい場合に、前記表示における左眼用表示画像と右眼用表示画像が同一の画像となるように、前記表示を制御する、前記（３）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記制御部は、前記視差抑制量に応じて、前記左眼用撮像画像信号から得られる左眼用撮像画像と、前記右眼用撮像画像信号から得られる右眼用撮像画像とが合成された画像を表示させる、前記（３）〜（１０）のいずれか一項に記載の情報処理装置。
（１３）
前記制御部は、前記視差抑制量に応じて、前記左眼用撮像画像信号から得られる左眼用撮像画像、または前記右眼用撮像画像信号から得られる右眼用撮像画像のうちいずれか一方の画素レベルを低下させた画像を表示させる、前記（３）〜（１０）のいずれか一項に記載の情報処理装置。
（１４）
前記制御部は、前記視差抑制量に応じて、ぼかし処理を施す、前記（３）に記載の情報処理装置。
（１５）
前記情報処理装置は、前記左眼用撮像画像信号、及び前記右眼用撮像画像信号を蓄積する蓄積部をさらに備え、
前記制御部は、前記視差抑制量に基づいて、前記蓄積部に蓄積された前記左眼用撮像画像信号、及び前記右眼用撮像画像信号から得られる画像を表示させる、前記（３）に記載の情報処理装置。
（１６）
前記制御部は、前記蓄積部に蓄積された、前記検波値に基づいて行われるオートフォーカス制御における前記レンズの移動開始直前の撮像に基づく前記左眼用撮像画像信号と前記右眼用撮像画像信号と、から得られる画像を表示させる、前記（１５）に記載の情報処理装置。
（１７）
前記制御部は、ユーザの入力に応じて前記表示を制御する、前記（１）に記載の情報処理装置。
（１８）
立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御することを含む、情報処理方法。
（１９）
コンピュータに、
立体視用の撮像部から取得したレンズの合焦状態を示す検波値と、前記撮像部から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて表示を制御する機能を実現させるための、プログラム。
（２０）
立体視用の撮像装置、
立体視用の表示装置、及び
前記撮像装置から取得したレンズの合焦状態を示す検波値と、前記撮像装置から取得した左眼用撮像画像信号、及び右眼用撮像画像信号と、に基づいて前記表示装置の表示を制御する制御部、
を備える、情報処理システム。
【符号の説明】
【０１１９】
１  情報処理装置
１０  撮像部
１５  制御部
２０  視差抑制量制御部
３０  表示制御部
３２  ２Ｄ処理部
３４  ３Ｄ処理部
３６  出力信号選択部
４０  表示部
１０１Ｌ、１０１Ｒ  レンズ
１０２Ｌ、１０２Ｒ  イメージセンサ
１０３  検波部
１０４  ＡＦ制御部
１０５  レンズ駆動部
１０６  現像処理部
３２２  選択部
３２４Ｌ、３２４Ｒ  ゲイン調整部
３２６  加算部
３２８  ゲイン調整部
３４１  視差画像生成部
３４３  視差調整画像生成部
３４５Ｌ、３４５Ｒ  視差調整部
３４７  マッチング部
３４９Ｌ、３４９Ｒ  画像シフト調整部
３５１Ｌ、３５１Ｒ  ぼかし部
３５３Ｌ、３５３Ｒ  蓄積部
３５５Ｌ、３５５Ｒ  出力選択部
【図１】
2018008269.tif 000003
【図２】
2018008269.tif 000004
【図３】
2018008269.tif 000005
【図４】
2018008269.tif 000006
【図５】
2018008269.tif 000007
【図６】
2018008269.tif 000008
【図７】
2018008269.tif 000009
【図８】
2018008269.tif 000010
【図９】
2018008269.tif 000011
【図１０】
2018008269.tif 000012
【図１１】
2018008269.tif 000013
【図１２】
2018008269.tif 000014
【図１３】
2018008269.tif 000015
【図１４】
2018008269.tif 000016
【図１５】
2018008269.tif 000017
【図１６】
2018008269.tif 000018
【国際調査報告】
2018008269.tif 000019
2018008269.tif 000020
2018008269.tif 000021
2018008269.tif 000022