(57)【要約】      （修正有）【課題】多視点映像に含まれる撮影画像間で被写体領域におけるボケが異なる場合でも、視る者に違和感を与えない自由視点映像を生成する。【解決手段】多視点映像を取得する多視点映像取得手段と、自由視点映像における仮想注視点を設定する仮想注視点設定手段と、自由視点映像における仮想視点を設定する仮想視点設定手段と、設定された仮想注視点におけるボケ量を導出するボケ量導出手段と、導出したボケ量と許容されるボケ量とに基づいて、ズーム可能な焦点距離の限界値である限界焦点距離を導出する限界焦点距離導出手段と、導出した限界焦点距離の範囲内で焦点距離を決定し、決定した焦点距離、設定された仮想注視点及び設定された仮想視点を少なくとも含むカメラワークを設定するカメラワーク設定手段と、取得した多視点映像を用いて、設定されたカメラワークに従った自由視点映像を生成する自由視点映像生成手段と、を備えたことを特徴とする。【選択図】図７
2018106496.tif 000002
【特許請求の範囲】
【請求項１】
異なる視点から撮影された多視点映像を用いて、当該多視点映像が撮影された視点とは異なる視点からの映像である自由視点映像を生成する画像処理装置であって、
前記多視点映像を取得する多視点映像取得手段と、
前記自由視点映像における仮想注視点を設定する仮想注視点設定手段と、
前記自由視点映像における仮想視点を設定する仮想視点設定手段と、
前記多視点映像について、設定された前記仮想注視点におけるボケ量を導出するボケ量導出手段と、
導出したボケ量と前記自由視点映像において許容されるボケ量とに基づいて、設定された前記仮想視点においてズーム可能な焦点距離の限界値である限界焦点距離を導出する限界焦点距離導出手段と、
導出した前記限界焦点距離の範囲内で焦点距離を決定し、当該決定した焦点距離、前記仮想注視点設定手段で設定された前記仮想注視点及び前記仮想視点設定手段で設定された前記仮想視点を少なくとも含むカメラワークを設定するカメラワーク設定手段と、
取得した前記多視点映像を用いて、設定された前記カメラワークに従った前記自由視点映像を生成する自由視点映像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記限界焦点距離導出手段は、設定された前記仮想視点の経路上の注目する位置からみた画像の生成に用いる参照画像を前記多視点映像の中から決定して、下記の式を用いて前記限界焦点距離を求め、
【数１】
2018106496.tif 000014
上記式において、f´は限界焦点距離、bは前記ボケ量導出手段で導出したボケ量、dは前記参照画像を撮影したカメラから前記仮想注視点までの距離、fは前記参照画像撮影時の焦点距離、b´は前記許容されるボケ量、d´は前記仮想視点の位置から前記仮想注視点までの距離、Rcは前記カメラの解像度、Rdは前記自由視点映像の出力解像度、
【数２】
2018106496.tif 000015
は前記参照画像の光軸Lと前記注目する位置の光軸Cが交差する角度のコサインを示す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記仮想注視点設定手段で設定される仮想注視点は、生成される前記自由視点映像において変移せず、
前記仮想視点設定手段は、変移しない前記仮想注視点を囲むように変移する仮想視点を前記限界距離に基づいて設定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
設定される前記仮想視点の軌跡は、円もしくは楕円、又はそれらの一部であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記カメラワーク設定手段は、前記限界焦点距離導出手段で導出された前記限界焦点距離を超えない範囲でその値が滑らかに変移するように、前記仮想視点の各位置における焦点距離を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
異なる視点から撮影された多視点映像を用いて、当該多視点映像が撮影された視点とは異なる視点からの映像である自由視点映像を生成する画像処理装置であって、
前記多視点映像を取得する多視点映像取得手段と、
前記自由視点映像における仮想注視点を設定する仮想注視点設定手段と、 
前記多視点映像について、設定された前記仮想注視点におけるボケ量を導出するボケ量導出手段と、
導出したボケ量と前記自由視点映像において許容されるボケ量とに基づいて、前記自由視点映像の仮想視点における限界距離を導出する限界距離導出手段と、
導出した前記限界距離の内側に入り込まないようにその経路が設定された仮想視点、及び前記仮想注視点設定手段で設定された前記仮想注視点を少なくとも含むカメラワークを設定するカメラワーク設定手段と、
取得した前記多視点映像を用いて、設定された前記カメラワークに従った前記自由視点映像を生成する自由視点映像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項７】
前記限界距離導出手段は、設定された前記仮想注視点からの各方位のうち注目する方位からみた画像の生成に用いる参照画像を前記多視点映像の中から決定して、下記の式を用いて前記限界焦点距離を求め、
【数３】
2018106496.tif 000016
上記式において、d´は前記限界距離、f´は限界焦点距離、bは前記ボケ量導出手段で導出したボケ量、dは前記参照画像を撮影したカメラから前記仮想注視点までの距離、fは前記参照画像撮影時の焦点距離、b´は前記許容されるボケ量、Rcは前記カメラの解像度、Rdは前記自由視点映像の出力解像度、
【数４】
2018106496.tif 000017
は前記参照画像の光軸Lと前記注目する位置の光軸Cが交差する角度のコサインを示す、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記カメラワーク設定手段は、前記限界距離導出手段で導出された前記限界距離の内側に入り込まず、かつ各仮想視点位置が滑らかに変化するように、前記仮想視点の経路を決定することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
カメラワークに関するユーザ操作を受け付けるユーザインタフェースと、
前記ユーザインタフェースを制御するUI制御手段と
を備え、
前記UI制御手段は、前記限界距離導出手段で導出された限界距離の内側に入り込まない経路の仮想視点候補を前記ユーザインタフェースに表示し、
前記カメラワーク設定手段は、前記ユーザインタフェースを介してユーザが選択した仮想視点候補を、仮想視点として設定する
ことを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記仮想視点候補の経路は、前記ユーザインタフェースを介してユーザが指定した始点及び終点を通る経路であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記UI制御手段は、前記限界距離導出手段で導出された限界距離と共に、前記仮想視点候補を前記ユーザインタフェースに表示することを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
異なる視点から撮影された多視点映像を用いて、当該多視点映像が撮影された視点とは異なる視点からの映像である自由視点映像を生成する方法であって、
前記多視点映像を取得するステップと、
前記自由視点映像における仮想注視点を設定するステップと、
前記自由視点映像における仮想視点を設定するステップと、
前記多視点映像について、設定された前記仮想注視点におけるボケ量を導出するステップと、
導出したボケ量と前記自由視点映像において許容されるボケ量とに基づいて、設定された前記仮想視点においてズーム可能な焦点距離の限界値である限界焦点距離を導出するステップと、
導出した前記限界焦点距離の範囲内で焦点距離を決定するステップと、
決定した前記焦点距離、設定された前記仮想注視点及び設定された前記仮想視点を少なくとも含むカメラワークを設定するステップと、
設定された前記カメラワークに従った前記自由視点映像を生成するステップと、
を含むことを特徴とする方法。
【請求項１３】
異なる視点から撮影された多視点映像を用いて、当該多視点映像が撮影された視点とは異なる視点からの映像である自由視点映像を生成する方法であって、
前記多視点映像を取得するステップと、
前記自由視点映像における仮想注視点を設定するステップと、 
前記多視点映像について、設定された前記仮想注視点におけるボケ量を導出するステップと、
導出したボケ量と前記自由視点映像において許容されるボケ量とに基づいて、前記自由視点映像の仮想視点におけるズーム限界を表す限界距離を導出するステップと、
導出した前記限界距離の内側に入り込まないよう設定された仮想視点、及び設定された前記仮想注視点を少なくとも含むカメラワークを設定するステップと、
設定された前記カメラワークに従った前記自由視点映像を生成するステップと、
を含むことを特徴とする方法。
【請求項１４】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる視点から撮影された多視点映像を用いた、自由視点映像生成技術に関する。
【背景技術】
【０００２】
複数台の実カメラで撮影した多視点の映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、自由視点映像技術がある。自由視点映像の生成手法の一つに、被写体を囲むように撮影して得られた多視点映像から被写体の3次元形状を推定し、求めた3次元形状の表面に撮影画像をテクスチャマッピングすることにより、自由視点映像を得る手法がある。このとき、生成したい自由視点の位置によって、どの視点の撮影画像をテクスチャマッピングに用いるかが、自由視点映像の画質に大きな影響を与える。この点、特許文献１には、生成したい自由視点の光軸方向と撮影視点の光軸方向に基づいて画像合成時のブレンド率を算出し、撮影視点の光軸方向が自由視点のそれに近い撮影画像の合成時の重みを高くすることで、高画質を実現する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2010-20487号公報
【非特許文献】
【０００４】
【非特許文献１】Z. Zhang, “A flexible new technique for camera calibration”,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11):1330-1334, 2000.
【非特許文献２】A Robust Free-Viewpoint for Sport Scenes, Proceeding of 3DTV conference 2007, Oliver Grau et al.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の手法では、多視点映像における撮影画像間で被写体領域におけるボケ量が異なる場合、出来上がった自由視点映像においてボケ量のバラつきが生じてしまう。具体的には、自由視点映像の対象被写体に合焦している撮影画像と、当該対象被写体に合焦していない撮影画像とが混在する場合、前者をテクスチャマッピングしたフレームと後者をテクスチャマッピングしたフレームとの間で、ボケ量に差が生じることになる。そのような自由視点映像は、視る者に違和感を与えてしまうことになり望ましくない。
【０００６】
本発明では、多視点映像に含まれる撮影画像間で被写体領域におけるボケが異なる場合でも、視る者に違和感を与えない自由視点映像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、異なる視点から撮影された多視点映像を用いて、当該多視点映像が撮影された視点とは異なる視点からの映像である自由視点映像を生成する画像処理装置であって、前記多視点映像を取得する多視点映像取得手段と、前記自由視点映像における仮想注視点を設定する仮想注視点設定手段と、前記自由視点映像における仮想視点を設定する仮想視点設定手段と、前記多視点映像について、設定された前記仮想注視点におけるボケ量を導出するボケ量導出手段と、導出したボケ量と前記自由視点映像において許容されるボケ量とに基づいて、設定された前記仮想視点においてズーム可能な焦点距離の限界値である限界焦点距離を導出する限界焦点距離導出手段と、導出した前記限界焦点距離の範囲内で焦点距離を決定し、当該決定した焦点距離、前記仮想注視点設定手段で設定された前記仮想注視点及び前記仮想視点設定手段で設定された前記仮想視点を少なくとも含むカメラワークを設定するカメラワーク設定手段と、取得した前記多視点映像を用いて、設定された前記カメラワークに従った前記自由視点映像を生成する自由視点映像生成手段と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、多視点映像に含まれる撮影画像間で被写体領域におけるボケが異なる場合でも、視る者に違和感を与えない自由視点映像を生成することが可能である。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のハードウェア構成の一例を示す図である。
【図２】多視点映像を取得するためのカメラ配置の一例を示した図である。
【図３】実施例１に係る画像処理装置の機能ブロック図である。
【図４】（ａ）はカメラの光軸を示した図、（ｂ）は仮想視点の経路を示した図である。
【図５】（ａ）は仮想視点の経路を示した図、（ｂ）は被写体と実注視点との距離を示した図である。
【図６】仮想視点画像のボケ具合を示す図である。
【図７】実施例１に係る自由視点映像生成処理の流れを示すフローチャートである。
【図８】仮想視点画像の一例を示す図である。
【図９】実施例２に係る画像処理装置の機能ブロック図である。
【図１０】実施例２に係る自由視点映像生成処理の流れを示すフローチャートである。
【図１１】カメラワーク設定用のUI画面の一例を示す図である。
【図１２】カメラワーク設定領域内に、始点設定バーと終点設定バーが表示された状態を示す図である。
【図１３】仮想視点候補の一例を示す図である。
【図１４】仮想視点候補の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明を好適な実施例に従って詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【００１１】
図１は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、CPU１０１、RAM１０２、ROM１０３、HDD１０４、入出力I/F１０５で構成される。そして、画像処理装置１００を構成する各部は、システムバス１０６によって相互に接続されている。また、画像処理装置１００は、入出力I/F１０５を介して、カメラ２０１〜２１０、表示操作部１１０、外部メモリ１１１に接続されている。
【００１２】
CPU１０１は、RAM１０２をワークメモリとして、ROM１０３に格納されたプログラムを実行し、システムバス１０６を介して画像処理装置１００の各部を統括的に制御する。これにより、後述する様々な処理が実現される。HDD１０４は、画像処理装置１００で取り扱う種々のデータを記憶する大容量記憶装置であり、例えばSSDなどでもよい。CPU１０１は、システムバス１０６を介してHDD１０４へのデータの書き込み及びHDD１０４に記憶されたデータの読出しを行うことができる。
【００１３】
入出力I/F１０５は、例えばUSBやIEEE1394等のシリアルバスI/Fであり、外部装置と画像処理装置１００との間の各種データ・命令等の入力や出力が、この入出力I/F１０５を介して行われる。外部メモリ１１１は、例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリなどの記憶媒体である。表示操作部１１０は、例えばタッチパネル機能を有する液晶ディスプレイなどで構成され、ユーザに対する必要な情報の表示や、UI画面を介してユーザからの指示を取得する。なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないため、説明を省略する。
【００１４】
図２は、異なる複数の視点から撮影して互いに視差のある多視点映像を取得するためのカメラ配置の一例を示した図である。図２は、被撮影領域としてのフィールド２２０を囲むように配置された10台のカメラ２０１〜２１０により、フィールド２２０上にいる選手２２１、２２２及びボール２２３を撮影している様子を表している。図２（ａ）は横から見た場合のカメラ配置、図２（ｂ）は俯瞰で見た場合のカメラ配置である。本実施例では、×印２２４が全てのカメラ２０１〜２１０の注視点となるように配置されている。ここで注視点とは、カメラ２０１〜２１０それぞれの光軸上にあり、かつ合焦している点を指す。カメラ２０１〜２１０はどれも焦点距離が同じレンズを有しており、それぞれが有する撮像素子の画素数も等しいものとする。なお、撮影に用いるカメラの数や構成、配置は上記の例に限定されるものではない。また、各カメラの注視点や焦点距離、撮像素子の画素数が互いに異なっていてもよい。また、本実施例では、各撮影視点に対応した複数のカメラによって多視点映像の撮影を行うものとしているが、１つあるいは複数のカメラが視点を変えながら複数回撮影することで多視点映像を取得してもよい。
【００１５】
座標系２２５はカメラの位置などを特定するときに用いる座標系を示している。xy平面上の矩形領域である被撮影領域としてのフィールド２２０が、本実施例において画像処理の対象となる範囲となる。カメラ２０１〜２１０による撮影画像データは、多視点映像データとして画像処理装置１００に送られ、所定の画像処理が施される。
【００１６】
続いて、画像処理装置１００で行う自由視点映像の生成処理について説明する。図３は、本実施例に係る画像処理装置１００の機能ブロック図である。画像処理装置１００は、仮想注視点設定部３０１、仮想視点設定部３０２、撮影パラメータ取得部３０３、ボケ量導出部３０４、生成条件設定部３０５、限界焦点距離導出部３０６、カメラワーク設定部３０７、多視点映像取得部３０８、自由視点映像生成部３０９で構成される。以下、各部について説明する。
【００１７】
仮想注視点設定部３０１は、自由視点映像の仮想カメラが注視する点（仮想注視点）の位置を設定する。この位置は座標系２２５に従う。生成される自由視点映像の対象タイムフレーム内で仮想注視点が変移する場合は、その変移する位置の軌跡が設定されることになる。この設定は、表示操作部１１０に表示されるUI画面を介したユーザ入力に基づいて行なわれる。或いは、事前に決定・保持しておいた位置座標の情報をHDD１０４等から取得してもよい。
【００１８】
仮想視点設定部３０２は、自由視点映像生成時の各フレームにおける仮想カメラの位置（仮想視点）を設定する。この設定も、表示操作部１１０に表示されるUI画面を介したユーザ入力に基づいて行なわれる。或いは、仮想注視点設定部３０１で設定された仮想注視点の位置情報に基づいて計算で求めてもよい。例えば、仮想注視点となる対象被写体が対象タイムフレームの全範囲において位置(xd,yd,zd)で固定であって、当該対象被写体の周りを360度１周する自由視点映像を生成する場合の、円形の軌跡を描く仮想視点は、以下の式（１）で表される。
【００１９】
【数１】
2018106496.tif 000003
【００２０】
上記式（１）において、mはフレーム番号、Vm(x,y,z)は各フレームにおける仮想カメラの視点位置、rは円の半径、θmは各フレームにおける仮想視点の方向をそれぞれ表している。
【００２１】
撮影パラメータ取得部３０３は、カメラ２０１〜２１０の撮影パラメータを取得する。以下に撮影パラメータの代表的なものを挙げる。
【００２２】
・カメラ２０１〜２１０それぞれの位置（x201,y201,z201）〜（x210,y210,z210）
・カメラ２０１〜２１０それぞれの姿勢（α201,β201,γ201）〜（α210,β210,γ210）
・カメラ２０１〜２１０の注視点の位置（xl,yl,zl）
・レンズの焦点距離f201〜f210
・レンズの主点位置（cx201,cy201）〜（cx210,cy210）
・カメラ２０１〜２１０のF値（F201）〜（F210）
・撮像素子のサイズ（w201,h201）〜（w210,h210）
・撮像素子の解像度（Rcx201, Rcy201）〜（Rcx210, Rcy210）
これら撮影パラメータを、予めHDD１０４に保持しておく、或いは、公知のzhangの手法（非特許文献１を参照）などを用いたカメラキャリブレーションを行って取得する。
【００２３】
ボケ量導出部３０４は、仮想注視点設定部３０１で設定された仮想注視点及び撮影パラメータ取得部３０３が取得した撮影パラメータに基づいて、カメラ２０１〜２１０で撮影された多視点映像の仮想注視点におけるボケ量を導出する。ここで、ボケ量は、極小の点像を撮影したときにその点像が撮像素子（センサ）上で何画素になるかを数値で表したものである。ボケ量（Bxn,Byn）は以下の式（２）によって求めることができる。
【００２４】
【数２】
2018106496.tif 000004
【００２５】
上記式（２）において、Bxnはカメラnが撮影した画像における被写体の横方向のボケ量、Bynは縦方向のボケ量を表している。Lnは、カメラnの位置から合焦位置までのベクトルであり、以下の式（３）で表される。Dnは、カメラnの位置から仮想注視点位置までのベクトルであり、以下の式（４）で表される。（Pxn,Pyn）は、撮像素子上での1画素の大きさを表し、以下の式（５）で表される。
【００２６】
【数３】
2018106496.tif 000005
【００２７】
【数４】
2018106496.tif 000006
【００２８】
【数５】
2018106496.tif 000007
【００２９】
生成条件設定部３０５は、生成する自由視点映像の生成条件、具体的には、出力解像度Rd、許容されるボケ量（ボケ量許容値）b´、入力多視点映像のうちの対象タイムフレームなどを設定する。出力解像度Rd、ボケ量許容値b´及び対象タイムフレームは、表示操作部１１０を介してユーザによって入力される。
【００３０】
限界焦点距離導出部３０６は、設定された仮想視点の経路上の各位置においてズーム可能な範囲（限界焦点距離）を導出する。この限界焦点距離は以下のように導出される。まず、仮想視点の位置座標、被写体の位置座標、仮想注視点の位置座標及び撮影パラメータに基づいて、仮想視点の経路上の注目する位置（以下、注目仮想視点位置）からみた画像の生成に用いる参照画像が決定される。具体的には、以下の式（６）により仮想視点位置の光軸ベクトルCを算出し、算出した光軸ベクトルCと全てのカメラの光軸ベクトルLnの内積Eを以下の式（７）により求めて、内積Eが最大となるカメラnの撮影画像を、参照画像として選択する。
【００３１】
【数６】
2018106496.tif 000008
【００３２】
【数７】
2018106496.tif 000009
【００３３】
その後、選択された撮影画像に対応するカメラnの撮影パラメータと被写体近傍におけるボケ量、生成条件設定部３０５で設定された出力解像度及びボケ量許容値に基づいて、仮想視点位置でズーム可能な焦点距離の限界値f´が、以下の式（８）により求められる。
【００３４】
【数８】
2018106496.tif 000010
【００３５】
上記式（８）において、bは参照画像の被写体近傍におけるボケ量、dは参照画像を撮影したカメラnから仮想注視点までの距離、fは参照画像撮影時の焦点距離、b´はボケ量許容値、d´は仮想視点位置から仮想注視点までの距離、Rcはカメラnの解像度、Rdは出力解像度を示している。また、
【００３６】
【数９】
2018106496.tif 000011
【００３７】
は参照画像の光軸Lと仮想視点位置の光軸Cが交差する角度のコサインを示している。ここで、仮想カメラのセンササイズは選択された撮影画像に対応するカメラnのセンササイズと同一であるものとする。また、仮想視点位置からみた画像（仮想視点画像）は無限の被写界深度を持ち、被写体に合焦していないことによる画像のボケは発生しない。従って、上記式（８）では入力撮影画像のボケ量が仮想視点画像に与える影響のみを考慮している。仮想視点位置の焦点距離が、算出された限界焦点距離f´より小さい場合、生成される仮想視点画像のボケ量がボケ量許容値以下となり、良好な画像を生成することができる。
【００３８】
なお、本実施例では、設定された仮想視点に基づき、当該仮想視点の経路上の各位置から仮想注視点までの距離d´を固定値として上記式（８）に代入することにより限界焦点距離f´を求めている。しかしながら、事前に仮想視点の焦点距離を決定しておき、接近可能な仮想視点の限界距離d´を求めてもよい。或いは、焦点距離と、仮想視点位置から仮想注視点までの距離との適切な組み合わせを得るために、f´/d´の値を求めてもよい。また、本実施例では、単一の参照画像を選択しているが、選択する参照画像は複数であってもよい。例えば、内積Eの値に基づいて各撮影画像の重みを求め、複数のカメラの撮影画像を参照画像として選択した上で、後述する自由視点映像生成部３０９で選択した複数の参照画像を用いて画像合成を行う構成であってもよい。この場合の限界焦点距離としては、選択された各撮影画像に基づき求めた複数の限界焦点距離のうち最小の値、或いは当該複数の限界焦点距離に重み付け加算を行った値などを用いればよい。
【００３９】
カメラワーク設定部３０７は、自由視点映像生成時のカメラワークを設定する。ここでカメラワークとは、対象タイムフレームにおける自由視点映像の生成に必要な仮想視点、仮想注視点、仮想カメラの焦点距離などのパラメータの集合を意味する。本実施例では、仮想視点設定部３０２で設定した仮想視点において、限界焦点距離導出部３０６で導出した限界焦点距離を超えない範囲で焦点距離がスムーズに変移するよう、各仮想視点位置における仮想視点画像生成時の焦点距離が設定される。
【００４０】
多視点映像取得部３０８は、カメラ２０１〜２１０がそれぞれ取得した撮影画像の集合である多視点映像データを取得する。取得した多視点映像データは、自由視点映像生成部３０９に入力される。
【００４１】
自由視点映像生成部３０９は、カメラワーク設定部３０７で設定されたカメラワークと、多視点映像取得部３０８から入力された多視点映像データに基づいて、各仮想視点位置の仮想視点画像を生成し、これを繋ぎ合わせることにより自由視点映像を生成する。自由視点映像の生成には非特許文献２に記載されているView dependent renderingなどが使用可能である。
【００４２】
上述のような構成の画像処理装置１００における自由視点映像生成処理の具体的な流れを説明する前に、本発明の解決課題について、ここで改めて確認しておく。図４（ａ）は、図２で示したカメラ配置における一部のカメラの光軸を示した図である。図４（ａ）において、矢印線４０１はカメラ２０７、矢印線４０２はカメラ２０４の光軸を示している。
【００４３】
まず、仮想注視点が被写体２２１の位置（＝実注視点２２４の近傍）にある場合について説明する。図４（ｂ）は、被写体２２１の周囲を反時計回りに1周する仮想視点の経路を矢印線４０３で示した図である。図４（ｂ）において矢印線４０３上の破線で示す3台のカメラ４０４〜４０６は、仮想視点の経路上にある任意の位置を示している。ここで、カメラ２０７の撮影画像の被写体近傍におけるボケ量（Bx207,By207）を前述の式（５）を用いて求めるとする。この場合、光軸４０１上でのカメラ２０７から実注視点２２４までの距離とカメラ２０７から被写体までの距離との差を示す。
【００４４】
【数１０】
2018106496.tif 000012
【００４５】
の値が小さいので、ボケ量Bx207及びBy207は共に小さな値になる。同様に、カメラ２０４を含む他のカメラについてボケ量（Bxn,Byn）を求めた場合も、各撮影画像のボケ量は小さくなる。これらの撮影画像を用いて自由視点映像を生成した場合、入力撮影画像の被写体近傍におけるボケ量に大きな差がないため、仮想カメラ４０４、４０５、４０６の各仮想視点位置において生成された仮想視点画像のボケ量にも大きな差は生じない。このような場合には、仮想視点経路上のどの位置においてもボケ量のばらつきが小さい自由視点映像を生成することができる。
【００４６】
次に、仮想注視点が被写体２２２の位置（＝実注視点２２４からやや離れた位置）にある場合について説明する。図５（ａ）は、被写体２２２の周囲を反時計回りに1周する仮想視点の経路を矢印線５０１で示した図である。図５（ａ）において矢印線５０１上の破線で示す3台のカメラ５０２〜５０４は、仮想視点の経路上にある任意の仮想カメラ位置を示している。また、図５（ｂ）は、図４（ａ）に対応する図であり、両矢印線５１１はカメラ２０４の光軸４０２上での被写体２２２と実注視点２２４との距離、両矢印線５１２はカメラ２０７の光軸４０２上での被写体２２２と実注視点２２４との距離を示している。この場合、カメラ２０４については光軸４０２上での被写体２２２と実注視点２２４との距離が離れているため、被写体近傍のボケ量（Bx204,By204）は大きな値になる。一方、カメラ２０７については光軸４０１上での被写体２２２と実注視点２２４との距離が近いため、被写体近傍のボケ量（Bx207,By207）は小さな値になる。また、その他のカメラについても、各光軸上での被写体２２２と実注視点２２４との距離に応じて、被写体近傍のボケ量（Bxn,Byn）の値が小さいものと大きいものとが混在する。これらの撮影画像を用いて自由視点映像を生成した場合、仮想視点経路上の各位置における仮想視点画像を同一の焦点距離で生成すると、各位置で生成した仮想視点画像のボケ量に大きな差が生じることになる。図６は、被写体２２２について仮想視点経路上の位置５０２、５０３、５０４のそれぞれから共通の焦点距離で生成した仮想視点画像のボケ具合を示す図である。位置５０３で生成した仮想視点画像はカメラ２０４の撮像画像を使用するため大きくボケた画像となり、位置５０２及び５０４で生成した仮想視点画像はそれぞれカメラ２０１とカメラ２０７の撮像画像を使用するためボケの小さい画像となる。このようにボケの程度にばらつきのある仮想視点画像を繋ぎ合わせて自由視点映像を生成した場合、視聴者にとって違和感のある映像となってしまう。これが本発明の解決課題である。
【００４７】
以上を踏まえ、本実施例に係る自由視点映像生成処理の流れを詳しく説明する。図７は、本実施例に係る自由視点映像生成処理の流れを示すフローチャートである。以下に示す一連の処理は、CPU１０１が、HDD１０４等に格納されている所定のプログラムをRAM１０２にロードし、実行することで実現される。
【００４８】
ステッ７０１では、撮影パラメータ取得部３０３においてカメラ２０１〜２１０の撮影パラメータが、多視点映像取得部３０８においてカメラ２０１〜２１０で撮影された多視点映像データがそれぞれ取得される。
【００４９】
ステップ７０２では、自由視点映像を生成するために必要な基礎情報がユーザ入力に基づき設定される。具体的には、仮想注視点設定部３０１では仮想注視点、仮想視点設定部３０２では仮想視点、生成条件設定部３０５では、生成する自由視点映像の出力解像度、ボケ量許容値、対象タイムフレームなどが設定される。
【００５０】
ステップ７０３では、ボケ量導出部３０４が、ステップ７０１で取得された多視点映像について、ステップ７０２で設定された仮想注視点におけるボケ量を導出する。ここで、具体的なボケ量の導出例を前述の図５の場合を例に説明する。いま、カメラ２０１〜２１０の注視点を×印２２４の位置 (x,y,z)＝(0,0,1000)、仮想カメラ５０２〜５０４の仮想注視点を被写体２２２の位置(xd,yd,zd)＝(40000,-5000,1000)とする。この場合の仮想カメラの位置Vmは前述の式（１）で求まり、例えばr＝10000、θm＝0度とすると、仮想カメラ５０３の位置Vm＝(50000,-5000,1000)となる。そして、ボケ量（Bxn,Byn）は前述の式（２）によって求まり、例えばカメラ２０３と２０４については以下のようになる。いま、カメラ２０３が位置(45000,80000,1000)、カメラ２０４が位置(90000,15000,1000)にあるとする。この場合、カメラ２０３及び２０４の位置から、実際の注視点位置までのベクトルL203及びL204と仮想の注視点位置までのベクトルD203及びD204はそれぞれ、
【００５１】
【数１１】
2018106496.tif 000013
【００５２】
となる。そして、撮像素子上での1画素の大きさ（Pxn,Pyn）=（5μm,5μm）とし、焦点距離ｆ＝100mm、F値＝4とすると、カメラ２０３及び２０４で撮像した画像における横方向のボケ量Bx203及びBx204はそれぞれ、
Bx203＝45.76／8.45＝5.41pix
Bx204＝63.29／5.1003＝12.41pix
となる。このようにして、縦方向のボケ量By203及びBy204についても、また他のカメラの撮影画像についても、同様に、仮想注視点位置(xd,yd,zd)＝(40000,-5000,1000)におけるボケ量が求められることになる。
【００５３】
ステップ７０４では、限界焦点距離導出部３０６において、ステップ７０２で設定された仮想視点の経路上における注目する位置（以下、仮想視点位置）における限界焦点距離が前述の式（８）を用いて求められる。例えば、仮想視点位置と仮想注視点とが図５のような位置関係にある場合には、選択された参照画像における位置(xd,yd,zd)＝(40000,-5000,1000)のボケ量をbとして、前述の式（８）に代入すればよい。この例の場合、カメラ２０３の近くの仮想視点画像を生成するときよりも、カメラ２０４の近くの仮想視点画像を生成するときの方が、限界焦点距離は短くなる（すなわち、ズーム可能な範囲が狭く、より広角になる）。
【００５４】
ステップ７０５では、ステップ７０２で設定された仮想視点の経路上のすべての位置について（＝設定された対象タイムフレームの全範囲について）、限界焦点距離の導出が終了したかどうかが判定される。仮想視点経路上のすべての位置についての処理が完了していれば、ステップ７０７に進む。一方、未処理の仮想視点位置があればステップ７０６に進み、仮想視点位置が更新されてステップ７０４の処理が繰り返される。
【００５５】
ステップ７０７では、カメラワーク設定部３０７において、ステップ７０２で設定された仮想視点とステップ７０５で導出された各仮想視点位置における限界焦点距離とに基づいて、対象タイムフレームにおける自由視点映像のカメラワークを設定する。この際、カメラワークの設定基準を予め定めておき、その設定基準に従ったカメラワークに自動で決定される。設定基準としては、例えば各仮想視点画像の焦点距離を、各仮想視点位置の限界焦点距離における限界値にする、或いは全仮想視点位置の全限界焦点距離の中から最も焦点距離が短いものにする、といったことが考えられる。
【００５６】
ステップ７０８では、自由視点映像生成部３０９において、ステップ７０７で決定されたカメラワークとステップ７０１で取得した多視点映像データに基づいて、自由視点映像が生成される。なお、設定された対象タイムフレームが例えば10secで、多視点映像データが60fpsで撮影されている場合には、60(fps)×10(sec)＝600フレーム分について、上記の処理がなされることになる。また、対象タイムフレーム内で仮想視点に加え仮想注視点も変移する場合には、ステップ７０６において仮想注視点の更新も行った上でステップ７０３まで戻り、ボケ量の導出から繰り返し行なうようにすればよい。
【００５７】
以上が、本実施例に係る自由視点映像生成処理の内容である。図８の（ａ）及び（ｂ）は、いずれも本実施例を適用して得られる仮想視点画像の一例を示している。図８（ａ）の例では、参照画像のボケ量が小さく限界焦点距離の長い仮想視点位置（仮想カメラ５０２及び５０４）については焦点距離を大きく取り、被写体２２２を相対的に大きく映した仮想視点画像を生成している。また、参照画像のボケ量が大きく限界焦点距離の短い仮想視点位置（仮想カメラ５０３）については焦点距離を小さく取り、被写体２２２を相対的に小さく映した仮想視点画像を生成し、ボケ量が許容範囲内となるようにしている。このように実際の注視点と仮想注視点との位置関係に基づいて各参照画像の焦点距離を調節したカメラワークとすることで、自由視点映像内で許容値を超えたボケが発生することを抑制できる。また、図８（ｂ）の例では、各仮想視点位置における焦点距離を限界焦点距離の短い仮想視点位置（仮想カメラ５０３）に合わせて小さく取り、どの仮想視点画像においても被写体２２２を小さく映している。このようなカメラワークとすることで、すべての仮想視点画像においてボケ量が許容値を超えることを防ぎつつ、これらを繋ぎ合せて生成される自由視点映像において被写体の大きさが大きく変動することによる違和感も抑制することができる。図８（ａ）と（ｂ）のいずれの場合も、各仮想視点位置について、限界焦点距離より小さい焦点距離を用いて仮想視点画像が生成されるため、出来上がった自由視点映像においてはユーザに違和感を与えるようなボケの発生が抑制される。
【００５８】
なお、上述の例では、多視点映像データを処理の前段で取得していたが、例えばカメラワークの決定後にタイムフレーム分の多視点映像データを取得する構成でもよい。このように処理の後段で多視点映像データを取得する場合、例えば考えられる全ての被写体位置（仮想注視点位置）のケースについて予めカメラワークを求めておいてもよい。そして、自由視点映像生成時にユーザが指定した被写体位置について、予め求めておいたカメラワークの中から該当するものを用いて自由視点映像を生成するように構成することも可能である。
【００５９】
以上のとおり本実施例によれば、複数の視点から撮影された多視点映像データから自由視点映像を生成する場合において、ユーザに違和感を与えるようなボケの発生を抑制することができる。
【実施例２】
【００６０】
実施例１では、仮想視点画像のボケ量が許容範囲内に収まる限界焦点距離を求め、当該限界焦点距離に基づいてカメラワークを決定する態様について説明した。次に、仮想カメラの焦点距離を固定し、GUI（グラフィカルユーザインタフェース）を用いて好適なカメラワークをユーザが選択する態様を、実施例２として説明する。
【００６１】
なお、実施例１と共通する画像処理装置の基本構成（図１）やカメラ配置（図２）については説明を省略し、以下では差異点を中心に説明を行うものとする。
【００６２】
図９は、本実施例に係る画像処理装置１００´の機能ブロック図である。画像処理装置１００´は、新たに、GUI制御部９０１、始点・終点設定部９０２、限界距離導出部９０３、仮想視点候補生成部９０４を備える。仮想注視点設定部３０１、仮想始点設定部３０２、撮影パラメータ取得部３０３、ボケ量導出部３０４、生成条件設定部３０５、多視点映像取得部３０８、自由視点映像生成部３０９は、入出力の情報に一部違いがあるものの基本的に実施例１と共通である。実施例１には存在しない各部の概要は以下のとおりである。
【００６３】
GUI制御部９０１は、GUIの制御、具体的には、カメラワークに関する各種項目の指定・選択といったユーザ操作を受け付け可能なUI画面を生成して表示操作部１１０に表示し、当該UI画面を介してユーザからの指示を取得して、各部に分配する処理を行う。
【００６４】
始点・終点設定部９０２は、UI画面を介して入力されたユーザ指示に基づき、仮想視点の始点と終点の位置、より詳細には、仮想注視点から見た仮想視点の始点となる方位と終点となる方位を設定する。
【００６５】
限界距離導出部９０３は、仮想視点の各位置から仮想注視点に対してどこまで接近可能なのかを表す限界距離（ズーム限界値）を、仮想注視点から見た各方位について導出する。
【００６６】
仮想視点候補生成部９０４は、ユーザに選択させるための仮想視点候補、具体的には、限界距離導出部９０３で導出した限界距離の内側に入り込まないという条件の下で仮想カメラの軌跡（仮想視点の経路）の候補を複数生成する。
【００６７】
図１０は、本実施例に係る自由視点映像生成処理の流れを示すフローチャートである。なお、以下のフローでも、説明の簡単化のため仮想注視点は固定とする。
【００６８】
ステップ１００１では、GUI制御部９０１によって、ユーザがカメラワーク設定を行うためのUI画面が表示操作部１１０に表示される。図１１は、カメラワーク設定用のUI画面の一例を示す図である。UI画面１１００内の左側の矩形領域１１０１は、仮想注視点の位置の指定、仮想視点の始点と終点の指定、複数の仮想視点候補の中からの選択等を行うためのカメラワーク設定領域である。UI画面１１００におけるカメラワーク設定領域１１０１は、被撮影領域としてのフィールド２２０（図２を参照）を包含する一定範囲を上から見たxy平面上の矩形領域として表示されている。カメラワーク設定領域１１０１には、ユーザに被写体の位置を直観的に理解させるため、カメラ２０１〜２１０が取得した撮影画像を平面上に投影し合成したものが表示されている。さらに、例えば撮影シーンがサッカーの試合であれば、既知であるゴールポストの位置、センターライン、ペナルティエリア等の情報を合成表示或いは撮影画像の代替として表示してよい。また、UI画面１１００内の右側の矩形領域１１０２は、自由視点映像生成に必要な各種パラメータを指定するための生成条件設定領域である。生成条件設定領域１１０２には、仮想カメラの焦点距離f´、出力解像度Rd、仮想視点の経路の種類、許容ボケ量b´の各項目について、予め用意された選択肢からユーザが所望の内容を指定可能なプルダウンメニューが設けられている。ここでは仮想カメラの移動の軌跡を円や楕円といった曲線であることを前提としているので、仮想視点経路の種類は時計回りと反時計回りとなっている。また許容ボケ量は、ユーザが数値を直観的に判断することが難しいため、例えば「大」「標準」「小」の3段階で選択肢を表示してユーザに選択させ、生成条件設定部３０５においてユーザ選択に対応した具体的な数値を割り当てる方式としている。なお、項目や項目内の内容は必要に応じて削除・追加してもよいし、プルダウンメニューに代えてスライドバーやラジオボタンを設けてもよい。「仮想注視点設定」ボタン１１１０は仮想注視点を、「始点・終点設定」ボタン１１２０は仮想視点の始点と終点をそれぞれ設定するためのボタンである。これらを押下するとカメラワーク設定領域１１０１内での位置指定が可能な状態になり、ユーザは例えばマウス等を用いて仮想注視点或いは仮想視点の始点と終点を指定する。「OK」ボタン１１３０及び「キャンセル」ボタン１１４０は、指定・選択した内容をユーザが確定させたり取り消したりするためのボタンである。
【００６９】
そして、カメラワーク設定領域１１０１内の任意の点（位置）が仮想注視点としてユーザによって指定されると、ステップ１００２で、GUI制御部９０１はその情報を仮想注視点設定部３０１へ送る。受け取った情報に基づき、仮想注視点設定部３０１は仮想注視点の位置を設定する。ここでは、図２における被写体２２２の位置が仮想注視点の位置１１０３として設定されたものとする。また、生成条件についても同様に、GUI制御部９０１から受け取ったユーザ選択の情報に基づき、生成条件設定部３０２によって、仮想カメラの焦点距離f´、出力解像度Rd、仮想視点の種類、許容ボケ量b´の各項目の内容が設定される。
【００７０】
ステップ１００３では、撮影パラメータ取得部３０３においてカメラ２０１〜２１０の撮影パラメータが、多視点映像取得部３０８においてカメラ２０１〜２１０で撮影された多視点映像データがそれぞれ取得される。
【００７１】
ステップ１００４では、ボケ量導出部３０４において、ステップ１００３で取得した撮影パラメータに基づき、ステップ１００３で取得した多視点映像データの、ステップ１００２で設定された仮想注視点におけるボケ量が導出される。
【００７２】
ステップ１００５では、限界距離導出部９０３において、ステップ１００２で設定された仮想注視点からみたxy平面上の各方位について、仮想視点が接近可能な限界距離が導出される。この限界距離は、生成対象の自由視点映像におけるボケ量が、ステップ１００２で設定された許容ボケ量を超えることがないよう、その限度内で導出される。具体的には、設定された仮想注視点からみた各方位について、まず前述の式（６）及び式（７）を用いて参照画像の選択を行い、続いて前述の式（８）を用いて限界距離d´を求める。すなわち、実施例１では仮想視点位置から仮想注視点までの距離d´を固定値として仮想視点位置（仮想カメラ）の限界焦点距離を求めたが、本実施例では仮想カメラの焦点距離f´を固定値として仮想カメラが接近可能な限界距離d´を求めるものである。仮想注視点からみた各方位について導出された限界距離d´の情報はGUI制御部９０１に送られる。そして、GUI制御部９０１は、方位毎の限界距離値を仮想注視点位置１１０３を中心にプロットして図形化し、カメラワーク設定領域１１０１内に表示する。図１１において、カメラワーク設定領域１１０１内に点線で示された楕円１１０４が、図形化された限界距離を示している。図形化された限界距離の内側を「接近不可領域」と呼ぶこととする。図１１の例では、仮想注視点１１０３は実注視点２２４からx方向にずれているため、導出される限界距離はx方向で長くなり、y方向で短くなる。そのため、十分に細かい刻み幅で各方位の限界距離を求めた場合、図形化後の形状はx方向に長い楕円となる。なお、各方位の限界距離をユーザが把握できればよいので、例えば点線に代えて限界距離の範囲内を異なる色にするといったことで表現してもよい。
【００７３】
続いて、ユーザが「始点・終点設定」ボタン１１２０を押下すると、カメラワーク設定領域１１０１内に仮想視点の経路の始点と終点を設定するための設定バーが表示される。図１２は、カメラワーク設定領域１１０１内に、始点設定バー１２０１と終点設定バー１２０２が表示された状態を示している。始点設定バー１２０１及び終点設定バー１２０２は、仮想注視点１１０３を一端とした線分であり、ユーザは例えばドラッグ操作によって始点設定バー１２０１及び終点設定バー１２０２を、仮想注視点１１０３を中心軸として任意の位置へ回転させることができる。ユーザが、これら設定バーを操作して始点と終点を指定し、「OK」ボタン１１３０を押下すると、当該指定された位置（方位）が、始点・終点設定部９０２によって、仮想視点経路の始点と終点として設定される（ステップ１００６）。図１１の例では、生成条件設定領域１１０２で仮想視点の種類として「反時計回り」が選択されているため、指定した始点の方位から終点の方位までの間を反時計回りに軌跡を描く仮想視点候補が次のステップで生成されることになる。
【００７４】
続くステップ１００７では、ステップ１００６で設定された始点と終点に基づき、上述の接近不可領域に入り込まないような経路の仮想視点候補が仮想視点候補生成部９０４によって、複数生成される。生成された仮想視点候補の情報はGUI制御部９０１に送られ、カメラワーク設定領域１１０１に表示される。図１３及び図１４は、仮想視点候補の一例を示す図である。図１３に示す矢印１３０１は、設定された始点から終点までの間の全方位について限界距離まで仮想カメラが接近するような経路の仮想視点候補、矢印１３０２は限界距離から一定の間隔を取った、矢印１３０１と平行な軌跡を描く仮想視点候補をそれぞれ示している。また、図１４に示す矢印１４０１は、設定された始点から終点までの間の全方位について仮想視点と仮想注視点との距離が一定であって可能な限りその距離を小さくした仮想視点候補、矢印１４０２は矢印１４０１よりもその距離を大きく取った場合の仮想視点候補をそれぞれ示している。なお、図１３及び図１４で示した仮想視点候補は一例であり、例えばこれらの中間の軌跡など、様々な仮想視点候補が考えられる。そこで、生成した仮想視点候補に基づき、例えば矢印１３０１と矢印１４０２、或いは矢印１４０１と１３０２の中間の軌跡を適当な係数で合成した仮想視点候補をさらに生成して表示するようにしてもよい。
【００７５】
カメラワーク設定領域１１０１に表示された複数の仮想視点候補の中からユーザがマウス等を用いて任意の仮想視点候補を選択すると、GUI制御部９０１を介してその情報が仮想視点設定部３０２に送られる。仮想視点設定部３０２は、ユーザ選択に係る仮想視点候補を、自由視点映像生成に用いる仮想視点として設定する（ステップ１００８）。設定された仮想視点の情報はカメラワーク設定部３０７に送られる。
【００７６】
ステップ１００９では、カメラワーク設定部３０７において、ステップ１００８で設定された仮想視点に基づいてカメラワークを設定する。そして、ステップ１０１０で、自由視点映像生成部３０９によって、ステップ１００８で設定されたカメラワークとステップ１００２で取得した多視点映像データに基づいて、自由視点映像が生成される。
【００７７】
以上が、本実施例に係る自由視点映像生成処理の内容である。なお、上述のステップ１００５〜１００７の処理中にユーザが生成条件設定領域１１０２において、生成条件を変更した場合は、処理をステップ１００４に戻し、仮想注視点におけるボケ量の抽出処理をやり直すことが望ましい。また、ステップ１００７においてユーザが仮想視点の種類を変更（例えば、反時計回りを時計周りに変更）した場合は、当該変更後の内容に従った仮想視点候補を生成してもよいし、或いは始点設定バー１２０１と終点設定バー１２０２の役割を入れ替えて逆向きの仮想視点候補を生成するようにしてもよい。
【００７８】
以上のとおり本実施例によっても、実施例１と同様、多視点映像データから自由視点映像を生成する場合において、ユーザに違和感を与えるようなボケの発生を抑制することができる。また、本実施例の場合はユーザの負担を軽減しつつ、自由度の高いカメラワークの設定が可能となる。
【００７９】
先の実施例では、仮想視点の経路として円（楕円を含む）或いはその一部を用いたが、仮想視点の経路はこれに限定されない。例えば、実施例１においても視点・終点設定部を別途設け、ユーザが指定した始点と終点とを結ぶ直線経路の仮想視点を設定し、当該直線経路上の各位置における限界焦点距離を導出してカメラワークを設定するようにしてもよい。或いは実施例２において、UI画面１１００内の生成条件設定領域１１０２で「仮想視点経路」の種類として“直線”を選択可能にし、ユーザがその始点と終点を指定することで、当該始点と終点とを結ぶ直線経路の仮想視点が設定されるように構成してもよい。この際、指定された始点と終点とを結ぶ直線と接近不可領域とが交差する場合に警告を出したり、或いは、接近不可領域と交差しないよう変形させた直線を仮想視点候補としてユーザに提示するように構成してもよい。
【００８０】
＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018106496.tif 000018
【図２】
2018106496.tif 000019
【図３】
2018106496.tif 000020
【図４】
2018106496.tif 000021
【図５】
2018106496.tif 000022
【図６】
2018106496.tif 000023
【図７】
2018106496.tif 000024
【図８】
2018106496.tif 000025
【図９】
2018106496.tif 000026
【図１０】
2018106496.tif 000027
【図１１】
2018106496.tif 000028
【図１２】
2018106496.tif 000029
【図１３】
2018106496.tif 000030
【図１４】
2018106496.tif 000031