(57)【要約】【課題】ライトフィールドデータは複数の光線情報を持ったデータであるため、従来の、領域を小さくしたり解像度を低くしたり、といった技術だけでは、このようなデータを十分に削減することが出来なかった。【解決手段】入射した光をマイクロレンズによって分割し複数の方向の光線情報として撮影する、ライトフィールドデータ撮影部と、入力したライトフィールドデータを解析し、再生時に視点や焦点を変更して再生するためのデータとして効果的か否かを判定するライトフィールド効果判定部と、入力したライトフィールドデータに所定の計算処理を施し、画像を構築する送信画像削減部と、入力した判定結果に応じて、ライトフィールドデータもしくは画像データのいずれかを送信データ切替部と、を有する。【選択図】図１
2017220766.tif 000002
【特許請求の範囲】
【請求項１】
撮影後に視点および焦点を変更可能な再構築可能画像を撮影する撮影装置であって、
再構築可能画像を撮影する再構築可能画像撮影部と、
撮影した再構築可能画像が再構築に適しているか否かを判定する再構築効果判定部と、
判定結果によって、再構築可能画像を送信するか、再構築不可能な通常画像を送信するか、を切り替える送信データ切替部と、
再構築可能画像に演算を施し、再構築可能画像よりデータサイズの小さい再構築不可能な通常画像を生成する送信画像削減部と、
再構築可能画像および再構築不可能な通常画像を送信する送信部と、を備えることを特徴とする撮影装置。
【請求項２】
撮影後に視点および焦点を変更可能な再構築可能画像を撮影する撮影装置であって、
再構築可能画像を撮影する再構築可能画像撮影部と、
撮影した再構築可能画像が再構築に適しているか否かを判定する再構築効果判定部と、
判定結果によって、再構築可能画像を保存するか、再構築不可能な通常画像を保存するか、を切り替える保存データ切替部と、
再構築可能画像に演算を施し、再構築可能画像よりデータサイズの小さい再構築不可能な通常画像を生成する送信画像削減部と、
再構築可能画像および再構築不可能な通常画像を保存する保存部と、を備えることを特徴とする撮影装置。
【請求項３】
撮影後に視点および焦点を変更可能な再構築可能画像を撮影する撮影装置であって、
撮影対象までの距離を測定する測定部と
測定結果によって、再構築可能画像を撮影するか、再構築不可能な通常画像を撮影するかを判定する撮影方法判定部と、
再構築可能画像を撮影する再構築可能画像撮影部と、
再構築不可能な通常画像を撮影する再構築不可能な通常画像撮影部と、
再構築可能画像および再構築不可能な通常画像を送信する送信部と、を備えることを特徴とする撮影装置。
【請求項４】
再構築不可能な通常画像は複数枚であり、複数枚の合計データ量が再構築可能画像のデータ量より小さいことを特徴とする請求項１乃至請求項３の何れか一項に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影後に視点や焦点を変更可能なライトフィールドデータを撮影する撮影装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、ライトフィールドカメラと呼ばれる撮影装置が実用化されている。ライトフィールドカメラは、イメージセンサ上にマイクロレンズアレイを配置し、撮影装置に入射した光をマイクロレンズによって分割することにより、複数の方向の光線情報を記録する。記録された光線の強度とその入射方向に基づいて所定の計算処理をすることによって、任意の視点の画像や、任意の位置に焦点を合わせた画像を再構築することができる。
【０００３】
すなわち、記録されたライトフィールドデータに計算処理を施すことにより、撮影後に視点や焦点位置を変更した画像を再構築できる点がライトフィールドカメラの利点である。また、複数の方向の光線情報を用いることで、画像の各画素について撮影装置から撮影対象までの距離を算出することもできる。
【０００４】
この特徴を活かし、民生用のカメラだけではなく、業務用途でライトフィールドカメラが用いられることが予想される。具体的には、医療分野で、内蔵の診断を行うためのカプセル内視鏡に搭載されるカメラにもライトフィールドカメラが用いられることが予想される。
【０００５】
カプセル内視鏡は電池で動作しているため、カメラによる撮影処理と、体外にある受信装置への撮影データ送信処理とを、限られた電力量で処理する必要がある。
【０００６】
従来、消費電力を抑える技術としては、画像解析によって撮影データ中から関心領域を検出し、その領域のデータのみを送信する技術が一般的であった（特許文献１参照）。また、カプセル内視鏡の移動速度を検出し、移動速度が遅い場合は低解像度の画像に圧縮して送信する技術が一般的であった（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１７８１８０号公報
【特許文献２】特開２００９−１７２２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来の技術は、送信データを少なくするための手段としては、領域を小さくしたり解像度を低くしたり、といった処理であるためライトフィールドデータに対して、十分なデータ削減が出来ない場合があった。
【０００９】
ライトフィールドデータは複数の光線情報を保持しておりデータ量も大きい。そのため従来の、領域を小さくしたり解像度を低くしたり、といった技術だけでは、このようなデータを十分に削減することが出来なかった。その結果、送信データが十分に小さくならずに、消費電力が小さくならず、カプセル内視鏡のシステムとして、十分な撮影・送信回数が確保できなかったり、大きな電池を搭載しなければならなかったり、といった課題があった。
【００１０】
そこで、本発明は、ライトフィールドデータについて、不要な光線情報を削減することで、データサイズを低減することが出来る、ライトフィールドデータ撮影装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明に係る撮影装置は、
撮影後に視点および焦点を変更可能な再構築可能画像を撮影する撮影装置であって、
再構築可能画像を撮影する再構築可能画像撮影部と、
撮影した再構築可能画像が再構築に適しているか否かを判定する再構築効果判定部と、
再構築可能画像に演算を施し、再構築可能画像よりデータサイズの小さい再構築不可能な通常画像を生成する送信画像削減部と、
判定結果によって、再構築可能画像を送信するか、再構築不可能な通常画像を送信するか、を切り替える送信データ切替部と、
再構築可能画像および再構築不可能な通常画像を送信する送信部と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ライトフィールドデータについて、不要な光線情報を削減することで、データサイズを低減することができ、送信のための消費電力が小さいライトフィールドデータ撮影装置及びその制御方法を提供する事が出来る。その結果、大きな電池を搭載することなく、十分な撮影・送信回数が確保できるカプセル内視鏡のシステムを提供することが出来る。
【図面の簡単な説明】
【００１３】
【図１】実施例１に係る撮影装置１００の構成を示すブロック図
【図２】実施例１に係る撮影装置１００の撮影から送信するまでの処理の流れを示すフロー図
【図３】ライトフィールド効果判定部１０２による効果判定処理について示した処理フロー図
【図４】撮影装置１００がカプセル内視鏡として腸の中を撮影している様子を示した図
【図５】各画素における被写体までの距離の度数を示した図
【図６】撮影装置１００がカプセル内視鏡として腸の中を撮影している様子を示した図
【図７】各画素における被写体までの距離の度数を示した図
【図８】実施例２に係る撮影装置８００の構成を示すブロック図
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１５】
[実施例１]
本発明の第１の実施形態について説明する。
【００１６】
本実施形態は、ライトフィールドデータを撮影し、送信する事が可能な撮影装置である。
【００１７】
図１は実施例１に係る撮影装置１００の構成を示すブロック図である。
【００１８】
ライトフィールドデータ撮影部１０１は、入射した光をマイクロレンズによって分割し、複数の方向の光線情報として撮影する。撮影した光線情報は、ライトフィールドデータとして、ライトフィールド効果判定部１０２および送信データ切替部１０４へ出力する。
【００１９】
ライトフィールド効果判定部１０２は、入力したライトフィールドデータを解析し、再生時に視点や焦点を変更して再生するためのデータとして効果的か否かを判定する。判定結果を送信データ切替部１０４に出力する。
【００２０】
送信画像削減部１０３は、入力したライトフィールドデータに所定の計算処理を施し、画像を構築する。この計算処理においては、予め設定された所定の視点情報、および焦点情報に合致する用に画像を構築する。構築した画像データを送信データ切替部１０４へ出力する。送信データ切替部１０４は、入力した判定結果に応じて、ライトフィールドデータもしくは画像データのいずれかを送信部１０５に出力する。送信部１０５は、入力したライトフィールドデータおよび画像データを、送信相手として予め設定された外部の受信装置に向けて送信する。
【００２１】
図２は実施例１に係る撮影装置１００の撮影から送信するまでの処理の流れを示すフロー図である。
【００２２】
ステップＳ２０１では、ライトフィールドデータ撮影部１０１が、撮影し、ライトフィールドデータを生成する。
【００２３】
ステップＳ２０２では、ライトフィールド効果判定部１０２が、ライトフィールドデータを解析し、再生時に視点や焦点を変更して再生するためのデータとして効果的か否かを判定する。
【００２４】
ステップＳ２０３では、ステップＳ２０２で判定した判定結果が効果的であればステップＳ２０4へ、効果的でなければステップＳ２０５へ処理を進める。
【００２５】
ステップＳ２０４では、送信データ切替部１０４がライトフィールドデータを送信部１０５へ出力する。送信部１０５がライトフィールドデータを受信装置に向けて送信する。
【００２６】
ステップＳ２０５では、送信画像削減部１０３が、ライトフィールドデータを所定の焦点位置、視点位置に合致する画像として構築する。ライトフィールドデータは複数の焦点位置、視点位置に合致する画像データ群と考えることが出来る。このため、ライトフィールドデータサイズに比べて、所定の焦点位置、視点位置からの画像として構築した画像データサイズは小さくなる。
【００２７】
ステップＳ２０６では、送信データ切替部１０４が画像データを送信部１０５に出力する。送信部１０５が画像データを受信装置に向けて送信する。
【００２８】
以上のステップにより、１回の撮影から送信までが行われる。これにより、撮影して取得したライトフィールドデータが、再生時に視点や焦点を変更して再生するためのデータとして効果的でないと判定された場合に、構築した画像データを送信することで送信データサイズを低減する事が出来る。一方で、再生時に視点や焦点を変更して再生することが効果的な場合には、ライトフィールドデータとして送信するため、受信装置側で視点や焦点を変更して再生する事が可能となる。
【００２９】
図３はライトフィールド効果判定部１０２による効果判定処理について示した処理フロー図である。
【００３０】
ステップＳ３０１では、入力したライトフィールドデータから、各画素における撮影装置１００と撮影対象との距離の値を算出する。
【００３１】
ステップＳ３０２では、算出した各画素の距離の値について、標準偏差を算出する。
【００３２】
ステップＳ３０３では、算出した標準偏差と所定の閾値とを比較する。閾値以上であればステップＳ３０4へ、そうでなければステップＳ３０５へ、処理を進める。
【００３３】
ステップＳ３０４では、入力されたライトフィールドデータが、再生時に視点や焦点を変更して再生するためのデータとして効果的であると判定し、その結果を送信データ切替部１０４へ出力する。
【００３４】
ステップＳ３０５では、入力されたライトフィールドデータが、再生時に視点や焦点を変更して再生するためのデータとして効果的でないと判定し、その結果を送信データ切替部１０４へ出力する。
【００３５】
以上のステップにより、入力されたライトフィールドデータが、再生時に視点や焦点を変更して再生するためのデータとして効果的であるか否かを判定する。これによって、撮影対象が奥行き方向の変化に富んでいる場合には効果的であり、そうでない場合には効果的でないと判定する事ができる。
【００３６】
図４は撮影装置１００がカプセル内視鏡として腸の中を撮影している様子を示したものであり、特に腸の向きと同じ方向に撮影装置１００が向いている場合を示している。図５は図４の場合における、各画素における被写体までの距離の度数を示している。横軸が撮影装置１００と被写体までの距離であり、縦軸がその距離の値をもつ画素の数である。
【００３７】
このようなに距離の値が特定の値に集中せずに、まばらに分布した場合、標準偏差値は閾値より大きい値となり、再生時に視点や焦点を変更して再生するためのデータとして効果的であると判定する。具体的には、再生時に撮影装置１００から近い位置に焦点を合わせて再生したり、遠い位置に焦点を合わせて再生したりすることが想定されるデータである、と判定する。
【００３８】
図６は撮影装置１００がカプセル内視鏡として腸の中を撮影している様子を示したものであり、特に腸の向きに垂直方向に撮影装置１００が向いている場合を示している。カプセル内視鏡は撮影方向の制御が困難であるため、意図せずこのようなライトフィールドデータを活かせない向きで撮影してしまうことが多々ある。図７は図６の場合における、各画素における被写体までの距離の度数を示している。横軸が撮影装置１００と被写体までの距離であり、縦軸がその距離の値をもつ画素の数である。
【００３９】
このように距離の値が特定の値に集中した場合、標準偏差値は閾値より小さい値となり、再生時に視点や焦点を変更して再生するためのデータとしては効果的でないと判断する。具体的には、再生時には撮影装置１００から特定の焦点位置にだけ焦点を合わせて再生することが想定されるデータである、と判定する。
【００４０】
以上のように、本発明の第１の実施形態である撮影装置１００によれば、再生時に視点位置や焦点位置をさまざまに変化させて再生することが想定されるデータについては、ライトフィールドデータを送信することができる。一方で、再生時に特定の視点位置や焦点位置でのみ再生する事が想定されるデータについては、構築した画像データを送信することで、送信データサイズを低減する事ができる。これによって、撮影装置１００の消費電力を低減したり、使用する通信帯域を低減したり、することが出来る。
【００４１】
なお、ライトフィールド効果判定部１０２の各画素における距離の算出について、全画素分の解析を行わなくても良い。幾つかの代表画素だけを対象とすることで判定処理に必要な処理量を低減してもよい。また、ライトフィールド効果判定部１０２の効果判定処理について、オブジェクト認識による撮影対象の認識結果によって、効果的か否かを判定しても良い。これによって、特定のオブジェクトを検出した時のみライトフィールドデータを送信するような処理としてもよい。
【００４２】
また、ライトフィールド効果判定部１０２の効果判定処理について、撮影装置１００の状態によって判定しても良い。直前の撮影時間からの経過時間が閾値以内であるか否かで判定しても良い。これによって連写などの場合は、最初の１枚のみライトフィールドデータとし、それ以降は再構成した画像データとすることができる。もしくは、撮影装置１００が電池駆動の場合に、電池の残量によって判定しても良い。
【００４３】
なお、送信画像削減部１０３が画像を構築する際に、視点位置や焦点位置を、予め保持している所定値ではなく撮影対象に応じて適切に切り替えても良い。顔認識などのオブジェクト認識によって注目領域を推定し、そこに焦点や視点を合わせても良い。また、各画素の距離の分布において、もっとも度数の大きい距離に対して焦点が合うようにしてもよい。これによって、撮影対象に応じて適切な焦点位置や視点位置で構築した画像を送信する事ができる。
【００４４】
また、送信画像削減部１０３が画像を構築する際に、１つの画像だけでなく、複数の画像を構築してもよい。各画素の距離分布について、極大となる箇所が複数ある場合、それぞれの距離に焦点があるような画像を構築し、それらの画像群を送信してもよい。なお、撮影装置１００は撮影したデータを外部の受信装置に送信するような撮影装置としたが、内部にデータを記録する構成としても良い。
【００４５】
[実施例２]
本発明の第２の実施形態について説明する。
【００４６】
本実施形態は、ライトフィールドデータおよび通常の画像を撮影し、送信する事が可能な撮影装置である。
【００４７】
図８は実施例２に係る撮影装置８００の構成を示すブロック図である。実施例１と同じ処理ブロックについては、同一の符号を付与し説明を省略する。
【００４８】
距離測定部８０１は測距センサにより撮影対象までの距離を測定する。撮影領域内で複数の位置について距離を計測する。計測した距離データは撮影方法判定部８０２に出力する。
【００４９】
撮影方法判定部８０２は、入力した複数の距離データを解析し、撮影対象が奥行き方向の変化に富んでいるか否かを判定する。変化に富んでいる場合には、ライトフィールドデータ撮影部１０１に撮影指示を、富んでいない場合には画像撮影部８０３に撮影指示を出力する。画像撮影部８０３は、撮影指示を入力した場合には、撮影対象を通常の画像として撮影する。撮影した画像データを送信部１０５へ出力する。
【００５０】
以上のように、本発明の第２の実施形態である撮影装置８００によれば、再生時に視点位置や焦点位置をさまざまに変化させて再生することが想定される撮影対象については、ライトフィールドデータを撮影することができる。一方で、再生時に特定の視点位置や焦点位置でのみ再生する事が想定される撮影対象については、通常の画像データを撮影することで、送信データサイズを低減する事ができる。これによって、撮影装置８００の消費電力を低減したり、使用する通信帯域を低減したり、することが出来る。
【符号の説明】
【００５１】
１００  本発明の第１の実施形態である撮影装置、
１０２  ライトフィールド効果判定部、１０３  送信画像削減部、
１０４  送信データ切替部、８００  本発明の第２の実施形態である撮影装置、
８０２  撮影方法判定部
【図１】
2017220766.tif 000003
【図２】
2017220766.tif 000004
【図３】
2017220766.tif 000005
【図４】
2017220766.tif 000006
【図５】
2017220766.tif 000007
【図６】
2017220766.tif 000008
【図７】
2017220766.tif 000009
【図８】
2017220766.tif 000010