(57)【要約】【課題】  深度合成の画像を生成する画像処理装置で、エッジボケの低減とともに、遠近競合の悪化を防ぐことが求められる。【解決手段】  画像処理装置は、複数の画像のコントラスト値を検出する検出手段と、遠近競合の度合いの判定を行う判定手段と、前記複数の画像の少なくとも一部の画像のそれぞれにおけるエッジ部のコントラスト値の変化を滑らかになるように、該画像に対して第１の調整を行い、複数の調整の結果を生成する第１の調整手段と、前記遠近競合の度合いがより強い位置に、より小さくなるようなゲインを算出し、前記ゲインを前記複数の調整の結果にかけてから統合した値を生成するように第２の調整を行う第２の調整手段と、前記複数の画像のそれぞれに対応する位置の前記統合した値に応じて、前記複数の画像の合成比率を設定する設定手段と、前記合成比率に基づいて、合成画像を生成する生成手段と、を有する。【選択図】  図７
2020005243.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像のコントラスト値を検出する検出手段と、
前記複数の画像の前記コントラスト値に基づいて、遠近競合の度合いの判定を行う判定手段と、
前記判定手段が前記判定を行った後の前記複数の画像の少なくとも一部の画像のそれぞれにおけるエッジ部のコントラスト値の変化を滑らかになるように、該画像に対して第１の調整を行い、複数の調整の結果を生成する第１の調整手段と、
前記第１の調整手段が前記第１の調整を行った後の前記画像のそれぞれにおいて、前記遠近競合の度合いがより強い位置に、より小さくなるようなゲインを算出し、前記ゲインを前記複数の調整の結果にかけてから統合した値を生成するように第２の調整を行う第２の調整手段であって、１つの前記画像の１つの前記位置に対して１つの前記統合した値を生成する第２の調整手段と、
前記複数の画像のそれぞれに対応する位置の前記統合した値に応じて、前記複数の画像の合成比率を設定する設定手段と、
前記合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する生成手段と、を有する画像処理装置。
【請求項２】
前記第１の調整手段が前記第１の調整を行った後に前記生成手段が生成した合成画像は、前記第１の調整手段が前記第１の調整を行わずに前記生成手段が生成した合成画像よりもエッジ部におけるボケの程度が弱いことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像は少なくとも一部の画角が重なることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記対応する位置は、前記生成手段が前記合成のために、前記複数の画像を画角が一致するように位置合わせした際に、重なる位置であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、前記複数の画像のそれぞれ対応する位置の前記コントラスト値を比較することによって、前記遠近競合の度合いを判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記判定手段は、前記複数の画像のそれぞれ対応する位置の前記コントラスト値をピント位置の順番に並べたときに、前記コントラストの極大値が２つ以上であれば、該位置に遠近競合が生じたと判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記極大値は該極大値の両側の前記コントラスト値との差が予め定められた閾値よりも大きいことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判定手段が、前記極大値の前記コントラスト値と該極大値の両側の前記コントラスト値との差に基づいて、前記遠近競合の度合いについて判定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１の調整手段が前記第１の調整を行った後の被写体に合焦している画像の該被写体のエッジ部のボケの前記コントラスト値は、前記第１の調整を行った後の該被写体に合焦していない画像の該被写体のエッジ部のボケの対応する位置の前記コントラスト値よりも高いことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記設定手段は、前記複数の画像のそれぞれにおいて対応する位置のコントラスト値のうち、より高いコントラスト値の画像に対してより大きい合成比率を設定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第１の調整手段は、異なる参照範囲を持つ複数のフィルタを用いて前記コントラスト値に対して前記第１の調整を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第２の調整手段は、前記フィルタの参照範囲に応じて該フィルタをかけた後のコントラスト値にかける前記ゲインを算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第２の調整手段が第１の参照範囲を持つ前記フィルタをかけた後のコントラスト値にかける前記ゲインが、前記第２の調整手段が前記第１の参照範囲よりも狭い第２の参照範囲を持つ前記フィルタをかけた後のコントラスト値にかける前記ゲインよりも大きいことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第１の調整手段は、前記画像に対して複数の並行する縮小拡大処理を行って前記コントラスト値を調整することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１５】
前記複数の並行する縮小拡大処理で用いられる縮小率と拡大率とは逆数であることを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記第２の調整手段は、前記縮小拡大処理に用いられる拡大率に応じて前記縮小拡大処理を行った後の前記コントラスト値にかける前記ゲインを算出することを特徴とする請求項１４または１５に記載の画像処理装置。
【請求項１７】
前記第２の調整手段が第１の拡大率を有する拡大処理をした画像にかけた前記ゲインは、前記第２の調整手段が前記第１の拡大率よりも小さい第２の拡大率を有する拡大処理をした画像にかけた前記ゲインよりも大きいことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
複数の画像を撮像する撮像手段と、
前記複数の画像のコントラスト値を検出する検出手段と、
前記複数の画像の前記コントラスト値に基づいて、遠近競合の度合いの判定を行う判定手段と、
前記判定手段が前記判定を行った後の前記複数の画像の少なくとも一部の画像のそれぞれにおけるエッジ部のコントラスト値の変化を滑らかになるように、該画像に対して第１の調整を行い、複数の調整の結果を生成する第１の調整手段と、
前記第１の調整手段が前記第１の調整を行った後の前記画像のそれぞれにおいて、前記遠近競合の度合いがより強い位置に、より小さくなるようなゲインを算出し、前記ゲインを前記複数の調整の結果にかけてから統合した値を生成するように第２の調整を行う第２の調整手段であって、１つの前記画像の１つの前記位置に対して１つの前記統合した値を生成する第２の調整手段と、
前記複数の画像のそれぞれに対応する位置の前記統合した値に応じて、前記複数の画像の合成比率を設定する設定手段と、
前記合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する生成手段と、を有する撮像装置。
【請求項１９】
複数の画像のコントラスト値を検出する検出ステップと、
前記複数の画像の前記コントラスト値に基づいて、遠近競合の度合いの判定を行う判定ステップと、
前記判定ステップにおいて前記判定を行った後の前記複数の画像の少なくとも一部の画像のそれぞれにおけるエッジ部のコントラスト値の変化を滑らかになるように、該画像に対して第１の調整を行い、複数の調整の結果を生成する第１の調整ステップと、
前記第１の調整ステップにおいて前記第１の調整を行った後の前記画像のそれぞれにおいて、前記遠近競合の度合いがより強い位置に、より小さくなるようなゲインを算出し、前記ゲインを前記複数の調整の結果にかけてから統合した値を生成するように第２の調整を行う第２の調整ステップであって、１つの前記画像の１つの前記位置に対して１つの前記統合した値を生成する第２の調整ステップと、
前記複数の画像のそれぞれに対応する位置の前記統合した値に応じて、前記複数の画像の合成比率を設定する設定ステップと、
前記合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する生成ステップと、を有する画像処理方法。
【請求項２０】
画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
複数の画像のコントラスト値を検出する検出ステップと、
前記複数の画像の前記コントラスト値に基づいて、遠近競合の度合いの判定を行う判定ステップと、
前記判定ステップにおいて前記判定を行った後の前記複数の画像の少なくとも一部の画像のそれぞれにおけるエッジ部のコントラスト値の変化を滑らかになるように、該画像に対して第１の調整を行い、複数の調整の結果を生成する第１の調整ステップと、
前記第１の調整ステップにおいて前記第１の調整を行った後の前記画像のそれぞれにおいて、前記遠近競合の度合いがより強い位置に、より小さくなるようなゲインを算出し、前記ゲインを前記複数の調整の結果にかけてから統合した値を生成するように第２の調整を行う第２の調整ステップであって、１つの前記画像の１つの前記位置に対して１つの前記統合した値を生成する第２の調整ステップと、
前記複数の画像のそれぞれに対応する位置の前記統合した値に応じて、前記複数の画像の合成比率を設定する設定ステップと、
前記合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する生成ステップと、を行わせるコンピュータのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピント位置の異なる複数の画像を合成する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどを用いて距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、撮像された複数の画像のそれぞれにおいて、合成を行う際に重なる位置に存在する画素の画素値を、それぞれの画素のコントラスト値に応じた合成比率を用いて合成を行う技術が開示されている。コントラスト値が大きな画像に対して大きな合成比率を与えることで、合焦状態にある画像の比率が大きくなるように画像の合成が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を用いて画像合成を行うと、以下のような遠近競合の課題および合成画像のエッジ部にボケ領域が出る課題が生じることがある。
【０００５】
図１５は、遠近競合について説明するための図である。図１５では、画像上の同じ位置に、カメラからの距離が異なる複数の被写体が存在しているものとする。図１５（ａ）は撮像構図であり、被写体１５０１が前方被写体、被写体１５０２が後方被写体である。図１５（ｂ）は前方被写体１５０１に合焦した際の撮像画像、図１５（ｃ）は後方被写体１５０２に合焦した際の撮像画像、図１５（ｄ）は被写体１５０１と被写体１５０２とが重なる領域に注目した図である。図１５（ｂ）のように前方被写体１５０１に合焦した場合、後方被写体１５０２は前方被写体１５０１に遮蔽されている。一方、図１５（ｃ）のように後方被写体１５０２に合焦した場合、前方被写体１５０１がぼけることで後方被写体１５０２が透けて見えてしてしまうことがある。合焦状態である前方被写体１５０１のコントラスト値よりも、合焦状態である後方被写体１５０２のコントラスト値が高い場合、特許文献１に記載の方法で合成を行うと、図１５（ｅ）に示すように後方被写体が出力されてしまうことになる。そのため、手前にある被写体の一部分が欠落した合成画像が生成されてしまう。
【０００６】
図１６は、合成画像のエッジ部にボケ領域が出る一例を説明するための図である。図１６に示した場合では、デジタルカメラ１００は、白地の背景の前にあるＸ型の被写体に対して、ピント位置１６０１乃至１６０５で５枚の画像１６１０から１６５０を撮像し、撮像した画像に対して合成を行い、合成画像１６００を生成したものとする。画像１６１０はピント位置１６０１で撮像されたものであり、画像１６２０から１６５０はピント位置１６０２乃至１６０５に対応するものとする。画像１６１０から１６５０に位置合わせが行われた後、画素１６１１から１６５１は同じ位置にあり、画素１６１２から１６５２は同じ位置にあるとする。特許文献１に開示された技術を用いて合成画像を作成すると、画素１６１２から１６５２の中から最もコントラスト値の高いものを選んで合成画像の同じ位置に使う。そこで、デジタルカメラは、画素１６３２を合成画像１６００に使うことが図示されている。しかしながら、デジタルカメラは、同様な方法で画素１６１１から１６５１の中から最もコントラスト値の高いものを選んで合成画像の同じ位置に使うと、画素１６３１のコントラスト値よりも、画素１６１１または画素１６５１のコントラスト値が高くなる。そのため、画素１６１１または画素１６５１を選んで合成画像に使ってしまう。その結果、図示されているように、合成画像１６００には、エッジ部の周辺にボケ領域が生じてしまう。
【０００７】
本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を用いて合成した画像においてエッジ部のボケ領域を低減すると同時に、遠近競合の悪化を防げる画像処理装置を提供するものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本願発明は、複数の画像のコントラスト値を検出する検出手段と、前記複数の画像の前記コントラスト値に基づいて、遠近競合の度合いの判定を行う判定手段と、前記判定手段が前記判定を行った後の前記複数の画像の少なくとも一部の画像のそれぞれにおけるエッジ部のコントラスト値の変化を滑らかになるように、該画像に対して第１の調整を行い、複数の調整の結果を生成する第１の調整手段と、前記第１の調整手段が前記第１の調整を行った後の前記画像のそれぞれにおいて、前記遠近競合の度合いがより強い位置に、より小さくなるようなゲインを算出し、前記ゲインを前記複数の調整の結果にかけてから統合した値を生成するように第２の調整を行う第２の調整手段であって、１つの前記画像の１つの前記位置に対して１つの前記統合した値を生成する第２の調整手段と、前記複数の画像のそれぞれに対応する位置の前記統合した値に応じて、前記複数の画像の合成比率を設定する設定手段と、前記合成比率に基づいて、前記複数の画像に対して合成を行い、合成画像を生成する生成手段と、を有することを特徴とする画像処理装置を提供する。
【発明の効果】
【０００９】
本発明の構成によれば、ピント位置の異なる複数の画像を撮像して合成した画像において、エッジ部のボケを低減するとともに、遠近競合による後方被写体の透過の深刻化を防ぐ画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。
【図２】本発明の第１の実施形態における合成画像の生成について説明するためのフローチャートである。
【図３】本発明の第１の実施形態における撮像について説明するためのフローチャートである。
【図４】本発明の第１の実施形態における位置合わせについて説明するためのフローチャートである。
【図５】本発明の第１の実施形態における画像の合成について説明するためのフローチャートである。
【図６】本発明の第１の実施形態における合成マップの生成について説明するためのフローチャートである。
【図７】本発明の第１の実施形態における合成マップの生成について説明するためのブロック図である。
【図８】本発明の第１の実施形態におけるコントラスト値を説明するための図である。
【図９】本発明の第１の実施形態における遠近競合の判定を説明するための図である。
【図１０】本発明の第１の実施形態における遠近競合を説明するための図である。
【図１１】本発明の第１の実施形態における遠近競合の有無とコントラスト値の変化との関係を説明するためのグラフである。
【図１２】本発明の第１の実施形態におけるゲインと遠近競合の度合いとの関係を示すグラフである。
【図１３】本発明の第２の実施形態における合成マップの生成について説明するためのフローチャートである。
【図１４】本発明の第２の実施形態における合成マップの生成について説明するためのブロック図である。
【図１５】遠近競合について説明するための図である。
【図１６】合成画像のエッジ部にボケ領域が出る一例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１２】
（第１の実施形態）
図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。
【００１３】
制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。
【００１４】
駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。
【００１５】
光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。
【００１６】
撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。
【００１７】
ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１８】
画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。
【００１９】
画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。
【００２０】
表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。
【００２１】
内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
【００２２】
操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。
【００２３】
図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して画角が一致するように位置合わせを行う。ステップＳ２０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。
【００２４】
図３は、本実施形態におけるステップＳ２０１での撮像について説明するためのフローチャートである。
【００２５】
ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。
【００２６】
ステップＳ３０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。
【００２７】
ステップＳ３０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、図３に示したフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０２に戻る。
【００２８】
図４は、本実施形態におけるステップＳ２０２での位置合わせについて説明するためのフローチャートである。
【００２９】
ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。
【００３０】
ステップＳ４０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。
【００３１】
ステップＳ４０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲として設定する。制御部１０１は、対象画像のそれぞれの探索範囲において、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ４０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００３２】
ステップＳ４０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。
【００３３】
ステップＳ４０５で、画像処理部１０７は、ステップＳ４０４で算出した変換係数を用いて対象画像に対して変換を行う。
【００３４】
たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。
【００３５】
【数１】
2020005243.tif 000003
【００３６】
（式１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。
【００３７】
ステップＳ４０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ４０２に戻る。
【００３８】
図５は、本実施形態におけるステップＳ２０３での画像の合成について説明するためのフローチャートである。
【００３９】
ステップ５０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）
【００４０】
次に、注目画素を含む３×３の画素範囲の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いて、注目画素におけるコントラスト値Ｉを算出する。
【００４１】
【数２】
2020005243.tif 000004
【００４２】
【数３】
2020005243.tif 000005
【００４３】
【数４】
2020005243.tif 000006
【００４４】
また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。
【００４５】
ステップＳ５０２で、画像処理部１０７は合成マップを生成する。合成マップの具体的な生成方法は後述する。
【００４６】
ステップＳ５０３では、画像処理部１０７は、ステップＳ５０２で算出した合成マップに従い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、画像処理部１０７は、隣接画素間で合成比率が急激に変化しないように、適宜隣接画素間での合成比率を調整する。
【００４７】
＜合成マップの生成＞
以下では、ステップＳ５０２での合成マップの生成について詳細に説明する。
【００４８】
図６は、本実施形態におけるステップＳ５０２での合成マップの生成について説明するためのフローチャットである。
【００４９】
ステップＳ６０１で、画像処理部１０７は、遠近競合の判断を行う。ステップＳ６０２では、画像処理部１０７は、遠近競合の判断の結果に基づいて、ゲインＧａｉｎ［ｋ］を算出する。遠近競合の判断は、従来技術を用いてよく、詳細は後述する。
【００５０】
ステップＳ６０３で、画像処理部１０７は、ステップＳ５０１で算出した各画素に対応するコントラスト値に対してフィルタ処理を行う。フィルタの種類としては、タップ数にて規定される参照範囲内のコントラスト値の最大値を出力するＭＡＸフィルタや平均値フィルタなどが挙げられる。なおかつ、ステップＳ６０３で、画像処理部１０７は、コントラスト値に対してタップ数の異なるフィルタを別々にかけて、コントラスト値を平滑化した複数のデータを得る。ここで説明の便宜上、Ｎ［０］、Ｎ［１］の２種類のフィルタをかけることとするが、フィルタの数は２つに限らない。Ｎ［０］のフィルタのタップ数は、Ｎ［１］よりも少ないとする。つまり、Ｎ［０］のフィルタの参照範囲は、Ｎ［１］よりも狭い。Ｎ［０］のフィルタを、スルー出力（入力と出力が同じ信号）にする形態でも良いものとする。
【００５１】
図７は、本実施形態におけるステップＳ５０２での合成マップの生成について説明するためのブロック図である。図７において、コントラスト値７０１（Ｃｍ（ｘ，ｙ））は、座標（ｘ，ｙ）のコントラスト値を意味する。コントラスト値は画素ごとに算出された場合、座標（ｘ，ｙ）が位置するブロックのコントラスト値を座標（ｘ，ｙ）のコントラスト値とする。なお、演算負荷を軽便するために、各画素に対応するコントラスト値に複数のブロックに分割し、ブロックごとの代表コントラスト値（例えば、コントラスト値の平均値）を求めるようにしてもよい。画像処理部１０７は、Ｃｍ（ｘ，ｙ）に対してフィルタ７１１（Ｎ［０］）とフィルタ７１２（Ｎ［１］）とのそれぞれをかける。このような処理で、後述する評価値の算出のため、コントラスト値の変動をなだらかにし、コントラスト値の山を周辺に広げることができる。
【００５２】
図８は、本実施形態におけるコントラスト値を説明するための図である。以下では、図８を用いてフィルタをかける前後のコントラスト値について説明する。
【００５３】
図８（ａ）と図８（ｂ）に示したような一様な模様を有する被写体を撮像する場合について考える。図８（ａ）は被写体に合焦しているときの撮像画像を示し、図８（ｂ）は被写体に合焦していないときの撮像画像を示している。簡略のため、図８（ａ）と図８（ｂ）に示した被写体の中心を通るｘ軸におけるコントラスト値を、一次元的に分析する。
【００５４】
図８（ｃ）は、図８（ａ）に示している合焦している被写体のコントラスト値とｘ軸座標との関係を示し、図８（ｄ）は、図８（ｂ）に示している合焦していない被写体のコントラスト値とｘ軸座標との関係を示す。図８（ａ）では、被写体に一様な模様があるので、図８（ｃ）では、ｘ座標が被写体内にあたるとき、コントラスト値が一様の値を示す。一方で、図８（ｂ）のように被写体がボケると、ｘ座標が被写体内にあたるときのコントラスト値が図８（ａ）と比べて下がる。図８（ｂ）では、被写体の周りにボケが出るので、図８（ｄ）でのコントラスト値が、図８（ｃ）のように両側に急激に下がらず、緩やかに減少している様子を示す。
【００５５】
図８（ｃ）と図８（ｄ）とを比較すると、範囲８０１のうちでは、図８（ｃ）に示すコントラスト値が図８（ｄ）よりも高く、範囲８０１の外では、図８（ｃ）に示すコントラスト値が図８（ｄ）よりも低いことがわかる。背景で述べた従来技術を用いて図８（ａ）と図８（ｂ）とに対して深度合成を行うと、範囲８０１の外にあたる部分は、図８（ｂ）のボケが合成画像に使われてしまう。
【００５６】
図８（ｅ）と図８（ｆ）とのそれぞれは、図８（ｃ）と図８（ｄ）とにフィルタをかけた後のコントラスト値を示すグラフである。図８（ｅ）と図８（ｆ）とは、図８（ｃ）と図８（ｄ）と比べてグラフの形がさらに両側に広がるのがわかる。もともと、図８（ｃ）に示す合焦画像、被写体のコントラスト値は、図８（ｄ）に示すボケ画像よりも高く、それにフィルタをかけた後も、ボケ画像よりも広い範囲で高い。図８（ｅ）と図８（ｆ）とを比較すると、範囲８０２のうちでは、図８（ｅ）に示すコントラスト値が図８（ｆ）よりも高く、範囲８０２の外では、図８（ｅ）に示すコントラスト値が図８（ｆ）よりも低いことがわかる。後述する評価値の算出で深度合成を行うと、範囲８０２の外にあたる部分は、図８（ｂ）のボケが合成画像に使われてしまう。ただし、範囲８０２は範囲８０１より広いので、ここで述べた算出された評価値に基づいて作成される合成画像のボケは、前述背景の従来技術で得られる合成画像のボケより少ない。同様に、さらにタップ数の多いフィルタを適用すると、さらにボケの少ない合成画像が得られる。本実施形態では、後述するように、このように異なるタップ数のフィルタをかけてさらにゲインをかけてコントラスト値を調整した結果を評価値として算出し、合成比率を算出する。
【００５７】
このように、コントラスト値に平滑化のためのフィルタを適用することで、エッジ部近傍では、ボケ画像のコントラスト値よりも、ピントが合った画像のコントラスト値が高くなることが期待できる。後述する評価値の算出で、ピントが合った画像の部分の評価値が高く算出され、合成において、ボケ画像よりピントが合った画像が選ばれることが期待できる。
【００５８】
ステップＳ６０４で、画像処理部１０７は、ステップＳ６０３でフィルタをかけて得られた結果に対して、ゲインＧａｉｎ［ｋ］をかける。たとえば、図７では、画像処理部１０７は、フィルタ７１１（Ｎ［０］）をかけた後の結果に対して、ゲインＧａｉｎ［０］をかけ、フィルタ７１２（Ｎ［１］）をかけた後の結果に対して、ゲインＧａｉｎ［１］をかける。
【００５９】
ステップＳ６０５で、画像処理部１０７は、ステップＳ６０２でゲインをかけたコントラスト値を統合してｍ枚目の画像の評価値Ｅｍ（ｘ，ｙ）を生成する。統合の方法は、ゲインをかけたコントラスト値の加算や加算平均などがあげられる。たとえば、画像処理部１０７は、図７に示したように、ゲインＧａｉｎ［０］をかけた後のコントラスト値７２１と、ゲインＧａｉｎ［０］をかけた後のコントラスト値７２２との加算値を、評価値Ｅｍ（ｘ，ｙ）とする。または、画像処理部１０７は、ゲインＧａｉｎ［０］をかけた後のコントラスト値７２１と、ゲインＧａｉｎ［０］をかけた後のコントラスト値７２２との加算平均値を、評価値Ｅｍ（ｘ，ｙ）とする。
【００６０】
ステップＳ６０６で、制御部１０１は、すべての画像に対してステップＳ６０１乃至Ｓ６０３での処理を行ったかどうかについて判断し、すべての画像が処理済みならステップＳ６０５に進む。
【００６１】
ステップＳ６０７では、画像処理部１０７は、合成比率を算出する。
【００６２】
具体的に、ｍ枚目の画像のうち、同じ座標（ｘ，ｙ）に位置する画素のうち、最も評価値の高い画像に１００％の合成比率を与える。なお、前述した通り、隣接画素間で急激な変化を生じないように、画像処理部１０７は、合成比率を適宜に調整してよい。
【００６３】
もしくは、画像処理部１０７は、下記の（式６）に従い、合成比率を算出する。
【００６４】
【数５】
2020005243.tif 000007
【００６５】
ただし、（式６）では、Ｍは画像の枚数を示し、（ｘ，ｙ）は座標を示す。さらに、ステップＳ５０３で、（式６）の計算結果を用いて下記の（式７）に代入して合成画像を生成する。
【００６６】
【数６】
2020005243.tif 000008
【００６７】
ただし、（式７）では、Ｉｋ（ｘ，ｙ）は、ｋ枚目の画像の座標（ｘ，ｙ）の画素値を示し、Ｏ（ｘ，ｙ）は合成画像の座標（ｘ，ｙ）の画素値を示す。
【００６８】
また、（式６）の計算において、適宜に変形してもよい。たとえば、（式６）の分母の計算のとき、Ｅｍ（ｘ，ｙ）の値が所定値以下のものは０とみなしてよい。また、（式６）の右側の計算結果が所定値以上になれば、Ａｍを１００％とみなしてもよい。
【００６９】
＜ゲインの算出＞
以下では、ステップＳ６０２ゲインＧａｉｎ［ｋ］の算出について詳細に説明する。
【００７０】
まず、画像処理部１０７は、ステップＳ６０１で、複数の画像のコントラスト値から、遠近競合が生じたかどうかについて判定する。遠近競合の判定は従来技術を用いてよく、以下では、一例をあげて簡単に説明する。
【００７１】
図９は、本実施形態における遠近競合の判定を説明するための図である。図９では、ピント位置の異なる複数の画像の対応する画素のコントラスト値を示している。横軸のピント位置の数字はピント位置とデジタルカメラ１００との距離を示している。ピント位置が８のところで、ピント位置とデジタルカメラ１００との距離が最も遠く（最無限遠側）、ピント位置が１のところで、ピント位置とデジタルカメラ１００との距離が最も近い（最至近側）とする。
【００７２】
図９（ａ）では、ピント位置が２のところで、コントラスト値９１２が極大値になったことを示している。画像処理部１０７は、ピント位置が２のところで、被写体に合焦していると判定する。
【００７３】
図９（ｂ）では、ピント位置が２と７のところのそれぞれで、コントラスト値９２２と９２７が極大値になったことを示している。画像処理部１０７は、前後２つの被写体に合焦し、遠近競合によるものと判定する。つまり、画像処理部１０７は、図９（ｂ）のように、２つ以上の極大値が存在する場合、遠近競合が生じたと判定する。
【００７４】
図９（ｂ）で示したような場合、コントラスト値９２７はコントラスト値９２２よりも高いので、仮に画像処理部１０７はコントラスト値９２７をもつ画素により高い合成比率を与えると、前述したような遠近競合の課題が生じてしまう。つまり、合成画像において２つの被写体が重なる領域では、遠いほうの被写体が近いほうの被写体に透過してしまう。
【００７５】
なお、図９（ｃ）のように、ほかの極大値と比べて、両側の画素とのコントラスト値の差がきわめて小さい極大値９３２が存在する場合がある。画像処理部１０７は、こうした値は、ノイズなどによる影響の可能性が高いと判定する。つまり、画像処理部１０７は、ピント位置２のところに被写体に合焦していると判定しない。画像処理部１０７は、予め閾値を設けて、閾値を用いてノイズと極大値とを区別する。
【００７６】
ステップＳ６０１で、画像処理部１０７は、以上のような処理をすべての対応する画素に対して行うことで、遠近競合がどこに生じているかを判定する。
【００７７】
次に、ステップＳ６０２で、画像処理部１０７は、遠近競合の度合いに基づいて、ゲインを算出する。ここで、遠近競合の度合いを考慮したうえでのゲインの算出が必要である。遠近競合が生じている領域では、単純にコントラストを周囲に広げると、ピント位置の異なる被写体のコントラストが混ざり、後述する評価値の算出を行って合成画像を作成すると、遠近競合がさらに進んでしてしまう可能性もある。この傾向は、遠近競合の度合いが強いほど深刻化する。そのため、画像処理部１０７は、遠近競合の度合いに基づいて、ゲインを遠近競合の領域以外の領域と異なる方法で算出する。
【００７８】
まず、画像処理部１０７は、遠近競合の度合いを算出する。一例としては、画像処理部１０７は、遠近競合が生じる２つの被写体に合焦しているときのコントラスト値の和を遠近競合の度合いとして算出してよい。一般的に、前後２つの被写体に合焦しているときのコントラスト値が高いほど、遠近競合が生じるとき２つの被写体が周囲よりもはっきりと見えるので、遠近競合の度合いが強い。つまり、図９（ｂ）に示しているコントラスト値９２２と９２７の和を遠近競合の度合いとする。
【００７９】
図１０は、本実施形態における遠近競合を説明するための図である。
【００８０】
図１０（ａ）では、デジタルカメラ１００が位置１０１１に存在している被写体１００１を撮像する様子を示している。この場合では、位置１０１２には被写体が存在していない。
【００８１】
図１０（ｂ）では、デジタルカメラ１００が位置１０１１に存在している被写体１００１と位置１０１２に存在している被写体１００２とを撮像する様子を示している。
【００８２】
図１０（ｃ）は、図１０（ｃ）の場合で、デジタルカメラ１００が位置１０１１と位置１０１２とのそれぞれにピントを合わせるときに撮像した画像を示している。デジタルカメラ１００が位置１０１１にピントを合わせるとき（前ピンのとき）、被写体１００１がはっきりに見え、デジタルカメラ１００が位置１０１２にピントを合わせるとき（後ピンのとき）、被写体１００１がボケる様子がわかる。
【００８３】
図１０（ｄ）は、図１０（ｂ）の場合で、デジタルカメラ１００が位置１０１１と位置１０１２とのそれぞれにピントを合わせるときに撮像した画像を示している。デジタルカメラ１００が位置１０１１にピントを合わせるとき（前ピンのとき）、被写体１００１がはっきりに見え、被写体１００２がボケる。同様に、デジタルカメラ１００が位置１０１１にピントを合わせるとき（前ピンのとき）、被写体１００１がはっきりに見え、被写体１００２がボケる。さらに、図１０（ｄ）では、遠近競合が生じている様子を示している。デジタルカメラ１００が位置１０１１にピントが合わせているとき、被写体１００１が被写体１００２の手前側に位置するように見える。しかし、デジタルカメラ１００が位置１０１２にピントが合わせているとき、被写体１００１が被写体１００２の奥側に位置するように見える。
【００８４】
なお、図１０（ｃ）および図１０（ｄ）におけるぼけている被写体の像のサイズは、誇張されて描かれている。
【００８５】
図１１は、本実施形態における遠近競合の有無とコントラスト値の変化との関係を説明するためのグラフである。図１１（ａ）は、図１０（ｃ）に示す画像、つまり遠近競合が起きている場合に対応し、図１１（ｂ）は、図１０（ｄ）に示す画像、つまり遠近競合が起きている場合に対応する。図１１（ａ）および図１１（ｂ）のグラフは、コントラスト値とｘ軸との関係を示している。ｘ軸とは、図１０（ｃ）および図１０（ｄ）に示したｘ軸に対応し、原点０も互いに対応している。
【００８６】
図１１（ａ）は、曲線１１０１と１１０２とがフィルタをかける前の前ピンと後ピンとの場合のコントラスト値を示す。曲線１１０３と１１０４とがフィルタをかけた後の前ピンと後ピンとの場合のコントラスト値を示す。図１１（ａ）から見れば、フィルタをかける前に、一部の領域において、曲線１１０１のコントラスト値が曲線１１０２に下回るが、フィルタをかけた後、曲線１１０３が完全に曲線１１０４の上にあると見える。つまり、フィルタをかけることによって、エッジ部の周辺にボケ領域が生じるという課題が解消される。
【００８７】
図１１（ｂ）は、曲線１１１１と１１１２とがフィルタをかける前の前ピンと後ピンとの場合のコントラスト値を示す。曲線１１１３と１１１４とがフィルタをかけた後の前ピンと後ピンとの場合のコントラスト値を示す。図１１（ｂ）から見れば、フィルタをかける前に、領域１１１５において、曲線１１１１のコントラスト値が曲線１１１２に下回る。しかし、フィルタをかけた後は、領域１１１５において、曲線１１１４が曲線１１１３に下回ってしまうことがわかる。もともと、領域１１１５は被写体１００１が写らないが、曲線１１１３と曲線１１１４との通りに合成を行うとき、被写体１００１のボケ部分が領域１１１５に使われて、ボケが解消されない合成画像になってしまう。
【００８８】
以上に示しているように、遠近競合のせいで、フィルタをかけることによって、エッジ部の周辺にボケ領域が生じるということが解消されず、逆に悪化してしまう可能性が示されている。このため、遠近競合が生じる場合、通常と異なる方法でフィルタをかける必要がある。
【００８９】
図１２は、本実施形態におけるゲインと遠近競合の度合いとの関係を示すグラフである。図１２（ａ）はｋ＝０の場合を示し、図１２（ｂ）はｋ＝１の場合を示す。遠近競合の度合いが強いほど、コントラスト値を広げると遠近競合が進んでしまう可能性があるので、ゲインを小さくすることで遠近競合の抑制を図る。
【００９０】
なお、タップ数が大きいフィルタほど、ピントが合った画像のフィルタをかけた後のコントラスト値がより広く、なだらかになるので、タップ数の大きいフィルタほど、ゲインを大きくする。つまり、ゲインＧａｉｎ［ｋ］において、ｋが高いほど、図１２におけるｇ＿ｍａｘを高くする必要がある。
【００９１】
また、遠近競合が生じた領域において、画像処理部１０７は、ピント位置によって、ゲインを適宜に調整してよい。前述した通り、遠近競合の現象を緩和するために、コントラスト値に重みづけ係数をかけてから合成比率を決めることがある。同一位置の合焦している複数の画素のうち、遠いほうの画素を透過させないために、近いほうの画素の合成比率を適宜にあげてもよい。本実施形態においては、画像処理部１０７は、遠近競合の領域において、ピント位置の近い画素にかけた重みづけ係数をさらに高めることで、遠近競合を防ぐ効果がより一層上がる。
【００９２】
以上のように、画像処理部１０７は、遠近競合を判定し、ゲインＧａｉｎ［ｋ］を算出する。ここで算出したゲインＧａｉｎ［ｋ］をステップＳ６０４に用いる。
【００９３】
第１の実施形態によれば、タップ数の異なるフィルタをかけた出力に対して、遠近競合を考慮したうえでゲインをかけて統合した評価値を用いて合成画像を生成することで、エッジ部のボケの程度の低減とともに、遠近競合の悪化を防げる。
【００９４】
（第２の実施形態）
第１の実施形態では、コントラストを周辺画素まで広げる処理をタップ数の異なるフィルタで実現したが、第２の実施形態では、多重解像度画像を用いてコントラストを周辺画素まで広げる。以下では、第２の実施形態について、第１の実施形態と異なる所を中心に説明する。なお、第１の実施形態と同様な所は省略する。
【００９５】
第２の実施形態のフローは、第１の実施形態の図２乃至図５と同様である。しかし、第２の実施形態におけるステップＳ５０２での合成マップの生成は、第１の実施形態と異なる。
【００９６】
図１３は、第２の実施形態におけるステップＳ５０２での合成マップの生成について説明するためのフローチャートである。図１４は、第２の実施形態におけるステップＳ５０２での合成マップの生成について説明するためのブロック図である。
【００９７】
ステップＳ１３０１では、画像処理部１０７は、ステップＳ５０１で算出したコントラスト値に対して、縮小率が異なる縮小部１４１１（縮小率１／Ｌ［０］）、１４１２で縮小処理（縮小率１／Ｌ［１］）を行う。縮小部１４１１の出力は拡大部１４２１（拡大率Ｌ［０］）、縮小部１４１２の出力は拡大部１４２２（拡大率Ｌ［１］）で拡大処理を行う。Ｌ［１］はＬ［０］より数値が大きいことを示す。また、図１４は２個の縮小部と２個の拡大部を例にしているが、その数に制約はないものとする。また、縮小部１４１１、拡大部１４２１をスルー出力（入力と出力が同じ信号）にする形態でも良いものとする。このように、逆数である縮小率と拡大率を用いることで、１つの縮小拡大処理を経て画像が元のサイズに戻れる。
【００９８】
前述した並行する縮小拡大処理により、第１の実施形態と同様に、検出したコントラスト値を、その周辺領域に広げることができる。したがって、エッジ部のボケが発生している画素のコントラスト値よりも、ピントが合った画像のコントラスト値が高くなり、ピントが合った画像が出力しやすくなる。
【００９９】
また、縮小や拡大の方法に関してはニアレストネイバー、バイリニア、バイキュービック等を用いることが可能だが、算出したコントラストを周辺画素に広げることができれば、これらの方法以外でも良い。
【０１００】
ここで、第１の実施形態と同様に、遠近競合が生じている領域について、遠近競合の度合いが強いほど、ゲインを小さくする。これにより、縮小拡大の処理で遠近競合が悪化することを防ぐ。
【０１０１】
ステップＳ１３０５以降の処理（ゲインをかける処理から合成画像を生成する処理まで）は第１の実施形態と同様であるため省略する。
【０１０２】
第１の実施形態によれば、多重解像度画像を用いた処理を経て、遠近競合を考慮したうえでゲインをかけて統合した評価値を用いて合成画像を生成ことで、エッジ部のボケの程度の低減とともに、遠近競合の悪化を防げる。
【０１０３】
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。
【０１０４】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０５】
１００  デジタルカメラ
１０１  制御部
１０２  駆動部
１０３  光学系
１０４  撮像部
１０５  ＲＯＭ
１０６  ＲＡＭ
１０７  画像処理部
１０８  表示部
１０９  内蔵メモリ
１１０  操作部
【図１】
2020005243.tif 000009
【図２】
2020005243.tif 000010
【図３】
2020005243.tif 000011
【図４】
2020005243.tif 000012
【図５】
2020005243.tif 000013
【図６】
2020005243.tif 000014
【図７】
2020005243.tif 000015
【図８】
2020005243.tif 000016
【図９】
2020005243.tif 000017
【図１０】
2020005243.tif 000018
【図１１】
2020005243.tif 000019
【図１２】
2020005243.tif 000020
【図１３】
2020005243.tif 000021
【図１４】
2020005243.tif 000022
【図１５】
2020005243.tif 000023
【図１６】
2020005243.tif 000024