(57)【要約】【課題】全周囲画像を伝送する場合、画像受信側の表示画像の鮮鋭感を向上させ、被写体の視認性を向上させる。【解決手段】撮像部（２）で生成された撮像画像と、視点変換画像とを画面の長辺方向に並べて配置した合成画像を生成し（５）、鮮鋭感を向上させ（６）、画像圧縮して（７）、伝送する（８）。撮像画像を、高域成分を多く含む方向、又は注目被写体を多く含む方向が長辺方向となるように回転（４）させた上で、その長辺方向端部を中心とする視点変換画像を付加しても良い。【選択図】図１
2015220706.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して、全周囲画像を撮像画像として生成する撮像部と、
前記撮像部で生成された撮像画像と、該撮像画像から生成された少なくとも一つの視点変換画像とを画面の長辺方向の異なる位置に配置した合成画像を生成する画像合成回路と、
前記画像合成回路で生成された合成画像の鮮鋭感を向上させる鮮鋭感向上回路と、
前記鮮鋭感向上手段から出力された画像を画像圧縮する画像圧縮回路と、
前記画像圧縮回路から出力された圧縮画像を伝送する画像伝送回路と
を備えることを特徴とする撮像装置。
【請求項２】
前記画像合成回路は、前記撮像画像を左側からの視点の画像に変換することで得られた左側視点画像を撮像画像の左側に配置し、前記撮像画像を右側からの視点の画像に変換することで得られた右側視点画像を撮像画像の右側に配置することで、前記合成画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部から出力された撮像画像を、回転させ、前記画像合成回路に入力する画像回転回路をさらに備えることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像回転回路は、前記撮像画像の高域成分が最も多い方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像回転回路は、前記撮像画像のうち、その周縁部における高域成分が最も多い方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像回転回路は、予め定められた複数の方向の各々における高域成分の量を算出し、算出した高域成分の量が最大である方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
前記画像回転回路は、前記撮像画像のうち、高域成分が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項３に記載の撮像装置。
【請求項８】
前記画像回転回路は、前記撮像画像のうち、その周縁部において、高域成分が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像回転回路は、予め定められた複数の方向の各々に延びた細長い領域、又は前記複数の方向の各々に整列した複数の領域における高域成分の量を算出し、算出した高域成分の量が最大である方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
前記画像回転回路は、前記撮像画像のうち、注目被写体が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項３に記載の撮像装置。
【請求項１１】
前記画像回転回路は、前記撮像画像のうち、その周縁部において、注目被写体が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記画像回転回路は、注目被写体のうち、予め定められた複数の方向の各々に延びた細長い領域、又は前記複数の方向の各々に整列した複数の領域に重なる部分の面積を算出し、算出した面積が最大である方向が、画面の長辺方向となるように画像を回転させる
ことを特徴とする請求項１０又は１１に記載の撮像装置。
【請求項１３】
全周囲画像を前記撮像部に結像させる光学手段をさらに備え、
前記光学手段は、魚眼レンズ、又は全方位反射光学系で構成されることを特徴とする請求項１から１２のいずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全周囲画像を得ることができる撮像装置に関し、特に全周囲画像の周縁部において、鮮鋭感を高める技術に関する。
【背景技術】
【０００２】
３６０度の全周囲画像を得る従来の撮像装置として、撮像で得られた画像データを圧縮して伝送し、受信側で歪補正、画像拡大を行って表示することが知られている。その場合に、重点的に監視したい部分領域のデータと、全体領域のデータを別にして送信することも知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０９７２５号公報（第３頁、段落００１６）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の撮像装置は、全体領域の画像データと部分領域の画像データを画像圧縮して伝送するので、受信側において各部分を切出して歪補正して表示するときに、解像度が十分でなく画像がぼやけて細部が視認できなくなる問題があった。また、画像のぼやけを補正しようと鮮鋭感を向上させる処理を適用した場合に、画像圧縮に伴うノイズや不自然なアーティファクトを強調して被写体の視認性が損なわれるという問題があった。
【０００５】
この発明は、上述のような課題を解決するためになされたもので、全体画像を伝送し、画像受信側で注目部分を切り出して歪補正して表示するときに、画像のぼやけを防ぐことができる撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、
被写体を撮像して、全周囲画像を撮像画像として生成する撮像部と、
前記撮像部で生成された撮像画像と、該撮像画像から生成された少なくとも一つの視点変換画像とを画面の長辺方向の異なる位置に配置した合成画像を生成する画像合成回路と、
前記画像合成回路で生成された合成画像の鮮鋭感を向上させる鮮鋭感向上回路と、
前記鮮鋭感向上手段から出力された画像を画像圧縮する画像圧縮回路と、
前記画像圧縮回路から出力された圧縮画像を伝送する画像伝送回路と
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明の撮像装置によれば、全周囲の撮像画像と、該撮像画像から生成された少なくとも一つの視点変換画像とを画面の長辺方向の異なる位置に配置した合成画像を生成し、鮮鋭感を向上させてから、画像圧縮して伝送するので画像受信側の表示画像の鮮鋭感が向上し被写体の視認性が向上するという効果がある。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１の撮像装置を示すブロック構成図である。
【図２】図１の撮像装置を備えた監視システムを示すブロック構成図である。
【図３】図１の撮像部２の出力画像の一例を示す図である。
【図４】図１の画像回転回路４の一例を示すブロック構成図である。
【図５】図１の画像回転回路４において高域成分の量の算出を行う複数の方向を示す図である。
【図６】垂直方向における高域成分が多い画像の一例を示す図である。
【図７】図１の画像回転回路４による回転後の画像の一例を示す図である。
【図８】図１の画像合成回路５の一例を示すブロック構成図である。
【図９】仮想的な半球面から平面への画像の射影を示す図である。
【図１０】（ａ）〜（ｃ）は、異なる平面への射影により形成される画像の例を示す図である。
【図１１】図１０（ａ）〜（ｃ）の画像を組合わせることで得られる合成画像の例を示す図である。
【図１２】図１の画像合成回路５による合成後の画像を示す図である。
【図１３】図１の画像回転回路４の第３の高域成分算出回路４１ｃで高域成分の算出に用いられる領域の例を示す図である。
【図１４】図１の画像回転回路４の第３の高域成分算出回路４１ｃで高域成分の算出に用いられる領域の他の例を示す図である。
【図１５】図１の画像回転回路４の第３の高域成分算出回路４１ｃで高域成分の算出に用いられる領域のさらに他の例を示す図である。
【図１６】本発明の実施の形態２で用いられる画像回転回路４の一例を示すブロック構成図である。
【図１７】被写体検出回路に入力される画像の例を示す図である。
【図１８】図１６の画像回転回路４の第３の面積算出回路４７ｃで面積の算出に用いられる領域の一例を示す図である。
【図１９】図１の画像回転回路４による回転後の画像を示す図である。
【図２０】図１の画像合成回路５による合成後の画像を示す図である。
【図２１】図１６の画像回転回路４の第３の面積算出回路４７ｃで面積の算出に用いられる領域の他の例を示す図である。
【図２２】図１６の画像回転回路４の第３の面積算出回路４７ｃで面積の算出に用いられる領域のさらに他の例を示す図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は本発明の実施の形態１の撮像装置を含む監視システムを示す。
図示の撮像装置１０は、レンズ１と、撮像部２と、撮像信号処理回路３と、画像回転回路４と、画像合成回路５と、鮮鋭感向上回路６と、画像圧縮回路７と、画像伝送回路８とを有する。撮像部２は、撮像素子２ａと、Ａ／Ｄ変換部２ｂとを有する。
【００１０】
図１の撮像装置１０は、例えば、図２に示すように、ネットワーク１５を介して受信装置２０と接続されており、撮像装置１０と受信装置２０とで監視システムが構成されている。
【００１１】
図１において、レンズ１は、魚眼レンズで、全周囲の画像（撮像画像）を撮像部２の撮像素子２ａの撮像面ＳＣ上に合焦させる。図３のように、撮像部２の撮像面ＳＣは、長方形状であり、撮像面ＳＣ上に円形の撮像画像Ｄ２が形成される。撮像面ＳＣの水平方向のサイズ（画素数）をＮｈで表し、垂直方向のサイズ（画素数）をＮｖで表す。
以下では便宜上、長方形の長辺の方向を水平方向と言い、短辺の方向を垂直方向という。ＮｈとＮｖの比（アスペクト比）は例えば４：３、或いは１６：９である。
【００１２】
また、撮像部２から出力される撮像信号を受けて処理を行う回路、即ち、撮像信号処理回路３、画像回転回路４、画像合成回路５、鮮鋭感向上回路６、及び画像圧縮回路７も撮像面ＳＣと同じサイズの画面（撮像面と同じ符号「ＳＣ」で表す）上で画像を処理するものであるものとして、言い換えると、これらの回路が撮像面ＳＣと同じサイズの画像に対応した伝送路を有するものとして説明を行う。
さらにまた、円形の撮像画像Ｄ２は、撮像面ＳＣの中央に、撮像面ＳＣの上下端（上下の長辺）に接するように形成されるものとする。
【００１３】
撮像部２の撮像素子２ａで光電変換され、Ａ／Ｄ変換部２ｂでＡ／Ｄ変換された後、撮像部２から出力され、撮像信号処理回路３に供給される。
撮像信号処理回路３は、入力された撮像信号に対して、色同時化処理、階調補正処理、露光調整処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などの処理を施し、これらの処理の結果生成された映像信号を出力する。
【００１４】
画像回転回路４は、撮像信号処理回路３から出力される映像信号で表される撮像画像に含まれる、複数の異なる方向毎の高周波数成分（高域成分）を検出し、高域成分を最も多く含む方向が画面の水平方向に向くように、撮像画像を回転させ、回転後の画像を画像合成回路５に供給する。
【００１５】
画像回転回路４は例えば図４に示されるように、第１乃至第４の高域成分算出回路４１ａ〜４１ｄと、最大判断回路４２と、回転回路４３とを有する。
【００１６】
撮像信号処理回路３から撮像画像が入力端子４０に印加され、第１乃至第４の高域成分算出回路４１ａ〜４１ｄ及び回転回路４３に供給される。
【００１７】
第１乃至第４の高域成分算出回路４１ａ〜４１ｄは、それぞれ画像の第１乃至第４の方向における高域成分の量を算出する。第１乃至第４の方向は、例えば図５に符号ＤＲａ〜ＤＲｄで示す方向である。図５に示す例では、第１の方向ＤＲａは画面ＳＣの長辺方向、即ち水平方向であり、第２の方向ＤＲｂは水平右向きの方向に対して反時計まわりに４５度の角度を成す方向、従って右上がりの方向（第１の斜め方向）であり、第３の方向ＤＲｃは垂直方向であり、第４の方向ＤＲｄは水平右向きの方向に対して反時計まわりに１３５度の角度を成す方向、従って、左上がりの方向（第２の斜め方向）である。なお、図５において、撮像画像Ｄ２は、図３と同様に画面ＳＣの上端ＳＣＴ及び下端ＳＣＢに接している。
【００１８】
各方向の高域成分算出回路（４１ａ〜４１ｄ）は、当該方向の高域成分（予め定められた空間周波数以上の成分）を抽出するハイパスフィルタと、該ハイパスフィルタの出力を積分する積分回路で実現することができる。
【００１９】
最大判断回路４２は、第１乃至第４の高域成分算出回路４１ａ〜４１ｄの出力を比較し、高域成分算出回路４１ａ〜４１ｄのうち、出力が最大であるものが検出した高域成分の方向を、高域成分の量が最大である方向と判断乃至特定して回転回路４３に知らせる。
回転回路４３は最大判断回路４２で判断した、高域成分の量が最大である方向が水平方向となるように画像を回転させて、回転後の画像Ｄ４を、出力端子４４を介して出力する。
【００２０】
図６は、垂直方向ＤＲｃに高域成分が多く含まれる画像の一例を示す。図示の例では、垂直方向ＤＲｃに延びた細長い領域内にコントラストの大きい白黒文字パターンが多く存在し、白黒文字パターンには、垂直方向ＤＲｃに直交するエッジが多く含まれる。このような画像の場合、第３の高域成分算出回路４１ｃの出力が最大となる。
この場合、最大判断回路４２は、第３の高域成分算出回路４１ｃの出力が最大と判断して、この判断結果を示すデータ（垂直方向ＤＲｃの高域成分の量が最大であることを示すデータ）を回転回路４３に供給する。
【００２１】
回転回路４３は、撮像信号処理回路３から入力端子４０を介して供給された画像Ｄ２を回転させて、図７に示すように、垂直方向ＤＲｃが回転後の画像Ｄ４において水平方向となるようにする。画像を時計まわりに９０度回転させることで、回転前の垂直方向ＤＲｃが回転後の水平方向となる。なお、代わりに反時計まわりに９０度回転させても良い。
回転後の画像Ｄ４は出力端子４４を介して出力され、画像合成回路５に供給される。
【００２２】
画像合成回路５は、回転後の撮像画像Ｄ４に基づき左側視点画像Ｄ４Ｌと右側視点画像Ｄ４Ｒとを生成し、生成した左側視点画像Ｄ４Ｌ及び右側視点画像Ｄ４Ｒとを合成して合成画像Ｄ５を鮮鋭感向上回路６に供給する。左側視点画像Ｄ４Ｌは画像Ｄ４を左側からの視点の画像に変換することで得られた画像であり、右側視点画像Ｄ４Ｒは画像Ｄ４を右側からの視点の画像に変換することで得られた画像である。
【００２３】
画像合成回路５は、例えば図８に示すように、第１の視点変換回路５１と、第２の視点変換回路５２と、合成回路５３とを有する。
【００２４】
撮像画像Ｄ２は、図９に示すように、仮想的な半球面ＳＰに投影された画像を、半球面の軸線（半球の中心ＧＯと、半球面の中心ＳＯを結ぶ線）ＡＸに直交する平面ＡＰに投影することで得られる画像であり、図３（ａ）に示すように円形であり、撮像画像Ｄ２を回転させることで得られる画像Ｄ４も図１０（ａ）に示すように円形である。
【００２５】
左側視点画像Ｄ４Ｌ及び右側視点画像Ｄ４Ｒは、半球面ＳＰに投影された画像を半球面の中心ＳＯ以外の点、例えば半球面の周縁ＰＲに近い点ＬＯ、ＲＯと半球の中心ＧＯとを結ぶ線ＬＸ、ＲＸに直交する面ＬＰ、ＲＰに投影することで得られる画像であり、図１０（ｂ）、（ｃ）に示すように半円と半楕円（楕円の半分）を組合せた形状の画像である。点ＬＯ、ＲＯとしては、図１０（ａ）において円の左右の端部に近い点ＬＯａ、ＲＯａに対応する球面ＳＰ上の点が選択される。
【００２６】
図１０（ａ）の回転画像Ｄ４上の点ＡＯ、ＬＯａ、ＲＯａは、図１０（ｂ）の左側視点画像Ｄ４Ｌにおいては、符号ＡＯＬ、ＬＯａＬで示す点であり、図１０（ａ）の回転画像Ｄ４上の点ＡＯ、ＲＯａは、図１０（ｃ）の右側視点画像Ｄ４Ｒにおいては、符号ＡＯＲ、ＲＯａＲで示す点である。即ち、上記のようにして生成される左側視点画像Ｄ４Ｌ及び右側視点画像Ｄ４Ｒは、それぞれ、画像Ｄ４の左端に近い点ＬＯａ及び右端に近い点ＲＯａを中心ＬＯａＬ、ＲＯａＲとする視点変換画像である。
【００２７】
回転画像Ｄ４の左側の円弧Ｄ４ａと楕円弧Ｄ４ｂとの間の領域Ｄ４ｃが、左側視点画像Ｄ４Ｌにおいては、それぞれ円弧Ｄ４ａ、楕円弧Ｄ４ｂに対応する楕円弧Ｄ４Ｌａ、Ｄ４Ｌｂに囲まれた楕円状の領域Ｄ４Ｌｃとなっており、しかもその幅が領域Ｄ４ｃよりも大きくなっている。言い換えると、水平方向に拡大されている。また、これとともに図示のように、上下方向における中央部分が、垂直方向にも拡大される。従って、この領域における視認性が向上する。
【００２８】
同様に、回転画像Ｄ４の右側の円弧Ｄ４ｄと楕円弧Ｄ４ｅとの間の領域Ｄ４ｆが、右側視点画像Ｄ４Ｒにおいては、それぞれ円弧Ｄ４ｄ、楕円弧Ｄ４ｅに対応する楕円弧Ｄ４Ｒｄ、Ｄ４Ｒｅに囲まれた楕円状の領域Ｄ４Ｒｆとなっており、しかもその幅が領域Ｄ４ｆよりも大きくなっている。言い換えると、水平方向に拡大されている。また、これとともに図示のように、上下方向における中央部分が、垂直方向にも拡大される。従って、この領域における視認性が向上する。
【００２９】
合成回路５３は、図１０（ａ）に示す回転画像Ｄ４と、図１０（ｂ）に示す左側視点画像Ｄ４Ｌと、図１０（ｃ）に示される右側視点画像Ｄ４Ｒを合成する。
この合成に当たり、図１１に示すように、回転画像Ｄ４を画面ＳＣの水平方向の中央部に配置し、左側視点画像Ｄ４Ｌを回転画像Ｄ４の左側に、右側視点画像Ｄ４Ｒを回転画像Ｄ４の右側に配置する。このとき、左側視点画像Ｄ４Ｌをその左端が画面ＳＣの左端ＳＣＬに一致するように、かつ右側視点画像Ｄ４Ｒをその右端が画面ＳＣの右端ＳＣＲに一致するように配置するのが望ましい。そのようにすることで画面を最大限に利用することができ、また、左側視点画像Ｄ４Ｌの左寄りの部分及び右側視点画像Ｄ４Ｒの右寄りの部分が回転画像Ｄ４と重ならないようにすることができる。
【００３０】
回転画像Ｄ４と左側視点画像Ｄ４Ｌとが重なる箇所においては、そのいずれかを前に出し、他方を隠す。図１１に示す例では、回転画像Ｄ４を前に出している。同様に、回転画像Ｄ４と右側視点画像Ｄ４Ｒとが重なる箇所ＯＶＬ、ＯＶＲにおいては、そのいずれかを前に出し（前景とし）、他方を隠す（背景とする）。図１１に示す例では、回転画像Ｄ４を前に出している。
【００３１】
図８乃至図１１を参照して説明した処理を図７に示す画像に加えた結果を図１２に示す。
上記のように、左側視点画像Ｄ４Ｌをその左端が画面ＳＣの左端ＳＣＬに一致するように、かつ右側視点画像Ｄ４Ｒをその右端が画面ＳＣの右端ＳＣＲに一致するように配置することで、左側視点画像Ｄ４Ｌ及び右側視点画像Ｄ４Ｒの一部が回転画像Ｄ４に隠される場合には、左側視点画像Ｄ４Ｌの左寄りの部分及び右側視点画像Ｄ４Ｒの右寄りの部分が回転画像Ｄ４に隠されないようにすることができる。
【００３２】
以上、半球面から平面への投影が、正射影方式により行われるものとして図示及び説明をしたが、半球面から平面への投影が他の射影方式、例えば立体射影方式、等距離射影方式、等立体射影方式など他の射影方式で行われる場合にも本発明を適用することができる。
【００３３】
以上の合成により生成された合成画像Ｄ５は、出力端子５４を介して鮮鋭感向上回路６に供給する。
【００３４】
鮮鋭感向上回路６は、画像合成回路５から供給された合成画像の鮮鋭感を向上させて、画像圧縮回路７に供給する。
鮮鋭感の向上は、例えば高域成分を強調する処理、即ち輪郭を強調する処理によって行われる。また、入力画像に存在しない高解像度成分を予測し、高解像度化を行う超解像処理を行っても良い。
超解像処理には、
（ａ）元の画像と縮小画像の差分関係から、元の画像と高解像度画像の差分関係を類推して高解像度画像を得る超解像処理、
（ｂ）実稼働中に入力される画像からの学習により更新される辞書を使って鮮鋭感を向上させる自己学習型の超解像処理、
（ｃ）事前に適切な高解像度化を学習した辞書を使う辞書型の超解像処理、及び
（ｄ）事前に決めた被写体のオブジェクトに基づく辞書を使うオブジェクト特化型の超解像処理があり、これらのいずれを用いても良い。
【００３５】
鮮鋭感向上後の画像は画像圧縮回路７に供給される。画像圧縮回路７は、Ｈ．２６４などの圧縮方式で画像を圧縮して、画像伝送回路８に供給する。
【００３６】
画像伝送回路８はＩＰパケットにして出力端子９から図２に示されるネットワーク１５に出力する。
【００３７】
画像伝送回路８から出力された画像は、例えば図２に示されるようにネットワーク１５を介して受信装置２０で受信される。受信装置２０は、画像受信回路２１と、画像復号回路２２と、受信信号処理回路２３と、画像表示部２４とを有する。画像受信回路２１は、伝送された画像を受信する。画像復号回路２２は、受信された信号を復号する。受信信号処理回路２３は、画像の一部を切出し、歪補正、パン（方位角の変更）、チルト（天頂角の変更）、ズーム（拡大・縮小）などを行う。画像表示部２４は、受信信号処理回路２３から出力された画像を表示する。
【００３８】
上記のように撮像装置１０で鮮鋭感を向上させてから伝送しているので、受信装置２０で歪補正、ズームなどを行っても、被写体の視認性を良好に保つことができる。
【００３９】
上記の実施の形態によれば、撮像素子２ａの撮像面ＳＣに形成された円形の撮像画像から視点変換画像を生成し、長方形の画面の長辺方向に並べて配置し、さらに鮮鋭感を向上させてから、画像圧縮して伝送するので、伝送された圧縮画像を受信する装置において、表示画像の鮮鋭感が向上し被写体の視認性が向上する効果がある。仮に撮像装置において鮮鋭感を向上させることなく、画像を送信し、画像を受信する装置で鮮鋭感を向上させる処理を行うと、画像圧縮に伴うノイズや不自然なアーティファクトを強調して被写体の視認性が損なわれるが、本実施の形態では、撮像装置で鮮鋭感を向上させてから伝送するので、上記の問題がない。
【００４０】
また、高域成分を多く含む方向が画面の長辺方向となるように画像を回転させてから、その長辺方向の端部を中心とする視点変換画像を生成して付加するので、高域成分を多く含む画像の視認性が向上する。
【００４１】
なお、上記の例では、第１乃至第４の高域成分算出回路４１ａ〜４１ｄは、それぞれ円形の画像の全体において、第１乃至第４の方向の高域成分の量を算出するが、代わりに、円形の画像の一部において、各方向の高域成分を検出することとしても良い。例えば、第１乃至第４の高域成分算出回路４１ａ〜４１ｄとして、それぞれ第１乃至第４の方向に延びた細長い領域、例えば帯状の領域における高域成分の量を算出するものを用いても良い。
【００４２】
この場合、各方向に延びた帯状の領域は、例えば円形の撮像画像の中心を通り当該方向に延びた直線を中心として線対称な領域で構成される。図１３には、一例として垂直方向に延びた帯状の領域ＳＲｃを示す。
第３の高域成分算出回路４１ｃは、図１３に示される帯状の領域ＳＲｃ内に位置する画像部分の高域成分の量を算出する。
他の高域成分算出回路４１ａ、４１ｂ、４１ｄも同様にそれぞれの方向に延びた帯状の領域内の画像部分の高域成分の量を算出する。
【００４３】
また、各方向に延びた帯状の領域における高域成分の代わりに、それぞれの方向に整列した複数の領域内に位置する画像の高域成分を検出しても良い。その一例として、図１４には、垂直方向に整列した２つの領域ＳＲｃａ、ＳＲｃｂを示す。これらの領域は、円形画像の中央部（中心からの距離が予め定められた値以下の部分）を避けて、周縁部に位置するようにすることとしても良い。鮮鋭化のために拡大が特に強く望まれるのは、周縁に近い範囲（周縁部）であるので、その点から、それぞれの方向に整列した複数の領域を、円形画像の周縁に近い範囲（周縁からの距離が予め定められた値以下の範囲）内に設定するのが望ましい。そうすることで、周縁部により多く高域成分が含まれている方向が水平方向になるように回転させた上で、撮像画像と視点変換画像を水平方向に並べて配置する合成を行うことができ、これにより、周縁部に位置するより多くの高域成分について視認性を高めることができる。
【００４４】
また、各方向に整列した複数の領域として、一対の扇形の領域を用いても良い。その一例として、図１５には、垂直方向に整列した２つの領域ＳＲｃｃ、ＳＲｃｄを示す。扇形の領域を用いれば、円形画像の周縁に近い部分ほど、領域の幅が大きくなるので、高域成分のうち、周縁部における高域成分をより重視して高域成分の量の計算を行うことができる。従って、鮮鋭化のために拡大が特に強く望まれる、周縁部における高域成分の量に応じて視点変換画像の視点を決めることができ、周縁部に位置するより多くの高域成分について視認性を高めることができる。
【００４５】
また、図１５に示される扇形の領域のうち、中央部（中心からの距離が予め定められた値以下の部分）を除いた領域を用いることとしても良い。
【００４６】
また、図１３〜図１５を参照して説明した例では、各方向に延びた領域、又は各方向に整列した複数の領域内で高域成分を検出する場合、当該方向の高域成分を検出しているが、代わりに、当該方向に限定せず、いずれかの１又は２以上の方向、例えば水平方向及び垂直方向の高域成分を検出することとしても良い。
【００４７】
また、上記の例では、４つの高域成分算出回路により４つ方向の高域成分の量が算出されるが、高域成分の量を算出する方向の数は４に限らない。一般的に言えば、Ｎ個（Ｎは２以上の整数）の高域成分算出回路を設け、Ｎ個の方向の各々における高域成分の量を算出して、その中で高域成分の量が最大となる方向を特定すれば良い。
【００４８】
また、上記の例では、左側視点画像と右側視点画像の両方を、円形撮像画像に付加しているが、その一方のみを付加しても良い。例えば画面の短辺の長さに対する長辺の長さの比がさほど大きくない場合、従って、画面の長辺の長さが、左側視点画像と右側視点画像の双方を付加するのに十分でない場合にそのようにするのが望ましい。
この場合、画像回転回路４において、円の中心を通る直線の方向毎に高域成分の量を算出するのではなく、円の中心を起点とするそれぞれの方向（向きも考慮に入れた方向）ごとに、高域成分の量を算出し、その結果に基づいて、高域成分の多い方向、又は高域成分が多く含まれる方向を検出して回転角度を決めるとともに、画像合成回路５において、左側視点画像と右側視点画像のいずれを組合せに用いるかを決めれば良い。
例えば、水平右向きの方向に対して反時計まわりに４５度の方向の高域成分が最も多い又は当該方向に高域成分が最も多く含まれると判定された場合には、画像を４５度時計まわりに回転させて、右側視点画像を、円形撮像画像の右側に位置させることとしても良く、画像を１３５度時計まわりに回転させて、左側視点画像を、円形撮像画像の左側に位置させることとしても良い。
【００４９】
また、上記の例では、撮像面ＳＣにおける円形の画像Ｄ２の直径が撮像面ＳＣの垂直方向の寸法に等しく、円形の画像Ｄ２の周縁部が、撮像面ＳＣの上下の長辺に接しているが、撮像面ＳＣにおける円形の画像の直径が撮像面ＳＣの垂直方向の寸法よりも小さく、従って、円形の画像の周縁部が、撮像面ＳＣの上下の長辺に接していない場合には、拡大後の撮像画像が、画面に上下端に接するように画像の拡大を行ったのち、視点変換画像の生成及び付加を行うのが望ましい。
【００５０】
上記の説明で長辺方向を水平方向としたが、水平方向以外の方向が長辺方向となる場合にも本発明は適用可能である。
【００５１】
以上、撮像画像を処理する回路が撮像面ＳＣと同じサイズの画面上で画像の処理を行うものとして説明したが、本発明は、画像合成回路５及びそれ以降の回路が長方形の画面上で画像を処理するものであれば、適用できる。その場合、画像合成回路５及びそれより後段の回路（画像伝送回路８により伝送された画像を受ける回路を含む）で扱う画面の長辺の寸法（画素数）が互いに同じでなくても適用可能である。長辺の寸法が互いに異なる場合には、画像合成回路５及びそれより後段の回路で扱う画面のうちで、長辺の寸法が最小のものにおいて合成後の画像が長辺方向にはみ出さない可能な範囲で視点変換画像の付加を行うこととすれば良い。
【００５２】
上記の実施の形態では、画像合成回路５と鮮鋭感向上回路６とが別のものであるとして説明したが、上記した画像合成の処理と鮮鋭感向上の処理を同時に行うこととしても良い。その場合にも、本発明の効果は同様に得られる。
【００５３】
上記の実施の形態では、レンズ１が魚眼レンズであるものとして説明したが、代わりに、他の全方位視覚の光学系、例えば双曲面ミラー、放物面ミラー、円錐ミラーを用いても良く、そのようにしても本発明の効果は同様に得られる。
【００５４】
実施の形態２．
本発明の実施の形態２による撮像装置の全体的構成は、図１に示す如くである。
実施の形態２の撮像装置は、画像回転回路４として、図４に示すものの代わりに、図１６に示すものを備える。
図１６に示す画像回転回路４は、注目被写体検出回路４５と、最大方向特定回路４６と、回転回路４３とを有する。最大方向特定回路４６は、第１乃至第４の面積算出回路４７ａ〜４７ｄと、最大判断回路４８と有する。
【００５５】
撮像信号処理回路３から撮像画像が入力端子４０に印加され、注目被写体検出回路４５、最大方向特定回路４６の第１乃至第４の面積算出回路４７ａ〜４７ｄ、及び回転回路４３へ供給される。
【００５６】
注目被写体検出回路４５は、入力画像の注目被写体の検出を行う。注目被写体とは、例えば画像のうち人の顔の部分など、特に鮮明に表示することが求められる部分である。顔を注目被写体とする場合、例えば図１７に示すように顔を含む領域ＴＡ１、ＴＡ２が検出される。図１７の例では、２箇所にある顔の部分ＴＡ１、ＴＡ２、具体的には、顔を囲む矩形の部分が、注目被写体として検出されている。注目被写体検出回路４５は、検出した注目被写体が占める領域を示すデータを第１乃至第４の面積算出回路４７ａ〜４７ｄに供給する。
【００５７】
第１乃至第４の面積算出回路４７ａ〜４７ｄは、それぞれ画像の第１乃至第４の方向における、注目被写体の含まれている度合いを算出する。例えば第１乃至第４の方向に延びた細長い領域、例えば帯状の領域に含まれている注目被写体の面積、言い換えると、注目被写体のうち、それぞれの帯状の領域に重なる部分の面積を算出する。
【００５８】
第１乃至第４の方向は、実施の形態１で述べたのと同様に、例えば図５に符号ＤＲａ〜ＤＲｄで示す方向である。
【００５９】
各方向に延びた帯状の領域は、例えば円形の撮像画像の中心を通り当該方向に延びた直線を中心として線対称な領域で構成される。図１８には、一例として垂直方向に延びた帯状の領域ＳＲｃを示す。
第３の面積算出回路４７ｃは、注目被写体のうち、図１８に示される帯状の領域ＳＲｃ内に位置する部分の面積を算出する。
他の面積算出回路４７ａ、４７ｂ、４７ｄも同様にそれぞれの方向に延びた帯状の領域に重なる注目被写体の面積を算出する。
【００６０】
最大判断回路４８は、図４の最大判断回路４２と同様に、第１乃至第４の面積算出回路４７ａ〜４７ｄの出力を比較し、面積算出回路４７ａ〜４７ｄのうち、出力が最大であるものが面積の検出に用いた帯状の領域の延びた方向を判断乃至特定して回転回路４３に知らせる。
図１７に示す例では、垂直方向ＤＲｃが、面積が最大となる方向と判断される。
【００６１】
このように、第１乃至第４の面積算出回路４７ａ〜４７ｄと最大判断回路４８とで構成される最大方向特定回路４６は、第１の乃至第４の方向のうちの、注目被写体が最も多く含まれる方向を特定する。
【００６２】
回転回路４３は最大判断回路４８で判断した面積が最大となる方向が水平方向となるように画像を回転させる。入力画像が図１７に示すものである場合、図１７の画像を時計まわりに９０度回転させて、図１９に示す画像Ｄ４を生成する。回転後の画像Ｄ４は出力端子４４を介して出力される。なお、代わりに反時計まわりに９０度回転させても良い。
【００６３】
画像合成回路５は、実施の形態１に関して図９、図１０（ａ）、（ｂ）、（ｃ）及び図１１を参照して説明したのと同様に、回転後の撮像画像Ｄ４から始点変換画像を生成し、回転後の画像Ｄ４と視点変換画像を合成し、合成後の画像Ｄ５の左右端が画面ＳＣの左右の短辺ＳＣＬ、ＳＣＲに接触するようにする。図１９に示される画像について合成の結果を図２０に示す。
合成画像Ｄ５は、鮮鋭感向上回路６に供給される。
【００６４】
鮮鋭感向上回路６、画像圧縮回路７、及び画像伝送回路８の処理は実施の形態１で説明したのと同じである。
【００６５】
本実施の形態では、注目被写体を多く含む方向（当該方向に延びた細長い領域、例えば帯状の領域又は当該方向に整列した複数の領域に注目被写体が多く含まれる方向）が画面の長辺方向となるように画像を回転させてから、その長辺方向に撮像画像と視点変換画像を並べて配置する合成を行うことで、注目被写体の鮮鋭感が向上し、従って、視認性が向上する。その他、本実施の形態でも、実施の形態１で述べたのと同様の効果がある。
【００６６】
なお、上記の例では、注目被写体のうち、それぞれの方向に延びた帯状の領域に含まれる部分の面積を求めるが、代わりに注目被写体のうち、それぞれの方向に整列した複数の領域に含まれる部分の面積を求めても良い。その一例として、図２１には、垂直方向に整列した２つの領域ＳＲｃａ、ＳＲｃｂを示す。これらの領域は、円形画像の中央部を避けて、周縁部に位置するようにすることとしても良い。周縁部に位置する領域内で注目被写体の面積を求めることの利点は、実施の形態１で説明したのと同様、周縁部に位置するより多くの注目被写体について視認性を高めることができることである。
【００６７】
また、各方向に整列した複数の領域として、一対の扇形の領域を用いても良い。その一例として、図２２には、垂直方向に整列した２つの領域ＳＲｃｃ、ＳＲｃｄを示す。扇形の領域を用いることの利点は実施の形態１で説明したのと同様である。即ち、扇形の領域を用いれば、円形画像の周縁に近い部分ほど、領域の幅が大きくなるので、注目被写体のうち、周縁部における注目被写体をより重視して面積の計算を行うことができる。従って、鮮鋭化のために拡大が特に強く望まれる、周縁部における注目被写体の量によりよく対応する面積に応じて視点変換画像の視点を決めることができ、周縁部に位置するより多くの注目被写体について視認性を高めることができる。
【００６８】
また、図２２に示される扇形の領域のうち、中央部（中心からの距離が予め定められた値以下の部分）を除いた領域を用いることとしても良い。
【００６９】
また、画像回転回路４において、注目被写体の多い方向を検出するにあたり、円の中心を通る直線の方向毎に注目被写体の面積を算出するのではなく、円の中心を起点とするそれぞれの方向（向きも考慮に入れた方向）ごとに、注目被写体の面積を算出し、その結果に基づいて、画像回転回路４における回転角度を決めるとともに、画像合成回路５において、左側視点画像と右側視点画像のいずれを組合せに用いるかを決めることとしても良い。
例えば、水平右向きの方向に対して反時計まわりに４５度の方向の注目被写体が最も多いと判定された場合には、画像を４５度時計まわりに回転させて、右側視点画像を、円形撮像画像の右側に位置させることとしても良く、画像を１３５度時計まわりに回転させて、左側視点画像を、円形撮像画像の左側に位置させることとしても良い。
【００７０】
また、上記の例では、４つの面積算出回路により４つ方向に存在する注目被写体の面積が算出されるが、注目被写体の面積を算出する方向の数は４に限らない。一般的に言えば、Ｎ個（Ｎは２以上の整数）の面積算出回路を設け、Ｎ個の方向の各々における面積を算出して、その中で面積が最大となる方向を特定すれば良い。
【００７１】
以上のように、本発明によれば、円形の撮像画像から視点変換画像を生成し、円形の撮像画像と視点変換画像を画面の長辺方向に並べて配置し、鮮鋭化を行った上で、画像圧縮して伝送するので、画像を受信する装置において表示画像の鮮鋭感及び視認性が向上する。
また、高域成分の多い方向、高域成分を多く含む方向又は注目被写体を多く含む方向が画面の長辺方向となるように回転させてから、その端部を中心とする視点変換画像を生成して、撮像画像に付加することで、高域成分又は注目被写体の視認性が向上する。
さらに、撮像画像と視点変換画像を画面の長辺方向に並べて配置するので、長方形の画面を有効に活用して、鮮鋭感の向上を図ることができる。即ち、長方形の画面のうち、円形の撮像画像の表示には通常は利用されない部分を有効に活用して、画像の視認性を高めることができる。
【符号の説明】
【００７２】
１  レンズ、  ２  撮像部、  ２ａ  撮像素子、  ２ｂ  Ａ／Ｄ変換部、  ＳＣ  撮像面、  ３  撮像信号処理回路、  ４  画像回転回路、  ５  画像合成回路、  ６  鮮鋭感向上回路、７  画像圧縮回路、  ８  画像伝送回路、  １０  撮像装置、  １５  ネットワーク、  ２０  受信装置、  ２１  画像受信回路、  ２２  画像復号回路、  ２３  受信信号処理回路、  ２４  画像表示部、  ４１ａ  第１の高域成分算出回路、  ４１ｂ  第２の高域成分算出回路、  ４１ｃ  第３の高域成分算出回路、  ４１ｄ  第４の高域成分算出回路、  ４２  最大判断回路、  ４３  回転回路、  ４５  被写体検出回路、  ４６  最大方向特定回路、  ４７ａ  第１の面積算出回路、  ４７ｂ  第２の面積算出回路、  ４７ｃ  第３の面積算出回路、  ４７ｄ  第４の面積算出回路、  ４８  最大判断回路、  ５１  第１の視点変換回路、  ５２  第２の視点変換回路、  ５３  合成回路。
【図１】
2015220706.tif 000003
【図２】
2015220706.tif 000004
【図３】
2015220706.tif 000005
【図４】
2015220706.tif 000006
【図５】
2015220706.tif 000007
【図６】
2015220706.tif 000008
【図７】
2015220706.tif 000009
【図８】
2015220706.tif 000010
【図９】
2015220706.tif 000011
【図１０】
2015220706.tif 000012
【図１１】
2015220706.tif 000013
【図１２】
2015220706.tif 000014
【図１３】
2015220706.tif 000015
【図１４】
2015220706.tif 000016
【図１５】
2015220706.tif 000017
【図１６】
2015220706.tif 000018
【図１７】
2015220706.tif 000019
【図１８】
2015220706.tif 000020
【図１９】
2015220706.tif 000021
【図２０】
2015220706.tif 000022
【図２１】
2015220706.tif 000023
【図２２】
2015220706.tif 000024