(57)【要約】【課題】  のりしろ画像データをアンシラリ領域に重畳したデータストリームが入力される場合に、好適に画像処理を行うことができる画像処理装置を提供する。【解決手段】  本発明の画像処理装置は、データストリームに含まれる有効画像領域の画像データとのりしろ画像データとを結合し、拡張画像データを生成するデータ拡張手段と、  前記有効画像領域の画像データと前記拡張画像データのうち一方の画像データを選択して出力する選択手段と、選択された画像データに画像処理を施す画像処理手段と、を備える。【選択図】  図１
2017216598.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と画像処理装置で構成される画像処理システムであって、
前記撮像装置は、
被写体を撮像する撮像手段と、
前記撮像により得られた画像データに基づいて、有効画像領域の画像データと、アンシラリ領域に重畳されたのりしろ画像データと、を含むデータストリームを出力する重畳手段と、を備え、
前記画像処理装置は、
前記データストリームを入力する入力手段と、
前記データストリームに含まれる前記有効画像領域の画像データと前記のりしろ画像データとを結合し、拡張画像データを生成するデータ拡張手段と、
前記有効画像領域の画像データと前記拡張画像データのうち一方の画像データを選択して出力する選択手段と、
前記選択手段で選択された画像データに、画像処理を施す画像処理手段と、を備える画像処理装置。
【請求項２】
前記選択手段は、ユーザにより設定されたモードに応じて、前記有効画像領域の画像データと、前記拡張画像データのうち、一方の画像データを選択して出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
のりしろ画像データをアンシラリ領域に重畳したデータストリームが入力される画像処理装置であって、
有効画像領域の画像データと、アンシラリ領域に重畳されたのりしろ画像データと、を含むデータストリームを入力する入力手段と、
前記データストリームに含まれる前記有効画像領域の画像データと前記のりしろ画像データとを結合し、拡張画像データを生成するデータ拡張手段と、
前記有効画像領域の画像データと前記拡張画像データのうち一方の画像データを選択して出力する選択手段と、
前記選択手段で選択された画像データに、画像処理を施す画像処理手段と、を備える画像処理装置。
【請求項４】
前記選択手段は、ユーザにより設定されたモードに応じて、前記有効画像領域の画像データと、前記拡張画像データのうち、一方の画像データを選択して出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
請求項３または４に記載の画像処理装置と、
前記画像処理が施された画像データに基づき、画像を表示する表示手段と、を備える画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置と画像処理装置で構成される画像処理システム、画像処理装置および画像表示装置に関する。
【背景技術】
【０００２】
フィルタ処理やエッジ強調処理等の画像処理では、処理対象画素の画素値と、その周辺画素の画素値とが用いられる。画像の上下左右の端部の画素の周辺画素が存在しない場合、端部の画素の画素値をコピーして周辺画素を生成する端部処理や、端部付近の複数の画素の画素値を線対称にコピー（ミラーリング）して周辺画素を生成する端部処理が知られている。
【０００３】
特許文献１には、周辺データ（のりしろ）が付加された画像データをフレームメモリから読み出して、画像処理を施すことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６３６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、のりしろ画像データを補助データとしてアンシラリ領域（補助信号領域）に重畳したデータストリームが入力される場合に、画像処理を行うことは想定されていなかった。
【０００６】
そこで、本発明は、のりしろ画像データをアンシラリ領域に重畳したデータストリームが入力される場合に、好適に画像処理を行うことができる画像処理システム、画像処理装置、画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の一実施形態に係る画像処理装置は、のりしろ画像データをアンシラリ領域に重畳したデータストリームが入力される画像処理装置であって、有効画像領域の画像データと、アンシラリ領域に重畳されたのりしろ画像データと、を含むデータストリームを入力する入力手段と、前記データストリームに含まれる前記有効画像領域の画像データと前記のりしろ画像データとを結合し、拡張画像データを生成するデータ拡張手段と、前記有効画像領域の画像データと前記拡張画像データのうち一方の画像データを選択して出力する選択手段と、前記選択手段で選択された画像データに、画像処理を施す画像処理手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、のりしろ画像データをアンシラリ領域に重畳したデータストリームが入力される場合に、好適に画像処理を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置と画像表示装置（画像処理装置）で構成される画像処理システムの構成を示すブロック図である。
【図２】撮像装置の処理について説明するためのフロー図である。
【図３】有効画像領域の画像データと有効画像領域外ののりしろ画像データについて説明するための図である。
【図４】有効画像領域の画像データと補助データとを含む１フレーム分のデータストリームの構成の一例を示す図である。
【図５】画像表示装置の処理について説明するためのフロー図である。
【図６】画像処理部による端部処理の一例を説明するための図である。
【図７】画像処理部による端部処理の他の例を説明するための図である。
【図８】ＤＥ（データ・イネーブル）信号を拡張する処理について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、図面を用いて本発明の実施の形態について説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定され、以下に例示する実施形態によって限定されるものではない。また、実施形態の中で説明されている特徴の組み合わせすべてが本発明に必須とは限らない。本明細書および図面に記載の内容は例示であって、本発明を制限するものと見なすべきではない。本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【００１１】
（実施の形態１）
図１は、撮像装置１０１と画像表示装置（画像処理装置）１０２で構成される画像処理システムの構成を示すブロック図である。撮像装置１０１と画像表示装置１０２は、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）ケーブル等の伝送ケーブルで接続される。撮像装置１０１で被写体を撮影して得られた画像データ（映像データ）が、ＳＤＩケーブルを介して画像表示装置１０２に伝送され、画像表示装置１０２の画面に表示される。
【００１２】
撮像装置１０１は、撮像部１０３および重畳部１０４を備える。撮像部１０３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像センサで被写体を撮像して得られた光信号を電気信号に変換する。
【００１３】
重畳部１０４は、撮像部１０３から出力された画像データを、有効画像領域の画像データと、有効画像領域外ののりしろ画像データとに分離する。そして、のりしろ画像データを補助データとしてアンシラリ領域（補助信号領域）に重畳し、有効画像領域の画像データと補助データとを出力する。重畳部１０４は、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）で規定されているＳＤＩ規格に従ったフォーマットで画像データと補助データとを多重化したデータストリームを出力する。
【００１４】
図２は、撮像装置１０１の処理について説明するためのフロー図である。ステップＳ２０１において、撮像センサで取り込んだ光信号を電気信号に変換して出力する。次に、ステップＳ２０２において、重畳部１０４は、のりしろ画像データを補助データとしてアンシラリ領域（補助信号領域）に重畳する。そして、ステップＳ２０３において、重畳部１０４は、有効画像領域の画像データと補助データとを多重化したデータストリームを出力する。
【００１５】
図３は、有効画像領域の画像データと有効画像領域外ののりしろ画像データについて説明するための図である。有効画像領域（有効画素の領域）の周辺に、左側ののりしろ画像データの周辺領域（周辺画素の領域）Ｌ１，Ｌ２，Ｌ３と、右側ののりしろ画像データの周辺領域Ｒ１，Ｒ２，Ｒ３がある。また、上側ののりしろ画像データの周辺領域Ｕ１と、下側ののりしろ画像データの周辺領域Ｕ１とがある。
【００１６】
図４は、有効画像領域の画像データと補助データとを含む１フレーム分のデータストリームの構成の一例を示す図である。ＥＡＶ（Ｅｎｄ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）は、有効画像領域の終わり（ブランキング期間の始まり）を示している。ＳＡＶ（Ｓｔａｒｔ  ｏｆ  Ａｃｔｉｖｅ  Ｖｉｄｅｏ）は、有効画像領域の始まりを示している。水平ブランキング期間のアンシラリ領域に、左側の周辺領域Ｌ１，Ｌ２，Ｌ３ののりしろ画像データと、右側の周辺領域Ｒ１，Ｒ２，Ｒ３ののりしろ画像データとが重畳される。また、垂直ブランキング期間のアンシラリ領域に、上側の周辺領域Ｕ１ののりしろ画像データと、下側の周辺領域Ｕ１ののりしろ画像データとが重畳される。画像表示装置１０２に入力されるデータストリームは、連続したフレームで構成される映像データを含む。
【００１７】
再び図２を参照して、画像表示装置１０２は、アンシラリ解釈部１０５、データ拡張部１０６、モード設定部１０７、選択部１０８、画像処理部１０９、トリミング処理部１１０、選択部１１１および表示部１１２を備える。なお、画像表示装置１０２は、表示部１１２を別体として接続する画像処理装置であってもよい。
【００１８】
アンシラリ解釈部１０５は、撮像装置１０１から入力されたデータストリームのアンシラリ領域に重畳された補助データを解釈する。そして、有効画像領域の画像データ、補助データおよび解釈結果をデータ拡張部１０６と選択部１０８へ出力し、解釈結果を選択部１０８，１１１へ出力する。
【００１９】
データ拡張部１０６は、アンシラリ解釈部１０５の解釈結果に基づき、有効画像領域の画像データと、補助データとして重畳されたのりしろ画像データとを結合し、拡張画像データを生成して選択部１０８へ出力する。
【００２０】
モード設定部１０７は、ユーザから設定されたモード信号を、選択部１０８，１１１へ出力する。選択部１０８は、モード設定部１０７の設定とアンシラリ解釈部１０５の解釈結果とに基づいて、アンシラリ解釈部１０５からの有効画像領域の画像データと、データ拡張部１０６からの拡張画像データのうち一方の画像データを選択して出力する。
【００２１】
画像処理部１０９は、選択部１０８から出力された画像データに、フィルタ処理やエッジ強調処理等の画像処理を施して出力する。この画像処理部１０９は、ＤＥ（データ・イネーブル）信号がイネーブル状態のときに画像処理を行う。そして、画像処理が施された画像データを、トリミング処理部１１０および選択部１１１へ出力する。
【００２２】
トリミング処理部１１０は、画像処理部１０９から出力された画像データからのりしろ画像データをトリミング処理により切り取り、選択部１１１へ出力する。
【００２３】
選択部１１１は、モード設定部１０７の設定と、アンシラリ解釈部１０５の解釈結果とに基づいて、トリミング処理部１１０から出力された画像データと、画像処理部１０９から出力された画像データのうち一方の画像データを選択して表示部１１２に出力する。
【００２４】
表示部１１２は、例えば、液晶パネルや有機ＥＬパネルなどで構成される。この表示部１１２は、選択部１１１から出力された画像データに基づき、画面に画像を表示する。
【００２５】
なお、画像表示装置１０２は、液晶パネルを用いた液晶ディスプレイであってもよいし、有機ＥＬパネルを用いた有機ＥＬディスプレイであってもよい。また、スクリーンに画像を投影する液晶プロジェクター等であってもよい。
【００２６】
図５は、画像表示装置１０２の処理について説明するためのフロー図である。ステップＳ５０１において、アンシラリ解釈部１０５は、撮像装置１０１から出力されたデータストリームのアンシラリ領域に重畳された補助データを解釈し、のりしろ画像データの重畳有無、およびのりしろ画像サイズ等を判別する。
【００２７】
アンシラリ解釈部１０５の解釈結果に基づき、ステップＳ５０２において、のりしろ画像データが重畳されているか否かを判定する。のりしろ画像データが重畳されている場合、ステップＳ５０２からＳ５０３へ進み、のりしろ画像データが重畳されていない場合、ステップＳ５０２からＳ５０４へ進む。
【００２８】
ステップＳ５０３で、選択部１０８は、モード設定部１０７からのモード信号に基づき、フレームメモリ帯域を優先するメモリ帯域優先モードと、フレームメモリ帯域を優先せずに画像処理を優先する画像処理優先モードのどちらに設定されているか判別する。そして、メモリ帯域優先モードに設定されている場合は、ステップＳ５０３からＳ５０４へ進み、画像処理優先モードに設定されている場合は、ステップＳ５０３からＳ５０５へ進む。メモリ帯域優先モードの場合は、画像処理対象の画像データの画像サイズが小さい方が良いため、選択部１０８は、アンシラリ解釈部１０５から出力された有効画像領域の画像データを選択して出力する。画像処理対象の画像データの画像サイズが小さいと、データ転送量が少ないため、フレームメモリの帯域（バンド幅）の圧迫を抑制し、処理負荷が大きくなるのを抑制することができる。一方、画像処理優先モードの場合は、高画質な画像処理を行うため、選択部１０８は、データ拡張部１０６から出力された拡張画像データを選択して出力する。
【００２９】
ステップＳ５０４において、画像処理部１０９は、アンシラリ解釈部１０５から出力された有効画像領域の画像データに対して、端部処理を用いた画像処理を行う。端部処理の例について、図６および図７を用いて説明する。
【００３０】
図６，７において、太枠線内の画素は、有効画像領域内の有効画素（０以上の値の座標値（０，０）〜（ｘ，ｙ）の画素）であり、太枠線外の画素は、有効画像領域外の周辺画素である。図６は、端部の画素の画素値をコピー（複製）して複数の周辺画素を生成する端部処理の一例を示している。左側端部の画素の画素値をコピーし、左側端部の周辺領域Ｌ２の複数の周辺画素を生成する。また、左上隅の画素の画素値をコピーし、左上側の周辺領域Ｌ１の複数の周辺画素を生成し、左下隅の画素の画素値をコピーし、左下側の周辺領域Ｌ３の複数の周辺画素を生成する。また、右側端部の画素の画素値をコピーし、右側端部の周辺領域Ｒ２の複数の周辺画素を生成する。また、右上隅の画素の画素値をコピーし、右上側の周辺領域Ｒ１の複数の周辺画素を生成し、右下隅の画素の画素値をコピーし、右下側の周辺領域Ｒ３の複数の周辺画素を生成する。また、上側端部の画素の画素値をコピーし、上側端部の周辺領域Ｕ１の複数の周辺画素を生成し、下側端部の画素の画素値をコピーし、下側端部の周辺領域Ｄ１の複数の周辺画素を生成する。
【００３１】
図７は、端部付近の複数の画素の画素値を線対称にコピー（ミラーリング）して対応する周辺画素を生成する端部処理の一例を示している。具体的には、左側端部付近の画素の画素値をコピーし、左側端部の周辺領域Ｌ２の対応する周辺画素を生成する。また、左上隅付近の画素の画素値をコピーし、左上側の周辺領域Ｌ１の対応する周辺画素を生成し、左下隅付近の画素の画素値をコピーし、左下側の周辺領域Ｌ３の対応する周辺画素を生成する。また、右側端部付近の画素の画素値をコピーし、右側端部の周辺領域Ｒ２の対応する周辺画素を生成する。また、右上隅付近の画素の画素値をコピーし、右上側の周辺領域Ｒ１の対応する周辺画素を生成し、右下隅付近の画素の画素値をコピーし、右下側の周辺領域Ｒ３の対応する周辺画素を生成する。また、上側端部付近の画素の画素値をコピーし、上側端部の周辺領域Ｕ１の対応する周辺画素を生成し、下側端部付近の画素の画素値をコピーし、下側端部の周辺領域Ｄ１の対応する周辺画素を生成する。
【００３２】
以上のような端部処理では、有効画像領域外の周辺領域の周辺画素をコピーにより生成するので、実際ののりしろ画像データとは異なる画素値となり、画像処理結果の画質は少し低下する。
【００３３】
再び図５を参照して、ステップＳ５０５において、データ拡張部１０６は、アンシラリ解釈部１０５の解釈結果に基づき、有効画像領域の画像データと、補助データとして重畳されたのりしろ画像データとを結合し、拡張画像データを選択部１０８へ出力する。また、データ拡張部１０６は、水平方向および垂直方向のＤＥ信号を拡張する。
【００３４】
図８は、ＤＥ信号を拡張する処理について説明するための図である。入力垂直ＤＥ信号および入力水平ＤＥ信号は、有効画像領域の画像データに対応したタイミングでイネーブル状態となる。拡張垂直ＤＥ信号および拡張水平ＤＥ信号は、有効画像領域の画像データにのりしろ画像データを結合して得られた拡張画像データに対応したタイミングでイネーブル状態となり、イネーブル期間が拡張される。データ拡張部１０６は、アンシラリ解釈部１０５の解釈結果で得られた、のりしろ画像のサイズに関する情報を用いて、ＤＥ信号を拡張する処理を行う。
【００３５】
次に、ステップＳ５０６において、画像処理部１０９は、有効画像領域の画像データにのりしろ画像データを結合して得られた拡張画像データに、フィルタ処理やエッジ強調処理等の画像処理を施して出力する。この画像処理部１０９は、拡張垂直ＤＥ信号および拡張水平ＤＥ信号がイネーブル状態のときに画像処理を行う。
【００３６】
この場合は、ステップＳ５０４で端部処理を用いた画像処理を行う場合に比べると、画像処理結果の画質は良い。
【００３７】
Ｓ５０７において、トリミング処理部１１０は、画像処理部１０９から出力された画像データからのりしろ画像データをトリミング処理により切り取り、選択部１１１へ出力する。また、拡張垂直ＤＥ信号および拡張水平ＤＥ信号のイネーブル期間を縮小し、図８に示したようなトリミング垂直ＤＥ信号およびトリミング水平ＤＥ信号を生成する。拡張垂直ＤＥ信号および拡張水平ＤＥ信号のイネーブル期間は、トリミング垂直ＤＥ信号およびトリミング水平ＤＥ信号のイネーブル期間と同じにする。
【００３８】
次に、ステップＳ５０８において、選択部１１１は、トリミング処理部１１０から出力された画像データと、画像処理部１０９から出力された画像データのうち、一方の画像データを選択して、表示部１１２に出力する。具体的には、モード設定部１０７により有効画像領域を表示する表示モードに設定されている場合は、トリミング処理部１１０から出力された画像データを選択して表示部１１２に出力する。また、モード設定部１０７により有効画像領域外の周辺領域も表示する表示モードに設定されている場合は、画像処理部１０９から出力された画像データを選択して表示部１１２に出力する。
【００３９】
以上のように、本実施の形態１によれば、のりしろ画像データをアンシラリ領域に重畳したデータストリームが入力される場合に、好適に画像処理を行うことができる。
【００４０】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）における１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。上述の実施形態の１以上の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【符号の説明】
【００４１】
１０１  撮像装置
１０２  表示装置
１０３  撮像部
１０４  重畳部
１０５  アンシラリ解釈部
１０６  データ拡張部
１０７  モード設定部
１０８，１１１  選択部
１０９  画像処理部
１１０  トリミング処理部
１１２  表示部
【図１】
2017216598.tif 000003
【図２】
2017216598.tif 000004
【図３】
2017216598.tif 000005
【図４】
2017216598.tif 000006
【図５】
2017216598.tif 000007
【図６】
2017216598.tif 000008
【図７】
2017216598.tif 000009
【図８】
2017216598.tif 000010