(57)【要約】【課題】立体視画像にモザイク処理を適切に施すこと。【解決手段】立体視画像を構成する左眼画像上の左眼モザイク領域を右眼画像上に複写し、右眼画像上の右眼モザイク領域を左眼画像上に複写する（ＳＬ４、ＳＲ４）。右眼画像に複写した左眼モザイク領域を右眼画像上でシフトする（ＳＬ５）。左眼画像上に複写した右眼モザイク領域を左眼画像上でシフトする（ＳＲ５）。左眼画像の左眼モザイク領域とシフトされた右眼モザイク領域とを統合し、右眼画像の右眼モザイク領域とシフトした左眼モザイク領域とを統合する（ＳＬ７、ＳＲ７）。左眼画像に対して左眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施し、右眼画像に対して右眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施す（ＳＬ９、ＳＲ９）。左眼画像と右眼画像とで互いに対応する位置のモザイクセルどうしの画素値を揃える（Ｓ１０）。【選択図】図２
2019004359.tif 000002
【特許請求の範囲】
【請求項１】
立体視画像を構成する左眼画像と右眼画像とに対してモザイク処理を施す画像処理装置において、
前記左眼画像内の左眼モザイク対象を包囲する左眼モザイク領域を前記右眼画像上に複写し、前記右眼画像内の右眼モザイク対象を包囲する右眼モザイク領域を前記左眼画像上に複写する複写処理手段と、
前記左眼画像上の前記左眼モザイク領域と前記右眼画像上に複写した前記左眼モザイク領域とに視差を与えるために前記右眼画像に複写した前記左眼モザイク領域を前記右眼画像上でシフトし、前記右眼画像上の前記右眼モザイク領域と前記左眼画像に複写した前記右眼モザイク領域とに視差を与えるために前記左眼画像上に複写した前記右眼モザイク領域を前記左眼画像上でシフトするステレオマッチング処理手段と、
前記左眼画像の前記左眼モザイク領域と前記シフトされた右眼モザイク領域とを前記左眼画像上で統合して左眼用統合モザイク領域を発生し、前記右眼画像の前記右眼モザイク領域と前記シフトした左眼モザイク領域とを前記右眼画像上で統合して右眼用統合モザイク領域を発生する統合処理手段と、
前記左眼画像に対して前記左眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施し、前記右眼画像に対して前記右眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施すモザイク処理手段と、
前記左眼画像と前記右眼画像とで互いに対応する位置のモザイクセルどうしの画素値を揃える画素値処理手段とを具備する画像処理装置。
【請求項２】
前記ステレオマッチング処理手段は、前記左眼モザイク対象と前記右眼モザイク対象との結像位置よりも手前の位置で前記左眼画像上の前記左眼モザイク領域と前記右眼画像上に複写した左眼モザイク領域とが結像するように前記右眼画像上で前記複写した左眼モザイク領域をシフトし、前記左眼モザイク対象と前記右眼モザイク対象との結像位置よりも手前の位置で前記右眼画像上に複写した前記左眼モザイク領域と前記右眼画像上の前記右眼モザイク領域とが結像するように前記左眼画像上で前記複写した右眼モザイク領域をシフトする請求項１記載の画像処理装置。
【請求項３】
前記左眼画像上で前記シフトした右眼モザイク領域に対して射影変換処理を施し、前記右眼画像上で前記シフトした左眼モザイク領域に対して射影変換処理を施す射影変換処理手段をさらに備える請求項１記載の画像処理装置。
【請求項４】
前記射影変換処理手段は、前記左眼画像上の前記右眼モザイク領域に対して施す射影変換処理と同じ射影変換処理を前記左眼用統合モザイク領域の前記モザイクセルに対して施し、前記右眼画像上の前記左眼モザイク領域に対して施す射影変換処理と同じ射影変換処理を前記右眼用統合モザイク領域の前記モザイクセルに対して施す請求項３記載の画像処理装置。
【請求項５】
前記統合処理手段は、前記左眼用統合モザイク領域と前記右眼用統合モザイク領域に対してそれぞれ膨張処理を施す請求項１記載の画像処理装置。
【請求項６】
前記画素値処理手段は、前記左眼画像と前記右眼画像とで互いに対応する位置のモザイクセルどうしの画素値をそれらの平均値又は一方の画素値に揃える請求項１記載の画像処理装置。
【請求項７】
立体視画像を構成する左眼画像と右眼画像とに対してモザイク処理を施す画像処理装置において、
前記左眼画像内の左眼モザイク対象を包囲する左眼モザイク領域を前記右眼画像上に複写し、前記右眼画像内の右眼モザイク対象を包囲する右眼モザイク領域を前記右眼画像上に複写する複写処理手段と、
前記左眼モザイク領域と前記左眼画像上に複写した前記右眼モザイク領域とを統合して左眼用統合モザイク領域を発生し、前記右眼モザイク領域と前記右眼画像上に複写した前記左眼モザイク領域とを統合して右眼用統合モザイク領域を発生する統合処理手段と、
前記左眼画像に対して前記左眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施し、前記右眼画像に対して前記右眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施すモザイク処理手段とを具備する画像処理装置。
【請求項８】
コンピュータを、
立体視画像を構成する左眼画像と右眼画像において、前記左眼画像内の左眼モザイク対象を包囲する左眼モザイク領域を前記右眼画像上に複写し、前記右眼画像内の右眼モザイク対象を包囲する右眼モザイク領域を前記右眼画像上に複写する複写処理手段と、
前記左眼画像上の前記左眼モザイク領域と前記右眼画像上に前記複写した左眼モザイク領域とに視差を与えるために前記右眼画像上で前記複写した左眼モザイク領域をシフトし、前記右眼画像上の前記右眼モザイク領域と前記左眼画像上に前記複写した右眼モザイク領域とに視差を与えるために前記左眼画像上で前記複写した右眼モザイク領域をシフトするステレオマッチング処理手段と、
前記左眼画像上で前記左眼モザイク領域と前記シフトした右眼モザイク領域とを統合して左眼用統合モザイク領域を発生し、前記右眼画像上で前記右眼モザイク領域と前記シフトした左眼モザイク領域とを統合して右眼用統合モザイク領域を発生する統合処理手段と、
前記左眼画像に対して前記左眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施し、前記右眼画像に対して前記右眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施すモザイク処理手段と、
前記左眼画像と前記右眼画像とで互いに対応する位置のモザイクセルどうしの画素値を揃える画素値処理手段として機能させるための画像処理プログラム。
【請求項９】
コンピュータを、
立体視画像を構成する左眼画像と右眼画像において、前記左眼画像内の左眼モザイク対象を包囲する左眼モザイク領域を前記右眼画像上に複写し、前記右眼画像内の右眼モザイク対象を包囲する右眼モザイク領域を前記右眼画像上に複写する複写処理手段と、
前記左眼モザイク領域と前記左眼画像上に複写した前記右眼モザイク領域とを統合して左眼用統合モザイク領域を発生し、前記右眼モザイク領域と前記右眼画像上に複写した前記左眼モザイク領域とを統合して右眼用統合モザイク領域を発生する統合処理手段と、
前記左眼画像に対して前記左眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施し、前記右眼画像に対して前記右眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施すモザイク処理手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
一般に、動画像あるいは静止画像を公開する際に、不特定の人に公開することが望ましくない情報が含まれることがある。公開することが望ましくない情報としては、例えば個人情報、公序良俗に反する情報、他者の知的財産に関係する情報などがある。これら非公開情報には典型的にはモザイク処理が施される。モザイク処理を施す対象（モザイク対象）を抽出し、モザイク対象を包含するモザイク領域を設定し、モザイク領域に限定して対象画像に対してモザイク処理を施す。このモザイク処理はある程度自動化が進んでいる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１０００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、立体視画像に対するモザイク処理の自動化は現実的ではない。左眼画像と右眼画像とは視差を有しており、左眼画像と右眼画像とで同じモザイク対象であっても、その大きさや形状は相違する。左眼画像と右眼画像それぞれに対して個々にモザイク処理を施すと左右で異なる領域にモザイクが施されてちらつきが発生することはもちろん、モザイク対象やその周辺の奥にモザイクを知覚する場合も有り、非常に違和感を与えてしまう。
【０００５】
目的は、立体視画像に対してモザイク処理を適切に施すことが可能な画像処理装置及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本実施形態は、立体視画像を構成する左眼画像と右眼画像とに対してモザイク処理を施す画像処理装置に係る。画像処理装置は、左眼画像内の左眼モザイク対象を包囲する左眼モザイク領域を右眼画像上に複写し、右眼画像内の右眼モザイク対象を包囲する右眼モザイク領域を左眼画像上に複写する。左眼画像上の左眼モザイク領域と右眼画像上に複写した左眼モザイク領域とに視差を与えるために右眼画像に複写した左眼モザイク領域を右眼画像上でシフトする。右眼画像上の右眼モザイク領域と左眼画像に複写した右眼モザイク領域とに視差を与えるために左眼画像上に複写した右眼モザイク領域を左眼画像上でシフトする。左眼画像の左眼モザイク領域とシフトされた右眼モザイク領域とを左眼画像上で統合して左眼用統合モザイク領域を発生し、右眼画像の右眼モザイク領域とシフトした左眼モザイク領域とを右眼画像上で統合して右眼用統合モザイク領域を発生する。左眼画像に対して左眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施し、右眼画像に対して右眼用統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を施す。左眼画像と右眼画像とで互いに対応する位置のモザイクセルどうしの画素値を揃える。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、本実施形態におけるモザイク処理の動作を示すフローチャートである。
【図３】図３は、図２の補足説明図である。
【図４】図４は、図２のステレオマッチング処理工程の補足説明図である。
【図５】図５は、図２の射影変換処理工程の補足説明図である。
【図６】図６は、図２のモザイクセル区分処理工程の補足説明図である。
【図７】図７は、図２の画素値整合処理工程の補足説明図である。
【図８】図８は、本実施形態による立体視を模式的に示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施の形態について説明する。なお、マスク処理とは、広義には原画像の一部分の情報量を削減する処理であり、典型的には原画像の一部範囲の画素値を他の画素値に置き換えることにより、原画像の元の情報を判別不能とする処理として定義される。本実施形態では、マスク処理としてモザイク処理を例に説明する。しかし、モザイク処理は、ぼかし処理、透過率変更処理など他のマスク処理に代替する事ができる。周知の通り、モザイク処理は、モザイクセル内の全画素の画素値を、そのセル内の画素値から求めた代表値や平均値などの画素値に統一する処理である。ぼかし処理は、各画素の画素値を、その画素を中心とした３×３等の局所領域の代表値や平均値に置き換える処理である。ぼかし処理の局所領域はモザイク処理のモザイクセルに相当する。
【０００９】
図１は、本実施形態における画像処理装置１０の構成を示すブロック図である。図１に示す画像処理装置１０は、例えばコンピュータにより実現されるもので、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、通信コントローラ２０７、入力デバイス２１０、ディスプレイ２１１及び記憶装置２１２を有する。なお、画像処理装置１０は、プロセッサ２０１、ＲＡＭ２０２、ＲＯＭ２０３、入力コントローラ２０４、ビデオコントローラ２０５、Ｉ／Ｏコントローラ２０６、及び通信コントローラ２０７を含む、コンピュータを構成するする制御ユニット２０として実現しても良い。
【００１０】
プロセッサ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。プロセッサ２０１は、例えばＣＰＵ（Central Processing Unit）、及びＧＰＵ（Graphics Processing Unit）により構成することができる。プロセッサ２０１は、ＲＡＭ２０２に記憶されたプログラムを実行して各種の機能を実現する。プロセッサ２０１は、本実施形態に係る画像処理プログラムを実行することで、静止画像又は動画像の立体視画像に対してモザイク処理を実行する。画像処理プログラムは、プロセッサ２０１により実行されることで、コンピュータを、例えばモザイク対象抽出機能、モザイク領域設定機能、モザイク領域複写機能、ステレオマッチング機能、射影変換機能、モザイク領域統合機能、モザイク処理機能、画素値調整機能として動作させることができる。
【００１１】
モザイク対象は、例えば公開することが望ましくない情報を表す部分画像に相当するもので、例えば個人情報や公序良俗に反する情報などの視覚上判別不能とすべき情報が表されている一部範囲、例えば人の顔の範囲や車両ナンバープレートの範囲をいう。モザイク領域とは、モザイク処理を施す範囲をいう。モザイク対象抽出処理及びモザイク領域設定処理は左眼画像と右眼画像とに対して各別に実行される。同じモザイク対象が左眼画像と右眼画像とからそれぞれ抽出されるが、その形状及び大きさは視差により相違する。モザイク領域はモザイク対象を包囲する範囲、典型的にはモザイク対象の輪郭に設定される。モザイク処理は、対象画像に対してモザイク領域に限定して施される。モザイク処理の処理単位をモザイクセルという。モザイクセルには複数の画素が含まれ、それら複数の画素の画素値が、そのセル内の画素値から求めた代表値や平均値などの画素値にリプレースされる。
【００１２】
モザイク領域複写とは、左眼画像（右眼画像）で抽出されたモザイク対象に設定されたモザイク領域を、同じ形状、同じ大きさ、且つフレーム内の同じ位置及び向きに右眼画像（左眼画像）に複写する処理をいう。ステレオマッチング機能とは、左眼画像（右眼画像）上のモザイク領域と、右眼画像（左眼画像）に複写したモザイク領域とに視差を与えて視認者に奥行きを知覚させるために、複写したモザイク領域を右眼画像（左眼画像）上でシフトする処理をいう。射影変換機能とは、複写し、シフトしたモザイク領域に立体感を与えるために射影変換(perspective transformation)を適用する。
【００１３】
モザイク領域統合機能とは、左眼画像（右眼画像）のオリジナルのモザイク領域と、右眼画像（左眼画像）に複写され、シフトされ、さらに射影変換されたモザイク領域とを、単一のモザイク領域に統合し、左眼画像用の統合モザイク領域（右眼画像用の統合モザイク領域）を発生する。左眼画像用の統合モザイク領域と右眼画像用の統合モザイク領域とはともに左眼画像のモザイク領域と右眼画像のモザイク領域との統合であるので、ほぼ同じ形状、ほぼ同じ大きさを有する。従ってモザイクを立体視したときに左右眼のモザイク領域が異形や異サイズであることに起因するモザイクのチラツキなどの知覚違和感を解消又は軽減することができる。
【００１４】
モザイク処理機能では、左眼画像に対して左眼画像用の統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を実行し、同様に右眼画像に対して右眼画像用の統合モザイク領域に限定してモザイクセルを処理単位としてモザイク処理を実行する。画素値調整機能としては、左眼画像と右眼画像との間で対称位置のモザイクセルどうしの画素値をそれらの平均値又は一方の値などの同値に揃える。対称位置にあるモザイクセルの画素値を同値に揃えることにより、モザイクを立体視したときに対象位置のモザイクの明るさ、濃度及び色相が異なることに起因するモザイクのチラツキなどの知覚違和感を解消又は軽減することができる。
【００１５】
ＲＡＭ２０２は、プロセッサ２０１の主メモリ、ワークエリア等として機能する。プロセッサ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは記憶装置２１２からＲＡＭ２０２にロードして、ロードしたプログラムを実行することで各種動作を実現する。
【００１６】
ＲＯＭ２０３あるいは記憶装置２１２は、プロセッサ２０１により実行されるＢＩＯＳ（Basic Input Output System）、オペレーティングシステムプログラム（ＯＳ）、画像処理プログラムを含む各種アプリケーションプログラムなどの各種機能を実現するために必要な各種プログラム、各種プログラムで処理される各種ファイル、各種データ等が記憶される。
【００１７】
入力コントローラ２０４で、キーボード（ＫＢ）、マウスやタッチパネル等のポインティングデバイス等の入力デバイス２１０からの入力を制御する。ビデオコントローラ２０５は、プロセッサ２０１の制御のもとで、ＬＣＤ（Liquid Crystal Display）などのディスプレイの表示を制御する。
【００１８】
Ｉ／Ｏコントローラ２０６は、記憶装置２１２へのアクセスを制御する。記憶装置２１２には、例えば画像処理プログラムによるモザイク処理（モザイク処理）の対象とする立体視画像の画像ファイル（静止画像、動画像）、モザイク処理後のモザイク画像ファイルが記憶される。モザイク処理の対象とする画像ファイルは、例えば通信コントローラ２０７を通じて、外部の電子機器１４から入力される。また、記憶装置２１２には、画像処理プログラムを実行する際に参照される、セルサイズ設定テーブルが記憶される（図４参照）。セルサイズ設定テーブルは、画像処理プログラムがＲＡＭ２０２にロードされるのに伴って読み出され、ＲＡＭ２０２に記憶される。
【００１９】
通信コントローラ２０７は、ネットワーク１２を介して外部の電子機器１３との通信を制御する。電子機器１３は、立体視画像（静止画像、動画像）を処理する機能を有するもので、例えばパーソナルコンピュータ、スマートフォン、デジタルカメラ、電子メールビデオカメラ、ビデオゲーム装置等である。電子機器１３は、例えば立体視画像の画像データを画像処理装置１０に出力し、画像処理装置１０においてモザイク処理が施されたモザイク画像データを受信し、例えばモザイク画像をディスプレイに表示させることができる。また、電子機器１３は、画像データを記憶する記憶装置（画像データベース）等であっても良い。
【００２０】
次に、本実施形態に係る画像処理装置１０の動作について説明する。図２は立体視画像を構成する左眼画像と右眼画像とに対してモザイク処理を施す画像処理の動作を示すフローチャートである。動画像は、順番付けされた一連の左眼画像と右眼画像とから構成されており、時間対応する左眼画像と右眼画像とに対して図2に示す処理が繰り返される。
【００２１】
プロセッサ２０１は、画像処理プログラムを起動して、左眼画像と右眼画像とからなる立体視画像にモザイク処理を含む画像処理を開始する。まず、プロセッサ２０１は、例えば記憶装置２１２に記憶された立体視画像を構成する左眼画像ファイルと右眼画像ファイルを読み出してＲＡＭ２０２に記憶させる（ステップＳ１）。
【００２２】
プロセッサ２０１は、図３（ａ）に例示するように、ＲＡＭ２０２に記憶された左眼画像ＦＬから、人物の顔や車のナンバープレート等の予め設定している特定のモザイク対象ＡＬを抽出し（ＳＬ２）、抽出したモザイク対象ＡＬを包囲するようにモザイク領域ＢＬを設定する（ＳＬ３）。典型的には、モザイク領域ＢＬは、抽出したモザイク対象ＡＬの輪郭に設定される。モザイク対象ＡＬの抽出方法は、既存の画像処理手法を用いることができる。例えば、抽出対象とする情報の形状、画素値等を表す特徴データに基づく抽出、辞書パターンとのマッチング、入力デバイス２１０の操作によって静止画像に対して指定されるポインティングされた位置を含むモザイク対象とするオブジェクトの抽出などの手法を用いることができる。同様に、プロセッサ２０１は、図３（ｂ）に例示するように、ＲＡＭ２０２に記憶された右眼画像ＦＲから、同じモザイク対象ＡＲを抽出し（ＳＲ２）、抽出したモザイク対象ＡＲを包囲するようにモザイク領域ＢＲを設定する（ＳＲ３）。なお、モザイク対象抽出及びモザイク領域設定処理は、ユーザが左眼画像及び右眼画像上にポインタデバイス等を操作して手動によりモザイク対象を抽出し、モザイク領域を設定するようにしてもよい。また自動抽出したモザイク対象や自動設定したモザイク領域をユーザがポインタデバイス等を操作して手動により修正するようにしてもよい。
【００２３】
なお、左眼画像ＦＬのモザイク対象ＡＬと右眼画像ＦＲのモザイク対象ＡＬとは同一対象ではあるものの、左眼と右眼のそれぞれの視点位置から見たものであるため、それぞれに対応する左眼モザイク領域ＢＬと右眼モザイク領域ＢＲとは画像内の位置、大きさ及び形状に関して同一ではなく、不一致である。
【００２４】
プロセッサ２０１は、図３（ｃ）に示すように、左眼画像ＦＬ上に、右眼モザイク領域ＢＲを複写する（ＳＬ４）。左眼画像ＦＬ上に複写された右眼モザイク領域を「ＢＲ´」と表記する。複写された右眼モザイク領域ＢＲ´は、右眼モザイク領域ＢＲと同じ形状、同じサイズである。また右眼モザイク領域ＢＲ´が配置される左眼画像ＦＬのフレーム上での位置及び向きは、右眼画像ＦＲ上における右眼モザイク領域ＢＲのフレーム上の位置及び向きに同一である。同様に、図３（ｄ）に示すように、右眼画像ＦＲ上に、左眼モザイク領域ＢＬを複写する（ＳＲ４）。右眼画像ＦＲ上に複写された左眼モザイク領域を「ＢＬ´」と表記する。複写された左眼モザイク領域ＢＬ´は、左眼モザイク領域ＢＬと同じ形状、同じサイズである。また左眼モザイク領域ＢＬ´が配置される右眼画像ＦＲのフレーム上での位置及び向きは、左眼画像ＦＬ上における左眼モザイク領域ＢＬのフレーム上の位置及び向きに同一である。
【００２５】
さらにプロセッサ２０１は、図４に示すように、左眼画像ＦＬ上のモザイク領域ＢＬと、右眼画像ＦＲに複写したモザイク領域ＢＬ´とに視差を与えて視認者に奥行きを知覚させるために、モザイク領域ＢＬとモザイク領域ＢＬ´とに対してステレオマッチング処理を施す（ＳＬ５）。実際には図４に示すように、左眼画像ＦＬ上のモザイク領域ＢＬをその位置で固定し、右眼画像ＦＲに複写したモザイク領域ＢＬ´を複写位置（ｘ１、ｙ１）から左側の位置（ｘ１＋ａ、ｙ１）にシフトする。それによりモザイク領域ＢＬとモザイク領域ＢＬ´との輻輳角βは、両方共にシフトしていないモザイク領域ＢＬ，ＢＲの輻輳角αより少し大きくなる（β＞α）。移動距離ａは左眼画像ＦＬ上のモザイク領域ＢＬと右眼画像ＦＲ上のモザイク領域ＢＲとの間の距離に所定距離を加えた距離に設定される。
【００２６】
同様に右眼画像ＦＲ上のモザイク領域ＢＲと、左眼画像ＦＬに複写したモザイク領域ＢＲ´とに視差を与えて視認者に奥行きを知覚させるために、モザイク領域ＢＲとモザイク領域ＢＲ´とに対してステレオマッチング処理を施す（ＳＲ５）。実際には右眼画像ＦＲ上のモザイク領域ＢＲをその位置で固定し、左眼画像ＦＬに複写したモザイク領域ＢＲ´を複写位置（ｘ２、ｙ２）から左側の位置（ｘ２−ａ、ｙ２）にシフトする。
【００２７】
左眼画像ＦＬ上ではそのモザイク領域ＢＬを固定し、右眼画像ＦＲ上ではそのモザイク領域ＢＲを固定するので、モザイク対象像Ｔがモザイク像ＭＢＬ、ＭＢＲから外れて見えてしまう事態の回避を保障できる。なお結像ＭＢＬと結像ＭＢＲとは同じ奥行きであってもよいし、異なる奥行きであってもよい。
【００２８】
次に、プロセッサ２０１は、図３（ｅ）、（ｆ）に示すように、複写し、シフトしたモザイク領域ＢＬ´、ＢＲ´に対してそれぞれ射影変換処理を施す（ＳＬ６、ＳＲ６）。射影変換処理は遠近知覚を与える異形処理であり、図５（ａ）、（ｂ）にその概念を例示しているが、任意の既存手法が適用され得る。なお、射影変換された左眼モザイク領域を「ＢＬ”」と表記し、射影変換された右眼モザイク領域を「ＢＲ”」と表記する。
【００２９】
左眼画像上の元の左眼モザイク領域ＢＬと、左眼画像に複写等された右眼モザイク領域ＢＲ”とが単一のモザイク領域（左眼用統合モザイク領域）Ｂ（Ｌ）に統合され、少し膨張処理を施される（ＳＬ７）。膨張された左眼用統合モザイク領域を「Ｂ（Ｌ）´」と表記する。同様に、右眼画像上の元の右眼モザイク領域ＢＲと、右眼画像に複写等された左眼モザイク領域ＢＬ”とが単一のモザイク領域（右眼用統合モザイク領域）Ｂ（Ｒ）に統合され、少し膨張処理を施される（ＳＲ７）。膨張された右眼用統合モザイク領域を「Ｂ（Ｒ）´」と表記する。
【００３０】
プロセッサ２０１は、図６（ａ）に例示するように、左眼画像ＦＬ上の左眼用統合モザイク領域をＢ（Ｌ）´を工程ＳＬ６と同様の射影変換された複数のモザイクセルに区分する（ＳＬ８）。同様に、プロセッサ２０１は、図６（ｂ）に例示するように、右眼画像ＦＲ上の右眼用統合モザイク領域をＢ（Ｒ）´を工程ＳＲ６と同様の射影変換された複数のモザイクセルに区分する（ＳＲ８）。
【００３１】
左眼画像ＦＬと右眼画像ＦＲのそれぞれに対して、それぞれの統合モザイク領域Ｂ（Ｌ）´、Ｂ（Ｒ）´の範囲に限定してモザイクセルを処理単位としてモザイク処理を施す（ステップＳＬ９、ＳＲ９）。モザイク処理としては典型的には、モザイクセル内の例えば３（画素）×３（画素））の画素値の平均値又は中央値に、そのモザイクセル内の９画素の画素値を置き換える。
【００３２】
図7に示すように、プロセッサ２０１は、モザイク処理を施した左眼画像ＦＬと、モザイク処理を施した右眼画像ＦＲに対して、統合モザイク領域Ｂ（Ｌ）´、Ｂ（Ｒ）´に含まれる対称位置どうしのモザイクセルの画素値を揃える（Ｓ１０）。例えば、プロセッサ２０１は、左右眼画像ＦＬ、ＦＲ上の対称セルの画素値平均値を算出して、この画素値平均値に、該当するモザイクセル内の全ての画素の画素値とする。もちろん、一方の画素値に揃えてもよいし、加重加算値に揃えても良い。
【００３３】
図８には本実施形態における画像処理装置１０によりモザイク処理された左眼画像ＦＬ、ＦＲの立体視の様子を模式的に示している。本実施形態によると、左右眼画像に同じ形状且つ同じ大きさで統合モザイク領域を設定するので、モザイク領域の形状や大きさの違いに起因して生じるモザイク像のチラツキ等の知覚異常を軽減することができる。また、左眼画像と右眼画像とで対応するモザイクセルの画素値を揃えることで、モザイクの明るさ、濃度及び色相が異なることに起因するモザイクのチラツキなどの知覚違和感を解消又は軽減することができる。さらに本実施形態では、モザイク対象やその周辺の奥にモザイクを知覚する非常に違和感を与える事態を好適に回避できる。
【００３４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【００３５】
また、実施形態に記載した画像処理の手法は、コンピュータに実行させることができるプログラムとして、例えば磁気ディスク、光ディスク、半導体メモリ等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。画像処理装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、プログラムによって動作が制御されることにより上述した処理を実行する。なお、記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含む。
【符号の説明】
【００３６】
１０…画像処理装置、１２…ネットワーク、１４…電子機器、２０１…プロセッサ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…入力コントローラ、２０５…ビデオコントローラ、２０６…Ｉ／Ｏコントローラ、２０７…通信コントローラ、２１０…入力デバイス、２１１…ディスプレイ、２１２…記憶装置。
【図１】
2019004359.tif 000003
【図２】
2019004359.tif 000004
【図３】
2019004359.tif 000005
【図４】
2019004359.tif 000006
【図５】
2019004359.tif 000007
【図６】
2019004359.tif 000008
【図７】
2019004359.tif 000009
【図８】
2019004359.tif 000010