(57)【要約】【課題】オブジェクトの表示品質を維持しつつ画像サイズを調整することが可能な画像処理装置を提供する。【解決手段】本発明の画像処理装置１００は、オブジェクトを表示可能なオブジェクト画像を、表示品質を保持するオブジェクトを含む第１の領域と、第１の領域以外の領域である第２の領域とに区分する領域処理部１６０と、第１の領域に含まれるオブジェクトの表示品質を保持しつつ第１の領域のサイズを第１の画像調整処理により調整し、オブジェクト画像が所定のサイズの拡大オブジェクト画像となるように第２の領域のサイズを第２の画像調整処理により調整する拡大処理部１７０と、を備える。【選択図】図１
2010140418.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを表示可能なオブジェクト画像を、表示品質を保持するオブジェクトを含む第１の領域と前記第１の領域以外の領域である第２の領域とに区分する領域処理部と、
前記第１の領域に含まれる前記オブジェクトの表示品質を保持しつつ前記第１の領域のサイズを第１の画像調整処理により調整し、前記オブジェクト画像が所定のサイズの拡大オブジェクト画像となるように前記第２の領域のサイズを第２の画像調整処理により調整する拡大処理部と、
を備える、画像処理装置。
【請求項２】
前記第１の領域および前記第２の領域は、前記画像処理装置により実行される機能モード毎に設定されており、
前記領域処理部は、前記機能モードに基づいて前記オブジェクト画像を区分する、請求項１に記載の画像処理装置。
【請求項３】
前記拡大処理部は、前記第１の領域を構成する画素を所定のパターンで繰り返し、第１の方向および前記第１の方向に垂直な第２の方向に同倍率で拡大する、請求項１または２に記載の画像処理装置。
【請求項４】
前記拡大処理部は、前記第１の領域のサイズは変更しない、請求項１または２に記載の画像処理装置。
【請求項５】
前記拡大処理部は、前記第２の領域を構成する画素を所定のパターンで繰り返して追加し、調整された前記第１の領域とともに所定サイズの前記拡大オブジェクト画像を構成するように拡大する、請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
撮像部により撮像された撮像画像に表示される顔部分を認識する顔認識部をさらに備え、
前記領域処理部は、前記顔認識部による顔認識処理が機能されている前記機能モードであるとき、前記顔認識部により認識された顔部分の位置を前記第１の領域に区分する、請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記オブジェクト画像に表示されるオブジェクトには表示位置を示す位置フラグが関連付けられており、
前記領域処理部は、前記オブジェクト画像内に配置された前記オブジェクトの位置フラグに基づいて、前記オブジェクト画像を第１の領域または第２の領域に区分する、請求項１に記載の画像処理装置。
【請求項８】
前記領域処理部は、前記オブジェクトに関連付けられた前記位置フラグに基づいて、前記オブジェクトが配置された領域を前記第１の領域に区分する、請求項７に記載の画像処理装置。
【請求項９】
オブジェクトを表示可能なオブジェクト画像を、領域処理手段により、表示品質を保持するオブジェクトを含む第１の領域と前記第１の領域以外の領域である第２の領域とに区分するステップと、
拡大処理手段により、前記第１の領域に含まれる前記オブジェクトの表示品質を保持しつつ前記第１の領域のサイズを調整し、前記オブジェクト画像が所定のサイズの拡大オブジェクト画像となるように前記第２の領域のサイズを調整するステップと、
を含む、画像処理方法。
【請求項１０】
オブジェクトを表示可能なオブジェクト画像を、表示品質を保持するオブジェクトを含む第１の領域と前記第１の領域以外の領域である第２の領域とに区分する領域処理手段と、
前記第１の領域に含まれる前記オブジェクトの表示品質を保持しつつ前記第１の領域のサイズを第１の画像調整処理により調整し、前記オブジェクト画像が所定のサイズの拡大オブジェクト画像となるように前記第２の領域のサイズを第２の画像調整処理により調整する拡大処理手段と、
を備える画像処理装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、テレビなどの画像表示機器のみならず、デジタルカメラ等のあらゆる機器に表示部が設けられ、様々な画像が表示部に表示されるようになってきている。液晶表示パネルやプラズマ表示パネルなどの表示部に表示される画像は、通常、表示部の解像度にしたがった画像に画像処理されて表示部に映し出される。
【０００３】
例えば、デジタルカメラの撮像部により撮像する撮像画像は、撮像素子の解像度に応じた画像を取得することができ、表示部に適した解像度で表示させることができる。また、撮像画像に対して画像処理を行い、表示部の解像度に適した画像を表示させるようにすることもできる。一方、設定表示メニュー等の文字やアイコン等からなるオブジェクト画像は、撮像画像に合成されて表示される画像である。通常、機器には、所定の固定サイズのオブジェクト画像が１つのみ保持されている。このため、オブジェクト画像の解像度が表示部の解像度より低い場合、オブジェクト画像を撮像画像に合成して表示させるには、オブジェクト画像のサイズを表示部の解像度に応じて拡大する必要がある。
【０００４】
例えば、特許文献１には、あらかじめ設定されたラスタのアドレスを繰り返し指定することにより、表示文字の品質を保持しつつ、表示手段の解像度に応じて見易く拡大した画面を取得可能な画像表示装置が開示されている。
【０００５】
【特許文献１】特開平２−１１０４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１のように、画像の垂直方向については特定の繰り返しパターンによって同一ラインを繰り返し、水平方向については同一ドットを繰り返して画像を拡大する場合、場所によってオブジェクト画像の表示品質が低下するという問題があった。
【０００７】
例えば、図１３左側に示すように、三角形の図形アイコン１２とアルファベット「Ａ」の文字アイコン１４とが含まれたオブジェクト画像１０を考える。このオブジェクト画像１０を、従来の拡大方法を用いて、例えば２ライン毎に前ラインと同一のラインを追加して拡大し、拡大オブジェクト画像２０を生成する。そうすると、図１３左側に示す図形アイコン１２および文字アイコン１４は、図１３右側に示すように図形アイコン２２および文字アイコン２４となる。図形アイコン２２は元の形状からわずかに変形しただけであるが、文字アイコン２４は文字の一部の線が太くなってしまい、元の形状から大きく変形してしまっている。このように、オブジェクトの表示品質が低下することがある。特に、小さい文字からなるオブジェクトは表示品質が低下する可能性が高い。
【０００８】
また、オブジェクト画像を拡大する方法として、レゾリューションコンバータを使用して拡大する方法もある。しかし、回路規模が大きくなるとともに、全体を数学的に計算して補間拡大するため、オブジェクトである文字やアイコンのエッジがぼやけてしまうという問題もある。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、オブジェクトの表示品質を維持しつつ画像サイズを調整することが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、オブジェクトを表示可能なオブジェクト画像を、表示品質を保持するオブジェクトを含む第１の領域と、第１の領域以外の領域である第２の領域とに区分する領域処理部と、第１の領域に含まれるオブジェクトの表示品質を保持しつつ第１の領域のサイズを第１の画像調整処理により調整し、オブジェクト画像が所定のサイズの拡大オブジェクト画像となるように第２の領域のサイズを第２の画像調整処理により調整する拡大処理部と、を備える、画像処理装置が提供される。
【００１１】
本発明によれば、オブジェクト画面を所定のサイズに拡大する際に、オブジェクト画面をオブジェクトの表示品質を保持する第１の領域とそれ以外の領域である第２の領域とに区分する。そして、各領域に対してそれぞれに適した繰り返しパターン処理を実行する。これにより、所定のオブジェクトの表示品質を保持することができる。
【００１２】
ここで、第１の領域および第２の領域は、画像処理装置により実行される機能モード毎に設定することができる。このとき、領域処理部は、機能モードに基づいてオブジェクト画像を区分する。
【００１３】
拡大処理部は、第１の領域を構成する画素を所定のパターンで繰り返し、第１の方向および第１の方向に垂直な第２の方向に同倍率で拡大するようにしてもよく、第１の領域のサイズは変更しないようにしてもよい。また、拡大処理部は、第２の領域を構成する画素を所定のパターンで繰り返して追加し、調整された第１の領域とともに所定サイズの拡大オブジェクト画像を構成するように拡大するようにしてもよい。
【００１４】
また、画像処理装置は、撮像部により撮像された撮像画像に表示される顔部分を認識する顔認識部をさらに備えるようにしてもよい。このとき、領域処理部は、顔認識部による顔認識処理が機能されている機能モードであるとき、顔認識部により認識された顔部分の位置を前記第１の領域に区分する。
【００１５】
さらに、オブジェクト画像に表示されるオブジェクトに、表示位置を示す位置フラグが関連付けることもできる。このとき、領域処理部は、オブジェクト画像内に配置されたオブジェクトの位置フラグに基づいて、オブジェクト画像を第１の領域または第２の領域に区分するようにしてもよい。例えば、領域処理部は、オブジェクトに関連付けられた位置フラグに基づいて、オブジェクトが配置された領域を第１の領域に区分するようにすることができる。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、オブジェクトを表示可能なオブジェクト画像を、領域処理手段により、表示品質を保持するオブジェクトを含む第１の領域と前記第１の領域以外の領域である第２の領域とに区分するステップと、拡大処理手段により、第１の領域に含まれるオブジェクトの表示品質を保持しつつ第１の領域のサイズを調整し、オブジェクト画像が所定のサイズの拡大オブジェクト画像となるように第２の領域のサイズを調整するステップと、を含む、画像処理方法が提供される。
【００１７】
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記の画像処理装置として機能させるためのコンピュータプログラムが提供される。コンピュータプログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の画像処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスクや光ディスクなどである。
【発明の効果】
【００１８】
以上説明したように本発明によれば、オブジェクトの表示品質を維持しつつ画像サイズを調整することが可能な画像処理装置、画像処理方法およびコンピュータプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
以下、発明を実施するための最良の形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施形態
（機能モードに基づいてオブジェクト画像の表示エリアが設定される例）
２．第２の実施形態（自動的にオブジェクト画像の表示エリアが設定される例）
【００２１】
＜１．第１の実施形態＞
まず、図１に基づいて、本発明の第１の実施形態にかかる画像処理装置について説明する。なお、図１は、本実施形態にかかる画像処理装置１００の構成を示すブロック図である。
【００２２】
［画像処理装置の構成］
本実施形態にかかる画像処理装置１００は、例えばデジタルスチルカメラやデジタルビデオカメラ等である。画像処理装置１００は、図１に示すように、撮像部１１０と、カメラ処理部１２０と、メモリ１３０と、表示制御部１４０と、オブジェクト生成部１５０と、領域処理部１６０と、拡大処理部１７０と、表示形回路部１８０とからなる。
【００２３】
撮像部１１０は、レンズから入射した光を電気信号に変換する。撮像部１１０は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）を用いることができる。撮像部１１０により変換された電気信号は、カメラ処理部１２０へ出力される。
【００２４】
カメラ処理部１２０は、撮像部１１０から入力された電気信号から撮像画像を生成する。カメラ処理部１２０は、撮像部１１０からの電気信号を撮像画像として適切な信号情報に変換する。カメラ処理部１２０は、変換した信号情報を撮像画像としてメモリ１３０に記録する。
【００２５】
メモリ１３０は、画像を記憶する記憶部であって、例えばＤＲＡＭやＳＲＡＭ等を用いることができる。メモリ１３０には、カメラ処理部１２０により記録された撮像画像や、後述するオブジェクト生成部１５０により生成されたオブジェクト画像などが記憶される。
【００２６】
表示制御部１４０は、画像処理装置１００において画像を表示部に表示させるための各機能部を制御する。表示制御部１４０は、例えば入力部（図示せず。）から入力された入力情報に基づいて、例えば表示部（図示せず。）に表示させるオブジェクト画像を生成する指示をオブジェクト生成部１５０に対して出力する。また、表示制御部１４０は、後述する表示系回路部１８０に対して、撮像画像とオブジェクト画像とを合成する画像処理を行う指示を出力する。
【００２７】
オブジェクト生成部１５０は、表示部に表示させるオブジェクト画像を生成する。オブジェクト生成部１５０は、表示制御部１４０から入力されたオブジェクト画像生成指示に基づいてオブジェクト画像を生成し、メモリ１３０に記録する。
【００２８】
領域処理部１６０は、オブジェクト画像を２つの領域に区分する処理を行う。領域処理部１６０は、メモリ１３０に記憶されたオブジェクト画像を機能モードに基づいて解析し、オブジェクトの表示品質を保持する第１の領域と、第１の領域以外の領域である第２の領域とに区分する。なお、機能モードとは、画像処理装置１００の実行する機能を表すものである。本実施形態にかかる画像処理装置１００では、機能モード毎にオブジェクト画像内におけるオブジェクトの配置が予め決定されている。
【００２９】
拡大処理部１７０は、オブジェクト画像を表示部の解像度に合わせて拡大する。拡大処理部１７０は、図１に示すように、画像調整部１７２と、繰り返しパターン設定部１７４と顔認識部１７６とから構成される。
【００３０】
画像調整部１７２は、メモリ１３０からオブジェクト画像を読み出して、区分された２つの領域に対してそれぞれ所定の繰り返しパターンによりサイズを調整し、拡大オブジェクト画像を生成する。繰り返しパターン設定部１７４は、オブジェクト画像を拡大する繰り返しパターンを決定する。繰り返しパターン設定部１７４は、オブジェクト画像の各領域にそれぞれ対応する繰り返しパターンを設定する。繰り返しパターンは、オブジェクト画像に表示されるオブジェクト毎に予め決定されている。顔認識部１７６は、メモリ１３０に記憶された撮像画像中の顔部分を認識する。顔認識部１７６は、認識した顔部分の位置を画像調整部１７２に出力する。
【００３１】
表示系回路部１８０は、表示部等に表示させる画像を生成する機能部であって、本実施形態では撮像画像と拡大オブジェクト画像を合成する処理を行う。表示系回路部１８０は、表示制御部１４０から入力された撮像画像とオブジェクト画像とを合成する画像合成指示に基づいて、画像合成処理を行う。表示系回路部１８０は、画像調整部１７２に対してオブジェクト画像のサイズを調整する指示を行い、拡大オブジェクト画像を画像調整部１７２から受け取る。表示系回路部１８０は、撮像画像と拡大オブジェクト画像とを合成し、合成画像を表示部へ出力する。
【００３２】
このような画像処理装置１００では、撮像部１１０により撮像された撮像画像がカメラ処理部１２０において所定の処理が施された後、メモリ１３０に記録される。一方、撮像画像とともに表示されるオブジェクト画像は、例えばユーザからの入力情報等に応じて、表示制御部１４０からの指示を受けてオブジェクト生成部１５０により生成され、メモリ１３０に記録される。その後、表示制御部１４０が表示系回路部１８０に対して撮像画像とオブジェクト画像との合成を指示する。
【００３３】
これを受けて、表示系回路部１８０は、メモリ１３０から撮像画像を取得するとともに、領域処理部１６０にオブジェクト画像を２つの領域に区分させ、拡大処理部１７０にオブジェクト画像を撮像画像の解像度に合致するように調整する画像処理を行わせる。その後、表示系回路部１８０は、調整されたオブジェクト画像と撮像画像とを合成して合成画像を生成し、合成画像を表示部へ出力する。なお、表示部は、当該画像処理装置１００に設けられた表示部であってもよく、当該画像処理装置１００に接続された表示装置であってもよい。
【００３４】
以上、本実施形態にかかる表示処理装置１００の構成について説明した。本実施形態にかかる表示処理装置１００は、オブジェクト画像に含まれるオブジェクトの表示品質を保持しつつ、所定の画像サイズに調整することが可能である。そこで、以下、図２〜図６に基づいて、表示処理装置１００による画像処理方法を説明する。なお、図２は、本実施形態にかかる画像処理方法を示すフローチャートである。図３〜図５は、本実施形態にかかるオブジェクトの配置エリアの例を示す説明図である。図６は、本実施形態にかかる画像拡大方法により拡大した画像を示す説明図である。
【００３５】
［画像処理方法］
本実施形態にかかる画像処理方法は、図２に示すように、まず、表示する撮像画像の画像サイズを取得する（ステップＳ１１０）。表示系回路部１８０は、撮像部１１０により撮像された撮像画像のうち表示させる撮像画像をメモリ１３０から取得し、その画像サイズを取得する。後述する処理において、オブジェクト画像をこの画像サイズに調整し、合成する撮像画像とサイズを合わせる。
【００３６】
次いで、オブジェクト画面の表示内容を取得する（ステップＳ１２０）。オブジェクト画面は、例えば操作メニューや設定機能等を表す画面であり、図形や文字により表されたアイコンや時刻や説明表示等の文字等が含まれている。これらのオブジェクトのうち、オブジェクト画像の拡大処理を行うことにより、オブジェクトの表示品質が低下してしまうとその機能を十分に発揮できなくものがある。例えば、時刻表示機能は、数字が変形してしまうとユーザが数字を認識することができなくなってしまう。また、同様に、文字が変形すると、ユーザが説明文やアイコンが示す機能等を理解することができなくなる。一方、例えば、図形のアイコンであれば、その形状が多少変化しても当該アイコンの示す機能等をユーザが認識することは可能である。
【００３７】
本実施形態では、オブジェクト画面に表示されるオブジェクトについて、表示品質を保持する必要があるオブジェクトであるか否かによって、オブジェクトの配置位置が決定されている。表示品質を保持する必要があるオブジェクトの表示エリアを「エリアＡ」とし、表示品質の多少の低減は許容されるオブジェクトの表示エリアを「エリアＢ」とすると、例えば、図３に示すように、オブジェクト画面を２つの表示エリアに区分することができる。図３は、画面右上に表示品質を保持するオブジェクトを配置する場合であって、例えば撮影時に時刻を表示する場合等のオブジェクト画面の構成である。また、オブジェクト画面の表示エリアを図４に示すように区分することもできる。図４は、画面下部に表示品質を保持するオブジェクトを配置する場合であって、例えばカメラ機能の設定や現在のモード表示等のアイコンを表示したり、再生時の字幕を表示したりする場合のオブジェクト画面の構成である。
【００３８】
さらに、図５に示すように、画面の中央付近にエリアＡを設定することもできる。例えば、画像処理装置が顔認識機能を有している場合、画面上の顔部分に対して詳細なグラフィック表示やアイコン等を表示する場合がある。例えば、顔を認識したところに顔枠を表示させる場合である。この場合、顔認識部１７６により認識された顔部分の位置にエリアＡがリアルタイムで設定されるようにする。
【００３９】
このように、画像処理装置１００の機能モードによって、例えば図３〜図５に示すように、オブジェクトの表示品質を保持する必要がある表示エリアとそれ以外の表示エリアとの配置が決定されている。ステップＳ１２０では、後述のステップＳ１３０にて表示品質を保持する必要があるオブジェクトが配置される表示エリアとそれ以外の表示エリアとを取得するために、オブジェクト画面が表示されるときの画像処理装置１００の機能モードを把握する。
【００４０】
さらに、オブジェクト画面の表示エリアを設定する（ステップＳ１３０）。本実施形態にかかる画像処理方法では、ステップＳ１２０で取得したオブジェクト画面が表示されるときの画像処理装置１００の機能モードに基づいて、オブジェクト画面を２つのエリアに設定する。このとき、オブジェクト画面は、表示されるオブジェクトの表示品質を保持する表示エリアと、表示品質の多少の低減は許容されるオブジェクトの表示エリアとに区分される。
【００４１】
例えば、オブジェクト画面が表示されるときの機能モードが撮影モードであれば、撮影時に表示される時刻は、図３に示すように、エリアＡおよびエリアＢが設定される。また、オブジェクト画面が表示されるときの機能モードが再生モードであれば、再生時の字幕は、図４に示すように、エリアＡおよびエリアＢが設定される。さらに、オブジェクト画面が表示されるときの機能モードにおいて顔認識機能が機能している場合、認識された顔位置を示す顔枠は、図５に示すように、顔認識部分がエリアＡとなるようにリアルタイムで表示エリアが設定される。
【００４２】
その後、ステップＳ１３０で区分された２つの表示エリアについて、それぞれに対してあらかじめ設定された繰り返しパターンに基づいて、繰り返しパターン処理を行う（ステップＳ１４０）。エリアＡでは、オブジェクトの表示品質を保持するため、表示内容が崩れないような繰り返しパターン処理が行われる。このため、例えば、エリアＡでは繰り返しパターン処理を行わないか、オブジェクトのサイズが整数倍の大きさとなるようにラインを追加する処理を行うようにする。
【００４３】
一方、エリアＢでは、オブジェクトの表示品質は多少損なわれても問題ないため、エリアＡのオブジェクトの表示品質を保持する処理を行った後、オブジェクト画面全体として所定のサイズに拡大されるようにエリアＢを拡大処理する。このため、エリアＢについては、オブジェクト画面全体に対して均一に繰り返しパターン処理を行う場合と比較してより多くの繰り返しパターン処理が行われる可能性が高い。エリアＢにおける繰り返しパターン処理は、従来と同様に、例えばオブジェクト画面の垂直方向には所定数のライン毎に前ラインと同一ラインを１ライン追加し、水平方向には所定数のドット数毎に前ドットと同一ドットを１ドット追加するようにすることができる。このように、オブジェクト画面のエリアＡおよびエリアＢについて、それぞれ繰り返しパターン処理を実行することにより、拡大オブジェクト画面を生成することができる。
【００４４】
例えば、図６左側に示すような１２ドット×８ドットのオブジェクト画面２００を考える。図６左側のオブジェクト画面２００には、三角形の図形アイコン２０２とアルファベット「Ａ」の文字アイコン２０４とが含まれており、図３に示すように表示エリアが設定されている。このとき、画面右上のエリアＡに表示されている文字アイコン２０４は、文字を認識可能とするため表示品質を保持する必要がある。また、エリアＢに表示されている図形アイコン２０２は、形状が多少変形しても問題ないと考えられる。
【００４５】
このオブジェクト画面２００を１７ドット×１１ドットの拡大オブジェクト画面２１０に拡大する場合、エリアＡについては、文字アイコン２０２の表示品質が低下しないように、繰り返しパターン処理を実行しないことによって表示品質を保持する。一方、エリアＢについては、オブジェクト画面２００を所望のサイズに拡大するために、所定の繰り返しパターン処理を行う。本例では、１ライン毎に追加ライン２１６を追加する。この結果、拡大オブジェクト画面２１０の文字アイコン２１４は、繰り返しパターン処理前の文字アイコン２０４と同一サイズで表示され、図形アイコン２１２は繰り返しパターン処理前の図形アイコン２０２の約２倍のサイズで表示される。これにより、文字アイコン２１４については表示品質を保持し、図形アイコン２１２については、形状は変化しても比較的表示品質が低下しないように拡大オブジェクト画面２１０を生成することができる。
【００４６】
そして、拡大オブジェクト画面が生成されると、撮像画像と合成され（ステップＳ１５０）、表示部へ出力される。こうして、撮像画像とオブジェクト画面との合成画面を表示部の解像度に適合させた状態で表示させることができる。
【００４７】
以上、本発明の第１の実施形態にかかる画像処理方法について説明した。本実施形態によれば、オブジェクト画面を所定のサイズに拡大する際に、オブジェクト画面をオブジェクトの表示品質を保持する表示エリアとそれ以外の表示エリアとに区分する。そして、各表示エリアに対してそれぞれに適した繰り返しパターン処理を実行する。これにより、所定のオブジェクトの表示品質を保持することができる。また、前後の画素の補間によっては拡大オブジェクト画面を生成しないため、文字のエッジをシャープにすることができ、回路規模も小さくすることができる。さらに、オブジェクト画面の表示内容に応じて表示エリアの区分が設定されることにより、それぞれの場合に応じて繰り返しパターン処理を設定することができ、最適な方法で拡大処理を行うことができる。
【００４８】
＜２．第２の実施形態＞
次に、図７〜図１０に基づいて、本実施形態にかかる画像処理方法について説明する。本実施形態にかかる画像処理方法は、オブジェクト画面内に配置されたオブジェクトを認識して自動的に表示エリアを区分する点で第１の実施形態にかかる画像処理方法と相違する。本実施形態にかかる画像処理方法は、第１の実施形態に示した画像処理装置と同一構成の装置を用いて実行することができる。以下では、本実施形態にかかる画像処理方法について詳細に説明し、第１の実施形態と同一である画像処理装置の構成および共通する画像処理方法における処理についての説明は省略する。なお、図７は、本実施形態にかかる画像処理方法を示すフローチャートである。図８〜図１０は、本実施形態にかかるオブジェクトの配置エリアの例を示す説明図である。
【００４９】
［画像処理方法］
本実施形態にかかる画像処理方法は、第１の実施形態にかかる画像処理方法と同様に、表示する撮像画像の画像サイズを取得して、オブジェクト画像を拡大するサイズを把握する。そして、まず、オブジェクト画像全体におけるオブジェクトの表示位置を取得する（ステップＳ２１０）。オブジェクトは、第１の実施形態と同様、例えば文字や図形等のアイコン等であるが、本実施形態にかかるオブジェクトにはオブジェクト画像内における自己の表示位置を示す位置フラグが関連付けられている。オブジェクトに関連付けられた位置フラグより、画像処理装置１００の領域処理部１６０は、オブジェクト画像内における各オブジェクトの表示位置を取得することができる。
【００５０】
次いで、オブジェクト画像に対して繰り返しパターン処理を開始する（ステップＳ２２０）。そして、オブジェクト画像を基準位置から順次読み出していき、読み出し位置がオブジェクトの表示されているエリアに位置するか否かを判定する（ステップＳ２３０）。読み出し位置がオブジェクトの表示されているエリアに位置するか否かの判定は、オブジェクトに関連付けられた位置フラグに基づいて行われる。ステップＳ２３０において読み出し位置がオブジェクトの表示されているエリアに位置すると判定されると、オブジェクトの表示品質が保持されるエリアＡに対する繰り返しパターン処理が行われる（ステップＳ２４０）。一方、ステップＳ２３０において読み出し位置がオブジェクトの表示されていないエリアに位置すると判定されると、エリアＢに対する繰り返しパターン処理が行われる（ステップＳ２５０）。
【００５１】
その後、オブジェクト画面全体について繰り返しパターン処理が終了したか否かを判定する（ステップＳ２６０）。ステップＳ２６０において画面全体について繰り返しパターン処理が終了していない場合にはステップＳ２３０へ戻り、同様に処理を繰り返す。一方、ステップＳ２６０において画面全体について繰り返しパターン処理が終了した場合には、撮像画像と拡大されたオブジェクト画像とを合成し（ステップＳ２７０）、表示部へ出力される。
【００５２】
以上、本実施形態にかかる画像処理方法について説明した。このように、かかる画像処理方法では、オブジェクトを認識するごとに表示品質を保持するエリアＡが設定される。より具体的に説明すると、例えば、オブジェクト画像内にオブジェクトがない状態では、図８に示すように、表示品質を保持する表示エリアであるエリアＡと、エリアＡ以外の表示エリアであるエリアＢとを設定したとする。図８では、オブジェクト画像の左上部分を中心にエリアＡが設けられるように初期設定されている。なお、オブジェクトが存在しない場合には、任意の領域にエリアＡおよびエリアＢを設定することができる。
【００５３】
繰り返しパターン処理を開始して、読み出し位置にオブジェクトが存在した場合には、オブジェクトの存在する領域を切り出してエリアＡに設定する。例えば、図９に示すように、オブジェクト画像内にオブジェクトαが存在すると、オブジェクトαの存在する垂直方向または水平方向の座標により区分される領域をエリアＡとして設定する。オブジェクトの存在する座標は、各オブジェクトに関連付けられた位置フラグより取得することができる。なお、本実施形態にかかる繰り返しパターンでは、まず、オブジェクトαの領域をエリアＡとして確保した後、残りの領域をエリアＢとする。図９は、図８のオブジェクト画像の状態からオブジェクトαの領域がエリアＡとして確保された後、残りの領域を初期設定に基づいて左上部分にエリアＡが設定され、さらに残りの領域にエリアＢが設定された状態を示している。さらに、オブジェクト画像内に複数のオブジェクトが存在している場合には同様の処理を行い、例えば図１０に示すようにエリアＡを拡大していく。このように、オブジェクトの位置を認識し、オブジェクトの表示品質を保持する表示エリアを設定していく。これにより、オブジェクト画像を、自動的に異なる繰り返しパターン処理を行う２つの領域に区分することができる。
【００５４】
［繰り返しパターン処理例］
次に、図１１および図１２に基づいて、本実施形態にかかる画像処理方法における繰り返しパターン処理の一例を説明する。なお、図１１は、本実施形態における繰り返しパターン処理の一例を示すフローチャートである。図１２は、本実施形態における繰り返しパターン処理の一例を示す説明図である。
【００５５】
本例では、図１２に示すように、７２０ドット×４８０ドットのオブジェクト画像３００から拡大オブジェクト画像３１０を生成し、１０８０ドット×１９２０ドットの撮像画像３２０と合成させる場合を考える。オブジェクト画像３００には、３つのオブジェクトα、β、γが含まれている。各オブジェクトには、それぞれが表示される位置を示す位置フラグが関連付けられている。ここで、オブジェクトαの位置フラグを（ｘａ１〜ｘａ２、ｙａ１〜ｙａ２）、オブジェクトβの位置フラグを（ｘｂ１〜ｘｂ２、ｙｂ１〜ｙｂ２）、オブジェクトγの位置フラグを（ｘｃ１〜ｘｃ２、ｙｃ１〜ｙｃ２）とする。
【００５６】
本実施形態にかかる繰り返しパターン処理では、まず、オブジェクト画像３００の読み出し開始位置を設定する（ステップＳ３１０）。ここで、画像の水平方向をＸ方向、垂直方向をＹ方向とし、読み出し座標を（Ｘ、Ｙ）、読み出し開始位置を（Ｘｓｔａｒｔ、Ｙｓｔａｒｔ）、読み出し終了位置を（Ｘｅｎｄ、Ｙｅｎｄ）とする。例えば、図１２に示すように、読み出し開始位置を画像の左上（すなわち、（Ｘｓｔａｒｔ、Ｙｓｔａｒｔ）＝（０、０））に設定し、読み出し終了位置を画像の右下（すなわち、（Ｘｅｎｄ、Ｙｅｎｄ）＝（７１９、４７９））に設定することができる。
【００５７】
次いで、読み出し位置の垂直方向の座標が読み出し終了位置に達したか否かを判定する（ステップＳ３２０）。すなわち、Ｙ＜Ｙｅｎｄを満たす場合にはステップＳ３３０の処理へ進み、Ｙ＜Ｙｅｎｄを満たさない場合には繰り返しパターン処理を終了する。また、読み出し位置の水平方向の座標が読み出し終了位置に達したか否かを判定する（ステップＳ３３０）。すなわち、Ｘ＜Ｘｅｎｄを満たす場合にはステップＳ３４０の処理へ進み、Ｘ＜Ｘｅｎｄを満たさない場合には繰り返しパターン処理を終了する。
【００５８】
ステップＳ３２０およびＳ３３０において、読み出し位置が読み出し終了位置に達していないと判定された場合、読み出し位置の水平方向の座標がオブジェクトの表示エリアに位置するか否かを判定する（ステップＳ３４０、Ｓ３５０）。本例では、オブジェクトαとオブジェクトγの水平方向の座標が同一であるとする。このとき、まず、ステップＳ３４０にて、読み出し位置がオブジェクトα、γの表示位置に位置するか否かを判定する。読み出し位置がオブジェクトα、γの表示位置に位置する場合には、オブジェクトα、γの表示品質を保持するために、この領域を表示品質を保持する繰り返しパターン処理を行うエリアＡとする。そして、当該エリアＡに対して、エリアＡに設定された繰り返しパターン処理を実行する（ステップＳ３６０）。
【００５９】
一方、読み出し位置がオブジェクトα、γの表示位置に位置しない場合には、同様に、読み出し位置がオブジェクトβの表示位置に位置するか否かを判定する（ステップＳ３５０）。読み出し位置がオブジェクトβの表示位置に位置する場合には、オブジェクトβの表示品質を保持するために、この領域を表示品質を保持する繰り返しパターン処理を行うエリアＡとし、エリアＡに対する繰り返しパターン処理を実行する（ステップＳ３６０）。一方、読み出し位置がオブジェクトβの表示位置に位置しない場合には、読み出し位置はオブジェクト画像３００に含まれているオブジェクトの表示位置にはないとして、当該位置はエリアＢに設定される。そして、エリアＢに対して、エリアＢに設定された繰り返しパターン処理が実行される（ステップＳ３７０）。
【００６０】
なお、本例では３つのオブジェクトについて読み取り位置がこれらのオブジェクトの表示位置に位置するか否かを判定したが、かかる処理は、オブジェクト画像内に含まれるすべてのオブジェクトについて行われる。また、エリアＡに対する繰り返しパターン処理は、第１の実施形態と同様、オブジェクトの表示品質を低下させない繰り返しパターンであり、例えば、拡大処理を行わず、もとのオブジェクトと同一の画像を出力するようにすることができる。一方、エリアＢについても、第１の実施形態と同様に、オブジェクト画像のサイズを所定のサイズに拡大するために所定のライン数ごとにラインを追加する拡大処理を実行してもよい。
【００６１】
その後、現在の読み出し位置に対する繰り返しパターン処理が終了すると、読み出し位置を水平方向および垂直方向に１ずつずらす（ステップＳ３８０）。そして、ステップＳ３２０に戻り、オブジェクト画像３００全体に対する処理が終了するまでステップＳ３２０〜Ｓ３８０の処理を繰り返す。オブジェクト画像３００全体について処理を終えると、所定のサイズに拡大された拡大オブジェクト画像３１０が生成される。こうして、生成された拡大オブジェクト画像３１０と撮像画像３２０とは、表示系回路部１８０により合成され、表示部に出力される。
【００６２】
このように、本例の繰り返しパターン処理を用いた画像表示方法では、オブジェクト画像におけるオブジェクトの表示位置をオブジェクトの位置フラグから自動的に取得する。そして、オブジェクト画像を、オブジェクトの表示品質を保持する表示エリア（エリアＡ）とそれ以外の表示エリア（エリアＢ）とに区分する。そして、エリアＡについてはオブジェクト画像３００と同一の画像を表示し、エリアＢについてはオブジェクト画像３００を所定の繰り返しパターンにしたがって拡大する。これにより、拡大オブジェクト画像３１０には、拡大された画面内に元のオブジェクトと同一サイズのオブジェクトが表示されるようになり、オブジェクトの表示品質を保持することができる。
【００６３】
以上、本発明の第２の実施形態にかかる画像処理方法について説明した。本実施形態によれば、オブジェクト画面を所定のサイズに拡大する際に、オブジェクトの位置フラグに基づいて、オブジェクト画面をオブジェクトの表示品質を保持する表示エリアとそれ以外の表示エリアとに区分する。そして、各表示エリアに対してそれぞれに適した繰り返しパターン処理を実行する。これにより、所定のオブジェクトの表示品質を保持することができる。また、前後の画素の補間によっては拡大オブジェクト画面を生成しないため、文字のエッジをシャープにすることができ、回路規模も小さくすることができる。さらに、オブジェクト画面の表示内容に応じて表示エリアの区分が設定されることにより、それぞれの場合に応じて繰り返しパターン処理を設定することができ、最適な方法で拡大処理を行うことができる。
【００６４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６５】
例えば、上記実施形態では、オブジェクトの表示品質を保持する表示エリアとそれ以外の表示エリアとにおける各繰り返しパターン処理はあらかじめ設定されていたが、本発明はかかる例に限定されない。例えば、形状等によるオブジェクトの種類に基づいて、オブジェクト毎に所定の繰り返しパターンを設定してもよい。
してもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】同実施形態にかかる画像処理方法を示すフローチャートである。
【図３】同実施形態にかかるオブジェクトの配置エリアの一例を示す説明図である。
【図４】同実施形態にかかるオブジェクトの配置エリアの他の例を示す説明図である。
【図５】同実施形態にかかるオブジェクトの配置エリアの他の例を示す説明図である。
【図６】同実施形態にかかる画像拡大方法により拡大した画像を示す説明図である。
【図７】本発明の第２の実施形態にかかる画像処理方法を示すフローチャートである。
【図８】同実施形態にかかるオブジェクトの配置エリアの一例を示す説明図である。
【図９】同実施形態にかかるオブジェクトの配置エリアの他の例を示す説明図である。
【図１０】同実施形態にかかるオブジェクトの配置エリアの他の例を示す説明図である。
【図１１】同実施形態における繰り返しパターン処理の一例を示すフローチャートである。
【図１２】同実施形態における繰り返しパターン処理の一例を示す説明図である。
【図１３】従来の画像拡大方法により拡大した画像を示す説明図である。
【符号の説明】
【００６７】
１００    画像処理装置
１１０    撮像部
１２０    カメラ処理部
１３０    メモリ
１４０    表示制御部
１５０    オブジェクト生成部
１６０    領域処理部
１７０    拡大処理部
１７２    画像調整部
１７４    繰り返しパターン設定部
１７６    顔認識部
１８０    表示系回路部
【図１】
2010140418.tif 000003
【図２】
2010140418.tif 000004
【図３】
2010140418.tif 000005
【図４】
2010140418.tif 000006
【図５】
2010140418.tif 000007
【図６】
2010140418.tif 000008
【図７】
2010140418.tif 000009
【図８】
2010140418.tif 000010
【図９】
2010140418.tif 000011
【図１０】
2010140418.tif 000012
【図１１】
2010140418.tif 000013
【図１２】
2010140418.tif 000014
【図１３】
2010140418.tif 000015