(57)【要約】【課題】画像の階調補正処理時の、画像端部の処理の不自然さを解消することができる画像処理装置を提供する。【解決手段】画像処理装置は元の画像を保持する元画像保持手段と、元の画像の画像サイズ又は画像解像度を縮小処理する画像縮小手段１０２、１０３、１０４と、画像縮小手段により縮小された画像の端部に画素を拡張する画素拡張手段１０６、１０７、１０８と、画素拡張手段により画素が拡張された画像に二次元的なフィルターをかける二次元フィルター手段１２１と、二次元フィルター手段によりフィルター処理された画像を拡大する画像拡大手段１２７、１２８，１２９とを有し、画素拡張手段１０６、１０７、１０８によって拡張される画素の画素データを元の画像から抽出する。【選択図】図２
2008005352.tif 000002
【特許請求の範囲】
【請求項１】
元の画像を保持する元画像保持手段と、
前記元の画像の画像サイズ又は画像解像度を縮小処理する画像縮小手段と、
前記画像縮小手段により縮小された画像の端部に画素を拡張する画素拡張手段と、
前記画素拡張手段により画素が拡張された画像に二次元的なフィルター処理をする二次元フィルター手段と、
前記二次元フィルター手段によりフィルター処理された画像を拡大する画像拡大手段とを有する画像処理装置であって、
前記画素拡張手段によって拡張される画素の画素データは、前記元の画像から抽出された画素データであることを特徴とする画像処理装置。
【請求項２】
元の画像を保持する元画像保持手段と、
前記元の画像の画像サイズ又は画像解像度を縮小処理する画像縮小手段と、
前記画像縮小手段により縮小された画像に二次元的なフィルター処理をする二次元フィルター手段と、
前記二次元フィルター手段によりフィルター処理された画像の端部に画素を拡張する画素拡張手段と、
前記画素拡張手段により画素が拡張された画像を拡大する画像拡大手段とを有する画像処理装置であって、
前記画素拡張手段によって拡張される画素の画素データは、前記元の画像から抽出された画素データであることを特徴とする画像処理装置。
【請求項３】
複数の前記画像縮小手段を有し、
前記複数の画像縮小手段の各縮小率に対応した前記元の画像の画素データを抽出する抽出手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像拡大手段は、前記画像の端部を拡大処理する場合に、前記画像の端部以外を拡大処理する拡大率より小さい拡大率で拡大処理することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
画像サイズ又は画像解像度を縮小処理する画像縮小手段と、
前記画像縮小手段により縮小された画像に二次元的なフィルター処理をする二次元フィルター手段と、
前記二次元フィルター手段によりフィルター処理された画像を拡大する画像拡大手段とを有する画像処理装置であって、
前記画像拡大手段により前記画像の端部を拡大処理する場合に、前記二次元フィルター手段にてフィルター処理された画像の画素データを参照し、マイナス側へ補間処理して画素を作成することを特徴とする画像処理装置。
【請求項６】
前記画像拡大手段にて拡大処理する画像サイズは、前記元の画像サイズ以下又は前記元の画像解像度以下に拡大処理することを特徴とする請求項１〜５のうちいずれか１項に記載の画像処理装置。
【請求項７】
元の画像を保持する元画像保持ステップと、
前記元の画像の画像サイズ又は画像解像度を縮小処理する画像縮小ステップと、
前記画像縮小ステップにより縮小された画像の端部に画素を拡張する画素拡張ステップと、
前記画素拡張ステップにより画素が拡張された画像に二次元的なフィルター処理をする二次元フィルターステップと、
前記二次元フィルターステップにてフィルター処理された画像を拡大する画像拡大ステップとを有し、
前記画素拡張ステップで拡張する画素の画素データは、前記元の画像から抽出された画素データであることを特徴とする画像処理装置の制御方法。
【請求項８】
元の画像を保持する元画像保持ステップと、
前記元の画像の画像サイズ又は画像解像度を縮小処理する画像縮小ステップと、
前記画像縮小ステップにより縮小された画像の端部に画素を拡張する画素拡張ステップと、
前記画素拡張ステップにより画素が拡張された画像に二次元的なフィルター処理をする二次元フィルターステップと、
前記二次元フィルターステップにてフィルター処理された画像を拡大する画像拡大ステップとをコンピュータに実行させるためのプログラムであって、
前記画素拡張ステップで拡張する画素の画素データは、前記元の画像から抽出された画素データであることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像端部の処理方法に関するものである。
【背景技術】
【０００２】
従来、画像の端部を処理する場合、拡張したい分の画素を画像の最端部画素データを複製してから画像処理を行なうように構成されている。（例えば、特許文献1参照）
【０００３】
【特許文献１】特開平０８−２１２３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような画像処理を行なうと、画像の端部データは同じ画像となってしまう為に、端部では不自然な画像となってしまうという問題がある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の画像処理装置は、元の画像を保持する元画像保持手段と、前記元の画像の画像サイズ又は画像解像度を縮小処理する画像縮小手段と、前記画像縮小手段により縮小された画像の端部に画素を拡張する画素拡張手段と、前記画素拡張手段により画素が拡張された画像に二次元的なフィルターをかける二次元フィルター手段と、前記二次元フィルター手段によりフィルター処理された画像を拡大する画像拡大手段とを有し、前記画素拡張手段によって拡張される画素の画素データは、前記元の画像から抽出された画素データであることを特徴とするものである。
【発明の効果】
【０００６】
本発明によれば、画素拡張手段によって拡張される画素の画素データに元の画像から抽出した画素データを用いたので画像の端部の色補正処理又は輝度補正処理をより正確に行うことができるという効果を有する。
【発明を実施するための最良の形態】
【０００７】
（第１の実施形態）
本発明の第１の実施形態を図１〜図６を用いて説明する。図１は本発明の画像処理装置を撮像装置に実装した際の全体概要を表すブロック図である。図２は本発明の第１の実施形態に関わる特徴を示すブロック図である。図３は本実施形態の特徴を表す画像抽出時の処理タイミングチャートである。図４は本実施形態の特徴を表す画像の概念図である。図５は、補間処理拡大時の画素補間概念図である。図６は、図１の構成におけるアプリケーションのデータの流れを説明するためのシステムフローチャートである。
【０００８】
図１の構成順に、１は光電変換素子である撮像素子を示し、この撮像素子としては例えば、ＣＣＤ或いはＣＭＯＳセンサーなどがある。２は撮像用の主レンズである。３は撮像素子１であるＣＣＤ或いはＣＭＯＳセンサーからのアナログ撮像データを所定の量子化ビットに対応してデジタル変換するためのＡ／Ｄ変換を行うＡ／Ｄ変換部である。４は撮像素子１とＡ／Ｄ変換部３のタイミングをコントロールする為のタイミングジェネレータ（ＴＧ）である。５は、Ａ／Ｄ変換部３にてＡ／Ｄ変換されたデジタル撮像データの現像処理を行なう画像処理部ａである。６は画像処理部ａ５にて画像処理する際に処理データと未処理データを一時的に記憶する為のメモリーである。メモリー６は本実施形態ではＲＡＭを示すが、アクセス速度が十分問題ないレベルの素子であればこの限りではない。８は本実施形態の撮像システムを制御する為の制御手段であるＣＰＵである。
【０００９】
９は画像処理部ｂ７にて画像処理されたデータを所定のフォーマットに応じて圧縮処理する為のエンコード処理部である。なお、画像フォーマットはＪＰＥＧ、ＭＰＥＧ等規格に準拠したフォーマットである為、特に限定はしないが本実施形態ではＪＰＥＧエンコーダで説明する。１０はエンコード処理部９で圧縮された動画データ及び静止画データを記録するかネットワーク上に通信するか否かを切り換える切り換え手段である。１１は外部ネットワークからの通信コマンドの通信や或いは、図１の画像素子１〜切り換え手段１０までの各ブロックにて処理された動画像を外部へ配信或いは通信する為のネットワーク通信部である。１２は本発明の撮像装置内に動画像又は静止画像データを記憶する為の記憶手段であるストレージである。ここで記憶手段は、データ書き込み可能な不揮発性メモリー、メディア、ハードディスク等データ記憶出来るもの全般を示し、取り替え可能な物であってもよい。１３はユーザーが外部から直接操作することが可能なキー入力部である。１４は外部からのリモコン制御コマンド受け付け用の赤外線リモコン受信部（ＩＲリモコン）である。
【００１０】
上記構成において、Ａ／Ｄ変換部３、タイミングジェネレータ４、画像処理手段ｂ７、ＣＰＵ８、エンコード処理部９、切り換え手段１０の各ブロックをＬＳＩ化する際に１チップで構成されている。なお、１チップ化ではなく各処理ブロックを別々に構成したり、機器実装上都合の良いＬＳＩ構成にしても構わない。
【００１１】
次に、図２は、図１の画像処理部ｂ７の内部詳細構成を表す図である。１０１は図１の画像処理部ａ５にて現像処理された画像データから、輝度データのみを抽出する輝度データ抽出部である。ここで、画像データがＹＣｂＣｒデータの場合は、輝度値を示すＹデータのみを抽出し、画像データがＲＧＢデータの場合はＲＧＢの持つそれぞれの輝度に対する重み係数倍された値の輝度データ又は輝度データと等価なデータのみを抽出する。１０２、１０３、１０４は輝度データ抽出部１０１にてサンプリングした画像データを画像処理部ａ５で現像処理された画像データのデータサイズに応じて縮小率（×１倍を含む）を可変でき、画像サイズ又は画像解像度を縮小する画像縮小手段ａ、ｂ、ｃである。
【００１２】
１０５は、画像縮小手段１０２、１０３、１０４の縮小手段にて縮小される画像サイズに応じて、その縮小画像サイズと等価な位置にある元画像のＹデータを抽出する端部画像抽出手段である。１０６は、縮小手段ａ１０２で縮小された画像に端部画像抽出手段１０５で抽出された端部画像の画素データを加算して画素を構成する画素拡張手段ａである。１０７は、画素拡張手段ａ１０６と同様に、縮小手段ｂ１０３で縮小された画像に端部画像抽出手段１０５で抽出された端部画像の画像データを加算して画素を構成する画素拡張手段ｂである。１０８は、画素拡張手段ａ１０６、画素拡張手段ｂ１０７と同様に、縮小手段ｃ１０４で縮小された画像に端部画像抽出手段１０５で抽出された端部画像の画像データを加算して画素を構成する画素拡張手段ｃである。
【００１３】
１０９は、画素拡張手段ａ１０６で画素拡張された画素データを一時的に記憶する為のバッファメモリーａである。１１０は、画素拡張手段ｂ１０７で画素拡張された画素データを一時的に記憶する為のバッファメモリーｂである。１１１は、画素拡張手段ｃ１０８で画素拡張された画素データを一時的に記憶する為のバッファメモリーｃである。１２０は、バッファメモリー１０９、１１０、１１１に記憶されてある画像データをフィルター１２１に時系列で加える為のデータ切り換えを行なうセレクタである。１２１は、セレクタ１２０で切り換えられた画像データに二次元フィルタリング（フィルター処理）をかけるフィルター手段である。１２２は、画像処理部ａ５にて現像処理された画像データ（ここではＹＣｂＣｒデータ）を一時的に記憶する為のバッファメモリーである。１２３は、図２に記載してある各ブロックをコントロールする為のコントロール手段である。
【００１４】
１２４は、縮小手段ａ１０２の縮小率１の画像に端部画像抽出手段１０５で抽出された元の画像データを加算し拡大された画像にフィルター１２１の二次元フィルターの処理をした画像を一時的に記憶する為のバッファメモリーｄである。１２５は、縮小手段ｂ１０３の縮小率２の画像に端部画像抽出手段１０５で抽出された元の画像データを加算し拡大された画像にフィルター１２１の二次元フィルターの処理をした画像を一時的に記憶する為のバッファメモリーｅである。１２６は、縮小手段ｃ１０４の縮小率３の画像に端部画像抽出手段１０５で抽出された元の画像データを加算し拡大された画像にフィルター１２１の二次元フィルターの処理をした画像を一時的に記憶する為のバッファメモリーｆである。
【００１５】
１２７は、バッファメモリーｄ１２４でメモリーした画像を入力画像と同一サイズまで拡大する画像拡大手段ａである。１２８は、バッファメモリーｅ１２５でメモリーした画像を入力画像と同一サイズまで拡大する画像拡大手段ｂである。１２９は、バッファメモリーｆ１２６でメモリーした画像を入力画像と同一サイズまで拡大する画像拡大手段ｃである。１３０は、画像拡大手段ａ１２７の画像データの値に応じてルックアップテーブル１３３のテーブルから補正量を参照選択するテーブル参照手段ａである。１３１は、画像拡大手段ｂ１２８の画像データの値に応じてルックアップテーブル１３３のテーブルから補正量を参照選択するテーブル参照手段ｂである。１３２は、画像拡大手段ｃ１２９の画像データの値に応じてルックアップテーブル１３３のテーブルから補正量を参照選択するテーブル参照手段ｃである。
【００１６】
１３３は輝度に応じた補正量をテーブルとして保持しているルックアップテーブル（LUT）である。１３４はテーブル参照手段１３０、１３１、１３２で参照した補正量を加算する為の加算器である。１３５は、加算器１３４にて加算された補正量に応じて、バッファメモリー１２２に記憶された元画像中の色情報のデータに補正を行なう色補正手段である。１３６は、加算器１３４により加算された補正量に応じて、バッファメモリー１２２に記憶された元画像データ中の輝度データに補正を行なう輝度補正手段である。１３７は、色補正手段１３５、輝度補正手段１３６の画像データを切り換えて出力データとする為のセレクタである。
【００１７】
図３は、図２の内部の処理タイミングを表すタイミングチャートである。図３のタイミングチャート順に上から示す。まず、ＣＬＫは、図１の画像処理部ａ５にて画像処理された画像データを、次の処理ブロックである図１の画像処理部ｂ７へ伝送する際のデータフォーマットの一部を表す信号で、動作基準クロックである。次にＤＡＴＡは、伝送データであり本実施形態で実施しているフォーマットとして、すでにデジタルビデオ規格で公知の技術であるＣＣＩＲ６５６（ＩＴＵ−ＲＥＣ６５６）形式を使っている。データ伝送フォーマットに関しては入力画像サイズ等で変わるものである為、特に画像サイズが大きいサイズ又は、高解像度の画像を扱う場合は、この限りではないが、データの順序は同じとして説明する。次に、輝度抽出部１０１のサンプリングタイミングの一部を表す輝度抽出ＥＮ信号があり、そのサンプリングした輝度ＤＡＴＡが表示されている。
【００１８】
次に、輝度抽出部１０１の動作を説明する為、輝度成分を抽出する為のイネーブル信号、そのイネーブル信号によりサンプリングされた輝度データの流れを説明する。まず、図１の画像処理部ａ５で現像処理されたデータを図１の画像処理部ｂ７へ図３記載の画像伝送フォーマットにて伝送する。図３のｉ部のブランク期間から画像のデータラインとブランク位置を特定する為のデータマーカであるｊ部のデータ先頭にデータＦＦ、次の２ｂｙｔｅ分が００、最後のＸＸと記載してある部分ｋがデータマーカコードを示している。輝度抽出部１０１では予め設定された値のマーカーコードと一致すると、次のクロックの立ち上がりからそのラインのＹ値のスタートとなる。図３の輝度抽出ＥＮ信号をコントローラ１２３から出力し、図３に示す輝度データとして２クロックに１回の割合にてＹ値をサンプリングする。
【００１９】
次に、縮小手段ａ１０２へサンプリングしたＹ値の画像を順次伝送していき、予め設定してある所定の画像サイズに縮小していく。又、同様に、縮小手段ａ１０２にて縮小されたＹ値の画像を縮小手段ｂ１０３へ、縮小手段ｂ１０３で縮小されたＹ値の画像を縮小手段ｃ１０４へ伝送し、各々予め設定してある縮小率に画像を縮小する。この時の縮小方法は、画素平均法を用いて画素エリアのＹ値の平均を１画素としている。算出例として１／２の縮小時は、縦横２画素ずつを加算し平均を算出する。１／８の縮小時は、縦横８画素ずつを加算平均し算出している。各々の縮小手段１０２、１０３、１０４にて縮小されたデータと端部画像抽出手段１０５にて抽出された画素を画像データとして加え、バッファメモリー１０９、１１０、１１１に一時的に記憶する。
【００２０】
ここで、端部画像抽出手段１０５による端部画像を抽出する方法について説明する。まず、図１の画像処理部ｂ７（図２）に入力される画像データの先頭ラインより、縮小手段１０２、１０３、１０４の各縮小手段にて縮小するそれぞれの縮小率に応じて、上述したようにＹ値をサンプリングしたデータの中から、画素データを抽出する。
【００２１】
抽出する画素について、図４を使って説明する。図４は、１／８縮小時を例にして画像全体の内、画像の端部を表している。画像の左上端部については、図４のａ、ｂ、ｃ、ｄが前記にて説明した画素平均法にて縮小された画像の画素データである。図４のＡ、Ｂ、Ｃ、Ｄ、Ｅは、端部画像抽出手段１０５により画像の端部を抽出し拡張加算する画素データを示している。同じく画像の右上端部については、図４のｅ、ｆ、ｇ、ｈが画素平均法にて縮小された画像の画素データであり、図４のＦ、Ｇ、Ｈ、Ｉ、Ｊが拡張加算する画素データを示している。
【００２２】
図４のＡは、入力された元の画像の先頭ライン、先頭画素Ｙデータである。Ｂは、縮小率の1／２分平均加重位置がずれている為、ここでは先頭Ａのデータから４画素目のデータを抽出する。Ｃは、平均加重位置と同じ位置でＢの位置から１／縮小率（ここでは８）画素進んだ位置にある画素データを抽出する。同様に、横方向先頭ラインの画素データを８画素刻みで抽出していく。図３のタイミングチャート上では、先頭の画素データは必ず抽出され、次に１／縮小率／２である４画素目のＬ２の位置で端部抽出ＥＮ信号を出力しＹ４のデータを抽出する。その後は、１／縮小率である８画素刻みで端部抽出ＥＮ信号が立ち上がり画像データを抽出する。先頭ラインの最終データ付近（画像右上端部）の画素部分の抽出画素は、図４のｅ方向に順次８画素刻みで抽出するとＦの位置の画像データを抽出し、ｆ方向に順次８画素刻みで抽出するとＧの位置の画素データを抽出する。最終端部は、先頭端部の参照画素と対称な位置となり、元の画像の最終画素データを抽出する。
【００２３】
この様に、縦方向は、１／縮小率ライン刻みでの一番左端画素に対応する位置（図３のタイミングチャートを１／縮小率のライン毎のラインとして説明すると、Ｌ１の位置）の画素の画素データを抽出する。右端の画素は１／縮小率のライン毎のラインにて、最終ライン端部は、最終画素位置のＹ値を抽出する。前記先頭ラインにて説明したことと同じ処理を最終ラインにて行いデータを抽出する。前記にて説明したように、各々縮小率１、２、３に対応した元の画像（原画像）から抽出した画素データと各々縮小手段ａ、ｂ、ｃにて縮小された画像を加算し縮小率の異なる３画像とし構成する。
【００２４】
次に、セレクタ１２０をコントローラ１２３でコントロールし、バッファメモリー１０９、１１０、１１１に記憶されてあるデータを切り換えて、フィルター１２１の二次元フィルター手段にて順次フィルタリング（フィルター処理）していく。フィルター１２１の二次元フィルター手段により、フィルター処理後、各縮小率に応じて縮小率１からの処理ラインデータは、バッファメモリーｄ１２４に記憶される。縮小率２からの処理ラインデータは、バッファメモリーｅ１２５に記憶される。縮小率３からの処理ラインデータは、バッファメモリーｆ１２６に一時的に記憶される。次に、拡大処理部１２７、１２８、１２９で、バッファメモリー１２４、１２５、１２６に一時的に記憶されている画像データから、元の入力画像データと同じ又は元の入力画像データに相当する画像サイズまで、拡大処理を行なう。
【００２５】
次に、拡大処理方法について説明する。ここでの拡大処理は、線形補間画素拡大方式であり、近傍の４画素から直線補間処理することで、画素を拡大する。この時、その部分は、縮小手段１０２、１０３、１０４にてそれぞれ設定している縮小率に対応して画像の上下左右の端部は画素拡張してある為、その部分に関しては、各（１／縮小率／２）の拡大率にて拡大処理する。端部以外は、通常の（１／縮小率）の拡大率にて拡大処理する。
【００２６】
１番最初に、左上端部の補間処理は、画素Ａ、Ｂ、Ｄ、ａを参照し、（式１）に当てはめる。
（式１）        （（ａ−Ｄ）／（拡大率／２）×横画素座標（0〜拡大率／２）−（Ｂ      −Ａ）／（拡大率／２）×横画素座標（0〜拡大率／２））×縦画素座標（0〜拡      大率／２）＋Ａ
で求めることが出来る。
【００２７】
次に、中央上端部の補間処理は、Ｂ、Ｃ、ａ、ｂの画素データを参照し、（式２）に当てはめる。
（式２）        （（ｂ−ａ）／拡大率×横画素座標（0〜拡大率）−（Ｃ−Ｂ）／拡大      率×横画素座標（0〜拡大率））×縦画素座標（0〜拡大率／２）＋Ｂ
右上端部の補間処理は、Ｇ、Ｈ、ｆ、Ｉの画素データを参照し、上記（式１）のＡ、Ｂ、Ｄ、ａに当てはめる。
【００２８】
次に、左端中央部の補間処理は、Ｄ、ａ、Ｅ、ｃの画素を参照し、（式３）に当てはめる。
（式３）        （（ａ−Ｄ）／（拡大率／２）×横画素座標（0〜拡大率／２）−（ｃ      −Ｅ）／（拡大率／２）×横画素座標（0〜拡大率／２））×縦画素座標（0〜拡      大率）＋Ｅ
【００２９】
次に、右端中央部の補間処理は、ｆ、Ｉ、ｈ、Ｊの画素を参照し、上記（式３）のＤ、ａ、Ｅ、ｃに当てはめる。左下端部の補間処理は、近傍４画素を参照し、上記（式１）に当てはめる。中央下端部の補間処理は、近傍４画素を参照し、上記（式２）に当てはめる。右下端部の補間処理は、近傍４画素を参照し、上記（式１）に当てはめる。各画像端部にて上記式のいずれかに当てはめ、演算し補間し画素の拡大を行なう。
【００３０】
次に、端部以外の補間処理はａ、ｂ、ｃ、ｄの画素を参照し、（式４）に当てはめ拡大率にて拡大する。
（式４）        （（ｄ−ｃ）／拡大率×横画素座標（0〜拡大率）−（ｂ−ａ）／拡大      率×横画素座標（0〜拡大率））×縦画素座標（0〜拡大率）＋ａ
図５にて、上記このような処理により端部の補間画素を作成した一部横方向のみの概念図を示す。図５では、Ａ点画素とＢ点画素から端部の拡大補間処理した画素と、Ｂ点画素とＣ点画素から通常領域の拡大補間処理を上記（式１）〜（式４）のいずれかに当てはめ、端部の画素を作り出すように処理が行われる。
【００３１】
次に、図２のテーブル参照手段１３０、１３１、１３２にて予め保持してあるＬＵＴテーブルデータ１３３を参照して補正値を選択する。加算器１３４ではテーブル参照手段１３０、１３１、１３２で参照した補正値を加算処理する。次に、その加算結果を用いバッファメモリー１２２で記憶した元の画像である原画像を呼び出して、色補正手段１３５により色差ＣｂＣｒに対して所定の補正処理を行う。またバッファメモリー１２２で記憶した元の画像である原画像データを読み出し、輝度補正手段１３６により輝度Ｙ値に対して所定の補正処理を行う。セレクタ１３７では、色補正手段１３５で処理した色差データと輝度補正手段１３６で処理した輝度データを切り換えながら図２の画像処理ブロックの出力とする。図２の画像処理部ｂ７の出力を図１のエンコード処理部９へ伝送する。ここまで説明したことが、図２の画像処理部ｂ７の画像処理の中身に関する説明である。
【００３２】
第１の実施形態にてアプリケーションである図１に示すカメラの全体データの処理の流れを図６のフローチャートで説明する。図６のフローチャート順に、ステップ２００からシステムスタートし、ステップ２０１へ進む。ステップ２０１で、まずＣＰＵ８にて、外部操作キー１３が入力されたか否かを判断し、外部操作なしの場合はステップ２０２へ進み、外部よりＩＲリモコン１４のコマンド受け付け確認を行なう。ここでコマンドを受け付けない場合は、ステップ２０３へ進み、ステップ２０３では、ネットワーク通信部１１を介してネットワーク上のクライアントユーザー等からのコントロールコマンドを受け付ける。ネットワーク通信部１１経由のコマンドを受け付けない場合は、ステップ２０１、２０２、２０３のいずれかを検出するまで待機状態となる。ステップ２０１、２０２、２０３のいずれかにて外部動作コマンドを受け付けると、ステップ２０４へ行き、タイミングジェネレータ４を起動させる。
【００３３】
その後、ステップ２０５で、タイミングジェネレータ４で発生したタイミングに応じて、撮像素子１を動作させ、画像データがアナログ信号として出力される。ステップ２０６でステップ２０５で出力したアナログ撮像データを所定の量子化ビットにＡ／Ｄ（アナログ／デジタル）変換する。ステップ２０７では、ステップ２０６にてＡ／Ｄ変換したＲＡＷデータを画像処理部ａ５で適正な色再現処理、データフォーマット変換（ＲＧＢ−ＹＣｂＣｒ変換）、画像の各種強調処理等を行う。
【００３４】
ステップ２０８では、本発明の特徴機能である画像処理部ｂ７による画像処理を行なうか否かを判断し、行なわない場合はステップ２１０へ進み、行う場合はステップ２０９へ進む。ステップ２０９では、上述した画像処理を行う。ステップ２０８での判断は、随時外部キー入力１３、ＩＲリモコン１４によるコマンド受信又はネットワーク通信部１１経由での通信コマンド受け付けのいずれかを切り換えることが可能である。次に、ステップ２１０では、エンコード処理部９で予め設定可能な画像フォーマットにエンコード処理する。本実施形態では、ＪＰＥＧ圧縮とするが、他にＭＰＥＧ圧縮等のフォーマットであってもよい。ステップ２１１では、ステップ２１０で処理された画像データをネットワーク通信部１１からネットワーク上に伝送するのか、ストレージ１２に記憶するのかを判断する。ストレージ１２として半導体を利用した書き換え可能なメモリーであるフラッシュメモリー、ハードディスク装置、ＣＤ又はＤＶＤ等のストレージメディアであってもよい。ステップ２１１の判断も外部操作であるキー入力１３、ＩＲリモコン１４によるコマンド受け付け又はネットワーク通信部１１を介したネットワーク上からの伝送によるコマンド受け付けのいずれかで行なう。ここで、ストレージ１２が選択されると、切り換え手段１０にてデータをストレージ１２に記憶する。伝送が選択されると、切り換え手段２０にて、ネットワーク通信部１１を経由してデータを外部へ通信する。
【００３５】
以上のように、第１の実施形態によれば、画像拡大手段１２７、１２８、１２９の画像処理により、参照する３枚の画像の中心位置が原画像の中心位置とのずれがなくなり、的確な色補正処理、輝度補正処理を行うことができる。また、画像の端部において、正確な色補正処理、輝度補正処理を行うことができる。
【００３６】
（第２の実施形態）
本発明の第２の実施形態を表す図として、図１、図３〜図７であり、これらの図面を参照して説明する。第２の実施形態の構成は、第１の実施形態の構成を示す図１と同一である。図７は、本発明の第２の実施形態を最もよく表す図であり、図１の画像処理部ｂ７の内部詳細構成を表す図である。図７の１０１は、図１の画像処理部ａ５にて現像処理された画像データから、輝度データのみを抽出する輝度データ抽出部である。ここで、画像データがＹＣｂＣｒデータの場合は、輝度値を示すＹデータのみを抽出し、画像データがＲＧＢデータの場合はＲＧＢの持つそれぞれの輝度に対する重み係数倍された値の輝度データ又は輝度データと等価なデータのみを抽出する。１０２、１０３、１０４は輝度データ抽出部１０１にてサンプリングした画像データを画像処理部ａ５で現像処理された画像データのデータサイズに応じて縮小率（×１倍を含む）を可変でき、画像サイズ又は画像解像度を縮小する画像縮小手段ａ、ｂ、ｃである。
【００３７】
１０５は、縮小手段１０２、１０３、１０４の縮小手段にて縮小される画像サイズに応じて、その縮小画像サイズと等価な位置にある元画像のＹデータを抽出する端部画像抽出手段である。１０６は、縮小手段ａ１０２で縮小された画像に二次元フィルター処理１２１を施し、その画像に端部画像抽出手段１０５で抽出された端部画像を加算して画素を構成する画素拡張手段ａである。１０７は、画素拡張手段ａ１０６と同様に、縮小手段ｂ１０３で縮小された画像に二次元フィルター処理１２１を施し、その画像に端部画像抽出手段１０５で抽出された端部画像を加算して画素を構成する画素拡張手段ｂである。１０８は、画素拡張手段ａ１０６、画素拡張手段ｂ１０７と同様に、縮小手段ｃ１０４で縮小された画像に二次元フィルター処理１２１を施し、その画像に端部画像抽出手段で抽出された端部画像を加算して画素を構成する画素拡張手段ｃである。
【００３８】
１０９は、縮小手段ａ１０２で画素縮小された画素データを一時的に記憶する為のバッファメモリーａである。１１０は、縮小手段ｂ１０３で画素縮小された画素データを一時的に記憶する為のバッファメモリーｂである。１１１は、縮小手段ｃ１０４で画素縮小された画素データを一時的に記憶する為のバッファメモリーｃである。１２０は、バッファメモリー１０９、１１０、１１１に記憶されてある画像データをフィルター１２１に時系列で加える為のデータ切り換えを行なうセレクタである。１２１は、セレクタ１２０で切り換えられた画像データに二次元フィルタリング（フィルター処理）をかけるフィルター手段である。１２２は、画像処理部ａ５にて現像処理された画像データ（ここではＹＣｂＣｒデータ）を一時的に記憶する為のバッファメモリーである。１２３は、図７に記載してある各ブロックをコントロールする為のコントロール手段である。
【００３９】
１２４は、縮小手段ａ１０２の縮小率１で縮小し、二次元フィルター手段１２１にてフィルター処理された画像に、端部画像抽出手段１０５で抽出された元の画像データを加算し拡大された画像を一時的に記憶する為のバッファメモリーｄである。１２５は、縮小手段ｂ１０３の縮小率２で縮小し、二次元フィルター手段１２１にてフィルター処理された画像に、端部画像抽出手段１０５で抽出された元の画像データを加算し拡大された画像を一時的に記憶する為のバッファメモリーｅである。１２６は、縮小手段ｃ１０４の縮小率３で縮小し、二次元フィルター手段１２１にてフィルター処理された画像に、端部画像抽出手段１０５で抽出された元の画像データを加算し拡大された画像を一時的に記憶する為のバッファメモリーｆである。
【００４０】
１２７は、バッファメモリーｄ１２４で記憶した画像を元の画像である入力画像と同一サイズまで拡大する画像拡大手段ａである。１２８は、バッファメモリーｅ１２５で記憶した画像を元の画像である入力画像と同一サイズまで拡大する画像拡大手段ｂである。１２９は、バッファメモリーｆ１２６で記憶した画像を元の画像である入力画像と同一サイズまで拡大する画像拡大手段ｃである。１３０は、画像拡大手段ａ１２７の画像データの値に応じてルックアップテーブル１３３のテーブルから補正量を参照選択するテーブル参照手段ａである。１３１は、画像拡大手段ｂ１２８の画像データの値に応じてルックアップテーブル１３３のテーブルから補正量を参照選択するテーブル参照手段ｂである。１３２は、画像拡大手段ｃの画像データの値に応じてルックアップテーブル１３３のテーブルから補正量を参照選択するテーブル参照手段ｃである。
【００４１】
１３３は輝度に応じた補正量をテーブルとして保持しているルックアップテーブル（LUT）である。１３４はテーブル参照手段１３０、１３１、１３２で参照した補正量を加算する為の加算器である。１３５は、加算器１３４にて加算された補正量に応じて、バッファメモリー１２２に記憶された元画像中の色情報のデータに補正を行なう色補正手段である。１３６は、加算器１３４により加算された補正量に応じて、バッファメモリー１２２に記憶された元画像データ中の輝度データに補正を行なう輝度補正手段である。１３７は、色補正手段１３５、輝度補正手段１３６の画像データを切り換えて出力データとする為のセレクタである。
【００４２】
上記構成において、図７に示す各処理部は、図２の第１の実施形態の各処理部の符号に対応しており、前記第１の実施形態の内容と同一の処理を施す。したがって、前記第１の実施形態と異なる点のみ説明する。本第２の実施形態は、画像縮小処理手段１０２、１０３、１０４の各縮小処理部にて縮小処理された画像サイズの画像に対してフィルター１２１にて二次元フィルター処理を施す部分が異なる。また、フィルター１２１の二次元フィルター手段からのフィルター処理後の出力に対して、端部画像抽出手段１０５にて抽出した画素データを加算するように構成している部分が異なる。このように処理することで、第１の実施形態に比べて、画像サイズを大きくしない分の二次元フィルター処理の時間を削減することができる。
【００４３】
二次元フィルター処理を行なう際に１クロックあたり１画素ずつ２次元フィルター処理結果を出力する場合、１縮小画像あたり、下記に示す（式５）分処理時間を短縮することができる。ここで、縮小画像横画素をｘ、縮小画像縦ラインをｙとする。
（式５）        （ｘ＋２）×（ｙ＋２）−ｘ×ｙ
その他の処理については、第１の実施形態にて説明している内容と同一処理内容である為、詳細処理については、省略する。
【００４４】
以上のように、第２の実施形態によれば、画像拡大手段１２７、１２８、１２９の画像処理により、参照する３枚の画像の中心位置が原画像の中心位置とのずれがなくなり、的確な色補正処理、輝度補正処理を行うことができる。また、画像の端部において、正確な色補正処理、輝度補正処理を行うことができる。さらに、二次元フィルター処理の処理時間を短縮することができる。
【００４５】
（第３の実施形態）
本発明の第３の実施形態を表す図として、図１、図８、図９であり、これらの図面を参照して説明する。第３の実施形態の構成は、第１の実施形態及び第２の実施形態の構成を示す図１と同一である。図８は、本発明の第３の実施形態の構成ブロック図を示しており、図２の第１の実施形態の各ブロックの符号に対応しており、構成上異なる点は、端部画像抽出手段１０５、画素拡張手段１０６、１０７、１０８がない構成である。
【００４６】
図８の輝度データ抽出部１０１〜バッファメモリー１２２までの処理部は、第２の実施形態の図７の輝度データ抽出部１０１〜バッファメモリー１２２の処理動作に対応しており、全く同一の処理を行なう。１２３は、図８に記載してある各ブロックをコントロールする為のコントロール手段１２３である。１２４は、縮小手段ａ１０２にて縮小した画像にフィルター１２１の二次元フィルター処理を施した画像を一時的に記憶する為のバッファメモリーｄである。１２５は、縮小手段ｂ１０３にて縮小した画像にフィルター１２１の二次元フィルター処理を施した画像を一時的に記憶する為のバッファメモリーｃである。１２６は、縮小手段ｃ１０４にて縮小した画像にフィルター１２１の二次元フィルター処理を施した画像を一時的に記憶する為のバッファメモリーｆである。１２７は、バッファメモリーｄ１２４でメモリーした画像を入力画像と同一サイズまで拡大する画像拡大手段ａである。１２８は、バッファメモリーｅ１２５でメモリーした画像を入力画像と同一サイズまで拡大する画像拡大手段ｂである。１２９は、バッファメモリーｆ１２６でメモリーした画像を入力画像と同一サイズまで拡大する画像拡大手段ｃである。図８のテーブル参照手段ａ１３０〜セレクタ１３７の各処理部は、前記第１の実施形態である図２のテーブル参照手段ａ１３０〜セレクタ１３７の処理動作に対応しており、全く同一の処理を行なう。
【００４７】
上記構成において、本実施形態の特徴である画像拡大手段１２７、１２８、１２９の処理方法について説明する。図４にて参照画素のとり方について説明する。拡大補間方法としては、画像の各端部の画像についても、近傍４点画素を参照し線形補間処理を行なう。この時の演算例を下記に示す。近傍４点参照による補間処理は、画素ａ、ｂ、ｃ、ｄを参照し、（式６）に当てはめる。
（式６）        （（ｄ−ｃ）／拡大率×横画素座標（−（拡大率／２）〜（拡大率×１      ．５））−（ｂ−ａ）／拡大率×横画素座標（−（拡大率／２）〜（拡大率×１．      ５））×縦画素座標（−（拡大率／２）〜（拡大率×１．５））＋ａ
で求めることが出来る。
【００４８】
画像の各端部にて、前記（式６）に示す横画素座標、縦画素座標の数値設定の対応を行なう必要がある。
左上端部（図１０−Ｏ）は、
横画素座標数値を（−（拡大率／２）〜拡大率）
縦画素座標数値を（−（拡大率／２）〜拡大率）
上中央端部（図１０−Ｐ）は、
横画素座標数値：（0〜拡大率）
縦画素座標数値：（−（拡大率／２）〜拡大率）
右上端部（図１０−Ｑ）は、
横画素座標数値を（0〜（拡大率×１．５））
縦画素座標数値を（−（拡大率／２）〜拡大率）
左中央端部（図１０−Ｒ）は、
横画素座標数値を（−（拡大率／２）〜拡大率）
縦画素座標数値を（0〜拡大率）
通常エリア（図１０−Ｓ）は、
横画素座標数値を（0〜拡大率）
縦画素座標数値を（0〜拡大率）
右中央端部（図１０−Ｔ）は、
横画素座標数値を（0〜（拡大率×１．５））
縦画素座標数値を（0〜拡大率）
左下端部（図１０−Ｕ）は、
横画素座標数値を（−（拡大率／２）〜拡大率）
縦画素座標数値を（0〜（拡大率×１．５））
下中央端部（図１０−Ｖ）は、
横画素座標数値を（0〜拡大率）
縦画素座標数値を（0〜（拡大率×１．５））
右下端部（図１０−Ｗ）は、
横画素座標数値を（0〜（拡大率×１．５））
縦画素座標数値を（0〜（拡大率×１．５））
コントローラ１２３は、上記数値の範囲でコントロールする。
【００４９】
図９では、端部の補間画素をどのように作成するか一部横方向のみの概念図を示す。図９のようにａ点画素とｂ点画素から（式６）に当てはめ、端部の予測補間画素範囲分の画素を作り出すように処理を施す。
【００５０】
以上のように、第３の実施形態によれば、画像拡大手段１２７、１２８、１２９の画像処理により、参照する３枚の画像の中心位置が原画像の中心位置とのずれがなくなり、的確な色補正処理、輝度補正処理を行うことができる。また、画像の端部において、正確な色補正処理、輝度補正処理を行うことができる。さらに、二次元フィルター処理の処理時間を短縮することができる。
【００５１】
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５６】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００５７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００５８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５９】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６１】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６２】
【図１】本発明に係る第１の実施形態のアプリケーションハードウェア構成を示すブ      ロック図である。
【図２】本発明に係る第１の実施形態を表す画像処理部の構成を示す図である。
【図３】本発明に係るシステムタイミングを表すタイミングチャートの一例を示す図    である。
【図４】本発明に係る処理概念の一例を示す図である。
【図５】本発明に係る第１及び第２の実施形態の処理概念の一例を示す図である。
【図６】本発明に係るアプリケーションのシステムフローチャートである。
【図７】本発明に係る第２の実施の形態を表す画像処理部の構成を示す図である。
【図８】本発明に係る第３の実施形態を表す画像処理部の構成を示す図である。
【図９】本発明に係る第３の実施形態の処理の説明を行なうための図である。
【図１０】本発明に係る第３の実施形態の説明を行なうための図である。
【符号の説明】
【００６３】
１：撮像素子
２：レンズ
３：Ａ／Ｄコンバータ
４：タイミングジェネレータ
５：画像処理部ａ
６：メモリー
７：画像処理部ｂ
８：ＣＰＵ
９：エンコーダ処理部
10：切り換え手段
11：ネットワーク通信部
12：ストレージ
13：キー入力部
14：ＩＲリモコン
101：輝度データ抽出部
102、103、104：縮小手段
105：縮小率対応端部画素抽出手段
106、107、108：画素拡張手段
109、110、111、124、125、126、122：バッファメモリー
120、137：セレクタ
121：フィルター
123：コントローラ
127、128、129：画像拡大手段
130、131、132：ＬＵＴ参照手段
133：ＬＵＴ
134：加算器
135：色補正処理手段
136：輝度補正処理手段
【図１】
2008005352.tif 000003
【図２】
2008005352.tif 000004
【図３】
2008005352.tif 000005
【図４】
2008005352.tif 000006
【図５】
2008005352.tif 000007
【図６】
2008005352.tif 000008
【図７】
2008005352.tif 000009
【図８】
2008005352.tif 000010
【図９】
2008005352.tif 000011
【図１０】
2008005352.tif 000012