(57)【要約】【課題】  ネットワークからの画像処理要求が複数になった場合、処理負荷が増大して符号化データの出力が停止したりフレームレートを低下させてしまったりブロックノイズが発生してしまうことがあった。【解決手段】  ネットワークから要求される画像処理に応じて撮像素子データの読出し方法、現像処理部の画像データ出力方法、さらにその切替え方式に応じた適切な画像処理方法を選択可能にする手段を設けることで、安定した符号化データのネットワーク出力が可能なシステム等、を提供する。【選択図】  図２
2007281946.tif 000002
【特許請求の範囲】
【請求項１】
複数の出力方式を備えた撮像手段と、
画像処理手段と、
符号化手段と、
ネットワーク通信手段と、
ネットワークを介した接続相手の符号化処理に対する要求を判断する要求判断手段と、
前記画像処理手段及び前記符号化手段の処理負荷を判断する処理負荷判断手段とを備え、
前記要求判断部の判断に応じて前記処理負荷判断手段が前記撮像手段の出力方式を切替えるように前記撮像手段及び前記画像処理手段に対し指示を出すことを特徴とする撮像画像処理装置。
【請求項２】
前記処理負荷判断手段内には、前記符号化手段の符号化方式に応じて異なる処理負荷の判断を行うことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項３】
前記撮像手段内には撮像素子が含まれており、前記撮像素子は同一期間内に同一画素数を読み出せる複数の異なる読出し方式を備えていること特徴とする請求項１に記載の撮像画像処理装置。
【請求項４】
前記撮像手段内には現像処理部が含まれており、前記現像処理部においては同一期間内に同一画素数を出力できる複数の異なる出力方式を備えていること特徴とする請求項１に記載の撮像画像処理装置。
【請求項５】
前記画像処理手段内には前記撮像素子の読出しと前記現像処理の読み方式に対応した複数の異なる処理手段を備えていることを特徴とする請求項１に記載の撮像画像処理装置。
【請求項６】
複数の出力方式を備えた撮像手段と、画像処理手段と、符号化手段と、ネットワーク通信手段と、ネットワークを介した接続相手の符号化処理に対する要求を判断する要求判断手段と、前記画像処理手段及び前記符号化手段の処理負荷を判断する処理負荷判断手段とを備えた撮像画像処理装置における処理方法であって、
前記要求判断手段の判断に応じて前記処理負荷判断手段が前記撮像手段の出力方式を切替える工程と、
これに基づいて前記撮像手段及び画像処理手段に対し指示を出す工程とを備えたことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを有する撮像画像処理装置等に関するものである。
【背景技術】
【０００２】
撮像素子の読出し方法と後段の画像処理部の動作周波数を関連付けた発明として、例えば、特許文献１に開示されているものが挙げられる。
【０００３】
これは、いわゆる高画素撮像素子を用いたデジタルスチルカメラにおいて、ファインダ動作時には全画素取り込み時よりも画素読出しクロックを高速にすることで、ファインダ表示のフレームレートを向上させるという特徴がある。
【０００４】
また、必要とされる画像サイズや画質に応じて撮像素子の読出し方法と連動して後段の画像処理部の動作を切替える処理を行う例として、例えば、特許文献２に開示されているものが挙げられる。
【０００５】
これは、デジタルスチルカメラにおいてサムネイル画像や保存画像ごとに画質処理と適用する読出し画像を関連付けることを特徴としているものである。
【０００６】
【特許文献１】特開２００２−１４２１４９号公報（第１３頁、第７図）
【特許文献２】特開２００３−１０２０２６号公報（第８頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示される発明のように、ファインダモードにおける処理能力の向上の為の解決策として動作周波数を上げるという処理を行った場合、必然的に消費電力が上昇してしまうという問題があった。
【０００８】
さらに、特許文献1に開示される発明においては、ファインダモードにおける画像データの出力先は表示装置１つに限られており、異なる表示手段に複数の画像を出力するようなケースについては想定されておらず、その際には単に動作周波数を上昇させるだけでは対処することは不可能になると思われる。
【０００９】
さらに、特許文献１に開示される発明においては、撮像素子の読出し方法を切替えるのは、保存用の静止画として全画素読出しとファインダ表示の間引き読出しという機能的に異なる画素数のデータが必要な場合に行われる処理であり、機器としての処理能力に起因するものではない。
【００１０】
さらに、特許文献２に開示される発明のように、要求される画像サイズや画質に応じて画像処理部の動作を切替えるという場合においては、確かにサムネイル画像に対してはフィールド画像のみを使用することで画像処理部の処理帯域は低減するが、本来ならば全画素画像を縮小して作成するものであるところのサムネイル画像を、全画像から縮小画像を作成するには処理負荷が大きく全体処理速度が低下してしまう、という理由で希望する画像と異なるタイミング及び読出し方法で出力された画像を用いてしまう為、動きの早い画像では全画素画像とサムネイル画像が異なるという問題が発生する。
【００１１】
そこで、本発明の目的は、処理能力を越える処理を実行してネットワーク出力の停止、フレームレートが低下することによる表示装置における画像更新の停滞、ブロックノイズの発生、等を未然に防止し、安定して視聴可能なネットワークカメラシステムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の撮像画像処理装置は、複数の出力方式を備えた撮像手段と、画像処理手段と、符号化手段と、ネットワーク通信手段と、ネットワークを介した接続相手の符号化処理に対する要求を判断する要求判断手段と、前記画像処理手段及び前記符号化手段の処理負荷を判断する処理負荷判断手段とを備え、前記要求判断部の判断に応じて前記処理負荷判断手段が前記撮像手段の出力方式を切替えるように前記撮像手段及び前記画像処理手段に対し指示を出すことを特徴とする。
本発明の画像処理方法は、複数の出力方式を備えた撮像手段と、画像処理手段と、符号化手段と、ネットワーク通信手段と、ネットワークを介した接続相手の符号化処理に対する要求を判断する要求判断手段と、前記画像処理手段及び前記符号化手段の処理負荷を判断する処理負荷判断手段とを備えた撮像画像処理装置における処理方法であって、前記要求判断手段の判断に応じて前記処理負荷判断手段が前記撮像手段の出力方式を切替える工程と、これに基づいて前記撮像手段及び画像処理手段に対し指示を出す工程とを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明においては、ネットワークに対する画像出力を途切れさせること無く符号化データを出力し続けられるように、ネットワーク制御部がネットワークから要求される画像処理に応じて撮像素子データの読出し方法、現像処理部の画像データ出力方法、さらにその切替え方式に応じた適切な画像処理方法を選択可能にしている。従って、本発明によれば、処理能力を越える処理を実行してネットワーク出力の停止、フレームレートが低下することによる表示装置における画像更新の停滞、ブロックノイズの発生、等を未然に防止することが可能になり、安定して視聴可能なネットワークカメラシステムを提供することが可能になる。
【００１４】
また、本発明においては、ネットワークに対する画像出力を途切れさせること無く圧縮データを出力し続けられるように、ネットワーク制御部がネットワークから要求される圧縮処理に応じて撮像素子データの読出し方法、現像処理部の画像データ出力方法、その切替え方式に応じた画像処理部における処理方法、さらにネットワークから要求される圧縮方式を選択可能にしている。従って、本発明によれば、安定して視聴可能なネットワークカメラシステムを提供することが可能になる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置を表す図である。
図１において、撮像装置２００には、Ｇ増処理手段としての覆い焼き処理部１０１、符号化手段であるところの圧縮処理部２０５、出力方式の切替え可能な撮像手段であるところの撮像部２０１、及びネットワーク通信手段であるところの通信部２０６の大きく分けて４つの構成要素が存在する。
【００１７】
撮像部２０１は、映像が入射されるレンズ２０２、レンズで集められた光を電気信号に変換する、撮像手段であるところの撮像素子２０３、撮像素子２０３から得られる信号を現像する、現像手段であるところの現像処理部２０４からなる。
なお、本実施形態における上記撮像素子２０３の解像度はいわゆるＶＧＡサイズ（６４０×４８０画素）で説明を行う。
【００１８】
上記撮像素子２０３は原色フィルタを備えた場合ＲＧＢＧデータを出力し、フィールド読出しとフレーム読出しの切替え機能を備え、ネットワーク制御部２０７からの指示により、読出し方式を切替える仕組みを持つ。
【００１９】
フィールド読出しは通常１秒間に６４０×２４０画素の画像を６０回出力し、フレーム読出しは１秒間に６４０×４８０画素の画像を３０回出力するものであり、ネットワーク制御部２０７からの指示により撮像方式切替部２１４が上記２通りの読出し方式を切替える仕組みを持つ。
【００２０】
上記現像処理部２０４は上記撮像素子２０３から出力される素子データを現像処理しながら所定の形式の画像データに変換し出力する。
【００２１】
画像出力の方式としては、撮像素子２０３からの出力がフィールド読出しの場合には同じくフィールド出力（６４０×２４０画素６０フィールド出力）を行い、撮像素子２０３からの出力がフレーム読出しの場合、奇数ラインの画像のみで構成されるＯＤＤ画像と偶数ラインの画像のみで構成されるＥＶＥＮ画像を交互に出力するインタレース出力と、フレーム画像をそのまま出力するプログレッシブ出力の、３通りの出力方式を兼ね備え、ネットワーク制御部２０７からの指示により撮像方式切替部２１４が上記３通りの出力方式を切替える仕組みを持つ。
【００２２】
現像された信号は画像データとして覆い焼き処理部１０１に与えられ、そこで覆い焼き処理を経た後、圧縮処理部２０５で符号化され、次に通信部２０６に符号化データとして与えられる。
【００２３】
上記圧縮処理部２０５には、内部に覆い焼き処理部１０１から出力される画像をバッファ処理し、ネットワーク処理部２０７から指示されるＪＰＥＧやＭＰＥＧやＨ.２６４やＪＰＥＧ２０００などの符号化方式にしたがって符号化処理を行う。
【００２４】
ネットワーク通信手段であるところの通信部２０６では、接続された表示装置２４１からの撮像装置２００に対する要求がネットワーク制御部２０７によって判断され、処理情報が覆い焼き処理部１０１や撮像部２０１や圧縮処理部２０５や撮像方式切替部２１４に対して伝えられる。
【００２５】
なお、これらの処理は基本的にネットワーク制御部２０７内の処理判断部であり処理負荷判断部であるところのＣＰＵ２１０上で動作するソフトウエアによって処理される。
【００２６】
前記処理情報により表示装置用に符号化された動画像データがネットワーク制御部２０７を経由してストレージ部２０８に入力され、ネットワーク制御部２０７がストレージ部２０８に入力された動画像符号化データを、送出するネットワークの形態に応じてパケット化するなどの処理を行い、ネットワークインタフェース部２０９に対して送信用データとして受け渡す。
【００２７】
ネットワークインタフェース部２０９はネットワーク網２４０に対して、そのネットワークの形態に応じた形でデータを送出する。
【００２８】
また、ストレージ部２０８にはカメラから出力される動画像、もしくは任意のユーザに配信する動画像も蓄積される。なお、ネットワーク網２４０はＥｔｈｅｒｎｅｔ（登録商標）等の有線ＬＡＮ、ＩＥＥＥ８０２．１１ｂ等に代表される形式の無線ＬＡＮ、もしくはＩＳＤＮ等の公衆回線網などを代表的なものとして想定することができる。
【００２９】
なお、ストレージ部２０８ハードディスクドライブやＤＶＤ−ＲＡＭ等のディスクドライブ系メモリだけでなく内蔵ＲＡＭや内蔵ＤＲＡＭやＩＣ外部に接続されたＤＲＡＭで構成されていることが考えられる。
【００３０】
なお、本実施形態では図１において覆い焼き処理部１０１、圧縮処理部２０５、撮像部２０１、通信部２０６、撮像方式切替部２１４はそれぞれ別のブロックとして記述しているが、本実施形態を実ハードウェアで構成する際には、これらのブロックをそれぞれ別のＩＣとして実現する、もしくは各部のいくつかの部分（例えば現像処理部２０４と撮像方式切替部２１４と覆い焼き処理部１と圧縮処理部２０５とネットワーク制御部２０６）をまとめて1チップ上に実現するなどの様々な実現形態が可能であり、その形態は本実施形態において制限されるものではない。
【００３１】
図２は、第１の実施形態における撮像装置の覆い焼き処理部１０１の内部構成を表すブロック図である。
図２において、１０１は前記覆い焼き処理部である。１０２は、撮像部２０１から出力される画像データと、画素サンプリングクロックや水平／垂直同期信号などの制御信号を表す入力信号である。
【００３２】
１０３は、入力画像１０２を輝度データと色差データに分離する輝度・色差分離部である。なお、この輝度・色差分離部１０３に入力される入力画像１０２のデータ形式として、ＲＧＢであってもＹＣ（４：２：２や４：４：４を問わず）であっても、同じように輝度データと色差データに分離する物である。
【００３３】
１０４は、輝度・色差分離部３から出力される色差データと輝度データを一時蓄え、覆い焼き制御部１１９の指示により出力するバッファ処理部である。
【００３４】
１０６は、輝度・色差分離部１０３から出力される輝度データを所望の比率で縮小する画像縮小部である。
【００３５】
１０９は、画像縮小部１０６から出力される縮小画像に対し、ガウシアンフィルタなどのローパスフィルタを掛けて空間フィルタ処理された画像を作成する空間フィルタ処理部である。
【００３６】
１１０は、空間フィルタ処理部１０９から出力される空間フィルタ処理画像を一時的に蓄積し、覆い焼き制御部１１９の指示により出力するフィルタ画像バッファ処理部である。
【００３７】
１１２は、フィルタ画像バッファ処理部１１０から読み出した空間フィルタ処理画像を入力画像２と同じ解像度まで拡大する画像拡大部である。
【００３８】
１１３は、画像拡大部から出力される入力画像２と同じ解像度の輝度データを入力し、覆い焼き制御部１１９から指示されたルックアップテーブル（以下、ＬＵＴと称す）に基づいて演算処理されるＬＵＴ演算処理部である。
【００３９】
１１４は、バッファ処理部１０４から色差データと輝度データに分離された入力画像１０２を読み出し、ＬＵＴ演算処理部１１３から出力される画像データと所定の演算式に基づいて合成処理を行い出力する画像合成部である。
【００４０】
１１８は画像合成部１１４から出力される覆い焼き処理された画像データである。
【００４１】
１１９は、ネットワーク制御部２０７から指示されるパラメータにより覆い焼き処理部１内部の各ブロックに対し適切な指示を行ったり、入力信号を入力して各処理部の動作タイミングを制御したりする制御部である。
【００４２】
なお、図２においては図示されていないが、覆い焼き処理部１内の全ての処理部は覆い焼き制御部１１９によってコントロールされる為の信号が接続されている。
【００４３】
なお、各処理部にはタイミング調整用のバッファとなるＦＩＦＯやＲＡＭが設けられている。また、バッファ処理部１０４は内蔵ＲＡＭや内蔵ＤＲＡＭやＩＣ外部に接続されたＤＲＡＭで構成されていることが考えられる。
【００４４】
図３は、本実施形態における表示装置２４１の動作を表したフローチャートである。
図４は、本実施形態におけるネットワーク制御部２０７内のＣＰＵ２１０の動作を表したフローチャートである。
図５は、本実施形態における撮像素子２０３の読み出し方法（５０１）と現像処理部２０４の出力方法（５０２）と覆い焼き処理時における画像の読出し方法（５０３）と覆い焼き処理後の画質比較（５０４）とバッファ処理部１０４とフィルタ画像バッファ処理部１１０に蓄積される画像データ（５０５）と、これらすべての組み合わせにそれぞれモード番号（５０６）を付けたことを示す図である。
図６は、モード番号１においてネットワーク制御部２０７及び覆い焼き制御部１１９が制御する各処理部の動作を示すシーケンスチャートである。
【００４５】
モード番号１における設定では、撮像素子２０３の読出し（６０１）はフィールド読出し、現像処理部２０４の出力（６０２）も同じくフィールド出力となり、覆い焼き処理部１０１においては、入力画像１０２をそのままバッファ処理部１０４に蓄積（６０４）し、その入力画像１０２の輝度データに対して行われる縮小処理と空間フィルタ処理（６０５）により作成される空間フィルタ処理画像がフィルタ画像バッファ処理部１１０に蓄積（６０６）される。
【００４６】
覆い焼き制御部１１９は空間フィルタ処理画像の作成完了後、バッファ処理部１０４から蓄積しておいた入力画像１０２を読出し（６０４）すると同時にフィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出し（６０６）、空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部におけるγ処理を行った後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行（６０７）することで出力画像１１８が出力される。
【００４７】
出力画像１１８は圧縮処理部２０５に入力され、ＭＰＥＧ２やＭＰＥＧ４やＨ．２６４等のストリーム系の符号化処理（６０８）が行われる。
【００４８】
図７はモード番号７においてネットワーク制御部２０７及び覆い焼き制御部１１９が制御する各処理部の動作を示すシーケンスチャートである。
【００４９】
モード番号７における設定では、撮像素子２０３の読出し（７０１）はフレーム読出し、現像処理部２０４の出力（７０２）はインタレース出力となる。
【００５０】
覆い焼き処理部１０１においては、入力画像１０２のＯＤＤデータのみをバッファ処理部１０４に蓄積（７０４）し、その入力画像１０２の輝度データに対して行われる縮小処理と空間フィルタ処理（７０５）により作成される空間フィルタ処理画像がフィルタ画像バッファ処理部１１０に蓄積（７０６）される。
【００５１】
覆い焼き制御部１１９は空間フィルタ処理画像の作成完了後、バッファ処理部１０４から蓄積しておいた入力画像１０２を読出し（７０４）すると同時にフィルタ画像バッファ処理部１１０からＯＤＤデータで作成された空間フィルタ処理画像を読出し（７０６）、空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部におけるγ処理を行なう。
【００５２】
その後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行（７０７）する事で出力画像１１８が出力される。出力画像１１８は圧縮処理部２０５に入力され、ＭＰＥＧ２やＭＰＥＧ４やＨ．２６４等のストリーム系の符号化処理（７０８）が行われる。
【００５３】
モード番号７においては、ＯＤＤデータで作成された空間フィルタ処理画像をＥＶＥＮデータに対しても適用することで、フィルタ画像バッファ処理部１１０に蓄積する処理７０６がモード1に対して省かれている。
【００５４】
図８はモード番号２においてネットワーク制御部２０７及び覆い焼き制御部１１９が制御する各処理部の動作を示すシーケンスチャートである。
【００５５】
モード番号２における設定では、撮像素子２０３の読出し６０１はフィールド読出し、現像処理部２０４の出力（６０２）も同じくフィールド出力となり、覆い焼き処理部１０１においては、入力画像１０２はバッファ処理部１０４に蓄積（６０４）せず、入力画像１０２の輝度データに対して行われる縮小処理と空間フィルタ処理（６０５）により作成される空間フィルタ処理画像がフィルタ画像バッファ処理部１１０に蓄積（６０６）される。
【００５６】
覆い焼き制御部１１９は空間フィルタ処理画像の作成完了後、バッファ処理部１０４に蓄積されずに出力される入力画像１０２に合わせてフィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出す（６０６）。
【００５７】
空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部におけるγ処理を行った後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行６０７することで出力画像１１８が出力される。
【００５８】
出力画像１１８は圧縮処理部２０５に入力され、ＭＰＥＧ２やＭＰＥＧ４やＨ．２６４等のストリーム系の符号化処理（６０８）が行われる。
【００５９】
モード番号２においては、入力画像１０２をバッファ処理せずに、空間フィルタ処理を行った画像を次のフィールド画像に対して合成処理を行う為、入力画像１０２のバッファ処理部１０４への入出力処理（６０４）が省かれている。
【００６０】
図１、図２、図３、図４、図５、図６、図７及び図８を用いて、本発明の第１の実施形態における動画系の符号化方式による圧縮を行う場合における撮像装置２００の動作について説明する。
【００６１】
ある表示装置２４１が撮像装置２００に対してアクセス（ステップＳ３０１）して通信が確立した場合、ネットワーク制御部２０７が撮像部２０１を起動（ステップＳ４０１）し各初期設定項目を設定（ステップＳ４０２）すると、撮像部２０１は画像処理を開始する。
【００６２】
起動時の各初期設定項目の設定（ステップＳ４０２）においては、まず図６に表されるモード番号１における設定で各処理部が動作を開始する。モード１においては図５に示されるようにバッファ処理部１０４とフィルタ画像バッファ処理部１１０に書き込まれる画像がフィールド入力画像１０２とフィールド空間フィルタ処理画像になる。
【００６３】
モード１の動作で符号化処理（６０８）された符号化データはネットワークＩ／Ｆ２０９からネットワーク網２４０に対して出力（ステップＳ４０３）される。
【００６４】
この出力画像をネットワーク網２４０経由で画像受信（ステップＳ３０２）した表示装置２４１は、符号化された画像データを復元し、表示手段上に表示（ステップＳ３０３）する。
【００６５】
操作者は撮像装置２００の撮影画像を見ながら、表示装置上に存在する何らかの制御手段により、撮像装置２００を制御する為のモードを選択（ステップＳ３０４）する事で、撮像装置２００をコントロールすることが可能になる。
【００６６】
表示装置２４１においては、操作者の入力するコマンドを判断（ステップＳ３０５）し、そのコマンドが覆い焼き処理を起動するためのコマンドならば覆い焼き処理を開始もしくは停止するコマンドをセット（ステップＳ３１２）し、そのコマンドが覆い焼き処理以外のその他の処理に関するコマンドならばそのコマンドをセット（ステップＳ３１３）した後に、撮像装置２００に対してコマンドを送信（ステップＳ３１５）する。
【００６７】
なお、このその他の処理のコマンドというのは、撮影停止・開始や撮影画像全体の輝度レベルの変更やＺＯＯＭなどの撮像装置２００の制御一般に関するものを指している。
【００６８】
表示装置２４１からのコマンド送信を受信した撮像装置２００はネットワーク制御部２０７においてそのコマンドを判断（ステップＳ４０５）し、そのコマンドが覆い焼きや符号化方式に関するもの以外の場合には、その指示された処理を行う（ステップＳ４０６）。
【００６９】
もしそのコマンドが覆い焼きや符号化方式に関するものであると判断された場合、ネットワーク制御部２０７はネットワークからの要求符号化方式種類及び要求符号化量を判断（ステップＳ４０７）し、さらにその要求がどの表示装置からのものかを判断（ステップＳ４０８）することで、撮像装置２００の処理負荷を推測する判断（ステップＳ４０９）を行う。
【００７０】
表示装置２４１からの要求が動画系の符号化方式であるＭＰＥＧ２やＭＰＥＧ４やＨ．２６４のような方式であり、且つ他の表示装置からの要求がない場合、ネットワーク制御部２０７はモード番号１のまま出力を続けるが、異なる表示装置２４２からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０８）された場合、処理負荷を推測する判断（ステップＳ４０９）において、圧縮処理部２０６で増加する処理量に見合う各読出し方式の変更した場合の覆い焼き処理部１０１における減少される処理量を判断（ステップＳ４１１）する。各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号７の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【００７１】
指示を出された各処理部はモード番号７の指示に合わせて処理動作を切替える（ステップＳ４１３）。
【００７２】
モード番号１とモード番号７においては、空間フィルタ処理画像のフィルタ画像バッファ処理部１１０への蓄積と読出しが１フィールド分少ない為、撮像装置２００の処理負荷が少なくなり、その処理負荷の減少分を表示装置２４２に対する異なる符号化処理へ割り当てることが出来る。
【００７３】
しかしながら、画質５０４の面では、動画系の符号化方式である部分を考慮すると、撮像素子２０３の読出しにおいてフィールド読出し方式がフレーム読出しに対して出力期間が短い分、滑らかな動画像が得られると考えられる。
従って、動画像画質５０４という面では、モード番号１のほうが優れていると考えられる。
【００７４】
表示装置２４１からの単独要求の場合にはモード番号１、表示装置２４２からの要求が重なった場合にはモード番号７の方式で動作している撮像装置２００に対し、さらに異なる表示装置２４３からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０８）された場合、再度処理負荷を推測する判断（ステップＳ４０９）を行い、各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号２の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【００７５】
指示を出された各処理部はモード番号２の指示に合わせて処理動作を切替える（ステップＳ４１３）。
【００７６】
モード番号２においては、入力画像１０２のバッファ処理部１０４への蓄積と読出しがない為、撮像装置２００の処理負荷がモード番号７の場合と比較してもさらに少なくなり、その処理負荷の減少分を表示装置２４３に対する異なる符号化処理へ割り当てることが出来る。
【００７７】
しかしながら、画質５０４の面では、動画系の符号化方式である部分を考慮すると、撮像素子２０３の読出しはモード番号１と同じフィールド読出し方式であるものの、空間フィルタ処理を行った画像と合成する画像が約６０分の１秒時間的にずれている為、覆い焼き処理画像としてはモード番号１のほうが優れている。
【００７８】
さらにモード番号７と比較しても同様に時間のずれが画質に与える影響は、撮像素子２０３の読出し方式の違いが画質に与える影響よりも大きいと考えられる。
従って、動画像画質５０４という面では、モード番号１やモード番号７のほうが優れていると考えられる。
【００７９】
以上説明したように、本実施形態においてはネットワークから要求される処理に対する撮像装置２００自体の処理負荷を判断し、圧縮処理の増加分に対してバッファ処理の減少分をもって相殺する様に各処理部の読出し・処理方式を能動的に切替えることによって、処理能力を越える処理を実行してネットワーク出力の停止、フレームレートが低下することによる表示装置における画像更新の停滞、ブロックノイズの発生、等を未然に防止することが可能になる。
【００８０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態においては、表示装置２４１側からの動画系の符号化方式による圧縮を行う場合における撮像装置２００の動作について説明したが、本実施形態では、表示装置２４１側からＪＰＥＧなどの静止画系符号化方式の要求がある場合にも、同様の効果が期待することが可能になる。
【００８１】
図９はモード番号５においてネットワーク制御部２０７及び覆い焼き制御部１１９が制御する各処理部の動作シーケンスである。
【００８２】
モード番号５における設定では、撮像素子２０３の読出し（９０１）はフレーム読出し、現像処理部２０４の出力（９０２）はプログレッシブ出力となる。
【００８３】
覆い焼き処理部１０１においては、入力画像１０２をバッファ処理部１０４に蓄積（９０４）し、その入力画像１０２の輝度データに対して行われる縮小処理と空間フィルタ処理（９０５）により作成される空間フィルタ処理画像がフィルタ画像バッファ処理部１１０に蓄積（９０６）される。
【００８４】
覆い焼き制御部１１９は空間フィルタ処理画像の作成完了後、バッファ処理部１０４から蓄積しておいた入力画像１０２を読出し（９０４）すると同時にフィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出し（９０６）、空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部におけるγ処理を行なう。
【００８５】
その後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行（９０７）する事で出力画像１１８が出力される。
【００８６】
出力画像１１８は圧縮処理部２０５に入力され、ＭＪＰＥＧ等の静止画系の符号化処理（９０８）が行われる。
【００８７】
図１０はモード番号６においてネットワーク制御部２０７及び覆い焼き制御部１１９が制御する各処理部の動作を示すシーケンスチャートである。
【００８８】
モード番号６における設定では、撮像素子２０３の読出し（１００１）はフレーム読出し、現像処理部２０４の出力（１００２）はプログレッシブ出力となり、覆い焼き処理部１０１においては、入力画像１０２のバッファ処理部１０４に対する蓄積（１００４）は行われず、入力画像１０２の輝度データに対して行われる縮小処理と空間フィルタ処理（１００５）により作成される空間フィルタ処理画像がフィルタ画像バッファ処理部１１０に蓄積（１００６）される。
【００８９】
覆い焼き制御部１１９は空間フィルタ処理画像の作成完了後、空間フィルタ処理を行った画像の次のプログレッシブ出力画像の入力に合わせて、フィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出し（１００６）、空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部におけるγ処理を行った後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行（１００７）する事で出力画像１１８が出力される。出力画像１１８は圧縮処理部２０５に入力され、ＭＪＰＥＧ等の静止画系の符号化処理（１００８）が行われる。
【００９０】
図１１はモード番号８においてネットワーク制御部２０７及び覆い焼き制御部１１９が制御する各処理部の動作シーケンスである。
【００９１】
モード番号８における設定では、撮像素子２０３の読出し（１１０１）はフレーム読出し、現像処理部２０４の出力（１１０２）はインタレース出力となり、覆い焼き処理部１０１においては、入力画像１０２のバッファ処理部１０４に対する蓄積（１１０４）は行われず、現像処理部２０４から出力されるＯＤＤデータの輝度データに対して行われる縮小処理と空間フィルタ処理（１１０５）により作成される空間フィルタ処理画像がフィルタ画像バッファ処理部１１０に蓄積（１１０６）される。
【００９２】
覆い焼き制御部１１９はＯＤＤデータの空間フィルタ処理画像の作成完了後、空間フィルタ処理を行ったＯＤＤデータ画像の次のＯＤＤデータ画像の入力に合わせて、フィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出し（１００６）、空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部におけるγ処理を行った後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行（１００７）する事で出力画像１１８が出力される。
【００９３】
さらにＥＶＥＮデータに対しても同様にＯＤＤデータによる空間フィルタ処理画像を適用し、同様の処理を行う事になる。
【００９４】
出力画像１１８は圧縮処理部２０５に入力され、再度ＯＤＤデータ合成画像とＥＶＥＮデータ合成画像をプログレッシブ化する処理を行った後、ＭＪＰＥＧ等の静止画系の符号化処理（１００８）が行われる。
【００９５】
図１、図２、図３、図４、図５、図７、図９、図１０及び図１１を用いて、第２の実施形態における静止画系の符号化方式による圧縮を行う場合における撮像装置２００の動作について説明する。
【００９６】
第１の実施形態と同様、表示装置２４１からの要求が静止画系の符号化方式であるＪＰＥＧのような方式であり、且つ他の表示装置からの要求がない場合、撮像装置２００は、まずモード番号５の状態で各処理部の初期設定を行い、ネットワーク制御部２０７はモード番号５のまま出力を続けるが、異なる表示装置２４２からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０８）された場合、再度処理負荷を推測する判断（ステップＳ４０９）を行い、各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号７の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【００９７】
指示を出された各処理部はモード番号７の指示に合わせて処理動作を切替える（ステップＳ４１３）。
【００９８】
モード番号５とモード番号７を比較した場合、処理負荷の面においてはフィルタ画像バッファ処理部１１０における空間フィルタ処理画像の蓄積処理が２分の１になる為、上記変更により処理負荷は減少すると考えられる。
【００９９】
画質５０４の面においてはほとんど遜色はないと判断されるが、プログレッシブ画像に対して覆い焼き処理を行い符号化する場合と、ＯＤＤとＥＶＥＮに対して覆い焼き処理をおこない、圧縮処理部にてプログレッシブ化して覆い焼き処理をおこなった場合を比較すると、前者のほうが画質的には良いと考えられる。
【０１００】
さらに異なる表示装置２４３からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０８）された場合、再度処理負荷を推測する判断（ステップＳ４０９）を行い、各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号６の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【０１０１】
指示を出された各処理部はモード番号６の指示に合わせて処理動作を切替える（ステップＳ４１３）。
【０１０２】
モード番号７とモード番号６を比較した場合、処理負荷の面においてはバッファ処理部１０４に対する入力画像１０２の蓄積・読出し処理（１００４）が無い分、処理負荷は減少すると考えられる。
【０１０３】
画質５０４の面から比較しても、空間フィルタ処理を行った画像と合成する画像が約３０分の１秒時間的にずれている為、覆い焼き処理画像としてはモード番号７のほうが優れている。
【０１０４】
したがって、モード番号７からモード番号６への変更により、撮像装置２００の処理負荷が少なくなり、その処理負荷の減少分を表示装置２４３に対する異なる符号化処理へ割り当てることが出来る。
【０１０５】
さらに異なる表示装置からの画像出力要求が発生したり、モード番号６への変更だけではネットワーク出力が停止してしまうと判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号８の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【０１０６】
指示を出された各処理部はモード番号８の指示に合わせて処理動作を切替える（ステップＳ４１３）。
【０１０７】
モード番号６とモード番号８を比較した場合、処理負荷の面においてはフィルタ画像バッファ処理部１１０における空間フィルタ処理画像の蓄積処理が２分の１になる為、上記変更により処理負荷は減少すると考えられる。
【０１０８】
画質５０４の面においてはほとんど遜色はないと判断されるが、プログレッシブ画像に対して覆い焼き処理を行い符号化する場合と、ＯＤＤとＥＶＥＮに対して覆い焼き処理をおこない、圧縮処理部にてプログレッシブ化して覆い焼き処理を行った場合を比較すると、前者のほうが画質的には良いと考えられる。
【０１０９】
したがって、モード番号６からモード番号８への変更により、撮像装置２００の処理負荷が少なくなり、その処理負荷の減少分を撮像装置２００の処理量増加分に割り当てることが出来る。
【０１１０】
以上説明したように、第２の実施形態においてもネットワークから要求される処理に対する撮像装置２００自体の処理負荷を判断し、圧縮処理の増加分に対してバッファ処理の減少分をもって相殺する様に各処理部の読出し・処理方式を能動的に切替えることによって、処理能力を越える処理を実行してネットワーク出力の停止、フレームレートが低下することによる表示装置における画像更新の停滞、ブロックノイズの発生、等を未然に防止することが可能になる。
【０１１１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。
【０１１２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１１４】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１１５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１の実施形態に係る撮像装置を表す図である。
【図２】本発明の第１の実施形態における撮像装置の覆い焼き処理部の内部構成を表すブロック図である。
【図３】本発明の第１の実施形態における表示装置の動作を表したフローチャートである。
【図４】本発明の第１の実施形態におけるネットワーク制御部内のＣＰＵの動作を表したフローチャートである。
【図５】本発明の第１の実施形態における撮像素子の読み出し方法と現像処理部の出力方法と覆い焼き処理時における画像の読出し方法と覆い焼き処理後の画質比較とバッファ処理部とフィルタ画像バッファ処理部に蓄積される画像データと、これらすべての組み合わせにそれぞれモード番号を付けたことを示す図である。
【図６】モード番号１においてネットワーク制御部及び覆い焼き制御部が制御する各処理部の動作を示すシーケンスチャートである。
【図７】モード番号７においてネットワーク制御部及び覆い焼き制御部が制御する各処理部の動作を示すシーケンスチャートである。
【図８】モード番号２においてネットワーク制御部及び覆い焼き制御部が制御する各処理部の動作を示すシーケンスチャートである。
【図９】モード番号５においてネットワーク制御部及び覆い焼き制御部が制御する各処理部の動作を示すシーケンスチャートである。
【図１０】モード番号６においてネットワーク制御部及び覆い焼き制御部が制御する各処理部の動作を示すシーケンスチャートである。
【図１１】モード番号８においてネットワーク制御部及び覆い焼き制御部が制御する各処理部の動作を示すシーケンスチャートである。
【符号の説明】
【０１１７】
１０１  覆い焼き処理部
２００  撮像装置
２０１  撮像部
２０２  レンズ
２０３  撮像装置
２０４  現像処理部
２０５  圧縮処理部
２０６  通信部
２０７  ネットワーク制御部
２０８  ストレージ
２０９  ネットワークインタフェース
２１０  ＣＰＵ
２１４  撮像方式切替部
２４０  ネットワーク
２４１  表示装置
【図１】
2007281946.tif 000003
【図２】
2007281946.tif 000004
【図３】
2007281946.tif 000005
【図４】
2007281946.tif 000006
【図５】
2007281946.tif 000007
【図６】
2007281946.tif 000008
【図７】
2007281946.tif 000009
【図８】
2007281946.tif 000010
【図９】
2007281946.tif 000011
【図１０】
2007281946.tif 000012
【図１１】
2007281946.tif 000013
【手続補正書】
【提出日】平成18年6月9日(2006.6.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の出力方式を備えた撮像手段と、
画像処理手段と、
符号化手段と、
ネットワーク通信手段と、
ネットワークを介した接続相手の符号化処理に対する要求を判断する要求判断手段と、
前記画像処理手段及び前記符号化手段の処理負荷を判断する処理負荷判断手段とを備え、
前記要求判断部の判断に応じて前記処理負荷判断手段が前記撮像手段の出力方式を切替えるように前記撮像手段及び前記画像処理手段に対し指示を出すことを特徴とする撮像画像処理装置。
【請求項２】
前記処理負荷判断手段内には、前記符号化手段の符号化方式に応じて異なる処理負荷の判断を行うことを特徴とする請求項１に記載の撮像画像処理装置。
【請求項３】
前記撮像手段内には撮像素子が含まれており、前記撮像素子は同一期間内に同一画素数を読み出せる複数の異なる読出し方式を備えていること特徴とする請求項１に記載の撮像画像処理装置。
【請求項４】
前記撮像手段内には現像処理部が含まれており、前記現像処理部においては同一期間内に同一画素数を出力できる複数の異なる出力方式を備えていること特徴とする請求項１に記載の撮像画像処理装置。
【請求項５】
前記画像処理手段内には前記撮像素子の読出しと前記現像処理の読み方式に対応した複数の異なる処理手段を備えていることを特徴とする請求項１に記載の撮像画像処理装置。
【請求項６】
複数の出力方式を備えた撮像手段と、画像処理手段と、符号化手段と、ネットワーク通信手段と、ネットワークを介した接続相手の符号化処理に対する要求を判断する要求判断手段と、前記画像処理手段及び前記符号化手段の処理負荷を判断する処理負荷判断手段とを備えた撮像画像処理装置における処理方法であって、
前記要求判断手段の判断に応じて前記処理負荷判断手段が前記撮像手段の出力方式を切替える工程と、
これに基づいて前記撮像手段及び前記画像処理手段に対し指示を出す工程とを備えたことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
フィールド読出しは通常１秒間に６４０×２４０画素の画像を６０回出力し、フレーム読出しは１秒間に６４０×４８０画素の画像を３０回出力するものであり、ネットワーク制御部２０７からの指示により撮像制御部２１４が上記２通りの読出し方式を切替える仕組みを持つ。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
上記圧縮処理部２０５には、内部に覆い焼き処理部１０１から出力される画像をバッファ処理し、ネットワーク制御部２０７から指示されるＪＰＥＧやＭＰＥＧやＨ.２６４や
ＪＰＥＧ２０００などの符号化方式にしたがって符号化処理を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
なお、ストレージ部２０８はハードディスクドライブやＤＶＤ−ＲＡＭ等のディスクドライブ系メモリだけでなく内蔵ＲＡＭや内蔵ＤＲＡＭやＩＣ外部に接続されたＤＲＡＭで構成されていることが考えられる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
なお、本実施形態では図１において覆い焼き処理部１０１、圧縮処理部２０５、撮像部２０１、通信部２０６、撮像制御部２１４はそれぞれ別のブロックとして記述しているが、本実施形態を実ハードウェアで構成する際には、これらのブロックをそれぞれ別のＩＣとして実現する、もしくは各部のいくつかの部分（例えば現像処理部２０４と撮像制御部２１４と覆い焼き処理部１０１と圧縮処理部２０５とネットワーク制御部２０６）をまとめて1チップ上に実現するなどの様々な実現形態が可能であり、その形態は本実施形態において制限されるものではない。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
１０４は、輝度・色差分離部１０３から出力される色差データと輝度データを一時蓄え、覆い焼き制御部１１９の指示により出力するバッファ処理部である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
１１２は、フィルタ画像バッファ処理部１１０から読み出した空間フィルタ処理画像を入力画像１０２と同じ解像度まで拡大する画像拡大部である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
１１３は、画像拡大部から出力される入力画像１０２と同じ解像度の輝度データを入力し、覆い焼き制御部１１９から指示されたルックアップテーブル（以下、ＬＵＴと称す）に基づいて演算処理されるＬＵＴ演算処理部である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
なお、図２においては図示されていないが、覆い焼き処理部１０１内の全ての処理部は覆い焼き制御部１１９によってコントロールされる為の信号が接続されている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
覆い焼き制御部１１９は空間フィルタ処理画像の作成完了後、バッファ処理部１０４から蓄積しておいた入力画像１０２を読出し（６０４）すると同時にフィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出し（６０６）、空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部１１３におけるγ処理を行った後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行（６０７）することで出力画像１１８が出力される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
モード番号２における設定では、撮像素子２０３の読出し６０１はフィールド読出し、現像処理部２０４の出力（８０２）も同じくフィールド出力となり、覆い焼き処理部１０１においては、入力画像１０２はバッファ処理部１０４に蓄積（８０４）せず、入力画像１０２の輝度データに対して行われる縮小処理と空間フィルタ処理（８０５）により作成される空間フィルタ処理画像がフィルタ画像バッファ処理部１１０に蓄積（８０６）される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
覆い焼き制御部１１９は空間フィルタ処理画像の作成完了後、バッファ処理部１０４に蓄積されずに出力される入力画像１０２に合わせてフィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出す（８０６）。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部１１３におけるγ処理を行った後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行６０７することで出力画像１１８が出力される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
出力画像１１８は圧縮処理部２０５に入力され、ＭＰＥＧ２やＭＰＥＧ４やＨ．２６４等のストリーム系の符号化処理（８０８）が行われる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
モード番号２においては、入力画像１０２をバッファ処理せずに、空間フィルタ処理を行った画像を次のフィールド画像に対して合成処理を行う為、入力画像１０２のバッファ処理部１０４への入出力処理（８０４）が省かれている。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
表示装置２４１からの要求が動画系の符号化方式であるＭＰＥＧ２やＭＰＥＧ４やＨ．２６４のような方式であり、且つ他の表示装置からの要求がない場合、ネットワーク制御部２０７はモード番号１のまま出力を続けるが、異なる表示装置２４２からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０７）された場合、処理負荷を推測する判断（ステップＳ４０９）において、圧縮処理部２０５で増加する処理量に見合う各読出し方式の変更した場合の覆い焼き処理部１０１における減少される処理量を判断する。各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号７の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
表示装置２４１からの単独要求の場合にはモード番号１、表示装置２４２からの要求が重なった場合にはモード番号７の方式で動作している撮像装置２００に対し、さらに異なる表示装置２４３からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０７）された場合、再度処理負荷を推測する判断（ステップＳ４０９）を行い、各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号２の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
覆い焼き制御部１１９はＯＤＤデータの空間フィルタ処理画像の作成完了後、空間フィルタ処理を行ったＯＤＤデータ画像の次のＯＤＤデータ画像の入力に合わせて、フィルタ画像バッファ処理部１１０から空間フィルタ処理画像を読出し（１１０６）、空間フィルタ処理画像に対し画像拡大部１１２における拡大処理、ＬＵＴ演算処理部におけるγ処理を行った後、読み出した入力画像１０２に対し画像合成部１１４における合成処理を実行（１１０７）する事で出力画像１１８が出力される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
出力画像１１８は圧縮処理部２０５に入力され、再度ＯＤＤデータ合成画像とＥＶＥＮデータ合成画像をプログレッシブ化する処理を行った後、ＭＪＰＥＧ等の静止画系の符号化処理（１１０８）が行われる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
第１の実施形態と同様、表示装置２４１からの要求が静止画系の符号化方式であるＪＰＥＧのような方式であり、且つ他の表示装置からの要求がない場合、撮像装置２００は、まずモード番号５の状態で各処理部の初期設定を行い、ネットワーク制御部２０７はモード番号５のまま出力を続けるが、異なる表示装置２４２からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０７）された場合、再度処理負荷を推測する判断（ステップＳ４０９）を行い、各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号７の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
さらに異なる表示装置２４３からの画像出力要求が発生し、さらにその画像出力において同じ符号化方式ではあるものの、異なる圧縮効率の画像出力が要求されていると判断（ステップＳ４０７）された場合、再度処理負荷を推測する判断（ステップＳ４０９）を行い、各読出し方式の変更が必要であると判断（ステップＳ４１１）された場合、ネットワーク制御部２０７はモード番号６の方式に切替えるように各処理部へ指示を出す（ステップＳ４１２）。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
１０１  覆い焼き処理部
２００  撮像装置
２０１  撮像部
２０２  レンズ
２０３  撮像素子
２０４  現像処理部
２０５  圧縮処理部
２０６  通信部
２０７  ネットワーク制御部
２０８  ストレージ
２０９  ネットワークインタフェース
２１０  ＣＰＵ
２１４  撮像制御部
２４０  ネットワーク
２４１、２４２、２４３  表示装置
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2007281946.tif 000014