(57)【特許請求の範囲】
【請求項１】
撮影操作に応じてアナログ信号を出力する撮像素子と、撮像素子から出力されたアナログ信号をデジタル変換してＣＣＤ−ＲＡＷデータを作成するＡＤコンバータと、前記ＣＣＤ−ＲＡＷデータに低ビット化処理を施して低ビットＣＣＤ−ＲＡＷデータを作成する低ビット化手段と、前記低ビットＣＣＤ−ＲＡＷデータを利用して簡易的に撮影画像を表示する画像表示手段と、外部機器との間でデータを送受信するとともに、前記低ビットＣＣＤ−ＲＡＷデータを自動的に画像処理サーバに送信する通信手段とを備えたデジタルカメラと、
前記画像処理サーバであって、前記デジタルカメラから受信した低ビットＣＣＤ−ＲＡＷデータに、ＹＣ処理及び固定長化処理及び圧縮処理を施して圧縮画像データを作成し、この圧縮画像データをデジタルカメラに送信する画像処理サーバを備えたことを特徴とする画像処理システム。
【請求項２】
前記画像処理サーバにおいて、低ビットＣＣＤ−ＲＡＷデータに画質補正処理を施すことを特徴とする請求項１記載の画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラと画像処理サーバとを使用した画像処理システムの改良に関するものである。
【０００２】
【従来の技術】
デジタルカメラでは、ｊｐｅｇ形式の画像データが標準的なファイルフォーマットとされている。ｊｐｅｇ形式の画像データは、ＣＣＤイメージセンサから得たアナログ信号をデジタル化したＣＣＤ−ＲＡＷデータに、ガンマ補正，オフセット設定，ゲイン設定，低ビット化処理，ＹＣ処理，固定長化処理，圧縮処理，ファイル変換処理等を施して形成されている。
【０００３】
従来のデジタルカメラでは、ｊｐｅｇ形式の画像データの作成をデジタルカメラ内の画像処理回路によって行っている。ＣＣＤイメージセンサは、高画素化が進んでおり、画像データも大容量化している。特に、ハニカム配列されたＣＣＤイメージセンサのＣＣＤ−ＲＡＷデータは、ＹＣ処理後にデータ容量が倍になる。そのため、画像処理を迅速に行うための高性能なＣＰＵやＤＳＰ、大容量の画像メモリ等がデジタルカメラで必要とされている。
【０００４】
【発明が解決しようとする課題】
高性能なＣＰＵやＤＳＰ、大容量の画像メモリは、デジタルカメラのコストアップの要因となっている。そのため、デジタルカメラでの画像処理に対する負荷を軽減する方法が多数発明されている。
【０００５】
例えば、特開２００１−２０９１３２号公報記載の発明では、画像データをクライアントコンピュータに入力し、クライアントコンピュータから画像処理サーバに画像データを送信し、画像処理サーバにおいて画像処理を行っている。画像処理が施された画像データは、画像処理サーバからクライアントコンピュータに送信される。
【０００６】
しかしながら、上記発明では、デジタルカメラからクライアントコンピュータに画像データを入力しなければ画像処理サーバに画像データを送ることができないため、面倒であった。また、デジタルカメラだけでは最適に画像処理された画像データが得られないため、コンピュータを所有していないユーザには使用することができないという問題もあった。
【０００７】
本発明は、上記問題点を解決するためのもので、デジタルカメラの画像処理に対する負荷を軽減させた画像処理システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記問題点を解決するために、本発明の画像処理システムは、撮影を行うデジタルカメラと、画像処理を行う画像処理サーバとから構成している。デジタルカメラでは、画像データを低ビット化して画像処理サーバに送信し、この画像処理サーバで画像データにＹＣ処理及び固定長化処理及び圧縮処理を施して、デジタルカメラに戻すようにしたものである。
【０００９】
また、低ビット画像データを利用して、デジタルカメラの画像表示手段に撮影画像を表示するとよい。更に、画像処理サーバにおいて、低ビット画像データに画質補正処理を施してもよい。
【００１０】
【発明の実施の形態】
図１は、本発明を実施した画像処理システムの構成を示す概念図である。本発明の画像処理システムは、デジタルカメラ２と画像処理サーバ３とから構成されている。デジタルカメラ２と画像処理サーバ３との間は、インターネット４等のネットワークによって接続されている。デジタルカメラ２とインターネット４、画像処理サーバ３とインターネット４との接続は、ＡＤＳＬに代表されるｘＤＳＬや、光ファイバー，ケーブルテレビ等の高速通信網や、携帯電話やＰＩＡＦＳ等の無線通信網によって接続されている。
【００１１】
図２は、デジタルカメラ２の構成を示すブロック図である。周知のとおり、デジタルカメラ２の前面には、ズームレンズ６とフォーカスレンズ７とからなる撮影光学系が設けられている。ズームレンズ６とフォーカスレンズ７との間には、絞りを切り換える絞り板８が、フォーカスレンズ７の背後にはシャッタ羽根９が配置されている。
【００１２】
ズームレンズ６とフォーカスレンズ７は、それぞれモータを含むレンズ駆動機構１２，１３によって光軸方向で移動される。絞り板８は、モータを含む絞り駆動機構１４によって撮影光軸に直交する方向で移動される。シャッタ羽根９は、モータを含むシャッタ駆動機構１５によって駆動される。
【００１３】
レンズ駆動機構１２，１３及び絞り駆動機構１４は、ＣＰＵ１７に制御されたモータドライバ１８〜２０によって駆動される。シャッタ駆動機構１５は、タイミングジェネレータ２１からタイミング信号が入力されたときに、モータドライバ２２によって駆動される。
【００１４】
撮影光学系の前方には、手動で開閉されるレンズバリア２５が設けられている。レンズバリア２５の開閉状況は、レンズバリア検出スイッチ２６によって検出される。レンズバリア検出スイッチ２６の検出信号はＣＰＵ１７に入力され、シャッタレリーズの可否判断に利用される。
【００１５】
ＣＰＵ１７の背後には、撮像素子として周知のＣＣＤイメージセンサ２８が配置されている。撮影光学系を通過した被写体光は、シャッタ羽根９の開放時にＣＣＤイメージセンサ２８上に結像される。このＣＣＤイメージセンサ２８は、シャッタ駆動機構１５と同様に、タイミングジェネレータ２１からタイミング信号が入力されたときに撮像を行う。
【００１６】
デジタルカメラ２の外装には、撮影時に操作されるシャッタボタンが設けられている。このシャッタボタンの内部には、シャッタボタンの半押しと全押しとを検出するシャッタスイッチ３０が組み込まれている。シャッタスイッチ３０の操作信号は、ＣＰＵ１７に入力される。
【００１７】
ＣＰＵ１７は、シャッタスイッチ３０の半押し信号に応じて、ＡＦ回路３２及びＡＥ／ＡＷＢ回路３３を動作させる。ＡＦ回路３２は、周知の投光素子及び受光素子を用いて被写体までの距離を測定し、この測定結果に基づいてフォーカスレンズ７を移動してフォーカシングを行う。ＡＥ回路３２は、被写体輝度を測定し、絞り値やシャッタ速度等を決定する。ＡＷＢ回路は、オートホワイトバランス回路であり、撮影時のホワイトバランスを自動調整する。
【００１８】
また、ＣＰＵ１７は、シャッタスイッチ３０の全押し信号に応じて、タイミングジェネレータ２１にタイミング信号を生成させる。このタイミング信号がシャッタ駆動機構１５とＣＣＤイメージセンサ２８とに入力され、撮影が行われる。
【００１９】
ＣＣＤイメージセンサ２８は、光電変換によってアナログ信号を発生する。アナログ信号は、画像データ生成部３５に入力される。画像データ生成部３５は、相関２重サンプリング回路（ＣＤＳ）と、オートゲインコントローラ（ＡＧＣ）と、ＡＤコンバータ（ＡＤＣ）とからなる。ＣＤＳは、アナログ信号のノイズを除去し、ＡＧＣはアナログ信号のゲインを自動調節する。ＡＤＣは、アナログ信号をデジタル変換して１２ビットの画像データを生成する。以下、ＡＤ変換された直後の画像データは、１２ビットＣＣＤ−ＲＡＷデータと呼称する。
【００２０】
画像データ生成部３５で作成された１２ビットＣＣＤ−ＲＡＷデータは、画像入力コントローラ３７によって画像メモリ３８に書き込まれる。画像入力コントローラ３７と画像メモリ３８とは、ＣＰＵ１７に接続されたデータバス３９に接続されている。
【００２１】
図３は、画像メモリ３８における１２ビットＣＣＤ−ＲＡＷデータの格納状態を示す説明図である。１２ビットＣＣＤ−ＲＡＷデータは、一つの画素で画像メモリ３８の１バイト半を使用する。残りの４ビットは他の画素で使用されないため、一つの画素で２バイトのメモリ容量を占有することになる。
【００２２】
画像メモリ３８に記憶された１２ビットＣＣＤ−ＲＡＷデータは、画像入力コントローラ３７によって画像メモリ３８から読み出され、データバス３９を通じて画像処理回路４１に入力される。画像処理回路４１では、ガンマ補正，オフセット設定，ゲイン設定等の処理，低ビット化処理等からなる前処理が行われる。低ビット化処理では、１２ビットＣＣＤ−ＲＡＷデータに８ビットのサンプリング処理が施される。これにより、８ビットＣＣＤ−ＲＡＷデータが作成される。
【００２３】
８ビットＣＣＤ−ＲＡＷデータは、画像入力コントローラ３７によって画像メモリ３８に書き込まれる。図４に示すように、８ビットＣＣＤ−ＲＡＷデータは、一つの画素で１バイトのメモリ容量を使用するので、１２ビットＣＣＤ−ＲＡＷデータに比べて画像メモリ３８の占有量が半分になる。
【００２４】
８ビットＣＣＤ−ＲＡＷデータは、画像処理回路４１において簡易ＹＣ処理が施され、ビデオエンコーダ４３によってＮＴＳＣのコンポジット信号に変換される。このコンポジット信号は、デジタルカメラ２に設けられた液晶ディスプレイ（ＬＣＤ）４４に表示される。
【００２５】
ＣＣＤイメージセンサ２８での撮影と、ＬＣＤ４４での撮影画像の再生との切り換えは、デジタルカメラ２の外装に設けられたモード切換ボタンによって行われる。モード切換ボタン内には、モード切換ボタンの操作に応じて操作信号を発生するモード切換スイッチ４６が組み込まれている。モード切換スイッチ４６の操作信号は、ＣＰＵ１７に入力されてモード切り換えのタイミングに利用される。
【００２６】
デジタルカメラ２には、リムーバブル式の記憶メディアとしてメモリカード４８が使用される。このメモリカード４８にアクセスしてデータの読み書きを行うメディアコントローラ４９がデジタルカメラ２内に設けられており、データバス３９に接続されている。
【００２７】
また、デジタルカメラ２には、高速通信網を利用してインターネット４に接続するための通信回路５１が設けられている。８ビットＣＣＤ−ＲＡＷデータは、通信回路５１からインターネット４を通じて画像処理サーバ３に送信される。
【００２８】
図５に示すように、画像処理サーバ３は、高速通信網を使用してインターネットに接続するデータ通信部５４と、受信した８ビットＣＣＤ−ＲＡＷデータを記憶するデータストレージ５５とを備えている。また、８ビットＣＣＤ−ＲＡＷデータに各種画像処理を施す、画質補正部５６，ＹＣ処理部，データ圧縮部６０，ファイル変換部６２を備えている。
【００２９】
画質補正部５６は、データストレージ５５から８ビットＣＣＤ−ＲＡＷデータを読み出し、輝度レベル補正やホワイトバランス補正等の画質調整を施す。
【００３０】
ＹＣ処理部５８は、画質補正が行われた８ビットＣＣＤ−ＲＡＷデータにＹＣ処理を施す。これにより、８ビットＣＣＤ−ＲＡＷデータが、輝度（Ｙ）データと、青色差（Ｃｂ）データ及び赤色差（Ｃｒ）データとからなるＹＣｂＣｒ画像データに変換される。
【００３１】
図６に示すように、ＹＣｂＣｒ画像データは、各画素ごとに１バイトのＹデータと、二つの画素ごとに１バイトずつのＣｂデータ及びＣｒデータとが形成される。そのため、８ビットＣＣＤ−ＲＡＷデータに比べて、データ容量が４倍になってしまう。従来のデジタルカメラでは、ＹＣｂＣｒ画像データを記憶できる容量の画像メモリが必要とされていたため、デジタルカメラのコストアップを招いていた。しかしながら、本発明では，データ容量が肥大化するＹＣ処理を画像処理サーバ３で行うようにしたので、デジタルカメラ２の画像メモリ３８に小容量のものを使用することができる。
【００３２】
データ圧縮部６０は、ＹＣｂＣｒ画像データに固定長化処理と圧縮処理とを施し、圧縮画像データを作成する。圧縮画像データのデータ容量は、ＹＣｂＣｒ画像データのデータ容量のおよそ１／１０となる。
【００３３】
ファイル変換部６２は、圧縮画像データをｊｐｅｇ形式の画像データに変換する。ｊｐｅｇ形式の画像データは、いったんデータストレージ５５に記録され、データ通信部５４によってデジタルカメラ２に送信される。
【００３４】
次に、上記実施形態の作用について、図７及び８のフローチャートを参照して説明する。デジタルカメラ２の電源がオンされ、モード切換ボタンが撮影モードにセットされると、モード切換スイッチ４６から操作信号がＣＰＵ１７に入力される。
【００３５】
ＣＰＵ１７は、シャッタ駆動機構１５を動作させてシャッタ羽根９を開放する。次いで、ＡＦ回路３２及びＡＥ／ＡＷＢ回路３３によって、スルー画像出力用の測距及び測光が行われる。測距結果に応じてレンズ駆動機構１３が作動し、フォーカスレンズ７の移動によってフォーカシングが行われる。また、絞り駆動機構１４が作動して、測光結果に応じて絞りが切り換えられる。
【００３６】
撮影光学系を通過した被写体光がＣＣＤイメージセンサ２８に結像され、ＣＣＤイメージセンサ２８から画像データ生成部３５にアナログ信号が入力される。画像データ生成部３５は、アナログ信号をＡＤ変換して１２ビットＣＣＤ−ＲＡＷデータを作成する。１２ビットＣＣＤ−ＲＡＷデータは、画像入力コントローラ３７によって画像メモリ３８に記憶される。
【００３７】
画像処理回路４１は、画像メモリ３８から１２ビットＣＣＤ−ＲＡＷデータを読み出す。そして、１２ビットＣＣＤ−ＲＡＷデータにガンマ補正，オフセット設定，ゲイン設定等の処理，低ビット化処理からなる前処理を施し、８ビットＣＣＤ−ＲＡＷデータを作成する。また、８ビットＣＣＤ−ＲＡＷデータは、簡易ＹＣ処理が施されてビデオエンコーダ４３に入力される。そして、ＮＴＳＣ信号に変換されてＬＣＤ４４に画像が表示される。この撮像処理を一定周期で連続的に行なうことにより、ＬＣＤ４４にスルー画像表示が行われる。
【００３８】
ＬＣＤ４４を確認しながらフレーミングを行い、シャッタボタンを半押しすると、シャッタスイッチ３０から半押し信号がＣＰＵ１７に入力される。ＣＰＵ１７は、ＡＦ回路３２及びＡＥ／ＡＷＢ回路３３によって、撮影用の測距及び測光を行い、フォーカシングと絞り切り換えとを行う。なお、シャッタボタンの半押しが解除されると、スルー画像出力が再開される。
【００３９】
シャッタボタンが全押しされると、シャッタスイッチ３０から半押し信号がＣＰＵ１７に入力され、撮影処理が開始される。ＣＰＵ１７は、シャッタ羽根９をいったん閉じて、タイミングジェネレータ２１にタイミング信号を生成させる。タイミングジェネレータ２１から入力されたタイミング信号に応じて、シャッタ羽根９によるシャッタレリーズが行われ、ＣＣＤイメージセンサ２８によって静止画像の撮像が行われる。
【００４０】
図１に示すように、ＣＣＤイメージセンサ２８から出力されたアナログ信号は、スルー画像出力時と同様に１２ビットＣＣＤ−ＲＡＷデータに変換され、更に８ビットＣＣＤ−ＲＡＷデータに変換されて画像メモリ３８に記憶される。また、撮影された静止画像は、８ビットＣＣＤ−ＲＡＷデータの簡易ＹＣ処理、及びＮＴＳＣ信号へのエンコードによってＬＣＤ４４に表示される。
【００４１】
通信回路５１は、画像メモリ３８から読み出された８ビットＣＣＤ−ＲＡＷデータを高速通信網でインターネット４に送信し、画像処理サーバ３に入力する。画像処理サーバ３は、受信した８ビットＣＣＤ−ＲＡＷデータをデータストレージ５５に記憶する。
【００４２】
データストレージ５５に記憶された８ビットＣＣＤ−ＲＡＷデータは、画質補正部５６に入力され、輝度レベル補正とホワイトバランス補正とが施される。画質補正が行われた８ビットＣＣＤ−ＲＡＷデータは、ＹＣ処理部５８に入力され、ＹＣｂＣｒ画像データに変換される。ＹＣｂＣｒ画像データは、データ容量が８ビットＣＣＤ−ＲＡＷデータの４倍になるが、画像処理サーバ３のデータストレージ５５は記憶容量が大きいので問題はない。
【００４３】
ＹＣｂＣｒ画像データは、データ圧縮部６０に入力されて、固定長化処理及び圧縮処理が施される。また、ファイル変換部６２では、デジタルカメラにおいて標準的なファイルフォーマットであるｊｐｅｇ形式の画像データに変換される。
【００４４】
ｊｐｅｇ画像データは、いったんデータストレージ５５に記憶される。画像処理サーバ３は、デジタルカメラ２に送信要求信号を発信する。デジタルカメラ２において受信準備が整っている場合には、デジタルカメラ２から画像処理サーバ３に受信要求信号が送信される。
【００４５】
画像処理サーバ３は、デジタルカメラ２から受信要求信号を受けると、データ通信部５４によってデジタルカメラ２にｊｐｅｇ画像データを送信する。ｊｐｅｇ画像データは、８ビットＣＣＤ−ＲＡＷデータの１／３程度のデータ容量となるため、画像処理サーバ３からデジタルカメラ２への送信は、短時間で終了する。
【００４６】
デジタルカメラ２は、通信回路５１において画像処理サーバ３からｊｐｅｇ画像データを受信し、画像メモリ３８に記憶する。そして、メディアコントローラ４９を介して、メモリカード４８にｊｐｅｇ画像データを記憶する。その後、再びスルー画像出力が開始され、次の撮影が可能となる。
【００４７】
デジタルカメラ２と画像処理サーバ３との間のデータ通信には、高速通信網を使用しており、比較的容量の小さな８ビットＣＣＤ−ＲＡＷデータと、容量の小さなｊｐｅｇ画像データとを送信するようにしたので、画像データの送信は短時間で完了する。また、画像処理サーバ３は、高性能なＣＰＵを使用しているため、８ビットＣＣＤ−ＲＡＷデータからｊｐｅｇ画像データへの変換は一瞬で完了する。これにより、内部で全ての画像処理を行っていた従来のデジタルカメラに劣らない処理速度を得ることができる。
【００４８】
更に、画像処理サーバの画像処理プログラムを更新すれば、デジタルカメラを買い換えなくても常に最適に処理された画像データを得ることができる。
【００４９】
なお、上記実施形態では、デジタルカメラ２から画像処理サーバ３に８ビットＣＣＤ−ＲＡＷデータを送信したあと、ｊｐｅｇ画像データを受信するまで、デジタルカメラ２で次の撮影を行うことができなかった。しかしながら、８ビットＣＣＤ−ＲＡＷデータのサーバへの送信後に、すぐに次の撮影を行えるようにすることもできる。
【００５０】
画像処理サーバでの処理中にも撮影を行えるようにするには、サーバから受信したｊｐｅｇ画像データと、もう１画面分の１２ビットＣＣＤ−ＲＡＷデータとを記憶できる容量の画像メモリを使用し、スルー画像出力とデータ受信とを並列処理できるようにすればよい。
【００５１】
例えば、図９のフローチャートに示すように、画像メモリに空き容量がない場合には、前述の実施形態と同様に画像処理サーバからの送信要求信号を待ってｊｐｅｇ画像データを受信し、メモリカードに記憶する。
【００５２】
また、画像メモリに空き容量がある場合には、図１０に示す処理Ａ−Ａ’に移行する。この処理Ａ−Ａ’では、画像処理サーバ３から送信要求が来るまでスルー画像出力に移行し、次の撮影を行えるようにする。なお、画像処理サーバからの送信要求を逃さないために、スルー画像出力中にも処理Ａ−Ａ’を実施するとよい。
【００５３】
なお、上記実施形態では、画像処理サーバにおいて基本的な画像処理しか行っていないが、画像処理サーバの処理能力を利用して、デジタルカメラ内での処理が困難なシェーディング補正やディストーション補正等を行ってもよい。また、画像処理サーバで、文字やフレーム等との画像合成等を行うこともできる。
【００５４】
また、１枚の撮影を行うごとに画像データを画像処理サーバに送信するようにしたが、連写機能等を使用して多数の撮影を連続して行った場合等には、複数の画像データをまとめて画像処理サーバに送信してもよい。また、動画撮影が可能なデジタルカメラの場合には、動画データも画像処理サーバに送信して、画像処理やデータエンコード等を行ってもよい。
【００５５】
【発明の効果】
以上説明したように、従来はデジタルカメラ内で行われていた画像処理を画像処理サーバで行うようにしたので、デジタルカメラ内の画像処理に対する負荷を軽減することができ、デジタルカメラのコストダウンを図ることができる。
【００５６】
また、高速通信網を使用するとともに、デジタルカメラにおいて低ビット化した画像データをサーバに送信するようにしたので、画像処理サーバでの高速な処理能力と相まって、全てを内部処理していた従来のデジタルカメラに遜色ない処理速度を得ることができる。
【図面の簡単な説明】
【図１】本発明の画像処理システムの構成を示す概念図である。
【図２】デジタルカメラの構成を示すブロック図である。
【図３】画像メモリでの１２ビットＣＣＤ−ＲＡＷデータの格納状態を示す説明図である。
【図４】画像メモリでの８ビットＣＣＤ−ＲＡＷデータの格納状態を示す説明図である。
【図５】画像処理サーバの構成を示すブロック図である。
【図６】画像メモリでのＹＣｂＣｒ画像データの格納状態を示す説明図である。
【図７】デジタルカメラのフローチャートである。
【図８】画像処理サーバのフローチャートである。
【図９】連続して撮影を行えるようにしたデジタルカメラのフローチャートである。
【図１０】図９に示すフローチャートの処理Ａ−Ａ’のフローチャートである。
【符号の説明】
２  デジタルカメラ
３  画像処理サーバ
１７  ＣＰＵ
２８  ＣＣＤイメージセンサ
３８  画像メモリ
４１  画像処理回路
５１  通信回路
５４  データ通信部
５６  画質補正部
５８  ＹＣ処理部
６０  データ圧縮部
６２  ファイル変換部
【図１】
0004112259.tif 000002
【図２】
0004112259.tif 000003
【図３】
0004112259.tif 000004
【図４】
0004112259.tif 000005
【図５】
0004112259.tif 000006
【図６】
0004112259.tif 000007
【図７】
0004112259.tif 000008
【図８】
0004112259.tif 000009
【図９】
0004112259.tif 000010
【図１０】
0004112259.tif 000011