(57)【要約】【課題】不良画素を補正可能で可搬性に優れた画像データの構造、ディジタルカメラ、及び画像データ作成プログラムを提供する。【解決手段】光学系により結像される被写体の光学像をイメージセンサにより光電変換し、イメージセンサから出力される電気信号に基づいて被写体を表すディジタル画像を作成するディジタルカメラで記録される画像データの構造であって、ディジタル画像を記録したディジタル画像データ領域４３と、ディジタル画像の不良画素を表す不良画素データを記録した不良画素データ領域４２と、を１ファイルに含む。【選択図】  図１
2004297687.tif 000002
【特許請求の範囲】
【請求項１】
光学系により結像される被写体の光学像をイメージセンサにより光電変換し、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成するディジタルカメラで記録される画像データの構造であって、
ディジタル画像を記録したディジタル画像データ領域と、
ディジタル画像の不良画素を表す不良画素データを記録した不良画素データ領域と、
を１ファイルに含むことを特徴とする画像データの構造。
【請求項２】
被写体の光学像を結像させる光学系と、
前記光学系により結像される光学象を光電変換して電気信号を出力するイメージセンサと、
前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成する処理部と、
ディジタル画像を記録するディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録する不良画素データ領域とを１ファイルに含む画像データを記録する画像データ記録手段と、
を備えることを特徴とするディジタルカメラ。
【請求項３】
不良画素データを入力する入力手段を更に備えることを特徴とする請求項２に記載のディジタルカメラ。
【請求項４】
光学系により結像される被写体の光学像をイメージセンサにより光電変換し、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成するディジタルカメラの制御部を、
ディジタル画像を記録するディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録する不良画素データ領域とを１ファイルに含む画像データを記録する画像データ記録手段、
として機能させることを特徴とする画像データ作成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像データの構造、ディジタルカメラ、及び画像データ作成プログラムに関する。
【０００２】
【従来の技術】
光学系により結像される被写体の光学像をイメージセンサにより光電変換し、イメージセンサから出力される電気信号に基づいて被写体を表すディジタル画像を作成するディジタルカメラが知られている。イメージセンサは１００万個や２００万個などの多くの受光セルで構成されるため、製造時の歩留まりなどの問題からいくつかの正常に作動しない受光セル（欠陥セル）があってもそのまま用いられることが多い。こうしたイメージセンサを用いると、欠陥セルが正常な電気信号を出力しないため、作成したディジタル画像において欠陥セルに対応する画素が本来とは異なる輝度を表す不良画素となる。
【０００３】
図４は、不良画素が存在するディジタル画像を示す模式図である。欠陥セルの受光量と欠陥セルが出力する電気信号とは相関しないため、例えば本来は明るいであろうはずの画素３０が図示するように暗い画素として表れ、このためディジタル画像の画質が低下することになる。
こうした不良画素によって低下するディジタル画像の画質を補正するため、欠陥セルを特定する情報をディジタル画像と共に出力するディジタルカメラが知られている（例えば特許文献１参照。）。特許文献１の電子スチルカメラ（ディジタルカメラ）は、工場出荷時にＣＣＤイメージセンサ（イメージセンサ）毎の欠陥画素アドレス（欠陥セルのアドレス）等を当該ディジタルカメラに固有の個別情報として設定し、再生側では出力されたディジタル画像を個別情報に基づいて補正を行って高画質の画像を得ている。再生側への出力においては、特許文献１のディジタルカメラはリムーバブルメモリの不良画素データ領域に個別情報を記録し、複数のディジタル画像データ領域にそれぞれディジタル画像を記録することで個別情報をディジタル画像と共に出力している。
【０００４】
【特許文献１】
特開平６−８６２０６号公報
【０００５】
【発明が解決しようとする課題】
リムーバブルメモリは撮影したディジタル画像を一時的に記憶するために用いられるものであり、一般にリムーバブルメモリに記憶されたディジタル画像はパーソナルコンピュータで読み込まれてハードディスクに保存されることが多い。特許文献１のディジタルカメラでは、ディジタル画像をハードディスクに保存する場合、再生時に補正を行う必要があるためディジタル画像と併せて個別情報も保存しておく必要がある。この場合、特許文献１のディジタルカメラによると、個別情報とディジタル画像とを別々に保存しなければならないため可搬性が悪いという問題がある。具体的には例えば個別情報とディジタル画像とをハードディスクに保存するとき、ユーザは個別情報をハードディスクにコピーする操作とディジタル画像をハードディスクにコピーする操作とを行わなければならず、複数の操作を行わなければならないため可搬性が悪い。この結果、例えば一方をコピーし忘れるなどの誤りにより、後で再生あるいは補正が行えなくなることも起こり得る。
【０００６】
また、従来のディジタルカメラによると、出荷後に新たに生じるようになった不良画素については個別情報に基づいて補正することはできないという問題がある。例えばレンズや受光セルにゴミが付着すると、ゴミの影が映り込む受光セルに対応する画素は不良画素になる。ゴミが付着するのは工場出荷の前であるとは限らず、むしろ出荷後に付着する可能性の方が高いといえる。しかしながら、従来のディジタルカメラでは欠陥セルによって生じる不良画素を補正することのみを目的としているため、個別情報は工場出荷時にＲＯＭに記憶され、出荷後に付着したゴミによる不良画素の情報を個別情報に反映することはできない。このためリムーバブルメモリに記録される個別情報を用いても出荷後に新たに生じるようになった不良画素を補正することはできない。
【０００７】
本発明は、かかる問題に鑑みて創作されたものであって、不良画素を補正可能で可搬性に優れた画像データの構造、ディジタルカメラ、及び画像データ作成プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像データの構造は、光学系により結像される被写体の光学像をイメージセンサにより光電変換し、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成するディジタルカメラで記録される画像データの構造であって、ディジタル画像を記録したディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録した不良画素データ領域と、を１ファイルに含むことを特徴とする。この画像データの構造によると、ディジタル画像と不良画素データとが１ファイルに記録されるため、画像データに記録されているディジタル画像の不良画素を当該画像データに記録されている不良画素データに基づいて補正することが可能である。また、画像データはディジタル画像と不良画素データとを１ファイルに含むため可搬性に優れている。
【０００９】
また、上記目的を達成するため、本発明に係るディジタルカメラは、被写体の光学像を結像させる光学系と、前記光学系により結像される光学象を光電変換して電気信号を出力するイメージセンサと、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成する処理部と、ディジタル画像を記録するディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録する不良画素データ領域とを１ファイルに含む画像データを記録する画像データ記録手段と、を備えることを特徴とする。このディジタルカメラによると、不良画素を補正可能な画像データを記録できる。また、記録した画像データはディジタル画像と不良画素データとを１ファイルに含むため可搬性に優れている。
【００１０】
さらに本発明に係るディジタルカメラは、不良画素データを入力する入力手段を更に備えることを特徴とする。このディジタルカメラによると、出荷後に新たな不良画素が生じるようになった場合であっても、不良画素データを作成し直して入力することで、新たに生じるようになった不良画素を含めて補正することのできる不良画素データを不良画素データ領域に記録することができる。この結果、出荷後に新たに生じるようになった不良画素を含めて不良画素の補正が可能になる。
【００１１】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を複数の図面に基づいて説明する。
図２は、本発明の一実施例に係るディジタルカメラとしてのディジタルスチルカメラ１のハードウェア構成を示すブロック図である。
制御部１９は、ＣＰＵ１９ａ、フラッシュメモリ１９ｂ、ワークメモリ１９ｃを備える。ＣＰＵ１９ａはフラッシュメモリ１９ｂに記憶されているコンピュータプログラムを実行することにより、ディジタルスチルカメラ１の全体を制御する。また、ＣＰＵ１９ａはフラッシュメモリ１９ｂに記憶されている画像データ作成プログラムを実行することで画像データ記録手段としても機能する。フラッシュメモリ１９ｂは、画像データ作成プログラム、不良画素データ、その他各種のプログラムやデータなどを記憶するメモリである。フラッシュメモリ１９ｂに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ１８等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。ワークメモリ１９ｃは、プログラムやデータを一時的に記憶するためのメモリである。
【００１３】
光学系１１は、レンズ、絞り等で構成されている。光学系１１はイメージセンサ１２の受光面に被写体の光学像を結像させる。
イメージセンサ１２は、２次元空間に離散的に配置された受光セルとＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ１２は、センサコントローラ１３によって駆動される。イメージセンサ１２は、光学系１１により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にＣ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）及びＧ（Ｇｒｅｅｎ）の４色の補色フィルタ、又はＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【００１４】
処理部２０は、Ａ／Ｄ変換部（ＡＤＣ）１４、ディジタル画像処理部１５、及び圧縮・伸張部１６を備える。
ＡＤＣ１４は、イメージセンサ１２から出力される電気信号を量子化してディジタル信号に変換する。具体的には例えば、ＡＤＣ１４は、電気信号に含まれる雑音の低減処理、ゲインの調整による電気信号のレベル調整処理、量子化処理等を行う。
【００１５】
ディジタル画像処理部１５は、ＡＤＣ１４から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、γ補正、色空間変換等を施し、各画素についてＲ、Ｇ、Ｂの階調値や、Ｙ、Ｃｂ、Ｃｒの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の輝度情報を近傍の受光セルの異なる色の輝度情報で補間することにより画素毎にＲＧＢ又はＹＣｂＣｒの３つの階調値を持つディジタル画像を出力する処理である。
【００１６】
圧縮・伸張部１６は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、ウェーブレット変換、ランレングス符号化、ハフマン符号化等を用いてディジタル画像を圧縮する。圧縮後のディジタル画像はワークメモリ１９ｃに一時的に記憶される。
【００１７】
入力手段としての入力部１７は、リムーバブルメモリ１８を接続するためのカードスロット、メモリコントローラなどを備える。入力部１７は制御部１９によって制御され、リムーバブルメモリ１８に記憶されている不良画素データを読み込むことで不良画素データをディジタルスチルカメラ１に入力する。尚、本実施例の入力部はリムーバブルメモリから不良画素データを読み込むことで入力するが、入力部をネットワークインタフェースとして構成し、ネットワーク経由でダウンロードすることで入力するようにしてもよいし、ＵＳＢインタフェースとして構成し、ＵＳＢケーブルを介して他のＵＳＢデバイスからデータを読み込むことで入力するようにしてもよい。
【００１８】
操作部２２は、回転角度に応じて撮影モード、画像表示モード等のモードを設定するためのダイヤルスイッチ、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）２４にメニューを呼び出すためのスイッチ、メニューを操作するためのスイッチ、撮影を指示するための撮像スイッチなどを備える。
ＬＣＤ２４は、撮影モードで電子ビューファインダとして機能する。ディスプレイコントローラ２３は、ＬＣＤ２４の一画面分のディジタル画像を格納するためのフレームバッファと、フレームバッファに格納されたディジタル画像に基づいてＬＣＤ２４を駆動するための表示回路とを備える。
【００１９】
以上、ディジタルスチルカメラ１のハードウェア構成について説明した。次に、不良画素データについて説明する。
不良画素データは、ディジタル画像を構成する画素のうちどの画素が不良画素であるかを表すデータである。不良画素データは不良画素であるか否かを画素毎に２値で表すデータであってもよいし、不良画素の座標のみを表すデータであってもよい。不良画素の座標のみを表すと、画素毎に２値で表す場合に比べて不良画素データのデータ量を低減できる。また、ゴミが原因で不良画素が生じる場合はディジタル画像の特定の領域に不良画素が集中するため、不良画素データはディジタル画像において当該領域の中心にある不良画素の座標とその座標を中心に前述した領域が含まれる半径もしくは矩形領域とを表すデータであってもよい。中心にある不良画素の座標と半径とで不良画素を表すと、もしくは不良画素座標を含む矩形領域座標で不良画素を表すと、不良画素データのデータ量を更に低減できる。以下、不良画素の座標のみを表す場合を例に不良画素データについてより詳細に説明する。
【００２０】
図３（Ａ）はディジタル画像を構成する複数の画素を示す模式図であり、図３（Ｂ）は不良画素データを示す模式図である。ここで図３（Ａ）に示す画素は白い平板状の被写体を表すディジタル画像を構成する画素であり、白い枠で表される画素は正常画素、黒い画素３０は不良画素であることを意味している。ディジタル画像の一つの画素は基本的には一つの受光セルに対応している。しかしながら、一つの受光セルはＲＧＢ又はＹＣｂＣｒのうちのいずれか１色の輝度情報しか出力できないため、画素の輝度情報はいずれか１色については対応する受光セルの輝度情報が用いられ、他の２色については近傍の受光セルの異なる色の輝度情報で補間される。これにより前述したように１画素はＲＧＢ又はＹＣｂＣｒの３つの階調値を持つことが可能になる。すなわち、一つの受光セルは複数の画素に対応することになり、一つの欠陥セルによって、あるいは一つの受光セルにゴミが写り込むことによって複数の不良画素が生じることになる。図３（Ｂ）に示す不良画素データは図３（Ａ）に示す不良画素のＸ座標とＹ座標とを格納しており、これによりディジタル画像においてどの画素が不良画素であるかを一意に特定することができる。不良画素データは、ディジタルスチルカメラ１で作成したディジタル画像をパーソナルコンピュータで画像処理することで作成される。作成された不良画素データはリムーバブルメモリ１８に記憶され、入力部１７で読み込まれてディジタルスチルカメラ１に入力される。具体的には例えばディジタルスチルカメラ１で図３（Ａ）に示すような白い平板状の被写体を表すディジタル画像を作成し、パーソナルコンピュータに出力する。ここで白い平板状の被写体を表すディジタル画像を作成するのは、正常な画素と不良画素とを判別し易くするためである。パーソナルコンピュータは当該ディジタル画像の各画素について輝度が所定の閾値以上であれば正常画素、閾値未満であれば不良画素と判定し、不良画素についてはその座標を図３（Ｂ）に示すように不良画素データに追加する。画素の輝度は一般に２５６階調で表され、白い画素ほどＲ、Ｇ、Ｂの輝度が全て２５５に近くなり、暗い画素ほど全て０に近くなる。白い平板状の被写体を撮影した場合、本来は全ての画素の輝度が２５５に近いはずであるが、不良画素については輝度が低くなるため０に近くなる。これにより不良画素であるか否かを判別することができる。尚、不良画素データは画像処理以外の方法で作成してもよい。例えば任意の被写体を表すディジタル画像をパーソナルコンピュータが備える表示装置に拡大して表示し、ユーザが目視で不良画素を確認し、ユーザによりマウスでクリックされた画素、あるいはマウスで範囲指定された領域に含まれる画素を不良画素とするようにしてもよい。不良画素データは任意の時点で入力することができ、例えば出荷後にゴミが付着した場合は、パーソナルコンピュータで不良画素データを作成し直してディジタルスチルカメラ１に入力し直すことができる。従ってディジタルスチルカメラ１は、出荷後に付着したゴミによる不良画素を補正することのできる不良画素データを不良画素データ領域に記録することができる。この結果、出荷後に新たな不良画素が生じるようになったとしても不良画素を補正して高画質な画像を再生することが可能になる。
【００２１】
次に、画像データとしてのディジタル画像ファイルの構造について説明する。
図１は、ディジタル画像ファイルの構造を示す模式図である。図示するようにディジタル画像ファイルは、ヘッダ領域４１、不良画素データ領域４２、ディジタル画像データ領域４３などを含んでいる。不良画素データ領域４２は不良画素データが記録される領域であり、ディジタル画像データ領域４３はディジタル画像が記録される領域である。ヘッダ領域４１は不良画素データ領域４２の先頭アドレスを示すポインタ、ディジタル画像データ領域４３の先頭アドレスを示すポインタ、その他、作成日付、画像サイズなどのヘッダ情報が記録される領域である。再生の際にはヘッダ領域４１からポインタを読み込むことで不良画素データ領域４２、あるいはディジタル画像データ領域４３の先頭アドレスを特定でき、それにより不良画素データ、及びディジタル画像を読み込むことができる。
【００２２】
次に、ディジタルスチルカメラ１の作動を説明する。尚、ここでは不良画素データは既にディジタルスチルカメラ１に入力されてフラッシュメモリ１９ｂに記憶されているものとして説明する。
ダイヤルスイッチが撮影モードに設定されている状態で撮像スイッチがオンされると、光学系１１により被写体の光学像がイメージセンサ１２に結像され、光学像の濃淡に相関する電気信号が処理部２０に出力される。
【００２３】
出力された電気信号は処理部２０のＡＤＣ１４及びディジタル画像処理部１５で所定の処理が施され、被写体を表すディジタル画像が作成される。
作成されたディジタル画像は圧縮・伸張部１６に出力され、圧縮・伸張部１６は出力されたディジタル画像を圧縮してワークメモリ１９ｃに記憶させる。
ＣＰＵ１９ａは、フラッシュメモリ１９ｂに記憶された画像データ作成プログラムを実行し、ワークメモリ１９ｃに記憶されているディジタル画像とフラッシュメモリ１９ｂに記憶されている不良画素データとを読み込んで、ディジタル画像と不良画素データとが格納されたディジタル画像ファイルを作成する。作成後、ディジタル画像ファイルを入力部１７に出力する。
【００２４】
入力部１７は、ディジタル画像ファイルをリムーバブルメモリ１８に記憶させる。例えばディジタル画像ファイルをハードディスクに保存する際には、リムーバブルメモリ１８はユーザによって取り外されてパーソナルコンピュータに接続される。接続後、ユーザはパーソナルコンピュータでディジタル画像ファイルをハードディスクに保存する。再生時にはディジタル画像の不良画素が、当該ディジタル画像が記録されているディジタル画像ファイルに記録されている不良画素データに基づいて補正され、パーソナルコンピュータが備える表示装置に表示される。
【００２５】
以上説明したディジタル画像ファイルによると、ディジタル画像と不良画素データとが１つのディジタル画像ファイルに記録されるため、ディジタル画像ファイルに記録されているディジタル画像の不良画素を当該ディジタル画像ファイルに記録されている不良画素データに基づいて補正することが可能になる。また、ディジタル画像と不良画素データとをハードディスクに保存する場合、ディジタル画像ファイルを保存することでディジタル画像と不良画素データとを保存できるため、ディジタル画像と不良画素データとをそれぞれ別々に保存する必要がなく、保存のための操作が少なくて済む。また、保存した後に別のディレクトリに移動したりする際の操作も同様に少なくて済む。この他、一方をコピーし忘れたために後で再生あるいは補正が行えなくなるようなこともなくなる。従って、本実施例のディジタル画像ファイルは可搬性に優れている。また、本実施例のディジタル画像ファイルによると、管理の手間が低減するという効果もある。不良画素データはディジタルカメラに固有の情報であるため、あるディジタルカメラで作成したディジタル画像を別のディジタルカメラの不良画素データで補正しても適切な補正は行えない。従って、ディジタルカメラが複数あり、それらで作成したディジタル画像を同じハードディスクに保存する場合には、ディジタル画像と当該ディジタル画像の不良画素の補正に用いる不良画素データとを関連付けて管理しておかなければならない。ディジタル画像と不良画素データとを１つのディジタル画像ファイルに記録すると、そうした管理の手間を低減できる。
【００２６】
尚、本実施例では不良画素データをパーソナルコンピュータで作成する場合を例に説明したが、ディジタルスチルカメラ１が不良画素データを作成するようにしてもよい。
また、本実施例ではディジタルスチルカメラを例に説明したが、ディジタルビデオカメラに本発明を適用してもよい。
【図面の簡単な説明】
【図１】画像データの構造を示す模式図である。
【図２】ディジタルカメラのハードウェア構成を示すブロック図である。
【図３】（Ａ）はディジタル画像を構成する画素を示す模式図であり、（Ｂ）は不良画素データを示す模式図である。
【図４】不良画素が存在するディジタル画像を示す模式図である。
【符号の説明】
１  ディジタルスチルカメラ（ディジタルカメラ）、１１  光学系、１２  イメージセンサ、１７  入力部（入力手段）、１９  制御部、２０  処理部、４２  不良画素データ領域、４３  ディジタル画像データ領域
【図１】
2004297687.tif 000003
【図２】
2004297687.tif 000004
【図３】
2004297687.tif 000005
【図４】
2004297687.tif 000006