(57)【要約】【課題】撮影時の環境光の変動によって撮影画像に生じた劣化を補正することができるようにする。【解決手段】撮影時に撮影画像に生じた劣化を表す劣化情報であって、前記撮影画像に生じた振れを表す振れ情報と、前記撮影時の露光中の環境光の光量変動を表す光量変動情報とを含む劣化情報に基づいて、前記振れ情報及び前記光量変動情報に基づく劣化関数ｈを推定し、この劣化関数ｈに基づいて、前記撮影画像データから原画像の原画像データを復元する。【選択図】図５
2008288838.tif 000002
【特許請求の範囲】
【請求項１】
撮影時に撮影画像に生じた劣化を表す劣化情報に基づいて劣化関数を推定する関数推定
手段と、
前記関数推定手段で推定した前記劣化関数に基づいて、前記撮影画像の撮影画像データ
から原画像の原画像データを復元する画像復元手段とを備え、
前記劣化情報は、前記撮影画像に生じた振れを表す振れ情報と、前記撮影時の露光中の
環境光の光量変動を表す光量変動情報とを含み、
前記関数推定手段は、
前記振れ情報及び前記光量変動情報に基づく前記劣化関数を推定する
ことを特徴とする画像復元装置。
【請求項２】
撮影画像に生じた振れを検出する振れ検出手段と、
環境光の光量変動を検出する光量変動検出手段と、
前記振れ検出手段による検出結果に基づいて前記撮影画像に生じた振れを表す振れ情報
を生成すると共に、前記光量検出手段の検出結果に基づいて撮影時の露光中の前記環境光
の光量変動を表す光量変動情報を生成する劣化情報生成手段と、
前記振れ情報及び前記光量変動情報を、前記撮影画像の撮影画像データと対応付けて記
憶する記憶手段と、
前記撮影画像データと対応付けられた前記振れ情報及び前記光量変動情報に基づいて前
記撮影画像データから原画像の原画像データを復元する画像復元装置に、前記記憶手段に
格納されている前記撮影画像データ及び前記振れ情報並びに前記光量変動情報を出力する
出力手段と、
を具備することを特徴とする撮像装置。
【請求項３】
撮影画像に生じた振れを検出する振れ検出手段と、
環境光の光量変動を検出する光量変動検出手段と、
前記振れ検出手段による検出結果に基づいて前記撮影画像に生じた振れを表す振れ情報
を生成すると共に、前記光量検出手段の検出結果に基づいて撮影時の露光中の前記環境光
の光量変動を表す光量変動情報を生成する劣化情報生成手段と、
前記振れ情報及び前記光量変動情報を、前記撮影画像の撮影画像データと対応付けて記
憶する記憶手段と、
前記記憶手段に記憶されている前記振れ情報及び前記光量変動情報に基づいて劣化関数
を推定する関数推定手段と、
前記関数推定手段で推定した劣化関数に基づいて、前記撮影画像データから原画像の画
像データを復元する画像復元手段と、
を具備することを特徴とする撮像装置。
【請求項４】
請求項２又は３に記載の撮像装置において、
前記光量変動検出手段は、
前記撮像画像データを生成するための露光の前に、所定の周期で複数の光量変動予測用
画像データを生成し、前記複数の光量変動予測用画像データのそれぞれが示す光量変動予
測用画像の輝度の変動に基づいて、前記露光中の環境光の光量変動を求めることを特徴と
する撮像装置。
【請求項５】
請求項２乃至４のいずれかに記載の撮像装置において、
前記光量変動検出手段は、
少なくとも蛍光灯の点灯時の光量変動周期に応じた周期で前記環境光を検出することを
特徴とする撮像装置。
【請求項６】
撮影時に撮影画像に生じた劣化を表す劣化情報に基づいて劣化関数を推定する関数推定
ステップと、
前記関数推定ステップで推定した前記劣化関数に基づいて、前記撮影画像の撮影画像デ
ータから原画像の原画像データを復元する画像復元ステップとを備え、
前記劣化情報は、前記撮影画像に生じた振れを表す振れ情報と、前記撮影時の露光中の
環境光の光量変動を表す光量変動情報とを含み、
前記関数推定ステップでは、
前記振れ情報及び前記光量変動情報に基づく前記劣化関数を推定する
ことを特徴とする画像復元方法。
【請求項７】
コンピュータを、
撮影時に撮影画像に生じた劣化を表す劣化情報であり、前記撮影画像に生じた振れを表
す振れ情報と、前記撮影時の露光中の環境光の光量変動を表す光量変動情報とを含む劣化
情報に基づいて、前記振れ情報及び前記光量変動情報に基づく劣化関数を推定する関数推
定手段、
前記関数推定手段で推定した前記劣化関数に基づいて、前記撮影画像データから原画像
の原画像データを復元する画像復元手段
として機能させることを特徴とする画像復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により撮像画像に生じた劣化を復元する画像復元装置、撮像装置、画像
復元方法及び画像復元プログラムに関する。
【背景技術】
【０００２】
従来、撮影時の手振れによって撮像画像に生じた振れを補正する種々の技術が提案され
ている。この種の技術として、例えば、撮像装置の動き（手振れ）に追従させて撮像光学
系を動かすことで、手振れによる劣化を補正する、いわゆる光学式手振れ補正技術（例え
ば、特許文献１参照）や、ジャイロセンサ等の動き検出センサを用いて撮影時の手振れ量
を検出し、この手振れ量に基づいて撮像画像に生じた振れを補正するためのデジタル演算
処理を施し原画像を復元する、いわゆる電子式手振れ補正技術（例えば、特許文献２参照
）が知られている。
特に、電子式手振れ補正技術は、撮像光学系を駆動する機構を撮像装置に設ける必要が
無いため、光学式手振れ補正技術に比べて安価に装置を構成できるという利点がある。
【特許文献１】特開２０００−２３２６０６号公報
【特許文献２】特開２０００−５７３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、撮像画像の劣化の要因は、撮影時の手振れだけによって生じる訳では無
い。すなわち、撮影時に、周囲の環境光が時間的に変動する場合にも、その変動によって
撮影画像が劣化する。
本発明は、上述した事情に鑑みてなされたものであり、撮影時の環境光の変動によって
撮影画像に生じた劣化を補正することができる画像復元装置、撮影装置、画像復元方法、
及び、画像復元プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
〔形態１〕  上記目的を達成するために、形態１の画像復元装置は、撮影時に撮影画像
に生じた劣化を表す劣化情報に基づいて劣化関数を推定する関数推定手段と、前記関数推
定手段で推定した劣化関数に基づいて、前記撮影画像の撮影画像データから原画像の原画
像データを復元する画像復元手段とを備え、前記劣化情報は、前記撮影画像に生じた振れ
を表す振れ情報と、前記撮影時の露光中の環境光の光量変動を表す光量変動情報とを含み
、前記関数推定手段は、前記振れ情報及び前記光量変動情報に基づく前記劣化関数を推定
することを特徴とする。
【０００５】
このような構成によれば、撮影画像に生じた振れを表す振れ情報と、撮影時の露光中の
環境光の光量変動を表す光量変動情報とを含む劣化情報に基づいて劣化関数が推定され、
この劣化関数に基づいて撮像画像が復元されるため、撮影時の手振れによる劣化に加え、
周囲の環境光の時間的変動によって撮影画像に生じた劣化をも復元することができる。
【０００６】
〔形態２〕  さらに、形態２の撮像装置は、撮影画像に生じた振れを検出する振れ検出
手段と、環境光の光量変動を検出する光量変動検出手段と、前記振れ検出手段による検出
値に基づいて前記撮影画像に生じた振れを表す振れ情報を生成すると共に、前記光量検出
手段の検出値に基づいて撮影時の露光中の前記環境光の光量変動を表す光量変動情報を生
成する劣化情報生成手段と、前記振れ情報及び前記光量変動情報を、前記撮影時に前記撮
影画像に生じた劣化を表す劣化情報として前記撮影画像の撮影画像データと対応付けて記
憶する記憶手段と、前記撮影画像データの前記劣化情報に基づいて前記撮影画像データか
ら原画像の原画像データを復元する画像復元装置に、前記記憶手段に格納されている前記
撮影画像データ及び前記劣化情報を出力する出力手段と、を具備することを特徴とする。
【０００７】
この構成によれば、撮影時に撮影画像に生じた振れを表す振れ情報と、撮影時の露光中
の環境光の光量変動を表す光量変動情報とを含む劣化情報が撮像画像の撮像画像データと
対応付けて記憶され、出力手段を介して画像復元装置に出力される。
したがって、画像復元装置により、振れ情報及び光量変動情報を含む劣化関数に基づい
て撮像画像の復元が可能となり、撮影時の手振れによる劣化に加え、周囲の環境光の時間
的変動によって撮影画像に生じた劣化をも復元することができる。
【０００８】
〔形態３〕  また、形態３の撮像装置は、撮影画像に生じた振れを検出する振れ検出手
段と、環境光の光量変動を検出する光量変動検出手段と、前記振れ検出手段による検出値
に基づいて前記撮影画像に生じた振れを表す振れ情報を生成すると共に、前記光量検出手
段の検出値に基づいて撮影時の露光中の前記環境光の光量変動を表す光量変動情報を生成
する劣化情報生成手段と、前記振れ情報及び前記光量変動情報を、前記撮影時に前記撮影
画像に生じた劣化を表す劣化情報として前記撮影画像の撮影画像データと対応付けて記憶
する記憶手段と、前記記憶手段に記憶されている劣化情報に基づいて劣化関数を推定する
関数推定手段と、前記関数推定手段で推定した劣化関数に基づいて、前記撮影画像データ
から原画像の画像データを復元する画像復元手段と、を具備することを特徴とする。
【０００９】
この構成によれば、撮影時に撮影画像に生じた振れを表す振れ情報と、撮影時の露光中
の環境光の光量変動を表す光量変動情報とを含む劣化情報が撮像画像の撮像画像データと
対応付けて記憶される。さらに、このような劣化情報に基づいて劣化関数が推定され、こ
の劣化関数に基づいて撮像画像が復元されるため、撮影時の手振れによる劣化に加え、周
囲の環境光の時間的変動によって撮影画像に生じた劣化をも復元することができる。
【００１０】
〔形態４〕  また、形態４の撮像装置は、形態２又は３に記載の撮像装置において、前
記光量変動検出手段は、前記撮像画像データを生成するための露光の前に、所定の周期で
複数の光量変動予測用画像データを生成し、前記複数の光量変動予測用画像データのそれ
ぞれが示す光量変動予測用画像の輝度の変動に基づいて、前記露光中の環境光の光量変動
を求めることを特徴とすることを特徴とする。
【００１１】
この構成によれば、実際の撮影に先立って複数の光量変動予測用画像データを所定周期
で生成し、これらの光量変動予測用画像データに基づいて環境光の変動が検出されるため
、環境光を検出するためのフォトセンサ等の装置を別途に設けずとも、撮影時の環境光の
変動を求めることが可能となる。
【００１２】
〔形態５〕  また、形態５の撮像装置は、形態２乃至４のいずれかに記載の撮像装置に
おいて、前記光量変動検出手段は、少なくとも蛍光灯の点灯時の光量変動周期に応じた周
期で前記環境光を検出することを特徴とする。
この構成によれば、蛍光灯下の撮影時に、光量変動の影響を低減した撮像画像を得るこ
とができる。
【００１３】
〔形態６〕  上記目的を達成するために、形態６の画像復元方法は、撮影時に撮影画像
に生じた劣化を表す劣化情報に基づいて劣化関数を推定する関数推定ステップと、前記関
数推定ステップで推定した劣化関数に基づいて、前記撮影画像の撮影画像データから原画
像の原画像データを復元する画像復元ステップとを備え、前記劣化情報は、前記撮影画像
に生じた振れを表す振れ情報と、前記撮影時の露光中の環境光の光量変動を表す光量変動
情報とを含み、前記関数推定ステップでは、前記振れ情報及び前記光量変動情報に基づく
前記劣化関数を推定することを特徴とする。
この画像復元方法によれば、形態１の画像復元装置と同等の効果が得られる。
【００１４】
〔形態７〕  上記目的を達成するために、形態７の画像復元プログラムは、コンピュー
タを、撮影時に撮影画像に生じた劣化を表す劣化情報であって、前記撮影画像に生じた振
れを表す振れ情報と、前記撮影時の露光中の環境光の光量変動を表す光量変動情報とを含
む劣化情報に基づいて、前記振れ情報及び前記光量変動情報に基づく劣化関数を推定する
関数推定手段、前記関数推定手段で推定した劣化関数に基づいて、前記撮影画像データか
ら原画像の原画像データを復元する画像復元手段として機能させることを特徴とする。
この画像復元プログラムによれば、コンピュータによってプログラムが読み取られ、読
み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の画像復元
装置と同等の作用及び効果が得られる。
【００１５】
〔形態８〕  上記目的を達成するために、形態８の記録媒体は、コンピュータを、撮影
時に撮影画像に生じた劣化を表す劣化情報であって、前記撮影画像に生じた振れを表す振
れ情報と、前記撮影時の露光中の環境光の光量変動を表す光量変動情報とを含む劣化情報
に基づいて、前記振れ情報及び前記光量変動情報に基づく劣化関数を推定する関数推定手
段、前記関数推定手段で推定した劣化関数に基づいて、前記撮影画像データから原画像の
原画像データを復元する画像復元手段として機能させる画像復元プログラムを記録したコ
ンピュータ読取可能な記録媒体であることを特徴とする。
この記録媒体によれば、コンピュータによってプログラムが記録媒体から読み取られ、
読み取られたプログラムにしたがってコンピュータが処理を実行すると、形態１の画像復
元装置と同等の作用及び効果が得られる。
ここで、記録媒体とは、ＲＡＭ、ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶
型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記
録型／光学的読取方式記録媒体であって、電子的、磁気的、光学的等の読み取り方法のい
かんにかかわらず、コンピュータで読み取り可能な記録媒体であれば、どのような記録媒
体であってもよい。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の実施形態について説明する。
＜第１実施形態＞
図１は本発明の第１実施形態の印刷システム２００を示す概略構成図である。
印刷システム２００は、プリンタ１と、記録型光学ドライブ装置１００と、デジタルス
チルカメラ１２０と、ホストコンピュータ１４０とを有し、プリンタ１に記録型光学ドラ
イブ装置１００、デジタルスチルカメラ１２０及びホストコンピュータ１４０が例えばＵ
ＳＢの接続コードを介して接続されており、この接続コードを介してプリンタデータ等の
各種データの授受を行う。
なお、記録型光学ドライブ装置１００、例えば被写体を静止画像として撮影する撮像装
置としてのデジタルスチルカメラ１２０及びホストコンピュータ１４０とプリンタ１との
接続は接続コードを使用する場合に限らず無線でデータの授受を行うようにしてもよい。
【００１７】
プリンタ１は、ホストコンピュータ１４０及びデジタルスチルカメラ１２０から入力さ
れる印刷データ、或いは、デジタルスチルカメラ１２０、記録型光学ドライブ装置１００
及びメモリカード１１０から入力される画像情報に基づいて記録用紙への印刷を行うもの
であり、ヘッドユニット２０、用紙搬送機構３０、キャリッジ移動機構４０、検出器群５
０、プリンタ側コントローラ６０、液晶表示部３、操作ボタン５、及びカードスロット６
を有する。また、これらの他に、プリンタ１はホストコンピュータ１４０と接続するため
の第１インタフェース（Ｉ／Ｆ）１２と、デジタルスチルカメラ１２０や記録型光学ドラ
イブ装置１００と接続するための第２インタフェース（Ｉ／Ｆ）１４とを有している。
【００１８】
ヘッドユニット２０は、インクを用紙に向けて吐出させるものであり、インクを吐出す
るヘッド２２を有する。このヘッドユニット２０は、キャリッジ（図示せず）に取付けら
れており、キャリッジをキャリッジ移動方向に移動させるキャリッジ移動機構４０によっ
て、キャリッジと共に移動する。
用紙搬送機構３０は、キャリッジ移動方向と交差する方向に用紙を搬送する。検出器群
５０は、プリンタ１の状態を検出するためのものであり、例えば、キャリッジの位置を検
出するリニア式エンコーダ、紙の搬送量を検出するロータリー式エンコーダ、及び用紙の
有無を検出する紙検出器（何れも図示せず）等が含まれる。
【００１９】
プリンタ側コントローラ６０は、プリンタ１の制御を行うものであり、ＣＰＵ６２と、
メモリ６４と、制御ユニット６８とを有する。ＣＰＵ６２は、プリンタ１の全体的な制御
を行うための演算処理装置である。メモリ６４は、ＣＰＵ６２のプログラムを格納する領
域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素
子によって構成されている。制御ユニット６８は、制御対象となる各部とＣＰＵ６２との
間に配置され、ＣＰＵ６２からのコマンドに基づいてモータ用の駆動信号を生成したり、
各部から送られてくる信号を、ＣＰＵ６２が解釈できる形態にして出力したりする。
【００２０】
通常、プリンタ１は、ホストコンピュータ１４０又はデジタルスチルカメラ１２０から
印刷データを受信すると、印刷データに基づいて印刷処理を行う。すなわち、印刷データ
の受信後、プリンタ側コントローラ６０は、用紙搬送機構３０に印刷開始位置まで用紙を
搬送させ、キャリッジ移動機構４０にキャリッジをキャリッジ移動方向に移動させ、キャ
リッジと共に移動するヘッドから印刷データに基づいてインクを吐出させる。そして、こ
れらの動作が繰り返して行われると、用紙に画像が印刷される。
【００２１】
さらに、プリンタ１は、ユーザーが操作ボタン５を操作することにより、メモリカード
１１０に格納されている画像のデータである画像情報のバックアップ処理を行う。このバ
ックアップ処理では、プリンタ側コントローラ６０は、カードスロット６に装着されたメ
モリカード１１０から画像情報を記録型光学ドライブ装置１００に送出し、例えばＣＤ−
Ｒなどの記録メディアに記憶させる。
【００２２】
また、プリンタ１では、振れや被写体照明光の光量変化によって劣化が生じている画像
情報（以下、劣化画像情報と言う）がデジタルスチルカメラ１２０から接続コードを介し
て第２インタフェース１４から直接入力されるか又はメモリカード１１０を介して入力さ
れたときに、ユーザーが画像復元ボタン７を操作することにより、画像復元処理を実行す
る。画像復元においては、劣化を受ける前の原画像が復元され、メモリ６４に復元画像情
報として格納される。なお、かかる画像復元処理については、後に詳述する。
【００２３】
図２はデジタルスチルカメラ１２０の概略構成を示す図である。
デジタルスチルカメラ１２０は、カメラレンズ１２１によって被写体像がその後段に配
設された固体撮像素子１２２に結像される。この固体撮像素子１２２は、固体撮像素子駆
動回路１２３からの駆動信号によって光電変換を行い、その光電変換出力がカメラ系信号
処理部１２４に供給され、このカメラ系信号処理部１２４で、サンプリング処理、ＡＧＣ
処理を行った後にＡ／Ｄ変換処理によってデジタルデータに変換してからガンマ補正処理
、エンコード処理等が行われて画像メモリ１２５に入力される。
【００２４】
画像メモリ１２５から読出された画像データが液晶ディスプレイ、有機ＥＬディスプレ
イ等で構成される表示器１３５に供給されると共に、記録系信号処理部１２６に出力され
、この記録系信号処理部１２６でＪＰＥＧ変換等を行ってＤＲＡＭ、ＳＲＡＭ、フラッシ
ュメモリ等で構成されるメモリカード１１０に記憶される。
【００２５】
一方、手振れ補正を行うために、デジタルスチルカメラ１２０の筐体に垂直方向及び水
平方向のコリオリ力が発生したときにこれを検出する振れ量検出手段としての例えばジャ
イロセンサ（ジャイロスコープ）で構成される垂直方向及び水平方向角速度センサ１２８
及び１２９が設けられ、これら垂直方向及び水平方向角速度センサ１２８及び１２９から
出力される検出信号が帯域制限フィルタ１３０及び１３１に供給されて帯域制限された後
、増幅器１３２及び１３３で増幅されてからＡ／Ｄ変換器１３４によって所定サンプリン
グ周期でデジタル信号に変換され角速度データとしてバッファメモリ１３６に一時格納さ
れる。
【００２６】
さらに、被写体を照射している光源や被写体の周囲の光といった、被写体を照らす環境
光の撮影時（露光時）の変動による画像劣化を補正を行うために、デジタルスチルカメラ
１２０の筐体には、環境光の光量を検出する光量検出手段としての光量センサ１５０が設
けられており、この光量センサ１５０から出力される検出信号が増幅器１５１で増幅され
てからＡ／Ｄ変換器１５２によって所定サンプリング周期でデジタル信号に変換されて光
量データとしてバッファメモリ１５３に一時格納される。
【００２７】
バッファメモリ１３６に格納された垂直方向及び水平方向の角速度データ、及び、バッ
ファメモリ１５３に格納された光量データは、デジタルスチルカメラ１２０の制御を統括
するマイクロコンピュータ１２７に読出され、画像メモリ１２５に記憶した画像データと
共に記録系信号処理部１２６で信号処理されてメモリカード１１０に記憶する。
また、デジタルスチルカメラ１２０は、メモリカード１１０に記憶された画像情報をプ
リンタ１やホストコンピュータ１４０に出力する画像データ出力部１３８を有し、この画
像データ出力部１３８からＵＳＢ等の接続コードを介して画像情報を出力する。
【００２８】
次いで、本実施形態の動作について説明する。
先ず、デジタルスチルカメラ１２０のカメラレンズ１２１を被写体に向けてレリーズボ
タン８を押圧することにより、露出計で測光された露出に基づいてシャッタ速度が算出さ
れ、算出されたシャッタ速度でシャッタが作動されることにより、カメラレンズ１２１を
通った画像が固体撮像素子１２２上に投影される。
この固体撮像素子１２２上に投影された画像情報が固体撮像素子駆動回路１２３からの
駆動信号によって順次読出され、カメラ系信号処理部１２４で所定の信号処理が行われて
画像データとして画像メモリ１２５に記憶される。この画像メモリ１２５に記憶された画
像データは表示器１３５に供給されて表示される。この表示器１３５に表示された画像デ
ータは振れ量を含んだ画像データであり、表示された画像データから振れ量の程度を判断
することができる。
【００２９】
このとき、シャッタが作動されることにより、シャッタ開閉センサ１３７からシャッタ
が開いてから閉じるときにオン状態からオフ状態に反転するシャッタ開閉信号ＳＳがマイ
クロコンピュータ１２７に入力されると、この時点から角速度データがバッファメモリ１
３６に格納され、また、光量データがバッファメモリ１５３に格納される。
【００３０】
このときの処理をさらに詳述すると、図３に示すように、デジタルスチルカメラ１２０
のマイクロコンピュータ１２７は、レリーズボタン（シャッターボタン）８が押された状
態（プレリリース）になったか否かを監視し（ステップＳａ１）、レリーズボタン８が押
された場合に（ステップＳａ１：Ｙｅｓ）、ジャイロセンサを有する水平方向角速度セン
サ１２８及び１２９と、光量センサ１５０とを始動し、水平方向角速度センサ１２８及び
１２９と光量センサ１５０とから順次検出信号を出力させる（ステップＳａ２）。
【００３１】
次いで、レリーズボタン８が解放（リリース）された場合（ステップＳａ３：Ｙｅｓ）
に、シャッタを開放すると共に、水平方向角速度センサ１２８及び１２９の検出信号に基
づく垂直方向及び水平方向の角速度データを時系列にバッファメモリ１３６に格納し、ま
た、光量センサ１５０の検出信号に基づく光量データを時系列的にバッファメモリ１５３
に格納する（ステップＳａ４）。また、このとき、シャッタの開放により固体撮像素子１
２２への露光が開始され、固体撮像素子１２２の各画素に光量に応じた電荷が蓄積される
（ステップＳａ５）。
【００３２】
そして、所定のシャッタ開放時間（露光時間）が経過すると（ステップＳａ６：Ｙｅｓ
）シャッタを閉じて露光を停止すると共に、角速度データのバッファメモリ１３６への格
納、及び、光量データのバッファメモリ１５３への格納を終了する（ステップＳａ７）。
これにより、露光中の手振れ量と、環境光の光量変動とが記録される。
次いで、固体撮像素子１２２の光電変換出力がカメラ系信号処理部１２４に供給され、
このカメラ系信号処理部１２４で、画像データが作成され画像メモリ１２５に入力される
（ステップＳａ８）。
【００３３】
また、マイクロコンピュータ１２７は、バッファメモリ１３６に格納されている垂直方
向及び水平方向の角速度データを読込み、これらの角速度データを所定のデータ形式で記
録したジャイロログデータを作成すると共に、バッファメモリ１５３に格納されている光
量データを読込み、この光量データを所定のデータ形式で記録した光量ログデータを作成
し、これらジャイロログデータ及び光量ログデータを記録系信号処理部１２６が画像メモ
リ１２５からデータを読込むタイミングで、この記録系信号処理部１２６に出力する（ス
テップＳａ９）。
【００３４】
記録系信号処理部１２６は、画像メモリ１２５から読出した画像データをＪＰＥＧ変換
してＪＰＥＧ画像ファイルを生成し画像情報として記憶すると共に、そのＪＰＥＧ画像フ
ァイルのＥｘｉｆ  ＩＦＤ内の階層化されたユーザタグにジャイロログデータ及び光量ロ
グデータを劣化情報として記憶し、そして、その画像情報をメモリカード１１０に記録す
る（ステップＳａ１０）。
すなわち、画像情報には、撮影によって得られた撮影画像の画像データ（ＪＰＥＧ画像
ファイル）と共に、撮影時の手振れによって撮影画像に生じた振れを表す振れ情報として
のジャイロログデータ、及び、撮影時の環境光の変動を表す光量変動情報たる光量ログデ
ータを含む劣化情報が含まれ、このような画像情報がメモリカード１１０に記録されるこ
ととなる。
【００３５】
ここで、露光中に環境光の光量が変動する要因には幾つかの要因が挙げられるが、それ
らの要因の中でも特に光量変動が高速なものに蛍光灯下の撮影が挙げられる。蛍光灯は、
電源の周波数が５０Ｈｚの場合には約１００Ｈｚの周期で光量が最大になり、また、電源
の周波数が６０Ｈｚの場合には約１２０Ｈｚの周期で光量が最大になるといったように、
電源の周波数に応じた周期で光量が変動する。すなわち、蛍光灯下で撮影を行った場合、
シャッタが開状態となって固体撮像素子１２２への露光が行われている間、蛍光灯の光量
変動に伴って露光量が約１００〜１２０Ｈｚ周期で変動し画像の劣化を招く。
【００３６】
そこで本実施形態では、光量が高速に変動する蛍光灯下の撮影であっても、その高速な
光量変動を検出可能にすべく、シャッタが開状態の間、蛍光灯の光量変動周期の２倍以上
のサンプリング間隔Δｔ（約２００〜２４０Ｈｚ以上）で光量センサ１５０の検出信号を
サンプリングして光量データを生成しバッファメモリ１５３に時系列的に格納している。
【００３７】
さて、プリンタ１では、手振れや被写体を照らす光量変化によって劣化が生じている劣
化画像情報がデジタルスチルカメラ１２０から接続コードを介して第２インタフェース１
４から直接入力されるか又はメモリカード１１０を介して入力されたときに、ユーザーが
画像復元ボタン７を操作することにより、画像復元処理を実行する。
【００３８】
ここで、画像復元の原理は、原画像から劣化画像が生じる画像劣化モデルを図４につい
て説明すると、原画像ｆ（ｘ，ｙ）とし、劣化画像をｇ（ｘ，ｙ）とし、さらに手振れ劣
化関数をｈ１（ｘ，ｙ）、光量変動関数をｈ２（ｔ）、ノイズをｎ（ｘ，ｙ）としたとき
、これらの関係は図４に示すようになり、式で表すと下記（１）式となる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）
＋ｎ（ｘ，ｙ）  ・・・（１）
但し、＊は畳み込みを表し、また、劣化関数ｈ（ｘ、ｙ）＝ｈ１（ｘ、ｙ）×ｈ２（ｔ）
である。
【００３９】
そして、劣化画像ｇ（ｘ，ｙ）、原画像ｆ（ｘ，ｙ）、劣化関数ｈ（ｘ，ｙ）、及び、
ノイズｎ（ｘ，ｙ）のフーリエ変換を夫々Ｇ（μ，ν）、Ｆ（μ，ν）、Ｈ（μ，ν）及
びＮ（μ，ν）とすると、前記（１）式より
Ｇ（μ，ν）＝Ｆ（μ，ν）Ｈ（μ，ν）＋Ｎ（μ，ν）            ・・・（２）
が得られる。
【００４０】
そして、ウィーナフィルタによる画像復元の周波数応答Ｂ（μ，ν）は、
Ｂ（μ，ν）＝Ｈ（μ，ν）*／｛Ｈ（μ，ν）Ｈ（μ，ν）*＋Γ｝  ・・・（３）
と表すことができる。ここで、Ａ*はＡの共役複素数、Γは近似定数を表す。
したがって、観測された画像のフーリエ変換Ｇ（μ，ν）に周波数応答Ｂ（μ，ν）を
掛けた後、フーリエ逆変換すると復元画像を求めることができる。
【００４１】
このような画像復元処理は、プリンタ側コントローラ６０内のＣＰＵ６２で実行され、
図５に示すように、先ず、ステップＳｂ１で、画像情報を読込み、次いでステップＳｂ２
に移行して、光量変動関数ｈ２（ｔ）を特定すべく、画像情報のＥｘｉｆ  ＩＦＤ内の階
層化されたユーザタグから光量データを取得し、ステップＳｂ３に移行して、取得した光
量データから光量変動関数ｈ２（ｔ）を算出する。
【００４２】
詳述すると、本実施形態では、光量変動関数ｈ２（ｔ）をｓｉｎ関数で近似する。すな
わち、図６に示すように、シャッタが開いた時刻ｔ０から閉じる時刻ｔ１までの露光期間
Ｔｒにおいて、光量の検出値の最大値を示す最大光量値Ｐｍａｘの出現周期Ｔａを特定し
、この出現周期Ｔａを周期とし、最大光量値Ｐｍａｘを振幅とするｓｉｎ関数（Ｐｍａｘ
×ｓｉｎ（ｔ／Ｔａ））を特定し、さらに、そのｓｉｎ関数の位相φを、例えば露光開始
の時刻ｔ０と、そのときの光量値Ｐ０とに基づいて特定する。これにより、露光期間Ｔｒ
における被写体照射光の光量変動を示す光量変動関数ｈ２（ｔ）が次のように求められる
。
ｈ２（ｔ）＝Ｐｍａｘ×ｓｉｎ（ｔ／Ｔａ＋φ）                      ・・・（４）
【００４３】
次いでステップＳｂ４に移行して、劣化画像情報のＥｘｉｆ  ＩＦＤ内の階層化された
ユーザタグから各角速度データを取得し、ステップＳｂ５に移行して、取得した各角速度
データから振れ幅（ピクセル）を算出する。
詳細には、デジタルスチルカメラ１２０のカメラレンズ１２１における光軸方位の変動
状況を検出する角速度センサ２成分（角速度センサ１２８，１２９）は、図７に示すよう
に、固体撮像素子１２２の平面内の直交ベクトル成分に対応するものである。これら２つ
の角速度成分は、θｘ及びθｙの変数で表される。この角度成分に補正係数λｘ及びλｙ
を乗算することにより、画像のｘ軸方向或いはｙ軸方向の振れ量（ピクセル）を求めるこ
とができる。
【００４４】
そして、ステップＳｂ６に移行し、振れ幅に基づいて、上記光量変動関数ｈ２（ｔ）を
加えた劣化関数ｈ（ｘ、ｙ）のフーリエスペクトルＨ（μ、ν）を推定する。
より詳細には、手振れに基づく劣化関数ｈ１（ｘ、ｙ）は、振れ幅に基づいて、例えば
ウィーナフィルタの点広がり関数として推定される。そして、その点広がり関数に光量変
動関数ｈ２（ｔ）を乗算することで劣化関数ｈ（ｘ、ｙ）が算出され、その劣化関数ｈ（
ｘ、ｙ）に基づいて、フーリエスペクトルＨ（μ、ν）が推定される。
【００４５】
次いで、ステップＳｂ７に移行して、上記（３）式に基づいて、ウィーナフィルタの周
波数応答Ｂ（μ，ν）を算出し、そして、ステップＳｂ８に移行して、観測された画像の
フーリエ変換Ｇ（μ，ν）に周波数応答Ｂ（μ，ν）を掛けた後、フーリエ逆変換するこ
とで原画像を復元する。そして、ステップＳｂ９に移行して、復元された原画像の情報で
ある復元画像情報をメモリカード１１０に記憶し、さらに復元画像情報をヘッドユニット
２０に出力すると共に、制御ユニット６８に対して印刷指令を出力してから画像復元処理
を終了する。
【００４６】
なお、図５の画像復元処理を実行するための画像復元処理プログラムはメモリ６４のＲ
ＯＭに格納されている。また、図５の処理において、ステップＳｂ１〜ステップＳｂ６の
処理が関数推定手段に対応し、ステップＳｂ７及びステップＳｂ８の処理が画像復元手段
に対応している。
【００４７】
以上説明したように、本実施形態によれば、プリンタ１は、撮影時に画像に生じた振れ
を表す振れ情報たるジャイロログデータ、及び、撮影時の露光中の環境光の光量変動を表
す光量変動情報たる光量ログデータを含む劣化情報に基づいて劣化関数を推定し、この劣
化関数に基づいて原画像を復元するため、撮影時の手振れによる劣化に加え、周囲の環境
光の時間的変動によって撮影画像に生じた劣化をも復元することができる。
これにより、手振れのみを補正する従来の劣化補正技術に対し、環境光変動による劣化
が補正された高品位な画像を復元することができる。
【００４８】
特に、本実施形態によれば、少なくとも蛍光灯の点灯時の光量変動周期に応じた周期で
環境光の光量を検出する構成としたため、光量が高速に変動する蛍光灯下の撮影であって
も、光量変動の影響を低減した画像を撮ることができる。
【００４９】
＜第２実施形態＞
上述した第１実施形態では、周囲の光量を検出する光量センサ１５０をデジタルスチル
カメラ１２０が備える構成について例示したが、本実施形態では、光量センサ１５０を用
いる事無く、撮影時の露光中の環境光変動を検出するデジタルスチルカメラ１２０Ａにつ
いて説明する。
【００５０】
図８は、本実施形態に係るデジタルスチルカメラ１２０Ａの構成を示す図である。この
図に示すように、デジタルスチルカメラ１２０Ａは、光量センサ１５０に代えて、光量予
測信号生成部１６０を備える点で第１実施形態のデジタルスチルカメラ１２０と構成を異
にしている。
【００５１】
光量予測信号生成部１６０は、環境光の変動を模擬した信号を出力するものであり、図
９に示すように、固体撮像素子１２２に結像された画像の画像データを光量変動予測用画
像データＤａとして記録系信号処理部１２６から取得し、輝度のピーク信号Ｐｋを出力す
るピーク検出器１６１と、正弦波信号Ｄｓを出力する信号発生器１６２と、この正弦波信
号Ｄｓを増幅する増幅器１６３と、増幅器１６３によって増幅された正弦波信号Ｄｓａと
、上記ピーク検出器１６１から出力されたピーク信号Ｐｋとの差分信号Ｄｄをマイクロコ
ンピュータ１２７に出力する減算器１６４とを有している。
【００５２】
光量変動予測用画像データＤａは、マイクロコンピュータ１２７の制御の下、蛍光灯の
光量変動周期の２倍以上のサンプリング間隔Δｔで生成されピーク検出器１６１に順次入
力されており、これにより、環境光の光量変動を示すピーク信号Ｐｋがピーク検出器１６
１から出力される。このとき、減算器１６４の差分信号Ｄｄが「ゼロ」になった場合には
、環境光の光量変動と等価な正弦波信号Ｄｓａが得られていることを示す。
そこで、マイクロコンピュータ１２７は、差分信号Ｄｄに基づいて、差分信号Ｄｄを「
ゼロ」或いは最小にするように、正弦波信号Ｄｓの周期を可変する周期制御信号Ｄｃｆ及
び位相を可変する位相制御信号Ｄｃｉを信号発生器１６２に出力すると共に、ゲインを制
御するゲイン制御信号Ｄｃｇを増幅器１６３に出力する。
これにより、光量予測信号生成部１６０からは、環境光の光量変動と等価な正弦波信号
Ｄｓａが出力されることとなる。
【００５３】
このような正弦波信号Ｄｓａの生成は、実際の撮影に先立って行われ、撮影の露光中に
は、正弦波信号Ｄｓａが光量データとして記録される。
詳細には、図１０に示すように、デジタルスチルカメラ１２０Ａのマイクロコンピュー
タ１２７は、レリーズボタン（シャッターボタン）８が押された状態（プレリリース）に
なったか否かを監視し（ステップＳｃ１）、レリーズボタン８が押された場合に（ステッ
プＳｃ１：Ｙｅｓ）、ジャイロセンサを有する水平方向角速度センサ１２８及び１２９と
、光量予測信号生成部１６０とを始動し、水平方向角速度センサ１２８及び１２９から検
出信号を出力させると共に、上記サンプリング間隔Δｔで光量変動予測用画像データＤａ
を取り込み、これら光量変動予測用画像データＤａの輝度のピーク値の変動に合致した正
弦波信号Ｄｓａを光量予測信号生成部１６０から出力させる（ステップＳｃ２）。
【００５４】
次いで、レリーズボタン８が解放（リリース）された場合（ステップＳｃ３：Ｙｅｓ）
に、シャッタを開放すると共に、水平方向角速度センサ１２８及び１２９の検出信号に基
づく垂直方向及び水平方向の角速度データを時系列にバッファメモリ１３６に格納し、ま
た、光量予測信号生成部１６０の正弦波信号Ｄｓａを光量データとして時系列的にバッフ
ァメモリ１５３に格納する（ステップＳｃ４）。また、このとき、シャッタの開放により
固体撮像素子１２２への露光が開始され、固体撮像素子１２２の各画素に光量に応じた電
荷が蓄積される（ステップＳｃ５）。
【００５５】
そして、所定のシャッタ開放時間（露光時間）が経過すると（ステップＳｃ６：Ｙｅｓ
）シャッタを閉じて露光を停止すると共に、角速度データのバッファメモリ１３６への格
納、及び、光量予測信号生成部１６０の正弦波信号Ｄｓａに基づく光量データのバッファ
メモリ１５３への格納を終了する（ステップＳｃ７）。これにより、露光中の手振れ量と
、環境光の光量変動とが記録される。なお、以降のステップＳｃ８〜Ｓｃ１０の処理は、
第１実施形態のステップＳａ８〜Ｓａ１０と同様であるため、その説明を省略する。
【００５６】
このように、本実施形態によれば、撮影画像の画像データを生成するための露光の前で
あるレリーズボタン８のプレリリース中に、サンプリング間隔Δｔで光量変動予測用画像
データＤａを生成し、これらの光量変動予測用画像データＤａのそれぞれが示す画像の輝
度の変動に基づいて、環境光の光量変動と等価な正弦波信号Ｄｓａを生成し、この正弦波
信号Ｄｓａに基づいて露光中の光量変動を求める構成とした。
これにより、環境光を検出するためのフォトセンサ等の部材を別途に設けずとも、撮影
時の環境光の変動を求めることが可能となる。
【００５７】
なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の
範囲内で任意に変形および応用が可能である。
例えば、上記実施形態においては、本発明の画像復元装置をプリンタに適用した場合に
ついて説明したが、これに限定されるものではなく、画像情報を再生するプロジェクタや
テレビ等の表示装置に本発明を適用して劣化画像情報を復元して表示したり、コンピュー
タに本発明を適用して劣化画像情報を復元して表示したりすることができる。さらに、デ
ジタルスチルカメラ１２０、１２０Ａに画像復元装置の機能を持たせることも可能である
。
また、上記実施形態では、角速度データを直接ＪＰＥＧファイルのＥｘｉｆに格納する
場合について説明したが、これに限定されるものではなく、角速度データをｎ次の多項式
に近似して、各次数の係数を記憶することにより、記憶容量を減少させるようにしてもよ
い。
【００５８】
さらに、上記実施形態においては、撮像装置としてデジタルスチルカメラ１２０を適用
した場合について説明したが、これに限定されるものではなく、他の撮像装置を適用する
こともできる。また、劣化画像情報の入力もデジタルスチルカメラ１２０から入力される
場合に限られるものではなく、ホストコンピュータから劣化画像を入力したり、ＣＤ−Ｒ
等の記録媒体から劣化画像を入力したりするようにしてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１実施形態の印刷システムを示す概略構成図。
【図２】デジタルスチルカメラの概略構成を示す図。
【図３】デジタルスチルカメラの撮影動作を示すフローチャート。
【図４】画像劣化モデルを示す図。
【図５】画像復元処理のフローチャート。
【図６】環境光の光量変動検出を示す図。
【図７】デジタルスチルカメラに生じる角速度を説明するための図。
【図８】第２実施形態のデジタルスチルカメラの概略構成を示す図。
【図９】光量予測信号生成部の構成を示す図。
【図１０】デジタルスチルカメラの撮影動作を示すフローチャート。
【符号の説明】
【００６０】
１…プリンタ、７…画像復元ボタン、８…レリーズボタン、６０…プリンタ側コントロ
ーラ、１１０…メモリカード、１２０、１２０Ａ…デジタルスチルカメラ、１２２…固体
撮像素子、１２５…画像メモリ、１２６…記録系信号処理部、１２７…マイクロコンピュ
ータ、１２８、１２９…角速度センサ、１３７…シャッタ開閉センサ、１３８…画像デー
タ出力部、１５０…光量センサ、１６０…光量予測信号生成部、２００…印刷システム、
Ｄａ…光量変動予測用画像データ、ｆ…原画像、ｇ…劣化画像、ｈ…劣化関数、ｈ１…手
振れ劣化関数、ｈ２…光量変動関数、Δｔ…サンプリング間隔。
【図１】
2008288838.tif 000003
【図２】
2008288838.tif 000004
【図３】
2008288838.tif 000005
【図４】
2008288838.tif 000006
【図５】
2008288838.tif 000007
【図６】
2008288838.tif 000008
【図７】
2008288838.tif 000009
【図８】
2008288838.tif 000010
【図９】
2008288838.tif 000011
【図１０】
2008288838.tif 000012