(57)【要約】【課題】日付入り撮影画像の手振れ補正を行う。【解決手段】デジタルカメラの画像処理ＩＣ１４は、撮影画像に日付データを付加する際に、日付データが付加されるべき領域の画像データを保存部２０に保存しておく。日付入り撮影画像の手振れ補正を行う際に、撮影画像に保存部２０に保存しておいた画像データを上書きすることで日付を消失させて手振れ補正を行う。手振れ補正を行った後に、日付データを再び付加する。【選択図】図１
2008211270.tif 000002
【特許請求の範囲】
【請求項１】
取得画像から原画像を復元する画像復元装置であって、
前記取得画像にキャラクタデータを付加してキャラクタ付取得画像を生成する手段と、
前記取得画像にキャラクタデータを付加する前に、前記取得画像のうち前記キャラクタデータが付加されるべき領域の画像データを予め記憶する手段と、
前記キャラクタ付取得画像から原画像を復元する際に、前記キャラクタ付取得画像のキャラクタデータ付加領域に前記画像データを合成して前記キャラクタデータを消失させて原画像を復元する手段と、
復元した原画像に前記キャラクタデータを再度付加する手段と、
を有することを特徴とする画像復元装置。
【請求項２】
請求項１記載の装置において、
前記キャラクタデータは日付データであることを特徴とする画像復元装置。
【請求項３】
前記取得画像は撮影画像であり、前記復元は手振れ補正であることを特徴とする画像復元装置。
【請求項４】
請求項３記載の装置において、
前記撮影画像の手振れ補正が可能か否かを判定する手段
を有し、前記記憶する手段は、手振れ補正が可能である場合に前記キャラクタデータが付加されるべき領域の画像データを予め記憶することを特徴とする画像復元装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像復元装置、特に日付等のキャラクタデータが付加された画像から原画像を復元する装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラには撮影時の手振れを低減する手振れ補正機構が搭載されている。手振れ補正機構には、撮影可能領域を一定サイズに狭めて撮影時にバッファメモリに画像を読み込み、最初に撮影した画像とそれ以降に撮影した画像とを比較してはみだし量を演算し、撮影可能領域を自動的にシフトさせて撮影し記録する電子式手振れ補正、レンズ内に振動ジャイロ機構を備えた補正レンズを組み込み、手振れを打ち消す方向に補正レンズをシフトさせることで光軸を補正する光学式手振れ補正、振動ジャイロ機構で手振れを検出し、ＣＣＤやＣＭＯＳ等のイメージセンサを手振れに応じてシフトさせることで光軸を補正するイメージセンサシフト式手振れ補正等がある。さらに、撮影後の画像を加工して原画像を復元することで手振れを補正する方法も提案されている。撮影後の加工には、手振れ量を表すＰＳＦ（Point Spread Function：点拡がり関数）を用いる方法が知られている。
【０００３】
一方、撮影して得られた画像に日付データを付加することが行われており、撮影後の画像を加工して原画像を復元する際には、日付データをどのように処理するかが課題となる。
すなわち、撮影画像は手振れにより劣化しているが、日付データ自体には手振れが生じていないため、日付データが付加された撮影画像全体を復元処理の対象としたのでは、日付データ部分に復元処理によるぶれが生じてしまう。図５に、ＰＳＦを用いた「３０」なる日付データに復元処理を施した結果生じるぶれの一例を示す。
【０００４】
下記の特許文献１には、撮影画像等の原画像を加工するとともに、加工前と加工後の２種類の画像が再生できる画像ファイルを生成して記憶する電子カメラ装置が開示されている。
【０００５】
また、特許文献２には、主画像データの日付エリアに属する部分画像データを抽出し、日付を表すキャラクタデータを主画像データの日付エリアに書き込み、日付消去操作が行われると、部分画像データを主画像データの日付エリアに合成させ、再生画像から日付を消去するデジタルカメラが開示されている。
【０００６】
【特許文献１】特開２００２−１２５１８４号公報
【特許文献２】特開２００５−３３３１８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術では、日付データが付加された撮影画像に対して手振れ補正等を行って原画像を復元することについては開示されていない。撮影画像として、日付データが付加されていない画像と、日付が付加された画像の両方を記憶しておき、手振れ補正を行う際には日付データが付加されていない画像を処理対象として復元することも考えられるが、記録すべき画像データの容量が増大してしまう。
【０００８】
本発明は、日付データ等のキャラクタデータが付加された撮影画像を対象として手振れ補正等の画像復元処理を実行してもキャラクタデータへの影響を防止できる装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は、撮影画像から原画像を復元する画像復元装置であって、前記撮影画像にキャラクタデータを付加してキャラクタ付撮影画像を生成する手段と、前記撮影画像にキャラクタデータを付加する前に、前記撮影画像のうち前記キャラクタデータが付加されるべき領域の画像データを予め記憶する手段と、前記キャラクタ付撮影画像から原画像を復元する際に、前記キャラクタ付撮影画像のキャラクタデータ付加領域に前記画像データを合成して前記キャラクタデータを消失させて原画像を復元する手段と、復元した原画像に前記キャラクタデータを再度付加する手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、キャラクタデータが付加された撮影画像から原画像を復元する際に、キャラクタデータへの影響を排除することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について説明する。
【００１２】
図１に、本実施形態におけるデジタルカメラの全体構成を示す。本実施形態のデジタルカメラは、撮影後に撮影画像から原画像を復元する手振れ補正機構を備えており、ＰＳＦを用いて原画像、すなわち手振れのない画像を復元する。
【００１３】
図１において、ＣＣＤ１０は、被写体からの光を電気信号に変換し、アナログ画像信号として出力する。アナログフロントエンド（ＡＦＥ）１２は、アナログ画像信号を相関２重サンプリングし、アナログ画像信号をデジタル画像信号に変換する。デジタル画像信号は、機能ブロックとして制御部１６、手振れ検出部１８、保存部２０、画像処理部２２を有する画像処理ＩＣ１４に供給される。
【００１４】
画像処理ＩＣの画像処理部２２は、デジタル画像信号をＹＣ分離し、エッジ強調処理、ホワイトバランス調整、色補正処理、γ補正処理の各処理を施す。また、ユーザが撮影画像に日付データを付加することをメニューから選択した場合、撮影画像の所定位置、例えば撮影画像の右下に日付データを付加する。日付データを付加された撮影画像データはＪＰＥＧ圧縮されて保存部２０に格納され、さらに、フラッシュメモリ等の外部記録媒体２６に格納される。外部記録媒体２６に記録された撮影画像は、デコードされてデジタルカメラの背面ＬＣＤ等に表示される。また、画像処理部２２は、撮影画像に日付データを付加する際に、撮影画像のうち日付データを付加すべき領域の画像データを抽出して保存部２０に保存しておく。
【００１５】
手振れ検出部１８は、ジェイロセンサ２４で検出された加速度に基づいて手振れ量を検出し、手振れ量から画像復元に用いるＰＳＦを演算する。ＰＳＦは、ジャイロ２４で検出された角速度と撮像系の像倍率から導出される手振れによる像の動き量から算出される。算出されたＰＳＦは画像処理部２２に供給され、画像処理部はユーザから指定された撮影画像に対してＰＳＦを用いた手振れ補正を実行する。ＰＳＦを用いた手振れ補正の例として最急降下法が知られており、その概要は以下のとおりである。すなわち、撮影画像の∇Ｊを算出する。ここに、Ｊは一般逆フィルタの評価量であり、撮影画像である劣化画像Ｇ、復元画像Ｆ、劣化関数Ｈとした場合に、
Ｊ＝‖Ｇ−ＨＦ‖２
で与えられる。上式は、評価量Ｊは、復元画像Ｆに劣化関数Ｈを作用させて得られる画像ＨＦと実際の劣化画像Ｇとの差分の大きさで与えられることを意味する。復元画像が正しく復元されていれば、理論的にはＨＦ＝Ｇであって評価量は０である。評価量Ｊが小さいほど、復元画像Ｆはより良く復元されたことになる。最急降下法では、この評価量Ｊの勾配である∇Ｊの大きさ、すなわち∇Ｊのノルムの２乗がしきい値以下となるまで反復計算を繰り返し、しきい値以下となった時点で反復計算を終了して復元画像Ｆを得るものである。撮影画像（劣化画像Ｇ）と復元画像Ｆ、並びにＰＳＦ、すなわち劣化関数Ｈを用いて評価量Ｊを算出し、さらに∇Ｊを算出する。算出した∇Ｊのノルムの２乗をしきい値と大小比較し、しきい値以下であるか否かを判定する。しきい値以下であれば∇Ｊのノルムは十分小さく最適解に収束したものとみなして反復計算を終了する。一方、∇Ｊのノルムの２乗がしきい値を超えていれば、いまだ復元は十分ではないとして反復計算を続行する。但し、ユーザが手振れ補正を指定する撮影画像は日付データが付加された撮影画像であり、そのまま手振れ補正処理を実行してしまうと、画像部分の手振れは復元されるものの、日付データ自体はもともと手振れが生じていないため、ジャイロセンサ２４で検出された手振れ量に応じたＰＳＦで復元処理を実行してしまうとぶれが生じてしまう（図５参照）。
【００１６】
そこで、本実施形態の画像処理部２２は、ＰＳＦを用いた手振れ補正を行う際に、保存部２０に保存されている画像データ、つまり日付データを付加する前の撮影画像の一部であって、日付データが付加されるべき領域の画像データを用いて日付データを消失させる。具体的には、日付データが付加された撮影画像に対し、保存部２０に保存されている画像データを合成することで日付データを上書きしてしまう。これにより、日付データが付加された撮影画像から日付データのない撮影画像が生成され、日付データのない撮影画像を対象としてＰＳＦを用いた手振れ補正処理を実行する。制御部１６は、各部の動作を統合制御する。特に、保存部２０への読み書きを制御する。
【００１７】
図２に、画像処理部２２における手振れ補正処理を模式的に示す。まず、図２（ａ）に示すように、ＹＣＣ４２０等のファイルフォーマットの撮影画像１００のうち、日付データを付加すべき領域の画像データ１０２を抽出し、ＪＰＥＧ圧縮して保存部２０に保存する。次に、図２（ｂ）に示すように、撮影画像１００に日付データ１０４を付加する。図では日付データ１０４は「ＹＭＤ」として示されている。日付データ１０４が付加された撮影画像１００はＪＰＥＧ圧縮されて外部記録媒体２６に記録され、また、背面ＬＣＤに表示される。ユーザが背面ＬＣＤに表示された撮影画像１００を視認し、手振れ補正を行う撮影画像１００として指定すると、図２（ｃ）に示すように、保存部２０に保存された画像データ１０２を読み出し、ＹＣＣ４２０等のフォーマットにデコードして撮影画像１００のうち日付データ１０４が付加されている領域に上書きして合成する。画像データ１０２には日付データ１０４が存在していないので、画像データ１０２を撮影画像１００に合成することで、撮影画像１００から日付データ１０４は消失する。以上のようにして日付データ１０４を消失させた後で、図２（ｄ）に示すように、ＰＳＦを用いた手振れ補正処理を実行して原画像１０６を復元する。最後に、図２（ｅ）に示すように、原画像１０６の所定位置に日付データ１０４を再度付加してＪＰＥＧ圧縮し外部記録媒体２６に記録する。
【００１８】
本実施形態では、保存部２０に記憶するのは日付データ１０２が付加されていない撮影画像１００ではなく、撮影画像のうち日付データ１０４が付加されるべき領域の画像データ１０２であり、データ量が少ない。従って、保存部２０の必要メモリ容量も少なくて済む。しかも、日付データ１０４を消失させるために用いた画像データ１０２は元々撮影画像データ１００の一部であるから、他の画像データを用いる場合に生じ得る人為的な輪郭が生じない。さらに、ユーザに対しては、日付データ１０４が付加された撮影画像１００の指定を可能とし、かつ、日付データ１０４が付加された原画像１０６の提示を可能にできる。
【００１９】
図３及び図４に、本実施形態の詳細処理フローチャートを示す。図３は、撮影画像（スチル画像）を作成する処理である。まず、撮影画像１００である本体画像を作成する。画像を作成する場合、１度で画像を作成する処理ができないため、数ブロック単位で画像を生成する。例えば、３２画素×３２画素のブロックに分割し、そのブロック毎に処理を行う。本体画像からあるブロックを切り出し（Ｓ１０１）、日付データを付加するか否かを判定する（Ｓ１０２）。ユーザがメニューで「日付付加」を選択していればこの判定はＹＥＳとなる。日付データを付加する場合、当該ブロックが日付データを付加すべきブロックであるか否かを判定する（Ｓ１０３）。日付データを付加すべき領域の座標は予め画像サイズ毎に定まっているため、当該座標に基づいて判定する。日付データを付加すべきブロックである場合、さらにＰＳＦである手振れ補正データを取得したか否かを判定する（Ｓ１０４）。手振れ検出部１８ではジャイロセンサ２４の検出信号に基づいてＰＳＦを算出しており、ＰＳＦが算出されてワークバッファに保存されているか否かにより判定する。ＰＳＦが算出されている場合、当該ブロックのＹＣＣ４２０フォーマットの画像データをワークバッファに書き込む（Ｓ１０５）。画像データをワークバッファに書き込んだ後、当該ブロックに日付データを付加し（Ｓ１０６）、当該ブロックをＪＰＥＧ圧縮して保存部２０に保存する。以上の処理を全てのブロックについて繰り返し実行する（Ｓ１０８）。
【００２０】
全てのブロックについて処理した後、全てのブロックから構成される本体画像に手振れ補正データのＰＳＦが存在するか否かを判定し（Ｓ１０９）、ＰＳＦが存在すれば本体画像ファイルのヘッダにＰＳＦデータを書き込む（Ｓ１１０）。次に、日付データが存在するか否かを判定し（Ｓ１１１）、日付データが存在すればワークバッファに書き込んだ画像データを保存部２０に保存する。以上の処理により、日付データを付加する前の画像データ１０２が保存部２０に保存され、かつ、日付データが付加された撮影画像１００が保存部２０に保存される。保存部２０に保存された撮影画像１００はさらに外部記録媒体２６に記録される。保存部２０は不揮発性メモリであることが好ましい。撮影後にデジタルカメラの電源をＯＦＦし、再度、ユーザが電源をＯＮした後に撮影画像の手振れ補正を希望する場合もあるからである。
【００２１】
図４は、手振れ補正を実行する処理である。手振れ補正は、ユーザが補正対象の撮影画像を選択して手振れ補正実行を指示することで開始される。まず、ユーザが選択した撮影画像である本体画像をＹＣＣ４２０フォーマットにデコードしてワークバッファに書き込む（Ｓ２０１）。次に、本体画像に日付データが付加されているか否かを判定し（Ｓ２０２）、日付があれば本体画像を作成する際に保存部２０に保存した画像データをＹＣＣ４２０フォーマットにデコードしてワークバッファに書き込む（Ｓ２０３）。そして、画像データを本体画像に重ねて本体画像の日付データを削除する（Ｓ２０４）。画像データを上書きする位置は、日付データを付加すべき領域と同一であって、日付データを付加すべき領域の座標データをそのまま用いることができる。日付データを削除した後、本体画像のヘッダに書き込まれているＰＳＦデータを抽出し、ＰＳＦデータを用いて本体画像から原画像を復元する（Ｓ２０５）。
【００２２】
原画像を復元した後、日付が必要か否かを判定する（Ｓ２０６）。画像データを上書きして日付データを削除した場合には、この判定処理を行うことなく自動的に日付データが必要であるとみなしてもよい。日付が必要である場合、原画像、つまり復元済みの本体画像に再び日付データを付加し（Ｓ２０７）、ＪＰＥＧ圧縮して保存部２０に保存する（Ｓ２０８）。
【００２３】
本実施形態では、日付データを例にとり説明したが、日付以外の任意のキャラクタデータに適用することができる。キャラクタデータは、文字、数字、記号、マークのいずれも含む。
【００２４】
また、本実施形態では撮影画像のうち日付データが付加されるべき領域の画像データをＪＰＥＧ圧縮して保存部２０に保存しているが、ＹＣＣフォーマットのまま保存部２０に保存してもよい。
【００２５】
また、本実施形態では日付データが付加されるべき領域の画像データを抽出して保存しているが、保存部２０のメモリ容量が許容する限り、日付データが付加されるべき領域を含む所定領域の画像データを抽出して保存してもよい。要するに、撮影画像に対して付加された日付データを消失させる、あるいは削除するに十分な領域の画像データを抽出すればよい。抽出すべき領域は、撮影画像に付加されたキャラクタデータのサイズに応じて決定される。抽出すべき領域は、少なくとも、キャラクタデータのサイズ以上のサイズを有するということができる。
【００２６】
また、本実施形態では、日付が付加される全ての撮影画像に対して日付データが付加されるべき領域の画像データを抽出して保存部２０に保存しているが、手振れ量が許容値を超える等して手振れ補正を行うことができない撮影画像に対しては、日付データが付加されるべき領域の画像データを抽出しなくてもよい。手振れ補正を行わない以上、撮影画像から日付データが付加されるべき領域の画像データを抽出する必要はないからである。したがって、日付が付加され、かつ、手振れ補正を行い得る撮影画像に対してのみ画像データを抽出することが好適である。本実施形態では、図３のＳ１０４及びＳ１０５の処理において手振れ補正データとしてのＰＳＦデータを前提として画像データをワークバッファに書き込んでいるが、たとえＰＳＦを算出できても手振れ量が過大等により十分な精度が担保されない場合にはワークバッファへの書き込みを実行しなくてもよい。具体的には、図３の処理において、Ｓ１０４の処理の後に取得した手振れ補正データの精度を判定し、手振れ補正可能な程度に精度がある場合にのみ画像データをワークバッファに書き込めばよい。ジャイロ２４で検出された角速度が許容範囲内か否かにより手振れ補正可能か否かを判定してもよい。
【図面の簡単な説明】
【００２７】
【図１】デジタルカメラの全体構成図である。
【図２】手振れ補正処理の説明図である。
【図３】実施形態の処理フローチャート（その１）である。
【図４】実施形態の処理フローチャート（その２）である。
【図５】手振れ補正後の日付データの説明図である。
【符号の説明】
【００２８】
１０  ＣＣＤ、１２  ＡＦＥ、１４  画像処理ＩＣ、１６  制御部、１８  手振れ検出部、２０  保存部、２２  画像処理部、２４  ジャイロ、２６  記録媒体。
【図１】
2008211270.tif 000003
【図２】
2008211270.tif 000004
【図３】
2008211270.tif 000005
【図４】
2008211270.tif 000006
【図５】
2008211270.tif 000007