【手続補正書】
【提出日】平成21年7月31日(2009.7.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に含まれる１以上の書画情報を抽出する画像処理装置であって、
入力画像を領域毎に分割する画像分割手段と、
分割された領域の最外周の輪郭に基づいて１以上の書画情報を含んだ書画領域を抽出する領域抽出手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記領域抽出手段により抽出された書画領域から四角形を検出する四角形検出手段と、
該検出した四角形領域を正面から眺めた画像となるように逆射影変換するとともに、アスペクト比を調整する画像変換手段と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像分割手段は、
ピクセル（若しくはピクセルの塊からなる多角形）からなるノードで構成される入力画像から、隣接するノード間をエッジで接続する隣接グラフを生成する隣接グラフ生成手段と、
エッジで結ばれる各ノードが持つ属性値を比較した結果に基づいて重み因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする隣接グラフ評価手段と、
ソートされた順に従ってエッジを挟むノードのペアを取り出し、ノード同士を統計的処理アルゴリズムに基づいて統合すべきか否かを評価し、ノードの統合処理を行なう統合処理手段を備え、
入力画像を、それぞれのノードからなる複数の画像領域に分割する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記統合手段により画像領域の統合処理をした結果として残された微細な領域を処理する微小領域処理手段をさらに備える、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記隣接グラフ評価手段は、隣接グラフのエッジで結ばれる各ノードが持つ属性値の相違をエッジの重み値として与えて、重み値の小さい順にソーティングを行なう、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記画像領域統合処理手段は、ノードを構成する画像領域の面積における集中不均衡現象から導き出される判断式に基づいて、隣接グラフのエッジで結ばれるノード同士を統合すべきかどうかを判断する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記画像分割手段は、原画像から個々の書画などからなる前景領域を抜き取る第１の画像分割処理と、原画像から書画など以外の背景領域を抜き取る第２の画像分割処理を２元的に行なう、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項８】
入力画像を微分処理する微分処理手段をさらに備え、
前記隣接グラフ生成手段は、前記微分処理手段から出力される微分画像のうち帯域が所定値未満となるピクセルに対してのみ、他のピクセルと接続するエッジを付与して、部分的隣接グラフを作成し、
前記統合処理手段は、境界に差し掛かっているノード同士を統合処理して、背景を１つの領域として統合して、書画からなる前景の画像領域を抜き取るとともに、書画が載せられている背景の画像領域を抜き取る、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記領域抽出手段は、別の領域の含まれる小領域を破棄し、最外周の輪郭からなる領域のみを抽出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
画像に含まれる１以上の書画情報を抽出する画像処理方法であって、
入力画像を領域毎に分割する画像分割ステップと、
分割された領域の最外周の輪郭に基づいて１以上の書画情報を含んだ書画領域を抽出する領域抽出ステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
前記領域抽出ステップにおいて抽出された書画領域から四角形を検出する四角形検出ステップと、
該検出した四角形領域を正面から眺めた画像となるように逆射影変換するとともに、アスペクト比を調整する画像変換ステップと、
をさらに有することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記画像分割ステップは、
ピクセル（若しくはピクセルの塊からなる多角形）からなるノードで構成される入力画像から、隣接するノード間をエッジで接続する隣接グラフを生成する隣接グラフ生成ステップと、
エッジで結ばれる各ノードが持つ属性値を比較した結果に基づいて重み因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする隣接グラフ評価ステップと、
ソートされた順に従ってエッジを挟むノードのペアを取り出し、ノード同士を統計的処理アルゴリズムに基づいて統合すべきか否かを評価し、ノードの統合処理を行なう統合処理ステップを有し、
入力画像を、それぞれのノードからなる複数の画像領域に分割する、
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１３】
前記統合ステップにおいて画像領域の統合処理をした結果として残された微細な領域を処理する微小領域処理ステップをさらに有する、
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記隣接グラフ評価ステップでは、隣接グラフのエッジで結ばれる各ノードが持つ属性値の相違をエッジの重み値として与えて、重み値の小さい順にソーティングを行なう、
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１５】
前記画像領域統合処理ステップでは、ノードを構成する画像領域の面積における集中不均衡現象から導き出される判断式に基づいて、隣接グラフのエッジで結ばれるノード同士を統合すべきかどうかを判断する、
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１６】
前記画像分割ステップでは、原画像から個々の書画などからなる前景領域を抜き取る第１の画像分割処理と、原画像から書画など以外の背景領域を抜き取る第２の画像分割処理を２元的に行なう、
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１７】
入力画像を微分処理する微分処理ステップをさらに有し、
前記隣接グラフ生成ステップでは、前記微分処理ステップにより得られる微分画像のうち帯域が所定値未満となるピクセルに対してのみ、他のピクセルと接続するエッジを付与して、部分的隣接グラフを作成し、
前記統合処理ステップでは、境界に差し掛かっているノード同士を統合処理して、背景を１つの領域として統合して、書画からなる前景の画像領域を抜き取るとともに、書画が載せられている背景の画像領域を抜き取る、
ことを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記領域抽出ステップでは、別の領域の含まれる小領域を破棄し、最外周の輪郭からなる領域のみを抽出する、
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１９】
画像に含まれる１以上の書画情報を抽出するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
入力画像を領域毎に分割する画像分割手段、
分割された領域の最外周の輪郭に基づいて１以上の書画情報を含んだ書画領域を抽出する領域抽出手段、
前記領域抽出手順において抽出された書画領域から四角形を検出する四角形検出手段、
該検出した四角形領域を正面から眺めた画像となるように逆射影変換するとともに、アスペクト比を調整する画像変換手段、
として機能させるためのコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像に含まれる１以上の書画情報を抽出する画像処理装置であって、
入力画像を領域毎に分割する画像分割手段と、
分割された領域の最外周の輪郭に基づいて１以上の書画情報を含んだ書画領域を抽出する領域抽出手段と、
を具備することを特徴とする画像処理装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、本発明の第２の側面は、画像に含まれる１以上の書画情報を抽出するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
入力画像を領域毎に分割する画像分割手段、
分割された領域の最外周の輪郭に基づいて１以上の書画情報を含んだ書画領域を抽出する領域抽出手段、
前記領域抽出手順において抽出された書画領域から四角形を検出する四角形検出手段、
該検出した四角形領域を正面から眺めた画像となるように逆射影変換するとともに、アスペクト比を調整する画像変換手段、
として機能させるためのコンピュータ・プログラムである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
図示のデジタルスチルカメラ２００は、撮像素子２１１と、前処理部２１２と、カメラ・デジタル信号処理部（ＤＳＰ）２１６で構成される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１４２
【補正方法】変更
【補正の内容】
【０１４２】
【図１Ａ】図１Ａは、複数の書画画像を含んだデジタル画像の一例を示した図である。
【図１Ｂ】図１Ｂは、図１Ａに示したデジタル画像に含まれる個々の書画画像を抽出した様子を示した図である。
【図２】図２は、画像処理機能の構成を模式的に示したブロック図である。
【図３】図３は、複数の名刺を撮影したデジタル画像に画像セグメンテーション処理を施した画像から矩形領域を認識して、個々の名刺の画像を再マッピングする様子を示した図である。
【図４Ａ】図４Ａは、撮影モード下で撮影したデジタル画像の表示例を示した図である。
【図４Ｂ】図４Ｂは、書画表示モード下で撮影したデジタル画像の表示例を示した図である。
【図５Ａ】図５Ａは、絨毯の上に散在する書籍を撮像したデジタル画像を示した図である。
【図５Ｂ】図５Ｂは、図５Ａに示したデジタル画像から抽出した書画画像を示した図である。
【図５Ｃ】図５Ｃは、図５Ｂに示した書画画像に含まれる文字列情報を基に情報検索を行なった結果を示した図である。
【図６】図６は、抽出された四角形領域をジャケットが持つアスペクト比の矩形領域に再マッピングした様子を示した図である。
【図７】図７は、画像セグメンテーション部１１の内部構成を示した図である。
【図８】図８は、最も単純な隣接グラフの例を示した図である。
【図９】図９は、少し複雑な隣接グラフの構成例を示した図である。
【図１０】図１０は、エッジの評価を行なう処理方法を説明するための図である。
【図１１】図１１は、画像セグメンテーション部１１においてメッシュ・セグメンテーション処理を行なうための処理手順を示したフローチャートである。
【図１２】図１２は、画像領域の統合が抑制された場合の画像セグメンテーションの結果を示した図である。
【図１３】図１３は、画像領域の統合が促進された場合の画像セグメンテーションの結果を示した図である。
【図１４】図１４は、複雑なセマンティクスからなる写真に関して画像セグメンテーションに失敗した様子を示した図である。
【図１５】図１５は、２元的な画像セグメンテーションを行なうための概略的な処理手順を示したフローチャートである。
【図１６Ａ】図１６Ａは、背景が幾つかの領域にセグメント化されている様子を示した図である。
【図１６Ｂ】図１６Ｂは、図１６Ａに示した背景が１つの領域として統合されている様子を示した図である。
【図１７Ａ】図１７Ａは、絨毯などのテクスチャを備えた背景の上に４枚の絵葉書が置かれた様子を撮影して得た元画像を示した図である。
【図１７Ｂ】図１７Ｂは、図１７Ａに示した元画像に微分フィルタリング処理を施して得られたエッジ・カラー画像を示した図である。
【図１７Ｃ】図１７Ｃは、図１７Ｂに示したエッジ・カラー画像を利用して作成された部分的隣接グラフに対して画像セグメンテーション処理を施した結果を示した図である。
【図１７Ｄ】図１７Ｄは、図１７Ｃに示した画像に対しさらに微小な領域の統合処理を行なった結果を示した図である。
【図１７Ｅ】図１７Ｅは、図１７Ｄに示した画像の境界に差し掛かっている領域を統合した結果を示した図である。
【図１７Ｆ】図１７Ｆは、図１７Ｄに示した画像から書画などの前景の画像領域を抜き取った結果を示した図である。
【図１７Ｇ】図１７Ｇは、図１７Ｄに示した画像から背景の画像領域を抜き取った結果を示した図である。
【図１８】図１８は、書画としての名刺の最外周の輪郭に、名刺に印刷されたロゴマークを囲む輪郭からなる小さな領域が含まれている様子を示した図である。
【図１９Ａ】図１９Ａは、ｆｌｏｏｄ  ｆｉｌｌアルゴリズムを用いた領域抽出処理の手順を説明するための図である。
【図１９Ｂ】図１９Ｂは、ｆｌｏｏｄ  ｆｉｌｌアルゴリズムを用いた領域抽出処理の手順を説明するための図である。
【図１９Ｃ】図１９Ｃは、ｆｌｏｏｄ  ｆｉｌｌアルゴリズムを用いた領域抽出処理の手順を説明するための図である。
【図２０Ａ】図２０Ａは、四角形領域を探索する処理手順を説明するための図である。
【図２０Ｂ】図２０Ｂは、四角形領域を探索する処理手順を説明するための図である。
【図２１】図２１は、最外周となる輪郭の輪郭が四角形領域をなしているかどうかを判別する処理手順を説明するための図である。
【図２２】図２２は、最外周となる輪郭の輪郭が四角形領域をなしているかどうかを判別する処理手順を説明するための図である。
【図２３】図２３は、合成した画像を元の画像に逆方向でマッピングする様子を示した図である。
【図２４】図２４は、本発明の一実施形態に係るデジタルスチルカメラの構成を示した図である。