(57)【要約】【課題】同一の対象物を撮影した撮影画像の中から、所望の画像を簡単に探し出すことができるようにする。【解決手段】撮影画像が入力されると、被写体を含む領域切り出し処理とパース補正処理とを行い、補正画像を生成する。次に、今回生成された補正画像を過去に生成された補正画像と比較し、近い画像のグループ（画像群）を判定し、さらに画像中の文字や図形がどれだけ判別可能かを表す鮮明度を算出する。そして、補正前の撮影画像及び補正画像とともに、これらの得られた情報をメタ情報とした画像ファイルを生成し、鮮明度が最も高い補正画像を代表画像として決定する。【選択図】図１
2013141053.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮影した複数の撮影画像からそれぞれ前記被写体を切り出してパース補正した補正画像を生成する生成手段と、
前記生成手段によって生成された補正画像の鮮明度を算出する算出手段と、
前記算出手段によって前記鮮明度が算出された補正画像のうち、前記鮮明度が最も高い補正画像を代表画像として決定する決定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記撮影画像と、前記撮影画像に係る補正画像とを関連付けて１つのファイルに記録する記録手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記録手段は、前記撮影画像のメタ情報として、前記被写体を切り出してパース補正した補正画像を記録することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段によって決定された代表画像を表示装置に表示する表示制御手段をさらに有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
同一の被写体を撮影した複数の撮影画像からそれぞれ前記被写体を切り出してパース補正した補正画像を生成する生成工程と、
前記生成工程において生成された補正画像の鮮明度を算出する算出工程と、
前記算出工程において前記鮮明度が算出された補正画像のうち、前記鮮明度が最も高い補正画像を代表画像として決定する決定工程とを有することを特徴とする画像処理方法。
【請求項６】
同一の被写体を撮影した複数の撮影画像からそれぞれ前記被写体を切り出してパース補正した補正画像を生成する生成工程と、
前記生成工程において生成された補正画像の鮮明度を算出する算出工程と、
前記算出工程において前記鮮明度が算出された補正画像のうち、前記鮮明度が最も高い補正画像を代表画像として決定する決定工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、所望の画像を探し出すために用いて好適な画像処理装置、画像処理方法及びそのプログラムに関する。
【背景技術】
【０００２】
従来、会社や学校、研究機関等で会議や集会を行う際には、ホワイトボードを用いて会議や集会の内容をまとめることが広く行われている。また、この際に、デジタルカメラ等を用いてホワイトボードを撮影し、会議の記録として残しておくことがよく行われている。ところが、ホワイトボードの前に人が立っている場合や物が置かれている場合には正面から撮影できず、斜めから撮影しなければならないことがたびたび発生する。このようにして撮影した画像には、ホワイトボードに書かれた内容が歪んで写っているため、保存や表示に適さないことが多い。
【０００３】
そこで、このような問題点を解決するために、撮影した板書内容の歪みをパース補正によって正面から撮影したような画像に撮影画像を補正することが行われている。例えば、特許文献１には、パース補正前の画像とパース補正後の画像とを保存する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９９１４７号公報
【非特許文献】
【０００５】
【非特許文献１】カメラ映像機器工業会規格  CIPA DC-007 マルチピクチャフォーマット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、フラッシュや照明の写り込み等によってホワイトボードに書かれた内容が鮮明でないことも多い。例えば図１２に示すように、照明が写り込んで反射している画像１２０１やピンボケ・手ぶれ等によるぼやけた画像１２０２がパース補正によって得られてしまう場合がある。このような板書内容が鮮明でない画像が得られた場合は、撮影条件を変えてホワイトボードを複数回撮影することが一般に行われる。
【０００７】
一方、特許文献１に記載された技術においては、パース補正前の画像とパース補正後の画像とが別々のファイルに保存されてしまう。このため、ファイル名に関連性を持たせたとしても、撮影条件を変えてホワイトボードを複数回撮影するような場合には、板書内容に関するファイルが多くなってしまう。また、会議資料においては、板書内容を見やすくするために画像の補正を手動で調整する場合もあるため、補正後の画像だけではなく、補正前の画像を必要とすることが多い。したがって、複数のファイルから所望のファイルを探し出すことが面倒であるという問題点がある。
【０００８】
本発明は前述の問題点に鑑み、同一の対象物を撮影した撮影画像の中から、所望の画像を簡単に探し出すことができるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、同一の被写体を撮影した複数の撮影画像からそれぞれ前記被写体を切り出してパース補正した補正画像を生成する補正画像生成手段と、前記補正画像生成手段によって生成された補正画像の鮮明度を算出する算出手段と、前記算出手段によって前記鮮明度が算出された補正画像のうち、前記鮮明度が最も高い補正画像を代表画像として決定する決定手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ホワイトボードなどの同一の対象物を撮影した撮影画像の中から、最も鮮明な画像を簡単に探し出すことができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態における画像処理システムの構成例を示す図である。
【図２】２つの撮影装置からホワイトボードを斜めに撮影している様子を説明する図である。
【図３】撮影画像及び補正後の画像の一例を示す図である。
【図４】実施形態に係る画像処理装置の内部構成例を示すブロック図である。
【図５】実施形態における画像処理装置の動作手順の一例を示すフローチャートである。
【図６】複数の撮影画像の一例を示す図である。
【図７】図６に示す画像のパース補正後の画像の一例を示す図である。
【図８】補正画像に対する画像群及び鮮明度の値をまとめたテーブルの一例を示す図である。
【図９】図６に示した撮影画像にメタ情報が付加された画像ファイルの例を示す図である。
【図１０】実施形態において、表示装置に表示されるＵＩの例を示す図である。
【図１１】実施形態において、表示装置に表示されるＵＩの他の例を示す図である。
【図１２】照明が写り込んで反射している画像及びぼやけた画像の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。また、以下の実施形態においては撮影対象の被写体としてホワイトボードを前提として説明しているが、本発明の適用先はホワイトボードに限定されるものではなく、紙資料や名刺など平面な撮影対象物全般に適用可能である。
【００１３】
（第１の実施形態）
図１は、本実施形態における画像処理システム７の構成例を示す図である。
図１に示すように、本実施形態に係る画像処理システム７は、撮影装置２と、画像処理装置３と、表示装置４とから構成されている。撮影装置２及び画像処理装置３は無線ＬＡＮ等の無線通信路５で互いに接続されているが、特に無線である必要はなく、有線であっても構わない。また、画像処理装置３及び表示装置４はＨＤＭＩ等の有線通信路６で互いに接続されているが、特に有線である必要はなく、無線であっても構わない。
【００１４】
撮影装置２には、撮影ボタン２１と液晶パネル等のビューファインダ２２とが設けられている。図１に示す例では、撮影装置２の撮影対象物としてホワイトボード１が配置されているが、特にホワイトボードに限定する必要はなく、机の上に置かれた名刺や紙資料のように平面物であってもよい。ビューファインダ２２には撮影対象物が表示され、撮影ボタン２１が押されることにより撮影画像が生成され、そのデータが無線通信路５を通じて画像処理装置３に入力される。そして、画像処理装置３から出力される画像信号やＧＵＩは有線通信路６を通じて表示装置４に送られ、その撮影画像が表示される。
【００１５】
ここで、図２に示すように、２つの撮影装置２ａ、２ｂからホワイトボード１を斜めに撮影すると、それぞれ、図３に示す画像３１ａ、３１ｂのように歪んだ画像が得られる。本実施形態に係る画像処理装置３では、これらの歪んだ画像を入力し、射影変換等の画像処理によって歪み補正を行い、正面から撮影したような画像３４を生成する。その際、射影変換のパラメータは、入力された画像の特徴点を検出することにより算出する。
【００１６】
図４は、本実施形態に係る画像処理装置３の内部構成例を示すブロック図である。
図４において、ＵＩデバイス４０１はマウスやデジタイザやキーボード等であり、画像処理装置３にユーザーの指示を入力するために用いられる。ＣＰＵ４０２は、プログラム用記憶領域４０６からＲＡＭ４０３にプログラムを展開し、ＣＰＵ４０２によって解釈・実行することによって画像処理装置３内の各種制御や計算、ＵＩの表示等を制御する。
【００１７】
通信ＩＦ４０４は、撮影装置２や表示装置４との間の通信インターフェイスである。ＵＩ表示部４０５は、画像処理装置３の状態や処理内容を表示するＬＥＤや液晶パネル等であるが、表示装置４を制御して表示する実装でも構わない。さらに、本実施形態に係る画像処理装置３は、プログラム用記憶領域４０６とデータ用記憶領域４０７とを備えている。具体的には、ハードディスクやフラッシュメモリを用いてこれら記憶領域は実現可能であるが、本発明は特定の記憶媒体に依存しないことは言うまでもない。
【００１８】
なお、本実施形態の画像処理システム７は、会議の際に用いられることが多いため、実際の運用では、画像処理装置３上で議事録作成や会議情報管理等を行う会議システムと統合された構成であってもよい。
【００１９】
次に、本実施形態における画像処理装置３の動作手順について、図５のフローチャートを参照しながら説明する。なお、図５に示す各処理は、ＣＰＵ４０２の制御により行われる。
まず、Ｓ５０１において、通信ＩＦ４０４を介して撮影装置２から撮影画像が入力されるまで待機する。そして、撮影画像が入力されると、Ｓ５０２において、領域切り出し処理とパース補正処理とを行う。Ｓ５０２の処理は、例えば特許文献１に記載されている歪み補正処理を用いることによって実現可能である。
【００２０】
ここで、撮影画像の一例として、図６に示す撮影画像６０１〜６０６がＳ５０１で入力された場合には、Ｓ５０２の処理によって図７に示す補正画像７０１〜７０３、７０５、７０６が生成される。ここで、図６に示す撮影画像６０４には明確な矩形領域が存在しないため、補正画像は生成されないものとする。
【００２１】
次に、Ｓ５０３において、今回生成された補正画像を過去に生成された補正画像と比較し、近い画像のグループ（画像群）を判定する。これにより、撮影条件を変えて同じ対象領域を撮影した複数の画像を１つの画像群にまとめることが可能となる。なお、画像の比較方法としては、例えば差分値を算出することによって比較する。今回の補正画像の画素の輝度成分をＩ（ｘ，ｙ）とし、過去の補正画像の画素の輝度成分をＩP（ｘ，ｙ）とすると、ある領域Ｋの画像の差分Δは以下の式（１）により算出される。
【００２２】
【数１】
2013141053.tif 000003
【００２３】
図７に示す例では、補正画像７０１〜７０３は互いに近い画像と判定され、例えば画像群Ａと分類される。また、補正画像７０５、７０６も同様に近い画像と判定され、例えば画像群Ｘと判定される。本実施形態では、式（１）を用いて差分値を算出することによって画像の比較を行ったが、画像を比較することができるのであれば、他の方法を用いてもよい。
【００２４】
次に、Ｓ５０４において、画像中の文字や図形がどれだけ判別可能かを表す鮮明度を算出する。鮮明度の算出方法としては、文字認識の結果として得られる認識確度を用いたり、画像の高周波成分の度合いを用いたりすることが可能であるが、鮮明度を算出できるのであればこれらの方法に限定するものではない。
【００２５】
図７に示す例においては、補正画像７０１〜７０３、７０５、７０６の鮮明度は、例えば２、１、３、１、３とそれぞれ算出される。この場合、鮮明度の数値が高いほど鮮明であることを示している。なお、図８には、補正画像７０１〜７０３、７０５、７０６に対する画像群及び鮮明度の値をまとめたテーブルを示している。
【００２６】
次に、Ｓ５０５において、それぞれの撮影画像に対してＳ５０２〜Ｓ５０４で得られた情報をメタ情報として関連付ける。これらのメタ情報は、例えばＪＰＥＧのアプリケーション・マーカセグメント等に格納可能である。
【００２７】
図９は、図６に示した撮影画像にメタ情報が付加された画像ファイルの例を示す図である。
図９に示すように、画像ファイル９０１は、撮影画像６０１とそのメタ情報９１１とから構成されている。さらにメタ情報９１１は、図５のＳ５０２で得られた補正画像７０１と、Ｓ５０３で得られた画像群情報と、Ｓ５０４で得られた鮮明度とから構成されている。補正画像のサイズが大きくてメタ情報のサムネイル領域に収まらない場合には、リサイズして縮小するか非特許文献１に記載されているようなマルチピクチャフォーマットで格納してもよい。
【００２８】
画像ファイル９０１と同様に他の画像ファイル９０２、９０３、９０５、９０６も撮影画像とメタ情報とから構成されている。また、画像ファイル９０４のメタ情報９１４には、他のメタ情報９１２、９１３、９１５、９１６とは異なり、画像群や鮮明度の情報は含まれておらず、サムネイル領域には撮影画像６０４をリサイズして縮小した画像９２４が格納されている。
【００２９】
そして、図５の処理によりメタ情報が付加された画像ファイルは、ＣＰＵ４０２の制御によりデータ用記憶領域４０７に記録される。そして、図５の処理が終了すると、これらの画像ファイルの中から、最も鮮明度の高い補正画像を代表画像として決定し、通信ＩＦ４０４を介して表示装置４に代表画像を出力して表示制御を行う。
【００３０】
図１０は、このようにして作成された画像ファイルを画像処理装置３が表示装置４へ出力して一覧表示する際に表示装置４に表示されるＵＩの例を示す図である。
図１０に示すように、各画像ファイルのメタ情報中に画像群情報が含まれている場合には、同一画像群の中で最も鮮明度の高い画像を代表画像として表示する。図１０に示す例では、画像枠１００１にサムネイル画像として補正画像を表示しているが、撮影画像そのものを表示させても構わない。また、画像群情報を持っていない画像９２４を隠して表示しても構わない。
【００３１】
また、図１０に示すボタン１００２、１００３のように代表画像以外も表示させるボタンをＵＩとして表示させても構わない。例えば、ボタン１００３が押された場合は、例えば図１１に示すように画像７０６と同一画像群に属する補正画像７０５も表示し、これによりボタン１００３は、代表画像のみ表示に戻すためのボタン１１０１に切り替わるようにする。
【００３２】
以上のように本実施形態によれば、同一画像群の中で最も鮮明度の高い画像を代表画像として決定するようにしたので、光などが反射して撮影された画像やぼやけた画像が含まれている場合も、会議資料として用いる画像を簡単に探し出すことができる。
【００３３】
なお、本実施形態においては、図５に示した処理を画像処理装置３により行う例について説明したが、撮影装置２の内部で行うようにしてもよい。この場合、サムネイル画像の一覧表示を表示装置４上で行うのではなく、撮影装置２のビューファインダ２２上で行うようにしてもよい。このとき、ビューファインダ２２をタッチパネルとして構成し、指によるポインティングができるようにすることが望ましい。
【００３４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３５】
４０１  ＵＩデバイス
４０２  ＣＰＵ
４０３  ＲＡＭ
４０４  通信ＩＦ
４０５  ＵＩ表示部
４０６  プログラム用記憶領域
４０７  データ用記憶領域
【図１】
2013141053.tif 000004
【図２】
2013141053.tif 000005
【図３】
2013141053.tif 000006
【図４】
2013141053.tif 000007
【図５】
2013141053.tif 000008
【図６】
2013141053.tif 000009
【図７】
2013141053.tif 000010
【図８】
2013141053.tif 000011
【図９】
2013141053.tif 000012
【図１０】
2013141053.tif 000013
【図１１】
2013141053.tif 000014
【図１２】
2013141053.tif 000015