(57)【要約】【課題】撮影した画像の中から埋め込まれた付加情報を正確に復元すること。【解決手段】本発明は、付加情報が多重された画像データを取り込んで、その画像データから付加情報を復号する画像処理装置において、取り込んだ画像データを複数の領域に分割するサブ画像分割部１１１と、サブ画像分割部１１１によって分割された各領域毎の画像データを用いて各々復号する複数のサブ画像復号部１１２ａ〜１１２ｄと、複数のサブ画像復号部１１２ａ〜１１２ｄによって復号して得た各領域毎の正しい復号結果を格納する複数の復号結果キャッシュ部１１３ａ〜１１３ｄと、複数の復号結果キャッシュ部１１３ａ〜１１３ｄに全て正しい復号結果が格納された段階で各復号結果キャッシュ部１１３ａ〜１１３ｄの復号結果を結合して付加情報を出力する比較・判定部１１４とを備えている。【選択図】図３
2007074471.tif 000002
【特許請求の範囲】
【請求項１】
付加情報が多重された画像データを取り込んで、その画像データから付加情報を復号する画像処理装置において、
取り込んだ前記画像データを複数の領域に分割する画像分割手段と、
前記画像分割手段によって分割された各領域毎の画像データを用いて各々復号する複数の復号手段と、
前記複数の復号手段によって復号して得た各領域毎の正しい復号結果を格納する複数のキャッシュ部と、
前記複数のキャッシュ部に全て正しい復号結果が格納された段階で各キャッシュ部の復号結果を結合して付加情報を出力する判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の復号手段は、前記画像分割手段によって分割された画像データの各領域毎に組み込まれた誤り訂正情報を用いて復号した結果が正しいか否かを判断する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像データを取り込む画像入力手段を備えており、
前記画像入力手段から前記画像分割手段へはネットワークを介して前記画像データが転送される
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像入力手段は携帯端末に組み込まれており、
前記判定手段から出力される付加情報が前記ネットワークを介して前記携帯端末に転送される
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像入力手段は携帯端末に組み込まれており、
前記携帯端末の画像入力手段から送られてきた画像データについてその携帯端末の識別情報と対応した前記複数のキャッシュ部が構成されている
ことを特徴とする請求項３記載の画像処理装置。
【請求項６】
付加情報が多重された画像データを取り込んで、その画像データから付加情報を復号する画像処理方法において、
取り込んだ前記画像データを複数の領域に分割する工程と、
前記分割された各領域毎の画像データを用いて各々復号する工程と、
前記復号して得た各領域毎の正しい復号結果を複数のキャッシュ部に格納する工程と、
前記複数のキャッシュ部に全て正しい復号結果が格納された段階で各キャッシュ部の付加情報を結合して付加情報を出力する工程と
を備えることを特徴とする画像処理方法。
【請求項７】
付加情報が多重された画像データを取り込んで、その画像データから付加情報を復号するプログラムをコンピュータによって実行する画像処理プログラムにおいて、
取り込んだ前記画像データを複数の領域に分割するステップと、
前記分割された各領域毎の画像データを用いて各々復号するステップと、
前記復号して得た各領域毎の正しい復号結果を複数のキャッシュ部に格納するステップと、
前記複数のキャッシュ部に全て正しい復号結果が格納された段階で各キャッシュ部の付加情報を結合して出力するステップと
をコンピュータによって実行することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、付加情報が多重された画像データを取り込んで、その画像データから付加情報を復号する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、取り込んだ画像データからその画像データに組み込まれている付加情報を復号する画像処理技術がある。例えば、カメラ付き携帯電話等の通信機能と画像入力機能とを備えた装置において、取り込んだ画像データからＵＲＬ（Uniform Resource Locator）等の付加情報を復号することにより、入力の手間を省くことができる。特に、携帯電話等の小型機器では数字キーを用いて英数文字を入力する必要があることから、例えば２次元コードを画像データとして取り込んでこれを復号することにより、多くの英数文字が混在するＵＲＬ等を数字キーの入力によることなく、容易に取り込むことが可能となる。
【０００３】
ここで、カメラ付き携帯電話によって画像データを取り込むには、画面のフレーム内に適切な大きさおよび角度によって取り込む必要がある。すなわち、対象の画像データを的確に取り込まなければ、この画像データに基づく復号処理を正確に行えないからである。特許文献１では、カメラなどで画像中の解析対象を撮影する際に適切なガイドを表示する技術について開示されている。また、特許文献２では、解析エラー時に画像を保存する機能を持つ技術が開示されている。
【０００４】
【特許文献１】特開２００４−２１３２１５号公報
【特許文献２】特開２００４−３１８３０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、たとえそのようなガイドが存在しても、非接触でカメラが固定されない状況で撮影する場合には、あおりによる歪み（被写体とカメラが平行でない場合の画像の歪み）、影の問題（一部あるいは全体に影が入る）、カメラのレンズ自身の歪み、などにより解析に適切な条件で画像を撮影することが難しく、何度も取り込みを行う必要があったり、解析に失敗するケースも多々ある。
【０００６】
また、特許文献２では、解析エラー時に画像を保存する機能を持つが目的はエラー原因を解析するためのものであって、情報復元の効率を上げるものではない。また、被写体となる印刷画像の方に補正のための目印を付けることは画質上好ましくない。
【０００７】
よって、本発明では、特にカメラ付き携帯電話のような携帯型情報装置により撮影した画像の中から埋め込まれた情報を正確に復元することを目的とする。
【課題を解決するための手段】
【０００８】
このような目的を達成するために成されたものである。すなわち、本発明は、付加情報が多重された画像データを取り込んで、その画像データから付加情報を復号する画像処理装置において、取り込んだ画像データを複数の領域に分割する画像分割手段と、画像分割手段によって分割された各領域毎の画像データを用いて各々復号する複数の復号手段と、複数の復号手段によって復号して得た各領域毎の正しい復号結果を格納する複数のキャッシュ部と、複数のキャッシュ部に全て正しい復号結果が格納された段階で各キャッシュ部の復号結果を結合して付加情報を出力する判定手段とを備えている。
【０００９】
上記構成から成る本発明では、複数の領域に分割された画像データから各々復号するにあたり、複数の復号手段によって各領域毎に復号を行い、各領域毎に設けられた誤り検査用の符号によって正しい復号結果を各領域毎の複数のキャッシュ部に格納する。ここで、復号に失敗した場合は、再度取り込んだ画像データを再度復号し、正しく復号できなかった領域については前回の復号結果、すなわちキャッシュ部に格納されたものをそのまま用いる。これにより、領域毎に正しい復号結果がキャッシュ部に格納され、全てのキャッシュ部に正しい復号結果が格納された段階で結合することで、短時間で正確に付加情報を取得できるようになる。
【発明の効果】
【００１０】
したがって、このような本発明により、カメラ付き携帯電話のような非接触・非固定の入力装置でも、高密度に付加情報を多重化して印刷した画像から、補正用の目印を付ける必要なく、付加情報のデコードを繰り返して失敗する可能性を大幅に減少させることが可能となり、的確に付加情報を復元することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら説明する。本実施形態に係る第1の画像処理装置は、図１に示すように、制御部１１と記憶部１２と操作部１３と表示部１４と入出力部１５とを含んで構成されている。この画像処理装置は、主としてカメラ付き携帯機器に適用される。
【００１２】
制御部１１は、記憶部１２に格納された画像処理プログラムに従って動作しており、入力した画像データからそこに多重化されている付加情報を復号する処理を行う。この処理の具体的内容については、後に詳しく述べる。
【００１３】
記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータ可読の記録媒体を含む。また、この記憶部１２は、制御部１１による画像処理の過程で生じる種々のデータを格納するワークメモリとしても動作する。
【００１４】
操作部１３は、キーボードやマウス等であり、利用者の操作を受けて、その操作内容を制御部１１に出力する。
【００１５】
表示部１４は、制御部１１から入力される指示に従って、利用者に対して情報を提示する液晶ディスプレイ等から成る。
【００１６】
入出力部１５は、外部から入力されるデータを制御部１１に出力する。また、この入出力部１５は、制御部１１から入力される指示に従ってデータを外部の装置に出力する。例えば、画像処理装置がカメラ付き携帯電話に組み込まれている場合には、カメラで取り込んだ画像データを入出力部１５を介して制御部１１へ送る。また、画像処理装置がネットワークに接続され、このネットワークを経由した画像データが送られてくる場合には、入出力部１５がネットワークインタフェースとして働き、ネットワークを介した画像データの入力および復号結果の出力を行うことになる。
【００１７】
ここで、まず入力される画像データがどのようなデータ形式によって付加情報を多重化しているかについて図２を用いて説明する。
【００１８】
先ず、付加情報（オリジナル情報）は予め誤り訂正符号化あるいは誤り検出符号化処理がなされ、誤り訂正あるいは誤り検出のためのパリティ情報が付加される（ステップＳ１参照）。次に、パリティ情報が付加された付加情報は、予め決められている所定の数に分割される（ステップＳ２参照）。
【００１９】
分割された各々の付加情報は、それぞれ誤り検出のためのパリティ情報が再度付加される（ステップＳ３参照）。それらの付加情報はそれらの分割数と同じ数で分割された画像の各サブ画像部分に印刷耐性を持つ電子透かし方式により多重化される（ステップＳ４参照）。図２では分割数＝４のケースで、４つのサブ画像を縦横２×２に配置した例となっている。
【００２０】
次に、制御部１１の処理の具体的な内容について述べる。制御部１１は、図３に示すような構成要素を持っている。すなわち、内部に新たに入力された画像を所定数のサブ画像に分割するサブ画像分割部１１１と、各サブ画像毎の復号を行いその復号結果を保持するサブ画像と同数のサブ画像復号部１１２ａ〜１１２ｄと、最も新しいサブ画像の正しい復号結果を保持するサブ画像数と同数の復号結果キャッシュ部１１３ａ〜１１３ｄとを保持している。
【００２１】
ここで、各サブ画像における復号結果が正しいか否かは、各サブ画像毎に付加された誤り検出のためにパリティ情報を調べればよく、サブ画像復号部１１２ａ〜１２ｄおよび復号結果キャッシュ部１１３ａ〜１１３ｄは復号結果とともにその復号結果が有効か無効かを示すVALIDフラグを保持している。
【００２２】
比較・判定部１１４は、サブ画像復号部１１２ａ〜１１２ｄが保持する復号結果が有効でなく、かつ、対応する復号結果キャッシュ部１１３ａ〜１１３ｄが有効な復号結果を保持している場合のみ、この復号結果を参照し、分割された全ての正しい部分復号結果が得られた場合に、これらを結合して誤り訂正処理あるいは誤り検出処理を行い、正しい復号結果が得られた場合にのみ、これを最終復号結果として出力するとともに、全ての復号結果キャッシュ部１１２ａ〜１１２ｄのVALIDフラグを無効にする。
【００２３】
また、分割された全ての正しい部分復号結果が得られたにも係わらず、それらを結合した情報から正しくない結果が得られた場合（誤り訂正できなかった、あるいは正しいパリティ情報が得られなかった場合）、あるいは、分割された全ての正しい部分復号結果が得られなかった場合には、最終復号結果にエラーがあった事を出力し再度の画像解析を促すとともに、正しく復号されたサブ画像復号部の結果のみを対応する復号結果キャッシュ部１１３ａ〜１１３ｄに転送し、VALIDフラグを有効にする。
【００２４】
次に、制御部１１によって実行されるプログラムのアルゴリズムを図４のフローチャートを用いて説明する。なお、ここでは画像の分割数＝４として説明する。まず初めにステップＳ１１で、入力画像を所定数のサブ画像に分割する。
【００２５】
次に、ステップＳ１２で、サブ画像毎に復号を行い、その時のパリティをチェックして、パリティが適切な値である場合、VALIDフラグを有効にし、復号結果を保持する。逆に、パリティの値が適切でなかった場合は、VALIDフラグを無効化する。なお、パリティとしてはチェックサムやＣＲＣ（Cyclic Redundancy Check）などの使用が適当である。
【００２６】
次に、ステップＳ１３では、全てのサブ画像から正しい復号結果が得られたかをチェックし、そうであればステップＳ１５へ、そうでなければステップＳ１４に進む。ステップＳ１４では、ステップＳ１３で正しい復号結果が得られなかったサブ画像に対応する復号結果キャッシュ部を調べ、それらが全て有効な復号結果を保持しているかを調べる。その結果、復号結果キャッシュ部の有効な情報を用いることで、全てのサブ画像に対応する正しい部分復号結果が得られる場合にはステップＳ１５に進み、そうでない場合はステップＳ１８に進む。
【００２７】
ステップＳ１５では、全ての正しい部分復号結果を連結し、それに対して所定の誤り訂正復号化を実施する。ステップＳ１６では、正しく復号できたかどうかをチェックし、できた場合にはステップＳ１７へ進み、そうでない場合にはステップＳ１８に進む。
【００２８】
ステップＳ１７では、正しく復号できた復号結果を出力するとともに、全ての復号結果キャッシュの無効化を行う。これは正しい付加情報の復号ができたために、キャッシュ情報が今後しばらく使われる可能性がほとんどなくなったためである。
【００２９】
ステップＳ１８では、付加情報の復号に失敗したことを出力し、再度の解析を促す。それと同時に、VALIDフラグが有効なサブ画像復号部の内容を対応する復号結果キャッシュ部に転送し、そのVALIDフラグを有効化する。これは次の解析に備えて、有効な部分復号結果をキャッシュに記憶しておくためである。
【００３０】
このような第１実施形態によれば、複数の領域に分割された画像データから各々復号して、正しい部分復号結果を各領域に対応する復号結果キャッシュ部に格納するため、復号の失敗により、再度画像データを取り込んで復号を試みる際に、部分的に復号に失敗した領域があっても、その領域に対する正しい復号結果がキャッシュ部に存在すれば、これらと結合することにより短時間で正確に付加情報を取得できるようになる。
【００３１】
次に、本発明の第２の実施形態について図面を参照しながら説明する。第２の実施形態は、付加情報が重畳された印刷画像を撮影するカメラとその撮影画像から付加情報の復号を行う画像処理装置とがコンピュータネットワークあるいは公衆回線で接続されている場合である。この場合、送信されてきた画像を解析する画像処理装置の構成は図１の構成と等しく、また、送信されてくる画像のデータ形式も図２と変わらない。以降、第１の実施形態との相違点を中心に説明を行う。
【００３２】
図５に第２の実施形態における制御部の具体的な構成要素を示す。図３に示す第１の実施形態との違いは、画像処理装置が、ネットワークあるいは公衆回線を通じて複数のカメラ付き端末から解析すべき画像が送られてくる機器（例えば、サーバ）として適用される点にある。そのため、解析を行う画像処理装置は複数のリクエストを効率的に処理する必要性がある。
【００３３】
まず、ネットワーク解析部２２０はネットワークあるいは公衆回線を通じて送られてきた情報から画像部分を取り出し、サブ画像分割部２１１に転送するとともに、送信端末を特定するＩＤ情報を送信ＩＤ保持部２２１に記憶する。
【００３４】
サブ画像分割部２１１は送られてきた画像を所定数のサブ画像に分割し、各サブ画像を対応するサブ画像復号部２１２ａ〜２１２ｄへ出力する。サブ画像復号部２１２ａ〜２１２ｄはそれらサブ画像から付加情報を復号し、その復号結果を有効または無効を示すフラグとともに保持する。
【００３５】
送信ＩＤ・復号結果キャッシュ部２１３ａ〜２１３ｄは、対応するサブ画像領域毎に存在し、さらに複数の送信ＩＤと最も新しいサブ画像の復号結果およびその復号結果が有効か否かを示すVALIDフラグの組合せを保持するための複数のエントリ領域を持っている。
【００３６】
比較・判定部２１４は、サブ画像復号部２１２ａ〜２１２ｄが保持する復号結果が有効でなく、かつ、対応する送信ＩＤ・復号結果キャッシュ部２１３ａ〜２１３ｄに送信ＩＤ保持部の値と一致する送信ＩＤを持つエントリがあり、なおかつ有効な復号結果を保持している場合のみ、この復号結果を参照し、分割された全ての正しい部分復号結果が得られた場合に、これらを結合して誤り訂正処理あるいは誤り検出処理を行い、正しい復号結果が得られた場合にのみ、これを最終復号結果として出力するとともに、送信ＩＤ保持部２２１の値と同じ値を保持する送信ＩＤ・復号結果キャッシュ部２１３ａ〜２１３ｄのエントリのVALIDフラグを無効にする。
【００３７】
また、分割された全ての正しい部分復号結果が得られたにも係わらず、それらを結合した情報から正しくない結果が得られた場合（誤り訂正できなかった、あるいは正しいパリティ情報が得られなかった場合）、あるいは、分割された全ての正しい部分復号結果が得られなかった場合には、最終復号結果にエラーがあった事を出力し再度の画像解析を促すとともに、正しく復号されたサブ画像復号部２１２ａ〜２１２ｄの結果のみを対応する送信ＩＤ・復号結果キャッシュ部２１３ａ〜２１３ｄに転送し、VALIDフラグを有効にする。
【００３８】
次に、制御部１１によって実行されるプログラムのアルゴリズムを図６のフローチャートを用いて説明する。なお、ここでは画像の分割数＝４として説明する。まず初めにステップＳ２１で、コンピュータネットワークあるいは公衆回線を通じて送られてきた情報から入力画像を取り出しサブ画像分割部に転送すると同時に、送信ＩＤを送信ＩＤ保持部に記憶する。
【００３９】
次に、ステップＳ２２で入力画像を所定数のサブ画像に分割する。次に、ステップＳ２３で、サブ画像毎に付加情報の復号を行い、その時のパリティをチェックして、パリティが適切な値である場合、VALIDフラグを有効にし、復号結果を保持する。逆に、パリティの値が適切でなかった場合は、VALIDフラグを無効化する。なお、パリティとしてはチェックサムやＣＲＣなどの使用が適当である。
【００４０】
次に、ステップＳ２４では、全てのサブ画像から正しい復号結果が得られたかをチェックし、そうであればステップＳ２６へ、そうでなければステップＳ２５に進む。ステップＳ２５では、ステップＳ２４で正しい復号結果が得られなかったサブ画像に対応する送信ＩＤ・復号結果キャッシュ部から送信ＩＤ保持部に記録されている送信ＩＤと同じ値を持つエントリを調べ、それら全てが有効な復号結果を保持しているかを調べる。その結果、送信ＩＤ・復号結果キャッシュ部の有効な情報を用いることで、全てのサブ画像に対応する正しい部分復号結果が得られる場合にはステップＳ２６に進み、そうでない場合はステップＳ２９に進む。
【００４１】
ステップＳ２６では、全ての正しい部分復号結果を連結し、それに対して所定の誤り訂正復号化を実施する。ステップＳ２７では、正しく復号できたかどうかをチェックし、できた場合にはステップＳ２８へ進み、そうでない場合にはステップＳ２９に進む。
【００４２】
ステップＳ２８では、正しく復号できた復号結果を出力すると共に、全ての送信ＩＤ・復号結果キャッシュ中の送信ＩＤ保持部と同じ値の送信ＩＤが記録されているエントリの無効化を行う。これは正しい付加情報の復号ができたために、これらキャッシュ情報が今後しばらく使われる可能性がほとんどなくなったためである。
【００４３】
ステップＳ２９では、付加情報の復号に失敗した事を出力し、再度の解析を促す。それと同時に、VALIDフラグが有効なサブ画像復号部の内容を対応する送信ＩＤ・復号結果キャッシュ部に転送し、そのVALIDフラグを有効化する。これは次の解析に備えて、有効な部分復号結果をキャッシュ中に記憶しておくためである。
【００４４】
なお、この時、複数あるキャッシュエントリからどのエントリを選択して更新するかは、例えば、所定の順序で無効なキャッシュエントリを探し、それが存在した場合には最初に見つかった無効なキャッシュエントリを更新し、無効なキャッシュエントリが１つもなかった場合には、送信ＩＤをキャッシュエントリの数で割った余りに対応する位置に書き込むなどすればいい。
【００４５】
このような第２実施形態によれば、カメラ付き端末は復号を行いたい画像データを取り込んで画像処理装置へ送信し、画像処理装置から返信される復号結果、すなわち付加情報を得る構成となり、複雑な復号処理機能をカメラ付き端末内に実装する必要がなくなる。また、サーバとなる画像処理装置では、カメラ付き端末から送られてきた画像データを複数の領域に分割し、各々復号して正しい部分復号結果を各領域および各送信ＩＤに対応する復号結果キャッシュ部に格納するため、復号の失敗により、再度画像データを取り込んで復号を試みる際に、部分的に復号に失敗した領域があっても、その領域に対する正しい復号結果がキャッシュ部に存在すれば、これらと結合することにより短時間で正確に付加情報を取得し、カメラ付き端末へ返信できるようになる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の画像処理装置の一例を表す構成ブロック図である。
【図２】本発明の実施の画像処理装置における付加情報のデータ形式である。
【図３】第1の実施例における制御部の構成要素である。
【図４】第1の実施例における制御部のフローチャートである。
【図５】第２の実施例における制御部の構成要素である。
【図６】第２の実施例における制御部のフローチャートである。
【符号の説明】
【００４７】
１１…制御部、１２…記憶部、１３…操作部、１４…表示部、１５…入出力部、１１１…サブ画像分割部、１１２ａ〜１１２ｄ…サブ画像復号部、１１３ａ〜１１３ｄ…復号結果キャッシュ部、１１４…比較・判定部
【図１】
2007074471.tif 000003
【図２】
2007074471.tif 000004
【図３】
2007074471.tif 000005
【図４】
2007074471.tif 000006
【図５】
2007074471.tif 000007
【図６】
2007074471.tif 000008