(57)【要約】【課題】  画像の出力系を用いて、画像及び他の情報処理を指定するための挿入情報の同時出力を可能とする。【解決手段】  カメラモジュール１の画像処理部１３は、撮像素子１２で撮像された二次元コードの画像情報を形成し、これをセレクタ１６に供給する。また、二値化処理部１４は、二次元コードの画像情報を二値化し、この二値化情報をセレクタ１６に供給する。セレクタ１６は、タイミング発生部１５から供給される第１の同期信号（垂直同期信号及び水平同期信号）に基づいて二次元コードの画像情報を出力すると共に、水平同期期間にハイレベルとなる第２の同期信号に基づいて、この二次元コードの画像情報の水平同期期間に上記二値化情報を挿入して出力する。後段の情報処理回路は、上記第１の同期信号に基づいて二次元コードの画像を表示部に表示制御し、第２の同期信号に基づいて上記二値化情報を抽出し、この二次元コードで示される情報処理を行う。【選択図】  図２
2005269084.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
上記撮像手段により撮像された画像に同期をとるための第１の同期信号、及び該画像のブランキング期間に同期をとるための第２の同期信号を形成する同期形成手段と、
上記撮像手段により撮像された画像のブランキング期間に挿入するための挿入情報を形成する情報形成手段と、
上記同期形成手段からの第１の同期信号に基づいて、上記撮像手段により撮像された画像を出力すると共に、上記同期形成手段からの第２の同期信号に基づいて、上記撮像手段により撮像された画像のブランキング期間に、上記情報形成手段で形成された挿入情報を挿入して出力する画像出力手段と、
上記同期形成手段で形成された上記第１，第２の同期信号を出力する同期出力手段と
を有するカメラモジュール。
【請求項２】
請求項１に記載のカメラモジュールであって、
上記情報形成手段は、上記撮像手段により撮像された二次元コードの画像の輝度情報を二値化した二値化情報を、上記画像のブランキング期間に挿入するための上記挿入情報として形成すること
を特徴とするカメラモジュール。
【請求項３】
請求項１に記載のカメラモジュールであって、
上記情報形成手段は、上記撮像手段により順次撮像される各画像毎に、画像的に同じ部分を示す特徴点を複数検出し、この各特徴点を示す位置情報を上記挿入情報として形成すること
を特徴とするカメラモジュール。
【請求項４】
撮像手段と、上記撮像手段により撮像された画像に同期をとるための第１の同期信号、及び該画像のブランキング期間に同期をとるための第２の同期信号を形成する同期形成手段と、上記撮像手段により撮像された画像のブランキング期間に挿入するための挿入情報を形成する情報形成手段と、上記同期形成手段からの第２の同期信号に基づいて、上記撮像手段により撮像された画像のブランキング期間に、上記情報形成手段で形成された挿入情報を挿入すると共に、この挿入情報を挿入した画像を、上記同期形成手段からの第１の同期信号に基づいて出力する画像出力手段と、上記同期形成手段で形成された上記第１，第２の同期信号を出力する同期出力手段と
を備えたカメラモジュールと、
上記カメラモジュールの同期出力手段からの上記第１の同期信号に同期して、上記撮像手段により撮像された画像を表示手段に表示処理する表示処理手段と、上記カメラモジュールの同期出力手段からの上記第２の同期信号に同期して、上記表示手段に表示される画像のブランキング期間に挿入されている上記挿入情報を抽出する挿入情報抽出手段と、上記挿入情報抽出手段で抽出された上記挿入情報に対応する情報処理を行う情報処理手段と
を備えた画像処理手段と
を有する画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
上記カメラモジュールの情報形成手段は、上記撮像手段により二次元コードの画像が撮像された際に、この二次元コードの画像の輝度情報を二値化した二値化情報を、上記画像のブランキング期間に挿入するための上記挿入情報として形成し、
上記画像処理手段の表示処理手段は、上記第１の同期信号に同期して、上記撮像手段により撮像された二次元コードの画像を表示手段に表示処理し、
上記画像処理手段の上記情報処理手段は、上記挿入情報抽出手段により、上記第２の同期信号に同期して抽出された二次元コードに対応する情報処理を行うこと
を特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
上記カメラモジュールの情報形成手段は、上記撮像手段により順次撮像される各画像毎に、画像的に同じ部分を示す特徴点を複数検出し、この各特徴点を示す位置情報を、上記画像のブランキング期間に挿入するための上記挿入情報として形成し、
上記画像処理手段の表示処理手段は、上記第１の同期信号に同期して、上記撮像手段により撮像された画像を表示手段に表示処理し、
上記画像処理手段の上記挿入情報抽出手段は、上記第２の同期信号に同期して、上記画像のブランキング期間に挿入されている上記各特徴点を示す位置情報を抽出し、
上記画像処理手段の上記情報処理手段は、上記挿入情報抽出手段により抽出された上記各特徴点の位置情報に基づいて、上記撮像手段により順次撮像される複数枚分の各画像を、該各画像の上記各特徴点同士を一致させて重ね合わせ、該各画像の画素値を加算処理することで、複数枚分の画像から１枚分の画像を形成すること
を特徴とする画像処理装置。
【請求項７】
撮像手段と、上記撮像手段により撮像された画像に同期をとるための第１の同期信号、及び該画像のブランキング期間に同期をとるための第２の同期信号を形成する同期形成手段と、上記撮像手段により順次撮像される各画像毎に、画像的に同じ部分を示す特徴点を複数検出し、この各特徴点を示す位置情報を、上記撮像手段により撮像された画像のブランキング期間に挿入するための挿入情報として形成する情報形成手段と、上記同期形成手段からの第２の同期信号に基づいて、上記撮像手段により撮像された画像のブランキング期間に、上記情報形成手段で形成された上記各特徴点の挿入情報を挿入すると共に、この挿入情報を挿入した画像を、上記同期形成手段からの第１の同期信号に基づいて出力する画像出力手段と、上記同期形成手段で形成された上記第１，第２の同期信号を出力する同期出力手段と
を備えたカメラモジュールと、
上記カメラモジュールの同期出力手段からの上記第１の同期信号に同期して、上記撮像手段により撮像された画像を表示手段に表示処理する表示処理手段と、上記カメラモジュールの同期出力手段からの上記第２の同期信号に同期して、上記表示手段に表示される画像のブランキング期間に挿入されている上記特徴点の挿入情報を抽出する挿入情報抽出手段と、上記挿入情報抽出手段で抽出された上記各特徴点の位置情報に基づいて、上記撮像手段により順次撮像される複数枚分の各画像を、該各画像の上記各特徴点同士を一致させて重ね合わせ、該各画像の画素値を加算処理することで、複数枚分の画像から１枚分の画像を形成する情報処理手段と
を備えた画像処理手段と、
上記画像処理手段の情報処理手段で形成された画像の送信を行う送信手段と
を有する端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ機能を備えた、携帯電話機，ＰＨＳ電話機（Personal Handyphone System），ＰＤＡ装置（Personal Digital Assistant），ノート型のパーソナルコンピュータ装置、据え置き型のパーソナルコンピュータ装置等の端末装置に適用して好適なカメラモジュール、画像処理装置及び端末装置に関する。
【背景技術】
【０００２】
今日において、カメラモジュールを備えると共に、このカメラモジュールで撮像された画像を、音声と共に送受信するテレビ電話機能を備えた携帯電話機が普及しつつある。このテレビ電話機能を用いる場合、ユーザは、携帯電話機を手に持ち（或いは、机等の上に据え置き）、この携帯電話機に設けられているカメラモジュールで自分を撮像しながら通話を行う。これにより、互いのカメラ装置で撮像された画像、及び互いのマイクロホン装置で集音されたユーザの音声が、互いの携帯電話機間で送受信され、テレビ電話が実現されることとなる。  
なお、以下の特許文献１に、それぞれ異なる露光時間で複数の画像を順次撮像すると共に、被写体像の動き量（手振れ量）を検出し、この手振れ量に基づいて各画像の座標変換を行い、被写体像を中心とした所定範囲の画像を抽出して合成することで、手振れ補正がなされ、かつ、ダイナミックレンジが拡大された撮像画像を得る撮像方法及び撮像装置が開示されている。
【０００３】
【特許文献１】特開平５−７３３６公報（第３頁〜第４頁及び第５頁：図１１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の携帯電話機に設けられているカメラモジュールは、撮像した画像の画像データしか出力することができず、この画像データと共に該画像データのデータ処理を指定するための画像処理指定データを出力する場合、画像データの出力系とは別に、上記画像処理指定データの出力系を設ける必要があった。そして、画像処理指定データの出力系を設ける場合、出力系が一つ増えることとなるため、回路規模の大型化及び複雑化を招く問題があった。
【０００５】
本発明は上述の課題に鑑みてなされたものであり、画像データの出力系を用いて、画像データと共に他の情報を出力することが可能なカメラモジュール、及びこのカメラモジュールから出力された画像データの画像処理と並列的に、上記他の情報に基づく情報処理を行う画像処理装置及び端末装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮像手段で撮像された画像のブランキング期間に、所定の情報処理を指定する挿入情報を挿入して出力することで、画像の出力系を用いて、画像及び他の情報処理を指定するための挿入情報の同時出力を可能とする。
【０００７】
また、上記画像の同期をとるための第１の同期信号の他、上記画像のブランキング期間に挿入された挿入情報に同期をとるための第２の同期信号を出力する。後段の画像処理手段では、上記第１の同期信号に基づいて上記画像を表示手段に表示する表示処理を行うと共に、この処理と並列的に、上記第２の同期信号に基づいて上記挿入情報を抽出し、この挿入情報に対応する情報処理を行う。これにより、見かけ上、一つの情報（画像情報）から複数の並列的な情報処理（画像の表示処理及び挿入情報に対応する情報処理）を可能とすることができる。
【発明の効果】
【０００８】
本発明は、画像の出力系を用いて、画像と共に、他の情報を出力することができる。すなわち、一つの情報経路を用いて、複数の情報（画像及び他の情報）を出力することができる。
【０００９】
また、画像に同期をとるための第１の同期信号の他、該画像のブランキング期間に挿入された挿入情報に同期をとるための第２の同期信号を出力することで、後段の画像処理手段において、上記第１の同期信号に基づく画像の表示処理と並列的に、上記第２の同期信号に同期して該画像から抽出した上記挿入情報に対応する情報処理を行うことができる。
【発明を実施するための最良の形態】
【００１０】
本発明は、携帯電話機に適用することができる。
【００１１】
［第１の実施の形態の概要］
本発明の第１の実施の形態となる携帯電話機は、カメラモジュールで２次元コードを撮像した際に、この撮像した２次元コードを表示部に表示する画像処理、及びこの撮像した２次元コードに対応する情報処理を行うものである。
【００１２】
［携帯電話機の構成］
図１に、この実施の形態となる携帯電話機の要部のブロック図を示す。この図１からわかるように、この実施の形態の携帯電話機は、上記２次元コードを撮像するカメラモジュール１と、このカメラモジュール１により撮像された２次元コードの画像を表示するための画像処理、及び撮像された２次元コードに対応する情報処理を行う情報処理部２とを有している。
【００１３】
また、この携帯電話機は、カメラモジュール１の撮像制御を行うカメラ制御部３と、カメラモジュール１の撮像操作等を行うための操作部４と、カメラモジュール１により撮像された撮像画像等を表示するための表示部５と、電話帳，アドレス帳，スケジュール帳等のユーザデータの他、図示しない通信系の通信制御アプリケーションプログラムや、上記カメラモジュール１の撮像制御アプリケーションプログラム等の、各種のアプリケーションプログラム等が記憶されたメモリ６と、当該携帯電話機全体の動作を制御する制御部７（ＣＰＵ）とを有している。
【００１４】
［カメラモジュール１の構成］
図２にカメラモジュールのブロック図を示す。この図２に示すようにカメラモジュール１は、被写体の撮像を行う撮像素子１２（ＣＣＤイメージセンサ）と、撮像素子１２からの画像信号に対して所定の信号処理を施すことでＹＵＶ（Ｙ：輝度信号、Ｕ：色差信号（Ｂ−Ｙ）、Ｖ：色差信号（Ｒ−Ｙ））の各信号を形成する画像処理部１３と、画像処理部１３により形成されたＹＵＶの各信号のうち、輝度信号（Ｙ）を二値化した二値化情報を形成する二値化処理部１４とを有している。
【００１５】
また、このカメラモジュール１は、所定周波数のピクセルクロック（ＰＣＬＫ）、及びフレーム有効画像データに同期をとるための第１の同期信号である垂直同期信号（ＶＳＹＮＣ）及び水平同期信号（ＨＳＹＮＣ）の他、水平同期区間に挿入される二値化情報に同期をとるための第２の同期信号（２ＮＤＨＳＹＮＣ）を出力するタイミング発生部１５と、画像処理部１３からのＹＵＶの各信号を、タイミング発生部１５からのピクセルクロック（ＰＣＬＫ）、垂直同期信号（ＶＳＹＮＣ）及び水平同期信号（ＨＳＹＮＣ）にそれぞれ同期した画像信号として出力すると共に、第２の同期信号（２ＮＤＨＳＹＮＣ）に基づいて、この画像信号の水平同期期間に上記二値化情報を挿入して出力するセレクタ１６とを有している。
【００１６】
［情報処理部２の構成］
情報処理部２は、カメラモジュール１からのピクセルクロック（ＰＣＬＫ）及び第１の同期信号（ＶＳＹＮＣ及びＨＳＹＮＣ）に基づいて、該カメラモジュール１により撮像された二次元コードの画像情報の取り込みを行う画像情報取り込み回路２１と、カメラモジュール１からの第２の同期信号に基づいて、該カメラモジュール１により撮像された画像情報の上記水平同期区間に挿入された二値化情報の取り込みを行う二値化情報取り込み回路２２とを有している。
【００１７】
また、情報処理部２は、カメラモジュール１で撮像された画像の画素数の間引き処理するデシメーションフィルタ２３と、上記デシメーションフィルタ２３により画素の間引き処理がなされた画像情報や、上記二値化情報取り込み回路２２により取り込まれた二値化情報を記憶するデータ保持メモリ２５と、データ保持メモリ２５に記憶された画像情報に対して、例えばＪＰＥＧ方式（JPEG：Joint Photographic Coding Experts Group）に対応するエンコード処理やデコード処理を施すと共に、データ保持メモリ２５に記憶された二値化情報を認識して、この認識した二値化情報に対応する情報処理を行う情報処理回路２５とを有している。
【００１８】
［第１の実施の形態の携帯電話機の動作］
〔カメラモジュール１の動作〕
この第１の実施の形態の携帯電話機において、２次元コードに対応する情報処理を行わせる場合、ユーザは、上記カメラモジュール１で所望の情報処理に対応する２次元コードの撮像が行われるように、当該携帯電話機の操作部４を操作する。
【００１９】
この撮像操作が行われると、カメラモジュール１は、図２に示すＣＣＤイメージセンサ等の撮像素子１２で上記２次元コードを撮像し、この画像信号を画像処理部１３に供給する。画像処理部１３は、この画像信号に対して所定の画像処理を施すと共に、タイミング発生部１５からの垂直同期信号（ＶＳＹＮＣ）及び水平同期信号（ＨＳＹＮＣ）を挿入することで、ＹＵＶの各信号を形成し、これらをセレクタ１６に供給すると共に、輝度信号（Ｙ信号）のみ二値化処理部１４に供給する。二値化処理部１４は、このＹ信号を二値化し、これをセレクタ１６に供給する。
【００２０】
セレクタ１６には、タイミング発生部１５からのピクセルクロック（ＰＣＬＫ）及び第１の同期信号（垂直同期信号及び水平同期信号）の他、水平同期区間に挿入される二値化情報に同期をとるための第２の同期信号（２ＮＤＨＳＹＮＣ）が供給されている。
【００２１】
なお、タイミング発生部１５から出力されるピクセルクロック（ＰＣＬＫ）及び第１の同期信号（垂直同期信号及び水平同期信号）、及び第２の同期信号（２ＮＤＨＳＹＮＣ）は、セレクタ１６に供給される他、当該カメラモジュール１から図１に示す情報処理部２へ出力される。
【００２２】
セレクタ１６は、上記タイミング発生部１５から、水平同期信号が供給されてから次の水平同期信号が供給されるまでの間、画像処理部１３からの画像情報を選択し、これをライン有効画像情報として出力すると共に、垂直同期信号が供給されてから次の垂直同期信号が供給されるまでの間、画像処理部１３からの画像情報を選択し、これをフレーム有効画像情報として出力するのであるが、水平同期期間において、上記第２の同期信号が供給されている間、上記二値化処理部１４からの二値化されたＹ信号を選択して出力する。これにより、セレクタ１６からは、上記ライン有効画像情報及びフレーム有効画像情報の他、水平同期期間に上記二値化されたＹ信号が挿入されて出力されることとなる。
【００２３】
このようなセレクタ１６の動作をさらに詳細に説明する。図３は、垂直同期信号、水平同期信号、第２の同期信号、及びセレクタ１６から出力される画像情報の各タイミングを示している。
【００２４】
具体的には、図３（ａ）は垂直同期信号（ＶＳＹＮＣ）を示しており、この垂直同期信号がローレベルとなっている間が垂直ブランキング期間である。また、図３（ｂ）は水平同期信号（ＨＳＹＮＣ）を示しており、この水平同期信号がローレベルとなっている間が水平ブランキング期間である。
【００２５】
また、図３（ｃ）は、この水平ブランキング期間に形成される第２の同期信号（２ＮＤＨＳＹＮＣ）を示している。この第２の同期信号は、水平同期信号がローレベルとなっている間に、所定期間、ハイレベルとなる。
【００２６】
なお、この図３（ｂ），（ｃ）においては、水平ブランキング期間のタイミングが１本の線の信号として図示されているため、この水平ブランキング期間と略々同じタイミングで形成される第２の同期信号も、同様に１本の線の信号として図示されている。また、図３（ｄ）は、前後の垂直同期信号間に出力されるフレーム有効画像情報を示している。
【００２７】
セレクタ１６は、図３（ａ）に示す垂直同期信号がハイレベルの間のみ、図３（ｄ）に示すように画像処理部１３からの画像情報を選択して出力する。これにより、垂直同期信号がハイレベルの間のみ、フレーム有効画像情報がセレクタ１６から出力されることとなる。
【００２８】
ここで、セレクタ１６は、図３（ｂ）に示す水平同期信号がローレベルとなる水平同期期間において、図３（ｃ）に示すハイレベルの第２の同期信号が供給される間、二値化処理部１４からの二値化されたＹ信号を選択して出力する。この様子を図４に示す。
【００２９】
この図４は、図３に示す水平同期信号、第２の同期信号、セレクタ１６から出力される画像情報等のタイミングを拡大して示した図である。具体的には、図４（ａ）が垂直同期信号を、図４（ｂ）が水平同期信号を、図４（ｃ）が第２の同期信号を、図４（ｄ）がピクセルクロックを、図４（ｅ）がセレクタ１６から出力される画像情報を示している。
【００３０】
この図４からわかるように、タイミング発生部１５は、図４（ｂ）に示すローレベルの水平同期信号を形成すると共に、このローレベルの水平同期信号を形成している間に、図４（ｃ）に示すようにハイレベルの第２の同期信号を形成して出力する。
【００３１】
そして、セレクタ１６は、タイミング発生部１５からハイレベルの水平同期信号が供給されている間は、画像処理部１３からの画像情報を選択して出力することにより、図４（ｅ）に示すように水平ラインの有効画像情報（ライン有効画像データ）を出力する。また、セレクタ１６は、タイミング発生部１５からローレベルの水平同期信号が供給されている間において、図４（ｃ）に示すハイレベルの第２の同期信号が供給されている間、二値化処理部１４からの二値化されたＹ信号（二値化データ）を選択して出力することにより、図４（ｅ）に示すように水平同期期間に二値化されたＹ信号を挿入して出力する。
【００３２】
〔情報処理部２の動作〕
次に、このようにカメラモジュール１から出力された画像情報は、図１に示す情報処理部２の画像情報取り込み回路２１に供給されると共に、二値化情報取り込み回路２２に供給される。
【００３３】
また、カメラモジュール１から出力されたピクセルクロック（ＰＣＬＫ）及び第１の同期信号（ＨＳＹＮＣ及びＶＳＹＮＣ）は、上記画像情報取り込み回路２１に供給され、カメラモジュール１から出力された第２の同期信号（２ＮＤＨＳＹＮＣ）は、上記二値化情報取り込み回路２２に供給される。
【００３４】
画像情報取り込み回路２１は、カメラモジュール１から供給されるピクセルクロック（ＰＣＬＫ）及び第１の同期信号（ＨＳＹＮＣ及びＶＳＹＮＣ）に基づいて、該カメラモジュール１で撮像された二次元コードの画像情報を形成し、これをデシメーションフィルタ２３に供給する。デシメーションフィルタ２３は、この二次元コードの画像の画素数を間引き処理し、この間引き処理により形成した二次元コードの画像情報をデータ保持メモリ２４に一旦記憶制御する。
【００３５】
情報処理回路２５は、このデータ保持メモリ２４に記憶された二次元コードの画像情報に対して、例えばＪＰＥＧ方式に対応するエンコード処理を施してデータ保持メモリ２４に一旦記憶制御すると共に、該ＪＰＥＧ方式でエンコード処理された二次元コードの画像情報をデータ保持メモリ２４から読み出して、ＪＰＥＧ方式に対応するデコード処理を施し、これを表示部５に供給する。これにより、カメラモジュール１で撮像された二次元コードの画像が表示部５に表示されることとなる。
【００３６】
一方、二値化情報取り込み回路２２は、カメラモジュール１で撮像された二次元コードの画像情報の水平同期期間に挿入されている二値化情報を、カメラモジュール１からの第２の同期信号に同期して取り込み、これをデータ保持メモリ２４に記憶制御する。
【００３７】
情報処理回路２５は、この二値化情報をデータ保持メモリ２４から読み出し、二次元コードに対応する情報処理内容を認識する。そして、この認識結果をＣＰＵ７に供給する。
【００３８】
ＣＰＵ７は、例えば情報処理回路２５からの認識結果が所定のＵＲＬ（URL：Uniform Resource Locator）を示すものであった場合、図示しない当該携帯電話機の通信系を通信制御して、このＵＲＬのＷｅｂサイトに対してアクセスする。これにより、カメラモジュール１で撮像された二次元コードで示唆される、例えば地図情報や広告情報等を上記ＵＲＬのＷｅｂサイトから取り込むことができる。
【００３９】
このような携帯電話機の動作の流れは、図５のフローチャートに示すようになっている。このフローチャートは、ユーザが操作部４を操作することでなされる、カメラモジュール１を用いた撮像指示を、ＣＰＵ７が検出することでスタートとなる。
【００４０】
ＣＰＵ７は、この撮像指示を検出すると、ステップＳ１〜ステップＳ３において、画像取り込み回路２１、二値化データ取り込み回路２２、及びデシメーションフィルタ２３をそれぞれ初期化すると共に、カメラ制御部３を介してカメラモジュール１を駆動状態に制御する。これにより、カメラモジュール１により撮像された画像の画像情報を、上記各取り込み回路２１、２２に供給されることとなる。そして、ＣＰＵ７は、ユーザから操作部４の二値化コード認識開始操作がなされたタイミングで、各取り込み回路２１、２２に取り込み制御信号を供給する。
【００４１】
この取り込み制御信号が供給されると、上記画像情報取り込み回路２１は、前述のようにピクセルクロック及び第１の制御信号に基づいて、カメラモジュール１により撮像された画像の取り込みを行う（例えば、１フレーム分）。また、上記二値化情報取り込み回路２２は、上記第２の同期信号に基づいて、カメラモジュール１により撮像された画像の水平同期期間に挿入されている二値化情報の取り込みを行う。なお、画像情報取り込み回路２１からの画像情報、及び二値化情報取り込み回路２２からの二値化情報は、それぞれデータ保持メモリ２４に一旦記憶される。
【００４２】
次に、ステップＳ４では、ＣＰＵ７が、データ保持メモリ２４に記憶されている撮像情報を検索することで、撮像画像の取り込みが完了したか否かを判別する。そして、撮像画像の取り込みが完了したものと判別した場合、ＣＰＵ７は、ステップＳ５において、情報処理回路２５を介して、データ保持メモリ２４に記憶されている画像情報から、表示用の画像情報を形成し、これを、ステップＳ６において、表示部５に表示制御する。これにより、先ほど撮像された二次元コードの画像が表示部５に表示されることとなる。
【００４３】
一方、撮像画像の取り込みが完了していないものと判別した場合、ＣＰＵ７は、ステップＳ７において、二値化情報取り込み回路２２で、１フレーム分の二値化情報の取り込みが完了したか否かを判別する。そして、二値化情報の取り込みが完了していないと判別した場合、ＣＰＵ７は、処理をステップＳ４に戻し、当該ステップＳ４及びステップＳ７を繰り返し実行することで、画像情報の取り込み待ち状態となる。
【００４４】
これに対して、二値化情報の取り込みが完了したものと判別した場合、ステップＳ８において、ＣＰＵ７は情報処理回路２５を介して、この取り込まれた二値化情報で示される二次元コードの認識処理を行う。そして、ステップＳ９において、この二次元コードの認識に成功したか否かを判別し、二次元コードを認識することができなかった場合、ＣＰＵ７は、ステップＳ１１において、例えば「撮像された二次元コードを認識することができません。再度、撮像し直して下さい。」等のエラーメッセージを表示部５に表示制御し、当該フローチャートの処理を終了する。
【００４５】
また、ステップＳ９において、二次元コードを認識することができた場合、ＣＰＵ７は、ステップＳ１０において、この認識した二次元コードに対応する情報処理を、情報処理回路２５を介して行い、当該フローチャートの処理を終了する。これにより、前述のようにカメラモジュール１で撮像された二次元コードで示されるＵＲＬに対して自動的にアクセスがなされ、このＷｅｂページの情報がダウンロード等されることとなる。
【００４６】
［第１の実施の形態の効果］
以上の説明から明らかなように、この第１の実施の形態の携帯電話機は、カメラモジュール１側において、撮像した二次元コードの画像の画像情報の水平同期期間に、この二次元コードの画像情報のＹ信号を二値化した二値化情報を挿入し、これを後段の情報処理部２に供給する。
【００４７】
また、カメラモジュール１は、この二次元コードの画像の画像情報に同期したピクセルクロック、及び第１の同期信号（水平同期信号及び垂直同期信号）と共に、上記挿入した二値化情報に同期を図るための第２の同期信号を情報処理部２に供給する。
【００４８】
情報処理部２は、第１の同期信号に基づいて、二次元コードの画像情報を表示部５に表示制御すると共に、この二次元コードの各水平同期期間に挿入されている二値化情報を、第２の同期信号に基づいて抽出することで、１フレーム分の二次元コードを再生する。そして、この再生した二次元コードを認識し、この認識結果に対応する情報処理を行う。
【００４９】
これにより、画像情報の出力系を用いて、画像情報と共に二次元コードの情報を出力することができる。すなわち、一つの情報経路を用いて、複数の情報（画像情報及び二次元コードの情報）を出力することができる。
【００５０】
また、画像情報に同期をとるための第１の同期信号の他、該画像情報のブランキング期間に挿入された二次元コードに同期をとるための第２の同期信号を出力することで、後段の情報処理部２において、上記第１の同期信号に基づく画像情報の表示処理と並列的に、上記第２の同期信号に同期して該画像情報の水平同期期間から抽出した二次元コードに対応する情報処理を行うことができる。
【００５１】
また、カメラモジュール１において、撮像素子１２で撮像された二次元コードの画像の画像情報の輝度信号を二値化するようにしているため、上記画像情報の水平同期期間に挿入する二次元コードの情報量を少なくすることができる。
【００５２】
［第２の実施の形態］
次に、本発明の第２の実施の形態となる携帯電話機の説明をする。
【００５３】
この第２の実施の形態の携帯電話機は、カメラモジュール１側において、各フレームの画像間で、画像的に同じ部分を示す特徴点を複数検出し、この各特徴点を示す位置情報を、撮像した画像情報の水平同期期間に挿入して出力する。そして、後段の情報処理部２において、各フレームの画像を、上記各特徴点に基づいて複数枚重ね合わせ、手振れの影響を軽減すると共に、ダイナミックレンジの拡大された１枚の画像情報を形成するようにしたものである。
【００５４】
なお、この第２の実施の形態の説明に使用する図面において、第１の実施の形態と同様の動作を示す箇所には、該第１の実施の形態と同じ符号を付すことで、重複した説明は省略する。
【００５５】
［カメラモジュール及び情報処理部の構成］
図６に、この第２の実施の形態の携帯電話機に設けられているカメラモジュール３１のブロック図を、図７に、このカメラモジュール３１からの画像情報の処理を行う情報処理部４１のブロック図を、それぞれ示す。
【００５６】
図６からわかるように、カメラモジュール３１は、画像処理部１３で所定の画像処理が施された画像情報から、前後のフレーム間で画像的に同じ部分を示す特徴点を検出する特徴点検出部３２を有している。
【００５７】
また、図７からわかるように、情報処理部４１は、第２の同期信号に同期して、カメラモジュール１の各フレームの画像情報の水平同期期間に挿入された、各画像の特徴点を示す位置情報の取り込みを行う特徴点取り込み回路４２と、画像情報取り込み回路２１で取り込まれた複数枚の各フレームの画像情報を、特徴点取り込み回路４２で取り込まれた特徴点に基づいて重ね合わせることで、手振れの影響を軽減すると共に、ダイナミックレンジの拡大された１枚の画像情報を形成する画像処理部４３を有している。
【００５８】
［第２の実施の形態の携帯電話機の動作］
〔カメラモジュール３１の動作〕
この第１の実施の形態の携帯電話機のカメラモジュール３１は、図６に示す特徴点検出部３２が、画像処理部１３からの各フレームの画像から、画像的に同じ部分を示す特徴点の検出を行う。
【００５９】
具体的には、特徴点検出部３２は、画像処理部１３から第１フレーム目の画像が供給されると、図８（ａ）に示すように、この第１フレーム目の画像から例えば２つの特徴点Ａ、特徴点Ｂを検出し、この特徴点Ａの座標情報である位置情報（Ｘａ１，Ｙａ１）、及び特徴点Ｂの座標情報である位置情報（Ｘｂ１，Ｙｂ１）を形成する。
【００６０】
なお、この位置情報における「Ｘ」は横軸の座標値を示しており、「Ｙ」は縦軸の座標値を示している。また、「ａ」は一つ目の特徴点であることを示し、「ｂ」は二つ目の特徴点であることを示す。さらに、「１」の数字は、第１フレーム目の位置情報であることを示している。
【００６１】
次に、画像処理部１３から第２フレーム目の画像が供給されると、特徴点検出部３２は、図８（ｂ）に示すように、上記第１フレーム目の画像の特徴点Ａ、特徴点Ｂと同じ部分を、第２フレーム目の画像から検出し、この同じ部分を、それぞれ第２フレーム目の画像の特徴点Ａ、特徴点Ｂとして検出する。そして、この第２フレーム目の画像の特徴点Ａの座標情報である位置情報（Ｘａ２，Ｙａ２）、及び特徴点Ｂの座標情報である位置情報（Ｘｂ２，Ｙｂ２）を形成する。
【００６２】
同様に、画像処理部１３から第３フレーム目の画像が供給されると、特徴点検出部３２は、図８（ｃ）に示すように、上記第１フレーム目の画像及び第２フレーム目の画像の特徴点Ａ、特徴点Ｂと同じ部分を、第３フレーム目の画像から検出し、この同じ部分を、それぞれ第３フレーム目の画像の特徴点Ａ、特徴点Ｂとして検出する。そして、この第３フレーム目の画像の特徴点Ａの座標情報である位置情報（Ｘａ３，Ｙａ３）、及び特徴点Ｂの座標情報である位置情報（Ｘｂ３，Ｙｂ３）を形成する。
【００６３】
このように検出された各フレームの画像の各特徴点Ａ、Ｂを示す位置情報は、それぞれセレクタ１６に供給される。セレクタ１６は、タイミング発生部１５からの第２の同期信号に基づいて、上述の第１の実施の形態の携帯電話機と同様に、各フレームの画像情報の水平同期期間に、上記各特徴点Ａ、Ｂの位置情報をそれぞれ挿入し、これを後段の情報処理部４１に供給する。
【００６４】
〔情報処理部４１の動作〕
次に、カメラモジュール３１の画像処理部１３からの各フレームの画像情報と、特徴点検出部３２からの各特徴点を示す位置情報が供給されると、情報処理部４１は、図７に示す特徴点取り込み部４２が、第２の同期信号に同期して、各フレームの水平同期期間に挿入されている各特徴点の位置情報を取り込み、データ保持メモリ２４に一旦記憶制御する。
【００６５】
画像処理部４３は、このデータ保持メモリ２４に記憶制御された各特徴点の位置情報に基づいて、図９に示すように第１フレーム〜第３フレームの各画像を、各特徴点Ａ、Ｂを一致させるかたちで重ね合わせ、所定の範囲（図９中、点線で囲む範囲）を切り出すことで１枚の画像を形成する。
【００６６】
［第２の実施の形態の効果］
これにより、各フレームの画像を、画像的に同じ部分を一致させたうえで重ねあわせることができるため、手振れの影響を軽減することができる。また、各フレームの画像の各画素値を加算処理することができるため、ダイナミックレンジの拡大された画像を形成することができる。この他、上述の第１の実施の形態と同様の効果を得ることができる。
【００６７】
［変形例］
最後に、本発明は、一例として開示した上述の各実施の形態に限定されることはない。例えば、上述の各実施の形態の説明では、本発明を携帯電話機に適用することとしたが、これはカメラ機能を備えていれば、ＰＨＳ電話機（Personal Handyphone System），ＰＤＡ装置（Personal Digital Assistant），ノート型のパーソナルコンピュータ装置、据え置き型のパーソナルコンピュータ装置等の端末装置に適用してもよい。
【００６８】
また、二値化情報や特徴点の位置情報等の付加情報を、カメラモジュールで撮像された画像情報の水平同期期間に挿入することとしたが、これは、画像情報の垂直同期期間に挿入しても同じ効果を得ることができる。
【００６９】
そして、上述の各実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００７０】
【図１】本発明を適用した第１の実施の形態となる携帯電話機の要部のブロック図である。
【図２】上記第１の実施の形態の携帯電話機に設けられているカメラモジュールのブロック図である。
【図３】上記カメラモジュールの動作を説明するためのタイムチャートである。
【図４】図３に示すタイムチャートの要部を拡大して示した他のタイムチャートである。
【図５】上記第１の実施の形態の携帯電話機の情報処理動作を説明するためのフローチャートである。
【図６】本発明を適用した第２の実施の形態となる携帯電話機に設けられているカメラモジュールのブロック図である。
【図７】上記第２の実施の形態の携帯電話機の要部のブロック図である。
【図８】上記第２の実施の形態の携帯電話機のカメラモジュールの特徴点の検出動作を説明するための撮像画像の模式図である。
【図９】上記第２の実施の形態の携帯電話機において、上記特徴点を一致させて各フレームの画像を重ね合わせることにより１枚の画像を形成する様子を示す模式図である。
【符号の説明】
【００７１】
１  カメラモジュール、２  情報処理部、３  カメラ制御部、４  操作部、５  表示部、６  メモリ、７  制御部（ＣＰＵ）、１２  撮像素子、１３  画像処理部、１４  二値化処理部、１５  タイミング発生部、１６  セレクタ、２１  画像情報取り込み回路、２２  二値化情報取り込み回路、２３  デシメーションフィルタ、２４  データ保持メモリ、２５  情報処理回路、３１  カメラモジュール、３２  特徴点検出部、４１  情報処理部、４２  特徴点取り込み部、４３  画像処理部
【図１】
2005269084.tif 000003
【図２】
2005269084.tif 000004
【図３】
2005269084.tif 000005
【図４】
2005269084.tif 000006
【図５】
2005269084.tif 000007
【図６】
2005269084.tif 000008
【図７】
2005269084.tif 000009
【図８】
2005269084.tif 000010
【図９】
2005269084.tif 000011