(57)【要約】【課題】  生成されるデータサイズや生成に要する処理時間を増大させずに、画像とこれに関連する情報を生成する撮像装置を提供すること。【解決手段】  光を受光するセンサーと、センサーの発する電気信号から画像データを生成する画像データ生成手段と、画像データの特定の固定領域のデータをエンコードし画像ファイルを作成するエンコード手段と、画像データの前記特定の固定領域以外の領域のデータを認識処理し、認識結果を意味する文字データを生成する文字情報生成手段と、前記エンコード手段で生成された画像ファイルと前記文字情報生成手段で生成された文字情報を関連付けて保存する画像保存手段とを備えること。【選択図】  図２
2018125592.tif 000002
【特許請求の範囲】
【請求項１】
光を受光するセンサーと、
センサーの発する電気信号から画像データを生成する画像データ生成手段と、
画像データの特定の固定領域のデータをエンコードし画像ファイルを作成するエンコード手段と、
画像データの前記特定の固定領域以外の領域のデータを認識処理し、認識結果を意味する文字データを生成する文字情報生成手段と、
前記エンコード手段で生成された画像ファイルと前記文字情報生成手段で生成された文字情報を関連付けて保存する画像保存手段と
を備える撮像装置。
【請求項２】
前記文字情報生成手段が、画像中の文字情報を認識し、その認識結果である文字データを生成するものである、
請求項１に記載の撮像装置。
【請求項３】
前記文字情報生成手段が、人の顔とその人の氏名を対応付ける対応表をもち、画像中の人の顔を認識し、その認識結果と前記対応表を照らし合わせ、認識された結果を、氏名を意味する文字データとして、生成するものである、
請求項１に記載の撮像装置。
【請求項４】
前記画像保存手段が、前記文字情報を、前記画像ファイルに含まれる情報か、含まれない情報かを区別して保存することができる機能を更に有する
請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像保存手段が、前記文字情報を利用した検索機能を更に有する
請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像ファイルと前記文字情報をサーバに送付する、ファイル送信手段と、
前記画像ファイルを、サーバ側に存在する前記文字情報生成手段で処理させた結果を受信するサーバ処理結果受信手段と、
前記サーバ処理結果受信手段での受信したサーバで処理させた結果を前記画像保存手段に登録するサーバ処理結果登録手段と
を更に備える請求項１乃至５のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に撮像される画像に対し関連情報の付与を可能とする撮像装置に関する。
【背景技術】
【０００２】
近年、撮像装置によって撮影されるユーザ一人当たりの画像が増加していることから、検索に供するため、画像に関連する情報を残すことが重要となっている。画像と関連付ける詳細な情報を得るために、主画像とこれと異時に生成された副画像の双方から得られた情報を抽出する構成を有するものがある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５２２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術の構成では、画像に関連する情報を得るために二枚の画像を取得しなければならず、生成されたデータのサイズが非常に大きくなってしまう。これはインターネットの普及によって画像が送信される機会が増加した現状では不利である。また主画像と副画像が異なるタイミングで生成され、さらに副画像を生成する前にズーム等をすることが前提となっているので、一組の画像とその関連情報を生成するのに過大な時間を要する。また二つの画像の撮影にタイムラグが生じることから、これから抽出された情報も異時の情報になるという問題がある。
【０００５】
本発明は上記の問題点に鑑み、生成されるデータサイズや生成に要する処理時間を増大させずに、画像とこれに関連する情報を生成する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、
光を受光するセンサーと、
センサーの発する電気信号から画像データを生成する画像データ生成手段と、
画像データの特定の固定領域のデータをエンコードし画像ファイルを作成するエンコード手段と、
画像データの前記特定の固定領域以外の領域のデータを認識処理し、認識結果を意味する文字データを生成する文字情報生成手段と、
前記エンコード手段で生成された画像ファイルと前記文字情報生成手段で生成された文字情報を関連付けて保存する画像保存手段と
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、生成される画像およびそれに関連する情報を、ネットワークでの転送に向いたデータサイズにとどめ、またその生成にかかる処理時間やリソースを最小限に抑え、さらに生成される画像と情報との間に生じるタイムラグをなくすことができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の一実施形態に係る通信端末装置の構成例を示すブロック図である。
【図２】図２は、本発明の一実施形態に係るメモリの状態の例を示す図である。
【図３】図３は、本発明の一実施形態に係る通信端末装置の構成例を示すブロック図である。
【図４】図４は、本発明の一実施形態に係るシステム全体の構成例を示すブロック図である。
【図５】図５は、本発明の一実施形態に係るシステムのサーバでのデータ構成例を示すER図である。
【図６】図６は、本発明の一実施形態に係るサーバへの通信に使用するファイルの一例である。
【図７】図７は、本発明の一実施形態に係るサーバへの通信に使用するファイルの一例である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
［実施例１］
＜構成例＞
図１は本件実施形態に係る撮像装置の構成例を示すブロック図である。レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、補正レンズ群から構成される。補正レンズ群は、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備える。レンズユニット１０１によって、後述する撮像素子１０２の結像面上に被写体の光学像が結像される。撮像素子１０２は、結像された光学像を電気信号に変換する。そして、カメラ信号処理回路１０３は、撮像素子１０２によって生成される電気信号に対し所定の色変換処理など画像処理を行い、画像データを出力する。
【００１０】
ＩＰＵ１０４は、Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔであって、カメラ信号処理回路やディスプレーと接続するためのインターフェイス、ＤＭＡコントローラ、画像処理回路を内蔵し、カメラ信号処理回路やディスプレーとの接続と、画像の生成、変換、回転などを行う。ディスプレー１０５は、液晶パネルなどであって、ＩＰＵ１０４から受けた画像データを表示させる。
【００１１】
ＶＰＵ１０５は、Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔであって、ビデオコーデック、ＪＰＥGコーデック、ＤＭＡコントローラを内蔵し、ＪＰＥＧフォーマットへのエンコードやデコードを行う。
【００１２】
マイクロコンピュータ１０７は、撮像装置全体の制御を司る。操作スイッチ１０８は、ユーザが操作入力するためのスイッチ群である。メモリ１０９は、揮発性メモリであって、マイクロコンピュータ１０７やＩＰＵ１０４、ＶＰＵ１０６がワークエリアとして使用する。フラッシュメモリ１１０は、eMMCなどであり、プログラムや画像などの保存に使用される不揮発性メモリである。フラッシュメモリの代わりに、HDDなど書き換え可能なデバイスであっても構わない。
【００１３】
フラッシュメモリには、ＯＳが記録されており、このＯＳ上で動作するプログラムとして、文字認識プログラムおよび顔認識プログラムが存在する。この文字認識プログラムは、入力としてメモリ１０９の指定アドレスとデータ長を与えると、メモリ１０９から画像データを読み込み、画像から文字を読み取り文字情報に変換の上出力する機能を有する。一方顔認識プログラムは、顔とその氏名を対応付けたテーブルを持っており、これに事前に顔とその名前を登録しておき、入力としてメモリ１０９の指定アドレスとデータ長を与えると、メモリ１０９から画像を読み込み、画像中の顔を認識し、当該顔と前記テーブルで対応する氏名を、文字情報として出力する機能を有する。またＯＳは機能の一部としてファイルシステムを提供するので、画像や文字情報をファイルの形でフラッシュメモリ１１０上に保存することができる。
【００１４】
バス１１１は、上述した各部を接続し、通信を可能とする。また上記説明したほかに外部接続用にインターフェイスを備えてもよい。
【００１５】
＜動作＞
ユーザが、操作スイッチ１０８のうちのシャッターボタンを押下すると、マイクロコンピュータ１０７は、ＩＰＵ１０４に対し、カメラ信号処理回路１０３から入力される画像を、ＩＰＵ１０４が内蔵するＤＭＡコントローラを使用してメモリ１０９に書き込むように、先頭アドレスとデータ長などを指定して、命令する。これに対して、ＩＰＵ１０４は、内蔵するＤＭＡコントローラを使用して、メモリ１０９の前記先頭アドレス以降の領域に、画像データを書き込む。このときのメモリの状態を、画像の幅、高さに合わせて図示したのが図２（ａ）である。
【００１６】
マイクロコンピュータ１０７は、ＶＰＵ１０６に対し、メモリ領域２００について、ＶＰＵ１０６が内蔵するＤＭＡコントローラを使用して読み出し、ＪＰＥＧにエンコードした上で、メモリ１０９の別の領域に書き込むことを、メモリ領域２００の先頭アドレス、幅、高さ、書き込み先のアドレスなどを指定して命令する。これに対して、ＶＰＵ１０６はメモリ１０９のメモリ領域２００から読み込み、ＪＰＥGにエンコードした上で、書き込み先のアドレス以降の領域に書き込む。マイクロコンピュータ１０７は、当該書き込み先のアドレスから、ＪＰＥGにエンコードされた画像データを読み込み、フラッシュメモリ１１０中にファイル（以下では画像ファイルと呼ぶ）として書き込む。
【００１７】
またマイクロコンピュータ１０７は、ＩＰＵ１０４に対し、メモリ領域２０１について、ＩＰＵ１０４が内蔵するＤＭＡコントローラを使用して読み出し、メモリ１０９の別の領域に書き込むことを、メモリ領域２０１の先頭アドレス、幅、高さ、書き込み先のアドレスなどを指定して命令する。これに対して、ＩＰＵ１０４はメモリ１０９のメモリ領域２０１から読み込み、書き込み先のアドレス以降の領域に書き込む。マイクロコンピュータ１０７は、マイクロコンピュータ１０７上で動作する文字認識プログラムに対し、書き込まれたアドレスの画像データを入力として与え、画像に含まれる文字データを、画像データと対応付けて、フラッシュメモリ１１０上のファイル（以下では文字情報ファイルと呼ぶ）に書き込む。
【００１８】
ここで画像データと対応づけるとは、画像ファイルと文字情報ファイルのファイル名の拡張子以外を同じにするといったことを意味するが、データベースプログラムを用意し上記において取得された文字データ等と画像ファイルへのパスを保存してもよい。また同様にマイクロコンピュータ１０７上で動作する顔認識プログラムに対し、書き込まれたアドレスの画像データを入力として与え、画像に含まれる顔の氏名を意味する文字データを、画像データと対応付けて、フラッシュメモリ１１０上のファイル（以下では顔情報ファイルと呼ぶ）に書き込む。
【００１９】
メモリ領域２０１と同様に、メモリ領域２０２、メモリ領域２０３、メモリ領域２０４もコピーの上、文字認識プログラムおよび顔認識プログラムに入力し、出力である文字データを、同一の文字情報ファイルまたは顔情報ファイルに書き込む。なお、この時、メモリ領域２０２やメモリ領域２０４の代わりに、図２（ｂ）で示したメモリ領域２０５やメモリ領域２０６を使用することもできる。メモリ領域２０５やメモリ領域２０６を使うことによって処理時間は多少増えるが、領域の境界付近に文字や顔が存在したときにこれを認識することができる。
【００２０】
また上記では、文字認識および顔認識について取り上げたが、認識結果が文字列になるものであれば、手順は変わらないので、文字認識および顔認識に限定されるものではない。
【００２１】
以上より、画像として保存されるのはメモリ領域２００の部分に限られるが、画像のフレームの外に存在した人や文字の情報を残し検索などに利用でき、しかも人や文字の情報は文字として残すので、情報量の増加に伴うデータの増加を、画像をそのまま残すことと比べ、著しく抑えることができる。またメモリ領域２０１乃至２０４の画像データを文字認識プログラムおよび顔認識プログラムにかける必要がありその分処理の時間を要するものの、同データのＪＰＥＧへのエンコードは要しない。
【００２２】
このため、その生成にかかる処理時間を従来の画像生成に要する時間と大きく変わらない程度に抑えることができ、センサーの受けた全領域についてＪＰＥＧへのエンコードを行い、さらに文字認識プログラムおよび顔認識プログラムにかけた場合と比べると明らかに短い処理時間で済むことになる。また、一回の撮影から画像とフレーム外の情報を取得できるから、画像と情報との間に取得した時刻の差が生じることもない。
【００２３】
［実施例２］
＜構成例＞
図３は本件実施形態に係る撮像装置の構成例を示すブロック図である。図３の３０１乃至３１１は、それぞれ、図１の１０１乃至１１１と同じであるから、実施例１の説明はそのまま当てはまる。ＵＳＢ／ＩＦ３１２によって接続されたモデム３１３、無線部３１４によって、公衆網回線などを通じて、通信データの送受信が行われる。
【００２４】
＜システム構成例＞
図４は、本件実施形態に係るシステム全体の構成例を示すブロック図である。撮像装置４００は図３において説明した撮像装置である。Webサーバ４０２はHTTP/HTTPSのサーバ機能を有し、また画像情報DB４０３はユーザの撮影した画像の情報を保存するデータベースである。またストレージ４０４はユーザが撮影した画像を保存するファイルサーバであって、Webサーバ４０２、画像情報DB４０３、ストレージ４０４の間はＬＡＮで接続されている。通信端末装置４００からインターネット４０１を経由してHTTP/HTTPSで送付された画像およびそれに関する情報を、Webサーバ４０２は、ストレージ４０４と画像情報DB４０３にそれぞれ格納する。
【００２５】
またＰＣや携帯電話など４０５のＷｅｂブラウザーから、HTTP/HTTPSで、インターネット４０１を経由してWebサーバ４０２にアクセスすることによって、ストレージ４０４と画像情報DB４０３に格納された画像およびそれに関する情報を閲覧することができる。なお、通信端末装置４００からインターネットに接続するまでには、携帯電話会社ネットワーク網やインターネットサービスプロバイダの回線網、LANなどを経由しても良い。
【００２６】
図５は画像情報DB４０３がリレーショナルデータベースである時のテーブル設計を示す。画像５００は画像に関するテーブルであって、画像を一意に特定できるＩＤを示す画像ＩＤ５０１、画像ファイルの保存されている場所を示すファイルパス５０２、撮像装置４００から通知された撮像装置を特定するためのＩＤであるデバイスＩＤ５０３の各カラムからなる。また人物５２０は人の氏名に関するテーブルであって、氏名を一意に特定できるＩＤを示す氏名ＩＤ５２１と氏名を示す文字列が格納される氏名５２２の各カラムからなる。
【００２７】
被写体の人物５１０は、画像ＩＤ５１１、氏名ＩＤ５１２、フレーム内５１３の各カラムからなり、画像ＩＤ５０１と氏名ＩＤ５２１を対応付けることで、どの画像のフレーム内外にどの人物が存在したかを表すテーブルである。そしてフレーム内５１３は、当該人物がフレーム内に存在した場合にはtrueに、フレーム外に存在した場合にはfalseになる。
【００２８】
文字情報５３０は画像のフレームの内外に存在した文字情報に関するテーブルであり、当該文字情報を一意に特定できるＩＤを示す文字情報ＩＤ５３１、当該文字情報を示す文字列が格納される文字情報５３２、当該文字情報がフレームの内外に存在した画像を示す画像ＩＤ５３３、そしてフレーム内５３４の各カラムからなる。つまり画像ＩＤ５３３は文字情報ＩＤ５３１と画像ＩＤ５０１を対応付け、当該文字情報がフレーム内外に存在した画像を特定する。フレーム内５３４は当該文字情報がフレーム内に存在した場合にはtrueに、フレーム外に存在した場合にはfalseになる。なお、画像情報DB４０３は必ずしもリレーショナルデータベースである必要はない。
【００２９】
＜動作＞
ユーザが、操作スイッチ１０８のうちのシャッターボタンを押下したときの動作は、実施例１と同じである。そこで、実施例１の説明のうち、図１は図３と、図１の１０１乃至１１１は図３の３０１乃至３１１に、それぞれ、読み替えるものとする。
【００３０】
この時作成される、文字情報ファイルの一例を図６に、顔情報ファイルの一例を図７に示す。図６では、通信端末装置４００を一意に特定するデバイスＩＤが<device_id>タグに、画像を認識して得られた文字列が<characters>タグ内の<item>タグに、それぞれ記述される。図６の例では、「foo1」「foo2」「foo3」という３つの文字が画像から認識されたことを示している。また図７でも同様に、通信端末装置４００を一意に特定するデバイスＩＤが<device_id>タグに記述され、画像を認識して得られた顔に対応する氏名が<faces>タグ内の<item>に記述される。図７の例では、「山田一郎」「佐藤次郎」という二人の顔が画像から認識されたことを示している。
【００３１】
そして、マイクロコンピュータ１０７は、作成された画像ファイル、文字情報ファイル、顔情報ファイルを、ＵＳＢ／ＩＦ３１２、モデム３１３、無線部３１４を通じ、インターネット４０１を経由してWebサーバ４０２にアップロードする。このとき、画像ファイル、文字情報ファイル、顔情報ファイルは必ず一組としてアップロードされるものとする。
【００３２】
アップロードを受けたWebサーバ４０２は、画像をストレージ４０４に画像ファイルを保存し、画像情報ＤＢ４０３のテーブルである画像５００にレコードをインサートする。このレコードのファイルパス５０２は画像ファイルが保存されたパスを、デバイスＩＤ５０３には文字情報ファイルの<device_id>タグで指定されたＩＤを、画像ＩＤ５０１は任意のユニークな値が使用される。また文字情報５３０には、文字情報ファイルの<characters>タグの<item>タグの数だけレコードが追加され、<item>タグに記述された内容が文字情報５３２になる。また、画像ＩＤ５３３には画像ＩＤ５０１で使用されたＩＤが、フレーム内５３４はfalseが、文字情報ＩＤ５３１には任意のユニークな値が使用される。
【００３３】
さらに顔情報ファイルの<faces>タグ内の<item>に記載されている文字列が人物５２０の氏名５２２と一致するレコードが存在する場合には当該レコードの氏名ＩＤ５２１の値と、画像ＩＤ５０１で使用されたＩＤを、それぞれ氏名ＩＤ５１２と画像ＩＤ５１１に使用して、被写体の人物５１０にインサートする。このとき、フレーム内５１３にはfalseが使用される。
【００３４】
また顔情報ファイルの<faces>タグ内の<item>に記載されている文字列が人物５２０の氏名５２２と一致するレコードが存在しない場合には、<item>に記載されている文字列を氏名５２２とし、任意のユニークな値を氏名ＩＤ５２１とするレコードを、人物５２０にインサートする。そのうえで、当該氏名ＩＤ５２１の値と、画像ＩＤ５０１で使用されたＩＤを、それぞれ氏名ＩＤ５１２と画像ＩＤ５１１に使用して、被写体の人物５１０にインサートする。このときも、フレーム内５１３にはfalseが使用される。
【００３５】
このようにすることによって、Webサーバ４０２が、ＰＣや携帯電話など４０５に対し、ストレージ４０４と画像情報DB４０３に格納された画像およびそれに関する情報を閲覧する機能を供する際に、Webサーバ４０２は、画像情報DB４０３の各テーブルの情報を用いた検索方法を提供することができる。
【００３６】
またWebサーバ４０２が、文字認識プログラムおよび顔認識プログラムと同等の機能を有し、撮像装置４００で顔認識プログラムが使用している顔とその氏名を対応付けたテーブルを撮像装置４００からWebサーバ４０２に通知しているときには、Webサーバ４０２において、ストレージ４０４に保存されている画像を文字認識プログラムおよび顔認識プログラムにかけ、その結果を文字情報５３０、人物５２０、被写体の人物５１０の各テーブルに保存することもできる（この場合、フレーム内５１３とフレーム内５３４はいずれもtrueとなる）。
【００３７】
この場合、Webサーバ４０２に比して貧弱な撮像装置４００の計算機資源を使わないことができるので、撮像装置４００において画像およびそれに関連する情報の生成にかかる処理時間やリソースの利用を最小限に抑えることができる。また生成される画像と情報との間に生じるタイムラグをなくすことができる。また生成される画像はネットワークでの転送に向いたデータサイズにとどめまるにもかかわらず、フレーム外の情報を含めて、画像の情報は存在することになる。さらに画像情報DB４０３はフレーム内外の情報が区別して保存されているので、重みづけを付けた検索なども可能となる。
【００３８】
なお、撮像装置４００に図５と同じテーブル設計のデータベースを設け、検索に供してもよい。このとき、画像情報DB４０３のデータを撮像装置４００に送信し、そのデータベースに格納してもよい。このときは上述したようなフレーム内外の情報を利用した重みづけを付けた検索などが、撮像装置４００においても可能となる。また上記では、文字認識および顔認識について取り上げたが、認識結果が文字列になるものであれば、手順は変わらないので、文字認識および顔認識に限定されるものではない。
【００３９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００４０】
１０１  レンズユニット
１０２  撮像素子
１０３  カメラ信号処理回路
【図１】
2018125592.tif 000003
【図２】
2018125592.tif 000004
【図３】
2018125592.tif 000005
【図４】
2018125592.tif 000006
【図５】
2018125592.tif 000007
【図６】
2018125592.tif 000008
【図７】
2018125592.tif 000009