(57)【要約】【課題】  情報光の有無に応じて所要の機能を選択的に実行できるようにする。【解決手段】  ＣＰＵ１６は撮像部１１に対し所定の周期で撮像させ、被写体画像を順次出力させ、この順次出力される被写体画像に情報光により輝度の変化する画素が存在する否かを判断する。そして肯定と判断されると、メイン表示部８に「情報光を捨てて画像を保存する。」、「吹き出しを重ねて画像を保存する。」、「メタデータにして画像を保存する。」、「キャンセルする。」の選択肢をメニュー表示させ、この表示に応じた撮影者の選択内容に従って処理を実行する。【選択図】  図２
2010233155.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
この撮像手段に対し所定の周期で撮像させ、被写体画像を順次出力させるよう制御する撮像制御手段と、
この撮像制御手段によって順次出力される被写体画像に情報光により輝度の変化する画素が存在する否かを判断する判断手段と、
この判断手段により肯定と判断されると、周期的に撮像される被写体画像における前記輝度が変化する画素から情報へ復号する復号手段と、
記録手段と、
前記判断手段により否定と判断されると、周期的に撮像される被写体画像を前記記録手段に記録するよう制御する記録制御手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記記録制御手段は更に、前記復号手段によって復号された情報を前記記録手段に記録するよう制御することを特徴とする請求項１記載の撮像装置。
【請求項３】
表示手段と、
前記復号手段によって復号された情報を、前記被写体画像とともに前記表示手段に表示するよう制御する表示制御手段と、
を更に備え、
前記記録制御手段は更に、前記表示制御手段によって表示された状態を前記記録手段に記録するよう制御することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記記録制御手段による記録制御の内容の選択を検出する選択検出手段を更に備え、
前記記録制御手段は、前記選択手段による選択結果に応じて前記記録手段への記録を制御することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
撮像部と記録部とを備えるコンピュータを、
前記撮像部に対し所定の周期で撮像させ、被写体画像を順次出力させるよう制御する撮像制御手段、
この撮像制御手段によって順次出力される被写体画像に情報光により輝度の変化する画素が存在する否かを判断する判断手段、
この判断手段により肯定と判断されると、周期的に撮像される被写体画像における前記輝度が変化する画素から情報へ復号する復号手段、
前記判断手段により否定と判断されると、周期的に撮像される被写体画像を前記記録部に記録するよう制御する記録制御手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び、プログラムに関し、詳しくは、通常の画像撮影及び記録保存の機能に加えて、光の明滅で情報を発信する、いわゆる「情報光」を連続撮影することにより受光して、その情報を再生利用する技術に関する。
【背景技術】
【０００２】
下記の特許文献１には、上記の情報光受信機能に関する従来技術が記載されている。この従来技術は、デジタルカメラ等の撮像装置により、光の明滅で情報を発信する「情報光」を撮影し、その情報を再生利用するというものであり、たとえば、撮影画像の被写体に再生情報を重畳表示したり、あるいは、再生情報を撮影画像と一緒に記録保存したりすることができることから、撮像装置の利便性を向上できる技術として今後の発展が期待されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０３５１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記の従来技術は、デジタルカメラ等の撮像装置に付加機能として情報光受信機能を搭載しただけのものに過ぎない。このため、実際に撮影する前に通常の撮影処理を行うのか、情報光の受信を行うのかを事前に撮影者が設定してから撮影（受光）処理を行うのが一般的であるが、撮影者が撮影処理の途中で情報光の受信を所望したり、逆に、情報光の受信の途中で特定の被写体の撮像・記録を所望する場合には、上記の処理では対応できないという問題が予見される。
【０００５】
そこで、本発明は、情報光の有無に応じて所要の機能を選択的に実行できるようにすることにある。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、撮像手段と、この撮像手段に対し所定の周期で撮像させ、被写体画像を順次出力させるよう制御する撮像制御手段と、この撮像制御手段によって順次出力される被写体画像に情報光により輝度の変化する画素が存在する否かを判断する判断手段と、この判断手段により肯定と判断されると、周期的に撮像される被写体画像における前記輝度が変化する画素から情報へ復号する復号手段と、記録手段と、前記判断手段により否定と判断されると、周期的に撮像される被写体画像を前記記録手段に記録するよう制御する記録制御手段とを備えたことを特徴とする撮像装置である。
請求項２記載の発明は、前記記録制御手段は更に、前記復号手段によって復号された情報を前記記録手段に記録するよう制御することを特徴とする請求項１記載の撮像装置である。
請求項３記載の発明は、表示手段と、前記復号手段によって復号された情報を、前記被写体画像とともに前記表示手段に表示するよう制御する表示制御手段と、を更に備え、前記記録制御手段は更に、前記表示制御手段によって表示された状態を前記記録手段に記録するよう制御することを特徴とする請求項１又は２記載の撮像装置である。
請求項４記載の発明は、前記記録制御手段による記録制御の内容の選択を検出する選択検出手段を更に備え、前記記録制御手段は、前記選択手段による選択結果に応じて前記記録手段への記録を制御することを特徴とする請求項１乃至３の何れかに記載の撮像装置である。
請求項５記載の発明は、撮像部と記録部とを備えるコンピュータを、前記撮像部に対し所定の周期で撮像させ、被写体画像を順次出力させるよう制御する撮像制御手段、この撮像制御手段によって順次出力される被写体画像に情報光により輝度の変化する画素が存在する否かを判断する判断手段、この判断手段により肯定と判断されると、周期的に撮像される被写体画像における前記輝度が変化する画素から情報へ復号する復号手段、前記判断手段により否定と判断されると、周期的に撮像される被写体画像を前記記録部に記録するよう制御する記録制御手段として機能させることを特徴とするプログラムである。
【発明の効果】
【０００７】
本発明によれば、撮影画角内の情報光の有無に応じて所要の機能を選択的に実行できる撮像装置、撮像制御方法及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】カメラ付携帯電話機の外観図である。
【図２】携帯電話機１の内部ブロック構成を示す模式図である。
【図３】カメラ動作にかかわる制御プログラムの要部フローを示す図である。
【図４】実際の表示例を示す図である。
【図５】各選択肢の使用例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を、カメラ付携帯電話機への適用を例にして、図面を参照しながら説明する。
【００１０】
図１は、カメラ付携帯電話機の外観図である。この図において、カメラ付携帯電話機（以下、単に携帯電話機という）１は、特にそれに限定されないが、折りたたみ式の表示筐体２と操作筐体３とを有するものである。
表示筐体２は、その表面側（折りたたみ状態で外部に露出する側の面）にカメラ用の撮影レンズ５とサブ表示部６とを有するとともに、その裏面側に受話用のスピーカ７と表示部８とを有し、一方の操作筐体３は、オンフックボタン、オフフックボタン、カーソルキー、ファンクションキー、シャッタボタン、テンキーなどからなる操作部９と、送話用のマイク１０を有している。
【００１１】
なお、操作筐体３の側面に、一つないしはいくつかの操作ボタンが設けられていてもよいし、また、充電及び外部インターフェース用のコネクタが設けられていてもよい。
【００１２】
このような外観を有する携帯電話機１は、電話機として用いられることは当然ながら、「カメラ付」であるので、通常のデジタルカメラと同様の使い方をすることができる。
【００１３】
カメラ付携帯電話機を「カメラ」として使用するときのスタイルは機種によって様々であるが、本実施形態では、以下のようなものであるとする。
【００１４】
まず、（ａ）に示す折りたたみ状態から、（ｃ）に示す開放状態（表示筐体２を開いた状態）へと状態を変化させる。ついで、操作部９の所定ボタンを押してカメラを起動し、撮影レンズ５を被写体に向ける。このとき、メイン表示部８には撮影レンズ５の画角内のライブビュー画像が表示されており、撮影者は、このライブビュー画像を見ながら構図を調整する。そして、所望の構図が得られたときに、撮影者によって操作部９のシャッタボタンが押下げ操作されると、その操作に応答して、被写体の画像が撮像され、携帯電話機１の内部に記録保存される。
【００１５】
以上が、携帯電話機１を「カメラ」として使用するときの操作の流れであるが、本実施形態の携帯電話機１は、かかる通常の画像撮影と記録保存という「基本機能」に加え、光の明滅で情報を発信する情報光を撮影して、その情報を再生利用するという情報光受信の「付加機能」を搭載している。
【００１６】
なお、上記の「情報光」を発信する装置（以下、発光機という）の技術は、たとえば、冒頭の特許文献１などに記載されているとおり公知であるから、ここでは、その原理だけを説明する。発光機は、概略的に、ＬＥＤ等の発光部と、この発光部の点灯（明るさ）を制御する駆動部と、この駆動部の動作を制御するコントローラとを有する。コントローラは、任意の送信データの各ビットの論理０と論理１にそれぞれ特有の輝度変化パターン系列を割当てる。以下、論理０に割り当てるパターン系列を第一のパターン系列、論理１に割り当てるパターン系列を第二のパターン系列ということにする。これら二つの輝度変化パターン系列は、同一の周期であって、且つ、自然界に存在しない（又は存在確率が低い）互いに異なる輝度変化パターン系列を持つものとすることが望ましい。たとえば、第一のパターン系列を“１１０１０”、第二のパターン系列を“００１０１”としてもよい。ここで、系列の“１”は点灯（または高輝度）、“０”は消灯（または低輝度）を表す。
【００１７】
駆動部は、これら二つのパターン系列の組み合わせからなる任意の送信データをコントローラから受け取り、系列内の“１”と“０”のそれぞれに対応させて発光部の発光輝度をコントロールする。
【００１８】
すなわち、要約すれば、発光機は、送信情報の１番目のビットを取り出し、そのビットの論理を判定して、論理１であれば第一パターン系列を割り当てる一方、論理０であれば第二パターン系列を割り当て、それらの第一パターン系列又は第二パターン系列の割り当てを送信情報のビット数だけ繰り返す。発光部は、第一パターン系列又は第二パターン系列の“１”の区間で点灯し、“０”の区間で消灯するという点滅動作を行い、または、同系列の“１”の区間で高輝度点灯し、“０”の区間で低輝度点灯するという明暗点灯動作を行い、時系列的な輝度変化パターンを持つ情報光を発信する。
【００１９】
本実施形態の携帯電話機１は、前記の「付加機能」により、この情報光を受信して発光機の送信情報を再生することができるものである。
【００２０】
図２は、携帯電話機１の内部ブロック構成を示す模式図であり、このブロック図では上記の「基本機能」と「付加機能」に関係する部分を抜粋して示している。すなわち、この携帯電話機１は、撮像部１１と、この撮像部１１で撮像された高解像度の画像データを記録保存する撮影画像メモリ１２と、操作部９からの操作信号を取り込む操作信号入力部１３と、サブ表示部６やメイン表示部８を制御する表示制御部１４と、上記の「付加機能」を実現するための主要な構成要素である情報光再生処理部１５と、これらの各部の動作を統括制御するコンピュータ（以下、ＣＰＵ）１６と、通信アンテナ２２を介して送受信されるデータを処理する通信処理部２１と、スピーカ７及びマイク１０を介して入出力される音声についてデータ処理を行う音声データ処理部２３とを備える。
【００２１】
撮像部１１は、ＣＣＤやＣＭＯＳなどからなる二次元イメージセンサである。この撮像部１１は、毎秒数十フレームの周期で高解像度の画像（たとえば、特に限定しないが１０２４×７６８ドットのＸＧＡ規格の画像）を生成出力することができることに加え、たとえば、部分読み出し等の機能により、小さなサイズ（１６０×１６０ドット程度）の特定領域画像を生成出力することができるものである。
【００２２】
情報光再生処理部１５は、さらに、情報光捕捉／情報復号処理部１７、情報光データ／座標リストメモリ１８、画像／情報光データ合成処理部１９、及び、情報光データ保存メモリ２０を備え、情報光捕捉／情報復号処理部１７は複数の信号捕捉用フレームバッファ１７ａ〜１７ｄを備える。
【００２３】
図３は、カメラ動作にかかわる制御プログラムの要部フローを示す図である。この制御プログラムは、カメラ起動時に、ＣＰＵ１６において実行されるものである。つまり、撮影者が操作部９の所定ボタンを押してカメラを起動すると、この制御プログラムがＣＰＵ１６に読み込まれて実行されるものである。
【００２４】
プログラムが実行されると、まず、情報光受信処理を起動するとともに（ステップＳ１）、情報光表示モードを選択し（ステップＳ２）、ついで、撮影者の撮影操作（シャッタボタンの押下げ操作）を待つ（ステップＳ３）。ここで、“情報光受信処理を起動する”とは、図２の情報光再生処理部１５を構成する情報光捕捉／情報復号処理部１７や、情報光データ／座標リストメモリ１８、画像／情報光データ合成処理部１９、及び、情報光データ保存メモリ２０の各部を動作させることをいう。また、“情報光表示モード”とは、情報光受信処理によって受信された情報光を、撮影画像とともにメイン表示部８に表示させるモードのことをいう。
【００２５】
そして、撮影操作が行われると、次に、撮影画像内に情報光により輝度が変化する画素があるか否かを判定し（ステップＳ４）、なければ、撮影画像を撮影画像メモリ１２に保存する処理（ステップＳ５）に進む。一方、情報光がある場合には、その情報光に応じた処理を実行するための分岐処理（ステップＳ６）に進む。
【００２６】
情報光とは、送信対象のデータを光の明滅パターンで変調したものであり、たとえば、データの論理１を点灯、論理０を消灯とし、それらの点灯と消灯の組み合わせで情報を送信するものである。この情報光の明滅の繰り返し周期が撮像部１１の撮像周期（典型的には毎秒３０フレーム）よりも十分に遅ければ、カメラとして動作しているときの携帯電話機１のメイン表示部８において、この情報光を光の明滅として画素が捕らえることができ、しかも、その観測点の位置から情報光の座標（ライブビュー画像内の座標）を特定することができる。
【００２７】
したがって、ステップＳ４における判定（撮影画像内に情報光があるか否かの判定）は、撮像部１１から周期的に出力されるライブビュー画像の中に明滅を繰り返す所定範囲の画素があるか否かを調べることによって行うことができる。情報光があった場合、撮像部１１からのライブビュー画像が情報光捕捉／情報復号処理部１７に送られて情報光データに変換（再生）され、その座標情報とともに、その再生データが情報光データ／座標リストメモリ１８に保存される。そして、情報光データ保存メモリ２０から文字データが読み出され、この読み出された文字データと、情報光データ／座標リストメモリ１８ならびに撮影画像メモリ１２の各保存データとが画像／情報光データ合成処理部１９に送られ、この画像／情報光データ合成処理部１９において画像合成が行われて、その合成結果がメイン表示部８に表示される。
【００２８】
次に、ステップＳ６の分岐処理では、まず、メイン表示部８にメニューを表示する（ステップＳ６ａ）。このメニューには、次の４つの選択肢が表示される。
・情報光を捨てて画像を保存する。
・吹き出しを重ねて画像を保存する。
・メタデータにして画像を保存する。
・キャンセルする。
【００２９】
ＣＰＵ１６は、ステップＳ６ａにおいて、前記のメニューに応答して撮影者が操作部９へ所定操作を行うことにより、前記４つの選択内容から何れかが選択されたか否かを判断する（ステップＳ６ｂ）。何れかの選択操作が検出されない場合は（ステップＳ６ｂでＮｏ）、再度ステップＳ６ａにおける表示に戻るが、選択操作が検出されると（ステップＳ６ｂでＹｅｓ）、その選択が「情報光を捨てて画像を保存する」なのか否かを判断する（ステップＳ６ｃ）。「情報光を捨てて画像を保存する」が選択された場合は（ステップＳ６ｃでＹｅｓ）、撮影画像のみが記録保存される（ステップＳ５）。一方、「情報光を捨てて画像を保存する」が選択されなかった場合は（ステップＳ６ｂでＮｏ）、「吹き出しを重ねて画像を保存する。」が選択されたか否かを判断する（ステップＳ６ｄ）。
【００３０】
「吹き出しを重ねて画像を保存する。」が選択された場合（ステップＳ６ｄでＹｅｓ）、すなわち情報光が存在し、かつ、その情報光に含まれるデータが画像の一部をなすようなもの（たとえば、人物が被写体であるときに、その人物の発話内容のようなもの）であった場合、その情報光に含まれるデータが、画像内に所定の形式で重畳表示され（ステップＳ６ｅ）、かつ、その重畳表示画像が記録保存される（ステップＳ５）。一方、「吹き出しを重ねて画像を保存する。」が選択されなかった場合（ステップＳ６ｄでＮｏ）、「メタデータにして保存する。」が選択されたか否かを判断する（ステップＳ６ｆ）。
【００３１】
「メタデータにして保存する。」が選択された場合（ステップＳ６ｆでＹｅｓ）、すなわち、情報光が存在し、かつ、その情報光に含まれるデータが画像の一部をなさないもの（たとえば、被写体の説明文など）であった場合は、その情報光に含まれるデータがメタデータとして生成されるとともに（ステップＳ６ｇ）、このメタデータが撮影画像に付加された後（ステップＳ６ｈ）、メタデータが付加された撮影画像が記録保存される（ステップＳ５）。
【００３２】
一方、「メタデータにして保存する。」が選択されなかった場合（ステップＳ６ｆでＮｏ）、すなわち、情報光の有無にかかわらず、撮影をやり直すことを選択した場合、ステップＳ２に復帰する。
【００３３】
図４は、実際の表示例を示す図である。この図において、（ａ）はカメラを起動したときの表示例であり、メイン表示部８には、被写体８１と、その被写体８１の左胸で明滅する情報光８２が写っている。（ｂ）は（ａ）の画像から情報光８２を検出したときの表示例であり、ここでは、図３のステップＳ６ａに対応して、４つの選択肢を含むメニュー８３が表示されている。撮影者は、所定の操作を行い、そのメニュー８３のうちの一つを選択する。
【００３４】
（ｃ）はステップＳ６ｃでＹｅｓを検出した場合の表示例であり、この場合は情報光の再生処理は行われず、撮影画像の記録保存だけが行われる。すなわち、この場合に、撮影画像メモリ１２に保存されるのは、メイン表示部８に写っている被写体８１（その被写体８１の左胸で明滅する情報光８２を含む）の画像である。
【００３５】
（ｄ）はステップＳ６ｄでＹｅｓを検出した場合の表示例であり、この場合は情報光の再生処理が行われ、その再生データが、たとえば、吹き出し８４に囲まれて被写体８１に重畳表示されるとともに、その吹き出し８４を含む被写体８１（その被写体８１の左胸で明滅する情報光８２を含む）の画像が撮影画像メモリ１２に保存される。
【００３６】
（ｅ）はステップＳ６ｆでＹｅｓを検出した場合の表示例であり、この場合も情報光の再生処理が行われるが、その再生データが、（ｆ）に示すようなメタデータ８５に使われる点で上記の第２の選択肢と相違する。この場合、撮影画像メモリ１２に保存されるのは、メイン表示部８に写っている被写体８１（その被写体８１の左胸で明滅する情報光８２を含む）の画像及びメタデータ８５である。
【００３７】
以上のとおり、本実施形態の（カメラ付）携帯電話機１によれば、カメラを起動して被写体に向けるだけで、その撮影画角内に「情報光」があるか否かを判定し、情報光がない場合には、通常の撮影動作（冒頭の基本機能参照）を実行する一方、情報光がある場合には、その情報光に含まれるデータを再生して画像に重畳し、または、メタデータとしてその画像に付加し、記録保存する（冒頭の付加機能参照）ことができる。
【００３８】
したがって、従来技術のように、撮影前に予め基本機能と付加機能を切り替えるというわずらわしさがなく、しかも、不適切な機能選択による不都合（情報光を再生できない、または、無駄な再生を行う）も生じない、という特有の効果を得ることができる。
【００３９】
さらに、上記の実施形態では、情報光を検出した際に、その情報光のデータにふさわしい処理（吹き出しの表示やメタデータの作成）を選択できるので、より実用性に即したものにすることができる。
【００４０】
図５は、前記の各選択内容を実行した際の具体的な処理の例を示す図である。（ａ）は撮影者が前記の「情報光を捨てて画像を保存する。」を選択した場合であり、情報光の再生を行わずに被写体２６ａ、２６ｂ及び情報光２６ｃ、２６ｄを含む撮影画像２６だけを記録保存する。（ｂ）は撮影者が前記の「吹き出しを重ねて画像を保存する。」を選択した場合であり、この場合には、情報光の再生を行うが、その情報光に含まれるデータを吹き出し２７ａ、２７ｂに入れて、被写体２７ｃ、２７ｄ及び情報光２７ｅ、２７ｆに重畳した撮影画像２７を記録保存する。（ｃ）は撮影者が前記の「メタデータにして保存する。」を選択した場合であり、この場合にも情報光の再生を行うが、その情報光に含まれるデータを、（ｄ）に示すメタデータ２８にし、このメタデータ２８を、被写体２９ａと情報光２９ｂを含む撮影画像２９に付加して記録保存する。
【００４１】
なお、以上の説明ではカメラ付携帯電話機への適用を例にしたが、これに限定されない。通常の撮影機能と情報光の受信再生機能とを併せ持つ撮像装置であればよく、デジタルカメラやデジタルビデオカメラ、または、カメラ付携帯パソコンやカメラ付ゲーム機などであってもよく、さらには、その用途も限定されない。携帯型の撮像装置のみならず、たとえば、監視カメラなどの固定型の撮像装置であってもよい。
【符号の説明】
【００４２】
１  携帯電話機
１１  撮像部
１５  情報光再生処理部
１６  ＣＰＵ
２７ａ  吹き出し
２７ｂ  吹き出し
２８  メタデータ
８４  吹き出し
８５  メタデータ
【図１】
2010233155.tif 000003
【図２】
2010233155.tif 000004
【図３】
2010233155.tif 000005
【図４】
2010233155.tif 000006
【図５】
2010233155.tif 000007