(57)【要約】【課題】ＤＳＰを用いて画像信号処理と音声認識処理と音声合成処理とを行う場合に、小型化および低コスト化を実現したデジタルカメラを提供する。【解決手段】入力した画像の信号処理と入力した音声の信号処理とをプログラム格納方式のＤＳＰにより行わせるデジタルカメラであって、画像信号処理用のプログラムと音声信号処理用のプログラムとを、プログラムメモリ１２上に配置し、前記画像信号処理用プログラムと音声信号処理用プログラムとを、使用時に切り替えて前記画像信号処理と音声信号処理とを実行する。【選択図】　　図１
2004096667.tif 000002
【特許請求の範囲】
【請求項１】
入力した画像の信号処理と入力した音声の信号処理とをプログラム格納方式のＤＳＰにより行わせるデジタルカメラであって、
画像信号処理用のプログラムと音声信号処理用のプログラムとを、プログラムメモリ上に配置し、前記画像信号処理用プログラムと音声信号処理用プログラムとを、使用時に切り替えて実行することを特徴とするデジタルカメラ。
【請求項２】
請求項１記載のデジタルカメラにおいて、
前記音声信号処理は音声認識処理を含み、前記画像信号処理用のプログラムと音声認識処理用のプログラムとをプログラムメモリ上に配置し、前記画像信号処理用プログラムと音声認識処理用プログラムとを、使用時に切り替えて実行することを特徴とするデジタルカメラ。
【請求項３】
請求項２記載のデジタルカメラにおいて、
前記プログラムメモリ上で前記画像信号処理用プログラムと音声認識処理用プログラムとを、使用時に入れ替えて実行することを特徴とするデジタルカメラ。
【請求項４】
請求項２記載のデジタルカメラにおいて、
前記プログラムメモリ上で前記画像信号処理用プログラムと音声認識処理用プログラムとを、使用時に時分割処理により並列に実行することを特徴とするデジタルカメラ。
【請求項５】
請求項２記載のデジタルカメラにおいて、
前記音声認識処理用の音声入力を行う際に、入力手段を操作することにより、前記音声認識処理を行うことを特徴とするデジタルカメラ。
【請求項６】
請求項５記載のデジタルカメラにおいて、
前記音声入力に対する処理は音声合成処理用プログラムによる音声合成処理を含み、入力手段の操作により、プログラムメモリ上に配置した前記画像信号処理用プログラムと音声合成処理用プログラムとを、使用時に切り替えて使用することを特徴とするデジタルカメラ。
【請求項７】
請求項５記載のデジタルカメラにおいて、
前記音声入力に対する処理は音声合成処理用プログラムによる音声合成処理を含み、入力手段の操作により、プログラムメモリ上に配置した前記画像信号処理用プログラムと音声合成処理用プログラムとを、使用時に入れ替えて使用することを特徴とするデジタルカメラ。
【請求項８】
請求項５記載のデジタルカメラにおいて、
前記入力手段の操作により、ＤＳＰの演算時間を、より多く音声信号処理に割り当てることを特徴とするデジタルカメラ。
【請求項９】
請求項４記載のデジタルカメラにおいて、
前記時分割処理の際に、当該デジタルカメラの制御上、前記音声信号処理を行う必要のない期間では、ＤＳＰの演算時間を、より多く前記画像信号処理に割り当てることを特徴とするデジタルカメラ。
【請求項１０】
請求項１記載のデジタルカメラにおいて、
前記音声信号入力が可能である期間では、発光装置を用いて該音声信号入力可能期間である旨を表示することを特徴とするデジタルカメラ。
【請求項１１】
請求項１記載のデジタルカメラにおいて、
前記音声信号入力が可能である期間では、表示装置に文字または図形により、該音声信号入力可能期間である旨を表示することを特徴とするデジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラに関し、特に、ＤＳＰを用いて画像信号処理と音声認識処理と音声合成処理とを行う場合に、小型化および低コスト化を実現したデジタルカメラに関する。
【０００２】
【従来の技術】
従来、特定の音声入力に反応して所定の動作を行う、いわゆる音声認識カメラが知られている。また、カメラからのユーザに対する情報表示手段として、音声合成した音声によるガイダンス等を行う音声合成カメラも知られている。
【０００３】
図６は、音声入出力機能を備えた従来の標準的なデジタルカメラのブロック図である。
図６に示すように、デジタルカメラＤＣ１００は、主な機能ブロックとして、操作系および各種制御を行う全体制御部１１０と、光学系および画像信号処理を行う画像撮像部１２０と、音声の入力および認識を行う音声入力部１３０と、音声の合成及び出力を行う音声出力部１４０と、静止画等を表示する表示装置１５０と、メモリカード等からなるデータ記憶メモリ１６０とを備えてなる。
【０００４】
画像撮像部１２０の画像デジタル信号処理回路１２１は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）１２２から入力した信号に対して補間，ノイズ除去，圧縮などの処理を施して表示装置１５０に表示するとともに、データ記憶メモリ１６０に画像データを蓄積する機能を有する。
【０００５】
また、音声合成を実行する場合、全体制御部１１０から合成部１４１に生成すべき発音の種類を通知し、合成部１４１で発音用のデジタル信号を生成した後、これをデジタル／アナログ変換器（Ｄ／Ａ変換器）１４２によりアナログ信号に変換し、スピーカ１４３から発音する。
なお、音声入力部１３０の認識部１３３および音声出力部１４０の合成部１４１は、図６では別個の部品として描いているが、これらをひとまとめにする構成をとってもよい。
【０００６】
一方、近年におけるプログラム格納方式の汎用ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）の性能向上により、汎用ＤＳＰを用いて画像デジタル信号処理を行う構成をとることも可能となってきている。ここに、ＤＳＰの特徴は、積和演算を高速に処理できるようにしているので、画像や音声等のリアルタイム処理に適している点にある。
【０００７】
図７は、デジタルカメラの画像デジタル信号処理回路にＤＳＰを用いた場合のブロック図である。
図７に示すように、画像デジタル信号処理部にＤＳＰを用いた場合は、従来のハードウェアによる画像デジタル信号処理部１２１に代えて、ＤＳＰ１２１Ａと、該ＤＳＰ１２１Ａ用のプログラムを格納したプログラムメモリ１２３と、演算時に使用するデータメモリ１２４を配置する。そして、従来ハードウェアで行っていた各種の画像処理を、プログラムメモリ１２３上のソフトウェアにより実現する。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来のＤＳＰにより画像信号処理および音声認識処理・音声合成処理を行うデジタルカメラは、前記図７に示したように、音声処理（音声認識処理・音声合成処理）のので、に専用の部品（例えば、図７における認識部１３３および合成部１４１を一体化したチップ）を用いる必要があり、この専用部品を用いることが装置（デジタルカメラ）の小型化・低コスト化を行う際の障害となっていた。
【０００９】
本発明は、上記の事情にかんがみなされたもので、ＤＳＰを用いて画像信号処理と音声認識処理と音声合成処理とを行う場合に、小型化および低コスト化を実現したデジタルカメラの提供を目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成ために請求項１記載の発明は、入力した画像の信号処理と入力した音声の信号処理とをプログラム格納方式のＤＳＰにより行わせるデジタルカメラであって、
画像信号処理用のプログラムと音声信号処理用のプログラムとを、プログラムメモリ上に配置し、前記画像信号処理用プログラムと音声信号処理用プログラムとを、使用時に切り替えて実行する構成としてある。
【００１１】
このようにすれば、ＤＳＰを用いたデジタルカメラにおいて、画像信号処理用のプログラムと音声信号処理用のプログラムとを、プログラムメモリ上に配置し、前記画像信号処理用プログラムと音声信号処理用プログラムとを、使用時に切り替えて実行するので、専用の部品を追加することなく画像信号処理と音声信号処理を実現することができる。
【００１２】
次に請求項２記載の発明は、請求項１記載のデジタルカメラにおいて、
前記音声信号処理は音声認識処理を含み、前記画像信号処理用のプログラムと音声認識処理用のプログラムとをプログラムメモリ上に配置し、前記画像信号処理用プログラムと音声認識処理用プログラムとを、使用時に切り替えて実行する構成としてある。
このようにすれば、画像信号処理用のプログラムと音声認識処理用のプログラムとをプログラムメモリ上に配置し、前記画像信号処理用プログラムと音声認識処理用プログラムとを切り替えて使用することができるので、音声認識処理と画像信号処理の切り替えを素早く行うことができる。
【００１３】
次に請求項３記載の発明は、請求項２記載のデジタルカメラにおいて、
前記プログラムメモリ上で前記画像信号処理用プログラムと音声認識処理用プログラムとを、使用時に入れ替えて実行する構成としてある。
このようにすれば、画像信号処理用プログラムと音声認識処理用プログラムとを、プログラムメモリ上で使用時に入れ替えて使用するので、ＤＳＰのプログラムＲＡＭ領域を有効に使用することができる。
【００１４】
次に請求項４記載の発明は、請求項２記載のデジタルカメラにおいて、
前記プログラムメモリ上で前記画像信号処理用プログラムと音声認識処理用プログラムとを、使用時に時分割処理により並列に実行する構成としてある。
このようにすれば、プログラムメモリ上で前記画像信号処理用プログラムと音声認識処理用プログラムとを、使用時に時分割処理により並列に実行するので、画像信号処理を停止することなく音声認識処理を行うことができる。
【００１５】
次に請求項５記載の発明は、請求項２記載のデジタルカメラにおいて、
前記音声認識処理用の音声入力を行う際に、専用に設けたボタンを操作することにより、前記音声認識処理を行う構成としてある。
このようにすれば、音声認識処理用の音声入力を行う際に、専用に設けたボタンを操作することにより、前記音声認識処理を開始するので、適切なタイミングにてＤＳＰが音声認識処理を開始することができる。
【００１６】
次に請求項６記載の発明は、請求項５記載のデジタルカメラにおいて、
前記音声入力に対する処理は音声合成処理用プログラムによる音声合成処理を含み、専用に設けたボタンの操作により、プログラムメモリ上に配置した前記画像信号処理用プログラムと音声合成処理用プログラムとを、使用時に切り替えて使用する構成としてある。
このようにすれば、専用に設けたボタンの操作により、プログラムメモリ上に配置した前記画像信号処理用プログラムと音声合成処理用プログラムとを、使用時に切り替えて使用するので、音声合成処理と画像信号処理の切り替えを素早く行うことができる。
【００１７】
次に請求項７記載の発明は、請求項５記載のデジタルカメラにおいて、
前記音声入力に対する処理は音声合成処理用プログラムによる音声合成処理を含み、専用に設けたボタンの操作により、プログラムメモリ上に配置した前記画像信号処理用プログラムと音声合成処理用プログラムとを、使用時に入れ替えて使用する構成としてある。
このようにすれば、専用に設けたボタンの操作により、画像信号処理用プログラムと音声合成処理用プログラムとを、プログラムメモリ上で使用時に入れ替えて使用するので、ＤＳＰのプログラムＲＡＭ領域を有効に使用することができる。
【００１８】
次に請求項８記載の発明は、請求項５記載のデジタルカメラにおいて、
前記専用に設けたボタンの操作により、ＤＳＰの演算時間を、より多く音声信号処理に割り当てる構成としてある。
このようにすれば、専用に設けたボタンの操作により、ＤＳＰの演算時間を、より多く音声信号処理に割り当てることができるので、音声信号処理を効率的に行うことができる。
【００１９】
次に請求項９記載の発明は、請求項４記載のデジタルカメラにおいて、
前記時分割処理の際に、当該デジタルカメラの制御上、前記音声信号処理を行う必要のない期間では、ＤＳＰの演算時間を、より多く前記画像信号処理に割り当てる構成としてある。
このようにすれば、カメラの制御上、音声信号処理を行う必要のない期間では、ＤＳＰの演算時間をより多く画像信号処理に割り当てることができるので、音声信号処理及び画像信号処理を効率的に行うことができる。
【００２０】
次に請求項１０記載の発明は、請求項１記載のデジタルカメラにおいて、
前記音声信号入力が可能である期間では、発光装置を用いて該音声信号入力可能期間である旨を表示する構成としてある。
このようにすれば、音声信号入力が可能である期間では、発光装置を用いて音声信号入力可能期間である旨を表示できるので、音声入力が可能か否かを利用者が容易に識別することができる。
【００２１】
次に請求項１１記載の発明は、請求項１記載のデジタルカメラにおいて、
前記音声信号入力が可能である期間では、表示装置に文字または図形により、該音声信号入力可能期間である旨を表示する構成としてある。
このようにすれば、音声信号入力が可能である期間では、表示装置に文字または図形により、該音声信号入力可能期間である旨を表示できるので、音声入力が可能か否かを利用者が容易に識別することができる。
【００２２】
【発明の実施の形態】
以下、本発明を図示の実施形態に基づいて説明する。
図１は本実施形態のブロック図、図２はカメラ操作部のブロック図である。なお、既に説明済みの部分には同一符号を付し、重複説明を省略する。
本実施形態の特徴は、画像デジタル信号処理に加えて音声信号処理をもＤＳＰで行う点にあり、本実施形態によれば、従来必要とされていた認識部１３３及び合成部１４１（図７参照）が省略でき、認識部および合成部の機能をＤＳＰのプログラムメモリ１２３上のソフトウェアにより実現する。
【００２３】
図１に示すように、デジタルカメラＤＣは、光学系および画像信号処理を行う画像撮像部１０と、操作系（カメラ操作部１１２）および各種制御を行う全体制御部１１０と、静止画等を表示する表示装置１５０と、メモリカード等からなるデータ記憶メモリ１６０とを備えてなる。
画像撮像部１０は、ＤＳＰ１１と、プログラムメモリ１２と、データメモリ１３と、音声の入出力を行う音声入出力部１４とを備え、その他のＣＣＤ１２２等の部材は、前記従来例（図６，図７参照）と同一である。符号１２７は画像データを記憶するフレームメモリである。
【００２４】
また、図２に示すように、カメラ操作部１１２は、制御用のマイコン１１１と、電源スイッチ１１２ａと、シャッター，カーソルキー，メニューボタン等のその他の入力機構１１２ｂと、スピーカ，ブザー等の発音装置１１２ｃと、ＬＥＤ等の発光装置１１２ｄと、小さなモノクロ液晶等のその他の表示・出力機構１１２ｅとを備える。
符号について説明すると、１１３は全体制御のためのプログラムを格納したＲОＭ、１１４はマイコン１１１の演算中に使用するＲＡＭ、１１５はモード設定等の不揮発の諸設定データを格納したＥＥＰＲＯＭである。
なお、装置（デジタルカメラ）の構成上の都合により、全体の制御を行うマイコン１１１とは別に、操作系のみを専用に受け持つサブマイコンを用いる構成を採っても良い。
また、図１のスピーカ１４３と図２の発音装置１１２ｃとを同一にしてもよい。
【００２５】
そして、音声認識を実行する場合、音声入力部１４においてマイク１３１から入力された音声をＡ／Ｄ変換器１３２によりデジタル信号に変換した後、これをＤＳＰ１１に入力し、認識結果を全体制御部１１０に通知する。
具体的には、例えばマイク１３１から「焦点距離を短く」の音声入力を利用者がした場合は、アナログ信号である「焦点距離を短く」をＡ／Ｄ変換器１３２によりデジタル信号に変換した後、ＤＳＰ１１に入力し全体制御部１１０に通知する。通知を受けた全体制御部１１０はマイコン１１１を介して、例えばモータドライバ１２５を駆動し、撮影レンズ１２６を移動させて「焦点距離を短く」する。
【００２６】
また、音声合成を実行する場合、全体制御部１１０からマイコン１１１を介してＤＳＰ１１に生成すべき発音の種類を通知し、ＤＳＰ１１で発音用のデジタル信号を生成した後、これをＤ／Ａ変換器１４２によりアナログ信号に変換し、スピーカ１４３から発音する。
具体的には、図示省略の電池残量が少なくなった場合に、全体制御部１１０からマイコン１１１を介してＤＳＰ１１に生成すべき発音の種類（この場合は「間もなく電池がなくなります」）を通知し、これをＤ／Ａ変換器１４２によりアナログ信号に変換し、スピーカ１４３から発音する。
【００２７】
図３は、画像信号処理と音声信号処理とを同一のＤＳＰ１１上で実現する場合のプログラムメモリマップである。図３に示すメモリマップ構成は、画像信号処理と音声信号処理のプログラムを同時にプログラムメモリ１２上におき、必要に応じて切り替えて使用する場合に適用される（請求項１，２，６に対応）。
図３に示すように、画像信号処理のプログラムをアドレスＸＸＸＸから始まる位置に、音声信号処理のプログラムをアドレスＹＹＹＹから始まる位置に、それぞれ格納している。
また、図３のメモリマップは、画像信号処理と音声信号処理とを時分割により実行する場合にも適用される（請求項４，８に対応）。
【００２８】
しかし、プログラムメモリ１２３としてＲＡＭを使用する場合、コスト上の理由等によりプログラムメモリ１２３の容量が制限されることがある。この場合には、プログラム入れ替え方式を用い（請求項３，７に対応）、図４に示すように、同一のプログラムエリアに随時プログラムを入れ替えてそれぞれ実行する。図４では、画像信号処理及び音声信号処理のプログラムを、必要に応じて共にアドレスＸＸＸＸから始まる位置に格納する場合を示している。
【００２９】
図５は、音声信号処理と画像信号処理とを時分割により同時並行的に処理する場合のタイムチャートの例である（請求項４，８に対応）。図５では、音声信号処理及び画像信号処理をラウンドロビン方式により交互に実行する様子を示しているが、オペレーティングシステム（ＯＳ）を導入し、ОＳの管理下においてタスクの実行権を変更する仕組みを用いても良い。
【００３０】
また、処理のタイミングに応じてＤＳＰ１１の演算資源を割り振る量を制御する方法を採る場合には（請求項８および請求項９に対応）、ＯＳによる処理の強制的な分岐を行う方法がプログラム構成上は簡単になる。しかし、レジスタの待避などの処理が多くオーバーヘッド（無駄な所要時間）が大きくなる危険があるので、処理速度を優先させたい場合には、単位処理をある程度小規模になるように工夫し、単位処理を行う回数によって演算資源の割り当てを行うほうが望ましい。
【００３１】
【発明の効果】
以上説明したように本発明によれば、以下の効果を発揮することができる。
請求項１記載の発明によれば、ＤＳＰを用いて音声帯域信号の処理を行うので、専用の部品を追加することなく音声認識機能または音声合成機能、或いはこれら両方を実現することができる。
請求項２記載の発明によれば、画像信号処理用のプログラムと音声認識処理用のプログラムとを同時にプログラムメモリ上に配置し、これらを切り替えて使用することができるので、音声信号処理と画像信号処理の切り替えを素早く行うことができる。
【００３２】
請求項３記載の発明によれば、画像信号処理用のプログラムと、音声認識処理用のプログラムを、プログラムメモリ上で使用時に入れ替えて使用するので、ＤＳＰのプログラムＲＡＭ領域を有効に使用することができる。
請求項４記載の発明によれば、画像信号処理用のプログラムと音声認識処理用のプログラムとを同時にプログラムメモリ上に配置し、時分割によりこれらの両方を並列に実行するので、画像信号処理を停止することなく音声信号処理を行うことができる。
【００３３】
請求項５記載の発明によれば、音声入力を行う際に専用のボタンを操作することにより該ＤＳＰにより音声認識の処理を開始するので、適切なタイミングにてＤＳＰが音声認識処理を開始することができる。
請求項６記載の発明によれば、画像信号処理用のプログラムと音声合成処理用のプログラムとを同時にプログラムメモリ上に配置し、専用のボタン操作によりこれらを切り替えて使用するので、音声信号処理と画像信号処理の切り替えを素早く行うことができる。
【００３４】
請求項７記載の発明によれば、画像信号処理用のプログラムと音声合成処理用のプログラムとを、専用のボタン操作により、プログラムメモリ上で使用時に入れ替えて使用するので、ＤＳＰのプログラムＲＡＭ領域を有効に使用することができる。
請求項８記載の発明によれば、専用のボタン操作により、ＤＳＰの演算時間をより多く音声信号処理に割り当てることができるので、音声信号処理を効率的に行うことができる。
【００３５】
請求項９記載の発明によれば、カメラの制御上、音声信号処理を行う必要のない期間では、ＤＳＰの演算時間をより多く画像信号処理に割り当てることができるので、音声信号処理及び画像信号処理を効率的に行うことができる。
請求項１０記載の発明によれば、音声信号入力が可能である期間では、発光装置を用いてその旨を表示できるので、音声入力が可能か否かを利用者が容易に識別することができる。
請求項１１記載の発明によれば、音声信号入力が可能である期間では、表示装置に文字または図形により、その旨を表示することができるので、音声入力が可能か否かを利用者が容易に識別することができる。
【図面の簡単な説明】
【図１】本発明の実施形態のブロック図である。
【図２】同実施形態における、カメラ操作部のブロック図である。
【図３】同実施形態における、画像信号処理と音声信号処理とを同一のＤＳＰ上で実現する場合のプログラムメモリマップである。
【図４】同実施形態における、同一のプログラムエリアに随時プログラムを入れ替えてそれぞれ実行する場合の概念図である。
【図５】同実施形態における、音声信号処理と画像信号処理とを時分割により同時並行的に処理する場合のタイムチャートの例である。
【図６】従来の音声入出力機能を備えた標準的なデジタルカメラのブロック図である。
【図７】従来のデジタルカメラの画像デジタル信号処理回路にＤＳＰを用いた場合のブロック図である。
【符号の説明】
ＤＣ　デジタルカメラ
ＤＣ１００　従来のデジタルカメラ
ＤＣ２００　別の従来のデジタルカメラ
１０，１２０，１２０Ａ　画像撮像部
１１，１２１Ａ　ＤＳＰ
１２　プログラムメモリ
１３　データメモリ
１４　音声入出力部
１１０　全体制御部
１１１　マイコン
１１２　カメラ操作部
１１２ａ　電源スイッチ
１１２ｂ　その他の入力機構
１１２ｃ　発音装置
１１２ｄ　発光装置
１１２ｅ　その他の表示・出力機構
１１３　ＲОＭ
１１４　ＲＡＭ
１１５　ＥＥＰＲＯＭ
１２１　画像デジタル信号処理回路
１２２　ＣＣＤ
１２３　プログラムメモリ
１２４　データメモリ
１２５　モータドライバ
１２６　撮影レンズ
１２７　フレームメモリ
１３０　音声入力部
１３１　マイク
１３２　Ａ／Ｄ
１３３　音声認識部
１４０　音声出力部
１４１　音声合成部
１４２　Ｄ／Ａ
１４３　スピーカ
１５０　表示装置
１６０　データ記憶メモリ
【図１】
2004096667.tif 000003
【図２】
2004096667.tif 000004
【図３】
2004096667.tif 000005
【図４】
2004096667.tif 000006
【図５】
2004096667.tif 000007
【図６】
2004096667.tif 000008
【図７】
2004096667.tif 000009