(57)【要約】【課題】撮像系から発生するノイズの量に応じてノイズ削減量を適宜調整しながら、画質を保持しつつ、伝送速度を確保するカメラ付携帯端末を提供する。【解決手段】ＴＶ電話用画像コーデック部１０６の前段に、撮像環境条件に応じて、映像信号処理回路１０５から出力される画像中に含まれるランダムノイズを適宜削減するフィルタ部１０を備える。このフィルタ部１０は、フィルタ強度を可変する手段を備えており、制御部１０９からの強度変更情報を受けて、フィルタ強度が可変できる構成となっている。例えば、筐体内の温度が最も高くなったときに、フィルタ強度を“強度７”とし、ランダムノイズを大きく減少するようにし、一方、温度が最も低い場合には、フィルタ強度を“強度０”とし、入力画像をほぼそのまま通過させるようにする。【選択図】図２
2008154017.tif 000002
【特許請求の範囲】
【請求項１】
外界の映像を捉える撮像素子を含むカメラ部と、前記撮像素子によって捉えられた映像の画像データをＴＶ電話用に変換処理を行うＴＶ電話用コーデックと、を備えたＴＶ電話機能を有する携帯電話であって、
前記カメラ部内の温度を測定する温度センサと、前記ＴＶ電話用画像コーデック部の前段に設け、前記画像データに含まれるノイズを除去するフィルタ部を備え、
前記フィルタ部は、前記カメラ部からの情報及び前記温度センサの温度情報を元にフィルタ強度を適宜可変させて、前記画像データから前記ノイズを除去し、前記ＴＶ電話用画像コーデック部に入力するようにしたことを特徴とするカメラ付携帯端末。
【請求項２】
前記フィルタ部は、前記カメラ部及び前記温度センサの情報をそれぞれ所定の範囲を所定の段階数に分割し、それぞれの段階に数値を割り当て、現在得られている前記情報の前記段階に対応する前記数値をそれぞれ加算し、その加算値から前記フィルタ強度を定めるようにしたことを特徴とする請求項１に記載のカメラ付携帯端末。
【請求項３】
前記カメラ部の情報は、該カメラ部の制御情報と該カメラ部のセンサ情報であり、前記制御情報がアンプゲイン、露出制御値を含む情報であり、前記センサ情報が遮光時露出積算情報、キャリアバランス積算情報、オプティカルブラック積算情報を含む情報であることを特徴とする請求項１又は請求項２に記載のカメラ付携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高周波成分を多く含むランダムノイズを適宜削減し、ＴＶ電話の送信画像の画質を保持しながらフレームレートの低下を防止するカメラ付携帯端末に関する。
【背景技術】
【０００２】
近年、カメラ付携帯端末は、ＴＶ電話機能が標準で搭載されるようになってきている。
【０００３】
このようなＴＶ電話機能を有するカメラ付携帯端末の例として、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）等が上げられる。図７（ａ）は、携帯電話の外観図の例を示し、（ｂ）にＰＤＡの外観図の例を示している。
【０００４】
（ａ）、（ｂ）において、９０、９２は、表示部であり、９１、９３は、カメラである。
【０００５】
従来のＴＶ電話機能付のカメラ付携帯端末の画像送信系の構成について、以下に説明する。
【０００６】
図８は、図７（ａ）の携帯電話や（ｂ）の通信機能を有したＰＤＡ等のカメラ付携帯端末におけるカメラ及び通信部を中心とするブロック図である。
【０００７】
図８において、カメラ付携帯端末は、外界の画像を撮像するＣＣＤやＣＭＯＳイメージセンサ等の撮像素子である固体撮像素子１０２と、撮像した画像の画素情報に対してアナログ的にゲイン調整を行うＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）／ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路１０３と、ゲイン調整されたアナログ画像データをデジタルデータに変換し、デジタル処理可能な信号とするＡＤ変換回路１０４と、このデジタルデータに変換されたデジタル信号をγ補正、ＷＢ調整、輝度調整、輪郭強調等の信号処理を行い、カメラ出力データとして出力する映像信号処理回路１０５と、カメラ出力データを入力し、ＴＶ電話用のデータを生成するＴＶ電話用コーデック部１０６と、生成されたＴＶ電話データを外部に送信する通信部１０７と、を備えて構成されている。
【０００８】
さらに、映像信号処理回路１０５からの露出積算値等の情報を元に電子シャッターのシャッター時間を変えて入力する光量の制御や、ＡＧＣ制御値を変えてアンプゲイン制御等を行うカメラ制御部１０８と、装置全体の統括制御を行う制御部１０９と、を備えている。
【０００９】
以上のように構成されたカメラ付携帯端末において、特に、本願発明と関連する光量制御やＡＧＣ制御動作について説明しておく。
【００１０】
カメラ制御部１０８は、映像信号処理回路１０５から得られる露出積算値が基準の値と比較し、その基準値と異なると判断すると、例えば、電子シャッター時間を変更する場合には、タイミング発生回路１１１を制御し、固体撮像素子１０２で電荷を貯める時間を変化させるよう撮像素子駆動回路１１０へのタイミングパルスを変更する。
【００１１】
また、制御部１０９は、カメラ制御部１０８からの制御情報（一例としては、現在制御中のＡＧＣの値）の取得や映像信号処理回路１０５から固体撮像素子１０２のセンサ情報（一例としてはキャリアバランスの積算値を示すが、オプティカルブラックの積算値や遮光状態の積算値でもありえる）の取得を行う。そして、ＡＧＣ値を変更する場合には、ＣＤＳ／ＡＧＣ回路１０３に対し、ＡＧＣアンプゲインの値を変更するよう制御を行う。
【００１２】
ところで、携帯電話等のカメラ付携帯端末は、撮像素子を含む撮像系が小型・薄型化された筐体の中に入っているため、動作環境条件によっては、筐体内部の温度が上昇すると、カメラに搭載されている固体撮像素子から発生するランダムノイズのレベルが大きくなる。
【００１３】
このランダムノイズが画像に表れ、画像全体の画質が悪化するとともに、ＴＶ電話用コーデック部１０６では高周波成分を含んだ画像を処理することになり、ＴＶ電話用コーデック部１０６の出力のデータ量が増加し、フレームレートが落ちることになる。このような状況下においては、当然ながら、特開２００６−１９７０９６号公報に開示されている技術による機能を搭載してもその有効性を発揮させることはできない。
【００１４】
一方、カメラ付き携帯電話でのＴＶ電話通信においてはＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）等の低解像度画像が主流であることから、フレームレートを落とさないようＴＶ電話用コーデック部１０６の出力を小さくしようとして、ＴＶ電話用コーデック部１０６で高周波成分を落とそうとすると、ブロックノイズやモスキートノイズが増加し、画質を極端に損ねてしまうことになる。
【００１５】
そこで、上記ランダムノイズを除去するために、上記プリフィルタ、あるいは階調補正等の画像加工処理を行う映像処理回路において、輪郭強調を弱めて、高調波成分を抑えて目立たせないようにすることも可能である（特許文献１参照）。
【００１６】
なお、従来のテレビ電話装置において、入力されるカメラ画像信号から背景画像領域と人物画像領域とを判定し、背景画像領域であると判定された領域に含まれる画像信号に対し、プリフィルタあるいは階調補正等の画像加工を施す技術が特開２００６−１９７０９６号公報に開示されている。
【００１７】
上記技術によれば、人物画像については、鮮明な画像を送信する一方、背景画像等の通話相手に鮮明な画像の送信を望まない画像領域については、ある程度画質を落としつつ、自然な画像を保持して送信することによって、撮影場所を送信相手に対して特定させない等の利便性を図ることができる。
【００１８】
上記のような機能は、特に、ＴＶ電話機能が標準で搭載されるようになってきているカメラ付き携帯端末においても、その有効性が期待される。
【特許文献１】特開平０８−１１１７９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
直射日光下によるノイズ条件の厳しい環境において、装置内の温度上昇により発生するノイズのレベルが大きくなると、上記従来の輪郭強調を弱めて、高調波成分を抑える方法では、ノイズを十分に除去することはできず、結果としてＴＶ電話におけるフレームレートの低下・画質低下（ブロックノイズやモスキートノイズによるもの）を招くという問題がある。
【００２０】
また、低照度のような環境下で撮影を行う場合においても、撮像系のダイナミックレンジの限界から相対的にノイズが増加することから、上記と同様にフレームレートの低下・画質低下を招くという問題がある。
【００２１】
なお、ノイズレベルの厳しい環境においてノイズを十分に除去してしまうと、フレームレート、上記画質の低下については、問題なくなるが、ノイズが小さい環境では、輪郭強調を行うことができず、画像のボケを招いてしまうという問題点がある。
【００２２】
そこで、本発明は、上記問題点に鑑みて提案されたものであって、撮像系から発生するノイズの量に応じてノイズ削減量を適宜調整しながら、画質を保持しつつ、伝送速度を確保するカメラ付携帯端末を提供しようとするものである。
【課題を解決するための手段】
【００２３】
本発明に係るカメラ付携帯端末は、前記目的を達成するため、以下のような特徴を有している。
【００２４】
すなわち、本発明カメラ付携帯端末は、外界の映像を捉える撮像素子を含むカメラ部と、前記撮像素子によって捉えられた映像の画像データをＴＶ電話用に変換処理を行うＴＶ電話用コーデックと、を備えたＴＶ電話機能を有する携帯電話であって、前記カメラ部内の温度を測定する温度センサと、前記ＴＶ電話用画像コーデック部の前段に設け、前記画像データに含まれるノイズを除去するフィルタ部を備え、前記フィルタ部は、前記カメラ部からの情報及び前記温度センサの温度情報を元にフィルタ強度を適宜可変させて、前記画像データから前記ノイズを除去し、前記ＴＶ電話用画像コーデック部に入力するようにしたことを特徴とする。
また、本発明カメラ付携帯端末において、前記フィルタ部は、前記カメラ部及び前記温度センサの情報をそれぞれ所定の範囲を所定の段階数に分割し、それぞれの段階に数値を割り当て、現在得られている前記情報の前記段階に対応する前記数値をそれぞれ加算し、その加算値から前記フィルタ強度を定めるようにしたことを特徴とする。
また、本発明カメラ付携帯端末において、前記カメラ部の情報は、該カメラ部の制御情報と該カメラ部のセンサ情報であり、前記制御情報がアンプゲイン、露出制御値を含む情報であり、前記センサ情報が遮光時露出積算情報、キャリアバランス積算情報、オプティカルブラック積算情報を含む情報であることを特徴とする。
【発明の効果】
【００２５】
上記のように構成された本発明に係るカメラ付携帯端末によれば、撮影場所・撮影する環境、例えば低照度のような環境、直射日光下や長時間のＴＶ電話等において、カメラのノイズのレベルが著しく大きい場合においても、ノイズレベルが小さい場合においても、ＴＶ電話の画質を損なう高周波成分を多く含むランダムなノイズをＴＶ電話用画像コーデックに入力する画像のノイズを適宜削減するため、ＴＶ電話の画質を保ちながら、スピード（フレームレート）を安定して送信することができ、利用者の利便性の向上が図ることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明に係るカメラ付携帯端末の実施形態について添付図面を参照して説明する。
【００２７】
図１〜図６は、発明の実施形態の一例を示す図であって、図中、同一の符号を付した部分は同一物を表わすものとする。
【００２８】
図１は、本発明に係るカメラ付携帯端末の実施形態を示すブロック図である。
【００２９】
同図において、本発明に係るカメラ付携帯端末の構成は、基本的には、図８に示した従来のカメラ付携帯端末の構成と同じであり、ＴＶ電話用画像コーデック部１０６の前段に、撮像環境条件に応じて、映像信号処理回路１０５から出力される画像中に含まれるランダムノイズを適宜削減するフィルタ部１０を追加したものである。
【００３０】
また、カメラ付携帯端末内部の温度を計測する温度センサ１１が追加されている。
【００３１】
まず、上記のように構成された本発明に係るカメラ付携帯端末の動作について、本願発明の特徴であるフィルタ部１０の基本動作概念を中心に説明する。
【００３２】
ノイズのレベルが増加する原因としては、上述したように、直射日光が当たるような撮像環境において筐体内の温度が上昇し、固体撮像素子１０２からノイズが増加した場合や、低照度下において撮像する場合において、高アンプゲイン、高露出制御値、高キャリアバランス積算量となり、ＡＧＣアンプ等からのノイズが増加した場合である。例えば、カメラ制御部１０８からのＡＧＣの制御情報が変化し、ＡＧＣアンプゲインが大きくなると、ＣＤＳ／ＡＧＣ回路１０３から出力される信号のノイズのレベルが大きくなる。
【００３３】
上述したように、このノイズにより、ＴＶ電話用コーデック部１０６では高周波成分が多い画像を処理することになり、ＴＶ電話用コーデック部１０６の出力のデータ量が増加し、フレームレートが落ちる。一方、フレームレートを落とさないようＴＶ電話用コーデック部１０６の出力を小さくしようとして、ＴＶ電話用コーデック部１０６で高周波成分を落とそうとすると、ブロックノイズやモスキートノイズが増加し、画質を落とすことになる。
【００３４】
そこで、このノイズを除去するフィルタ部１０をＴＶ電話用コーデック部１０６の前段に設けている。
【００３５】
図２は、フィルタ部のブロック図を示す図であり、図３は、フィルタ特性の一例を示す図である。
【００３６】
図２に示すように、フィルタ部１０は、画像メモリ２１とフィルタ本体２２から構成されており、画像メモリ２１は、フィルタ処理前の画像データを保存する保存領域とフィルタ処理後の画像データを保存する保存領域に分かれている。フィルタ本体２２は、処理前の保存領域からデータを読み出し後、このデータを使用して処理を行い、処理結果を処理後の保存領域にデータを保存する。
【００３７】
フィルタ本体２２は、フィルタ強度（後記する）を可変する手段を備えており、制御部１０９からの強度変更情報（パラメータ）を受けて、フィルタ強度が可変できる構成となっている。そして、具体的にこのフィルタ強度を変化させるためには、例えば、タップ付構造のフィルタでは、フィルタのタップ数、必要な係数を変化させて、周波数特性を変える。
【００３８】
なお、フィルタ本体２２の構成は、線形フィルタでも良いし、非線形フィルタでもよく、フィルタ構造にこだわらない。
【００３９】
ここでいうフィルタ強度とは、ノイズを減衰させる度合いを意味したものであり、図３に示すように、横軸に周波数、縦軸にフィルタゲインとし、ノイズ減衰量の強度を８段階にした場合に、ノイズの減衰量が最も大きいフィルタ強度の特性を、“強度７”に、減衰量が最も小さいフィルタ強度の特性を“強度０”に示す。
【００４０】
例えば、筐体内の温度が最も高くなったときに、フィルタ強度を“強度７”とし、ランダムノイズを大きく減少するようにし、一方、温度が最も低い場合には、フィルタ強度を“強度０”とし、入力画像をほぼそのまま通過させるようにする。
【００４１】
ここで、上記温度は、ＣＣＤ等の固体撮像素子１０２に対して、直接ノイズレベル上昇の影響を与える上記した筐体内の温度であり、温度センサ１１で測定され、制御部１０９に取り込まれる。
【００４２】
このように、温度が高い場合において、ブロックノイズ、フレームレートの低下を防ぎ、通常の温度状態では、画像の強調を維持し、画像のボケを防ぐことができる。
【００４３】
また、電子シャッター時間等のカメラ制御情報により光量調整が行われた場合に、ＡＧＣアンプからのノイズのレベルが変化し、その変化に対応して、ＡＧＣ値やキャリアバランス積算量が変化する。
【００４４】
上記温度の場合と同様に、ＡＧＣ値、キャリアバランス積算値が低いときにはフィルタの強度を低くし、ＡＧＣ値、キャリアバランス積算値が高いときにはフィルタの強度を上げ、ランダムノイズを落とすようにすることができる。
【００４５】
次に、フィルタ強度を可変するための上記３つの代表的な情報（パラメータ）、温度、ＡＧＣ値及びキャリアバランス積算量の情報の元にフィルタ強度を可変する制御方法及び動作フローについて説明する。
【００４６】
上記３つの情報とノイズ量との関係が図４に示すような相対関係をもっていた場合、ノイズ発生要因は温度によるものが一番高く、次にカメラ制御情報であるＡＧＣ値となる。そして最後がセンサ情報であるキャリアバランス積算値となる。
【００４７】
フィルタ強度を８段階に選定できるようにした場合、強度段階を０〜７の整数値で表し、温度情報による変化でのフィルタ強度制御範囲を０(温度低い)〜４(温度高い)まで、カメラ制御情報であるＡＧＣ値による変化でのフィルタ強度制御範囲を０（ＡＧＣ制御値低い）〜２（ＡＧＣ制御値高い）まで、センサ情報であるキャリアバランス積算値による変化でのフィルタ強度制御範囲を０〜１までというように、各情報に対して、ノイズ発生要因の大きさに応じて、その範囲を定めて整数値化する。なお、数値化するにあたって、正数等、整数化に限らない。
【００４８】
そして、各得られた３つの情報のデータ値を上記定められた範囲の数値に変換し、それぞれの数値を加算し、加算値（０〜７）から強度段階を選択する。これによって、フィルタ特性が定められる。
【００４９】
例えば、温度Ｔ、ＡＧＣ値Ａ及びキャリアバランス積算量Ｃとすると、それぞれを変換して、ｉ（０≦ｉ≦４）、ｊ（０≦ｊ≦２）、ｋ（０≦ｋ≦１）を算出した後、フィルタ強度Ｆ（Ｆ＝ｉ＋ｊ＋ｋ）を得る。得られたフィルタ強度からフィルタ構造を決定するパラメータを設定し、フィルタ特性を適宜、動作環境条件に応じて定めることができ、３つの情報を組み合わせて、効果的にノイズを減衰させることができる。
【００５０】
以下に、上記３つの情報を使用して、フィルタ特性の変更制御を行う場合の動作について、図５のフロー図を用いて簡単に説明する。
【００５１】
まず、フィルタ特性変更処理を開始するにあたって、３つの情報のデータを取得する。ステップＳ１０において、制御部１０９は、温度センサに計測された温度（Ｔ）を取得する。
【００５２】
また、ステップＳ１１において、カメラ制御情報であるＡＧＣ値（Ａ）をカメラ制御部１０８から取得する。さらに、センサ情報であるキャリアバランス積算値（Ｃ）を取得する。
【００５３】
次に、上記それぞれ取得したデータをそれぞれのフィルタ強度制御範囲内のデータに変換する（ステップＳ１３）。この変換されたデータを加算し、フィルタ強度Ｆを算出する（ステップＳ１４）。
【００５４】
そして、制御部１０９は、算出したフィルタ強度Ｆからフィルタ構造を定める各種パラメータを選択し、フィルタ本体２２にセットし、動作を開始させる（ステップＳ１５）。
【００５５】
本処理を終了させるかを判定し、終了する場合には（ステップＳ１６；Ｙｅｓ）、本処理を終了させる。一方、終了しない場合には（ステップＳ１６；Ｎｏ）、ステップＳ１０、１１、１２の処理を戻す。
【００５６】
なお、本フィルタ特性変更処理の開始・終了の判断は、テレビ電話の開始又は終了の条件により、判断する。
【００５７】
以上、３つの情報により、フィルタ特性を変更する方法について説明したが、情報が、１つの場合や２つの場合、或いは、これ以上の場合であっても良い。情報が複数の場合、フィルタ強度変更段階数に対するフィルタ強度制御範囲を適切に定めることが重要である。
【００５８】
例えば、温度及びＡＧＣ値の２つの場合、前述したように、フィルタ強度を７段階選定できるようにしたとすると、温度による変化についてはフィルタ制御範囲を０〜４まで、ＡＧＣ値による変化についてはフィルタ制御範囲を０〜２までというように、その範囲を定めるようにする。
【００５９】
その他の情報の組み合わせにおいても、同様な方法により範囲を定めることができる。
図１では、カメラ制御部１０８が制御部１０９内部に備えた構成となっているが、図６に示すように、カメラ制御部１０８と制御部１０９と分離した構成とし、フィルタ制御とカメラ制御を分離するようにしてもよい。
【００６０】
尚、本発明のカメラ付携帯端末は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００６１】
【図１】本発明に係るカメラ付携帯端末の実施形態を示すブロック図である。
【図２】フィルタ特性の一例を示す図である。
【図３】フィルタ部のブロック図である。
【図４】３つの情報とノイズ量との相対関係の例を示す図である。
【図５】フィルタ特性の変更動作を説明するフロー図である。
【図６】本発明に係るカメラ付携帯端末の他の実施形態を示すブロック図である。
【図７】（ａ）は、携帯電話の外観の例を示す図であり、（ｂ）にＰＤＡの外観の例を示す図である。
【図８】従来のカメラ付携帯端末におけるカメラ及び通信部を中心とするブロック図である。
【符号の説明】
【００６２】
１０  フィルタ部
１１  温度センサ
２１  画像メモリ
２２  フィルタ本体
９０  カメラ
９１  表示部
１０１  レンズ系
１０２  固体撮像素子
１０３  ＣＤＳ／ＡＧＣ回路
１０４  ＡＤ変換回路
１０５  映像信号処理回路
１０６  ＴＶ電話用コーデック
１０７  通信部
１０８  カメラ制御部
１０９  制御部
１１０  撮像素子駆動回路
１１１  タイミング発生回路
【図１】
2008154017.tif 000003
【図２】
2008154017.tif 000004
【図３】
2008154017.tif 000005
【図４】
2008154017.tif 000006
【図５】
2008154017.tif 000007
【図６】
2008154017.tif 000008
【図７】
2008154017.tif 000009
【図８】
2008154017.tif 000010