(57)【要約】      （修正有）【課題】テレビ電話機において、伝送帯域を効率良く利用し、動きが良いテレビ電話を実現する携帯テレビ電話機用カメラを提供する。【解決手段】カメラ制御マイコンでは、画像圧縮処理回路からの情報に関する信号に基づいて判断されるフレームレートと、ステップＳ１において算出された現在のテレビ電話のフレームレートとを求め、ステップＳ２において両者を比較し両者が同じ場合には（Ｙ）、フレームレートの変更は行わない。判断されたフレームレートが現在のフレームレートと異なる場合は（Ｎ）、ステップＳ３に進み、可変にできるフレームレートの内から最適なフレームレートを選択し、タイミング発生回路に対する新たなフレームレートを設定するとともに（ステップＳ４）、アイリス制御・ホワイトバランス制御を新たなフレームレートに合わせて算出し制御する（ステップＳ５、Ｓ６）。【選択図】図２
2007088723.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの映像信号を生成する映像信号処理回路から出力された映像信号をテレビ電話機用に圧縮する画像圧縮回路を備えた携帯用テレビ電話機用カメラにおいて、
前記画像圧縮回路からの信号により前記撮像素子を駆動するための垂直／水平駆動パルス、同期／基準信号および電子シャッタパルスを含むパルス信号を生成するタイミング発生回路のタイミング・映像光量調整手段を可変にし、前記撮像素子から出力される撮像信号のフレームレートと前記画像圧縮回路のフレームレートとが一致する方向に制御することを特徴とした携帯テレビ電話機用カメラ。
【請求項２】
前記画像圧縮回路からのフレームレートに基づいて、前記タイミング発生回路のタイミング・映像光量調整手段を可変し、前記撮像素子から出力される撮像信号のフレームレートを画像圧縮回路のフレームレートと一致する方向に制御することを特徴とする請求項１に記載の携帯テレビ電話機用カメラ。
【請求項３】
前記画像圧縮回路からのデータ量・動き検出量に基づいて、前記テレビ電話機のフレームレートと映像の動き及びノイズとを推測し、前記タイミング発生回路のタイミング・映像光量調整手段を可変し、前記撮像素子から出力される撮像信号のフレームレートを前記画像圧縮回路のフレームレートと一致する方向に制御することを特徴とする請求項１記載の携帯テレビ電話機用カメラ。
【請求項４】
撮像素子からの映像信号を生成する映像信号処理回路から出力された映像信号をテレビ電話機用に圧縮する画像圧縮回路を備えた携帯用テレビ電話機用カメラにおいて、
前記画像圧縮回路からの信号と映像信号処理から出力された信号を元に、撮像素子を駆動するための垂直／水平駆動パルス、同期／基準信号および電子シャッタパルスを生成しているタイミング発生回路のタイミング・映像光量調整手段を可変し、前記撮像素子から出力される撮像信号のフレームレートを前記画像圧縮回路のフレームレートに一致させる方向に制御することを特徴とする携帯テレビ電話機用カメラ。
【請求項５】
前記画像圧縮回路からのデータ量・動き検出量、映像信号処理から出力された露出積算値信号を元にテレビ電話機のフレームレート及び、動き・ノイズを推測し、前記タイミング発生回路のタイミング・映像光量調整手段を可変し、前記撮像素子から出力される撮像信号のフレームレートを画像圧縮回路のフレームレートと一致する方向に制御することを特徴とする請求項４に記載の携帯テレビ電話機用カメラ。
【請求項６】
撮像素子からの映像信号を生成する映像信号処理回路から出力された映像信号をテレビ電話機用に圧縮する画像圧縮回路を備えた携帯用テレビ電話機用カメラにおいて、
前記画像圧縮回路からの信号により、前記撮像素子から出力される撮像信号のフレームレートと前記画像圧縮回路のフレームレートとが一致する方向に制御することを特徴とした携帯テレビ電話機用カメラ。
【請求項７】
請求項１から６までのいずれか１項に記載のカメラを備えた携帯テレビ電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯用のテレビ電話機に用いるのに適したカメラに関し、特に、カメラにおけるフレームレートの最適化技術に関する。
【背景技術】
【０００２】
近年、カメラ付き携帯電話の普及に伴い、携帯電話でテレビ電話を行えるようになってきた。一般的なテレビ電話用のカメラは、テレビに表示することを前提に設計されていたため、ＮＴＳＣ（National Television Standards Committee）やＰＡＬ（Phase Alternating Line）などのテレビ規格に則ってカメラシステムを設計する必要があり、フレームレートが決定される。また、携帯電話機用のカメラによる画像をテレビ受信機に表示することは前提としてないため、低消費電力化と静止画の撮影とを考慮して設計され、動画時のフレームレートが決定される。また、フレームレートの変更に関連する技術としては、ビデオカメラにおけるフレームレートを、撮像素子駆動回路内に設けられている撮像素子を駆動するための垂直／水平駆動パルス、同期／基準信号および電子シャッタパルスなどを生成している回路の原振を断続的に休止させることで変更する技術がある（特許文献１参照）。
【０００３】
【特許文献１】特開２００１−３６７９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
テレビ電話機では、狭い伝送帯域で伝送できるように画像圧縮技術を利用しているが、圧縮したデータ量により伝送が間に合わず、次のフレームを間引かなければならなくなる場合がある。ところが、NTSCやPALを前提として設計したカメラや、携帯電話を前提としたカメラにおいても、フレームレートはそれぞれの目的を前提とした設計で決められており、決まったフレームレートの画像を間引いて出来るフレームレートでテレビ電話を行っている。
【０００５】
上記の技術では、テレビ電話機で狭い伝送帯域を効率良く使用することが出来なかった。つまり、携帯電話用のカメラで１５フレーム/ｓでカメラが動作していたとすると、そのままテレビ電話機で全ての画像を送信できるのが好ましいが、動きの激しい場合など情報量が増えると、カメラ出力の１フレーム中で１フレームの画像の伝送が終わらず、次のカメラ出力は単純に間引いており、実際の伝送能力が１０フレーム/ｓあるにもかかわらず、その瞬間に７.５フレーム/ｓとなってしまい、伝送帯域を効率よく利用できていなかった。その結果としてテレビ電話機の動きが非常に遅くなってしまっていた。
【０００６】
また、上記特許文献１に記載の技術でも、フレームレートを可変としているが、カメラの原振を止めるためフリッカーなどの対策がとれず、ノイズ等シャッター時間にかかわる原因の改善ができず、圧縮のフレームレート向上は期待できないという問題があった。
【０００７】
本発明は、テレビ電話機において伝送帯域を効率良く利用し、動きが良いテレビ電話を実現する携帯テレビ電話機用カメラを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一観点によれば、撮像素子からの映像信号を生成する映像信号処理回路から出力された映像信号をテレビ電話機用に圧縮する画像圧縮回路を備えた携帯用テレビ電話機用カメラにおいて、前記画像圧縮回路からの信号により前記撮像素子を駆動するための垂直／水平駆動パルス、同期／基準信号および電子シャッタパルスを含むパルス信号を生成するタイミング発生回路のタイミング・映像光量調整手段を可変し、前記撮像素子から出力される撮像信号のフレームレートと前記画像圧縮回路のフレームレートとが一致する方向に制御することを特徴とした携帯テレビ電話機用カメラが提供される。
【０００９】
前記カメラと前記テレビ電話機圧縮部のフレームレートが合わない時、フレームレートが遅いほうに引っ張られてしまう事がなくなり、常にカメラとテレビ電話のフレームレートが最適な状態を実現する通話が可能となり、ユーザーはより動きのある自然に近い状態で利用することが出来る。
【発明の効果】
【００１０】
本発明のカメラでは、テレビ電話のフレームレートに合わせて、カメラのフレームレートを変更する。また、カメラのIRIS制御・ホワイトバランス制御・輪郭強調などを制御する。従って、カメラとテレビ電話機のフレームレートが最適な状態で通話可能であり、動きのある自然に近いテレビ電話を利用できる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明の実施の形態によるカメラについて、図面を参照して説明する。図１は本発明の第１の実施の形態によるカメラの構成例を示す機能ブロック図である。図２は、本実施の形態によるカメラ制御部における処理の流れを示すフローチャート図である。
【００１２】
図１に示すように、本実施の形態によるビデオカメラは、撮像用レンズ１において被写体からの像を固体撮像素子２に集光し、固体撮像素子２の光電変換素子（フォトダイオード部）において光信号を電気信号に変換した後、タイミング発生回路７において生成された電荷読み出しパルスと、垂直転送パルスおよび水平転送パルスと、を撮像素子駆動回路６により反転昇圧又はドライブ能力を高めた後に固体撮像素子２に入力させることにより、固体撮像素子２の電荷蓄積部に蓄積された信号電荷を固体撮像素子２の転送部により読み出し、読み出された信号電荷を垂直転送／水平転送して出力としている。
【００１３】
固体撮像素子２から出力された信号は、ＣＤＳ／ＡＧＣ回路３により相関二重サンプリング処理および自動利得調整処理において必要な信号振幅に増幅された後に、Ａ／Ｄ変換回路４でディジタル信号に変換される。Ａ／Ｄ変換回路４から出力される固体撮像素子２の各画素におけるディジタルデータは、映像信号処理回路５において信号処理され、映像信号が出力される。画像圧縮処理回路１０は圧縮画像信号を出力する。
【００１４】
映像信号処理回路５では、アイリス処理に必要なデータ信号及びホワイトバランス処理に必要なデータ信号を出力している。これらの信号に基づいて、カメラ制御用マイコン９では、アイリス制御、ホワイトバランス制御を行っている。アイリス制御では、入射光量の変化に応じて映像光量調整手段８に指示を与え、タイミング発生回路７において、電子シャッタを変化させたり、ＣＤＳ／ＡＧＣ回路３において固体撮像素子２からの信号を増幅する割合を変化させたりしている。ホワイトバランス制御では、映像信号処理回路５にホワイトバランスゲインを与えることにより、様々な色温度下に適応したホワイトバランス調整処理を行う。
【００１５】
カメラ制御マイコン９では、図２に示すように、画像圧縮処理回路１０からの情報に関する信号に基づいて判断されるフレームレートと、ステップＳ１において算出された現在のテレビ電話のフレームレートとを求め、ステップＳ２において両者を比較し両者が同じ場合には（Ｙ）、フレームレートの変更は行わない。判断されたフレームレートが現在のフレームレートと異なる場合は（Ｎ）、ステップＳ３に進み、可変にできるフレームレートの内から最適なフレームレートを選択し、タイミング発生回路７に対する新たなフレームレートを設定するとともに（ステップＳ４）、アイリス制御・ホワイトバランス制御を新たなフレームレートに合わせて算出し制御する（ステップＳ５、Ｓ６）。
【００１６】
以上の処理により、カメラとテレビ電話機の圧縮部のフレームレートが合わない時、フレームレートが遅いほうに引っ張られてしまうことがなくなり、カメラとテレビ電話のフレームレートが最適な状態でテレビ電話による通話ができ、ユーザーは、より動きのある自然に近いテレビ電話機を携帯して利用することが出来る。
【００１７】
次に、本発明の第２の実施の形態によるカメラについて、図面を参照して説明する。図３は、本実施の形態によるカメラ制御部における処理の流れを示すフローチャート図である。機能構成は図１に示すものと同様で良い。
【００１８】
図３に示すように、ステップＳ１１においては、図１の画像圧縮処理回路１０からの情報に関する信号のうちテレビ電話機のフレームレート信号を用いる点を特徴とする。ステップＳ１２においてそのフレームレートが現在のフレームレートと同じ場合は（Ｙ）フレームレートの変更は行わない。判断されたフレームレートが現在のフレームレートと違う場合は(Ｎ)、ステップＳ１３に進み、可変できるフレームレートのうち最適なフレームレートを選択し、ステップＳ１４においてタイミング発生回路7に新たなフレームレートを設定する。合わせてアイリス制御・ホワイトバランス制御を次のフレームレートに合わせて算出し制御する(ステップＳ１５、１６)。
【００１９】
以上に説明したように、本実施の形態によるカメラにおいては、画像圧縮処理回路からの情報に関する信号としてテレビ電話機のフレームレート信号を用いることにより、カメラとテレビ電話のフレームレートが最適な状態でテレビ電話による通話ができ、ユーザーは、より動きのある自然に近いテレビ電話機を携帯して利用することが出来るという利点を有する。
【００２０】
次に、本発明の第３の実施の形態によるカメラについて図面を参照しつつ説明を行う。
図４Ａ、図４Ｂは、本実施の形態によるカメラ制御部の処理の流れを示すフローチャート図である。図４Ａ，Ｂに示すように、本実施の形態においては、画像圧縮処理回路１０からの信号として、データ量と動き検出量とを用いる（ステップＳ２１）点を特徴とする。ステップＳ２２において、データ量から現在のテレビ電話機のフレームレートを算出し、現在のフレームレートと同じであれば（Ｙ）変更は行わない。算出されたテレビ電話機のフレームレートが現在のフレームレートと異なる場合には（Ｎ）ステップＳ２４に進み、データ量と動き検出量とから異なる要因を推測し、最適なフレームレートを選択し、タイミング発生回路7に新たなフレームレートを設定する。
【００２１】
要因はデータ量と動き検出量とから推測し、データ量が多く動き検出量も多い場合は、画面全体の動きが大きいためデータ量が増えていると推測できる。データ量が少なめで、動き検出量が多い場合には画面の一部が動いていると推測できるため、算出されたテレビ電話機のフレームレートに合わせた最適なフレームレートに設定する。データ量が多く、動き検出量が少ない時には、電子シャッターの制御状態から暗い場合にはノイズ多い画面であり、明るい時には細かい画面であると推測できる。ノイズの多い画面と推測した場合には算出されたテレビ電話のフレームレートとし、電子シャッターをより遅くする制御を行い、細かい画像と推測された場合にはカメラの映像処理回路へ輪郭強調を弱める設定を行い、算出されたTV電話のフレームレートよりも少し早いフレームレートに設定する。
【００２２】
より具体的には、ステップＳ２４において動き検出量が多いか否かを判断し、多くない場合には（Ｎ）ステップＳ２５に進みデータ量が多いか否かを判断する。多くないと判断された場合には（Ｎ）ステップＳ２１に戻る。多いと判断された場合には（Ｙ）、ステップＳ２６に進み、電子シャッター制御状態が暗い画面か否かを判断する。暗い画面ではないと判断された場合には（Ｎ）ステップＳ２７に進み、細かい画面と推測し、現在のテレビ電話機のフレームレートより少し早いフレームレートを可変できるフレームレートから選択する。次いで、ステップＳ２８において、タイミング発生回路へ新たなフレームレートを設定し、ステップＳ２９において新たなフレームレートでの映像コウリョウ調整手段の設定値を算出・設定する。ステップＳ３０において、新たなフレームレートでの映像信号処理回路の設定値を算出・設定し、輪郭強調を弱めに設定する。
【００２３】
ステップＳ２６において電子シャッター制御状態が暗い画面と判断された場合には（Ｙ）、ステップＳ３１に進み、ノイズが多い画面と推測し、現在のテレビ電話機のフレームレートとほぼ同じフレームレートを、可変できるフレームレートから選択する。ステップＳ３２において、タイミング発生回路へ新たなフレームレートを設定し、ステップＳ３３において新たなフレームレートで露光時間をより多くするよう映像光量調整手段の設定値を算出・設定し、ステップＳ３４において新たなフレームレートでの映像信号処理回路の設定値を算出・設定。輪郭強調を弱めに設定する。ステップＳ２４において動き変化量が多いと判断された場合には（Ｙ）、ステップＳ３５においてデータ量が多いか否かを判断し、多くないと判断された場合には（Ｎ）、ステップＳ３６において画面の一部が動いていると推測。現在のTV電話のフレームレートとほぼ同等のフレームレートを可変出来るフレームレートから選択する。ステップＳ３５においてデータ量が多いと判断された場合には（Ｙ）、ステップＳ３７に進み画面全体が動いていると推測。現在のTV電話のフレームレートとほぼ同等のフレームレートを可変出来るフレームレートから選択する。いずれの場合でも、その後はステップＳ３８においてタイミング発生回路へ新たなフレームレートを設定し、ステップＳ３９において新たなフレームレートでの映像光量調整手段の設定値を算出・設定し、ステップＳ４０において新たなフレームレートでの映像信号処理回路の設定値を算出・設定する。いずれの場合も、ステップＳ２１に戻る。
【００２４】
次に、本発明の第４の実施の形態について図面を参照しつつ説明を行う。図５は本実施の形態によるカメラ制御部の処理の流れを示すフローチャート図である。本実施の形態においては、カメラ制御マイコン９では画像圧縮処理回路１０からの信号から判断されるフレームレートと映像信号処理回路５からの情報とから、次のフレームレートが変わるかを推測し、次のフレームレートが変わると推測された時には予めカメラのフレームレートを変更する。フレームレートが現在のフレームレートと違う場合には、画像圧縮回路１０と映像信号処理回路５とからの信号を元に次のフレームレートが変わるか否かを推測し、可変できるフレームレートのうち最適なフレームレートを選択し、タイミング発生回路７に新たなフレームレートを設定する。合わせてアイリス制御・ホワイトバランス制御を次のフレームレートに合わせて算出し制御する。
【００２５】
より具体的には、ステップＳ５１において画像圧縮処理回路からの情報取得・現在のテレビ電話機のフレームレート算出し、ステップ５２において映像信号処理回路からの情報を取得する。ステップＳ５３において、現在のテレビ電話機のフレームレートと推測したカメラのフレームレートは同じで次のフレームレートは変わらないと推測できるか異かを判定し、推測可能な場合には（Ｙ）ステップＳ５１に戻る。推測できない場合にはステップＳ５４に進み、可変出来るフレームレートから最適なフレームレートを選択し、ステップＳ５５においてタイミング発生回路へ新たなフレームレートを設定し、ステップＳ５６において新たなフレームレートでの映像光量調整手段の設定値を算出・設定し、ステップＳ５７において新たなフレームレートでの映像信号処理回路の設定値を算出・設定し、ステップＳ５１に戻る。
【００２６】
次に、本発明の第５の実施の形態によるカメラについて図面を参照しつつ説明を行う。図６Ａ、図６Ｂ、図６Ｃは本実施の形態によるカメラ制御部の処理の流れを示すフローチャート図である。本実施の形態においては、画像圧縮処理回路１０からの信号にデータ量と動き検出量を用い、映像信号処理回路５からの信号に露出積算値を用い、データ量から現在のテレビ電話機のフレームレートを算出し、現在のフレームレートと同じで、露出積算値がほとんど変化の無い場合には動きが無い画像と推測し変更は行わない。露出積算値の変化が大きい場合には次のフレームは動きが大きい画像と推測し、その次のフレームのフレームレートをあらかじめ変化させる。算出されたテレビ電話のフレームレートが現在のフレームレートを違う場合にはデータ量・動き検出量・露出積算値から要因を推測し、最適なフレームレートを選択し、タイミング発生回路７に新たなフレームレートを設定する。
【００２７】
要因はデータ量・動き検出量・露出積算値から推測し、データ量が多く動き検出量も多く、露出積算値の変化量も多い場合、画面全体の動きが大きく、次のフレームもデータ量が増えると推測でき、露出積算値の変化量が少ない場合には次のフレームのデータ量は変化が少ないと推測でき、データ量が少なめで、動き検出量が多く、露出積算値の変化量も多い場合、画面の一部が動いていて次のフレームのデータ量が増加すると推測でき、露出積算値の変化量が少ない場合には次のフレームのデータ量も変化が少ないと推測でき、算出されたテレビ電話機のフレームレートに合わせた最適なフレームレートに設定する。
【００２８】
データ量が多く、動き検出量が少なく、露出積算値の変化量が多い時には、細かい画面かノイズが多い画面で次のフレームのデータ量が多くなると推測でき、露出積算値の変化量が少ない場合には次のフレームのデータ量も少ないと推測でき、電子シャッターの制御状態から暗い場合にはノイズ多い画面、明るい時には細かい画面かが推測でき、ノイズが多く露出積算値の変化量が多い場合には次のフレームのデータ量の変化が大きく、露出積算値の変化量が少ない場合には次のフレームのデータ量の変化も少ないと推測でき、次のフレームレートは算出されたテレビ電話のフレームレートに合わせた最適なフレームレートに設定する。
【００２９】
合わせて電子シャッターを最適にし、カメラの映像処理回路の輪郭強調を最適にする設定する行いう。細かい画像と推測され露出変化量が多い場合には次のフレームのデータ量が多くなると判断でき、露出変化量が少ない場合には次のフレームのデータ量の変化が少ないと判断でき、次のフレームは算出されたテレビ電話機のフレームレートに合わせた最適なフレームレートを設定する。合わせてカメラの映像処理回路へ輪郭強調を最適にする設定を行う。より具体的には、図６Ａ〜Ｃに示す流れとなるが、ステップＳ６１からステップＳ１０２までの各処理は図面に沿って行われるためこれを援用する。
【００３０】
以上に説明したように、本発明の各実施の形態によるカメラでは、上記のようにテレビ電話機のフレームレートに合わせ、カメラのフレームレートを変更し、合わせてカメラのIRIS制御・ホワイトバランス制御・輪郭強調などを制御するため、常にカメラとテレビ電話機のフレームレートが最適な状態を実現することができる。従って、ユーザは、より動きのある自然に近いテレビ電話機を携帯電話機においても利用することができるという利点がある。
【産業上の利用可能性】
【００３１】
本発明は、テレビ電話機に利用可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態によるカメラの一構成例を示す機能ブロック図である。
【図２】本発明の第１の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【図３】本発明の第２の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【図４Ａ】本発明の第３の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【図４Ｂ】本発明の第３の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【図５】本発明の第４の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【図６Ａ】本発明の第５の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【図６Ｂ】本発明の第５の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【図６Ｃ】本発明の第５の実施の形態によるカメラにおけるカメラ制御部の処理の流れを示すフローチャート図である。
【符号の説明】
【００３３】
１ 撮像用レンズ
２ 固体撮像素子
３ ＣＤＳ／ＡＧＣ回路
４ Ａ／Ｄ変換回路
５ 映像信号処理回路
６ 撮像素子駆動回路
７ タイミング発生回路
８ 映像光量調整手段
９ カメラ制御部
１０ 画像圧縮処理回路
【図１】
2007088723.tif 000003
【図２】
2007088723.tif 000004
【図３】
2007088723.tif 000005
【図４Ａ】
2007088723.tif 000006
【図４Ｂ】
2007088723.tif 000007
【図５】
2007088723.tif 000008
【図６Ａ】
2007088723.tif 000009
【図６Ｂ】
2007088723.tif 000010
【図６Ｃ】
2007088723.tif 000011