(57)【要約】【課題】  ユーザの操作を煩雑にすることなく、最適なフレームレートの撮影画像を取得できるカメラ付き携帯端末を得る。【解決手段】  カメラ処理部１０が、取得した画像データのフレーム毎の属性情報を決定するＣＣＤコントローラ１４と、属性情報を、画像データのフレーム毎に多重化する属性情報多重化部１３とを備え、アプリケーション処理部２０が、フレームメモリ２１に画像データを一時取り込み、フレームメモリ２１から読み出した画像データから多重化された属性情報を抽出し、この属性情報に基づいて画像データの利用処理を行う。【選択図】        図１
2006067487.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により画像データを取得するカメラ処理部と、当該カメラ処理部から取り込んだ画像データを符号化して利用するアプリケーション処理部とを備えたカメラ付き携帯端末において、
前記カメラ処理部が、
前記取得した画像データのフレーム毎の属性情報を決定する属性情報決定手段と、
前記属性情報を、前記画像データのフレーム毎に多重化する多重化手段とを備え、
前記アプリケーション処理部が、
フレームメモリに前記画像データを一時取り込み、
前記フレームメモリから読み出した画像データから多重化された属性情報を抽出し、抽出された属性情報に基づいて当該画像データの利用処理を行うことを特徴とするカメラ付き携帯端末。
【請求項２】
画像データが動画像に関する場合、属性情報決定手段は、被写体の明るさに応じて画像データのフレームレートを変更し、当該フレームレートを画像データの属性情報とし、
アプリケーション処理部は、
フレームメモリから読み出した画像データのフレームレートに基づいて、当該画像データを符号化処理することを特徴とする請求項１記載のカメラ付き携帯端末。
【請求項３】
属性情報決定手段は、ショット用画像またはプレビュー用画像を表す画像種情報を属性情報として決定し、
多重化手段は、プレビュー用画像からショット用画像に切り替えられた場合、直前のプレビュー用画像にショット用画像の画像種情報を多重化し、
アプリケーション処理部は、
フレームメモリから読み出したプレビュー用の画像データに多重化された画像種情報がショット用の画像データの画像種情報である場合には、前記フレームメモリへの取り込みパラメータをショット用の画像データに対応するように切り換えることを特徴とする請求項１記載のカメラ付き携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラ部で撮影した画像データに属性情報を多重化し、符号化処理して相手側に送信するカメラ付き携帯端末に関するものである。
【背景技術】
【０００２】
カメラ付き携帯端末において、カメラ部で撮影した動画像を相手側に送信する際には、１秒間に書き換える画面数であるフレームレートを決定し、このフレームレートに応じて画像データの符号化を行って送信する。従来のカメラ付き携帯端末による画像通信方式は、例えば特許文献１に開示される。この特許文献１には、ユーザがフレームレートをキー入力により段階的に切り替える操作を行い、そのフレームレートを符号化部に通知することによって、フレームレートに応じた符号化処理制御を行う画像通信端末装置および画像通信方式が開示されている。
【０００３】
【特許文献１】特開平１０−２８５５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の画像通信端末装置は上記のように構成されているので、ユーザがキー入力を行ってフレームレートを指示する必要があるため、操作が煩雑になるという課題があった。また、キー入力を行ってフレームレートを指示するためには、ユーザが入力画像のフレームレートを常に把握している必要があり、カメラ制御側で撮像装置の自動制御を行うことができないため、最適なフレームレートの撮影画像を自動的に取得できないという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、ユーザの操作を煩雑にすることなく、最適なフレームレートの撮影画像を取得できるカメラ付き携帯端末を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るカメラ付き携帯端末は、カメラ処理部が、取得した画像データのフレーム毎の属性情報を決定する属性情報決定手段と、属性情報を、画像データのフレーム毎に多重化する多重化手段とを備え、アプリケーション処理部が、フレームメモリに画像データを一時取り込み、フレームメモリから読み出した画像データから多重化された属性情報を抽出し、この属性情報に基づいて当該画像データの利用処理を行うものである。
【発明の効果】
【０００７】
この発明によれば、カメラ付き携帯端末は、カメラ処理部が、取得した画像データのフレーム毎の属性情報を決定する属性情報決定手段と、属性情報を、画像データのフレーム毎に多重化する多重化手段とを備え、アプリケーション処理部が、フレームメモリに画像データを一時取り込み、フレームメモリから読み出した画像データから多重化された属性情報を抽出し、この属性情報に基づいて当該画像データの利用処理を行うようにしたので、ユーザの操作を煩雑にすることなく、最適なフレームレートの撮影画像を取得できる効果がある。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１はこの発明の実施の形態１によるカメラ付き携帯端末の構成を示すブロック図である。図に示すように、カメラ付き携帯端末は、カメラ処理部１０、アプリケーション処理部２０、ＢＢ（Base Band）処理部３０、ＲＦ（Radio Frequency）処理部４０を備える。カメラ処理部１０は、ＣＣＤセンサ１１、リサイザ１２、属性情報多重化部（多重化手段）１３、ＣＣＤコントローラ（属性情報決定手段）１４を備える。また、アプリケーション処理部２０は、フレームメモリ２１、ビデオエンコーダ２２、多重化部２３を備える。
【０００９】
この実施の形態１では、図１のカメラ付き携帯端末をテレビ電話として用いる場合について説明する。カメラ処理部１０はＣＣＤセンサ１１等を含むカメラ全体の動作を制御し、アプリケーション処理部２０はカメラ処理部１０が取得した画像データの処理を行う。ＣＣＤセンサ１１は、撮像素子により被写体の明るさを検出すると共に画像データを生成する。リサイザ１２は、ＣＣＤセンサ１１が生成した画像データを所望の画像サイズにリサイズする。属性情報多重化部１３は、リサイザ１２によってリサイズされた画像フレームに、属性情報を多重化する（詳細は後述する）。ＣＣＤコントローラ１４は、ＣＣＤセンサ１１、リサイザ１２および属性情報多重化部１３を制御すると共に、画像の属性情報を決定する。例えば、ＣＣＤセンサ１１が検出した被写体の明るさに応じてフレームレートを決定して属性情報多重化部１３に通知する。
【００１０】
属性情報多重化部１３は、属性情報を多重化した画像データ１５をアプリケーション処理部２０に供給する。アプリケーション処理部２０は、フレームメモリ２１において画像データ１５をフレームごとに取り込む。ビデオエンコーダ２２は、フレームメモリ２１が取得した画像フレームを符号化する。多重化部２３は、符号化された画像データ、すなわちビデオストリームをその他メディア情報、例えば音声情報と多重化し、ＢＢ処理部３０に送出する。ＢＢ処理部３０は、相手側との通信路を確立する。ＲＦ処理部４０は、ビデオストリームを電波に変換して無線による送信を行うと共に、他の画像通信装置からのデータを受信する。
【００１１】
図２はカメラ付き携帯端末の動作について説明する図である。この図を参照してカメラ付き携帯端末の動作について説明する。
図２（ａ）は、画像データ１５上の１フレーム画像の表示に要する期間を模式的に説明する図である。図に示すように、１フレーム画像の表示に要する期間は、垂直ブランキング期間、水平ブランキング期間および実際の画像データの表示期間である有効エリア区間から構成される。
【００１２】
図２（ｂ）は、１垂直期間（１フレーム期間）の信号の出力タイミングについて説明する図である。垂直ブランキング期間はＬＢ（Line‐Blank）１〜ＬＢ１４の１４Ｈ（１Ｈ＝１水平期間）、水平ブランキング期間を含む有効エリア区間はＬＶ（Line‐Valid）１〜ＬＶ１４４の１４４Ｈとする。
【００１３】
図２（ｃ）は、１フレーム期間中の有効エリア区間を含む１水平期間の信号の出力タイミングについて説明する図である。図に示すように、１水平期間は、水平ブランキング期間がＨＢＰ（Horizontal‐Branking‐Pixel）１〜ＨＢＰ１８の１８画素クロック期間、水平有効エリア区間がＨＶＰ（Horizontal‐Valid‐Pixel）１〜ＨＶＰ１７６までの１７６画素クロック期間で構成される。図２（ｄ）は、この実施の形態１に係るＣＣＤコントローラ１４が保持するフレームレート情報の例を示す図である。ＣＣＤコントローラ１４は、ＣＣＤセンサ１１が検出した明るさに応じてこの図に示す４種類の中から選択する。
【００１４】
次に動作について説明する。
カメラ処理部１０が起動されると、ＣＣＤセンサ１１は画像データを取得してリサイザ１２に供給するとともに、被写体の明るさを検出してＣＣＤコントローラ１４に供給する。リサイザ１２は、ＣＣＤセンサ１１が取得した画像データを所望の画像サイズにして属性情報多重化部１３に供給する。ＣＣＤコントローラ１４は、ＣＣＤセンサ１１から取得した明るさに応じて、例えば１０ｆ／ｓ（flame/second）をフレームレート情報として選択し、属性情報多重化部１３に通知する。
【００１５】
属性情報多重化部１３はＣＣＤコントローラ１４から取得した現フレームのフレームレート情報を、リサイザ１２から取得した画像データの垂直ブランキング期間に多重化する。例えば、垂直ブランキング期間のＬＢ１４の位置に多重化する。多重化した画像データ１５をアプリケーション処理部２０に供給する。
【００１６】
アプリケーション処理部２０は、フレームメモリ２１において属性情報多重化部１３からのフレームレート情報を含む画像フレームを蓄積する。ビデオエンコーダ２２は、フレームメモリ２１から画像フレームを読み出し、符号化する。このとき、読み出した画像フレームに多重化されたフレームレート情報に基づいて符号化処理を行う。符号化した画像データを多重化部２３に供給する。多重化部２３は、符号化された画像データに音声情報等のその他メディア情報を多重化してＢＢ処理部３０に供給する。ＢＢ処理部３０は、多重化されたデータを相手側に送るための通信路を確立して、このデータをＲＦ処理部４０に供給する。ＲＦ処理部４０は、ＢＢ処理部３０からのデータを電波に変換し、無線によって送信する。以上の処理により、ビデオエンコーダ２２は画像データと、その画像データに関するフレームレート情報を取得することができるので、フレームレート情報に追随した最適な符号化処理を実施することが可能となる。
【００１７】
なお、ＣＣＤコントローラ１４はＣＣＤセンサ１１の蓄積時間を制御している。蓄積時間はフレームレートに対応していることからＣＣＤコントローラ１４は蓄積時間に対応したフレームレートを決定することが可能となる。
【００１８】
以上のように、この実施の形態１によれば、属性情報多重化部１３が、ＣＣＤセンサ１１が生成した画像データのフレームレート情報をこの画像データの垂直ブランキング期間に多重化し、ビデオエンコーダ２２が、多重化されたフレームレート情報を読み出して画像データを符号化するようにしたので、ユーザの操作を煩雑にすることなくフレームレート情報に追随した適切な符号化処理を行うことができる効果が得られる。
【００１９】
実施の形態２．
図３はこの発明の実施の形態２によるカメラ付き携帯端末の構成を示すブロック図である。図に示すように、実施の形態２によるカメラ付き携帯端末は、アプリケーション処理部５０が、フレームメモリ５１、ＪＰＥＧ（Joint Photographic Experts Group）エンコーダ５２、メモリ５３、表示制御部５４、アプリケーション制御部５５を備える。アプリケーション処理部５０は、生成した画像をＬＣＤ表示部６０に表示する。図１と共通する構成要素には同一符号を付し、その説明を省略する。
【００２０】
一般に、カメラ付き携帯端末による静止画撮影時は、カメラ処理部１０を起動すると、ＬＣＤ表示部６０にはカメラ部で撮影している画像が映し出される。この映し出された画像を「プレビュー用画像」と呼ぶ。続いて、ユーザがシャッターを押すと静止画像が取得される。これを「ショット用画像」と呼ぶ。プレビュー用画像としては画素数の低い（例えば４万画素）画像を生成し、ショット用画像として画素数の高い（例えば１００万画素）画像をカメラ処理部１０は生成する。このため、ユーザのシャッター動作に応答してフレームメモリ５１の画像取り込みパラメータを切り替える必要がある。
【００２１】
従来は、ユーザのシャッター動作に応答してプレビュー画像からショット画像への切り替え指示を出すモジュールを備えていた。しかしながら、切り替え指示のタイミングを整えて画像データの送り側と受け取り側との同期を取るためには、複雑な処理が必要であった。そこで、この発明の実施の形態２によるカメラ付き携帯端末では、特別にモジュールを設けることなく、プレビュー用画像からショット用画像への切り替えと、画像データの送り動作と受け取り動作のタイミングの同期を取ることができるようにする。なお、カメラ処理部１０から送出される画像データ１５の構成は、実施の形態１で説明した図２（ａ）〜（ｃ）と同様とする。
【００２２】
図４はカメラ付き携帯端末が取得する画像の種類を例示する図であり、上述したプレビュー用画像、ショット用画像を含む。ショット用画像は、呼称：ＵＸＧＡ（Ultra eXtended Graphics Array）、サイズ：１６００×１２００の画像種情報から構成され、プレビュー用画像は、呼称：プレビュー画像、サイズ：２４０×１８０の画像種情報から構成される。
【００２３】
次に動作について説明する。
カメラ処理部１０が起動されると、ＣＣＤセンサ１１は画像データを取得してリサイザ１２に供給する。リサイザ１２は、ＣＣＤセンサ１１が取得した画像データを所望の画像サイズにして属性情報多重化部１３に供給する。ＣＣＤコントローラ１４は、属性情報として「プレビュー用画像」の画像種情報を属性情報多重化部１３に供給する。ここで供給する画像種情報は次フレーム用の情報、すなわち、次にリサイザ１２から取得してアプリケーション処理部５０に送る画像の用途およびサイズである。
【００２４】
属性情報多重化部１３は、リサイザ１２から取得した現フレームの画像データに、ＣＣＤコントローラ１４から取得した次フレーム用の画像種情報を多重化する。例えば、実施の形態１と同様に垂直ブランキング期間のＬＢ１４の位置に多重化する。多重化した画像データ１５をアプリケーション処理部５０に供給する。
【００２５】
アプリケーション処理部５０は、フレームメモリ５１内に属性情報多重化部１３からの画像データ１５を取り込む。取り込まれた画像データをアプリケーション制御部５５が読み出し、画像種情報を抽出して画像取り込み用のパラメータ、例えば画像サイズをフレームメモリ５１に設定する。この取り込みパラメータは上述したように次の画像フレームの取り込みのためのパラメータである。設定したパラメータが「プレビュー用画像」の画像サイズである場合、フレームメモリ５１が次フレーム画像を取り込むと表示制御部５４がフレームメモリ５１から読み出してＬＣＤ表示部６０にプレビュー画像を表示する。ユーザがシャッターを押下するまで、上記の動作が繰り返される。
【００２６】
続いて、ユーザがシャッターを押下したとする。ＣＣＤコントローラ１４は、シャッターの押下を検出すると、属性情報多重化部１３に「プレビュー用画像」の画像種情報から「ショット用画像」の画像種情報に切り替える供給する。属性情報多重化部１３は、リサイザ１２からの画像データの垂直ブランキング期間に「ショット用画像」の画像種情報を多重化してアプリケーション処理部５０に送出する。
【００２７】
アプリケーション処理部５０はフレームメモリ５１において画像データを取り込み、アプリケーション制御部５５が取り込まれた画像データから画像種情報を抽出する。ここでは「ショット用画像」の画像種情報が抽出されるため、アプリケーション制御部５５は「ショット用画像」の取り込み用パラメータをフレームメモリ５１に設定する。ここで、フレームメモリ５１に取り込まれている画像データ自身は「プレビュー用画像」であるため、表示制御部５４が読み出してＬＣＤ表示部６０に表示する。ＬＣＤ表示部６０の表示はこの画像で止まる。また、アプリケーション制御部５５は、「ショット用画像」の画像種情報を抽出すると、ＪＰＥＧエンコーダ５２に対して次フレームの画像データがフレームメモリ５１に取り込まれたら読み出してＪＰＥＧ符号化するように指示を出す。このように、属性情報多重化部１３は、プレビュー用画像からショット用画像に切り替えられたときに、直前のプレビュー用画像の画像データの垂直ブランキング期間にショット用画像の画像種情報を多重化する。
【００２８】
続いて、ＣＣＤセンサ１１は静止画像データとなる次フレームの画像データを取得し、リサイザ１２を介して属性情報多重化部１３に供給する。属性情報多重化部１３は、この画像データをアプリケーション処理部５０に送出する。アプリケーション処理部５０はフレームメモリ５１において画像データを取り込む。ＪＰＥＧエンコーダ５２はフレームメモリ５１からショット用画像を読み出してＪＰＥＧ符号化処理し、メモリ５３に保存する。
【００２９】
ユーザはメモリ５３に保存されたＪＰＥＧデータを相手側に送信したい場合は、キー操作して例えば電子メールに添付する等アプリケーション制御部５５に指示する。アプリケーション制御部５５は、指示に応じてメモリ５３からＪＰＥＧデータを読み出してＢＢ処理部３０に出力する。ＢＢ処理部３０は、相手側との通信路を確立するとともに、アプリケーション制御部５５からの画像データをＲＦ処理部４０に供給する。ＲＦ処理部４０は、ＢＢ処理部３０からのデータを電波に変換し、無線によって送信する。
【００３０】
以上のように、この実施の形態２によれば、ＣＣＤコントローラ１４が、ユーザのシャッター動作に応答して「プレビュー用画像」の画像種情報から「ショット用画像」の画像種情報に切り替えて属性情報多重化部１３に供給し、属性情報多重化部１３が画像データに次フレームの画像データの画像種情報を多重化し、アプリケーション制御部５５がこの画像種情報を読み出して取り込みパラメータとしてフレームメモリ５１に設定するようにしたので、特別にモジュールを設けることなく画像データの送り側と受け取り側のタイミングの同期を取ることが可能となる効果が得られる。
【００３１】
なお、現フレームの画像データに次フレームの画像データに関する画像種情報を多重化するのは、１フレーム単位での画像データを垂直同期信号により、属性情報多重化部１３がフレームメモリ５１に一旦送出し始めると、フレームメモリ５１での取り込みパラメータを瞬時に切り替えられないためである。次フレーム用の画像種情報を多重化して送るようにすれば、次フレームが属性情報多重化部１３から送出されるまでにフレームメモリ５１の取り込みパラメータの設定がなされればよいため、処理時間に余裕ができる。もちろん、パラメータの設定が間に合う場合は現フレームに関する画像種情報を現フレームの画像データに多重化してもよい。
【図面の簡単な説明】
【００３２】
【図１】この発明の実施の形態１によるカメラ付き携帯端末の構成を示すブロック図である。
【図２】（ａ）〜（ｄ）は、カメラ付き携帯端末の動作について説明する図である。
【図３】この発明の実施の形態２によるカメラ付き携帯端末の構成を示すブロック図である。
【図４】同実施の形態２に係るＣＣＤコントローラが保持する画像種情報の例を示す図である。
【符号の説明】
【００３３】
１０  カメラ処理部、１１  ＣＣＤセンサ、１２  リサイザ、１３  属性情報多重化部（多重化手段）、１４  ＣＣＤコントローラ（属性情報決定手段）、１５  画像データ、２０，５０  アプリケーション処理部、２１  フレームメモリ、２２  ビデオエンコーダ、２３  多重化部、３０  ＢＢ処理部、４０  ＲＦ処理部、５１  フレームメモリ、５２  ＪＰＥＧエンコーダ、５３  メモリ、５４  表示制御部、５５  アプリケーション制御部、６０  ＬＣＤ表示部。
【図１】
2006067487.tif 000003
【図２】
2006067487.tif 000004
【図３】
2006067487.tif 000005
【図４】
2006067487.tif 000006