(57)【要約】【課題】複数のカメラ部をより有効に活用して多彩な使用環境を実現する。【解決手段】２つのカメラ部１６，１９と、各カメラ部１６，１９に対応して設けるマイク１８，２０と、これらを同時駆動して動画を撮影し、マイク１８，２０で得た音声信号を比較し、その比較結果に基づいてカメラ部１６，１９で得た画像を合成して出力する制御部３５とを備える。【選択図】    図２
2005039451.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段と、
これら複数の撮像手段それぞれに対応して設ける複数の音声入力手段と、
上記複数の撮像手段及び複数の音声入力手段を同時駆動して動画を撮影する撮影駆動手段と、
この撮影駆動手段で複数の音声入力手段の駆動により得た複数の音声信号を比較する比較手段と、
この比較手段で得た比較結果に基づいて上記複数の撮像手段で得た画像信号を合成する画像合成手段と、
この画像合成手段で得た画像信号を出力する出力手段と
を具備したことを特徴とする撮像装置。
【請求項２】
複数の撮像手段と、
これら複数の撮像手段それぞれに対応して設ける複数の音声入力手段と、
上記複数の撮像手段及び複数の音声入力手段を同時駆動して動画を撮影する撮影駆動手段と、
この撮影駆動手段で複数の音声入力手段の駆動により得た複数の音声信号を比較する比較手段と、
この比較手段で得た比較結果に基づいて上記複数の撮像手段で得た画像信号から１つを選択する画像選択手段と、
この画像選択手段で得た画像信号を出力する出力手段と
を具備したことを特徴とする撮像装置。
【請求項３】
複数の撮像手段と、
これら複数の撮像手段それぞれに対応して設ける複数の音声入力手段と、
上記複数の撮像手段及び複数の音声入力手段を同時駆動して動画を撮影する撮影駆動手段と、
上記複数の撮像手段で得た画像信号を複数の撮像手段の位置関係を反映して合成する画像合成手段と、
この画像合成手段で得た画像信号を出力する出力手段と
を具備したことを特徴とする撮像装置。
【請求項４】
上記合成手段は、より音圧レベルの高い音声信号に対応した画像中に、より音圧レベルの低い音声信号に対応した画像を嵌込み合成した画像信号を生成することを特徴とする請求項１記載の撮像装置。
【請求項５】
上記出力手段は、上記画像信号と共に上記複数の音声入力手段で得た複数の音声信号を、それぞれ対応する複数の撮像手段の位置関係を反映して分離した状態で出力することを特徴とする請求項３記載の撮像装置。
【請求項６】
上記出力手段は、画像信号と共に上記複数の音声入力手段で得た複数の音声信号を出力することを特徴とする請求項１乃至３いずれか記載の撮像装置。
【請求項７】
上記出力手段は、上記複数の音声信号をそれぞれ分離した状態で出力することを特徴とする請求項６記載の撮像装置。
【請求項８】
上記出力手段は、一定のタイムラグを考慮して時間的に遡った画像信号を出力することを特徴とする請求項１または２記載の撮像装置。
【請求項９】
上記出力手段は、記録媒体に少なくとも画像信号を記録することを特徴とする請求項１乃至８いずれかに記載の撮像装置。
【請求項１０】
上記出力手段は、通信媒体に少なくとも画像信号を送信することを特徴とする請求項１乃至８いずれかに記載の撮像装置。
【請求項１１】
複数の撮像部及びこれら複数の撮像部それぞれに対応して設けられた複数の音声入力部を同時駆動して動画を撮影する撮影駆動工程と、
この撮影駆動工程で複数の音声入力部の駆動により得た複数の音声信号を比較する比較工程と、
この比較工程で得た比較結果に基づいて上記複数の撮像部で得た画像信号を合成する画像合成工程と、
この画像合成工程で得た画像信号を出力する出力工程と
を有したことを特徴とする撮像方法。
【請求項１２】
複数の撮像部及びこれら複数の撮像部それぞれに対応して設けられた複数の音声入力部を設けた撮像装置が内蔵するコンピュータが実行するプログラムであって、
上記複数の撮像部及び複数の音声入力部を同時駆動して動画を撮影する撮影駆動ステップと、
この撮影駆動ステップで複数の音声入力部の駆動により得た複数の音声信号を比較する比較ステップと、
この比較ステップで得た比較結果に基づいて上記複数の撮像部で得た画像信号を合成する画像合成ステップと、
この画像合成ステップで得た画像信号を出力する出力ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばカメラ機能付きの携帯電話機等に好適な撮像装置、撮像方法及びプログラムに関する。
【０００２】
【従来の技術】
近時、カメラ機能付きの携帯電話機が広く一般に普及するに連れて、カメラ部の撮影方向が回転できるようにしたもの、筐体の異なる方向に向けて２つのカメラ部を設けたもの、カメラ部が折り畳み式ケーシングのヒンジ部軸方向に形成されて光学ズーム機構を有したものなど、様々な機種が製品化されている。
【０００３】
しかるに、２つのカメラ部を設けたものはいずれも、撮影対象に応じてその一方のみを選択的に出力するようになるもので、撮像素子を１つしか用いないものの、２つの撮影光路をプリズムやハーフミラー等の光学部材により選択的に切り換えることで、異なる方向の画像を撮影できるようにしたものも考えられている。（例えば、特許文献１参照。）
【０００４】
【特許文献１】
特開２００１−２２３９２４号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記２つのカメラ部、あるいは１つの撮影部に２つの撮影光路を持つものはいずれも、それらを撮影対象に応じて選択的に用いることで、１方向の画像を撮影するようにしたものであった。
【０００６】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、複数のカメラ部をより有効に活用して多彩な使用環境を実現することが可能な撮像装置、撮像方法及びプログラムを提供することにある。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、複数の撮像手段と、これら複数の撮像手段それぞれに対応して設ける複数の音声入力手段と、上記複数の撮像手段及び複数の音声入力手段を同時駆動して動画を撮影する撮影駆動手段と、この撮影駆動手段で複数の音声入力手段の駆動により得た複数の音声信号を比較する比較手段と、この比較手段で得た比較結果に基づいて上記複数の撮像手段で得た画像信号を合成する画像合成手段と、この画像合成手段で得た画像信号を出力する出力手段とを具備したことを特徴とする。
【０００８】
このような構成とすれば、例えばその時点で音声信号の音圧レベルに応じて対応する画像の大きさを変えて合成するなど、自然な形の合成画像を生成して出力することができる。
【０００９】
請求項２記載の発明は、上記請求項１記載の発明において、複数の撮像手段と、これら複数の撮像手段それぞれに対応して設ける複数の音声入力手段と、上記複数の撮像手段及び複数の音声入力手段を同時駆動して動画を撮影する撮影駆動手段と、この撮影駆動手段で複数の音声入力手段の駆動により得た複数の音声信号を比較する比較手段と、この比較手段で得た比較結果に基づいて上記複数の撮像手段で得た画像信号から１つを選択する画像選択手段と、この画像選択手段で得た画像信号を出力する出力手段とを具備したことを特徴とする。
【００１０】
このような構成とすれば、例えばその時点で音声信号の音圧レベルの大きい側に対応した画像を選択して出力することにより、複数の人物を撮影している状態でその中の発言者の画像をその時々に応じて切り換えるなど、自然な形の合成画像を生成して出力することができる。
【００１１】
請求項３記載の発明は、複数の撮像手段と、これら複数の撮像手段それぞれに対応して設ける複数の音声入力手段と、上記複数の撮像手段及び複数の音声入力手段を同時駆動して動画を撮影する撮影駆動手段と、上記複数の撮像手段で得た画像信号を複数の撮像手段の位置関係を反映して合成する画像合成手段と、この画像合成手段で得た画像信号を出力する出力手段とを具備したことを特徴とする。
【００１２】
このような構成とすれば、例えば複数の人物を撮影している状態でその位置関係に対応して各人物を並べた合成画像を生成して出力するなど、自然な形の合成画像を生成して出力することができる。
【００１３】
請求項４記載の発明は、上記請求項１記載の発明において、上記合成手段は、より音圧レベルの高い音声信号に対応した画像中に、より音圧レベルの低い音声信号に対応した画像を嵌込み合成した画像信号を生成することを特徴とする。
【００１４】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、その時点で音声信号の音圧レベルの大きい側に対応した画像を大きく、音圧レベルの小さい側に対応した画像を小さくしたピクチャ・イン・ピクチャの合成画像を生成して出力することにより、複数の人物を撮影している状態でその中の発言者の画像を他より大きくように、自然な形の合成画像を生成して出力することができる。
【００１５】
請求項５記載の発明は、上記請求項３記載の発明において、上記出力手段は、上記画像信号と共に上記複数の音声入力手段で得た複数の音声信号を、それぞれ対応する複数の撮像手段の位置関係を反映して分離した状態で出力することを特徴とする。
【００１６】
このような構成とすれば、上記請求項３記載の発明の作用に加えて、複数の画像信号の位置関係に対応して音声信号もステレオ化して出力するなど、画像の合成に対応する音声も出力することで、より自然な動画撮影内容を出力することができる。
【００１７】
請求項６記載の発明は、上記請求項１乃至３いずれかに記載の発明において、上記出力手段は、画像信号と共に上記複数の音声入力手段で得た複数の音声信号を出力することを特徴とする。
【００１８】
このような構成とすれば、上記請求項１乃至３いずれか記載の発明の作用に加えて、音声も合わせたきわめて自然な動画データを生成して出力することができる。
【００１９】
請求項７記載の発明は、上記請求項６記載の発明において、上記出力手段は、上記複数の音声信号をそれぞれ分離した状態で出力することを特徴とする。
【００２０】
このような構成とすれば、上記請求項６記載の発明の作用に加えて、画像に対応したステレオ音声を出力できるため、音像の定位をも明確とした、きわめて自然で品位の高い動画データを生成して出力することができる。
【００２１】
請求項８記載の発明は、請求項１または２記載の発明において、上記出力手段は、一定のタイムラグを考慮して時間的に遡った画像信号を出力することを特徴とする。
【００２２】
このような構成とすれば、上記請求項１または２記載の発明の作用に加えて、複数の音声信号の比較に応じた画像の出力に際してタイムラグを考慮して一定の時間を遡った画像を出力することができるため、簡単な処理ながら例えば撮影対象となる人物の発言当初の画像をより自然に生成して出力することができる。
【００２３】
請求項９記載の発明は、上記請求項１乃至８いずれかに記載の発明において、上記出力手段は、記録媒体に少なくとも画像信号を記録することを特徴とする。
【００２４】
このような構成とすれば、上記請求項１乃至８いずれかに記載の発明の作用に加えて、撮影により得た画像を記録媒体に記録するため、該記録媒体を用いて後の再生処理などに活用できる。
【００２５】
請求項１０記載の発明は、上記請求項１乃至８いずれかに記載の発明において、上記出力手段は、通信媒体に少なくとも画像信号を送信することを特徴とする。
【００２６】
このような構成とすれば、上記請求項１乃至８いずれかに記載の発明の作用に加えて、例えば画像を添付した電子メールの発信等に適用可能となるばかりでなく、同一機能を有する他の装置との通信によりテレビ電話などのようにリアルタイムで相互の画像を用いた通信にも適用することが可能となる。
【００２７】
請求項１１記載の発明は、複数の撮像部及びこれら複数の撮像部それぞれに対応して設けられた複数の音声入力部を同時駆動して動画を撮影する撮影駆動工程と、この撮影駆動工程で複数の音声入力部の駆動により得た複数の音声信号を比較する比較工程と、この比較工程で得た比較結果に基づいて上記複数の撮像部で得た画像信号を合成する画像合成工程と、この画像合成工程で得た画像信号を出力する出力工程とを有したことを特徴とする。
【００２８】
このような方法とすれば、例えばその時点で音声信号の音圧レベルに応じて対応する画像の大きさを変えて合成するなど、自然な形の合成画像を生成して出力させることができる。
【００２９】
請求項１２記載の発明は、複数の撮像部及びこれら複数の撮像部それぞれに対応して設けられた複数の音声入力部を設けた撮像装置が内蔵するコンピュータが実行するプログラムであって、上記複数の撮像部及び複数の音声入力部を同時駆動して動画を撮影する撮影駆動ステップと、この撮影駆動ステップで複数の音声入力部の駆動により得た複数の音声信号を比較する比較ステップと、この比較ステップで得た比較結果に基づいて上記複数の撮像部で得た画像信号を合成する画像合成ステップと、この画像合成ステップで得た画像信号を出力する出力ステップとをコンピュータに実行させることを特徴とする。
【００３０】
このようなプログラム内容とすれば、例えばその時点で音声信号の音圧レベルに応じて対応する画像の大きさを変えて合成するなど、自然な形の合成画像を生成して出力させることができる。
【００３１】
【発明の実施の形態】
（第１の実施の形態）
以下本発明をカメラ機能付きのＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ：符号分割多元接続）方式の携帯電話機に適用した場合の第１の実施の形態について図面を参照して説明する。
【００３２】
図１（Ａ），（Ｂ）は、この第１の実施の形態に係る携帯電話機１０の外観構成を示すもので、ヒンジ部１１を介在して２つの筐体１２，１３が一体に構成された折りたたみ式となっており、図１（Ａ）が最大限に開いた状態の内面を、図１（Ｂ）が折りたたんだ状態の主として上部筐体１２の外面を示す。
【００３３】
図１（Ａ）に示すように上部筐体１２の内面には、受話器となるスピーカ１４、メイン表示部１５、及び第１カメラ部１６が備えられる。
【００３４】
一方、下部筐体１３の内面には、ダイヤルキー等を含む各種キー１７及び送話器となる第１マイクロホン１８が備えられる。
【００３５】
また、図１（Ｂ）に示すように、上部筐体１２の外面には、第２カメラ部１９、第２マイクロホン２０、高輝度ＬＥＤでなる撮影ライト２１、及びサブ表示部２２が備えられる。
【００３６】
さらに、下部筐体１３内にも延在されているアンテナ２３がヒンジ部１１外面側より突出形成される。
【００３７】
なお、ここでは図示しないが、下部筐体１３の外面側には、着信時のビープ音やメロディ等を拡声放音するための、上記スピーカ１４より大型の外面スピーカ２４を設ける。
【００３８】
図２は、上記携帯電話機１０の回路構成を示すものである。同図で、上記アンテナ２３は最寄りの基地局とＣＤＭＡ方式の通信を行ない、このアンテナ２３にＲＦ部３１を接続している。
【００３９】
このＲＦ部３１は、受信時にはアンテナ２３から入力された信号をデュプレクサで周波数軸上から分離し、ＰＬＬシンセサイザから出力される所定周波数の局部発振信号と混合することによりＩＦ信号に周波数変換し、さらに広帯域ＢＰＦで受信周波数チャネルのみを抽出し、ＡＧＣ増幅器で希望受信波の信号レベルを一定にしてから次段の変復調部３２へ出力する。
【００４０】
一方、ＲＦ部３１は送信時に、変復調部３２から送られてくるＯＱＰＳＫ（Ｏｆｆｓｅｔ  Ｑｕａｄｒｉ−Ｐｈａｓｅ  Ｓｈｉｆｔ  Ｋｅｙｉｎｇ）の変調信号を、後述する制御部３５からの制御に基づいてＡＧＣ増幅器で送信電力制御した後にＰＬＬシンセサイザから出力される所定周波数の局部発振信号と混合してＲＦ帯に周波数変換し、ＰＡ（Ｐｏｗｅｒ  Ａｍｐｌｉｆｉｅｒ）で大電力に増幅して、上記デュプレクサを介してアンテナ２３より輻射送信させる。
【００４１】
変復調部３２は、受信時にＲＦ部３１からのＩＦ信号を直交検波器でベースバンドＩ・Ｑ（Ｉｎ−ｐｈａｓｅ・Ｑｕａｄｒａｔｕｒｅ−ｐｈａｓｅ）信号に分離し、デジタル化してＣＤＭＡ部３３に出力する。
【００４２】
一方、変復調部３２は送信時に、ＣＤＭＡ部３３から送られてくるデジタル値のＩ・Ｑ信号をアナログ化した後に直交変調器でＯＱＰＳＫ変調してＲＦ部３１に送出する。
【００４３】
ＣＤＭＡ部３３は、受信時に変復調部３２からのデジタル信号をＰＮ（Ｐｓｅｕｄｏ  Ｎｏｉｓｅ：擬似雑音）符号のタイミング抽出回路及びそのタイミング回路の指示に従って逆拡散・復調を行なう複数の復調回路に入力し、そこから出力される複数の復調シンボルの同期をとって合成器で合成して音声処理部３４に出力する。
【００４４】
一方、ＣＤＭＡ部３３は送信時に、音声処理部３４からの出力シンボルを拡散処理した後にデジタルフィルタで帯域制限をかけてＩ・Ｑ信号とし、変復調部３２に送出する。
【００４５】
音声処理部３４は、受信時にＣＤＭＡ部３３からの出力シンボルをデインタリーブし、それからビタビ復調器で誤り訂正処理を施した後に、音声処理ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｃｅｓｓｏｒ）で圧縮されたデジタル信号から通常のデジタル音声信号へと伸長し、これをアナログ化して上記スピーカ１４または必要により上記外面スピーカ２４を拡声駆動させる。
【００４６】
一方、音声処理部３４は送信時に、上記第１マイクロホン１８及び第２マイクロホン２０から入力されるアナログの音声信号をデジタル化した後に音声処理ＤＳＰでデータ量を圧縮し、それから畳込み符号器で誤り訂正符号化してからインタリーブし、その出力シンボルをＣＤＭＡ部３３へ送出する。
【００４７】
しかして、上記ＲＦ部３１、変復調部３２、ＣＤＭＡ部３３、及び音声処理部３４に対して制御部３５を接続し、この制御部３５にＧＰＳレシーバ３６、画像撮影部３７、動画処理部３８、上記メイン表示部１５、上記サブ表示部２２、メモリカード３９、バイブレータ部４０、及びＬＥＤ駆動部４１を接続している。
【００４８】
ここで制御部３５は、ＣＰＵと後述する動画通信動作等を含むその動作プログラムを固定的に記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等で構成され、この携帯電話機１０全体の動作を制御する。
【００４９】
ＧＰＳレシーバ３６は、ＧＰＳアンテナ４２が受信する複数のＧＰＳ衛星からの測位情報により現在位置の緯度、経度、及び高度と正確な現在時刻とを算出し、制御部３５へ出力する。
【００５０】
画像撮影部３７は、制御部３５の制御の下に、上記第１カメラ部１６を構成する光学レンズ系４３の撮影光軸後方に配置されたＣＣＤ４４での撮影動作、及び上記第２カメラ部１９を構成する光学レンズ系４５の撮影光軸後方に配置されたＣＣＤ４６での撮影動作を制御し、これらの撮影により得られる２つの画像データをデジタル化して出力する。
【００５１】
動画処理部３８は、画像撮影部３７より得られる画像データと上記第１マイクロホン１８及び第２マイクロホン２０で得られる音声データとを例えばＭＰＥＧ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  ｃｏｄｉｎｇ  Ｅｘｒｅｒｔ  Ｇｒｏｕｐ  ４）方式に基づいてデータ圧縮し、動画データを生成する一方で、受信した動画データのデータ圧縮を解いて伸長し、元のビットマップ状の画像データと音声データとを得る。
【００５２】
メモリカード３９は、この携帯電話機１０に着脱自在に備えられるもので、自機で撮影した動画データや受信により得た動画データ等を記憶しておく。
【００５３】
バイブレータ部４０は、着信時等に予め設定された振動パターン及び振動強度で振動する。
【００５４】
ＬＥＤ駆動部４１は、上記撮影ライト２１を構成する高輝度白色ＬＥＤとその駆動回路とでなるものであり、必要により第２カメラ部１９の撮影対象となる被写体方向に向けて補助光を照射する。
【００５５】
なお、上記メイン表示部１５及びサブ表示部２２は、いずれもバックライト付きの反射／透過型カラー液晶パネルで構成され、バックライトを点灯して透過型液晶としての表示が可能である一方、見やすさは多少落ちるものの、バックライトを消灯して外光を用いた反射型液晶としての表示も可能であるものとする。
【００５６】
また、図示はしないが、上記ヒンジ部１１には上部筐体１２と下部筐体１３の展開状態及び折りたたみ状態を検出するための機構を有するものとする。この検出機構からの情報により制御部３５は、第１カメラ部１６と第２カメラ部１９により画像を撮影して通話しようとすべく各種キー１７のカメラキー１７ａを操作して移行するテレビ電話モードにおいて、上記図１（Ａ）に示したように上部筐体１２と下部筐体１３を開いた展開状態で、この携帯電話機１０のユーザが第１カメラ部１６により自分を、第２カメラ部１９により他者を同時に撮影しようとしているものと判断し、サブ表示部２２での表示を停止してメイン表示部１５で第１カメラ部１６と第２カメラ部１９での撮影に基づくモニタ画像を表示させる。
【００５７】
次に上記実施の形態の動作について説明する。
図３は、基本的に制御部３５が予め固定記憶された動作プログラムに基づいて実行するテレビ電話モード時の通話処理内容を示すもので、同様の機能を有する通話相手先の携帯電話機から受信した動画データの再生に関しては本処理と平行して実行するものとして、ここではその説明を省略し、動画データの取得から送信に至る過程のみを述べるものとする。
【００５８】
その当初には、第１マイクロホン１８と第２マイクロホン２０を用いて上部筐体１２の内面と外面両方向の音声（図では「音声Ａ，音声Ｂ」と称する）を録音しながら（ステップＡ０１）、動画像を構成する個々の画像の撮影タイミングとなるのを待機する（ステップＡ０２）。
【００５９】
この場合、例えば動画のフレームレートが１５［フレーム／秒］、解像度が横１６０ドット×縦１２０ドット、音声のサンプリング周波数が１２［ＫＨｚ］であるとすると、１２［ＫＨｚ］で音声信号のサンプリングを実行しながら、１／１５［秒］毎に撮影タイミングとなってステップＡ０２でこれを判断し、第１カメラ部１６と第２カメラ部１９による上部筐体１２の内面と外面両方向の画像（図では「画像Ａ，画像Ｂ」と称する）を撮影する（ステップＡ０３）。
【００６０】
これとともに、上記録音により得た２つの音声データの音圧レベルを比較し、そのいずれが大きいかを判断する（ステップＡ０４）。
【００６１】
第１マイクロホン１８で得た音声データの音圧レベルの方が第２マイクロホン２０で得た音声データの音圧レベル以上であった場合には、音声に対応する画像として第１カメラ部１６で得た画像データ内の一部、例えば右下に第２カメラ部１９で得た画像データを嵌め込んだピクチャ・イン・ピクチャの合成画像を作成する（ステップＡ０５）。
【００６２】
この合成画像としては、上述した如く第２カメラ部１９で得た横１６０ドット×縦１２０ドットの解像度を有する画像データを縦横共に１ドット毎に間引いて横８０ドット×縦６０ドットの画像データを生成し、これを第１カメラ部１６で得た横１６０ドット×縦１２０ドットの解像度を有する画像データの右下１／４に渡る範囲の部分に置換することで、容易に作成できる。
【００６３】
また、上記ステップＡ０４で第１マイクロホン１８で得た音声データの音圧レベルに比して第２マイクロホン２０で得た音声データの音圧レベルの方が大きいと判断した場合には、音声に対応する画像として第２カメラ部１９で得た画像データ内の一部、例えば右下に第１カメラ部１６で得た画像データを嵌め込んだピクチャ・イン・ピクチャの合成画像を作成する（ステップＡ０６）。
【００６４】
こうしてステップＡ０５またはＡ０６で得た合成画像データを用い、併せて前回の画像撮影から今回の画像撮影の間に取得していた１／１５［秒］分の２つの音声データを重畳して所定のフォーマット化し（ステップＡ０７）、通話相手先に送信して（ステップＡ０８）、以上で画像データ単位の一連の処理を終了し、再び上記ステップＡ０１からの処理に戻って、以後このテレビ電話モードでの通話が終わるまで上記処理を繰返し実行する。
【００６５】
図４は、上記ステップＡ０５での処理を経てステップＡ０７で所定のフォーマット化した画像データと対応する音声データの概念を例示するものである。画像データとしては、第１カメラ部１６で得た画像データ内の一部、例えば右下に第２カメラ部１９で得た画像データを嵌め込んだピクチャ・イン・ピクチャの合成画像が配される一方で、音声データとしては第１マイクロホン１８で得た音声データと第２マイクロホン２０で得た音声データとが重畳された状態で配される。
【００６６】
なお、実際に動画データを例えばＭＰＥＧ４の規格に則ってデータ圧縮した後に送信するものとした場合には、動画処理部３８で複数フレームの画像データに対するＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）、動き補償等の処理を施した後に送信することとなるので、上記図４に示した如く１フレームの画像データにその時間分の音声データが付加されたデータフォーマットとは概念が異なるものとなる。
【００６７】
このように、例えばその時点で音声信号の音圧レベルの大きい側に対応した画像を大きく、音圧レベルの小さい側に対応した画像を小さくしたピクチャ・イン・ピクチャの合成画像を生成することにより、１台の携帯電話機１０で二人の人物を同時に撮影している状態でそのうちの発言している側の画像を他より大きくするなど、自然な形の合成画像を生成することができる。
【００６８】
（第２の実施の形態）
以下本発明をカメラ機能付きのＣＤＭＡ方式の携帯電話機に適用した場合の第２の実施の形態について図面を参照して説明する。
【００６９】
なお、その外観構成に関しては上記図１と、回路構成に関しては上記図２とそれぞれ基本的に同様であるので、同一部分には同一符号を用いるものとして、それらの図示及び説明は省略する。
【００７０】
次に上記実施の形態の動作について説明する。
図５は、基本的に制御部３５が予め固定記憶された動作プログラムに基づいて実行するテレビ電話モード時の通話処理内容を示すもので、同様の機能を有する通話相手先の携帯電話機から受信した動画データの再生に関しては本処理と平行して実行するものとして、ここではその説明を省略し、動画データの取得から送信に至る過程のみを述べるものとする。
【００７１】
その当初には、第１マイクロホン１８と第２マイクロホン２０を用いて上部筐体１２の内面と外面両方向の音声（図では「音声Ａ，音声Ｂ」と称する）を録音しながら（ステップＢ０１）、動画像を構成する個々の画像の撮影タイミングとなるのを待機する（ステップＢ０２）。
【００７２】
この場合、例えば動画のフレームレートが１５［フレーム／秒］、解像度が横１６０ドット×縦１２０ドット、音声のサンプリング周波数が１２［ＫＨｚ］であるとすると、１２［ＫＨｚ］で音声信号のサンプリングを実行しながら、１／１５［秒］毎に撮影タイミングとなってステップＢ０２でこれを判断し、第１カメラ部１６と第２カメラ部１９による上部筐体１２の内面と外面両方向の画像（図では「画像Ａ，画像Ｂ」と称する）を撮影する（ステップＢ０３）。
【００７３】
これとともに、上記録音により得た２つの音声データの音圧レベルを比較し、そのいずれが大きいかを判断する（ステップＢ０４）。
【００７４】
第１マイクロホン１８で得た音声データの音圧レベルの方が第２マイクロホン２０で得た音声データの音圧レベル以上であった場合には、音声に対応する画像として第１カメラ部１６で得た画像データを選択する（ステップＢ０５）。
【００７５】
この選択画像としては、上述した如く第１カメラ部１６で得た横１６０ドット×縦１２０ドットの解像度を有する画像データをそのまま利用する。
【００７６】
また、上記ステップＢ０４で第１マイクロホン１８で得た音声データの音圧レベルに比して第２マイクロホン２０で得た音声データの音圧レベルの方が大きいと判断した場合には、音声に対応する画像として第２カメラ部１９で得た画像データを選択する（ステップＢ０６）。
【００７７】
こうしてステップＢ０５またはＢ０６で選択した画像データを用い、併せて前回の画像撮影から今回の画像撮影の間に取得していた１／１５［秒］分の２つの音声データを重畳して所定のフォーマット化し（ステップＢ０７）、通話相手先に送信して（ステップＢ０８）、以上で画像データ単位の一連の処理を終了し、再び上記ステップＢ０１からの処理に戻って、以後このテレビ電話モードでの通話が終わるまで上記処理を繰返し実行する。
【００７８】
図６は、上記ステップＢ０５での処理を経てステップＢ０７で所定のフォーマット化した画像データと対応する音声データの概念を例示するものである。画像データとしては、第１カメラ部１６で得た画像データのみを用いている一方で、音声データとしては第１マイクロホン１８で得た音声データと第２マイクロホン２０で得た音声データとが重畳された状態で配される。
【００７９】
なお、実際に動画データを例えばＭＰＥＧ４の規格に則ってデータ圧縮した後に送信するものとした場合には、動画処理部３８で複数フレームの画像データに対するＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）、動き補償等の処理を施した後に送信することとなるので、上記図６に示した如く１フレームの画像データにその時間分の音声データが付加されたデータフォーマットとは概念が異なるものとなる。
【００８０】
このように、例えばその時点で音声信号の音圧レベルの大きい側に対応した画像の側を選択することにより、１台の携帯電話機１０で二人の人物を同時に撮影している状態でそのうちの発言している側に切り換えるなど、自然な形の画像を生成することができる。
【００８１】
（第３の実施の形態）
以下本発明をカメラ機能付きのＣＤＭＡ方式の携帯電話機に適用した場合の第３の実施の形態について図面を参照して説明する。
【００８２】
なお、その外観構成に関しては上記図１と、回路構成に関しては上記図２とそれぞれ基本的に同様であるので、同一部分には同一符号を用いるものとして、それらの図示及び説明は省略する。
【００８３】
次に上記実施の形態の動作について説明する。
図７は、基本的に制御部３５が予め固定記憶された動作プログラムに基づいて実行するテレビ電話モード時の通話処理内容を示すもので、同様の機能を有する通話相手先の携帯電話機から受信した動画データの再生に関しては本処理と平行して実行するものとして、ここではその説明を省略し、動画データの取得から送信に至る過程のみを述べるものとする。
【００８４】
その当初には、第１マイクロホン１８と第２マイクロホン２０を用いて上部筐体１２の内面と外面両方向の音声（図では「音声Ａ，音声Ｂ」と称する）を録音しながら（ステップＣ０１）、動画像を構成する個々の画像の撮影タイミングとなるのを待機する（ステップＣ０２）。
【００８５】
この場合、例えば動画のフレームレートが１５［フレーム／秒］、解像度が横１６０ドット×縦１２０ドット、音声のサンプリング周波数が１２［ＫＨｚ］であるとすると、１２［ＫＨｚ］で音声信号のサンプリングを実行しながら、１／１５［秒］毎に撮影タイミングとなってステップＣ０２でこれを判断し、第１カメラ部１６と第２カメラ部１９による上部筐体１２の内面と外面両方向の画像（図では「画像Ａ，画像Ｂ」と称する）を撮影する（ステップＣ０３）。
【００８６】
そして、第１カメラ部１６で得た画像データと第２カメラ部１９で得た画像データとを用いてこれらを左右に配置した合成画像を作成する（ステップＣ０４）。
【００８７】
この合成画像としては、上述した如く第１カメラ部１６及び第２カメラ部１９で得た横１６０ドット×縦１２０ドットの解像度を有する画像データをそれぞれ横方向のみ１ドット毎に間引いて横８０ドット×縦１２０ドットの画像データを生成し、第１カメラ部１６で得た画像データを左、第２カメラ部１９で得た画像データを右となるように２つの画像を単純に合成して横１６０ドット×縦１２０ドットの解像度を有する画像データとする。
【００８８】
こうしてステップＣ０４で得た合成画像データを用い、併せて前回の画像撮影から今回の画像撮影の間に取得していた１／１５［秒］分の２つの音声データをそれぞれ左チャンネル（Ｌｃｈ）と右チャンネル（Ｒｃｈ）で分離した状態として所定のフォーマット化し（ステップＣ０５）、通話相手先に送信して（ステップＣ０６）、以上で画像データ単位の一連の処理を終了し、再び上記ステップＣ０１からの処理に戻って、以後このテレビ電話モードでの通話が終わるまで上記処理を繰返し実行する。
【００８９】
図８は、上記ステップＣ０４での処理を経てステップＣ０５で所定のフォーマット化した画像データと対応する音声データの概念を例示するものである。
【００９０】
画像データとしては、第１カメラ部１６で得た画像データが左側に、第２カメラ部１９で得た画像データが右側に配置されて一枚の合成画像として配される一方で、これに対応して音声データとしては第１マイクロホン１８で得た音声データが左チャンネル、第２マイクロホン２０で得た音声データが右チャンネルとなるようにステレオ音声とした状態で配される。
【００９１】
従って、通話相手先も同等の携帯電話機１０を用いてこれを再生するものとすれば、メイン表示部１５に上記二人の人物が写った合成画像が表示されると共に、例えば主として第１マイクロホン１８で得た音声データが外面スピーカ２４により、第２マイクロホン２０で得た音声データが第１マイクロホン１８により拡声放音される、というように、音声データを得た人物の位置関係に対応して、スピーカ１４と外面スピーカ２４を別々に駆動して異なる音声を拡声放音させることができる。
【００９２】
なお、実際に動画データを例えばＭＰＥＧ４の規格に則ってデータ圧縮した後に送信するものとした場合には、動画処理部３８で複数フレームの画像データに対するＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）、動き補償等の処理を施した後に送信することとなるので、上記図８に示した如く１フレームの画像データにその時間分の音声データが付加されたデータフォーマットとは概念が異なるものとなる。
【００９３】
このように、例えば複数の人物を撮影している状態でその位置関係に対応して各人物を並べた合成画像を生成することにより、自然な形の合成画像を生成することができる。
【００９４】
加えて、第１マイクロホン１８と第２マイクロホン２０で得た音声データをステレオ信号として分離したままの状態で送信するものとしたため、相手先にも２つのスピーカが備えられていれば、各音声を別々に拡声放音することができ、発言する人物の違いを音声の出力位置からも類推できるような、音像の定位を明確と、きわめて自然で品位の高い動画の出力が可能となる。
【００９５】
なお、上記第１及び第２の実施の形態では、２つの音声信号の音圧レベルの大小により即時画像の状態を切り換えるものとなるが、あえてその切換えに対しては前回に切換えてから経過した時間と、２つの音声信号の音圧レベルの差をも考慮して切り換えるものとしてもよい。
【００９６】
その場合、前回の画像切換え直後には、ある一定以上の閾値を越えるような音圧レベルの差がないと画像の切換えを行なわず、且つ切換から時間が経過するに連れてその閾値の内容を段階的に減少させるようにする。
【００９７】
こうすることで、不自然に短い周期で合成画像の内容が切換えられてしまい、見づらいものとなってしまうのを避けることができる。
【００９８】
また、上記第１及び第２の実施の形態における合成画像の切換えに際しては、バッファメモリによりその時点で得られる画像をある程度の時間分保持しておき、切換時に音声との違和感を感じない程度の一定の時間タイムラグ分、例えば０．２［秒］だけ遡った画像を取出して出力に用いるものとしてもよい。
【００９９】
これは、音声の状態の変化に伴う画像の切換えに際して、音声の状態の変化を検出したその時点ではなく、時間的に少し前に遡った画像を対応するものとして用いることにより、例えば新たに発言を開始した人物の、その発言を行なっている状態からではなく、発言をする直前の状態からの画像を出力することにより、視覚的にきわめて自然な画像を提供できるようにしたものである。
【０１００】
また、上記第１乃至第３の実施の形態はいずれも、２つの画像信号及びこれに対応する２つの音声信号から生成した信号を通話相手に即時送信する場合について説明したが、テレビ電話モードでの通話で送信する場合に限らず、一旦メモリカード３９等の記録媒体に記録し、後に編集や再生等の処理を施すものとしてもよく、さらには電子メールの添付ファイルとして使用するものとしてもよい。
【０１０１】
さらに、上記第１乃至第３の実施の形態はいずれも、本発明をカメラ機能付きの携帯電話機に適用した場合について説明したものであるが、本発明はこれに限らず、動画撮影が可能なデジタルカメラや、カメラ機能付きのＰＤＡ、ビデオカメラ装置、会議記録システム等にも多々適用可能となる。
【０１０２】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【０１０３】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１０４】
【発明の効果】
請求項１記載の発明によれば、例えばその時点で音声信号の音圧レベルに応じて対応する画像の大きさを変えて合成するなど、自然な形の合成画像を生成して出力することができる。
【０１０５】
請求項２記載の発明によれば、例えばその時点で音声信号の音圧レベルの大きい側に対応した画像を選択して出力することにより、複数の人物を撮影している状態でその中の発言者の画像をその時々に応じて切り換えるなど、自然な形の合成画像を生成して出力することができる。
【０１０６】
請求項３記載の発明によれば、例えば複数の人物を撮影している状態でその位置関係に対応して各人物を並べた合成画像を生成して出力するなど、自然な形の合成画像を生成して出力することができる。
【０１０７】
請求項４記載の発明によれば、上記請求項１記載の発明の効果に加えて、その時点で音声信号の音圧レベルの大きい側に対応した画像を大きく、音圧レベルの小さい側に対応した画像を小さくしたピクチャ・イン・ピクチャの合成画像を生成して出力することにより、複数の人物を撮影している状態でその中の発言者の画像を他より大きくように、自然な形の合成画像を生成して出力することができる。
【０１０８】
請求項５記載の発明によれば、上記請求項３記載の発明の効果に加えて、複数の画像信号の位置関係に対応して音声信号もステレオ化して出力するなど、画像の合成に対応する音声も出力することで、より自然な動画撮影内容を出力することができる。
【０１０９】
請求項６記載の発明によれば、上記請求項１乃至３いずれか記載の発明の効果に加えて、音声も合わせたきわめて自然な動画データを生成して出力することができる。
【０１１０】
請求項７記載の発明によれば、上記請求項６記載の発明の効果に加えて、画像に対応したステレオ音声を出力できるため、音像の定位をも明確とした、きわめて自然で品位の高い動画データを生成して出力することができる。
【０１１１】
請求項８記載の発明によれば、上記請求項１または２記載の発明の効果に加えて、複数の音声信号の比較に応じた画像の出力に際してタイムラグを考慮して一定の時間を遡った画像を出力することができるため、簡単な処理ながら例えば撮影対象となる人物の発言当初の画像をより自然に生成して出力することができる。
【０１１２】
請求項９記載の発明によれば、上記請求項１乃至８いずれかに記載の発明の効果に加えて、撮影により得た画像を記録媒体に記録するため、該記録媒体を用いて後の再生処理などに活用できる。
【０１１３】
請求項１０記載の発明によれば、上記請求項１乃至８いずれかに記載の発明の効果に加えて、例えば画像を添付した電子メールの発信等に適用可能となるばかりでなく、同一機能を有する他の装置との通信によりテレビ電話などのようにリアルタイムで相互の画像を用いた通信にも適用することが可能となる。
【０１１４】
請求項１１記載の発明によれば、例えばその時点で音声信号の音圧レベルに応じて対応する画像の大きさを変えて合成するなど、自然な形の合成画像を生成して出力させることができる。
【０１１５】
請求項１２記載の発明によれば、例えばその時点で音声信号の音圧レベルに応じて対応する画像の大きさを変えて合成するなど、自然な形の合成画像を生成して出力させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る携帯電話機の外観構成を示す図。
【図２】同実施の形態に係る携帯電話機の電子回路の機能構成を示すブロック図。
【図３】同実施の形態に係る動画データ取得時の処理内容を示すフローチャート。
【図４】同実施の形態に係る単位時間当たりに生成されるデータ構成を例示する図。
【図５】本発明の第２の実施の形態に係る動画データ取得時の処理内容を示すフローチャート。
【図６】同実施の形態に係る単位時間当たりに生成されるデータ構成を例示する図。
【図７】本発明の第３の実施の形態に係る動画データ取得時の処理内容を示すフローチャート。
【図８】同実施の形態に係る単位時間当たりに生成されるデータ構成を例示する図。
【符号の説明】
１０…携帯電話機、１１…ヒンジ部、１２…上部筐体、１３…下部筐体、１４…スピーカ、１５…メイン表示部、１６…第１カメラ部、１７…各種キー、１８…第１マイクロホン、１９…第２カメラ部、２０…第２マイクロホン、２１…撮影ライト、２２…サブ表示部、２３…アンテナ、２４…外面スピーカ、３１…ＲＦ部、３２…変復調部、３３…ＣＤＭＡ部、３４…音声処理部、３５…制御部、３６…ＧＰＳレシーバ、３７…画像撮影部、３８…動画処理部、３９…メモリカード、４０…バイブレータ部、４１…ＬＥＤ駆動部、４２…ＧＰＳアンテナ、４３…光学レンズ系、４４…ＣＣＤ、４５…光学レンズ系、４６…ＣＣＤ。
【図１】
2005039451.tif 000003
【図２】
2005039451.tif 000004
【図３】
2005039451.tif 000005
【図４】
2005039451.tif 000006
【図５】
2005039451.tif 000007
【図６】
2005039451.tif 000008
【図７】
2005039451.tif 000009
【図８】
2005039451.tif 000010