(57)【要約】【課題】音声入力した文字列を撮影画像に重畳して記録するに際し、文字を小さくする処理を無くすと共に文字列を入れる領域を探す処理の計算量を減らすカメラ機能付き電子機器を提供する。【解決手段】この電子機器は、撮影操作時点で画像入力部１１により入力中の画像を予め設定された記録画素数で記録する記録部１５と、音声からの変換により文字列を入力する文字入力部１２と、入力文字列を記録画像中の非オブジェクト領域に重畳する重畳部１０ｂとを備える。画像入力部１１は、少なくとも撮影操作時点で記録画像より所定範囲だけ広い広範囲画像を入力して記録する。重畳部１０ｂは、非オブジェクト領域に文字列が収まらない場合、最終的に記録対象とする画像領域を上記広範囲画像の中でずらし、ずらした画像領域に少なくとも文字列の一部が重なるように重畳を行う。記録部１５は、文字列が重畳された後の画像を記録画像に上書き又は別の画像として記録する。【選択図】図１
2014127723.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有し撮影により画像を入力する画像入力部と、該画像入力部で入力中の画像であって予め設定された記録画素数に対応する領域の画像を表示する表示部と、撮影により画像記録を実行するための撮影操作がなされた時点で前記画像入力部により入力されている画像を前記記録画素数で記録する記録部と、を備えたカメラ機能付き電子機器であって、
音声を取得し文字列に変換して入力する文字入力部と、前記記録部により前記記録画素数で記録された記録画像から所定の特徴を有するオブジェクトを認識するオブジェクト認識部と、前記文字入力部で入力された文字列を、前記記録画像中の前記オブジェクト領域に属さない非オブジェクト領域に重畳する重畳部と、をさらに備え、
前記画像入力部は、少なくとも前記撮影操作がなされた時点で、前記記録画像より所定範囲だけ広い広範囲画像を入力して、前記記録部に記録するか若しくは前記記録部とは別に記録しておき、
前記重畳部は、前記記録画像中の前記非オブジェクト領域に前記文字列が収まらない場合、前記記録部で最終的に記録対象とする画像領域を前記広範囲画像の中でずらし、ずらすことで新たに記録対象となった画像領域に少なくとも前記文字列の一部が重なるように、前記文字列を重畳し、
前記記録部は、前記重畳部で文字列が重畳された後の画像を、前記記録画像に上書きして若しくは前記記録画像とは別の画像として記録することを特徴とするカメラ機能付き電子機器。
【請求項２】
前記広範囲画像は、前記記録画像より上端側及び／又は下端側に前記所定範囲だけ広い画像とすることを特徴とする請求項１に記載のカメラ機能付き電子機器。
【請求項３】
前記重畳部は、前記文字列に吹き出し枠を付けて重畳を行うことを特徴とする請求項１又は２に記載のカメラ機能付き電子機器。
【請求項４】
前記撮影操作は、撮影ボタンを仮押しする操作と、仮押しされた状態から前記撮影ボタンを本押しする操作とを含み、
前記文字入力部は、前記撮影ボタンが仮押しされた状態から本押しされるまでの間に音声を取得して、取得した音声を文字列に変換し、前記重畳部に渡すことを特徴とする請求項１〜３のいずれか１項に記載のカメラ機能付き電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ機能付き電子機器に関し、より詳細には、音声を入力して文字列に変換し、撮影した画像にその文字列を重畳させて記録するカメラ機能付き電子機器に関する。
【背景技術】
【０００２】
デジタルカメラと称されるカメラ装置などのカメラ機能付き電子機器は、デジタルデータとして画像を記録媒体に記録することが可能になっている。このようなカメラ機能付き電子機器には、撮影範囲を決定する際に使用するファインダの代わりに、或いはファインダに加えて、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）等の表示パネルが設けられている。
【０００３】
カメラ機能付き電子機器では、この表示パネルに撮影対象の被写体の画像を表示させながら、撮影ボタンの押下や表示パネルに搭載されたタッチセンサでのタッチ操作を受け付けた時点で、表示中の撮影画像を記録媒体に記録するようになっている。また、その表示パネルには、撮影後に記録媒体から読み出した画像を表示することも可能になっている。
【０００４】
また、特許文献１には、音声を入力して文字列に変換し、音声の発せられた方向を検出して撮影した画像の対応する位置にその文字列を含む吹き出し枠を重畳させて表示、記録するカメラ装置が開示されている。なお、このような発声方向の検出に代わり、ユーザ操作により文字表示位置の決定を行うこともできる。このカメラ装置は、このような吹き出しにより、画像の印象付けることや、誰が言ったかなどを画像中に明示させることができる。さらに、このカメラ装置は、キーボードを搭載する必要がないため、大衆向け製品として使い易い外形及びサイズにすることができると共に、キーボード入力を行う際に時間的／場所的に余裕が無くなるといった問題が生じることもない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−５５６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、発声位置で得た座標点に近い黒画素低密度域を計算してその領域に吹き出し枠を入れているが、その座標点近くの黒画素低密度域が狭い場合がある。
【０００７】
図４Ａ及び図４Ｂを参照して説明する。図４Ａ及び図４Ｂは、特許文献１に記載のカメラ装置において撮影操作時に入力された撮影画像に吹き出し枠を重畳した画像の例を示す図である。発声位置で得た座標点近くの黒画素低密度域が狭い場合には、所望の領域に吹き出し枠が入れられないか、若しくは図４Ａの表示画像２０中の吹き出し枠２８のように吹き出し枠を小さくするために文字が小さくなり過ぎる可能性があり、吹き出し枠が入るように文字を小さくするために処理量（計算量）が増えてしまう。また、図４Ｂの表示画像２０中の吹き出し枠２９のように別の黒画素低密度域を探すこともできるが、そのような処理のために計算量が増えてしまう。
【０００８】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、音声入力した文字列を撮影画像に重畳して記録するに際し、文字を小さくする処理を無くすと共に、文字列を入れる領域を探す処理の計算量を減らすことが可能なカメラ機能付き電子機器を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、撮像素子を有し撮影により画像を入力する画像入力部と、該画像入力部で入力中の画像であって予め設定された記録画素数に対応する領域の画像を表示する表示部と、撮影により画像記録を実行するための撮影操作がなされた時点で前記画像入力部により入力されている画像を前記記録画素数で記録する記録部と、を備えたカメラ機能付き電子機器であって、音声を取得し文字列に変換して入力する文字入力部と、前記記録部により前記記録画素数で記録された記録画像から所定の特徴を有するオブジェクトを認識するオブジェクト認識部と、前記文字入力部で入力された文字列を、前記記録画像中の前記オブジェクト領域に属さない非オブジェクト領域に重畳する重畳部と、をさらに備え、前記画像入力部は、少なくとも前記撮影操作がなされた時点で、前記記録画像より所定範囲だけ広い広範囲画像を入力して、前記記録部に記録するか若しくは前記記録部とは別に記録しておき、前記重畳部は、前記記録画像中の前記非オブジェクト領域に前記文字列が収まらない場合、前記記録部で最終的に記録対象とする画像領域を前記広範囲画像の中でずらし、ずらすことで新たに記録対象となった画像領域に少なくとも前記文字列の一部が重なるように、前記文字列を重畳し、前記記録部は、前記重畳部で文字列が重畳された後の画像を、前記記録画像に上書きして若しくは前記記録画像とは別の画像として記録することを特徴としたものである。
【発明の効果】
【００１０】
本発明に係るカメラ機能付き電子機器によれば、音声入力した文字列を撮影画像に重畳して記録するに際し、文字を小さくする処理を無くすと共に、文字列を入れる領域を探す処理の計算量を減らすことが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係るカメラ機能付き電子機器の一構成例を示すブロック図である。
【図２】図１のカメラ機能付き電子機器における撮影処理の一例を説明するためのフロー図である。
【図３Ａ】図１のカメラ機能付き電子機器における画像入力部で撮影操作時に入力された画像の一例を示す図である。
【図３Ｂ】図３Ａの画像に対して吹き出し枠を移動させた画像を示す図である。
【図３Ｃ】図３Ｂの画像に対して吹き出し枠が表示部に表示されるように表示領域を移動させた画像を示す図である。
【図３Ｄ】図３Ｃの画像に対して記録部が記録する画像を示す図である。
【図４Ａ】従来技術のカメラ装置において撮影操作時に入力された撮影画像に吹き出し枠を重畳した画像の一例を示す図である。
【図４Ｂ】従来技術のカメラ装置において撮影操作時に入力された撮影画像に吹き出し枠を重畳した画像の他の例を示す図である。
【発明を実施するための形態】
【００１２】
図１は、本発明に係るカメラ機能付き電子機器の一構成例を示すブロック図である。図１で例示するカメラ機能付き電子機器は、その全体を制御する制御部１０のほか、画像入力部１１、文字入力部１２、操作部１３、表示部１４、及び記録部１５を備え、これらがバスラインで接続されてなる。カメラ機能としても、静止画専用である必要はなく、動画撮影機能が付加されていてもよい。その他、例えば、外部機器にこのカメラ機能付き電子機器を接続してその外部機器との画像の送受を行うための外部インターフェイス（Ｉ／Ｆ）などを具備することもできる。カメラ機能付き電子機器としては、カメラ装置の他に、携帯情報端末、携帯電話機（スマートフォンと呼ばれるものも含む）、タブレット端末など様々なものが挙げられる。
【００１３】
制御部１０は、例えばＣＰＵ（Central Processing Unit）、作業領域としてのＲＡＭ（Random Access Memory）、及び、制御プログラムを記録したＲＯＭ（Read Only Memory）等の記憶装置などのモジュールで構成される。ここで、制御プログラムとは、本発明に係る撮影処理を含むカメラ機能付き電子機器の処理を、ＣＰＵに実行させるためのプログラムである。また、制御部１０は、後述するオブジェクト認識部１０ａ及び重畳部１０ｂを有し、上記撮影処理の一部として、後述するようなオブジェクト認識処理及び重畳処理を実行する。
【００１４】
画像入力部１１は、撮像素子を有し、撮影により表示部１４で表示させるための画像や記録部１５に記録するための画像を入力する。撮像素子としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いることができる。無論、画像入力部１１は、レンズ等の光学系も含まれている。
【００１５】
表示部１４は、画像入力部１１で入力中の画像を表示する。表示部１４としては、ＬＣＤや有機ＥＬ等の表示パネルが挙げられる。ここで、表示対象となる画像は、撮像素子の撮影タイミングで切り替わることになる。また、表示対象となる画像は、予め設定された記録画素数に対応する領域の画像である。なお、表示部１４の表示画素数（表示解像度）と記録画素数との比が単純に画素の間引き処理により表示部１４で表示できるような値でない場合には、表示のためのバッファを設けておけばよい。
【００１６】
予め設定された記録画素数とは、操作部１３からのユーザ操作で設定された、若しくはデフォルト設定された記録画素数であり、この記録画素数で記録部１５での画像記録が実行されることになる。例えば６０００画素×４０００画素、３０００画素×１６８８画素などと、毎回設定を変更することが可能に構成されている。
【００１７】
操作部１３は、ユーザ操作を受け付ける部位であり、そのためのハードウェアキー（及びソフトウェアキー）を有する。ソフトウェアキーは、表示部１４に操作用のメニューやアイコン等をＧＵＩ（Graphical User Interface）画像として表示させ、表示部１４にタッチセンサを搭載しておくなどにより実現できる。そして、操作部１３では、上記ユーザ操作として、少なくとも、撮影により画像記録を実行するための撮影操作、つまりシャッターボタンを押下する操作を受け付けることが可能になっている。
【００１８】
記録部１５は、記録媒体１５ａを有し、上記の撮影操作がなされた時点で画像入力部１１により入力されている画像を、その記録媒体１５ａに上記予め設定された記録画素数で記録する。記録媒体１５ａは、着脱可能になっていることが好ましく、例えばフラッシュＲＯＭや各種メモリカードなどを用いることができる。
【００１９】
以上のように、本発明に係るカメラ機能付き電子機器では、表示部１４に撮影したい画像を表示させながら、シャッターボタンを押すことにより、記録部１５で上記記録画素数の画像が記録できるように構成されている。
【００２０】
文字入力部１２は、音声入力部１２ａ及び音声／文字変換部１２ｂを有し、音声入力部１２ａで音声を取得し、音声／文字変換部１２ｂでその音声を文字列に変換することで、文字列を入力する。入力された文字列は、必要に応じて一時的に記録媒体１５ａ又は別のメモリに記憶するなどした後、重畳部１０ｂに渡される。
【００２１】
音声入力部１２ａは、マイクロフォン等からなり、音声を入力する。音声入力部１２ａでの音声入力のタイミングは、基本的に任意であり、撮影と同時であっても、撮影前又は撮影後であってもよい。但し、文字入力部１２は、操作部１３に設けられた撮影ボタン（シャッターボタン）が仮押し（例えば半押し）された状態から本押しされる（押し込まれる）までの間に音声を取得して、取得した音声を文字列に変換し、重畳部１０ｂに渡すようにすることが好ましい。
【００２２】
この例での撮影操作は、操作部１３に設けられた撮影ボタンを仮押しする操作と、仮押しされた状態からその撮影ボタンを本押しする操作とを含むものとする。なお、シャッターボタンはハードウェアキーに限らず、ソフトウェアキーであってもよい。ソフトウェアキーで構成する場合には、仮押し操作に相当する操作（ピント及び／又は露出を合わせる操作であるとも言える）、本押し操作のそれぞれに相当する操作を決めておけばよく、例えば前者として一度目のタッチ操作、後者として二度目のタッチ操作が挙げられる。このようにして音声を取得することにより、音声の取得操作を別途行う必要が無くなる。
【００２３】
代替処理として、音声入力部１２ａは、上記の撮影操作がなされた時点から所定時間経過するまでの間に音声を取得するようにしてもよい。別の代替処理として、音声入力部１２ａは、上記の撮影操作とは別に操作部１３でなされた音声入力操作により音声を取得するようにしてもよい。取得した音声を文字列に変換し、重畳部１０ｂに渡すようにしてもよい。
【００２４】
音声／文字変換部１２ｂでは、一般的な音声認識技術を用いて音声を認識し、認識結果を文字列に変換すればよく、例えば特許文献１に記載の方法で文字列を得るようにすればよい。また、特許文献１に記載の例のように、発声位置を特定して画像の対応する位置にその文字列を配置させるために音声方向解析処理を行うような構成にしてもよく、その場合、音声入力部１２ａとして例えば、左右、或いは左右上下、或いは上下にマイクロフォンを設けるように構成すればよい。
【００２５】
そして、制御部１０におけるオブジェクト認識部１０ａは、記録部１５で記録された記録画像から所定の特徴を有するオブジェクトを認識する。認識の方法としては様々な方法が採用でき、例えば顔認識技術を用いてオブジェクトとして顔を認識してもよいし、人物や動物を認識する技術を用いてオブジェクトとして人物や動物を認識するなどしてもよい。オブジェクトとしては、直接的に音を発する被写体に限らず、例えば花を認識して、後述する重畳部１０ｂ等によって、最終的に花が発話しているような文字列を花の近くに添えるように重畳することもできる。
【００２６】
重畳部１０ｂは、文字入力部１２で入力された文字列を、上記記録画像中の非オブジェクト領域に重畳する。非オブジェクト領域とは、オブジェクト領域に属さない領域を指し、オブジェクトの撮影が目的と考えるのであれば「余白部分」とも言える。重畳に際しては、音声方向の解析で文字表示位置（重畳位置）を決定すればよいが、ユーザ操作により指定された文字表示位置としてもよい。
【００２７】
記録部１５では、このようにして記録画像に文字列が重畳された画像が記録され、表示部１４では、このような重畳された画像が記録媒体１５ａから読み出されて表示されることになる。なお、表示、記録する文字列については、片仮名や平仮名、漢字の代わりに、又はそれに加えて、所望の言語（例えば英語）に対応しておくことが好ましい。
【００２８】
そして、本発明の主たる特徴として、画像入力部１１は、少なくとも上記撮影操作がなされた時点で、上記記録画像（上記記録画素数で記録される画像）より所定範囲だけ広い画像（以下、広範囲画像と呼ぶ）を入力して、記録部１５に記録するか若しくは記録部１５とは別に記録しておく。無論、上記撮影操作がなされた時点以外でもこのような広範囲画像を取得しておいて、上記撮影操作の受け付けに備えることが望ましい。ここで、所定範囲だけ広いとは、例えば所定の高さだけ上方向及び／又は下方向に長い、所定の幅だけ右方向及び／又は左方向に長い、所定の高さ×所定の幅だけ広いなどが挙げられる。
【００２９】
このように、本発明では、上記記録画素数より多い画素数で入力を行うこと、つまり上記記録画像より広い広範囲画像を入力することが可能になっている。なお、上記所定範囲に属する画像と上記記録画像とは同じ画素密度としている。また、撮像素子の有効画素数は、少なくとも上記広範囲画像を取得可能な画素数とし、具体的には、カメラ機能付き電子機器の最高記録画素数より上記所定範囲だけ広い画像を取得可能な画素数としておけばよい。
【００３０】
重畳部１０ｂは、入力された文字列が上記記録画像中の非オブジェクト領域に収まらない場合、記録部１５で最終的に記録対象とする画像領域を上記広範囲画像の中でずらし、ずらすことで新たに記録対象となった画像領域に少なくとも上記文字列の一部が重なるように、上記文字列を重畳する。換言すれば、実際に撮影・記録している範囲内で且つオブジェクトに重ならないように（非オブジェクト領域に重なるように）、文字列の入る位置を決定する。
【００３１】
より具体的な例を説明すると、図１で例示したように重畳部１０ｂは、非オブジェクト領域検索部１０ｃ、重複判定部１０ｄ、及び位置移動部１０ｅを有する。非オブジェクト領域検索部１０ｃは、オブジェクト認識部１０ａでの認識結果に基づき、上記記録画像中のオブジェクト領域以外の領域を、上記記録画像中の非オブジェクト領域として検索する。重複判定部１０ｄは、発声位置から特定された或いはユーザ指定された、記録画像上の文字列の位置が、非オブジェクト領域に収まっているか（若しくは上記認識結果が示すオブジェクト領域に重複していないか）否かを判定する。
【００３２】
そして、その判定結果がＹＥＳであった場合にはそのままの重畳状態を維持する。一方で、位置移動部１０ｅは、その判定結果がＮＯであった場合にのみ、最終的に記録対象とする画像領域に対し上記ずらし処理（移動処理とも呼べる）を実行して、新たに記録対象となった画像領域に少なくとも上記文字列の一部が重なるようにし、重畳部１０ｂがその状態で上記文字列の重畳を行う。つまり、位置移動部１０ｅが新たに記録対象となった画像領域も文字列の重畳可能範囲に加え、重畳部１０ｂがその状態で上記文字列の重畳を行う。
【００３３】
また、このようなずらし処理によっても、その文字列が新たに記録対象となった画像領域（とそれに連なる非オブジェクト領域）に収まらない場合には、ずらす量を増やせばよい。若しくは、ずらす条件としてオブジェクト領域に重ならないといった条件を加えておき、ユーザ指定や音声方向解析の結果などに基づき、重畳する位置を検索して重畳すればよい。
【００３４】
そして、記録部１５は、重畳部１０ｂで文字列が重畳された後の画像を、上記記録画像に上書きして記録するか、若しくは上記記録画像とは別の画像として記録する。ここで、文字列が重畳された後の画像を記録部１５で記録する際には、画像と文字列とを重畳した状態の１枚の画像（合成画像）のデータとして記録媒体１５ａに記録すればよい。
【００３５】
但し、重畳後の記録媒体１５ａへの記録の方法は問わない。例えば、特許文献１に記載されたように、画像に対応の文字列を添付して１つのデータとして記録してもよいし、画像と文字列の画像とを別々のデータとして関連付けして記録してもよい。また、記録した画像の再生（表示）処理についても、特許文献１に記載された通りであり、記録媒体１５ａから読み出し、重畳が必要であれば重畳処理を施して、表示部１４に渡せばよい。記録時には通常、ＪＰＥＧ（Joint Photographic Experts Group）形式などによる圧縮処理が施されることになり、それを表示させる場合には伸張処理が施される。
【００３６】
以上説明したように、本発明では、音声入力した文字列を撮影画像に重畳して記録するに際し、ずらすことで新たに記録対象となった画像領域（元々ユーザが記録対象としていなかった領域）に少なくとも上記文字列の一部が重なるように、上記文字列の重畳を実行する。少なくとも新たに記録対象となった画像領域は無条件に文字列を重畳できる領域であり、そのような領域を別途確保できることから、文字を小さくする処理を無くすことができる（少なくとも縮小率を高くする必要が無くなる）と共に、文字列を入れる領域を探す処理の計算量を従来に比べて減らすことが可能になる。
【００３７】
特に、ずらすことで新たに記録対象となった画像領域に上記文字列の全てを重畳すること、つまり上記非オブジェクト領域にはその文字列を重畳しないようにすることで、従来に比べて文字列を入れる領域を画素値から探す必要が全く無くなり、単に文字列を重畳する位置を例えば発声位置に近い位置やユーザ指定された位置の近くに決めれば済むため、より計算量を低減することができる。
【００３８】
また、上記所定範囲として複数の例を挙げたが、上記広範囲画像は、上記記録画像より上端側及び／又は下端側に所定範囲だけ広い画像とする（つまり所定の高さだけ上方向及び／又は下方向に長い画像）ことが好ましい。これにより、文字列の記録のために、最も文字列を追加する可能性の高い部分だけ余計に画像を取得するだけで済む。
【００３９】
また、重畳部１０ｂは、文字列に吹き出し枠を付けて重畳を行うことが好ましい。これにより、漫画等での言語表示の一手法である「吹き出し」を形成し言語（文字）をその中に表示するようにできるので、画像の印象付けができ、誰が言ったかなどを画像中に明示できる。つまり、吹き出し枠を用いることで、文字列を元の画像とは区別して分かり易く表示させることができる。なお、吹き出し枠の背景は透明又は半透明（つまり元の画像が見える状態）であってもよいし、非透明の所定色（つまり元の画像が見えない状態）であってもよい。
【００４０】
なお、音声入力、音声認識、音声／文字変換、音声方向の解析、音声／文字変換により得た文字列（文字コード）の表示処理については、例えば特許文献１に記載された処理を採用するなどすればよい。但し、上述したように、本発明では、基本的に、上記記録画像中の非オブジェクト領域（特許文献１における黒画素低密度域に相当）に合わせて吹き出しの縮尺（吹き出し枠の大きさ）や文字列の大きさを変更することは行わず、決まった文字列（例えば音声の大きさに合わせた大きさの文字列でもよい）を画像に重畳する。そして、重畳に際しては、文字列の表示位置を決めるための元の画像を、記録画素数より広めに撮影したものの中から抽出することになる。無論、文字列や吹き出し枠の大きさの変更を行ってもよいが、本発明では記録画素数より広めに撮影しているため、可能な限りこの変更を行わずに済む。また、重畳する文字列のフォントやサイズはユーザ設定可能にしておくことが好ましい。
【００４１】
その他、特許文献１に記載された様々な応用例は、本発明でも採用することができる。例えば、音声の大きさにより文字列及び／又は吹き出し枠の太さを決めるようにしてもよいし、文字列表示を行うモードと行わないモードとがユーザ選択可能に設けていてもよい。さらに、文字列表示を行うモードにおいても、吹き出し枠を付加するモードや音声の大きさで文字列の大きさを変えるモードなどもユーザ選択可能に設けていてもよい。また、非オブジェクト領域や新たに記録対象となった画像領域に重畳した後の文字列を、ユーザ操作により移動可能なように構成することもできる。
【００４２】
次に、図２及び図３Ａ〜図３Ｄを参照しながら、図１のカメラ機能付き電子機器における撮影処理の一例を説明する。図２は、この撮影処理の一例を説明するためのフロー図である。また、図３Ａは、図１のカメラ機能付き電子機器における画像入力部で撮影操作時に入力された画像の一例を示す図、図３Ｂは、図３Ａの画像に対して吹き出し枠を移動させた画像を示す図、図３Ｃは、図３Ｂの画像に対して吹き出し枠が表示部に表示されるように表示領域を移動させた画像を示す図、図３Ｄは、図３Ｃの画像に対して記録部が記録する画像を示す図である。
【００４３】
この例では、操作部１３に文字列表示を行うモードに設定できる文字表示ボタンが設けられているものとする。表示部１４に撮像素子で撮影されている画像（記録画素数に対応する画像）が入力されており、撮影操作により撮影がなされたときの処理を説明する。また、以下の処理は基本的に制御部１０の制御によりなされる。
【００４４】
まず、撮影操作により表示された画像に比べて所定範囲だけ広い広範囲画像を、記録部１５が記録媒体１５ａに記録（保存）する（ステップＳ１）。上記広範囲画像が実際の撮影範囲になる。図３Ａの例で具体的に説明すると、表示部１４の画面に表示中の表示画像２０（つまり予め設定された記録画素数の記録画像に対応する表示画像）に対し、所定範囲２２だけ広い広範囲画像２１（より正確には、図３Ａに示す画像２１に対応する広範囲画像を指す。以下同様。）を記録媒体１５ａに保存している。このとき、表示画像２０の範囲が広範囲画像２１の中のどの領域に対応しているのかが分かるように記録しておけばよい。
【００４５】
次に、文字表示ボタンが選択されていたか否かを判定し（ステップＳ２）、ＮＯの場合にはそのまま処理を終了し、ＹＥＳの場合にはステップＳ３以降に進む。なお、ステップＳ２の判定をステップＳ１の保存の前に行うこともできる。そのような処理を採用した場合、文字表示ボタンが選択されていなかった場合には表示画像２０に対応する画像を記録部１５が記録媒体１５ａに保存するようにし、選択されていた場合には広範囲画像２１を保存すればよい。
【００４６】
ステップＳ３では、オブジェクト認識部１０ａがオブジェクト領域を認識し、その認識結果として、オブジェクト領域の範囲を示す情報を、記録媒体１５ａ又は別のメモリに記録しておく。続いて、別途入力された音声に対して、そのオブジェクト領域について音声方向解析処理により音声の発声位置の座標を決定し（ステップＳ４）、その決定された座標の近くの非オブジェクト領域を、吹き出し枠の重畳位置に決定する（ステップＳ５）。この吹き出し枠には入力された音声から変換した文字列を含めておく。ステップＳ５の処理は、例えば非オブジェクト領域検索部１０ｃが実行すればよい。
【００４７】
ステップＳ５に続き、重複判定部１０ｄが、オブジェクト領域と決定された重畳位置の吹き出し枠とが重なっているか否かを、例えばそのオブジェクト領域や吹き出し枠の座標を比較することで判定する（ステップＳ６）。
【００４８】
ステップＳ６でＹＥＳの場合には、非オブジェクト領域検索部１０ｃが上記広範囲画像（実際に撮影して記録している最大範囲の画像）から非オブジェクト領域を探す（ステップＳ７）。ここで、上記広範囲画像のうち表示中の画像に対応する画像を除く部分（つまり非表示の領域の画像）は全て非オブジェクト領域として取り扱えばよい。ステップＳ７の後、位置移動部１０ｅが、検索された非オブジェクト領域に吹き出し枠を移動する（ステップＳ８）。
【００４９】
図３Ａの表示画像２０が表示されていた場合で且つ「おめでとうございます」といった横文字の文字列を重畳させる場合について説明する。この場合、ステップＳ４において図３Ｂで例示するオブジェクト領域２５ａ，２５ｂなどのオブジェクト領域が検出され、そのうちオブジェクト領域２５ａに近い発声位置の座標が決定されることになる。ここで、オブジェクト領域２５ａの近くにはどのオブジェクト領域にも被らずに吹き出し枠を重畳できる領域が存在せず、この吹き出し枠が表示画像２０に該当する表示領域２３中の非オブジェクト領域に収まらない。よって、ステップＳ５では、この吹き出し枠はオブジェクト領域２５ａ（又は他のオブジェクト領域）を覆うように重畳位置が決定される。その結果、ステップＳ６の判定結果はＹＥＳとなる。そして、ステップＳ７，Ｓ８の処理により、図３Ｂの吹き出し枠２４で示すように所定範囲２２中に吹き出し枠が移動される。
【００５０】
ステップＳ８にて吹き出し枠の位置が移動により決まると、重複判定部１０ｄが、移動後の吹き出し枠がどのオブジェクト領域と重なっているか否かを、ステップＳ６と同様に判定する（ステップＳ９）。ステップＳ９でＮＯとなる場合には、位置移動部１０ｅが、表示位置（記録画像として記録する範囲）をその吹き出し枠が入るようにずらす（ステップＳ１１）。例えば、図３Ｂの画像２１に対して、図３Ｃで例示する表示画像２６のように、吹き出し枠２４が表示部１４に表示可能になるような位置に表示領域を移動させる。
【００５１】
ステップＳ８，Ｓ１１により、最終的に記録対象とする画像領域を所定範囲２２だけ広い広範囲画像２１の中でずらし、ずらすことで新たに記録対象となった画像領域に少なくとも吹き出し枠の一部が重なるように、吹き出し枠を重畳することができる。なお、図３Ｃでは、所定範囲２２に全て吹き出し枠２４が入るような例を挙げている。
【００５２】
ここで、吹き出し枠に関して補足する。吹き出し枠を横方向に長めに形成し、文字列も横書きとしているが、吹き出し枠を縦長に設定可能にしておいてもよいし、文字列を縦書きに設定可能にしておいてもよい。また、吹き出し枠を実線で現わされる矩形状としているが、破線で形成するように設定可能にしておいてもよい。また、大音響や驚き等を表現する場合に用いられる突起状の角を有するような吹き出し枠に設定可能にしておいてもよい。
【００５３】
ステップＳ１１に続いて、記録部１５が、移動後の表示位置で画像を上書き保存又は別画像として保存する（ステップＳ１２）と共に、その吹き出し枠も関連付けて保存する（ステップＳ１３）。図３Ｃの表示画像２６に対して記録部１５が記録する画像は、図３Ｄで示すような吹き出し枠２４が重畳された画像２７となる。この画像２７は上記予め設定された記録画素数となる。
【００５４】
一方、ステップＳ９でＹＥＳの場合には、非オブジェクト領域にその吹き出し枠が入るように文字列における文字の大きさを自動修正し（ステップＳ１０）、ステップＳ１１へ進めばよい。この時、最低限の文字の大きさｎを決めておき、ｎになるまで自動で文字を修正する。また、ｎまで修正しても吹き出し枠が重なる場合は、吹き出し枠の背景を不透明から透明に変更するようにしてもよい。
【００５５】
一方で、ステップＳ６でＮＯの場合には、表示されている画像を保存したまま（上記広範囲画像のために余計に記録した所定範囲２２の部分は破棄してもよい）、ステップＳ１３へ進み、その画像に吹き出し枠を関連付けて保存すればよい。
【００５６】
以上の説明では、文字列（及びそれを含む吹き出し枠）が１つだけの場合を例示しているが、複数存在してもよく、複数箇所からの音声の分離は、例えば音声を周波数解析することで、或いはそれに加えて音声方向解析処理を行うことで可能になる。また、複数存在する場合には、そのそれぞれについてステップＳ６のような判定を行って、文字列毎に重畳位置を決定すればよい。その場合、結果的にその一部の文字列（及びそれを含む吹き出し枠）について図３Ａの所定範囲２２を利用せずに表示及び記録し、残りの文字列（及びそれを含む吹き出し枠）については所定範囲２２を利用して表示及び記録することもある。
【００５７】
また、本発明は、次のような付加的な効果も奏する。つまり、本発明では、文字列を重畳しても良い領域を含むように予め撮影しているため、文字列を入れない場合でも、撮像した画像の表示位置や格納範囲を、実際の撮影範囲内で、移動させることもできる。例えば、撮影者が予期せず、隅に他人が入ってしまった場合に見えなくなるように移動させたい場合や、画面に表示されている構図において主要なオブジェクトが真ん中に入っていなかった場合や構図のバランスが悪かった場合などに、上下左右にずらす（移動させる）ことで、適切な構図の記録画像を得ることができる。例えば、所定の操作によりずらし可能な状態にし、ずらした後に別の所定の操作を行えば、ずらした画像が上書き又は別の画像として記録されるように構成しておけばよい。
【００５８】
以上、本発明に係るカメラ機能付き電子機器を中心に説明したが、本発明は、画像入力部、表示部、記録部、及び文字入力部を備えたカメラ機能付き電子機器における処理手順として説明したように、そのカメラ機能付き電子機器が、音声を入力して文字列に変換し、撮影した画像にその文字列を重畳させて記録する記録方法としての形態も採り得る。
【００５９】
この記録方法は、撮影により画像を入力する画像入力ステップと、撮影操作がなされた時点で画像入力ステップにより入力されている画像を予め定められた記録画素数で記録する記録ステップと、音声を取得し文字列に変換して入力する文字入力ステップと、記録部により記録画素数で記録された記録画像から所定の特徴を有するオブジェクトを認識するオブジェクト認識ステップと、入力された文字列を、記録画像中のオブジェクト領域に属さない非オブジェクト領域に重畳する重畳ステップと、を有する。そして、画像入力ステップは、少なくとも撮影操作がなされた時点で、上記記録画像より所定範囲だけ広い広範囲画像を入力して、記録部に記録するか若しくは記録部とは別に記録しておく。重畳ステップは、非オブジェクト領域に文字列が収まらない場合、記録部で最終的に記録対象とする画像領域を上記広範囲画像の中でずらし、ずらすことで新たに記録対象となった画像領域に少なくとも文字列の一部が重なるように、文字列を重畳する。記録ステップは、重畳ステップで文字列が重畳された後の画像を、上記記録画像に上書きして若しくは上記記録画像とは別の画像として記録する。その他の応用例や効果については、カメラ機能付き電子機器について説明した通りであり、その説明を省略する。
【００６０】
また、本発明は、上記の方法をコンピュータに実行させるためのプログラム（つまり、上記制御プログラム）や、その制御プログラムを記憶したコンピュータ読み取り可能な記録媒体としての形態も採り得る。この記録媒体としては、各種メモリカード、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）等の可搬の記録媒体が挙げられる。
【００６１】
以上説明したように、本発明に係るカメラ機能付き電子機器は、撮像素子を有し撮影により画像を入力する画像入力部と、該画像入力部で入力中の画像であって予め設定された記録画素数に対応する領域の画像を表示する表示部と、撮影により画像記録を実行するための撮影操作がなされた時点で前記画像入力部により入力されている画像を前記記録画素数で記録する記録部と、を備えたカメラ機能付き電子機器であって、音声を取得し文字列に変換して入力する文字入力部と、前記記録部により前記記録画素数で記録された記録画像から所定の特徴を有するオブジェクトを認識するオブジェクト認識部と、前記文字入力部で入力された文字列を、前記記録画像中の前記オブジェクト領域に属さない非オブジェクト領域に重畳する重畳部と、をさらに備え、前記画像入力部は、少なくとも前記撮影操作がなされた時点で、前記記録画像より所定範囲だけ広い広範囲画像を入力して、前記記録部に記録するか若しくは前記記録部とは別に記録しておき、前記重畳部は、前記記録画像中の前記非オブジェクト領域に前記文字列が収まらない場合、前記記録部で最終的に記録対象とする画像領域を前記広範囲画像の中でずらし、ずらすことで新たに記録対象となった画像領域に少なくとも前記文字列の一部が重なるように、前記文字列を重畳し、前記記録部は、前記重畳部で文字列が重畳された後の画像を、前記記録画像に上書きして若しくは前記記録画像とは別の画像として記録することを特徴としたものである。
【００６２】
これにより、音声入力した文字列を撮影画像に重畳して記録するに際し、文字を小さくする処理を無くすと共に、文字列を入れる領域を探す処理の計算量を減らすことが可能になる。
【００６３】
また、前記広範囲画像は、前記記録画像より上端側及び／又は下端側に前記所定範囲だけ広い画像とするようにしてもよい。これにより、文字列の記録のために、最も文字列を追加する可能性の高い部分だけ余計に画像を取得するだけで済む。
【００６４】
また、前記重畳部は、前記文字列に吹き出し枠を付けて重畳を行うようにしてもよい。これにより、文字列を元の画像とは区別して分かり易く表示させることができる。
【００６５】
また、前記撮影操作は、撮影ボタンを仮押しする操作と、仮押しされた状態から前記撮影ボタンを本押しする操作とを含み、前記文字入力部は、前記撮影ボタンが仮押しされた状態から本押しされるまでの間に音声を取得して、取得した音声を文字列に変換し、前記重畳部に渡すようにしてもよい。これにより、音声の取得操作を別途行う必要が無くなる。
【符号の説明】
【００６６】
１０…制御部、１０ａ…オブジェクト認識部、１０ｂ…重畳部、１０ｃ…非オブジェクト領域検索部、１０ｄ…重複判定部、１０ｅ…位置移動部、１１…画像入力部、１２…文字入力部、１２ａ…音声入力部、１２ｂ…音声／文字変換部、１３…操作部、１４…表示部、１５…記録部、１５ａ…記録媒体。
【図１】
2014127723.tif 000003
【図２】
2014127723.tif 000004
【図３Ａ】
2014127723.tif 000005
【図３Ｂ】
2014127723.tif 000006
【図３Ｃ】
2014127723.tif 000007
【図３Ｄ】
2014127723.tif 000008
【図４Ａ】
2014127723.tif 000009
【図４Ｂ】
2014127723.tif 000010