(57)【要約】  本発明はディジタル画像処理分野、より具体的には画像（６）に係るテキストが入力されている最中に適当な語を自動先取りしてそのテキストに挿入する方法に関する。本発明に係る方法は、キーパッド（２）及び表示部（３）を随伴する端末（１）を用い、指定された画像（６）のコンテンツ又はその画像（６）にまつわるコンテキストに係るテキストが入力されている最中に、語を自動推奨してテキスト入力を支援する。本発明に係る方法の主たる狙いは、（カメラ付）携帯電話等の携帯型電子機器を用いた画像関連テキストの入力を、より迅速且つ容易に行えるようにすることである。
2010514023.tif 000002
【特許請求の範囲】
【請求項１】
キーパッド（２）及び表示部（３）を随伴する端末（１）を使用し、単独又は一連の画像（６）のコンテンツ又はその画像（６）にまつわるコンテキストに関するテキストが入力されている最中に、当該コンテンツ、コンテキスト又はその双方を象徴しておりそのテキストの続きで使われそうな語を少なくとも１個、その端末（１）からアクセス可能な単語データベース（５Ｍ）に登録されている語のなかから自動先取りする方法であって、
（ａ）その端末（１）を使用し単独又は一連の画像（６）を指定させるステップと、
（ｂ）指定された画像（６）のコンテンツ、その画像（６）にまつわるコンテキスト或いはその双方を分析して得られる語がコンパイルされるよう、単語データベース（５Ｍ）を自動適合させるステップと、
（ｃ）その端末上でそのテキストに逐次追加される１個又は複数個の字に基づき、且つその単語データベース（５Ｍ）に登録されている語のなかから、その字で始まる少なくとも１個の推奨語を自動先取りするステップと、
（ｄ）先取りした推奨語をそのテキストに自動挿入するステップと、
を有する方法。
【請求項２】
請求項１記載の方法であって、上記コンテキストがその画像（６）の撮影状況である方法。
【請求項３】
請求項１記載の方法であって、上記コンテキストがその画像（６）にまつわる場所的コンテキストである方法。
【請求項４】
請求項１記載の方法であって、指定された画像をその端末（１）の表示部（３）に表示させる方法。
【請求項５】
請求項４記載の方法であって、入力中のテキストをその端末の表示部に表示させる方法。
【請求項６】
請求項１記載の方法であって、先取りした推奨語をその端末の表示部に表示させる方法。
【請求項７】
請求項６記載の方法であって、ステップ（ｂ）で複数語が先取りされた場合に、それらの推奨語のうちいずれかを画面タッチ等により表示部上で選択させる方法。
【請求項８】
請求項６記載の方法であって、ステップ（ｂ）で複数語が先取りされた場合に、それらの推奨語のうちいずれかをその端末のキーパッドで選択させる方法。
【請求項９】
請求項１記載の方法であって、推奨語の先取りに当たり、Ｔ９（登録商標）プロトコル等の他種入力テキスト先取り方式を併用する方法。
【請求項１０】
請求項１記載の方法であって、推奨語の先取りを、指定された画像を画素分類法でセマンティック分析し、その画像における画素分布を統計分析し、その画像における経時画素分布を時空間分析し、或いはその画像上の画素連鎖から輪郭を認識した結果に基づき行う方法。
【請求項１１】
請求項１０記載の方法であって、推奨語の先取りを、更に、その端末で指定される撮影モードに基づき行う方法。
【請求項１２】
請求項１記載の方法であって、推奨語の先取りを、指定された画像にまつわるコンテキストを分析することでその画像に特有の地理的な又は時間的なデータ、例えばその画像の撮影場所及び日時を導出してそのデータに基づき行う方法。
【請求項１３】
請求項１２記載の方法であって、推奨語の先取りを、指定された画像にまつわるコンテキストを分析することでその画像に特有の時間的なデータ、例えばその画像の精密な撮影時刻を表すデータを導出してそのデータに基づき行う方法。
【請求項１４】
請求項１記載の方法であって、推奨語の先取りを、指定された画像を請求項１０の記載に従いセマンティック分析した結果、並びにその画像を請求項１２又は１３の記載に従いコンテキスト分析した結果に基づき行う方法。
【請求項１５】
請求項１４記載の方法であって、推奨語の先取りを、単語データベースに登録されている語からの自動演繹により行う方法。
【請求項１６】
請求項１４記載の方法であって、推奨語の先取りを、更に、指定された画像に付随するオーディオデータをセマンティック分析した結果に基づき行う方法。
【請求項１７】
請求項１記載の方法であって、先取りした推奨語を、指定された画像と隣り合うよう表示部（３）の閲覧ウィンドウ内に表示させる方法。
【請求項１８】
請求項１記載の方法であって、指定された画像及びそれに関わる上記テキスト双方を、マルチメディアメッセージングサービス等のフォーマットのファイルにディジタルデータとして保存する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はディジタル画像処理分野、より具体的には単独又は一連の画像に係るテキストの入力中に適当な語を自動先取りする方法に関する。本発明に係る方法は、キーパッド及び表示部を随伴する端末上で指定された単独又は一連の画像について、その画像のコンテンツ（内容）又はその画像にまつわるコンテキスト（経緯）に係るテキストが入力されている最中に、語を自動推奨してテキスト入力を支援するものである。
【背景技術】
【０００２】
（カメラ付）携帯電話等の携帯端末では小型でキー数が少ないキーパッドが使用されているが、そうしたキーパッドでテキストを入力するとなるとかなり時間がかかるし、長いテキストを入力するとなると早々に草臥れてしまう。例えばＩＴＵ−Ｔ  Ｅ．１６１規格準拠のキーパッドがその典型例である。このキーパッドでテキストを入力するには、１２個あるキーのうち８個だけで全アルファベットを入力しなければならない。その方法は幾つか知られているが、最も単純なのは、前世代の電話機で使用されていたマルチタップ方式（別称ＡＢＣ方式）である。この方式では、呼び出したい字が印刷されているキーをｎ回押すことで、その字を呼び出すことができる（ｎ：そのキー上に印刷されている字のなかでのその字の順位）。例えば字“s”を呼び出したいときには、字“p”，“q”，“r”，“s”が割り当てられているキーを４回押す必要がある。
【０００３】
また、いわゆるツーキー方式では、キーを２個押すだけでどの字でも選択することができる。
【０００４】
しかしながら、テキスト入力に多用されているのはやはり入力テキスト先取り方式（予測的テキスト入力方式）である。これは、入力済文字列に続くかもしれない文字又はその組合せが一般に多数に上るという曖昧性を、辞書（データベース）を使用して解消乃至抑圧する方式である。その辞書は対象言語での最頻出語を選り抜いたデータベースであり、電話機の内部メモリにも保存可能である。例えば、Ｔｅｇｉｃ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ社によって開発されＬＧ、Ｓａｍｓｕｎｇ、Ｎｏｋｉａ、Ｓｉｅｍｅｎｓ、Ｓｏｎｙ  Ｅｒｉｃｓｓｏｎ等の商標が付された携帯電話で広く使用されているＴ９（登録商標；以下表記省略）プロトコルも、入力テキスト先取り方式の一種である。Ｔ９では、ＩＴＵ−Ｔ  Ｅ．１６１規格準拠のキーパッドを使用し入力されつつある語を推量により先取りする。キー押下所要回数が少なくなるのでテキスト入力を迅速且つ簡便に行える。また、Ｔ９では、個々のキーに複数個の字が割り振られているキーパッドを使用しその端末にテキストが入力されている最中に、頻用語の大半が登録されており且つ語をその使用頻度順に提示する高速アクセス辞書を参照することによって、操作されたキー間での字の組合せに基づき語を認識して推奨する。このように、入力したい語中の１字乃至１キーを押下するだけでその語を呼び出せるという点でＴ９は予測的なプロトコルである。
【０００５】
Ｔ９プロトコルで辞書（単語データベース）を使用するのは、押されたキーの組合せに相応する頻用語を見つけるためである。例えば、Ｔ９モードで稼働中の端末でキーパッド上の“6”キー及び“3”キーをこの順に押すと、最初の字の候補が字“m”，“ｎ”，“o”、その次の字の候補が字“d”，“e”，“f”になるので、英語版の辞書なら２個の頻用語“of”及び“me”が見つかる。ユーザは、例えばその端末のキーパッド上の“0”キーを押すことで、“of”及び“me”のうち入力中のテキストに相応しい方を選択することもできるし、マルチキーモードと呼ばれるモードに切り替えることで、現存しないかもしれない語例えば“kd”を採用しその語を辞書に自動追加させることもできる。また、例えば語“worker”を入力したい場合、ユーザは、字“w”が印刷されている“9”キーを１回、字“o”が印刷されている“6”キーを１回、…という順で、その語“worker”の末尾にある字“r”まで入力を行えばよい。画面上に現れる字句は、最初にキー“9”を押した段階では“y”、次に“6”キーを押した段階でも“yo”と正しくないが、最後の字“r”まで入力すれば語“worker”が現れるので、入力途中の食い違いは無視してしまえばよい。入力中のテキストにもっと相応しい別の語例えば“yorker”を選びたければ、ユーザは例えば“0”キーを押して画面をスクロールさせればよい。同一キーを複数回押す必要はないし、（同一キー上に並ぶ字を続けて押す場合を含め）その語中の次の字に移る前に入力内容を確認する必要もない。そのため、所要時間はかなり短くなる。更に、この種のプロトコルの効率は、新語追加でそのユーザ向けに辞書を最適化することで向上させることができる。新語追加は、ユーザによる直接入力やユーザの癖を自動学習する処理で行うことができる。追加する新語を、入力済テキストや受信済電子メールのコンテンツから抽出することもできる。なお、これに類する入力テキスト先取り方式としては、例えばＭｏｔｏｒｏｌａ社のｉＴａｐ（登録商標；以下表記省略）やＺｉＣｏｒｐ社のｅＺｉＴｅｘｔ（商標）がある。Ｅａｔｏｎｉ  Ｅｒｇｏｎｏｍｉｃｓ社が開発したＷｏｒｄＷｉｓｅ（商標）法も入力テキスト先取り方式の一種であるが、稼働の仕方がＴ９と大きく異なっている。
【０００６】
既知の従来型入力テキスト先取り方式のなかで、ユーザが語を入力し始めるときからその語中の字を全て入力し終えるまで次々と語乃至句を提案する点でＴ９プロトコルに似ている例としては、Ｍｏｔｏｒｏｌａ社のｉＴａｐプロトコルがある。ｉＴａｐでは、ユーザが入力しようとしている語、句、更には文全体が推量されるので、ユーザは少数の字を入力するだけでよく、長々しい語全体を入力する必要がない。また、ｉＴａｐの基盤となっている句や慣用表現の辞書は、入力される語のコンテキストにベストマッチするよう構成されている。しかしながら、ユーザにすればｉＴａｐはＴ９よりわかりにくい。実際のところ、ユーザ所望の語が現れる前の段階で画面上に表示されるリスト（ユーザ定義語以外でユーザに提案される語のリスト）は、Ｔ９におけるそれよりかなり長くなる。これは、ｉＴａｐでは語の並びが完成するまで探索による字の追加が続行されるからである。そして、ｉＴａｐも、確かに、全ての字を入力しなくても語を入力できるよう語句全体を先取りする手法ではある。しかし、後掲の説明で明らかになる通り、ｉＴａｐにおけるユーザ所望語句先取り手順は本発明のそれと大きく異なっている。
【０００７】
また、携帯端末例えばカメラ付携帯電話には、無線通信ネットワーク等にマルチメディアメッセージを送出する機能がある。マルチメディアメッセージとは、静止画、動画、アニメーション、オーディオ（音声）、テキスト等のデータ乃至ファイルをうまく組み合わせたメッセージのことである。そのメッセージ中の画像データにはテキストによる注釈を付すことができる。それを含めたメッセージのコンテンツは、携帯電話からならＭＭＳ（マルチメディアメッセージングサービス）でも電子メールでも送信することができる。これらの通信手段を用いることで、画像及びそれに付随するテキストをよその場所に瞬時に届けて共有すること、例えばカメラ付携帯電話とインターネット上のウェブログ（即ちブログ）との間でそのデータを共有することができる。
【０００８】
そうした新顔の通信手段は、高速コンテンツ伝送しか取り柄のない単純なマルチメディア伝送に比べ、広範な可能性を切り開きつつある。まず、他人への話題伝達や他人との経験共有を図るときに、そのマルチメディアメッセージの本体又は添付ファイルのコンテンツに、コメント乃至説明を付して送信することができる。また、カメラ付携帯電話をうまく活用すれば、マルチメディアメッセージのコンテンツやそれについてのコメントを、手軽に編集することができる。例えば、あるカメラ付携帯電話で写真を撮影しその写真を別の場所の情報処理装置に送信する際、その写真にまつわる出来事についてのコメント（テキスト）を付して送信することができる。そのマルチメディアメッセージを受信した情報処理装置では、そのメッセージのコンテンツにアクセスすることや、それに対し新たなコメント（テキスト）を付すことができる。そうしたコメントを付けることで、例えば、その写真に写っている人物乃至グループについての私的な話題を伝えることや、その写真に写っている光景から受けた印象やそれを見てかき立てられた感情を表現することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第６９４７５９１号明細書
【特許文献２】米国特許第６５０４９５１号明細書
【特許文献３】米国特許第７０６２０８５号明細書
【特許文献４】米国特許第７０３５４６１号明細書
【特許文献５】米国特許第７１２０５８６号明細書
【特許文献６】米国特許第６９４０５４５号明細書
【特許文献７】米国特許第６６９０８２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
そのため、携帯端末利用者の間では、シンプルなテキストメッセージで扱える語数よりずっと多くの語を交わしそれを共有したい、その画像データに多量（例えば数十語以上）のテキストデータが付された大画面マルチメディアデータを同時共有したい、そのデータのコンテンツ（例えば写真や動画）が表している出来事に対しデータ共有者が反応を示せる（例えばコメントを付けられる）ようにしてもらいたい、等の気分が拡がっている。これを実現するには、そのマルチメディアデータの共有者が、そのデータのコンテンツ（例えば写真）やそのデータにまつわるコンテキスト（例えば撮影状況）について、僅かな語数とはいえない非常に多くの語からなるテキストにより、コメントを付すことができるようにしなければならない。
【００１１】
従って、従来既知の手段例えばＴ９プロトコルを拡張した手段でより長文のテキストをより簡便に作成できるようにすることが求められている。
【００１２】
また、無線通信手段を備える携帯端末からＭＭＳ又は電子メール経由で送信しようとしているマルチメディアデータに、そのデータのコンテンツに応じたテキストを付せるようにすること、例えばそのコンテンツ（例えば写真）から抽出される意味データ並びにそのコンテンツの取得状況・来歴をうまく特定するコンテキストデータを併用してテキストを付すことができれば、従来に比べ優れた入力テキスト先取り方式を実現することができよう。
【００１３】
本発明の目的は、単独の画像（例えば写真；以下同様）又は一連の画像（例えば動画；以下同様）に関するテキストをより容易に作成できるようにすることでそのテキスト作成を支援し、それらの画像，テキストを併含するメッセージを携帯端末等の間で交換・共有する際に役立てることにある。
【００１４】
本発明の他の目的は、その画像に係るテキストの作成中に語句を自動先取りして推奨すること、特にその画像に相応しい意味合いやその画像の撮影状況に相応した中身等、その画像に関連する中身を有する語を推奨することで、そのテキスト作成を支援することにある。本発明の更に他の目的は、テキスト作成を支援すると共に、テキスト作成所要時間を短縮すること、とりわけキー数が少ない（小型の）キーパッドを有する端末での所要時間を短縮することにある。
【００１５】
本発明の更なる目的は、単独又は一連の画像のコンテンツ又はコンテキストに相応しい意味を有する語が登録されたデータベース即ち専用の単語辞書を提供することにある。
【課題を解決するための手段】
【００１６】
ここに、本発明の一実施形態に係る方法は、キーパッド及び表示部を随伴する端末を使用し、単独又は一連の画像のコンテンツ又はその画像にまつわるコンテキストに係るテキストが入力されている最中に、当該コンテンツ又はコンテキストを象徴しておりそのテキストの続きで使われそうな語を少なくとも１個、その端末からアクセス可能な単語データベースに登録されている語のなかから自動先取りする方法であって、
（ａ）その端末を用い単独又は一連の画像を指定させるステップと、
（ｂ）その端末を用い入力中のテキストに逐次追加される１個又は複数個の字に基づき、その単語データベースに登録されている語のなかから、その字で始まる少なくとも１個の推奨語を自動先取りするステップと、
（ｃ）先取りした推奨語をそのテキストに自動挿入するステップと、
を有する。
【００１７】
推奨語の先取りは、例えば、指定された単独又は一連の画像を画素分類法に従いセマンティック分析し、その画像における画素分布を統計分析し、その画像における経時画素分布を時空間分析し、或いはその画像上の画素連鎖から輪郭を認識した結果に基づき行う。
【００１８】
推奨語の先取りは、或いは、指定された単独又は一連の画像を所定アルゴリズムに従いコンテキスト分析することでその画像に特有の地理的又は時間的データ、例えばその画像の撮影場所及び日時を導出してそのデータに基づき行う。
【００１９】
推奨語の先取りは、或いは、指定された単独又は一連の画像に対するセマンティック分析の結果とその画像にまつわるコンテキストの分析の結果の双方、即ち両分析の組合せの結果に基づき行う。
【００２０】
推奨語の先取りは、或いは、指定された単独又は一連の画像に関連するオーディオデータをセマンティック分析した結果に基づき行う。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る方法で使用される装置の構成を例示する図である。
【図２】本方法の第１実現態様を模式的に示す図である。
【図３】本方法の第２実現態様を模式的に示す図である。
【発明を実施するための形態】
【００２２】
以下、別紙図面を参照しつつ本発明の主たる実施形態に関し詳細に説明する。この説明を別紙図面と併せ参照することにより、本発明の上記以外の特徴及び長所に関しより好適に理解することができよう。各図中、同様の部材には同一の参照符号を付してある。
【００２３】
本発明の一実施形態に係る方法では、携帯端末１にテキストベースのメッセージが入力されている最中に、そのテキスト中の語を少なくとも１個自動先取りする。図１に示す例では、キーパッド２及び表示部３を備える携帯電話、特にイメージセンサ２’を有するカメラ付携帯電話を端末１として使用している。この端末１は、ＵＭＴＳ(Universal Mobile Telecommunication System)網等のネットワークを構成する無線通信リンク４を介し、図示しない他の同種端末やサーバ５と通信を行う。端末１はそのサーバ５をゲートウェイとして使用しインターネットにアクセスする。図示例では、画像データが登録される画像データベース５Ｉや単語データベース５Ｍがサーバ５上にあるが、画像６や語のデータは端末１の内部メモリに保存することもできる。
【００２４】
携帯端末の分野では、単独又は一連の画像を撮影する機能及びそのデータを送受信する機能を併有するものが多数派となっているが、本実施形態の方法は、それよりずっと単純なタイプの携帯端末、例えば画像データ送受信は可能であるが撮影手段は備えていないタイプの携帯電話でも実行可能である。本実施形態は、Ｔ９プロトコルに比べても、或いは更にはｉＴａｐプロトコルに比べてさえ、画像に係るテキストベースのメッセージをそのコンテキストにより適合したかたちで且つより効率的に入力することができる。
【００２５】
なお、以下の説明中の「画像」は、特に断りのない限り単独の画像（写真）や一連の画像（長短いろいろある動画）のこと、即ちテキストやオーディオのデータが添付されうるマルチメディアメッセージに添付可能な画像一般のことである。マルチメディアメッセージに付随するテキストデータの例としてはメタデータ、即ち対応する画像の撮影状況等を示すデータがあり、これはＪＰＥＧ画像の場合そのＥＸＩＦ（登録商標）フィールドにセットされている。また、画像、テキスト、オーディオ等を表現するディジタルデータを好適にサポート可能なファイルフォーマットとしては、ＭＭＳフォーマットがある。ＭＭＳフォーマットのファイルは、ディジタル端末間例えば携帯端末１と他の携帯端末又はサーバ５との間でやりとりすることができる。
【００２６】
また、他の通信手段を使用し画像データを送信すること、例えば電子メールに添付することも可能である。
【００２７】
本実施形態の方法は、例えば端末１上で画像６が指定された直後に実行される。指定された画像６は例えばその端末１の表示部３の画面上に表示される。その画像６を画像データベース５Ｉに登録・保存することもできる。また、端末１による画像６の撮影直後にも本方法を実行できる。本方法によれば、端末１のユーザが、その画像６のコンテンツ（以下「画像コンテンツ」）に関するテキストや、その画像６のコンテキスト（以下「画像コンテキスト」）例えば撮影状況に関するテキストを、その画像６にコメントとして付すことができる。
【００２８】
本方法では、画像内情報を利用することで、画像コンテンツ乃至画像コンテキストに関わるテキスト中の語を何通りか好適に先取りすることができる。先取りされる語は既存の語、例えば単語データベース５Ｍに既に登録されている語である。このデータベース５ＭはＴ９プロトコルで使用される辞書に比べ工夫された構成の辞書であり、画像コンテンツや画像コンテキストに対し自動適合させることができる。その自動適合性は、所与画像６に対するコンテキスト／セマンティック分析によって導出される語をコンパイル（蝟集乃至索引付け）することによって生じている。それらの分析で導出される語は、画像６に係るテキストに相応しいものとなる。
【００２９】
辞書５Ｍの構築は画像６が指定された瞬間に始まる。画像指定はメッセージングインタフェース上で行われる。例えばＭＭＳ用メッセージングソフトウェアのユーザインタフェース上である。テキストによるメッセージを画像に関連付け両者を共有可能にするソフトウェアならば、他のソフトウェアのユーザインタフェース上でも画像指定を行える。画像６及びそれに付随するテキストが送信され或いはその携帯端末１からアクセス可能なメモリ（内部メモリや通信手段の先にあるリモートメモリ）に保存されると、その画像６向けの辞書５Ｍは破棄される。その後再び画像指定が行われると、それに対応するマルチメディアデータに対するセマンティック／コンテキスト分析で導出されるデータに基づき新たな辞書５Ｍがコンパイルされる。
【００３０】
なお、画像指定毎に構築される辞書５Ｍをメモリ上に保持して後刻使用するようにしてもよい。
【００３１】
また、ユーザが単一のマルチメディアメッセージで送信するであろう複数個のマルチメディアデータ（写真や動画）で一緒に辞書５Ｍを構築してもよい。このようにすれば、ユーザに気取らせないで辞書５Ｍを構築できる。辞書５Ｍのバックアップ保存はマルチメディアメッセージ単位で行える。同じマルチメディアメッセージに組み込まれる複数個の画像６を指定してコメント作成が行われる場合は、各辞書５Ｍの語彙が包括されるよう、画像６毎の辞書５Ｍを統合して新たな辞書５Ｍをコンパイルすればよい。
【００３２】
いずれにせよ、ユーザは、単語データベース５Ｍから語句の自動推奨を受けながら、画像６に係るテキストをキーパッド２を使用し作成することができる。先取りした推奨語が何らかの複合名詞又は慣用表現の冒頭語であった場合等には、複数語を連ねた句がその冒頭から自動推奨されることもある。また、携帯端末１には、作成中のテキストを画像６と共に表示させうる表示部３が備わっている。従って、例えばキーパッド２にその語の冒頭字が入力された後、相応する推奨語を先取りし表示部３の画面上に自動表示させることができる。推奨語が表示される場所は、その画面上の閲覧ウィンドウ内、即ち画像６の隣である。その推奨語は、作成中のテキスト内の適当な位置に自動挿入される。
【００３３】
更に、端末上で入力中のテキストに新たな字が１個又は複数個追加された結果複数個の推奨語が表示されることがある。即ち、画像コンテンツや画像コンテキスト（例えば撮影状況）を表しており作成中のテキストの意味に関連する意味を有する語が複数語推奨されることがある。その場合、ユーザは、先取りされたそれらの推奨語のうちいずれかを、例えば画面タッチによって表示部３の画面上で選択することができる。即ち、キーパッド２を使用しそのテキストを作成しているユーザは、その語が表示されている個所を押すことで、自分の意図に最も合致している語を選ぶことができる。なお、これに代わるやり方としては、複数個の推奨語が表示されたときに、端末１のキーパッド２上にあるいずれかのキーでユーザがいずれかの語を選択する、というやり方がある。
【００３４】
なお、１個又は複数個の推奨語を自動先取りする処理は、Ｔ９プロトコルを併用して実行するとなおよい。このようにすると、本発明に係る辞書５Ｍからも、またＴ９プロトコルで使用される別のデータベース（図示せず）からも推奨語を先取りすることができる。両辞書から先取りした語を適宜組み合わせて推奨することもできる。
【００３５】
端末１上での指定画像６をセマンティック分析しその結果に従い推奨語を先取りする場合、そのセマンティック分析は、例えば、ある種の画像分析アルゴリズムに則りその画像６中の画素を分類し、その画像６における画素分布を統計解析し、或いはその画像６の経時画素分布を時空間分析した結果に基づき行う。指定画像６における画素連鎖を（例えば顔の）輪郭として検知及び認識し、その結果に基づきセマンティック分析を行うこともできる。
【００３６】
セマンティック分析で画像６から情報を抽出すること、即ちその画像６に写っている事物の意味乃至特徴に関するデータを抽出することは、工夫された構成を有する自動適合型辞書５Ｍの構築及びそのコンテンツ拡充に有用である。そのセマンティック分析は、例えば画像コンテンツを特許文献１又は２（米国特許権者：Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏｍｐａｎｙ）に記載の手法に従いレイヤ分割（階級分類）し、更に特許文献３又は４（米国特許権者：Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏｍｐａｎｙ）に記載の手法に従い適当な分類則を適用してその画像６中の光景を象徴する語（意味記述語）を演繹する、といったアルゴリズムで行う。一例として、犬を連れて砂浜を駆けるカップルを捉えた画像６をこのアルゴリズムで分析すると、まず特殊な構成のセンサによってその光景中の白砂ゾーン、海／青空ゾーン等が認識及び部位特定される。次いで、その光景中に白砂、海の両ゾーンが含まれるという事実に基づきその画像６は浜辺階級に分類され、それを象徴する語“beach”が演繹される。こうした画像分析で案出されうる意味階級としては、浜辺の他に、誕生日、宴会、山地、市街、屋内、屋外、ポートレイト、風景等の階級がある。
【００３７】
また、動画に付随する画像キュー及び音声キューを利用しそのコンテンツを多面的に分析することや、静止画に付されたオーディオデータ例えば肉声注釈（感想）を利用することで、より好適な意味記述語を演繹することができる。そのやり方の詳細については特許文献５（米国特許権者：Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏｍｐａｎｙ）を参照されたい。更に、意味記述語のうち幾種類かについては、撮影モードの指定状況から導出する。撮影モードとは一般にシーンモードと呼ばれているものであり、例えばＮｏｋｉａ社製携帯電話Ｎ９０では撮影時に夜間、ポートレイト、スポーツ、風景等のシーンモードを指定することができる。Ｋｏｄａｋ社製ディジタルカメラで指定できるシーンモードはより多様であり、例えばＥａｓｙｓｈａｒｅ（登録商標）Ｃ８７５モデルでは、ポートレイト、夜間ポートレイト、風景、夜景、接写、スポーツ、雪景、浜辺、書画、逆光、マナー／館内、花火、宴会、子供、花卉、セルフポートレイト、夕日、キャンドルライト、引き撮り等のシーンモードを指定することができる。Ｎ９０を使用するにせよＣ８７５等のＫｏｄａｋ社製ディジタルカメラを使用するにせよ、本実施形態では、ユーザがシーンモードを指定したらすぐさまそのシーンモードを表す意味記述語を演繹し、その語を辞書５Ｍに追加する。また、シーンモードの一種としては自動モード、即ちレンズで捉えた照明状態、移動状態等に従い適切なシーンモードを自動探知するモードが知られている。自動モードが指定され、そのモード下で何らかのシーンモードが探知された場合は、そのシーンモードを表す語、例えば風景モードを表す語“landscape”を辞書５Ｍに追加する。
【００３８】
先に例示した画像、即ち犬を連れて浜辺を駆けるカップルの画像６を例にこの画像分析のアルゴリズムを説明すると、次のようになる。まず、この分析では、同じ色及びテキスチャ特性を呈するゾーン（画素の集まり）を画像から検知する。同じ色及びテキスチャ特性を有するゾーンとは、例えば砂、芝、青空、雲、肌、テキスト、車両、顔、ロゴ等のゾーンのことである。それらのゾーンについては、例えば教師付学習プロセスを通じた画像データベース構築の際に色やテキスチャ特性の違いを学習させておき、それに対して相応の索引をマニュアル設定しておく。ゾーン検知の後はその結果に基づきその画像の特徴を抽出する。例えば、特許文献６又は７（特許権者：Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏｍｐａｎｙ）に記載の如く顔を検知及び認識する。このとき、一方の顔ゾーンについてはジョンの顔と認識できても、他方の顔ゾーンについては誰の顔か認識できないことがある。例えばその人物が横を向いているときや、ぼやけているときや、顔が髪で隠されているときである。本方法に係るアルゴリズムでは、認識成否はともかく二人の人物が検知されたことに基づき推奨語を先取りする。この場合、“John”、“friend”、“girlfriend”、“wife”、“husband”、“son”、“daughter”、“child”等の語、それらの成句である“John and a friend”、“John and his wife”、“John and his son”等の句、更には“dog”等の語が演繹される。これらの情報はいずれもその画像６向けの辞書の構築に役に立つ。それらの語句が、例えばマルチメディアメッセージに添付される画像６の視覚的コンテンツを記述する意味記述語句であるからである。従って、この例の場合、シーンモード等から演繹されるものも含めると、“beach”、“sand”、“blue sky”、“sea”、“dog”、“outdoors”、“John”、“landscape”、“friend”、“girlfriend”、“wife”、“child”、“husband”、“son”、“daughter”、“John and a friend”、“John and his wife”、“John and his son”等の語句によって辞書５Ｍが構築されることとなる。
【００３９】
また、本実施形態では、こうして演繹した語句それぞれに基づき関連する他の語句を演繹することで、テキスト入力時に推奨される語彙をコンテキスト的に豊富化する。例えば、上掲の“friend”、“girlfriend”、“wife”、“child”、“husband”、“son”、“daughter”等の語やその成句である“John and a friend”、“John and his wife”、“John and his son”等の句がその例である。同じく、語句“beach”及び“blue sky”からは、“sunny”、“sun”、“hot”、“heat”、“holiday”、“swimming”、“tan”等の語を演繹することができる。この処理は経験的に、即ちその画像６のコンテンツについての実際のセマンティック分析抜きで行う。更に、画像分析アルゴリズムによってその個数及び性質が規定される意味階級毎に、或いはその画像６を撮影した装置によってその個数及び性質が規定されるシーンモード毎に、関連する語句を経験的に演繹し辞書５Ｍに付加することもできる。このように経験的に演繹される語句のなかには無関係な語も含まれることとなろう。例えば、ある写真から検知された浜辺の光景から“sunny”や“heat”といった語が演繹されたとしても、その写真が降雨中に撮影されたものであれば、それらの語は本来はその写真と無縁である。以下、この曖昧性を画像コンテキストの利用で解消する手法について説明する。
【００４０】
まず、これまでの概論から理解できるように、辞書５Ｍ上では語句同士が階層構造を構成している。即ち、上述の通り、辞書５Ｍ上の語句のなかには他の語句から演繹されたものが存在していて、それらが個々の階層を形成している。上掲の例でいえば、原初的な意味データ“blue sky”及び“white sand”から演繹された語“beach”と、そこから演繹された“sunny”、“sun”、“hot”、“heat”、“holiday”、“swimming”、“tan”等の語が共存している。こうした親子型従属性は、ユーザがマルチメディアメッセージのコンテンツに係るテキストを入力している最中に、辞書上の語を表示させるのに使用される。例えば、句“blue sky”及びそこから演繹された語“beach”がいずれもテキスト作成に使用されそうな場合、両者とも同じ字“b”で始まるけれども、句“blue sky”の方が優先的に或いは色、フォント、サイズ又は位置に基づくプロトコル等に従い強調されて表示され、語“beach”の方はより劣後的に又はより目立たないように表示される。同様に、本実施形態では、マルチメディアコンテンツに対するセマンティック分析の結果から演繹された語句と、撮影に当たり（ユーザにより）指定されたシーンモードとの間に、階層構造即ち優劣制による強いつながりが確立される。例えば、その携帯端末に実装されているジョイスティックやサムホイールの操作によって、撮影時にシーンモードがマニュアル指定されている場合、そのモードを象徴する語句例えば“landscape”や“sport”が優先又は強調表示される。即ち、ユーザが自ら指定したモードを象徴する語を、そのマルチメディアメッセージに随伴する画像乃至オーディオコンテンツに対するセマンティック分析の結果から演繹された語よりも、優先して表示させる。例えば、風景モードが指定されているときには、後にその分析が誤りであると判明するかもしれない画像分析で導出された語“beach”よりも、指定モードから導出される語“landscape”の方を優先又は強調表示させる。
【００４１】
また、本質的に同一階層に属する語句、即ち同一手法で抽出乃至演繹された語句の間にも階層関係が発生する。例えば、そのコンテンツに付いての分析で語“beach”及び“John”を導出できる画像６について、そのコンテンツを画像分類プロセスで分析したところ、“画像６は７５％の確率で浜辺の画像である”として語“beach”が導出されたとする。また、同じ画像６のコンテンツを顔認識プロセスで分析したところ、“この顔は８０％の確率でジョンの顔、６５％の確率でパトリックの顔である”として語“John”及び“Patrick”が導出されたとする。この場合、語“beach”及び“Patrick”は同じ画像６のセマンティック分析で得られたものではあるが、語“Patrick”に比べ語“beach”の方が信頼できる導出結果である可能性が高いため、語“beach”の方が語“Patrick”よりも優先乃至強調表示されることとなる。単語データベース５Ｍをこのような形態で利用することで、入力される語を先取りするという本発明の目的を、より好適に達成することができる。
【００４２】
そして、上述した諸手順は端末１例えば携帯電話上で実行される。まず、画像指定はその携帯電話１のキーパッド２を使用して、例えば画像データベース５Ｉから所望の画像６を選ぶ操作で行われる。画像指定には、メッセージングソフトウェアで提供される例えばＭＭＳ用のユーザインタフェースを利用できる。共有したい画像６にテキストを関連付けて両者を共有可能にすることを目的とするものであれば、他のソフトウェアアプリケーションで提供されるインタフェースも使用することができる。画像６が指定されるとセマンティック分析及びコンテキスト分析のプロセスが起動され、前掲の如くその画像６向けの辞書が構築される。画像６の分析によって生成された辞書は、その画像６が前掲の例の如き浜辺の画像である場合、“beach”、“sand”、“blue sky”、“sea”、“dog”、“outdoors”、“John”、“landscape”、“friend”、“girlfriend”、“wife”、“child”、“husband”、“son”、“daughter”、“John and a friend”、“John and his wife”、“John and his son”、“sunny”、“sun”、“hot”、“heat”、“holidays”、“swimming”、“tan”等の語句を含む辞書となる。
【００４３】
図２に示すように、指定画像６はその携帯電話１の表示部３の画面上に表示される。画像６が表示されたら、その携帯電話１のユーザは、キーパッド２を使用しテキストを入力することで、その画像６に付したいコメントを作成する。例えば、ユーザは、コメントとして入力したいテキスト“Hi, sunny weather at the beach”（やあ、浜辺はいい天気だよ）を、その冒頭部分Ｔ0：“Hi, sunny w”から入力し始める。このテキスト入力は、先取り式か非先取り式かを問わず、従来型の入力方式例えばマルチタップ方式、ツーキー方式、Ｔ９プロトコル、ｉＴａｐプロトコル等に従い行えばよい。入力された部分Ｔ0は、例えば画像６の下に位置するよう表示部３の画面上に表示される。この動作では、字“s”が入力された瞬間に、１個又は複数個の語が先取りされ、例えば表示部３の画面上に表示される。表示される推奨語９は例えば“sunny”である。これは、本実施形態の方法に則ったセマンティック分析で導出され辞書５Ｍに加わった語であるので、ユーザにとっては非常に有益な支援であり、ユーザはその画像６に係るテキストの作成をそれに基づき好適に進めることができる。これは、最初の字が入力された直後から表示部の画面上にその推奨語を表示させる理由になるだけでなく、入力された字“s”に基づき推奨される他の語（図２に示す例では他の推奨語７及び８）に対しリスト上でこの推奨語９を優先表示させる理由になる。例えば本発明に係る方法に加えｉＴａｐプロトコルを使用している場合、辞書５Ｍから得られる語９：“sunny”の他に、字“s”で始まる別の語がｉＴａｐで得られ併せて表示される可能性がある。ここで述べているのは、そうした場合に、一群の推奨語中で語９が冒頭に表示されるということである。その語９：“sunny”が自分の希望に沿っていると思ったら、ユーザは、例えばキーパッド２上のあるキーを押せばよい。すると、その推奨語９が自動挿入されテキストＴ1：“Hi, sunny weather”が生成される。逆に、その語９は自分の希望に沿っていない、自分が欲しているのはその語９ではない、と思ったら、ユーザは、引き続き入力を行えばよい。例えば“su”、“sun”等々と入力を続けていけば、そのうちに望みの語が自動推奨されるか、或いは望みの語を入力し終えることとなる。
【００４４】
ユーザはその後も入力を続ける。入力が後半部分：“Hi, sunny weather at the b”に入ると、即ち字“b”が入力されるとすぐに、表示部３の画面上には推奨語１０：“beach”が表示される。１個だけであるのでこの推奨語１０は入力中のテキストに自動挿入され、それによってテキストＴ2：“Hi, sunny weather at the beach”が完成する。
【００４５】
なお、使用する携帯電話１にマイクロホン及びそれと連携する音声認識モジュールが備わっていれば、テキスト入力を音声で行うこともできる。即ち、ユーザが発した音声をテキストデータとして入力することができるので、キーパッド２上のキーを操作することは必須ではない。例えば前掲の如きテキストを入力する場合、ユーザが字“s”を発音すると、それに応じ前記同様の処理が実行され、推奨語が１個或いは３個表示されることとなる。辞書５Ｍのサイズを管理可能なサイズに制限することで、表示不能なほどに語数が多くなることを防ぐことができる。
【００４６】
また、推奨語の先取りは、端末１を用い指定された画像６をコンテキスト分析してその結果に基づき行うこともできる。即ち、当該コンテキストを相応のアルゴリズムに則り分析することで、その画像６に特有な地理的データ、例えばその画像６が撮影された場所を表す地理的データや、その画像６に特有の時間的データ、例えばその画像６の精密な撮影時刻を表すデータが得られるので、それらに基づき推奨語を先取りすることができる。
【００４７】
推奨語の先取りは、セマンティック分析及びコンテキスト分析の併用で行うこともできる。即ち、指定された画像６をセマンティック分析してからその画像６にまつわるコンテキストを分析するといった順序で、或いは順不同で、或いは両者を組み合わせた形態で実施し、両分析の結果に基づき推奨語を先取りすることができる。
【００４８】
コンテキスト分析は、その画像６の撮影に使用されたカメラ付携帯電話１のＧＰＳモジュールからその画像６に関連する地理的データを分析し、そのデータを象徴する語句を導出する、といった形態で行うことができる。即ち、ＧＰＳモジュールから緯度経度データが得られたら、そのデータから対応する街区名、地域名、都市名、州名等の語句を演繹し、その語句例えば“Los Angeles”を直ちに辞書５Ｍに追加する。また、その語句例えば“Los Angeles”の地理的データ（座標値）から他の語句、例えば“Laguna Beach”、“Mulholland Drive”、“California”、“United States”等を自動演繹し、その画像６向けの辞書５Ｍに追加することもできる。
【００４９】
コンテキスト分析は、画像６がカメラ付携帯電話１で撮影された時期（週末、午後、夏等々）を分析し、その画像６にまつわる時間的データを象徴する語句を演繹する、といった形態でも行うことができる。演繹された語句、例えばその画像６の撮影時期を表す“weekend”、“afternoon”、“summer”等の語は、対応する辞書に直ちに追加される。
【００５０】
コンテキスト分析は、更に、端末１からアクセス可能な場所にあるアドレス帳等の情報を分析し、その端末１で指定された画像６のコンテキスト特に場所的コンテキストを象徴する語句を導出する、といった形態でも行うことができる。これは、画像指定に用いられた端末１からアクセス可能なアドレス帳であれば、可能性として、その指定画像６に写っている人物に関わりのある連絡先がユーザによって掲載されているはずであるからである。この形態では、例えばその画像６にジョンが写っており且つアドレス帳にジョン、クリストファ及びマリーが掲載されている場合に、辞書５Ｍには（“John”だけでなく）“John”、“Christopher”及び“Marie”の三語が追加されることとなる。
【００５１】
更に、コンテキスト分析の結果に基づく推奨語の先取りは、セマンティック分析について上述したのと同じ要領で行うことができる。例えば、画像６が撮影された日時及び場所が夏の日中であるという情報が撮影時に得られていれば、その画像６が夏の日中に撮影されたという事実と、その季節のその時刻は炎暑であることが多いという常識とに基づき、“hot”、“heat”等、相応する一組の語を導出することができる。もしその携帯端末１から気象データベース等のデータベースにリモート接続可能であるなら、そのデータベースを参照して画像撮影時の気温をクロスチェックすることができる。この参照によって例えば摂氏３０度という気温情報が得られた場合、その情報を利用し“hot”、“heat”等の語を生成乃至検証することや、その情報を表す語“30℃”を辞書５Ｍに追加することができる。
【００５２】
コンテキスト分析で得られるデータは、セマンティック分析の結果から得られた語句の検証に利用することができる。この検証によれば、セマンティック分析の結果から導出された語句の正しさをかなり高い確からしさで確認し又は否定することができる。例えば、前掲の例では語“beach”から語“hot”及び“sunny”が演繹されているが、実際には冬の夜間に撮影された画像であるかもしれない。撮影日時や撮影場所のデータがそれを示している場合、そのデータに基づき検証を行うと、セマンティック分析で導出された語“hot”及び“sunny”が辞書５Ｍから削除される。
【００５３】
図３に、本実施形態に係る方法の別の態様を示す。まず、携帯電話１のキーパッド２を用いユーザが画像６に付そうとしているコメントが、例えば“Hi, sunny weather at the beach. John”（やあ、浜辺はいい天気だよ。ジョンより）というテキストであるとする。このテキストを作成する手順のうち、テキストＴ1：“Hi, sunny weather”が作成されるまでの部分は、図２を参照して説明したものと全く同じである。ユーザは、テキストを仕上げるべく入力を続ける。テキストのうち“Hi, sunny weather at the b”まで仕上がると、即ち字“b”まで入力されると、それに応じ表示部３の画面上に推奨語句が表示される。例えば語１１：“beach”と句１２：“Laguna Beach”である。ユーザはもともと浜辺の実名を明示するつもりではないのだが、表示される２個の語句１１，１２のうち句１２を見てそれを選び、テキストＴ3：“Hi, sunny weather at Laguna Beach”（やあ、ラグーナビーチはいい天気だよ）を作成することができる。ユーザが更にテキスト作成を進め、“Hi, sunny weather at Laguna Beach. J”まで仕上げると、即ち字“J”まで入力されると、それに応じ表示部３の画面上に推奨語が表示される。例えば、セマンティック分析によりその画像６中にジョンやパトリックの顔が認識された場合、語１３：“John”及び語１４：“Patrick”が表示される。ユーザは、その中から自分の名前を表す語を選んで署名にすることができる。例えばそのユーザのファーストネームがジョンならば、そのユーザは語１４を選ぶであろう。こうして最終的にできあがるテキスト、即ち画像６に付されるテキストはＴ4：“Hi, sunny weather at Laguna Beach. John”（やあ、ラグーナビーチはいい天気だよ。ジョンより）となる。
【００５４】
また、本実施形態では、ユーザが自分のファーストネームを付記したがっていると仮定している。画像６に対する顔認識処理によってジョンの顔が認識され、辞書５Ｍにはそれを象徴する語“John”が登録されているので、字“J”が入力されるとその字“J”で始まるファーストネーム“John”が表示される。その顔認識処理によってパトリックの顔も認識されている場合には、この例のように、それを象徴する語“Patrick”を第２候補として表示させることができる。
【００５５】
なお、本発明の好適な実施形態を示したのは本発明をご理解頂くためであり、保護される発明の範囲を別紙特許請求の範囲に比べ限定乃至限縮するためではない。
【符号の説明】
【００５６】
１  端末、２  端末のキーパッド、３  端末の表示部、４  無線通信リンク、５  サーバ、６  単独又は一連の画像、７〜１４  語句、Ｔ0〜Ｔ4  テキスト又はその一部。
【図１】
2010514023.tif 000003
【図２】
2010514023.tif 000004
【図３】
2010514023.tif 000005
【国際調査報告】
2010514023.tif 000006
2010514023.tif 000007
2010514023.tif 000008