(57)【要約】中央記憶／検索システム（７）において、ユーザが、移動電話（３１−１、３−２）を使用して撮影した写真を格納できる移動電話システム（１）が提供される。移動電話により、ユーザは、後の写真検索用に、写真に対して注釈を追加できる。検索の際、ユーザは、移動電話にテキストクエリ又は音声クエリを入力し、テキストクエリ又は音声クエリは、中央記憶／検索システムに伝送され、検索されるべき画像を識別するために使用される。識別された画像は、更なる使用のために、ユーザの移動電話に返送される。
2006515138.tif 000002
【特許請求の範囲】
【請求項１】
移動電話網と、前記電話網に結合される移動電話と、前記電話網に結合される記憶／検索システムとを具備する移動電話システムにおいて、
前記移動電話は、
マルチメディアユーザデータを受信する第１の受信器と、
前記マルチメディアユーザデータと関連する注釈データを受信する第２の受信器と、
前記マルチメディアユーザデータ及び前記関連する注釈データを前記電話網に伝送する送信器とを含み、
前記電話網は、前記移動電話から伝送される前記マルチメディアユーザデータ及び前記関連する注釈データを受信し、前記マルチメディアユーザデータ及び関連する注釈データを前記移動電話のユーザを識別するユーザＩＤと共に、前記記憶／検索システムに転送するように動作可能であり、
前記記憶／検索システムは、前記マルチメディアユーザデータ、前記関連する注釈データ及び前記ユーザＩＤを受信するように動作可能であり、前記関連する注釈データを使用する後続する検索のために、前記ユーザＩＤにより識別されるユーザに関連付けられた記憶装置に、前記マルチメディアユーザデータを格納するように動作可能である
ことを特徴とする移動電話システム。
【請求項２】
前記マルチメディアユーザデータは、画像、ビデオシーケンス、音声及びマルチメディア表現のうち１つ以上含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記注釈データは、前記移動電話のキーパッドを介して、前記ユーザにより入力されるテキストを含むことを特徴とする請求項１又は２に記載のシステム。
【請求項４】
前記注釈データは、前記移動電話のマイクロフォンを介して、前記移動電話に入力される音声注釈を含むことを特徴とする請求項１又は２に記載のシステム。
【請求項５】
前記記憶／検索システムは、前記関連する注釈データを処理し、後続する検索動作で使用するために注釈サブワード単位のラティスを定義するデータを生成する手段を更に含むことを特徴とする請求項１から４までのいずれか１項に記載のシステム。
【請求項６】
前記注釈データは、前記マルチメディアユーザデータに固有の識別子を含むことを特徴とする請求項１又は２に記載のシステム。
【請求項７】
移動電話網と、前記電話網に結合される移動電話と、前記電話網に結合される記憶／検索システムとを具備する移動電話システムであって、前記移動電話網の複数の個々のユーザに対して、複数のマルチメディアユーザファイル及び関連する注釈を格納する移動電話システムにおいて、
前記移動電話は、
ユーザ入力クエリを含むマルチメディアファイル検索要求を生成する手段と、
前記電話網に前記検索要求を伝送する手段とを含み、
前記電話網は、前記移動電話から伝送される前記マルチメディアファイル検索要求を受信し、前記検索要求を、要求を実行した前記移動電話のユーザを識別するユーザＩＤと共に、前記記憶／検索システムに転送するように動作可能であり、
前記記憶／検索システムは、i）前記検索要求及び前記ユーザＩＤを受信し、ii）受信した前記ユーザＩＤに従って、前記ユーザ入力クエリと比較する注釈を選択し、iii）検索されるべきマルチメディアユーザファイルを識別するために、選択した前記注釈と前記ユーザ入力クエリを比較し、iv）識別した前記マルチメディアユーザファイルを前記ユーザに伝送するように動作可能である
ことを特徴とする移動電話システム。
【請求項８】
前記マルチメディアユーザファイルは、画像、映像ファイル、音声ファイル及びマルチメディア表現のうち少なくとも１つを含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記ユーザ入力クエリは、前記移動電話のキーパッドを介して、前記ユーザにより入力されるテキストを含むことを特徴とする請求項７又は８に記載のシステム。
【請求項１０】
前記ユーザ入力クエリは、前記移動電話のマイクロフォンを介して、前記移動電話に入力される音声クエリを含むことを特徴とする請求項７又は８に記載のシステム。
【請求項１１】
前記注釈は、サブワード単位のラティスとして格納され、前記記憶／検索システムは、前記ユーザ入力クエリを処理し、サブワード単位の列又はラティスを生成するように動作し、前記記憶／検索システムは、前記ユーザクエリサブワード単位の列又はラティスを、前記注釈ラティスと比較し、検索されるべき前記マルチメディアユーザファイルを識別するように動作可能であることを特徴とする請求項７から１０までのいずれか１項に記載のシステム。
【請求項１２】
前記記憶／検索システムは、検索される可能性のある複数のマルチメディアファイルを識別するように動作可能であり、ユーザが検索するマルチメディアファイルを選択するために、識別された複数の前記マルチメディアファイルを識別するデータを該ユーザに伝送するように動作可能であることを特徴とする請求項７から１１までのいずれか１項に記載のシステム。
【請求項１３】
移動電話網と、前記電話網に結合される移動電話と、前記電話網に結合される記憶／検索システムとを具備する移動電話システムにおいて、
前記移動電話は、
ユーザデータを受信するように動作可能である第１の受信器と、
前記ユーザデータと関連する注釈を受信するように動作可能である第２の受信器と、
前記ユーザデータ及び前記関連する注釈を前記電話網に伝送する送信器とを含み、
前記電話網は、前記移動電話から伝送される前記ユーザデータ及び前記関連する注釈データを受信し、前記ユーザデータ及び関連する注釈を、前記記憶／検索システムに転送するように動作可能であり、
前記記憶／検索システムは、前記関連するユーザ注釈を使用する後続する検索のために、前記ユーザデータ及び前記関連する注釈を受信し格納するように動作可能である
ことを特徴とする移動電話システム。
【請求項１４】
移動電話網と、前記電話網に結合される移動電話と、前記電話網に結合される記憶／検索システムとを具備し、複数のユーザデータファイル及び関連する注釈を格納する移動電話システムにおいて、
前記移動電話は、
ユーザ入力クエリを含むユーザデータファイル検索要求を生成する手段と、
前記電話網に検索要求を伝送する手段とを含み、
前記電話網は、前記移動電話から伝送される前記検索要求を受信し、該検索要求を前記記憶／検索システムに転送するように動作可能であり、
前記記憶／検索システムは、i）前記検索要求を受信し、ii）前記ユーザ入力クエリを前記注釈と比較し、iii）検索されるべきユーザデータファイルを識別し、iv）識別した前記ユーザデータファイルを前記ユーザに伝送するように動作可能である
ことを特徴とする移動電話システム。
【請求項１５】
移動電話網と、前記電話網に結合される移動電話と、前記電話網に結合される記憶／検索システムとを具備する移動電話システムにおいて、
前記移動電話は、ユーザデータを受信するように動作可能である第１の受信器と、
前記ユーザデータと関連する注釈を受信するように動作可能である第２の受信器と、
前記注釈を関連する前記ユーザデータに関連付ける識別データを生成する手段と、
前記ユーザデータ及び関連する前記識別データを前記電話網に伝送する送信器とを含み、
前記電話網は、前記ユーザデータ及び前記関連する識別データを受信し、前記ユーザデータ及び関連する前記識別データを、前記記憶／検索システムに転送するように動作可能であり、
前記記憶／検索システムは、前記ユーザデータ及び関連する前記識別データを受信し格納するように動作可能である
ことを特徴とする移動電話システム。
【請求項１６】
移動電話網と、前記電話網に結合される移動電話と、前記電話網に結合される記憶／検索システムと、前記電話網に結合される記憶／検索システムとを具備する移動電話システムにおいて、
前記移動電話は、
ユーザ入力クエリを含むユーザデータファイル検索要求を生成する手段と、
各注釈が識別データを介してユーザデータファイルにそれぞれ関連付けられる複数の注釈を格納する手段と、
前記記憶／検索システムから検索されるべき前記ユーザデータファイルを識別するために、前記ユーザ入力クエリを格納された注釈と比較する手段と、
検索されるべき前記ユーザデータファイルと関連付けられた前記識別データを、前記電話網に伝送する手段とを含み、
前記電話網は、伝送された前記識別データを受信するように動作可能であり、且つ識別データを、前記記憶／検索システムに転送するように動作可能であり、
前記記憶／検索システムは、伝送された前記識別データを受信し、受信した前記識別データに対応する前記ユーザデータファイルを出力するように動作可能である
ことを特徴とする移動電話システム。
【請求項１７】
前記記憶／検索システムは、前記移動電話網及び前記ユーザの移動電話を介して、前記ユーザに前記ユーザデータファイルを出力するように動作可能であることを特徴とする請求項１６に記載のシステム。
【請求項１８】
請求項１から１７までのいずれか１項に記載の技術的な移動電話の特徴を含む移動電話。
【請求項１９】
請求項１から１７までのいずれか１項に記載の移動電話網の技術的特徴を含む移動電話網。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電話システム、電話システムの要素、及び電話システムの使用方法に関する。本発明は、移動電話の使用のみに限定されるものではないが、特に、電話網を介して、画像又は他のマルチメディアファイルを遠隔サーバ上に格納し且つ検索するために、移動電話を使用することに関する。
【０００２】
入手可能ないくつかの最新の移動電話は、ユーザが写真撮影をするためのカメラを含む。画像管理アプリケーション（ソフトウェアプログラム）が、通常、移動電話に提供され、それにより、ユーザは、画像の参照、お気に入りへの追加、名前の変更、削除、及び、画像を受信できる移動電話を有する他のユーザへの画像の送信等を行うことができる。しかし、移動電話における制限されたメモリ容量及び処理能力を考慮すると、格納できる写真の数、及びユーザが実行できる機能の数には限度がある。
【０００３】
本発明は、ユーザが更に多くの写真を格納し、且つ、より高い機能性及び適応性でそれらの写真を管理できる別の移動電話システムを提供することを目的とする。
【０００４】
次に、添付の図面を参照し、多くの実施形態を例として説明する。
【０００５】
＜概要＞
図１は、移動電話システム１を概略的に示す。システム１により、ユーザは、移動電話３−１、３−２を使用して写真を撮影し、その写真を音声注釈又はテキスト注釈と共に、電話網５を介して遠隔記憶／検索システム７に伝送することができる。写真及び注釈は、遠隔記憶／検索システム７に格納される。また、システム１により、ユーザは、移動電話３にクエリを入力でき、そのクエリは、以前に格納された画像を検索するために、電話網５を介して遠隔記憶／検索システム７に伝送される。
【０００６】
［記憶動作］
画像が格納される場合、写真自体は、移動電話３のカメラ９により撮影されてもよく、又は遠隔移動電話３−２等の遠隔装置から受信されてもよい。図に示すように、カメラ９は、移動電話に内蔵又は実装される。しかし、他の実現性として、カメラは、移動電話に着脱可能に接続できるものでもよく、あるいは、赤外線（ＩＲ）又は無線（例えば、BlueToothTM）接続等の遠隔通信リンクを介して移動電話に結合可能なものでもよい。ユーザが適切な写真であることを確認できるように、送信対象の写真は、ディスプレイ１１に表示される。図１に示す例において、写真はタージマハルの画像である。
【０００７】
移動電話３−１は、格納されるべき画像に対する注釈を入力するように、（スピーカ１３を介する可聴入力要求、又はディスプレイ１１上に表示される可視入力要求として）ユーザに指示する。後述するように、注釈は、画像が格納された後、その画像を検索するために使用される。ユーザは、マイクロフォン１５を介して音声注釈として、又はキーパッド１７を介してタイプ入力されるテキスト注釈として、注釈を移動電話３−１に入力できる。例えば、図１に示される画像に対して、注釈は、音声表現「picture of the Taj Mahal」でもよい。
【０００８】
そして、移動電話３−１は、関連する注釈に対するテキストファイル又は音声ファイルと共に格納される画像に対する写真ファイルを有するＭＭＳ（マルチメディアメッセージングサービス）メッセージを作成する。図２は、本実施形態において、移動電話３−１により生成されるＭＭＳ記憶メッセージ１８の主な構成要素を示す。図に示すように、ＭＭＳ記憶メッセージ１８は、ＭＭＳＣアドレス部分２０を含む。ＭＭＳＣアドレス部分２０は、記憶メッセージの伝送先であるマルチメディアメッセージングサービスセンタ（ＭＭＳＣ）１９に対するインターネットプロトコル（ＩＰ）アドレスを識別する。図２に示すように、メッセージ１８は、電話機ＩＤ２２及びユーザＩＤ２４を更に含む。電話機ＩＤ２２は、ユーザが使用している移動電話３−１の製造元及び機種を識別し、ユーザＩＤ２４は、移動電話３−１の現在のユーザを識別する。移動電話３−１のユーザが１人である場合、ユーザＩＤは、単純に、移動電話３−１の電話番号でもよい。しかし、１人以上のユーザが移動電話３−１を使用する場合、ユーザＩＤは、移動電話番号に加え、現在のユーザに対する追加識別子を必要とする。現在のユーザを識別するために、様々な技術が使用できる。例えば、移動電話３−１は、ユーザ名及びパスワードを入力するように、ユーザに指示してもよい。また、ＭＭＳ記憶メッセージ１８は、要求ＩＤ２６を含む。要求ＩＤ２６は、実行された要求、この場合は、記憶要求識別子を識別する。ＭＭＳ記憶メッセージ１８は、関連する注釈ファイル３０と共に格納される写真に対する画像ファイル２８を更に含む。
【０００９】
図１に示されるように、ＭＭＳ記憶メッセージ１８は、移動電話３−１により、最も近接する基地局２１−１に伝送され、基地局２１−１は、移動電話ネットワークオペレータのメッセージ交換センタ（ＭＳＣ）２３に、メッセージ１８を転送する。ＭＳＣ２３は、受信したＭＭＳメッセージ１８を処理し、指定受信者のアドレス２０を識別する。その後、ＭＳＣ２３は、公衆交換電話網（ＰＳＴＮ）２５経由でＭＭＳＣ１９に、メッセージ１８を送信する。ＭＭＳＣ１９は、受信したＭＭＳメッセージ１８を処理し、メッセージ１８の内容（要求ＩＤ２６より）と、ＭＭＳＣ１９がメッセージ１８に対して実行すべき処理とを判定する。この場合、要求ＩＤ２６は、ＭＭＳメッセージ１８が画像ファイルを格納する要求であると識別するため、ＭＭＳＣ１９は、ＭＭＳメッセージ１８を記憶／検索システム７に転送する。
【００１０】
記憶／検索システム７は、受信したＭＭＳメッセージ１８を処理し、メッセージを送信したユーザを判定し（ユーザＩＤ２４より）、メッセージ１８から電話機ＩＤ２２、画像ファイル２８、及びテキスト／音声注釈ファイル３０を抽出する。記憶／検索システム７は、固有の画像ＩＤの下、画像ファイル２８を関連する注釈ファイル３０と共に、画像／注釈ファイルデータベース２７内に格納する。記憶／検索システム７は、注釈ファイル３０を、生成された画像ＩＤ、ユーザＩＤ２４及び電話機ＩＤ２２と共に、複製された複数の音声検索システム２９のうちの１つに渡す。
【００１１】
本実施形態において、音声検索システム２９は、注釈が音声注釈である場合は自動音声認識ユニット（不図示）を使用して、又は注釈がタイプ入力された場合はテキスト／音素変換器を使用して、注釈ファイルを処理する。そして、ＭＰＥＧ７音声内容ラティス構造に準拠する単語／音韻ラティスを生成する。図３は、音声注釈「picture of the Taj Mahal」に対して生成された単語／音韻ラティス注釈データの形式を示す。図に示すように、単語／音韻ラティスは、単一の入口点及び単一の出口点を有する閉路なし有向グラフである。これは、ユーザの音声入力の異なる構文解析を表現する。図に示すように、音韻ラティスは、音声注釈に対応する多くの異なる音素列を識別する。また、図３は、自動音声認識ユニットが音声注釈内で認識された単語を含むことを示す。図３に示す例の場合、音声認識ユニットは、単語「picture」、「of」、「off」、「the」、「other」、「ta」、「tar」、「jam」、「ah」、「hal」、「ha」及び「al」を識別する。ＭＰＥＧ７に準拠する単語／音韻ラティスの更なる詳細については、文献「Introduction to MPEG−7 Multimedia Content Description Interface」の第１８章を参照。音声検索システム２９は、単語／音韻ラティスを処理し、３つの音素列（３音）指標で使用するラティス内に存在する３音を識別する。音声検索システム２９は、記憶／検索システム７により生成された関連付けられた画像ＩＤと共に、単語／音素注釈ラティスと３音指標エントリとを、指標／注釈ラティスデータベース３１に格納する。
【００１２】
［検索動作］
検索動作において、ユーザは、移動電話３−１上で検索要求を開始する。それに応答して、移動電話３−１は、記憶／検索システム７から所望の画像を検出するために使用されるクエリを入力するように、ユーザに指示する。ユーザは、マイクロフォン１５を介して音声クエリとして、又はキーパッド１７を介してテキストクエリとして、クエリを入力できる。例えば、ユーザが以前に格納したタージマハルの写真を検索したい場合、入力クエリは、語句「Taj Mahal」の音声発言でもよく、又はタイプ入力でもよい。ユーザがクエリを入力した後、移動電話３−１は、適切なＭＭＳクエリメッセージを生成する。図４は、ＭＭＳクエリメッセージ３２の主な内容を概略的に示す。記憶メッセージ１８と同様に、クエリメッセージ３２は、ＭＭＳＣアドレス２０、電話機ＩＤ２２、ユーザＩＤ２４及び要求ＩＤ２６を含む。この場合、要求ＩＤ２６は、メッセージがクエリメッセージであることを認識する。図４に示すように、クエリメッセージ３２は、クエリファイル３４を更に含み、クエリファイル３４は、ユーザのクエリがタイプ入力されたか又は音声によるものかにより、テキストファイル又は音声ファイルのいずれかになる。移動電話３−１は、以前と同様に、生成されたＭＭＳクエリメッセージ３２を、ＭＭＳＣ１９を介して遠隔記憶／検索システム７に伝送する。
【００１３】
記憶／検索システム７は、ＭＭＳクエリメッセージ３２を処理し、メッセージを送信したユーザを判定し（ユーザＩＤ２４より）、電話機ＩＤ２２及びクエリファイル３４を抽出する。記憶／検索システム７は、要求を実行しているユーザにとって入手可能である画像に対する全ての画像ＩＤを検索する。これらは、そのユーザ自身が以前に格納した全ての画像に加え、他のユーザから（友人及び家族等から）入手可能な他の画像も含む。
【００１４】
記憶／検索システム７によりデータベース２７から検索された画像ＩＤは、クエリファイル３４と共に、音声検索システム２９に渡される。音声検索システム２９は、注釈の単語／音韻ラティスが生成された方法と同様の方法で、クエリファイルをクエリの単語／音韻ラティスに変換する。音声検索システム２９は、クエリ及び音韻ラティス内の３音を識別する。その後、音声検索システム２９は、クエリに対応する可能性のある画像ＩＤの部分集合を識別するために、その３音を、記憶／検索システム７により識別された画像ＩＤに対応する３音指標内のエントリと比較する。音声検索システム２９は、ユーザのクエリとデータベース３１内の注釈とが最も合致するＮ個の画像を識別するために、クエリの単語／音韻ラティスを、３音比較から識別された画像ＩＤの部分集合に対する注釈の単語／音韻ラティスと比較する。音声検索システム２９は、Ｎ個の最も合致する画像に対する画像ＩＤを記憶／検索システム７に戻し、画像データベース２７からＮ個の最適な画像を検索し、各画像に対してサムネイル画像を生成する。サムネイル画像を生成する際、記憶／検索システム７は、ディスプレイのサイズ及び解像度と、表示できる画像の種類とを識別するために、電話機ＩＤ２２を使用する。記憶／検索システム７は、検索した画像がユーザの移動電話３に最適に表示されるように、画像をスケーリングし、画像の形式を変換し（必要な場合）、圧縮し、且つサムネイルを強調する。記憶／検索システム７は、ＭＭＳＣ１９及び電話網５を介して、ユーザの移動電話３−１に、これらのサムネイル画像を返送する。
【００１５】
ユーザは、サムネイル画像を移動電話３−１上で閲覧し、検索したかった画像を発見し選択できる。所望の画像がサムネイル画像中に存在しない場合、ユーザは、移動電話３−１を介して、検索が不成功であったことを通知し、且つ更に探索結果を戻すように要求する他の要求を、記憶／検索システム７に伝送できる。所望の画像に対するサムネイル画像が受信されると、ユーザは、その画像を選択し、選択された画像を識別する別のＭＭＳメッセージを、移動電話３−１に生成させることができる。移動電話３−１は、そのメッセージを電話網５及びＭＭＳＣ１９を介して記憶／検索システム７に返送する。記憶／検索システム７は、画像データベース２７から、選択された画像を検索し、検索された画像がユーザの移動電話３−１上に最適に表示されるように、スケーリング、形式変換、圧縮及び強調することにより、その画像を処理する。記憶／検索システム７は、ユーザに対して表示するために、ＭＭＳＣ１９及び電話網５を介してユーザの移動電話３−１に、処理された画像を返送する。
【００１６】
［ユーザ管理］
本実施形態において、記憶／検索システム７は、ＨＴＭＬによるウェブインタフェース（不図示）を含む。それにより、ユーザは、例えば、ＰＳＴＭ２５及び市内交換３５を介してウェブインタフェースに接続可能なパーソナルコンピュータ３３から、画像データベース２７に格納された画像に直接アクセスできる。本実施形態において、ユーザは、ＰＣ３３を介して記憶／検索ウェブインタフェースにアクセスして、以下のことができる、
i）画像のアルバム（クリスマス２００２アルバム、及び春休み２００３アルバム等）を作成及び削除する、
ii）写真が撮影された日付、写真が格納された日時及び／又は前回アクセスされた日時、写真が属するアルバム等に基づいて、写真を閲覧する、
iii）大容量ロード機能及び削除機能を含み、写真を追加及び削除する、
iv）アルバム間で写真を移動する、
v）写真を共用するために、家族及び友人のグループを設定する、
vi）ユーザグループ毎又はユーザ毎に、個別に又は一括して、共用可能であるとして、写真及びアルバムをマークする、
vii）優先順位及び他の情報を写真にマークする、
viii）補足の注釈（テキスト又は音声）を追加する、
ix）注釈ファイルを除去する、
x）注釈を非公開にし、検索されないようにする、
xi）注釈を検索対象から除外する、
xii）一連の写真を、解説付きスライドショーにする、
xiii）音声検索システムに対して、パラメータ（検索されるべき文書の数（Ｎ）、スコア限度等）を設定する。
【００１７】
本実施形態において、ユーザが、独立したパーソナルコンピュータ３３を使用して、データベース２７の写真を管理できることが好ましい。これは、既存の殆どの移動電話３において、機能性及び利用可能な通信帯域幅に限界があるためである。しかし、移動電話技術の進歩に伴い、ユーザは、移動電話３を介して、更に多くの管理機能を実行できるようになるであろう。
【００１８】
ユーザが、移動電話３を使用して写真を撮影し、電話網５を介して記憶／検索システム７のデータベース２７に記憶するために、その写真を伝送することができる方法についての概要を上述した。次に、上述のシステムの構成要素及びその動作について、更に詳細に説明する。
【００１９】
［移動電話］
図５は、本実施形態で使用される移動電話３−１の主な構成要素を示すブロック図である。図に示すように、移動電話３−１は、ユーザから音声信号を受信し、且つその信号を対応する電気信号に変換するマイクロフォン１５を含む。騒音を除去し且つ音声信号を増幅するために、電気音声信号は、音声処理回路４１により処理される。処理された音声信号は、ＣＰＵ制御スイッチ４７を介して、中央処理装置（ＣＰＵ）４３又はトランシーバ回路４５に渡される。本実施形態において、音声処理回路４１の出力がＣＰＵ４３に入力される間に、ユーザが音声注釈又は音声クエリを入力する場合を除いて、スイッチ４７は、通常、音声処理回路４１の出力をトランシーバ回路４５に接続する。
【００２０】
トランシーバ回路４５は、移動電話アンテナ４９を介して最も近接する基地局２１に伝送するために、音声を符号化し、通常の方法で動作する。同様に、トランシーバ回路４５は、発呼に対して、相手側から符号化された音声を受信し、復号化して音声駆動回路５１に出力する。音声駆動回路５１は、信号を増幅し、ユーザに対して可聴再生するために、スピーカ１３にその信号を出力する。トランシーバ回路４５は、電話網５に伝送するためにＣＰＵ４３からメッセージを受信し、また、電話網５からメッセージを受信してＣＰＵ４３に渡す。
【００２１】
移動電話３−１は、画像処理回路５３を更に含み、画像処理回路５３は、カメラ９で撮像された画像を処理し、ＪＰＥＧ画像ファイル等の適切な画像形式に変換する。画像ファイルは、画像処理回路５３からＣＰＵ４３に渡され、ＣＰＵ４３は、メモリ５５に画像を格納する。移動電話３は、ディスプレイドライバ５７を含み、ディスプレイドライバ５７は、ＣＰＵ４３により制御され、ディスプレイ１１に表示される情報を制御する。移動電話３は、ＭＭＳモジュール５９、ＳＭＳモジュール６１、ＷＡＰモジュール６３、ＳＩＭカード６５及び記憶／検索アプリケーション６７を更に含む。ＭＭＳモジュール５９は、ＭＭＳメッセージを生成し、且つ受信したＭＭＳメッセージからファイルを抽出する。ＳＭＳモジュール６１は、キーパッド１７を介してユーザによりタイプ入力されるテキストから、ＳＭＳテキストメッセージを生成し、且つユーザに対し、ディスプレイ１１上に表示するために、受信したＳＭＳメッセージからテキストを検索する。ＷＡＰモジュール６３により、ユーザは、電話網５を介して、遠隔ウェブサーバからのウェブページを検索し、そのウェブページと対話することができる。ＳＩＭカード６５は、移動電話３−１及び電話網５により使用される種々のユーザデータ及びユーザプロファイルを格納する。記憶／検索アプリケーション６７は、遠隔記憶／検索システム７の写真の格納及び検索を制御し、且つ検索された写真の閲覧及び選択を制御するために、ユーザに対してユーザインタフェースを提供する。
【００２２】
本実施形態において、移動電話３−１の動作は、記憶／検索アプリケーション６７を除いて、従来の動作と同様である。従って、移動電話３−１の動作についての以下の説明は、記憶／検索アプリケーション６７の主な構成要素の動作、及び移動電話３−１の他の構成要素との相互作用に制限される。
【００２３】
図６ａは、ステップＳ１において、ユーザが記憶／検索アプリケーション６７を開始する時に、利用可能な主なメニューオプションを示すフローチャートである。開始されると、ステップＳ３において、移動電話３−１は、ユーザがキーパッド１７を使用して、ディスプレイ１１上に表示されるメニューオプションの１つを選択するのを待つ。メニューオプションが選択されると、ステップＳ５に進み、記憶／検索アプリケーション６７は、選択されたメニュー要求が記憶要求又は検索要求であるかをチェックする。記憶要求又は検索要求である場合、図６ｂの最上部に示される「Ａ」に進む。
【００２４】
図６ｂに示されるように、ステップＳ７に進み、記憶／検索アプリケーション６７は、選択されたメニューオプションが記憶要求に対応するかを判定する。対応した場合、ステップＳ１１に進み、移動電話３−１は、格納されるべき画像を受信する。この画像は、メモリ５５から受信されてもよく、又はカメラ９により直接撮像されてもよい。あるいは、他の移動電話等の遠隔ユーザ装置から受信された画像でもよい。格納されるべき画像が受信されると、ステップＳ１３に進み、記憶／検索アプリケーション６７は、格納されるべき画像に対する適切なテキスト注釈又は音声注釈の入力を指示し、その受信を待つ。ユーザが音声注釈を入力する場合、移動電話３−１は、ユーザによりボタンが押下されるのを検出することにより、又は音声注釈の終了時の沈黙を検出することにより、注釈の終了を検出できる。記憶／検索アプリケーション６７は、格納されるべき画像を適切な注釈と共に受信すると、ステップＳ１５において、適切なＭＭＳ記憶メッセージを作成するために、これらのファイルをＭＭＳモジュール５９に送信する。ＭＭＳモジュール５９は、本実施形態においてはＳＩＭカード６５に格納されるＭＭＳＣ１９に対するＩＰアドレスを使用して、そのメッセージを遠隔ＭＭＳＣ１９に送る。ＭＭＳモジュール５９は、電話機ＩＤ２２（メモリ５５に格納される）及びユーザＩＤ２４（ＳＩＭカード６５に格納される）を含む。生成されたＭＭＳメッセージ１８は、ＣＰＵ４３に渡され、ＣＰＵ４３は、ステップＳ１７において、アンテナ４９を介して、ＭＭＳ記憶メッセージ１８を遠隔ＭＭＳＣ１９に伝送する。
【００２５】
メッセージが伝送されると、ステップＳ１９において、記憶／検索アプリケーション６７は、記憶／検索システム７から、画像が格納されたことを確認するメッセージが返送されるのを待つ。この確認メッセージは、ＭＭＳモジュール５９により、ＭＭＳメッセージとして受信されてもよく、又はＳＭＳモジュール６１を介して、テキストメッセージとして受信されてもよい。その後、ステップＳ２１に進み、記憶／検索アプリケーション６７は、画像が遠隔記憶／検索システム７に格納された確認を、ユーザに対して出力する。他の実施形態において、この確認がスピーカ１３を介して、可聴確認として出力されてもよいが、本実施形態においては、この確認は、ディスプレイ１１上に可視確認としてユーザに出力される。図６ａに示される「Ｂ」に戻り、ステップＳ３に戻る。ステップＳ３において、記憶／検索アプリケーション６７は、次のメニュー選択を待つ。
【００２６】
ステップＳ７において、ユーザの要求が画像を格納する要求ではないと判定する場合、記憶／検索アプリケーション６７は、要求が画像を検索する要求であると仮定する。従って、ステップＳ２３に進み、記憶／検索アプリケーション６７は、ユーザに入力クエリを指示し、その受信を待つ。上述のように、この入力クエリは、キーパッド１７を介したテキストクエリ入力でもよく、又はマイクロフォン１５を介した音声クエリ入力でもよい。例のように、ユーザが以前に格納したタージマハルの写真を検索したい場合、クエリは、語句「Taj Mahal」の音声入力である可能性がある。ユーザにより入力されたテキスト又は音声は、ＭＭＳモジュール５９に渡され、ステップＳ２５において、伝送に適切なクエリＭＭＳメッセージ３２に符号化される。ＭＭＳ記憶メッセージ１８のように、ＭＭＳクエリメッセージ３２は、遠隔ＭＭＳＣ１９に対するＩＰアドレス、電話機ＩＤ２２及びユーザＩＤ２４を含む。ステップＳ２７において、ＭＭＳクエリメッセージ３２は、アンテナ４９を介してＣＰＵ４３により伝送される。ステップＳ２９において、記憶／検索アプリケーション６７は、遠隔検索システム７から返送されるクエリ結果の受信を待つ。
【００２７】
結果が受信されると、ステップＳ３１において、記憶／検索アプリケーション６７は、ユーザに対して結果を表示する。上述のように、本実施形態において受信された結果は、サムネイル画像の形式であり、記憶／検索アプリケーション６７は、適切なグラフィカルユーザインタフェースで、ディスプレイ１１上にそれらの画像をユーザに対して表示する。ステップＳ３３に進み、記憶／検索アプリケーション６７は、ユーザにより選択される１つの画像の受信を待つ。選択された画像に対する画像ＩＤは、ＭＭＳモジュール５９に渡され、ＭＭＳモジュール５９は、適切なＭＭＳメッセージを作成する。ＭＭＳメッセージは、ステップＳ３５において、ＭＭＳＣ１９を介して遠隔記憶／検索システム７に伝送される。ステップＳ３７において、記憶／検索アプリケーション６７は、遠隔記憶／検索システム７から返送される選択された画像の受信を待つ。検索された画像を受信すると、記憶／検索アプリケーション６７は、ステップＳ３９において、ディスプレイ１１上でユーザに対して検索された画像を表示する。その後、以前と同様に、ステップＳ３に戻る。
【００２８】
ユーザが画像を検索すると、記憶／検索アプリケーション６７は、ユーザが検索された画像に対して実行できる多くの機能を提供する。利用可能なオプションを、図６ａのステップＳ４１〜ステップＳ４５に示す。図に示すように、ステップＳ４１において、ユーザは、検索された画像の印刷を要求できる。この場合、ステップＳ４７に進み、画像は、印刷する目的で出力される。これは、例えば、近傍のプリンタの赤外線ポートにより受信するために、移動電話３−１の赤外線ポート（不図示）を介して画像データを出力することにより達成されてもよい。
【００２９】
ステップＳ４２により示されるように、ユーザは、検索された画像の削除を要求できる。この場合、ステップＳ４９に進み、適切な削除要求が、遠隔記憶／検索システム７に伝送され、遠隔記憶／検索システム７は、データベース２７及び３１から画像及び注釈を削除する。このメッセージは、ＭＭＳモジュール５９によりＭＭＳメッセージとして伝送されてもよく、又はＳＭＳモジュール６１によりテキストメッセージとして伝送されてもよい。
【００３０】
ステップＳ４３に示されるように、ユーザは、例えば、他の移動電話３又は他人の電子メールアドレスに対して、検索されたメッセージを転送するオプションを有する。ユーザが検索された画像の転送を選択する場合、ステップＳ５１に進み、検索された画像及び受信者のアドレスを有する新しいＭＭＳメッセージが生成され、且つ遠隔ＭＭＳＣ１９を介して適切な受信者に伝送される。
【００３１】
ステップＳ４４により示されるように、ユーザは、検索された画像に注釈を付け直すオプションを有する。これは、ユーザが、既存の注釈を使用して画像を検索するのが困難であると考えた場合に選択される。ユーザが画像に注釈を付け直すことを選択する場合、ステップＳ５３に進み、新しい適切な注釈が生成され（上述の方法で）、新しい適切な注釈ＭＭＳメッセージは、ＭＭＳＣ１９を介して遠隔記憶／検索システム７に伝送される。
【００３２】
ステップＳ４５により示されるように、ユーザは、検索された画像に関連する注釈の再生を要求できる。ユーザが選択された画像に対する注釈の再生を選択する場合、ステップＳ５５に進み、適切なＭＭＳメッセージは、遠隔記憶／検索システムに伝送される。遠隔記憶／検索システムは、画像／注釈ファイルファイルデータベース２７に格納されている選択された画像を注釈ファイルに要求する。この注釈ファイルが戻されると、記憶／検索アプリケーション６７は、ユーザに対して注釈を出力する。注釈ファイルがテキストファイルである場合、テキストとしてディスプレイ１１上に出力され、音声ファイルである場合、スピーカ１３を介して出力される。
【００３３】
最後に、ステップＳ５７において、ユーザは、移動電話３−１で実行している記憶／検索アプリケーション６７の終了を選択できる。
【００３４】
［記憶／検索システム］
図７は、図１に示す記憶／検索システム７の主な構成要素を更に詳細に示すブロック図である。図に示すように、ＭＭＳＣ１９により転送されるＭＭＳ要求を受信するように動作する要求受信ユニット８１を含む。要求受信ユニット８１は、受信したＭＭＳ要求を処理し、要求ＩＤ２６を抽出し、その要求が記憶要求であるか又は検索要求であるかを判定する。記憶要求である場合、ＭＭＳメッセージ１８は、記憶要求処理ユニット８３に転送される。記憶要求処理ユニット８３は、ＭＭＳ記憶メッセージ１８から画像ファイル及び注釈ファイルを抽出し、新しい画像ＩＤを作成し、且つその新しい画像ＩＤの下、２つのファイルを画像／注釈ファイルデータベース２７に格納する。本実施形態において、記憶要求処理ユニット８３は、画像ファイル及び対応する注釈ファイルを、ユーザ毎に個別のフォルダに格納する。データベース２７内に格納された個々のユーザファイルは、ユーザＩに対するテーブルＵｉ、ユーザＪに対するテーブルＵｊ、ユーザＫに対するテーブルＵｋ等として図７に示される。図に示すように、ユーザ毎のフォルダは、ユーザに対する全ての画像ファイルを、対応する注釈ファイル及び対応する画像ＩＤと共に含む。更に、上述のように、各ユーザは、ウェブインタフェース８５を介して、フォルダ（Ｕｉ）内に、サブフォルダ（又は、アルバム）を定義できる。図示しないが、各画像は、その画像にアクセスできるユーザを定義するアクセス権を含む。このアクセス権は、ウェブインタフェース８５を介しても定義できるし、又はユーザの移動電話３−１から伝送されたＭＭＳ記憶要求にアクセス権を含めることによっても定義できる。
【００３５】
画像ファイル及び注釈ファイルを格納した後、記憶要求処理ユニット８３は、注釈ファイルをＭＭＳメッセージ１８の電話機ＩＤ２２及びユーザＩＤ２４と共に、音声検索システム（ＳＲＳ）インタフェース８７を介して、音声検索システム２９に渡す。ＳＲＳインタフェース８７は、注釈ファイルが処理され、適切な注釈ラティスを生成したという肯定応答を、音声検索システム２９から受信するのを待つ。この肯定応答を受信すると、ＳＲＳインタフェース８７は、その肯定応答を応答処理ユニット８９に転送する。応答処理ユニット８９は、画像ファイルが正常に格納されたことを確認する適切なＳＭＳメッセージ又はＭＭＳメッセージを生成し、ユーザの移動電話３−１に返送する。
【００３６】
要求受信ユニット８１は、受信したＭＭＳメッセージが検索要求であると要求ＩＤ２６から判定すると、受信したＭＭＳメッセージ３２を検索要求処理ユニット９１に渡す。検索要求処理ユニット９１は、受信したＭＭＳメッセージ３２から、ユーザＩＤ２４、電話機ＩＤ２２及びクエリファイルを抽出する。そして、ユーザＩＤ２４により識別されたユーザがアクセスできる全ての画像に対する画像ＩＤを識別するために、ユーザＩＤ２４を使用する。上述のように、これら画像ＩＤは以下を含む、
i）データベース２７のユーザのファイル（Ｕｉ）に格納された全ての画像に対する画像ＩＤ、
ii）要求しているユーザが属する他のユーザの友人グループ又は家族グループ中に存在する画像に対する画像ＩＤ、及び
iii）全てのユーザがアクセス可能であると記録された画像に対する画像ＩＤ。
【００３７】
検索要求処理ユニット９１は、検索された画像ＩＤを、受信したＭＭＳメッセージ３２のクエリファイル３４、ユーザＩＤ２４及び電話機ＩＤ２２と共に、ＳＲＳインタフェース８７を介して音声検索システム２９に渡す。ＳＲＳインタフェース８７は、音声検索システム２９から、ユーザのクエリに対応するＮ個の最適な画像ＩＤのリストを受信するのを待つ。このＮ個の最適な画像ＩＤのリストが受信されると、ＳＲＳインタフェース８７は、検索要求処理ユニット９１にリストを戻す。検索要求処理ユニット９１は、Ｎ個の最適な画像ＩＤのリスト中の画像ＩＤを使用して、データベース２７から画像を検索し、その画像に対して、対応するサムネイル画像を生成する。要求処理ユニット９１は、Ｎ個の最も合致する画像に対するサムネイル画像を対応する画像ＩＤと共に含む適切なＭＭＳメッセージを生成する応答処理ユニット８９にサムネイル画像を渡す。応答処理ユニット８９は、クエリを実行したユーザ（ユーザＩＤ２４中の電話番号から判定される）の移動電話３−１に、サムネイル画像を返送する。
【００３８】
上述のように、ユーザは、Ｎ個の最適な画像を参照した後、それら画像から選択した１つの画像に対する要求を伝送してもよい。この場合、要求受信ユニット８１は、検索されるべき画像に対する画像ＩＤを識別するＭＭＳメッセージ又はＳＭＳメッセージのいずれかを受信する。また、この場合、要求受信ユニット８１は、ユーザＩＤ２４及び画像ＩＤを検索要求処理ユニット９１に渡す。検索要求処理ユニット９１は、画像ＩＤに対応する画像を検索し、応答処理ユニット８９にその画像を転送する。以前と同様に、応答処理ユニット８９は、要求された画像ファイルを有する適切なＭＭＳメッセージを生成し、ユーザの移動電話３−１に返送する。
【００３９】
図７に示すように、記憶／検索システム７は、課金ユニット９３を含み、課金ユニット９３は、記憶／検索システム７により提供されるサービスの課金を制御する。特に、本実施形態において、記憶要求処理ユニット８３は、ユーザが画像をデータベース２７に格納することを要求する度に、要求を実行したユーザの詳細及びデータベース２７内に格納された画像数を渡す。課金ユニット９３は、そのサービスに対する適切な料金を計算し、通常の方法でユーザに課金できる適切な課金エージェント（移動電話オペレータ又はサービスプロバイダ等）に、課金メッセージを伝送する。更に、本実施形態において、ユーザは、データベース２７から画像を検索する度に課金される。しかし、ユーザは、サムネイル画像を介する検索及び閲覧については、検索した画像を識別できない可能性があるため、課金されない。従って、検索要求処理ユニット９１は、画像を検索しているユーザについて、次のような場合に課金ユニット９３に通知する。すなわち、課金ユニット９３が、課金エージェントに送信する適切な課金メッセージを計算し生成できるように、ユーザが特定の画像ファイルに対する要求を送信した後にのみ、課金ユニット９３に通知する。本実施形態において、ユーザの写真に対する他のユーザとの共用アクセスを助長するため、課金ユニット９３は、ユーザの画像のうち１つが他のユーザにより検索されると、各ユーザに対して、割戻し（使用料）を提供する。
【００４０】
［音声検索システム］
図８は、本実施形態で使用される音声検索システム２９の主な構成要素を示すブロック図である。図に示すように、音声検索システム２９は、インタフェースに記憶／検索システム７を提供するインタフェースユニット１０１を含む。図に示すように、インタフェースユニット１０１により記憶／検索システム７から受信されたデータは、音声検索システム２９の動作を制御する音声検索システム（ＳＲＳ）制御器１０３に転送される。ＳＲＳ制御器１０３は、管理及び制御（開始、停止、メモリ使用、性能監視等）のための管理インタフェース（不図示）を更に含む。
【００４１】
ＳＲＳ制御器１０３は、注釈ファイル又はクエリファイルを受信すると、そのファイルがテキストファイルであるか、又は音声ファイルであるかをチェックする。注釈ファイル又はクエリファイルがテキストファイルである場合、ＳＲＳ制御器１０３は、テキスト／音素変換器１０５にそのファイルを渡す。テキスト／音素変換器１０５は、ファイル中のテキストを、そのテキストに対応する音素列又は音韻ラティスに変換する。テキスト／音素変換器１０５は、元のテキスト及び判定した音素を使用して組み合わされた単語／音韻ラティスを、ＳＲＳ制御器１０３に戻す。
【００４２】
ＳＲＳ制御器１０３は、注釈ファイル又はクエリファイルが音声ファイルであると判定すると、そのファイルを自動音声認識ユニット１０７に渡す。本実施形態において、個々の移動電話（異なる音声経路を説明するため）及び個々のユーザに対して適応された音声認識モデルは、指標／注釈データベース３１に格納される。従って、ＳＲＳ制御器１０３は、自動音声認識ユニット１０７により認識される注釈ファイル又はクエリファイルを受信すると、次のような処理を行う。すなわち、記憶／検索システム７から受信されたユーザＩＤ２４及び電話機ＩＤ２２を使用して、適切な音声認識モデルをデータベース３１から検索する。音声認識モデルは、ＡＳＲユニット１０７に渡される。ＡＳＲユニット１０７は、音声注釈又は音声クエリに対応する単語及び音素を生成する音声認識モデルを使用して、音声クエリ又は注釈ファイルに対して、自動音声認識動作を実行する。これらの単語及び音素は、上述の単語／音韻ラティスになるように組み合わされ、ＳＲＳ制御器１０３に戻される。
【００４３】
ＳＲＳ制御器１０３は、生成された単語／音韻ラティスを受信した後、それを音声文書検索エンジン１０９に渡す。ＳＤＲエンジン１０９は、そのラティスを処理し、ラティス内の全ての異なる３音を識別する。ＳＤＲエンジン１０９は、識別した３音をＳＲＳ制御器１０３に戻す。ラティスが注釈ラティスである場合、ＳＲＳ制御器１０３は、注釈ラティスを識別された３音及び画像ＩＤと共に、指標／注釈ラティスデータベース３１に格納する。データベース３１に格納された指標／注釈データの形式は、図８で、データベース３１の下側のテーブル１０８により示される。図に示すように、テーブルの左側の列は、画像ＩＤを識別し、右側の列は、画像ＩＤに関連付けられた画像に対する注釈ラティスである。真ん中の列は、対応する注釈ラティス中に出現する３音を識別する。
【００４４】
単語／音韻ラティスがクエリラティスである場合、ＳＲＳ制御器１０３は、受信した画像ＩＤに対する３音エントリをデータベース３１から検索し、クエリラティス、クエリ３音及び検索された注釈３音を、音声文書検索（ＳＤＲ）エンジン１０９に渡す。ＳＤＲエンジン１０９は、ユーザのクエリに最も類似する注釈を識別するために、指標探索ユニット１１１を使用して、クエリ３音を注釈３音と比較する。この様に、指標探索ユニット１１１は、ユーザのクエリに対応する可能性の少ない画像を除去する事前除去としての役割を果たす。指標探索ユニット１１１により除去されない画像ＩＤは、音素探索ユニット１１３に渡される。音素探索ユニット１１３は、残存する画像ＩＤ毎に、クエリラティス中の音素を注釈ラティス中の音素と比較し、類似性を表現するスコアをＳＲＳ制御器１０３に戻す。ＳＲＳ制御器１０３は、音素探索ユニット１１３から戻されたスコアに応じて、画像ＩＤを順序付けする。ＳＲＳ制御器１０３は、Ｎ個の最適な画像ＩＤを、インタフェースユニット１０１を介して記憶／検索システム７に戻す。
【００４５】
図８に示すように、ＳＤＲエンジン１０９は、テキスト探索ユニット１１５を更に含む。テキスト探索ユニット１１５は、クエリラティス中の単語を注釈ラティス中の単語と比較するために、音素探索ユニット１１３と共に、又は音素探索ユニット１１３の代替ユニットとして使用される。テキスト探索の結果は、音素探索の結果と組み合わせることも可能であり、又はＮ個の最も合致する画像を識別するために、それ自体のみでも使用可能である。
【００４６】
図８に示すように、音声検索システム２９は、メモリ１１７を更に含む。種々のユーザクエリ及び注釈は、ＳＲＳ制御器１０３により処理される準備ができるまで、メモリ１１７のバッファに入れられる。本実施形態において、ユーザクエリは、注釈とは別にバッファに入れられ、ユーザが結果を待っているため、クエリには、より高い優先順位が与えられる。
【００４７】
図９及び図１０は、注釈及びクエリが音声から生成される時の図８に示される音声検索システム２９の記憶動作及び検索動作中のタイミングチャートを示す。図９を参照すると、最初に、ＳＲＳ制御器１０３は、記憶／検索システム７から、注釈を格納する要求を受信する。その後、ＳＲＳ制御器１０３は、注釈を実行したユーザに対する自動音声認識モデルを要求し、データベース３１から受信する。自動音声認識モデルは、上述の単語／音韻ラティスを生成するために、注釈ファイルと共に自動音声認識ユニット１０７に渡される。ラティスは、生成されると、ＳＲＳ制御器１０３に戻され、ＳＲＳ制御器１０３は、ＳＤＲエンジン１０９にラティスを渡し、注釈に対する３音指標を生成するように要求する。３音指標は、ＳＲＳ制御器１０３に返送され、ＳＲＳ制御器１０３は、対応する画像ＩＤの下、指標を注釈ラティスと共に、データベース３１に格納する。ＳＲＳ制御器１０３は、注釈ラティスが完成し格納されたことを記憶／検索システムに通知する。
【００４８】
図１０を参照すると、最初に、ＳＲＳ制御器１０３は、記憶／検索システム７からクエリを受信する。ＳＲＳ制御器１０３は、クエリを実行したユーザに対する自動音声認識モデルを要求し、データベース３１から受信する。これらのモデルは、クエリと共に、自動音声認識ユニット１０７に渡され、自動音声認識ユニット１０７は、クエリ単語／音韻ラティスを生成し、ＳＲＳ制御器１０３に戻す。ＳＲＳ制御器１０３は、記憶／検索システム７により識別される全ての画像ＩＤに対して、データベース３１に格納される３音指標エントリを要求し受信する。その後、ＳＲＳ制御器１０３は、クエリ単語／音韻ラティスを、検索された３音指標エントリと共に、ＳＤＲエンジン１０９に渡す。ここで、指標探索ユニット１１１は、クエリ３音を注釈３音と比較して、Ｍ個の最適な注釈ラティスを識別し、ＳＲＳ制御器１０３に戻す。ＳＲＳ制御器１０３は、Ｍ個の最適な注釈ラティスの各々がクエリラティスと一致し、且つその２つの間の類似性を表現するスコアを戻すように、ＳＤＲエンジン１０９内の音素探索ユニット１１３に要求する。ＳＲＳ制御器１０３は、その結果を順序付けし、Ｎ個（Ｎは、Ｍより小さい）の最も合致する画像を識別する。ＳＲＳ制御器１０３は、Ｎ個の最も合致する画像に対する画像ＩＤを、記憶／検索システム７に戻す。
【００４９】
［ＡＳＲモデルの適応］
本実施形態において、自動音声認識ユニット１０７は、多種多様な自動音声認識モデルを使用して動作するように設計される。まず、話者独立モデルの集合が使用され、話者独立モデルは、任意の話者又は任意の電話機に対処できる（しかし、システムは、使用する正確な言語音素モデルを選択するために、話者の言語を知る必要がある）。しかし、電話機（異なる移動電話を使用するユーザが体験する異なる音声経路を考慮するため）及び異なる話者の双方に対して音声認識モデルを適応させるために、本実施形態においては、モデル適応ユニット１１９が提供される。
【００５０】
異なる移動電話３に対する適応は、異なる移動電話の各機種を個別に検査し、且つ各機種に対する自動音声認識モデルの集合を生成することにより、オフラインで達成される。また、大量のデータを必要とするが、多くのユーザが特定の機種の移動電話を用いて発話した注釈を使用して、電話機モデルを生成することも可能である。
【００５１】
異なる各ユーザに対して、音声モデルを適応させることに関して、種々の技術が使用される。例えば、以下のものがある、
i）ユーザは、音声学的な特徴を多く含む多くの文章を発話するように指示されてもよく、これは、記憶／検索システム７により提供されるサービスにアクセスするための登録処理中に実行されてもよい、
ii）更新されたＡＳＲモデルの性能は、監視されてもよく（複数のサムネイル写真のうち、フル画像として検索されたサムネイル写真を参照することにより）、検索性能が低い場合、ユーザに対してトレーニングシーケンスを開始してもよい、
iii）まず、更新されたＡＳＲモデルを使用し、その後、ユーザがトレーニングセッションを随時要求できる機能を提供する、
iv）まず、更新されたＡＳＲモデルを使用し、ある程度使用した後、ユーザに対して、トレーニングセッションの実行を必要とするか否かのメッセージを表示する、
v）ユーザの注釈及びクエリ内の音声を使用する教師なしトレーニングを実行する、
vi）検索された写真のうち所望する写真を監視し、検索された写真に対応するクエリ及び注釈を、教師なし学習に対して使用する。
【００５２】
モデル適応ユニット１１９が１つ以上の上述の技術を実行し、異なる各ユーザに対してＡＳＲモデルをトレーニングできることは、当業者には理解されるであろう。また、話者を幅広い種類（性別、アクセント等に基づいて）に分類でき、種類毎に一般的なＡＳＲモデルを有することができる。
【００５３】
本実施形態において、自動音声認識ユニット１０７は、音声認識技術に対する今後の発展及び改良に伴い、更新されてもよい。このように、更新及び改良がされると、同一の音声入力に対して、新しい自動音声認識ユニット１０７により出力される音素及び単語は、古い自動音声認識ユニット１０７により出力される音素及び単語とは、異なる可能性がある。従って、本実施形態において、自動音声認識ユニット１０７が更新される場合、データベース２７に格納された全ての画像に対する注釈ファイルは、音声検索システム２９により再処理され、データベース３１中の注釈ラティス及び３音指標は、再生成される。この様に、注釈ラティス及び３音指標は、新しい自動音声認識ユニット１０７により生成された新しいクエリラティスに対応する可能性がより高くなる。本実施形態において、ユーザに対する注釈ファイルが更新される前に、各話者に対するＡＳＲモデルを更新することにより、ＡＳＲユニット１０７の最高認識精度が保証される。
【００５４】
本実施形態において、注釈の更新を達成する方法が、図１１に示すフローチャートで示される。図に示すように、まず、ステップＳ７１において、音声検索システム２９は、記憶／検索システム７から音声注釈を受信する。音声検索システム２９は、この注釈をユーザＩＤ及び電話機ＩＤと共に、自動音声認識ユニット１０７に渡し、自動音声認識ユニット１０７は、ステップＳ７３において、現在の音声注釈に対する注釈ラティスを作成する。生成された注釈ラティスは、ＳＤＲエンジン１０９に渡され、ＳＤＲエンジン１０９は、ステップＳ７５において、注釈ラティスに対する３音指標エントリを作成する。ステップＳ７７において、注釈ラティス及び３音指標エントリは、指標／注釈ラティスデータベース３１内に格納される。その後、ステップＳ７９に進み、音声検索システム２９は、注釈が付け直されるべき音声注釈ファイルが存在するかを判定する。存在する場合、次の注釈ファイルのために、ステップＳ７１に戻る。存在しない場合、処理は終了する。音声検索システム２９は、記憶／検索システム７により生成された関連付けられた画像ＩＤの下、単語／音素注釈ラティスを、対応する３音指標と共に、指標／注釈ラティスデータベース３１に格納する。
【００５５】
＜変形及び他の実施形態＞
上述の移動電話システムにおいて、ユーザは、移動電話で写真を撮影し、移動電話網を介してセントラルデータベースに、その写真を格納できる。写真は、注釈と共に格納される。注釈は、格納された写真の後続の検索を容易にするために使用される。注釈は、タイプ入力されてもよく、又は音声によるものでもよい。ユーザは、格納された注釈と比較されるテキストクエリ又は音声クエリを使用して、格納された写真を検索できる。上述のシステムに対して種々の変形が可能であることは、当業者には理解されるであろう。次に、いくつかの変形について説明する。
【００５６】
上述の第１の実施形態において、音声検索システム２９及び指標／注釈ラティスデータベース３１のいくつかの具体例が、システムの個々のユーザからの要求を処理するために提供された。音声検索システム２９を構成する方法が種々存在することは、当業者には理解されるであろう。例えば、複数の自動音声認識ユニット１０７及び複数の音声文書検索エンジン１０９とタスクを共用する単一の音声検索システム２９を提供する実施形態を図１２に示す。この場合、単一の指標／注釈ラティスデータベース３１が提供される。
【００５７】
上述の実施形態において、全ての注釈ラティス及び３音指標が、単一のデータベース３１（データベース３１のいくつかの複製が使用されたが）に格納された。このシステムアーキテクチャにおいて、各々が大量の注釈を有する多くのユーザに対して動作する時、問題が発生する恐れがある。例えば、ユーザが記憶／検索システムに新しい画像を格納する度に、注釈ファイルは、全ての注釈データベース３１に対してコピーされる必要がある。これは、大規模な展開に対する大きなオーバヘッドとなる。単一のデータベースを有するのではなく、セグメントデータベースアーキテクチャが使用されてもよい。ここで、各々が指標／注釈ラティスの全データベースの一部のみに対してアクセスできる複数の音声検索システム２９が、提供される。そのような実施形態において、記憶／検索システムは、ユーザの注釈又はユーザのクエリを渡すべき音声検索システム２９を決定する必要がある。また、記憶／検索システム７は、同一グループ（友人及び家族等）内のユーザが同一の音声検索システム２９によりサービスされるように、ユーザを音声検索システム２９に適切に割り当てる必要がある。探索に対する注釈ラティスが１つ以上の音声検索システムデータベース３１上に存在するような場合（稀であることが望ましいが）、記憶／検索システムは、追加の注釈ラティスを検索する。そして、その注釈ラティスを要求と共に、探索を実行する音声検索システム２９に渡す必要がある。そのようなアーキテクチャにおいて、記憶／検索システム７を更に複雑にすることにより、システムの展開が容易になることは、当業者には理解されるであろう。
【００５８】
他のアーキテクチャは、分散型データベースシステムを使用するものであり、このシステムにおいて、各々が自身の指標／注釈ラティスデータベース３１を有する複数の音声検索システム２９が提供される。そのような分散型データベースシステムにおいて、いくつかの注釈ラティスは、各音声検索システムデータベース３１に格納され、格納されていない注釈ラティスに対するキーが提供される。これにより、音声検索システム２９がデータベース３１に格納されていない注釈ラティスを要求する場合、データベースサーバは、キーを使用して、適切なデータベースから注釈ラティスを検索できる。
【００５９】
上述の実施形態において、記憶／検索システム７は、必要な時に、音声検索システム２９のサービスを要求するように構成された。要求に応じて画像データベースに対して動作する記憶／検索システム７を既に有するシステムにおいて、本発明が使用できることは、当業者には理解されるであろう。そのような実施形態において、中央制御器が使用でき、中央制御器は、ユーザ要求を受信し、且つ、必要に応じて、記憶／検索システム７及び音声検索システム２９のサービスを要求する。
【００６０】
上述の実施形態において、ユーザは、遠隔記憶／検索システムから画像を検索した後、多くの機能を実行できた。上述の機能は、例として与えられたものであり、他の機能（ユーザプログラム機能等）が実行されてもよいことは、当業者には理解されるであろう。例えば、ユーザの移動電話に近接するプリンタで検索された画像を印刷するのではなく、高品質の印画紙に画像を印刷し、且つそれをユーザに郵送するという要求が記憶／検索システムに返送されるように、ユーザプログラム機能が定義されてもよい。
【００６１】
上述の実施形態において、記憶／検索システムは、ユーザのクエリに応答して、複数のサムネイル画像を伝送した。ユーザの移動電話は、最も合致する画像に対するサムネイルを受信すると、残りのサムネイルの受信を待たずに、そのサムネイルを表示するように構成されるのが好ましい。
【００６２】
上述の実施形態において、ユーザの移動電話は、画像の取込みを制御する記憶／検索アプリケーション、画像の注釈、遠隔記憶／検索システムに対する適切なメッセージの伝送、及びユーザクエリに応じた遠隔記憶検索システムからの結果の後続再生を含んだ。そのような専用のプログラムをユーザの移動電話上に有することは、必須ではないことが、当業者には理解されるであろう。システムは、その代替として、例えば、ＷＡＰモジュールを使用して動作してもよい。この場合、画像は、ユーザが結果から画像を選択できるようにする適切なJava(登録商標)sript命令と共に、ウェブページとして、ユーザの移動電話にダウンロードされる。
【００６３】
上述の実施形態において、音声認識は、音声検索システム内で実行された。他の実施形態において、音声認識は、ユーザの移動電話内で実行されてもよい。これは、音声検索システム２９の動作を簡単化するが、制限される処理能力及び移動電話内の利用可能なメモリを考慮すると、移動電話内の自動音声認識ユニットは、より低い精度となる可能性があるため、検索効率を低下させる可能性がある。しかし、移動電話上に自動音声認識を有することは、電話機に対する音声コマンド等の他の機能の使用を可能にし、移動電話網を介する認識に対する音声の伝送に関連する往復遅延を減少させる。また、ユーザの移動電話内にＡＳＲユニットを提供することは、ＡＳＲユニットが更新される場合、遠隔記憶／検索システムに格納された注釈を更新する際の複雑性を増加させる。図１３は、音声認識がユーザの移動電話上で実行される実施形態において使用されてもよい遠隔記憶／検索システムの形態を概略的に示す。図に示すように、この例において、画像、注釈ファイル、注釈ラティス及び３音指標は、全て、共通データベース１３１に格納される。記憶／検索システム７は、必要な場合はＳＤＲエンジン１０９を使用して、データベース１３１に対するこのデータの記憶及び検索を制御する。
【００６４】
あるいは、音声記憶システム（注釈等を含む）は、移動電話に格納されてもよい。この場合、画像ファイル等を格納すると、ユーザの移動電話は、注釈を作成し、その注釈を画像ＩＤと共に電話機内に格納する。移動電話は、画像ファイルを画像ＩＤと共に、遠隔記憶システムに伝送する。ユーザが、順次、画像の検索を試行する場合、移動電話は、ユーザの入力クエリを認識し、且つそれを移動電話に格納されている注釈と比較して、遠隔記憶システムから検索されるべき画像（又は、複数の画像）を識別する。移動電話は、検索されるべき画像又は各画像に対する画像ＩＤを遠隔記憶システムに伝送し、遠隔記憶システムは、必要な画像又はサムネイルを、適切に、移動電話に返送する。しかし、家族及び友人がユーザにとって入手可能な写真を追加するため、移動電話上の任意の指標及び注釈は、最新の状態に保持される必要がある。
【００６５】
ユーザの移動電話に全自動音声認識ユニットを提供するのではなく、通常、自動音声認識ユニットで実行されるフロントエンド前処理が、ユーザの移動電話上で実行されてもよい。この場合、例えば、音声ファイルではなく、特徴ベクトル（ケプストラム特徴ベクトル等）が、遠隔記憶／検索システムに伝送されてもよい。そのような実施形態においては、移動電話により遠隔記憶／検索システムに伝送されるべきデータ量を減らす利点がある。
【００６６】
上述の実施形態において、ユーザは、移動電話で撮影した写真を遠隔記憶／検索システムに格納できた。ユーザが、写真だけではなく、映像（サウンドトラック付き）又は音声（音楽又は発声）又はテキストファイルを、遠隔記憶／検索システムの記憶装置に伝送できることは、当業者には理解されるであろう。また、ユーザは、移動電話を使用して、表現を作成でき、その表現は、遠隔記憶／検索システムに格納される。ユーザが映像又は表現を検索した場合、システムは、ユーザが映像又は表現内の所望の位置に移動するための他の音声要求を入力できるように動作することが好ましい。
【００６７】
上述の実施形態において、何人かのユーザが同一の移動電話を使用してもよいことに言及した。これは、例えば、電話機のメインユーザがその電話機の所有者でない場合、又は支払いを行う者ではない場合に重要である。この場合、課金する時、課金エージェントは、所有者が電話機の使用を確認し制御できるように、記憶／検索システムを使用した電話機のユーザを識別する必要がある。
【００６８】
上述の実施形態において、単語／音韻ラティス及び３音指標は、注釈及び後続のクエリの双方に対して生成された。３音指標エントリを使用して、完全ラティス一致の実行対象となる注釈ラティスの数を減少させるための高速イニシャル探索を実行した。この高速イニシャル探索を実行するために、そのような３音を使用することは、必須ではないことが、当業者には理解されるであろう。音声検索システムは、記憶／検索システムにより識別される全ての注釈を使用して、クエリラティスの完全ラティス一致を実行してもよい。
【００６９】
上述の実施形態において、音声検索システムは、注釈及びクエリの双方に対して、組み合わされた単語／音韻ラティスを生成した。単語／音韻ラティスの生成は、必須ではないことが、当業者には理解されるであろう。例えば、音声検索システムは、自動音声認識システムを使用して、注釈又はクエリに最も対応する可能性のある単語列を生成してもよい。この場合、ブールテキスト比較が、クエリと注釈との間で実行される。しかし、音素の使用は、自動音声認識システムの語彙の不足に関する問題を克服するため、音声検索システムの効率を向上させる。更に、自動音声認識ユニットがクエリ及び注釈に対する単語を生成することは、必須ではない。その代わり、自動音声認識ユニットは、ユーザのクエリ又は注釈に対応する音素列（代替音素付き又は代替音素なし）のみを生成してもよい。更に、音素を生成するのではなく、単音、音節等の任意のサブワード単位が使用されてもよい。
【００７０】
上述の実施形態において、ＭＰＥＧ７標準に準拠する音素／単語ラティスは、ユーザクエリ及び注釈に対して生成された。ＭＰＥＧ７標準に準拠するラティスを採用することは、必須ではないことが、当業者には理解されるであろう。更に、音素及び単語の双方が注釈又はクエリで使用される場合、組み合わされたラティスの使用は、必須ではない。しかし、必要な記憶領域及び検索動作で実行されるべき探索の量を減少させるため、組み合わされたラティスを使用することが好ましい。
【００７１】
上述の実施形態において、ユーザは、移動電話に対して、クエリ又は注釈を発話でき、そのクエリ又は注釈は、上述のように、処理するために、遠隔記憶／検索システムに伝送される。好適な実施形態において、ユーザは、例えば、探索されるべき画像ＩＤの数を制限するために、注釈に対して音声コマンドを追加できる。例えば、ユーザは、クエリ「find my photograph of Taj Mahal」を入力してもよい。提供される自動音声認識ユニットは、クエリ内のコマンド「my」を識別する。記憶／検索システムは、クエリを実行したユーザからの画像ＩＤのみを含み、他のユーザからの画像ＩＤを含まないように、音声検索システムに渡される画像ＩＤを制限することができる。自動音声認識ユニットが検出できるコマンドの数は、適切に制限される必要があり、それにより、クエリの一部ではなく、コマンドとして認識できる。コマンドは、例えば、探索されるべき写真を、特定のグループ又は個人の写真に制限してもよく、あるいは、所定の期間中に撮影された写真に制限してもよい。写真が、撮影された時間又は格納された時間で探索される場合、この時間情報は、画像データベース又は注釈ラティスデータベースのいずれかに格納される必要がある。時間情報は、記憶／検索システムにより生成されてもよく、又は移動電話から記憶／検索システムに伝送される画像／注釈ファイルの一部を構成してもよい。
【００７２】
音声コマンドがクエリに追加される場合、音声検索システムは、そのクエリを処理する。音声検索システムがコマンドを検出しない場合、又はコマンドを認識しない場合、クエリ全体を使用して、ユーザの注釈を探索する。音声検索システムがコマンドを認識するが、要求されたコマンドが不確定である場合、音声検索システムは、クエリからコマンドを除去し、残りのクエリを使用してユーザの注釈を探索する。しかし、コマンドが認識される場合、音声検索システムは、コマンドに含まれる条件を使用して探索を実行し、ユーザの注釈の探索を制限する。更に、音声コマンドがユーザクエリ内に含まれる場合に、その音声コマンドが音声検索システムにより認識されると、音声コマンドは、ユーザのＡＳＲモデルを適応させるために、教師なしトレーニングに対して使用される。
【００７３】
上述の実施形態において、ユーザは、メニューオプション及びキーの押下を使用して、移動電話上の記憶／検索アプリケーションの動作を制御した。他のユーザインタフェースを提供することによっても、ユーザが移動電話を制御できることは、当業者には理解されるであろう。例えば、ユーザにより選択されるアイコンが、ユーザの電話機上に表示されてもよく、又は、自動音声認識ユニットがユーザの移動電話に提供される場合は、音声認識コマンドが、移動電話の動作を制御するために使用されてもよい。
【００７４】
上述の実施形態において、ユーザが検索要求を伝送した後、ユーザの移動電話は、探索結果の受信を待った。実施形態において、この検索動作が数秒かかる場合、記憶／検索システムは、検索動作が処理中であることの確認をユーザに対して表示するために、状態メッセージをユーザの移動電話に戻すことが好ましい。
【００７５】
上述の実施形態において、記憶／検索システムは、ユーザクエリの探索結果として、サムネイル画像の集合を生成した。その結果は、他の方法でユーザに提供されてもよいことは、当業者には理解されるであろう。例えば、記憶／検索システム７は、最も合致する画像のみを検索し、それをユーザに表示してもよい。その画像が所望の写真でない場合、ユーザは、次に合致する画像を要求するボタンを押下するか、又は適切なコマンドを発話することができる。しかし、そのような実施形態は、ボタンの押下と次に合致する画像の参照との間の遅延が数秒間となり、ユーザインタフェースの使用を困難にする恐れがあるため、好ましくない。更に、その時点で１つの合致する画像のみが参照可能であるため、好適に合致する画像がない場合に、画像を参照する手段がない。この種類のインタフェースは、所望の画像が通常１つのみであり、且つ、それが音声検索システムにより、最も合致する画像として、ほぼ必ず検出される場合に望ましい。
【００７６】
上述の実施形態において、ユーザは、画像を格納する度に、又は記憶／検索システムから画像を検索する度に、課金された。システムは、使用する毎に課金するのではなく、契約単位又は帯域幅（送信されるビット数）単位で課金するように構成されてもよい。実際には、多くの異なる課金システムが、使用されてもよい。
【００７７】
上述の実施形態において、複数のユーザが同一の移動電話を共用する場合、移動電話は、移動電話上の現在のユーザを識別するユーザＩＤを伝送した。これは必須ではないことが、当業者には理解されるであろう。音声検索システムの一部を構成する自動音声認識システムが、ユーザの発話の特徴を使用して、移動電話の個々のユーザを区別してもよい。
【００７８】
上述のように、移動電話は、データの記憶及び検索の双方に使用される。他の方法として又は更に、ユーザは、ユーザのデスクトップコンピュータ、ラップトップコンピュータ又はＰＤＡ等のコンピュータからデータをダウンロードすることにより、データベースにデータを追加してもよい。従って、例として、ユーザがユーザ自身の音楽データファイルを検索し、移動電話を使用してその音楽を聴けるように、音楽データファイルは、ＭＰ３形式でコンピュータに格納され、データベースに追加されてもよい。又は、異なるプロバイダの音楽データベースから音楽データファイルをロードできるように、音楽データファイルは、ＭＰ３形式でコンピュータに格納され、データベースに追加されてもよい。これにより、カメラなし移動電話を有するがデジタルカメラにアクセスできる人によるシステムの使用が可能となり、データベースからの画像又は他のデータファイルの参照、編集及び送信が可能となる。
【００７９】
上述の実施形態において、移動電話は、遠隔記憶システムのマルチメディアファイルにアクセスするために使用される。遠隔記憶システムは、コンピュータサーバ、プリンタ、コピー機等の独立型装置として構成されてもよいことが、当業者には理解されるであろう。あるいは、遠隔記憶／検索システムは、ＬＡＮ又はＷＡＮ等の従来のネットワークに接続されるコンピュータデバイス上で実行されてもよい。
【００８０】
上述の実施形態において、ユーザは、遠隔記憶／検索システムに格納されるべき各ファイルに対する注釈を、タイプ入力又は音声入力した。あるいは、カメラ及び／又は遠隔記憶／検索システムが、格納されるべき各データファイルに対する注釈を、自動的に生成してもよい。例えば、移動電話は、画像が撮像された時間又は日付に基づく自動注釈を生成できる。更に、今日の移動電話システムにおいては、ユーザの移動電話の現在の位置を識別することが可能である。移動電話又は遠隔記憶／検索システムは、この位置情報を使用して、受信されるデータファイルに注釈を付けてもよい。あるいは、ユーザの移動電話がスケジューラアプリケーションを含む場合、移動電話上で実行される記憶／検索アプリケーションは、データファイルが生成された日時を使用してスケジュール情報にアクセスし、適切な注釈を判定してもよい。例えば、ユーザが２００３年２月にパリで休暇中であり、この情報が移動電話のスケジューラ内に格納されている場合に、ユーザが画像を撮像する。このとき、移動電話上で実行される記憶／検索情報は、スケジューラ情報を検索し、「picture 1 Paris February 2003」等の適切な注釈を生成できる。この自動的に生成された注釈は、後続の検索動作で使用するために、遠隔記憶／検索システムに渡される。
【００８１】
移動電話は、国により「携帯電話」と呼ばれることは、当然理解されるであろう。
【図面の簡単な説明】
【００８２】
【図１】本発明を実現する移動電話システムの主な構成要素を示す概略図である。
【図２】図１に示されるシステムの一部を構成する移動電話により生成される記憶メッセージの主な構成要素を概略的に示す図である。
【図３】図１に示される音声検索システムにより生成される単語／音韻ラティスを概略的に示す図である。
【図４】図１に示される移動電話により生成されるクエリメッセージの主な構成要素を概略的に示す図である。
【図５】図１に示される移動電話の主な構成要素を示すブロック図である。
【図６ａ】記憶／検索アプリケーションが実行される時の図１に示される移動電話の動作を示すフローチャートである。
【図６ｂ】記憶要求又は検索要求を処理する際に、移動電話により実行される主な処理ステップを示すフローチャートである。
【図７】図１に示される移動電話システムの一部を構成する記憶／検索システムの主な構成要素を示すブロック図である。
【図８】図１に示される移動電話システムの一部を構成する音声検索システムの主な構成要素を示すブロック図である。
【図９】図８に示される音声検索システムの記憶動作中のタイミングチャートである。
【図１０】図８に示される音声検索システムの検索動作中のタイミングチャートである。
【図１１】ユーザに対して注釈を更新する時の図８に示される音声検索システムの動作を示すフローチャートである。
【図１２】図１に示される音声検索システムの別の構成を示すブロック図である。
【図１３】図１に示されるシステムの記憶／検索部の別の構成を示す図である。
【図１】
2006515138.tif 000003
【図２】
2006515138.tif 000004
【図３】
2006515138.tif 000005
【図４】
2006515138.tif 000006
【図５】
2006515138.tif 000007
【図６ａ】
2006515138.tif 000008
【図６ｂ】
2006515138.tif 000009
【図７】
2006515138.tif 000010
【図８】
2006515138.tif 000011
【図９】
2006515138.tif 000012
【図１０】
2006515138.tif 000013
【図１１】
2006515138.tif 000014
【図１２】
2006515138.tif 000015
【図１３】
2006515138.tif 000016
【国際調査報告】
2006515138.tif 000017
2006515138.tif 000018
2006515138.tif 000019