(57)【要約】【課題】両者間又は多者間マルチメディア通信中に通信内容に該当する各種メディアを自動認識し、関連した情報を実時間で提供するマルチメディアサービス提供ができる装置及び方法を提供する。【解決手段】入力されるマルチメディアデータのタイプを分類する段階と、分類されたマルチメディアデータに相応する検索方式によってマルチメディアデータのコンテキストを抽出する段階と、抽出されたコンテキストに相応する関連・付加情報の検索要求条件を判断する段階と、検索条件の判断結果、相応する関連・付加情報の検索条件を満足する場合、コンテキストに相応する関連・付加情報の検索によってコンテキストに対する関連・付加情報を受信する段階と、マルチメディアデータと該マルチメディアデータに対するコンテキストの関連・付加情報とを一緒にユーザに提供する段階とを含む。【選択図】図４
2006190296.tif 000002
【特許請求の範囲】
【請求項１】
通信システムにおけるマルチメディアデータを提供する装置において、
ユーザ端末機又はウェブサーバーからマルチメディアデータ及び前記マルチメディアデータに相応する関連・付加情報を受信するマルチメディアデータ受信部と、
前記マルチメディアデータ受信部を通して受信されたマルチメディアデータのコンテキスト（context）を抽出するコンテキスト抽出部と、
前記コンテキスト抽出部により抽出されたコンテキストの種類を判別して分類するコンテキスト分類部と、
前記コンテキスト抽出部により抽出及び分類されたコンテキストに対する関連・付加情報の検索要求条件を判断し、前記検索要求条件に応じて前記コンテキストに対する関連・付加情報を検索する検索制御部と、
前記検索制御部により検索された前記コンテキスト関連・付加情報を所定のインターフェース方式に変換して提供する関連情報提供部と、
を含むことを特徴とするコンテキスト抽出及び関連・付加情報提供装置。
【請求項２】
前記装置は、前記コンテキスト抽出部により抽出されたコンテキストと関連した情報のうち少なくとも１つ以上がフィールド化して構造的に記録貯蔵されるデータベース部を更に含み、
前記検索制御部は、前記検索要求条件に相応するように前記抽出されたコンテキストに対する関連・付加情報を前記データベース部から検索して抽出することを特徴とする請求項１記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項３】
前記検索制御部は、ネットワークとの連動によって外部ウェブサーバーに接続して前記コンテキストに相応する関連・付加情報を検索及び抽出し、その結果を前記ウェブサーバーから受信して前記データベース部に貯蔵及びユーザ端末に提供することを特徴とする請求項１記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項４】
前記データベース部は、
特定の人物に相応する関連・付加情報を含む人物情報フィールド、特定の企業に相応する関連・付加情報を含む企業情報フィールド、及び特定のテキストに相応する関連・付加情報を提供するための電子辞典を含む言語情報フィールドの中で少なくとも１つ以上を含んでなることを特徴とする請求項２記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項５】
前記コンテキスト抽出部は、前記マルチメディアデータ受信部を通して受信される前記マルチメディアデータのヘッダ（Header）に基づいて前記マルチメディアデータのタイプ（Type）を分類することを特徴とする請求項１記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項６】
前記コンテキスト抽出部は、前記マルチメディアデータのタイプがテキストである場合、キーワード抽出によって前記コンテキストを抽出することを特徴とする請求項１記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項７】
前記コンテキスト抽出部は、前記マルチメディアデータのタイプが音声である場合、前記音声を相応するテキストに変換するとともに前記テキストデータからキーワードを抽出することによって前記コンテキストを抽出することを特徴とする請求項１記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項８】
前記コンテキスト抽出部は、前記マルチメディアデータのタイプが画像である場合、前記画像認識及び物体抽出によって前記コンテキストを抽出することを特徴とする請求項１記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項９】
前記関連情報提供部を通して提供される前記コンテキスト関連・付加情報は、マルチメディアデータと共にユーザ端末機の表示部に同時に表示されることを特徴とする請求項１記載のコンテキスト抽出及び関連・付加情報提供装置。
【請求項１０】
マルチメディア通信システムにおけるマルチメディアサービスが可能なユーザ端末機において、
ユーザから所定のテキスト情報が入力される入力手段、外部画像を得るイメージ獲得手段、及び所定のオーディオ信号が入力される音声認識手段を含む入力部と、
マルチメディアデータの送受信又はネットワークインターフェースを通して所定のウェブサーバーでマルチメディアデータ及びコンテキストの関連・付加情報を送受信するマルチメディアデータ通信部と、
前記マルチメディアデータ通信部を通して受信されるマルチメディアデータのコンテキストを抽出し、前記抽出されたコンテキストの種類を判別して分類し、前記抽出及び分類されたコンテキストに該当するコンテキスト関連・付加情報を検索して提供するスマート通訳部と、
前記受信されるマルチメディアデータ及び該マルチメディアデータに対するコンテキストの関連・付加情報を同時に提供する出力部と、
を含むことを特徴とするマルチメディアサービスが可能なユーザ端末装置。
【請求項１１】
前記スマート通訳部は、
前記入力部を通して入力されるマルチメディアデータ又は前記マルチメディアデータ通信部を通して受信されたマルチメディアデータのコンテキストを抽出して分類するコンテキスト抽出部と、
前記マルチメディアデータに対するコンテキストの関連・付加情報がフィールド化して構造的に記録貯蔵されるデータベース部と、
前記コンテキスト抽出部により抽出及び分類されたコンテキストに対する関連・付加情報の検索要求条件を判断し、前記検索要求条件に応じて前記コンテキストに対する関連・付加情報の検索を制御する検索制御部と、
前記検索制御部によって検索された前記コンテキスト関連・付加情報を前記ユーザ端末機のインターフェース方式に相応する方式に変換して前記出力部に提供する関連情報提供部と、
を含むことを特徴とする請求項１０記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１２】
前記検索制御部は、ユーザの検索要求条件に応じて前記抽出されたコンテキストに対する関連・付加情報を前記データベース部で検索して抽出することを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１３】
前記検索制御部は、関連・付加情報が存在しない場合、前記マルチメディアデータ通信部と連動して外部ウェブサーバーで前記コンテキストに相応する関連・付加情報を検索及び抽出し、その結果を受信して前記関連・付加情報を前記データベース部に貯蔵するとともに出力部に提供することを特徴とする請求項１２記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１４】
前記データベース部は、
特定の人物に相応する関連・付加情報を含む人物情報フィールド、特定の企業に相応する関連・付加情報を含む企業情報フィールド、及び特定のテキストに相応する関連・付加情報を提供するための電子辞典を含む言語情報フィールドの中で少なくとも１つ以上を含んでなることを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１５】
前記コンテキスト抽出部は、入力部を通して入力されるマルチメディアデータ又はマルチメディアデータ通信部を通して受信されるマルチメディアデータのヘッダに基づいて前記マルチメディアデータのタイプを分類することを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１６】
前記コンテキスト抽出部は、前記マルチメディアデータのタイプがテキストである場合、キーワード抽出によって前記コンテキストを抽出することを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１７】
前記コンテキスト抽出部は、前記マルチメディアデータのタイプが音声である場合、前記音声データを相応するテキストに変換するとともに前記テキストデータからキーワードを抽出することによって前記コンテキストを抽出することを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１８】
前記コンテキスト抽出部は、前記マルチメディアデータのタイプが画像である場合、前記画像認識及び物体抽出によって前記コンテキストを抽出することを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項１９】
前記関連情報提供部を通して提供される前記コンテキスト関連・付加情報をマルチメディアデータと共に前記出力部に同時に提供することを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項２０】
前記ユーザ端末機は、ネットワークインターフェースを通して前記マルチメディアデータに対する付加情報を要請し、前記要請された付加情報を所定の検索サーバーから受信して提供することを特徴とする請求項１１記載のマルチメディアサービスが可能なユーザ端末装置。
【請求項２１】
通信システムにおけるマルチメディアデータに対する付加情報を提供する方法において、
入力されるマルチメディアデータのタイプを分類する段階と、
前記分類されたマルチメディアデータに相応する検索方式によって前記マルチメディアデータのコンテキストを抽出する段階と、
前記抽出されたコンテキストに相応する関連・付加情報の検索要求条件を判断する段階と、
前記検索条件の判断結果、相応する関連・付加情報の検索条件を満足する場合、前記コンテキストに相応する関連・付加情報の検索によって前記コンテキストに対する関連・付加情報を受信する段階と、
前記マルチメディアデータと該マルチメディアデータに対するコンテキストの関連・付加情報とを一緒にユーザに提供する段階と、
を含むことを特徴とするマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２２】
前記マルチメディアデータのタイプ分類は、前記マルチメディアデータのヘッダに基づいて分類することを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２３】
前記マルチメディアデータのコンテキスト抽出は、前記マルチメディアデータのタイプがテキストである場合、相応するキーワードを抽出することを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２４】
前記キーワード抽出はテキストデータを自然語処理し、設定されたキーワードに対応する自然語が存在するか否かを判断してキーワードコンテキストを抽出することを特徴とする請求項２３記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２５】
前記マルチメディアデータのコンテキスト抽出は、前記マルチメディアデータのタイプが音声である場合、前記音声に相応するテキストのキーワードを抽出することを特徴とする請求項２３記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２６】
前記音声抽出は前記音声に対して音声認識方式を用いて前記音声データを相応するテキストに変換するとともに、前記変換されたテキストを自然語処理し、所定のキーワードに対応する自然語が存在するか否かを判断してキーワードコンテキストを抽出することを特徴とする請求項２５記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２７】
前記マルチメディアデータのコンテキスト抽出は、前記マルチメディアデータのタイプが画像である場合、前記画像認識及び物体抽出によって 抽出することを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２８】
前記画像認識及び物体抽出はニューラルネットワーク（neural network）法又はテンプレート整合（template matching）法を用いてコンテキストを抽出することを特徴とする請求項２７記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項２９】
前記関連・付加情報の検索要求条件の判断は、ユーザの直接トリガー（triggering）による要求条件、ユーザの要請による要求条件及び、サービス提供者による所定の要求条件のうち少なくとも１つ以上の要求条件に対応するように行われることを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３０】
前記ユーザの直接トリガーによる要求条件である場合、マルチメディアデータからユーザによって選択されるコンテキストに対する検査を行う段階と、
前記ユーザの要請による要求条件である場合、ユーザによって予め設定された状況に符合するか否かを判断して、前記設定によるコンテキストに対する検査を行う段階と、
前記サービス提供者による所定の要求条件である場合、サービス提供者によって設定された状況に符合するか否かを判断して、前記設定によるコンテキストに対する検査を行う段階と、
を含むことを特徴とする請求項２９記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３１】
前記関連・付加情報検索は、前記検索要求条件に相応するように前記マルチメディアデータに対して抽出されたコンテキストの関連・付加情報を所定のデータベース部で検索することを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３２】
前記関連・付加情報検索は、前記検索要求条件に相応するコンテキストの関連・付加情報がデータベース部に存在しない場合、外部ウェブサーバーに接続して前記コンテキストに相応する関連・付加情報を検索し、前記検索結果を前記ウェブサーバーから受信してデータベース部に貯蔵することを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３３】
前記関連・付加情報検索は、特定の人物に相応する関連・付加情報、特定の企業に相応する関連・付加情報、及び特定のテキストに相応する関連・付加情報のうち少なくとも１つ以上を含むことを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３４】
前記マルチメディアデータ及び前記コンテキストの関連・付加情報提供段階は、前記マルチメディアデータと共に表示部に同時に提供することを特徴とする請求項２１記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３５】
マルチメディア通信システムにおけるマルチメディアデータを提供する方法において、
所定のマルチメディアデータが要請されると、前記マルチメディアデータをスマート通訳機へ伝送する段階と、
前記スマート通訳機は前記マルチメディアデータに対するコンテキストを抽出し、前記抽出されたコンテキストに相応するコンテキスト関連・付加情報を検索して前記ユーザ端末機に提供する段階と、
前記スマート通訳機からマルチメディアデータに対するコンテキスト関連・付加情報が受信されると、前記受信するコンテキストの関連・付加情報を前記マルチメディアデータと共に表示する段階と、
を含むことを特徴とするマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３６】
前記スマート通訳機は、
前記受信されるマルチメディアデータのタイプを分類する段階と、
前記マルチメディアデータがテキストである場合、キーワードを抽出する段階、前記マルチメディアデータが音声である場合、前記音声に相応するテキストに変換するとともに前記変換されたテキストに相応するキーワードを抽出する段階、前記マルチメディアデータが画像である場合、画像認識及び物体抽出によってコンテキストを抽出する段階と、
前記抽出されたコンテキストに対してコンテキスト関連・付加情報の検索条件を判断する段階と、
前記検索条件の判断結果、コンテキスト関連・付加情報検索条件を満足する場合、前記コンテキストに相応する関連・付加情報の検索によって前記抽出されたコンテキストに対する関連・付加情報が提供される段階と、を更に含み、
前記コンテキスト関連・付加情報は、前記マルチメディアデータと共に前記ユーザ端末機に提供されることを特徴とする請求項３５記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３７】
前記マルチメディアデータのタイプ分類段階は、前記マルチメディアデータのヘッダに基づいて分類することを特徴とする請求項３６記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３８】
前記関連・付加情報の検索要求条件の判断は、ユーザの直接トリガーによる要求条件、ユーザの要請による要求条件及びサービス提供者による所定の要求条件のうち少なくとも１つ以上の要求条件に対応するように行われることを特徴とする請求項３６記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項３９】
前記関連・付加情報検索は、前記検索要求条件に相応するように前記マルチメディアデータに対して抽出されたコンテキストの関連・付加情報をデータベース部で検索することを特徴とする請求項３６記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【請求項４０】
前記関連・付加情報検索は、前記検索要求条件に相応するコンテキストの関連・付加情報がデータベース部に存在しない場合、外部ウェブサーバーに接続して前記コンテキストに相応する関連・付加情報を検索し、前記検索結果を前記ウェブサーバーから受信してデータベース部に貯蔵することを特徴とする請求項３６記載のマルチメディアデータのコンテキスト抽出及び付加情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は無線通信システムにおけるマルチメディアサービス提供システム及び方法に関し、特にマルチメディア通信システムにおいてユーザが他のユーザとマルチメディア通信を行う時、それに伴う多様な付加情報受信が可能なマルチメディアサービスを提供することができる装置及び方法に関する。
【背景技術】
【０００２】
一般に、携帯用端末機（例えば、移動電話機やＰＤＡ（Personal Digital Assistant）端末機など）は、通信サービス地域内を任意に移動しながら基地局を通して一般電話加入者や他の通信加入者との通話を行う基本的な機能に加えて、個人情報管理及びコンピュータとの情報交流を行うなどの付加的な機能を有する。近年、画像や動画像の送受信、仮想３次元音響及びステレオサウンドの実現、ＭＰ３（MPEG-1 Audio Layer-3）プレーヤー機能、写真撮影の可能なカメラ内蔵など、性能及び機能が向上した携帯用端末機が続々登場している。
上述のような新しい機能付きの携帯用端末機は、特に静止画像又は動画像などの制御機能、インターネット連動を通した情報検索及びデータ送受信、写真撮影及び撮像編集ができるカメラ機能などの多様な付加機能付きの携帯用端末機が大衆化することにつれ、これに対するサービスも増えつつある。
【０００３】
しかも、上記のような携帯用端末機には、ユーザのための多数の便宜装置が装着されている。例えば、両者間或いは多者間通信中にユーザ端末機に関連情報を提供する装置が提案されている。
より具体的に、両者間又は多者間通信のうちユーザに関連情報を提供する装置としては、自動通訳器、音声認識器、文字付加情報伝送機などが主に使用されている。前記自動通訳器の場合は、話者が使う言語を聴者が使う言語に通訳して聴者に伝達する機能を有する。前記音声認識器の場合は、話者が使う音声言語を文字言語に変換して聴者の端末機に表示する機能を有する。前記文字付加情報伝送機の場合は、ユーザ端末機から伝送された文字を分析して前記文字に対応する情報を検索して文字と共に該情報を同時に伝送する機能を有する。
一方、ユーザは日常生活において、上記のような情報通信機器を通して通信を用いた多様な情報収集、情報提供及び積極的な活用欲求や必要性は、通信技術の飛躍的な発達に伴い段々増大している。
【０００４】
しかし、上記のような携帯用端末機やユーザの便宜のための情報提供用端末機は次のような不具合及びそれによる問題点を有する。
第一、媒体の種類が限定されている。即ち、従来の技術による媒体の種類は前述のように音声（自動通訳機、音声認識器）又は文字（文字付加伝送機）などに限定されている。
第二、コンテキスト（context）の種類が限定されている。即ち、従来の技術によるコンテキストの種類はキーワード（文字付加伝送機）に限定されている。
第三、検索方式が限定されている。即ち、従来の技術による検索方式は通訳或いはキーワード検索に限定されている。
第四、表示（display）方法が限定されている。即ち、従来の技術では送信者が送信した音声は聞こえなく、通訳された音声だけが聞こえるか（自動通訳機）、前記送信者が送信した音声に対応して認識された文字だけが表示されるか（音声認識機）、付加情報が元の文字と共に表示される（文字付加情報伝送機）など、表示方法が限定されている。
第五、上記のようなユーザの便宜のためのサービス提供を受けるための装置が夫々別に設けられていることによって、ユーザは各サービスを受けるためには当該装置を夫々購入しなければならず、これによる費用負担が発生し、前記当該機能別の多数の装置を携帯しなければならないとの不具合がある。
【０００５】
前述のような従来の技術によれば、媒体種類、コンテキスト種類、検索方式及び表示方法などの限界のため、実にユーザに提供される情報は限定された付加情報の水準にとどまっている。しかも、提供情報の活用側面でも限界が存在する。
従って、ユーザに携帯用端末機のような一つの装置を用いて、両者間又は多者間通信中に多様な付加サービス及びマルチメディアサービスを提供することができるシステムの実現及びその方法が求められている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記のような従来の問題点を解決するために案出されたもので、その目的は通信システムにおいてユーザに多様なマルチメディアサービスをより便利に提供できるマルチメディアサービス提供システム及びその方法を提供することにある。
本発明のもう一つの目的は、別途の編集作業無しに実時間でマルチメディア通信中に入力されたデータに対する確認及び関連付加情報受信が可能なマルチメディアサービス提供システム及びその方法を提供することにある。
本発明の他の目的は、通信システムにおいてユーザに各種マルチメディアサービスを通して入力されるコンテキスト（context）を自動に認識し、該認識されたコンテキストに関連した情報を当該データベースから自動に検索して送受信することにより、ユーザに多様な付加情報を提供することができるシステム、装置及び方法を提供することにある。
本発明のまた他の目的は、通信システムにおいてユーザが各種マルチメディア通信中に入力されるデータに対するコンテキストを自動に認識し抽出することができる装置及び方法を提供することにある。
本発明の別の目的は、外部検索サーバーでインターネットプロトコルを用いて多様な情報を検索し、かつ該検索データを提供することができるシステム、装置及び方法を提供することにある。
本発明のまた別の目的は、受信したマルチメディアデータ及び検索された付加情報をユーザに同時に提供することができる装置及び方法を提供することにある。
本発明の更なる他の目的は、ユーザ端末機を用いてユーザにマルチメディアサービス及び関連付加情報を簡便に提供することができる装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、本発明の一実施形態による装置は、通信システムにおけるマルチメディアデータを提供する装置において、ユーザ端末機又はウェブサーバーからマルチメディアデータ及び前記マルチメディアデータに相応する関連・付加情報を受信するマルチメディアデータ受信部と、前記マルチメディアデータ受信部を通して受信されたマルチメディアデータのコンテキスト（context）を抽出するコンテキスト抽出部と、前記コンテキスト抽出部により抽出されたコンテキストの種類を判別して分類するコンテキスト分類部と、前記コンテキスト抽出部により抽出及び分類されたコンテキストに対する関連・付加情報の検索要求条件を判断し、前記検索要求条件に応じて前記コンテキストに対する関連・付加情報を検索する検索制御部と、前記検索制御部により検索された前記コンテキスト関連・付加情報を所定のインターフェース方式に変換して提供する関連情報提供部とを含むことを特徴とする。
【０００８】
また本発明の他の実施形態による装置は、マルチメディア通信システムにおけるマルチメディアサービスが可能なユーザ端末機において、ユーザから所定のテキスト情報が入力される入力手段、外部画像を得るイメージ獲得手段、及び所定のオーディオ信号が入力される音声認識手段を含む入力部と、マルチメディアデータの送受信又はネットワークインターフェースを通して所定のウェブサーバーでマルチメディアデータ及びコンテキストの関連・付加情報を送受信するマルチメディアデータ通信部と、前記マルチメディアデータ通信部を通して受信されるマルチメディアデータのコンテキストを抽出し、前記抽出されたコンテキストの種類を判別して分類し、前記抽出及び分類されたコンテキストに該当するコンテキスト関連・付加情報を検索して提供するスマート通訳部と、前記受信されるマルチメディアデータ及び該マルチメディアデータに対するコンテキストの関連・付加情報を同時に提供する出力部とを含むことを特徴とする。
【０００９】
また本発明のまた他の実施形態による方法は、通信システムにおけるマルチメディアデータに対する付加情報を提供する方法において、入力されるマルチメディアデータのタイプを分類する段階と、前記分類されたマルチメディアデータに相応する検索方式によって前記マルチメディアデータのコンテキストを抽出する段階と、前記抽出されたコンテキストに相応する関連・付加情報の検索要求条件を判断する段階と、前記検索条件の判断結果、相応する関連・付加情報の検索条件を満足する場合、前記コンテキストに相応する関連・付加情報の検索によって前記コンテキストに対する関連・付加情報を受信する段階と、前記マルチメディアデータと該マルチメディアデータに対するコンテキストの関連・付加情報とを一緒にユーザに提供する段階とを含むことを特徴とする。
【００１０】
更に本発明の別の実施形態による方法は、マルチメディア通信システムにおけるマルチメディアデータを提供する方法において、所定のマルチメディアデータが要請されると、前記マルチメディアデータをスマート通訳機へ伝送する段階と、前記スマート通訳機は前記マルチメディアデータに対するコンテキストを抽出し、前記抽出されたコンテキストに相応するコンテキスト関連・付加情報を検索して前記ユーザ端末機に提供する段階と、前記スマート通訳機からマルチメディアデータに対するコンテキスト関連・付加情報が受信されると、前記受信するコンテキストの関連・付加情報を前記マルチメディアデータと共に表示する段階とを含むことを特徴とする。
【発明の効果】
【００１１】
本発明のマルチメディア通信システムにおけるコンテキスト抽出及びこれを用いた情報提供装置及び方法によれば、ユーザ端末機の内部に設けられるか、或いは外部のサーバーを通して設けられるスマート通訳機（Smart Interpreter）によって、両者又は多者間のマルチメディア通信中に通信内容に該当する各種メディアに対してコンテキストを自動に認識及び抽出して、これに関連した情報をサーバーから実時間で受信することができるという利点を有する。また、ユーザに受信されたマルチメディアデータに対する多様な付加情報及び検索サービスを提供することにより、ユーザの欲求を充足することができるサービスを通してより多くのユーザを確保するに寄与することができるという利点を有する。
【００１２】
また、従来のマルチメディア通信において、送信者が伝送する通信内容の中で受信者が理解できない部分がある場合、再び聞いたり、若しくは分からないままずっと通信し続けるしかなかったが、本発明により関連情報がサーバーから実時間で提供されることで、受信者の理解度を高めることができるという利点を有する。
更に、マルチメディア通信を通して受信されたマルチメディアデータについてユーザの別の操作無しに、受信されたマルチメディアデータに対する多様な情報及び検索サービスを提供することによって、ユーザの欲求充足ばかりでなく、ユーザがマルチメディアデータに対する情報確認のための不具合及び検索による不都合を解消し、ユーザの便宜性を増大させることができるという利点を有する。
尚、ユーザ端末機の内部又は外部のサーバーを通して設けられるスマート通訳機（Smart Interpreter）によって、従来の限定された翻訳・通訳の形態のみならず種々のマルチメディアデータに対して多様な種類の付加情報を検索サーバーとの連動を通して実時間で提供することができるという利点を有する。
【発明を実施するための最良の形態】
【００１３】
以下、図面に参照して本発明の好適な実施形態を詳細に説明する。なお、下記の説明において、本発明の要旨のみを明瞭にする目的で、関連した公知の機能又は構成に関する具体的な説明は省略する。
以下に説明される本発明の好適な実施形態は一つの例示に過ぎないものである。
【００１４】
本発明は両者間又は多者間のマルチメディア通信中に通信内容に該当する各種メディア、例えば音声、画像、テキストなどのコンテキスト（context）を自動に認識して関連情報受信が可能なマルチメディアサービスを提供することができるシステムとその装置及び方法に関する。ここで、コンテキストとは、“情報客体”といった意味で使用される。
つまり、本発明で使用される前記コンテキストは、音声やテキストの場合は特定の単語、文章、又は所定の言語（例えば、外国語（foreign language）など）などを指し、動画像又は静止画像の場合は特定のイメージ、人物、商標、風景、物体などを指し、そのほかにも多様なメディア及び前記のような例が複合的に働く場合を指す。
また、本発明で使用されるマルチメディア（multimedia）は、前記のように音声、画像、テキスト及びこれらの組合やその他メディア（media）の一部或いは全体を示すものである。
更に、本発明の提案による、“両者間又は多者間のマルチメディア通信中に通信内容に該当する音声、画像、テキストなどの内容、即ち前記コンテキストを自動に認識し、これに関連した情報をサーバーから提供する装置”を以下の明細書では便宜上“スマート通訳機”と命名する。
【００１５】
次に、本発明によるマルチメディアサービスを実現するためのシステムと、前記サービスを提供するための装置及び方法について添付図面を参照して詳細に説明する。
図１は本発明の実施形態によるマルチメディアサービスを実現するためのシステムの構成を示すブロック図である。
同図において、本発明のマルチメディアサービス提供システムは、外部から入力される多様なマルチメディアデータ及び付加情報の送受信が可能なアプリケーション（application）を含むユーザ端末機１０１と、有線／無線インターネット（internet）のためのＷＡＰ（Wireless Application Protocol）ゲートウェイ（gateway）１０３と、両者又は多者間マルチメディア通信により受信されたマルチメディアデータからコンテキストを認識及び抽出し、前記抽出されたコンテキストに関連した情報を後述する検索サーバー１１１に要請し、前記要請された情報を受信するスマート通訳機１０５と、インターネットサービスを提供するための有線／無線インターネット網（Internet Network）１０７と、前記インターネット網を通して自社と関連した各種データを提供する企業サーバー１０９と、前記企業サーバー１０９から検索されたデータをデコードして分類別に貯蔵し、前記貯蔵されたデータを前記インターネット網１０７と連動して前記スマート通訳機１０５の要請に応じて提供する検索サーバー１１１と、前記検索サーバー１１１によって検索されたデータを分類別に貯蔵するデータベース（ＤＢ）部１１３と、前記インターネット網１０７を通して通信を行い、前記インターネット通信を通して受信されたマルチメディアデータに対する付加情報の要請及び要請された付加情報を前記検索サーバー１１１から受信してユーザに提供するクライアントシステム（client system）１１５とからなる。
【００１６】
前記ユーザ端末機１０１は無線インターネット又はコンピュータネットワーク接続ができるように無線インターネットブラウザー（Internet Browser）を搭載している携帯用端末機であって、移動電話機、ＰＤＡ端末機、スマートホンなどの全ての情報通信機器などがこれに属する。例えば、前記無線インターネットブラウザーにはＷＡＰブラウザーが採用できるが、本発明がこれに限定するわけではない。また、前記ＷＡＰブラウザーは現在各移動通信社で移動電話端末機に基本的に搭載させている公知の無線ブラウザーに代替可能である。
好ましくは、前記ユーザ端末機１０１は、本発明によるシステム実現に伴い、マルチメディアサービス実現のために前記スマート通訳機１０５をユーザ端末機そのものに内蔵することもできる。かかる構造については後述するので、ここではその詳細を省略する。
【００１７】
前記ＷＡＰゲートウェイ１０３は、通信社システム（図示せず）と連動して前記ユーザ端末機１０１から有線インターネット又は無線インターネットを通してマルチメディア形式のデータを送受信することができるインターフェースを提供する。ここで、前記有線インターネット又は無線インターネットは公知の情報通信技術により実現される。これに関連した技術的構成は本発明の属する技術分野における通常の知識をもっている者にとって公知であるので、有線／無線インターネットの詳細を省略する。
【００１８】
前記スマート通訳機１０５は、前記ユーザ端末機１０１からデータ伝送があれば、前記伝送されたデータ、つまり音声、画像、テキストなどのコンテキストを自動に認識及び抽出し、前記コンテキストに対応する情報を前記検索サーバー１１１との連動を通して受信し、前記検索サーバー１１１から提供された前記コンテキストに対応する情報を前記ユーザ端末機１０１又はクライアントシステム１１５へ提供する。ここで、前記コンテキストに対応する情報、つまり前記コンテキストに関連した情報は、人物、企業言語、マーケッティング、日程、その他関連情報などを示す。前記スマート通訳機１０５の構成については後述するので、ここではその詳細を省略する。
【００１９】
前記インターネット網１０７は、前記スマート通訳機１０５、前記企業サーバー１０９、前記検索サーバー１１１、及び前記クライアントシステム１１５と連動し、前記連動を通して前記各装置の有線／無線通信のためのインターフェース及びインターネットサービスを提供する。
【００２０】
前記企業サーバー１０９は、自社と関連した各種データをデータベースの形態に貯蔵しており、前記検索サーバー１１１から前記インターネット網１０７を通して要請される関連情報を提供するか、前記検索サーバー１１１での検索のためのデータベースを提供する。
【００２１】
前記検索サーバー１１１は、前記スマート通訳機１０５から要請されるコンテキストに対する関連情報を自体のデータベース部１１３との連動によって検索して提供するか、前記コンテキストに対応する企業サーバー１０９から検索要請を通して関連情報を受信し、前記検索情報又は受信情報を前記スマート通訳機１０５に提供する。この際、前記データベース部１１３は、前記スマート通訳機１０５から要請されるコンテキストに関連した情報、前記検索サーバー１１１を通して分類された各種分類別情報をデータベース化して貯蔵する多数のＤＢを含む。
【００２２】
前記データベース部１１３は、前記検索サーバー１１１で分類されて出力されるデータが特定の人物に対するデータである場合、前記人物に対応する多様な情報をデータベース化して収録する人物ＤＢ、前記検索サーバー１１１で分類されて出力されるデータが特定の企業に関する商標である場合、前記商標に対する情報及び前記商標に対応する企業に対する多様な情報をデータベース化して収録する企業ＤＢ、前記検索サーバー１１１で分類されて出力されるデータが漢字語である場合、前記漢字語に対応する多様な情報を収録する漢字語辞典、前記検索サーバー１１１で分類されて出力されるデータが英語である場合、前記英語に対応する韓国語を収録する英韓辞典などを含むことができる。
【００２３】
前記クライアントシステム１１５は、インターネットブライザと有線／無線インターネットに接続できるネットワークインターフェースを備える装置であって、その一例としてはデスクトップコンピュータ、ノートパソコン及びその他ユーザ端末機などが挙げられる。
【００２４】
以上、本発明によるマルチメディアサービスを提供するためのシステムの全体的な構造について概略的に説明した。尚、次には本発明によるマルチメディアサービスを提供するための前記スマート通訳機についてより具体的に説明する。
【００２５】
<スマート通訳機の構成>
図２は、本発明の実施形態によるマルチメディアサービスを提供するためのスマート通訳機を示すブロック図である。
同図において、本発明のマルチメディアサービス提供のためのスマート通訳機２２０は、ユーザ端末機２１０又はウェブサーバー（企業サーバー、検索サーバー）からインターネットプロトコル（Internet protocol）を用いてマルチメディアデータを受信するマルチメディアデータ受信部２２１と、前記マルチメディアデータ受信部２２１により受信されたマルチメディアデータを貯蔵するマルチメディア貯蔵部２２３と、前記マルチメディア貯蔵部２２３に貯蔵されたマルチメディアデータからコンテキスト（Context）を抽出するコンテキスト抽出部２２５と、前記コンテキスト抽出部２２５により抽出されたコンテキストの種類を判別して分類するコンテキスト分類部２２７と、ユーザから入力される検索条件に対応する状況を感知する検索条件確認部２２９と、前記検索条件確認部２２９で確認された状況、つまり前記抽出及び分類されたコンテキストに対するユーザの関連情報検索要求条件を判断し、前記ユーザの検索要求条件に相応するように前記抽出されたコンテキストに対する関連情報の検索方式を制御するための検索制御部２３１と、必要な情報を外部の検索サーバー２７０でインターネットプロトコルを用いて検索し、前記検索データを受信する検索関連通信部２３３と、前記検索制御部２３１による検索データに対する情報、即ち前記検索制御部２３１によって検索されたコンテキスト関連情報を確認して前記マルチメディアデータに対する関連情報を前記ユーザ端末機２１０に提供する関連情報提供部２３５とを含むことを特徴とする。好ましくは、前記スマート通訳機２２０は、前記検索結果の情報をユーザ或いはサービス提供者の設定によって前記ユーザ端末機２１０に提供するためのデータ伝送部２３７を更に含むことを特徴とする。
【００２６】
前述のように、本発明による前記スマート通訳機２２０は、ユーザ端末機２１０の内部に含まれるか、若しくは外部に装着されて、ユーザから入力されたデータを受信して当該データのコンテキストを抽出し、関連情報をスマート通訳機そのもののデータベース又はネットワークを用いた他のデータベースを通して検索及び受信してこれをユーザ端末機２１０に伝達する役割を果たす。ここで、前記データベースは、コンテキストと関連した人物、企業、言語、マーケッティング、日程、その他関連情報のうちいずれか一つ以上がフィールド化して構造的に記録貯蔵される。より具体的には特定の人物に対する略歴、イメージ、学歴、活動事項、特技事項、趣味などのような当該人物に相応する関連・付加情報を含む人物情報フィールド、特定の企業に対するＣＩ（Corporate Identity）、ＢＩ（Brand Identity）、株式情報、役員情報、製品情報、ロゴのような当該企業に相応する関連・付加情報を含む企業情報フィールド、及び特定の漢字語や英語のようなテキストに相応する関連・付加情報を提供するための電子辞典を含む言語情報フィールドなどがフィールド化して構造的に貯蔵される。
【００２７】
一方、前述のような本発明によるスマート通訳機は、外部インターネット網などを通して前記ユーザ端末機、検索サーバー及びクライアントシステムなどと連動するように別個のシステムから構成されていることが分かる。しかし、本発明はこれに限定されるわけではなく、前記スマート通訳機は前記ユーザ端末機、検索サーバー、或いはクライアントシステムなどに含まれることもできるのは明らかである。例えば、前記スマート通訳機は前記ユーザ端末機又は検索サーバーの内部にアプリケーションなどでも、また前記した機能ブロックが単一ハードウェアチップでも実現できるのはもちろんである。
【００２８】
次に、図３を参照して前記スマート通訳機が前記ユーザ端末機の内部に形成された場合の実施形態について説明する。
図３は本発明の実施形態によるマルチメディアサービス提供のためのスマート通訳機を備えたユーザ端末機の内部構成を示したブロック図である。
同図において、本発明の実施形態によるユーザ端末機は、入力手段、処理手段、貯蔵手段、出力手段及び通信手段を含む。前記入力手段は、マイクを通して入力される音声データを処理するオーディオ処理部３０７、ユーザから文字データが入力されるキー入力部３０９、及び外部の所定の物体の画像データが入力されるカメラ３１３などを含む。即ち、前記入力手段は前記のような構成要素によって、音声データ、文字データ及び画像データなどのマルチメディアデータを受信する機能を担当する。
【００２９】
前記処理手段は、前記カメラ３１３を通して入力される画像データに対してデジタル信号に変換処理する信号処理部３１５、前記信号処理部３１５でデジタル処理された入力画像データを処理する画像処理部３１７、前記オーディオ処理部３０７などから伝達される音声データ又は前記キー入力部３０９を通してユーザから入力される文字データなどの処理を担当するデータ処理部３０５、前記ユーザ端末機内のブロックの一連の制御を担当する制御部３０１、及び前記入力手段によって入力されるマルチメディアデータからコンテキストを認識及び抽出し、前記抽出されたコンテキストに相応する関連情報を外部ウェブサーバーへ要請して受信してユーザに提供するための一連の制御処理を担当するスマート通訳部３２１を含む。即ち、前記処理手段は前記入力手段から入力されたマルチメディアデータ、例えば前記音声データ、文字データ及び画像データにそれぞれ対応する一連の処理を担当する。
【００３０】
前記貯蔵手段は、前記入力手段により入力された前記マルチメディアデータの貯蔵及び外部ウェブサーバーから伝送されるコンテキスト関連情報などを貯蔵する機能を担当し、メモリ３１１などを含む。
【００３１】
前記出力手段は、前記外部から入力されるマルチメディアデータについてユーザに提供するための画面を構成して出力する表示部３１９及び前記音声データを外部へ出力するオーディオ処理部３０７を含む。即ち、前記出力手段は前記入力手段によって入力されるマルチメディアデータ又は前記貯蔵手段に貯蔵されたマルチメディアデータに関連した音声データを出力する。
【００３２】
前記通信手段は、前記マルチメディアデータを外部の他のユーザなどに無線伝送するか、或いは外部ウェブサーバーとの連動によるコンテキスト関連情報の送受信機能を担当し、ＲＦ（Radio Frequency）処理部３０３などを含む。
【００３３】
前記のような各構成要素についてより具体的に説明すると、前記ＲＦ処理部３０３は、携帯電話通信、データ通信などと関連した一連の通信を行う。前記ＲＦ処理部３０３は、送信される信号の周波数を上昇変換及び増幅するＲＦ送信機と、受信される信号を低雑音増幅し、周波数を下降変換するＲＦ受信機などとを含む。前記データ処理部３０５は、前記ＲＦ処理部３０３を通して伝送される信号に対する符号化及び変調を行う手段、前記ＲＦ処理部３０３を通して受信される信号に対する復調及び復号化を行う手段などを備えることができる。
【００３４】
前記オーディオ処理部３０７は、前記データ処理部３０５から出力される受信オーディオ信号を再生するか、又はマイクから入力される音声などのオーディオ信号を前記データ処理部３０５に伝送する機能を行う。前記キー入力部３０９は数字及び文字情報を入力し、各種機能を設定するための数字、文字及び／又はファンクションキーを備える、前記ファンクションキーは本発明によるマルチメディアサービスを提供するためのモード設定キー、コンテキスト種類による検索条件を入力するための検索入力キーなどを含むことができる。
【００３５】
前記メモリ３１１は、プログラムメモリ及びデータメモリで構成されることができる。前記プログラムメモリにはユーザ端末機３００の一般的な動作を制御するためのプログラムモジュール及び本発明の実施形態によるマルチメディアサービスを利用するためのアプリケーションを含むプログラムモジュールを貯蔵することができる。また、前記データメモリには前記プログラムモジュールの遂行中に発生されるデータを臨時に貯蔵する機能をする。
【００３６】
前記制御部３０１は、ユーザ端末機３００の全般的な動作を制御する機能をする。また、前記制御部３０１は、前記キー入力部３０９からモード設定変更信号が入力されると、それに対応するモード設定を制御し、前記入力されるモード設定信号に対応して生成されたり管理されたりするマルチメディアデータなどを表示するように制御する。前記制御部３０１は、本発明の実施形態によって前記マルチメディアデータを後述する表示部３１９に伝送する経路を制御する。
【００３７】
前記カメラ３１３は、所定の物体を撮影した結果そしてデータ信号を受信し、エンコーダー（図示せず）との連動を通して前記受信される画像データのデジタル信号変換を行う。前記信号処理部３１５は前記カメラ３１３から出力される画像信号をイメージ信号に切り替える。
【００３８】
前記画像処理部３１７は、前記信号処理部３１５から出力される画像信号を表示するための画面データを発生する機能を遂行する。前記画像処理部３１５は前記制御部３０１の制御のもとに受信される画像信号を前記表示部３１９の規格に合わせて伝送し、また前記画像データを圧縮及び伸張する機能を遂行する。
【００３９】
前記表示部３１９は、前記画像処理部から出力される画像データを画面に表示する。また、マルチメディア通信を通して受信したマルチメディアデータとこれに関連した付加情報を所定の表示方式によってユーザに提供する。
【００４０】
前記スマート通訳部３２１は、マルチメディア通信によって受信されるマルチメディアデータからコンテキストを自動に認識及び抽出し、前記抽出されたコンテキストに関連した情報を検索するか、外部検索サーバーへの要請を行い、検索又は受信された情報を前記表示部３１９を通してマルチメディアデータと検索結果とを同時に提供可能に制御する。
【００４１】
望ましくは、前記スマート通訳部３２１は、所定のコンテキストに対する結果情報をオーバーレイするプログラムモジュール、前記コンテキストに対する情報を認識するプログラムモジュール、前記コンテキストに対する情報を抽出するためのプログラムモジュール及び前記認識される情報の変換及び管理できるプログラムモジュールなどを含む専用アプリケーション（application）を搭載することができる。そして、前記専用アプリケーションは通信社システム（図示せず）から前記ユーザ端末機のファームウェアアップグレードなどを通して提供されるようにすることが望ましい。しかし、本発明がこれに限定されるわけではない。
【００４２】
ここで、前記通信社システムは有線／無線インターネットを通して前記ユーザ端末機へ多様な付加サービスを提供する移動通信事業者のシステムになることができ、そのものに具備されるデータベースと連動して前記ユーザ端末機のユーザ情報を提供し、有線インターネット及び無線インターネットに繋がりユーザ端末機の専用アプリケーションを配布する。
【００４３】
更に、前記スマート通訳部３２１は望ましくは、インターネットプロトコル（Internet protocol）を用いて外部ウェブサーバーからマルチメディアデータを受信するマルチメディアデータ受信部２２１、前記マルチメディアデータ受信部２２１から受信されるマルチメディアデータのコンテキスト（Context）を抽出するコンテキスト抽出部２２５、前記コンテキスト抽出部２２５により抽出されたコンテキストの種類を判別して分類するコンテキスト分類部２２７、前記コンテキスト分類部２２７又はキー入力部３０９を通してユーザから入力される検索条件に対応する状況を感知する検索条件確認部２２９、前記検索条件確認部２２９で確認された状況に対応するコンテキストの検索方式を制御するための検索制御部２３１、前記検索制御部２３１によって検索されたコンテキスト関連情報を提供する関連情報提供部２３５を含んでなる。
尚、前記検索条件確認部２２９及び検索制御部２３１は別途の構成を有するが、好ましくは前記検索制御部２３１で前記抽出及び分類されたコンテキストに対するユーザの関連情報検索要求条件を判断し、前記ユーザの検索要求条件に相応するように前記抽出されたコンテキストに対する関連情報を検索するように実現することもできる。
【００４４】
一方、以上述べたように本実施形態では説明の便宜上前記ユーザ端末機３００を移動通信機器又は携帯電話に限定して説明したが、本発明がこれに限定されるわけではない。例えば、本発明の実施形態によるユーザ端末機は移動電話機、ＰＤＡ端末機、スマートホン、ＤＭＢ（Digital Multimedia Broadcasting）ホン、ＭＰ３プレーヤー、デジタルカメラなどの全てのモバイル端末機、情報通信機器及びマルチメディア機器や、それらに対する応用にも適用可能なことは明らかである。
【００４５】
以上のように本発明によるマルチメディアサービスの具現のためのスマート通訳機に対する構成を説明した。次に、本発明のマルチメディアサービスを提供するための前記スマート通訳機の望ましい動作実施形態について説明する。
【００４６】
＜スマート通訳機の動作＞
図４は本発明の実施形態によるマルチメディアサービス提供のためのスマート通訳機の動作過程を示すフローチャートである。
同図において、まず受信待機中にマルチメディアサービスのための通信が行われると（ステップ４０１）、受信されるマルチメディアデータのうち関連・付加情報検索に必要な条件を満足するコンテキストの存否を確認する（ステップ４０３）。前記確認の結果、関連・付加情報検索に必要な条件を満足するコンテキストがないと、前記の初期待機状態（ステップ４０１）に進行して基本的なマルチメディア通信を遂行し続ける。前記受信したマルチメディアデータのうち関連・付加情報検索に必要な条件を満足するコンテキストがあると、当該コンテキストの内容を判別し（ステップ４０５）、前記判別されたコンテキストに対応する関連検索サーバーへ前記コンテキストに対する関連・付加情報を要請する（ステップ４０７）。
前記検索条件に対応するコンテキストに対する付加情報の要請後、関連検索サーバーからコンテキストに対する付加情報が受信されると（ステップ４０９）、前記受信された付加情報を前記マルチメディアデータ上にオーバーレイ（overlay）して表示する（ステップ４１１）。この際、前記付加情報の表示は前記オーバーレイによってもできるが、ポップアップ（pop-up）などを用いて表示しても良い。かかる表示方法については後述するので、ここではその詳細を省略する。
【００４７】
前述のような本発明の実施形態と従来の技術との特徴的な相違点は、オリジナルデータに該当するマルチメディアデータ通信の進行中でも当該コンテキストを抽出して関連・付加情報を検索及び受信し、受信された検索データをマルチメディアデータの提供と同時にユーザ端末機の表示部に一緒に提供できるとの点にある。これは前述したオーバーレイ方式、画面分割又はポップアップ方式などで提供される。しかしながら、本発明がこれに限定されるものではなく、場合によっては一つのデータを中断するか臨時バッファに貯蔵し、もう一つのデータだけを提供することもできる。
【００４８】
一方、前記コンテキストに対する付加情報要請が関連検索サーバーから受信されないと、システム又はユーザ設定による所定の回数だけ前記要請を繰り返し遂行するようにすることが望ましい。更に、前記関連検索サーバーから要請が受信されなかった場合は、前記コンテキストに対する情報が存在しないことと認知し、ユーザに当該コンテキストに対する情報がないことを視覚や聴覚及びこれらを混用して知らせることが望ましい。
【００４９】
引き続き、前記コンテキストに対する関連・付加情報表示後、前記コンテキストに対する追加の情報要請が選択されたか否かを判別し、追加される情報に対しては前記関連検索サーバーに追加情報を再要請し、その以降、前記要請された当該情報を受信してユーザに提供する（ステップ４１５）。また、前記当該情報を提供した後、次の追加情報が要請されるか否かを確認して、他の追加情報要請が選択されると、前記段階を繰り返し遂行し、更なる追加情報要請がなければ次の段階に進行する。
その後、前記コンテキストに対する付加情報に対する提供が終わると、前記マルチメディアデータ通信の完了可否をチェックし（ステップ４１７）、通信が終わらない場合、前記一連の処理段階を繰り返し遂行し、通信が終わった場合は、前記マルチメディアデータサービスを終了する。ここで、前記ユーザが追加情報を要請すると、当該付加情報をサーバーから受信して表示し、このとき、通信は中断無しに進行される。また、前記マルチメディアデータサービスの終了時、ユーザの設定によって基本的なマルチメディアデータ通信は持続的に進行できるのはもちろんのことである。
【００５０】
以上、本発明によるスマート通訳機の全体的な動作について説明した。次に、前記スマート通訳機の主な特徴的な動作を更に詳細に説明する。
【００５１】
＜コンテキスト抽出動作＞
図５は本発明の実施形態によるマルチメディアサービス提供のための入力データ別のコンテキスト抽出過程を示すフローチャートである。特に、前記図５は本発明の実施形態によって入力データから音声認識、自然語処理及び画像認識などの過程を経てコンテキストを抽出する過程を示す図である。
同図において、マルチメディアデータ通信によってマルチメディアデータが受信されると、前記受信されたマルチメディアデータに対する分類を判別する（ステップ５０１）。たとえば、前記受信されたマルチメディアデータをステップ５０３、ステップ５０５、ステップ５１５、及びステップ５２１に示すように、テキスト、オーディオ、例えば、音声、画像及び他のメディアなどの分類による判別を行う。ここで、前記受信されたマルチメディアデータの判別を行うためには、前記データの先頭部にデータ形式に関連したタイプ情報（type information）が前記マルチメディアデータのヘッダ（Header）に含まれる。従って、前記マルチメディアデータのヘッダに基づいて前記マルチメディアデータのタイプを分類することができ、これによって前記受信マルチメディアデータの形式を判別することができる。
【００５２】
例えば、マイム（ＭＩＭＥ、Multipurpose Internet Mail Extensions）の場合、ヘッダのｃｏｎｔｅｎｔ−ｔｙｐｅを参照して‘ｃｏｎｔｅｎｔ−ｔｙｐｅ：ｔｅｘｔ’であると、当該マルチメディアデータがテキストであることを意味し、‘ｃｏｎｔｅｎｔ−ｔｙｐｅ：ｖｉｄｅｏ’であると、当該マルチメディアデータが動画像であることを意味し、そして‘ｃｏｎｔｅｎｔ−ｔｙｐｅ：ａｕｄｉｏ’であると、当該マルチメディアデータが音声であることを意味する。
【００５３】
尚、前記マルチメディアデータがテキストと判別されると（ステップ５０３）、前記受信されたテキストから自然語処理（ステップ５１１）過程を経て‘キーワード（keyword）’を抽出する（ステップ５１３）。
また、前記マルチメディアデータがオーディオ（Audio）、例えば、音声（Voice）と判別されると（ステップ５０５）、前記受信された音声から音声認識過程（ステップ５０７）を経て、前記音声をテキストに変換し（ステップ５０９）、その後前記変換されたテキストを受信してこれに対する自然語処理（ステップ５１１）過程を経て‘キーワード’を抽出する（ステップ５１３）。
更に前記マルチメディアデータが画像と判別されると（ステップ５１５）、前記受信された画像認識（ステップ５１７）過程を経て受信された画像から特定の‘物体’を抽出する（ステップ５１９）。
一方、前記の判別されたマルチメディアデータが以上のように述べたメディアを除いて他のメディアと判別されると（ステップ５２１）、これに該当する認識手段（ステップ５２３）によって受信されたメディアに対応するコンテキストを抽出する（ステップ５２５）。このとき、もし音声と画像が共に受信される場合は、ユーザ設定によって前記音声と画像を別々に分離して処理するか、或いは前記のように同時受信されるデータの夫々に対する優先順位を与えて予め設定し、その設定方式によって自動に順次的処理を遂行できるようにするのが望ましい。しかし、本発明がこれに限定されるわけではない。
【００５４】
次に、入力データによるコンテキスト抽出過程について一例を挙げて説明する。
例えば、‘あまり時間がないから簡単にポイントだけ話してください’という音声信号が入力されると、前記‘音声認識’過程を経て入力された音声を‘あまり時間がないから簡単にポイントだけ話してください’というテキストに変換する。その後、前記変換されたテキストから‘自然語処理’過程を経て‘時間’‘簡単に’‘ポイント’などのキーワードを抽出することになる。
【００５５】
以上、本発明の実施形態による入力データ別コンテキスト抽出のための全般的な過程について説明した。次には、各入力データに対するコンテキスト抽出過程をより具体的に説明する。
【００５６】
本発明によるコンテキスト抽出過程の説明に先立って、特定の画像から物体を抽出することは、公知の分野であり、現在も多くの研究が盛んに進行されている。特に、画像内で所望する物体の位置が分からない場合、ニューラルネットワーク（neural network）を用いた方法又はテンプレート（template）を用いた整合法などが用いられている。
ここで、前記ニューラルネットワークは、神経回路網を用いた情報並列処理の原理などの探究、数学的分析のために作られたモデルの総称であって、工学的システムを始めとして計算論的神経科学、認知心理学などの分野などに応用されている。ニューラルネットワークを用いて顔イメージを抽出する方法は“Neural Network-Based Face Detection”(H. A. Rowley, S Baluja, and T. Kanade、IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 20, number 1, pages 23-38, January 1998)などに開示されている。
また、前記テンプレートとは、グラフィックプログラムでよく使用するために予め定めた絵や画像の一定したパターンを示すもので、プログラマーが直接作成するか、学習を通して習得した物体のテンプレートを予め定め、入力画像と比較して整合される場合に入力画像から物体の位置を求めることができる。
前記テンプレートを用いた整合法は、使用する特徴（feature）によって多様に提案されている。即ち、公知の技術（例えば、“Detecting Faces in Images”（M. Yang、IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp.34-58, Jan, 2002）、“Robust Real-time Object Detection”（P. Viola、Technical Report Series, pp. 283-289, Feb, CRL 2001.）を用いて受信データからコンテキストを抽出することができる。また、全域的又は局部的に著しい明度の差を示す画像から物体を抽出するための方法には、エッジを特徴情報として用いる方法（“多重の距離画像を用いた形態認識法”（Ki-seon Shin、秋季綜合学術大会論文集IV vol. 23, no. 4, pp.17-20, Nov. 2000）、主成分分析法（ＰＣＡ、Principal Component Analysis）やＦＬＤ（Fisher’s Linear Discriminant）などの線形投影法を特徴抽出法に活用する方法（“Face recognition using kernel eigenfaces”（by Yang, IEEE ICIP 2000, Vol., pp.37-40)）などがある。
加えて、コンテキスト抽出法は多様な公知の技術を用いることができ、本発明ではこのようなコンテキスト抽出によってユーザに多様な関連情報を提供しようとするもので、前記コンテキスト抽出のためのより具体的な方法は本発明の範囲から逸脱するものなので、以下その詳細を省略する。
【００５７】
図６Ａ及び図６Ｂは本発明の実施形態によるマルチメディアデータサービス提供のための入力データ別のコンテキスト抽出過程を示すフローチャートである。特に、入力データが画像である場合、前記画像から画像認識過程を経てコンテキストを抽出して提供する過程を示している。
【００５８】
図６Ａ及び図６Ｂを参照すると、マルチメディア受信可否を確認して（ステップ６０１）、マルチメディアが受信されると、前記受信されたマルチメディアの種類（type）を判別する（ステップ６０３）。このとき、前記判別されたマルチメディアのタイプが画像データであれば（ステップ６０５）、前記入力された画像データに対するコンテキストを検出及び抽出する（ステップ６０７）。すなわち、前記入力された画像から、物体の訓練画像（training image）を獲得して物体の領域検出（detection）及び抽出（extraction）を行う。ここで、前記画像データとは、静止画像及び動画像を含むことは自明である。
【００５９】
一方、前記物体の訓練画像を通して顔イメージが検出されると（ステップ６０９）、人物ＤＢから前記顔イメージに対する情報を検索して（ステップ６１１）、前記検出された顔イメージに対応する付加情報の存否を確認する（ステップ６１３）。前記検出された顔イメージに対応する付加情報が人物ＤＢに存在する場合、前記検索された付加情報を提供する（ステップ６１５）。もし前記検出された顔イメージに対する情報が存在しないと、前記検出された顔イメージに対する情報を関連検索サーバーに要請する（ステップ６１７）。その後、前記関連検索サーバーから前記検出された顔イメージに対する情報が受信されると、前記検出された顔イメージ及び前記関連付加情報をデータベース化して人物ＤＢに貯蔵する（ステップ６１９）。それから、前記検出された顔イメージに対する付加情報を提供する（ステップ６１５）。
【００６０】
前記物体の訓練画像を通して商標イメージが検出されると（ステップ６２１）、企業ＤＢを検索して（ステップ６２３）、前記検出された商標イメージに対応する付加情報の存否を確認する（ステップ６２５）。前記検出された商標イメージに対応する付加情報が企業ＤＢに存在する場合、前記検索された付加情報をユーザに提供する（ステップ６２７）。もし前記検出された商標イメージに対する情報が存在しないと、前記検出された商標イメージに対する関連情報を関連検索サーバーに要請する（ステップ６２９）。その後、前記関連検索サーバーから前記検出された商標イメージに対する情報が受信されると、前記検出された商標イメージ及び前記関連付加情報をデータベース化して企業ＤＢに貯蔵する（ステップ６３１）。それから、前記検出された商標イメージに対する付加情報を提供する（ステップ６２７）。
【００６１】
次に、前記物体の訓練画像を通して前記した物体（顔イメージ、商標イメージ）を除いて他の物体が検出されると（ステップ６３３）、前記物体に対応するＤＢを検索して（ステップ６３５）、前記検出された物体に対応する付加情報の存否を確認する（ステップ６３７）。前記検出された物体に対応する付加情報が当該ＤＢに存在する場合、前記検索された付加情報を提供する（ステップ６３９）。もし前記検出された物体に対する情報が存在しないと、前記検出された物体に対する関連情報を関連検索サーバーに要請する（ステップ６４１）。その後、前記関連検索サーバーから前記検出された物体に対する情報が受信されると、前記検出された物体及び前記関連付加情報をデータベース化して当該ＤＢに貯蔵する（ステップ６４３）。それから、前記検出された物体に対する付加情報を提供する（ステップ６３９）。
【００６２】
前述のように、本発明によって動画像又は静止画像のようなマルチメディアを通して特定の人物が受信されると、前記受信された人物に対して顔が見える部分を抽出するか、前記マルチメディアを通して特定の商標が受信されると,前記受信された商標に対して商標が見える部分を抽出する。また前記マルチメディアを通して特定の人物及び商標が同時に受信されると、前記受信された人物及び商用に対して顔が見える部分と商標が見える部分をそれぞれ独立的に抽出する。このように画像認識によるコンテキスト抽出は前述のように、従来より使用されてきているニューラルネットワーク法又はテンプレート整合法を利用することができる。しかし、本発明がこれに限定されるわけではないので、その他にも色々の方法を本発明による実施形態に適用できる。
【００６３】
＜付加情報の必要性判断＞
図７は本発明の実施形態によるマルチメディアサービス提供のために抽出されたコンテキストによる検索動作を示すフローチャートである。
同図において、まず、抽出されたコンテキストに対して検索条件検査、即ちユーザの直接トリガー（triggering）、ユーザが予め定めた状況及びサービス提供者が予め定めた状況などを応じて検索するか否かを判断する。
図７に示すように、まず、コンテキストが抽出されると（ステップ７０１）、前記抽出されたコンテキストが付加情報を必要とするコンテキストである場合（ステップ７０３）、前記抽出コンテキストに対して検索するか否かを判断する（ステップ７０５）。
【００６４】
このとき、前記検索可否判断は、検索条件を検査して行われるが、第一、ユーザの直接トリガーによる検索条件である場合（ステップ７０７）である。これはユーザによって特定のボタンを通して外部効果（External effect）が発生するか、前記抽出されたコンテキストのクリックによって付加情報が要請される場合であって、前記要請が行われると、前記ユーザによって選択されたコンテキスト及びそれに対応する検索方式を遂行する（ステップ７１３）。
【００６５】
第二、ユーザが予め定めた状況による検索条件である場合（ステップ７０９）である。これはユーザが入力装置などを通して予め設定する状況に符合するか否かを判断する場合で、前記判断結果、前記ユーザによって設定された状況に符合する場合、前記ユーザによって選択されたコンテキスト及びそれに対応する検索方式を遂行する（ステップ７１３）。例えば、ユーザの四角形の顔を有する人が抽出された場合、‘人的事項表示’、‘中学水準以上の漢字語が現れた場合は注釈表示’、‘英語が現れた場合は当該韓国語表示’、‘特定の企業の商標が現れた場合は当該企業情報表示’などのような場合に条件検索を行うことを予め設定でき、前記設定条件を満足すると、前記条件に対する検索方式を遂行する。
【００６６】
第三、サービス提供者が予め定めた状況による検索条件である場合（ステップ７１１）である。これはサービス提供者が予め設定した状況に符合するか否かを判断するもので、前記判断結果、前記サービス提供者により設定された状況に符合する場合、前記抽出したコンテキスト及びそれに対応する検索方式を行う（ステップ７１３）。例えば、サービス提供者が自社の顧客企業の商標が抽出されると、当該企業の情報をユーザ端末機にプッシュ（push）するように設定でき、前記設定条件を満足すると、前記条件に対する検索方式を遂行する。
【００６７】
以上、抽出したコンテキストに対して三つの検索条件による検査過程を簡略に説明した。しかし、本発明がこれに限定されるわけではない。
【００６８】
次に、前述のようなコンテキスト及びそれに対応する検索方式について図８を参照してより具体的に説明する。
【００６９】
＜ネットワークを用いた付加情報検索及び提供＞
図８は本発明の実施形態によるコンテキストに対する検索過程及び検索データの送受信過程を示すフローチャートである。特に、外部検索サーバーでインターネットプロトコルを用いて検索し、検索データを受信する過程を示している。
図８に示すように、抽出されたコンテキストと前記コンテキストに対する検索方法は、まず、検索関連通信部８００ではコンテキスト分類過程を経て各々のコンテキストを分類し（ステップ８０１）、前記各々の分類別コンテキストに対応する適宜な検索要請を検索サーバー８５０に伝送する。
【００７０】
例えば、前記コンテキスト分類過程を経て分類されたコンテキストが顔８０３である場合、該顔は前記検索サーバー８５０に伝送され、これを受信した前記検索サーバー８５０は人物ＤＢとの連動によって、前記顔を索引（index）として当該人物を検索し、その後前記検索された人物情報を前記検索関連通信部８００へ送信する。すると、前記検索関連通信部８００は、前記検索サーバー８５０から前記顔８０３に対応する人物情報８０７を受信して提供する。
【００７１】
また、前記分類されたコンテキストが漢字語８０９である場合、前記漢字語８０９は前記検索サーバー８５０に伝送され、これを受信した前記検索サーバー８５０は漢字語辞典８１１との連動によって、前記漢字語を索引として当該漢字語を検索し、その後、前記漢字語に関連して検索された注釈を前記検索関連通信部８００へ送信する。すると、前記検索関連通信部８００は前記検索サーバー８５０から前記漢字語８０９に対応する注釈８１３を受信して提供する。
【００７２】
また、前記分類されたコンテキストが商標８１５である場合、前記商標８１５は前記検索サーバー８５０に伝送され、これを受信した前記検索サーバー８５０は企業ＤＢ８１７との連動によって、前記商標を索引として当該企業を検索し、その後、前記検索された企業情報を前記検索関連通信部８００へ送信する。すると、前記検索関連通信部８００は前記検索サーバー８５０から前記商標８１５に対応する企業情報８１９を受信して提供する。
【００７３】
また、前記分類されたコンテキストが英語８２１である場合、前記英語８２１は前記検索サーバー８５０に伝送され、これを受信した前記検索サーバー８５０は英韓辞典８２３との連動によって、前記英語を索引として当該韓国語を検索し、その後、前記検索された韓国語を前記検索関連通信部８００へ送信する。すると、前記検索関連通信部８００は前記検索サーバー８５０から前記英語８２１に対応する韓国語８２５を受信して提供する。
【００７４】
以上、コンテキスト分類による検索及びその送受信過程について説明した。しかし、本発明はこれに限定されるわけではない。例えば、前記分類されたコンテキストが英語である場合において、前記英語は英韓翻訳ばかりでなく英訳も可能である。例えば、前記英語は前記検索サーバー８５０に伝送され、これを受信した前記検索サーバー８５０は英英辞典との連動によって、前記英語を索引として当該説明を検索し、その後、前記検索された説明を前記検索関連通信部８００へ送信すると、前記検索関連通信部８００は前記検索サーバー８５０から前記英語に対応する説明を受信して提供することができる。
【００７５】
尚、前述のようなマルチメディアデータおよび検索された付加情報は画面表示部などを通してユーザに同時に出力して提供することができるが、以下前記画面表示部を通した表示方法についてより詳細に説明する。
【００７６】
＜受信データ及び付加情報同時提供方法＞
図９Ａ乃至図９Ｄは本発明の実施形態によるマルチメディアサービスの表示方法を説明するための図である。特に、受信したマルチメディアデータおよび検索された付加情報をユーザに同時に提供する方法を示している。
図９Ａ乃至図９Ｄに示したように、本発明による画面表示部との連動による表示方法は、サービス提供者による設定又はユーザによる設定方式によって多様に表示できる。例えば、受信したマルチメディアデータ上に検索された付加情報をオーバーレイ（overlay）して表示しても（図９Ａ）、受信したマルチメディアデータが再生されると共に検索された付加情報をポップアップ（pop-up）窓を用いて表示しても（図９Ｂ）、受信したマルチメディアデータ及び検索された付加情報をそれぞれ分割された窓（Window）を通じて表示しても（図９Ｃ）良く、しかも受信したマルチメディアデータおよび検索された付加情報を相異なる窓を通して次の表面に表示することもできる（図９Ｄ）。しかし、本発明がこれに限定されるわけではないため、前記した表示方法のほかにも可能な合成方式及びかかる表示方法の組合せによっても表示できるのはもちろんである。
【００７７】
以上、本発明を限定された実施形態及び図面に基づいて説明したが、本発明はこれに限定されるわけではなく、本発明の属する技術分野における通常の知識を有する者によって本発明の技術思想及び特許請求の範囲のカテゴリ内で多様な修正及び変形が可能であるのは明らかである。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態によるマルチメディアサービスを提供するためのシステムを示すブロック図である。
【図２】本発明の実施形態によるマルチメディアサービスを提供するための装置を示すブロック図である。
【図３】本発明の実施形態によるユーザ端末機の内部構成を示すブロック図である。
【図４】本発明の実施形態によるマルチメディアサービス提供のための動作過程を示すフローチャートである。
【図５】本発明の実施形態によるマルチメディアサービス提供のための入力データ別のコンテキスト抽出過程を示すフローチャートである。
【図６Ａ】本発明の実施形態によるマルチメディアサービス提供のためのコンテキスト抽出過程を示すフローチャートである。
【図６Ｂ】本発明の実施形態によるマルチメディアサービス提供のためのコンテキスト抽出過程を示すフローチャートである。
【図７】本発明の実施形態によるマルチメディアサービス提供のために抽出されたコンテキストによる検索動作を示すフローチャートである。
【図８】本発明の実施形態によるコンテキスト分類別の検索過程及び検索データの送受信過程を示すフローチャートである。
【図９Ａ】本発明の実施形態によるマルチメディアサービスの表示方法を示す図である。
【図９Ｂ】本発明の実施形態によるマルチメディアサービスの表示方法を示す図である。
【図９Ｃ】本発明の実施形態によるマルチメディアサービスの表示方法を示す図である。
【図９Ｄ】本発明の実施形態によるマルチメディアサービスの表示方法を示す図である。
【符号の説明】
【００７９】
１０１  ユーザ端末機
１０３  ＷＡＰゲートウェイ
１０５  スマート通訳機
１０７  有線／無線インターネット網
１０９  企業サーバー
１１１  検索サーバー
１１３  データベース部
１１５  クライアントシステム
２１０  ユーザ端末機
２２０  スマート通訳機
２２１  マルチメディアデータ受信部
２２３  マルチメディア貯蔵部
２２５  コンテキスト抽出部
２２７  コンテキスト分類部
２２９  検索条件確認部
２３１  検索制御部
２３３  検索関連通信部
２３５  関連情報提供部
２４０  データ伝送部
２７０  外部の検索サーバー
【図１】
2006190296.tif 000003
【図２】
2006190296.tif 000004
【図３】
2006190296.tif 000005
【図４】
2006190296.tif 000006
【図５】
2006190296.tif 000007
【図６Ａ】
2006190296.tif 000008
【図６Ｂ】
2006190296.tif 000009
【図７】
2006190296.tif 000010
【図８】
2006190296.tif 000011
【図９Ａ】
2006190296.tif 000012
【図９Ｂ】
2006190296.tif 000013
【図９Ｃ】
2006190296.tif 000014
【図９Ｄ】
2006190296.tif 000015