(57)【要約】【課題】本発明は、ユーザがより認識しやすくて操作することが容易であり、かつ作業の連続性を維持して端末機の機能利用をより便利にする端末機の機能連動方法及びこれをサポートする端末機を提供すること。【解決手段】本発明に係る端末機は、端末機の機能連動に関し、特にギャラリー機能対応のための少なくとも１つの写真、フォンブック機能対応のための少なくとも１つのフォンブック情報を記憶する記憶部、上記写真に含まれた顔を認識し、認識された顔とマッチする顔写真を有するフォンブック情報があるのか確認した後、マッチするフォンブック情報を認識された顔とリンクさせてギャラリーフォンブックファイルを生成する制御部を含む。【選択図】図１４
2013242871.tif 000002
【特許請求の範囲】
【請求項１】
写真に含まれた顔を認識する過程;
認識された顔とマッチする顔写真を有するフォンブック情報があるのか確認する過程;
マッチするフォンブック情報を認識された顔とリンクさせてギャラリーフォンブックファイルを生成する過程;
を含むことを特徴とする端末機の機能連動方法。
【請求項２】
前記フォンブック情報がリンクされたことを示す情報を前記写真に表示する過程をさらに含むことを特徴とする、請求項１に記載の端末機の機能連動方法。
【請求項３】
前記表示する過程は、
前記認識された顔周辺に選択可能な点線ボックスを表示する過程;
前記認識された顔周辺に選択可能な点線枠を表示する過程;
前記認識された顔と並んで前記写真に隣接された位置にテキスト情報を表示する過程;
前記認識された顔周辺にテキスト情報を表示する過程のうちの少なくとも１つの過程を含むことを特徴とする、請求項２に記載の端末機の機能連動方法。
【請求項４】
多数個の写真をサムネイル方式で表示する過程をさらに含み、
前記ギャラリーフォンブックファイルを生成する過程は、
前記サムネイル方式で表示された全ての写真に対して各写真に含まれた顔を認識し、認識された各顔にフォンブック情報をリンクさせて前記ギャラリーフォンブックファイルを生成する過程;
前記サムネイル方式で表示された写真のうち、入力信号によって指示された写真に含まれたすべての顔を認識し、認識された各顔にフォンブック情報をリンクさせて、前記ギャラリーフォンブックファイルを生成する過程;
前記サムネイル方式で表示された写真のうち、入力信号によって指示された写真の特定の顔を認識し、前記認識された顔にフォンブック情報をリンクさせて前記ギャラリーフォンブックファイルを生成する過程のうちのいずれか１つを含むことを特徴とする、請求項１に記載の端末機の機能連動方法。
【請求項５】
前記マッチするフォンブック情報がない場合、リンクするフォンブック情報がないことを前記写真の顔領域周辺又は前記写真に隣接する領域に表示し、前記リンクするフォンブック情報がない顔を選択する場合、前記選択された顔を含む新しいフォンブック情報を生成する過程;及び
前記ギャラリーフォンブックファイルを外部の特定サーバにアップロードする過程;のうち、少なくとも１つの過程をさらに含むことを特徴とする、請求項１に記載の端末機の機能連動方法。
【請求項６】
ギャラリー機能対応のための少なくとも１つの写真、フォンブック機能対応のための少なくとも１つのフォンブック情報を記憶する記憶部;
前記写真に含まれた顔を認識し、認識された顔とマッチする顔写真を有するフォンブック情報があるのか確認した後、マッチするフォンブック情報を認識された顔とリンクさせてギャラリーフォンブックファイルを生成する制御部;
を含むことを特徴とする、機能連動をサポートする端末機。
【請求項７】
前記フォンブック情報がリンクされたことを示す情報を前記写真に表示する表示部をさらに含むことを特徴とする、請求項６に記載の機能連動をサポートする端末機。
【請求項８】
前記表示部は、
前記認識された顔周辺に選択可能な点線ボックス;
前記認識された顔周辺に選択可能な点線枠;
前記認識された顔と並んで前記写真に隣接された位置にテキスト情報;
前記認識された顔周辺にテキスト情報のうち、少なくとも１つを表示することを特徴とする、請求項７に記載の機能連動をサポートする端末機。
【請求項９】
前記表示部は、
多数個の写真をサムネイル方式で表示し、
前記制御部は、
前記サムネイル方式で表示された全ての写真に対して各写真に含まれた顔を認識し、認識された各顔にフォンブック情報をリンクさせて前記ギャラリーフォンブックファイルを生成するか、
前記サムネイル方式で表示された写真のうち、入力信号によって指示された写真に含まれたすべての顔を認識し、認識された各顔にフォンブック情報をリンクさせて前記ギャラリーフォンブックファイルを生成するか、
前記サムネイル方式で表示された写真のうち、入力信号によって指示された写真の特定の顔を認識し、前記認識された顔にフォンブック情報をリンクさせて前記ギャラリーフォンブックファイルを生成するかのいずれかの処理を行うことを特徴とする、請求項６に記載の機能連動をサポートする端末機。
【請求項１０】
前記マッチするフォンブック情報がない場合、リンクするフォンブック情報がないことを前記写真の顔領域周辺又は前記写真に隣接した領域に表示する表示部をさらに含むことを特徴とする、請求項６に記載の機能連動をサポートする端末機。
【請求項１１】
前記制御部は、
前記リンクするフォンブック情報がない顔を選択する場合、前記選択された顔を含む新しいフォンブック情報を生成することを特徴とする、請求項１０に記載の機能連動をサポートする端末機。
【請求項１２】
前記ギャラリーフォンブックファイルを外部の特定サーバにアップロードするための通信部をさらに含むことを特徴とする、請求項６に記載の機能連動をサポートする端末機。
【請求項１３】
前記通信部は、
写真の顔情報とリンクされたフォンブック情報を含むギャラリーフォンブックファイルを受信し、
前記制御部は、
前記受信されたギャラリーフォンブックファイルに含まれたフォンブック情報を用いて記憶部に記憶されたフォンブックファイルを更新することを特徴とする、請求項１２に記載の機能連動をサポートする端末機。
【請求項１４】
前記制御部は、
前記受信されたギャラリーフォンブックファイルに含まれたフォンブック情報の記入日が前記記憶部に記憶されたフォンブックファイルの生成日より後である場合、前記受信されたギャラリーフォンブックファイルのフォンブック情報に基づいて前記記憶部に記憶されたフォンブックファイルを更新することを特徴とする、請求項１３に記載の機能連動をサポートする端末機。
【請求項１５】
前記制御部は、
前記受信されたギャラリーフォンブックファイルに含まれたフォンブック情報の記入日が前記記憶部に記憶されたフォンブックファイルの生成日より前である場合、前記記憶部に記憶されたフォンブックファイルに基づいて前記受信されたギャラリーフォンブックファイルのフォンブック情報を更新することを特徴とする、請求項１３に記載の機能連動をサポートする端末機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は端末機の機能連動に関し、特に端末機が提供するフォンブック(ＰｈｏｎｅＢｏｏｋ)機能とギャラリー機能を連動して、よりユーザフレンドリーな機能提供をサポートすることができる端末機の機能連動方法及びこれをサポートする端末機に関する。
【背景技術】
【０００２】
最初の電子機器は、オペレータのより便利でかつ安全な作業支援及びユーザの便利な生活支援のために開発され普及された。このような電子機器は、最近、ユーザのより潤沢な生活支援のために開発され普及されるようになってきている。例えば、携帯端末機は、ユーザの場所と時間の制限無しにコンテンツをより手軽に再生することをサポートしてユーザの時間使用効率をより効果的に支援することができるようになった。
【０００３】
一方、従来の携帯端末機は、ユーザが必要とする多様な機能などを提供するために、これらの各機能に対応する機能などを提供してきた。例えば、従来の携帯端末機は、カメラを含み、カメラが撮影した写真又は外部から受信された写真などを別に記憶及び管理し、これを検索するようにする特定機能を提供する。また、従来の携帯端末機は、他の端末機の電話番号などを記憶及び管理して、ユーザが他の端末機との通話のために必要とする電話番号を提供する。このように、従来の携帯端末機は、ユーザが必要とする特定機能への対応のために多様な機能項目などを提供し、当該の機能への対応を行っている。しかし、このように提供される各機能は、当該の機能を開発する開発者の視点により提供されるのでユーザアクセシビリティやユーザオペラビリティなどが脆弱である。例えば、従来の電話番号を提供する機能の場合、ユーザは、テキストベースで提供される特定電話番号とユーザ名前を確認して電話するが、この時、テキストベースで提供される電話番号とユーザの名前に対する正確な記憶をすることができない場合、実質的に当該のデータはユーザに無意味な情報になることがある。したがって、ユーザの機能をサポートするにあたり、ユーザフレンドリーであり、かつユーザオペラビリティが改善した機能サポートが必要とされている。
【０００４】
一方、従来の携帯端末機を用いるユーザは特定端末機機能を利用しながら他の機能を利用するために、マルチタスキング機能を利用している。例えば、従来の携帯端末機ユーザは、写真検索機能を利用しながら、他の端末機と通話接続を行うために以前に提供される機能を中止させたり、通話接続のための画面、例えば電話番号入力やフォンブックリスト画面を活性化させたりしなければならない。このような機能の切り換えは、ユーザの作業連続性を低下させる問題点があり、またユーザが望む作業画面への転換が不便になるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、前述したように本発明の目的は、従来技術の問題点を解決するためのもので、ユーザがより認識しやすく、利用することが容易であり、かつ作業連続性を維持して、端末機の機能利用をより便利する端末機の機能連動方法及びこれをサポートする端末機を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明は、写真に含まれた顔を認識する過程、認識された顔とマッチ(ｍａｔｃｈ)する顔写真を有するフォンブック情報があるのか確認する過程、マッチするフォンブック情報を認識された顔とリンクさせてギャラリーフォンブックファイルを生成する過程を含む端末機の機能連動方法の構成を開示する。
【０００７】
また、本発明は、写真の顔情報とリンクされたフォンブック情報を含むギャラリーフォンブックファイルを受信する過程、上記ギャラリーフォンブックファイルに含まれたフォンブック情報を用いて記憶部に記憶されたフォンブックファイルを更新する過程を含む端末機の機能連動方法の構成を開示する。
【０００８】
また、本発明は、ギャラリー機能対応のための少なくとも１つの写真、フォンブック機能対応のための少なくとも１つのフォンブック情報を記憶する記憶部、上記写真に含まれた顔を認識し、認識された顔とマッチする顔写真を有するフォンブック情報があるのか確認した後、マッチするフォンブック情報を認識された顔とリンクさせてギャラリーフォンブックファイルを生成する制御部を含む機能連動をサポートする端末機の構成を開示する。
【発明の効果】
【０００９】
以上、前述したように本発明による端末機の機能連動方法及びこれをサポートする端末機によれば、本発明は、イメージに基づいてフォンブック情報を利用できるようにすることによって、ユーザの情報記憶力を補い、ユーザオペラビリティを改善し、より一層便利なフォンブック情報利用を実現する。
【００１０】
また、本発明は、フォンブック情報をイメージベースで利用及び共有することによってユーザがリクエストする情報選択をより容易にすることができる。
【００１１】
その他、本発明は、フォンブック情報を利用することにおいて、より多様な要素を基盤に連動するようにしてユーザの端末機の機能運用をより便利にすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態による機能連動をサポートする端末機の構成を概略的に示した図面である。
【図２】本発明のギャラリーフォンブック連動システムの構成を説明するための図面である。
【図３】本発明のギャラリーフォンブック連動システムのフォトギャラリークラスを説明するための図面である。
【図４】本発明のギャラリーフォンブック連動システムのフォンブッククラスを説明するための図面である。
【図５】本発明のフォトギャラリークラス及びフォンブッククラスのデータ構造を説明するための図面である。
【図６】本発明のギャラリーフォンブック連動システムの顔認識クラスを説明するための図面である。
【図７】本発明のギャラリーフォンブック連動システムのＰｎＰデータベースクラスを説明するための図面である。
【図８】本発明のギャラリーフォンブック連動システムの写真ファイルマネージャークラスを説明するための図面である。
【図９】本発明のギャラリーフォンブック連動システムのリストビュークラスを説明するための図面である。
【図１０】本発明のギャラリーフォンブック連動システムのサムネイルビュークラスを説明するための図面である。
【図１１】本発明のギャラリーフォンブック連動システムの各クラス関連図を示す図面である。
【図１２】本発明のギャラリーフォンブック連動システムの運用を説明するための状態図である。
【図１３】本発明の実施形態による外部システムと連携するためのシステム構成を説明するための図面である。
【図１４】本発明の実施形態による機能連動をサポートする画面インターフェースの一例を示す図面である。
【図１５】本発明の実施形態の他の機能連動によるギャラリーフォンブックファイル表示方法を説明するための図面である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を添付の図面に基づいて詳しく説明する。
【００１４】
実施形態を説明することにおいて本発明が属する技術分野によく知られており、本発明と直接的に関連がない記述内容に対しては説明を省略する。また、実質的に同様の構成と機能を有した構成要素に対しては詳細な説明を省略する。
【００１５】
同様の理由によって添付図面において一部構成要素は、誇張されたり省略されたり又は概略的に図示され、各構成要素の大きさは実際の大きさを全体的に反映するものではない。したがって、本発明は、添付の図面に描かれた相対的な大きさや間隔によって制限されない。
【００１６】
図１は、本発明の実施形態による機能連動をサポートする端末機の構成を概略的に示した図面である。
【００１７】
図１を参照すれば、本発明の端末機１００は、通信部１１０、入力部１２０、オーディオ処理部１３０、表示部１４０、記憶部１５０及び制御部１６０の構成を含むことができる。
【００１８】
このような構成を含む本発明の端末機１００は、記憶部１５０に記憶されたフォンブック情報１５５をギャラリー機能と連動して実行することをサポートする。特に、上記端末機１００は、フォンブック情報１５５の編集、追加、削除をギャラリー機能で連動することができるようにすると共に、フォンブック情報１５５に基づく通話機能をギャラリー機能で実行することをサポートすることができる。また、上記端末機１００は、ギャラリー機能で提供されるイメージをＳＮＳ接続インターフェースなどを通じて他の端末機と共有することによって、フォンブック情報１５５の更新をギャラリー機能基盤で送受信されるイメージを用いて行うことをサポートする。さらに、本発明の端末機１００は、ギャラリー機能基盤で利用されるイメージに、付加情報、例えばイメージが収集された位置情報、イメージに添付されたタギング情報などをフォンブック情報に適用することをサポートする。これによって本発明は、フォンブック情報が単純に電話番号や証明写真などを提供する機能を超えて多様な情報を提供することをサポートする。
【００１９】
上記通信部１１０は、上記端末機１００の通信機能をサポートする。このような通信部１１０は、端末機１００が通信機能をサポートする端末機形態に製作される場合、追加されればよい構成である。したがって、本発明が適用されることができる端末機１００が通信機能をサポートしない場合、通信部１１０は、端末機１００の構成において省略されてもよい。一方、通信部１１０は、端末機１００の通信機能、特に移動通信機能をサポートするために移動通信モジュールの形態に設けられてもよい。このような通信部１１０は、移動通信システムと通信チャンネルを形成して端末機１００の移動通信機能を実行するための信号送受信をサポートする。例えば、通信部１１０は、移動通信システムとの間で、音声サービスチャンネル、映像サービスチャンネル、データサービスチャンネルのうちの少なくとも１つを形成し、当該のサービスチャンネルによる特定信号の送受信をサポートすることができる。
【００２０】
一方、上記通信部１１０は、本発明のギャラリーフォンブック機能に対応するためのイメージファイル送受信又はイメージファイル共有のためのクラウドシステム(ｃｌｏｕｄ  ｓｙｓｔｅｍ）接続をサポートすることができる。すなわち、通信部１１０は、他の端末機からのリクエストに応じて、記憶部１５０に記憶されたファイルの中でフォンブック情報を含むイメージファイル(以下、「ギャラリーフォンブックファイル」という)を他の端末機に送信したり、他の端末機からギャラリーフォンブックファイルを受信したりすることができる。受信されたギャラリーフォンブックファイルは、ギャラリー機能のカテゴリー及びフォンブック機能のカテゴリーのうちの少なくとも１つに属するとよい。これによって、本発明の端末機１００は、通信部１１０を通じて受信されたギャラリーフォンブックファイルを、ギャラリー機能を活性化した状態で検索したり、フォンブック機能を活性化した状態で検索したりすることをサポートすることができる。
【００２１】
入力部１２０は、上記端末機１００の操作に必要な多様な入力信号を生成する。このような入力部１２０は、端末機１００が互換可能であるか否かによってキーボードやキーパッド、キーボタンなどの多様な入力手段から構成されてもよい。また、上記入力部１２０は、上記表示部１４０がタッチスクリーンで提供される場合、タッチスクリーンに出力されるタッチマップの形態で構成されてもよい。例えば、入力部１２０は、３＊４キーマップ、５＊４キーマップ、クウォーティーキー（ｑｗｅｒｔｙ ｋｅｙ）マップ、ドボラックキーマップなど多様なキーマップのうちの少なくとも１つの形態で構成されてもよい。特に入力部１２０は、ギャラリー機能の活性化のための入力信号、フォンブック機能の活性化のための入力信号、ギャラリーフォンブック連動機能の活性化のための入力信号などをユーザリクエストに応じて生成してもよい。また、上記入力部１２０は、ギャラリーフォンブック連動機能が活性化された状態でイメージファイル検索のための入力信号、イメージファイルの顔認識によって抽出される抽出領域選択のための入力信号、選択領域に係るフォンブック情報を生成したり削除及び編集したりするための入力信号、選択領域に基づいて通話機能を実行するようにリクエストする入力信号、ギャラリーフォンブックファイル共有のための入力信号などをユーザリクエストによって生成することができる。生成された入力信号は、制御部１６０に伝達され、各入力信号による機能を実行するのためのコマンドとして利用されてもよい。
【００２２】
オーディオ処理部１３０は、端末機１００の操作過程において設定された多様なオーディオデータ、記憶部１５０に記憶されたオーディオファイルを再生する際に生じるオーディオデータ、及び、外部から受信されたオーディオデータなどを出力することができる。また、オーディオ処理部１３０は、オーディオデータ収集機能をサポートすることができる。このために、オーディオ処理部１３０は、スピーカー(ＳＰＫ)とマイク(ＭＩＣ)を含んでもよい。特に、オーディオ処理部１３０は、ギャラリーフォンブックファイル再生時、特定オーディオファイルが再生されるように設定されている場合、当該のギャラリーフォンブックファイル再生によるオーディオファイル出力をサポートすることができる。上述した説明において、ギャラリーフォンブックファイルは、静止映像形態のイメージファイルで説明したが、実質的に本発明は静止映像のイメージファイルだけではなく、動映像イメージファイルにも適用されてもよい。これについては、後述する本発明の画面インターフェースに対する説明と共に、より詳しく説明する。一方、上記オーディオ処理部１３０は、ギャラリーフォンブック連動機能の活性化時、少なくとも１つのイメージファイル検索及び選択による効果音、イメージファイルで顔認識完了による効果音、抽出領域選択及び当該抽出領域に基づいて行う通話機能実行などによる効果音などを出力することができる。一方、上述した効果音出力は、オーディオ処理部１３０のユーザ設定や設計者の設計変更などによって省略されてもよい。
【００２３】
上記表示部１４０は、端末機１００の操作に必要な多様な画面インターフェースを提供する。例えば、上記表示部１４０は、端末機１００の操作に必要な待機画面、メニュー画面などをサポートする。このような本発明の表示部１４０は、タッチパネルと表示パネルを含んで構成されてもよい。一方、表示部１４０は、本発明の実施形態によるギャラリーフォンブック連動機能に係る多様な画面インターフェースを提供することができる。基本的に、上記表示部１４０は、ギャラリー機能の活性化画面、フォンブック機能の活性化画面を提供することができる。また、上記表示部１４０は、ギャラリーフォンブック連動機能を通じて、フォンブック情報を、イメージファイルを通じて検索したり、修正編集したり削除することができる画面インターフェースを提供することができる。そして、上記表示部１４０は、ギャラリーフォンブック連動機能に基づいて、ＳＮＳ接続インターフェースを通じて他の端末機又は外部サーバと接続することに対応する画面を出力することができる。上述した表示部１４０を通じて提供されるギャラリーフォンブック連動機能による画面インターフェースについては、後述する画面インターフェースを参照してより詳しく説明する。
【００２４】
上記記憶部１５０は、端末機１００の操作に必要な多様な基本ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）及び多様なユーザ機能に該当するデータ又は応用プログラムとアルゴリズムなどを記憶することができる。特に、上記記憶部１５０は、本発明のギャラリーフォンブック連動機能に対応するための連動機能対応プログラム１５１、ギャラリー機能に対応するためのイメージファイル１５３、フォンブック機能に対応するためのフォンブック情報１５５、ギャラリーフォンブック連動によるギャラリーフォンブックファイル１５７を記憶することができる。ここでギャラリーフォンブックファイル１５７の場合、本発明のギャラリーフォンブック連動機能が活性化されたことによって、イメージファイル１５３とフォンブック情報１５５がリアルタイムにリンクされて一時的に生成されてもよく、またイメージファイル１５３にフォンブック情報１５５がリンクされて別途のファイルに生成されて記憶部１５０に記憶されてもよい。さらに、記憶部１５０は、写真の顔認識のために顔認識アルゴリズム１５９を含んでもよい。
【００２５】
上記連動機能対応プログラム１５１は、本発明のギャラリーフォンブック連動機能に対応するために多様な機能をサポートする。例えば、連動機能対応プログラム１５１は、フォトギャラリー機能、整列機能、ビュー機能、顔認識機能、フォンブック機能、外部ソーシャルネットワーク連動機能をサポートすることができる。
【００２６】
フォトギャラリー(ＰｈｏｔｏＧａｌｌｅｒｙ)機能は、端末機１００に内蔵している写真や外部写真ファイルを用い、グラフィックファイル(Ｇｒａｐｈｉｃ ｆｉｌｅ)などを管理する機能を含んでもよい。上記端末機１００は、フォトギャラリー機能としてファイル管理(Ｆｉｌｅ Ｍａｎａｇｅｍｅｎｔ) 機能をサポートする。ファイル管理機能は、多様な属性を有するグラフィックファイルを管理する機能を含んでもよい。このようなファイル管理機能は、ファイル管理システムで提供するファイル追加、削除、編集などの機能の実行をサポートすることができる。また、ファイル管理機能は、ファイル管理のために記憶部１５０に記憶されているファイルの中からグラフィックファイルにインデックスをつけてこれに対する情報の管理をサポートする。上記フォトギャラリー機能として、上記連動機能対応プログラム１５１は、インデックスされた写真をソート(Ｓｏｒｔ) する機能をサポートすることができる。上記ソート機能はユーザによってギャラリーフォンブック連動機能が選択された時、ユーザファイル検索などのリクエストにより速やかに対応するために、記憶されたイメージファイル、又はギャラリーフォンブックファイル１５７を予めソートしておくことをサポートしてもよい。このようなソート機能は、携帯用端末機という制限されたリソースを最適に使用することによって、適切なユーザ環境を提供する。
【００２７】
ビュー(Ｖｉｅｗ)機能は、ユーザに見せる機能を言い、一般的に記憶部１５０に記憶されたイメージファイルやギャラリーフォンブックファイル又はフォンブック情報などを、碁盤模様で見せてくれるサムネイルビュー(Ｔｈｕｍｂｎａｉｌ Ｖｉｅｗ)機能とリスト形態で見せてくれるリストビュー(Ｌｉｓｔ Ｖｉｅｗ)機能を含む。また、ビュー機能は、少なくとも１つのファイルに対する横モード(ｌａｎｄｓｃａｐｅ  ｍｏｄｅ)または縦モード(ｐｏｒｔｒａｉｔ ｍｏｄｅ)機能をサポートすることができる。さらに、ビュー機能は、ユーザインタラクション(Ｉｎｔｅｒａｃｔｉｏｎ)サポートのために端末機に実装されているか否かによって、タッチパネルにおけるフリック機能(画面をタッチして押す機能)、別途のハードウェアキーの矢印キーによる操作機能、或いは特定のソフトキーによる操作機能をサポートし、これに基づいて画面を転換したり画面制御を行ったりすることをサポートする。
【００２８】
顔認識機能は、本発明のギャラリーフォンブック連動機能への対応のうち、特定写真やイメージファイルに含まれた特定人物の顔を認識する機能である。このような顔認識機能は、ユーザが写真やイメージに含まれた特定人の情報を見たり編集したりするために編集機能が行われる場合、優先的に行われるとよい。顔認識機能は、写真などに現われている人物の顔を認識して認識結果をユーザに提供するとよい。この過程で、顔認識機能は、認識された顔をボックス処理してユーザに特定顔認識に対する結果として提供するとよい。これによって、ユーザは、写真やイメージ上に表示された特定ボックスを通じてどんな顔が認識され、当該顔がどこに位置するかどうかを確認することができる。一方、上述した説明では、顔認識機能がボックスを利用して顔認識結果を提供することで説明したが、本発明はこれに限定されるものではない。すなわち、上記顔認識機能は、認識された顔の境界領域をハイライトしたり、認識された顔を矢印などで指示したりするなどの多様な方式を通じて認識された顔の位置を表示してもよい。
【００２９】
一方、ユーザは、認識結果によって指示された特定人物の顔を選択、例えば当該の顔が表示されたタッチパネルをクリックすることができ、端末機１００は、端末機１００に事前搭載された、選択された顔に該当する人物に係る情報を提供することができる。ここで、端末機１００は、認識された顔の人物にリンクされたフォンブック情報１５５がないとか、電話番号は記載しているがその他の情報などがない場合、ユーザ情報入力のための編集機能をサポートすることができる。ここで、編集機能は、フォンブック情報を新たに入力することができる画面インターフェースを提供する機能を含んでもよい。
【００３０】
フォンブック機能は、電話番号、住所、電子メール、及びメモ、誕生日、名前、ニックネーム、顔写真などのユーザ情報を、各項目別に又はグループ別に提供する。ここで、メモは、当該のフォンブック情報を有する人物に対してユーザが入力した何らかのテキスト情報などであってもよい。さらに、本発明のフォンブック機能は、予め顔認識され、フォトギャラリー(ＰｈｏｔｏＧａｌｌｅｒｙ)を通じてリンクされた写真の中に、ボックスによって顔領域がクリッピングされた(Ｃｌｉｐｐｉｎｇ)された写真を表示することによって、当該のフォンブック機能がギャラリー機能と連動されていることをユーザに知らせることができる。さらに、フォンブック機能は、上述したユーザ情報を新たに追加したり、生成されたりした情報を削除、又は編集するなどの管理を行うことをサポートする。
【００３１】
外部ソーシャルネットワーク連動機能は、本発明のギャラリーフォンブック連動機能を特定端末機１００から局所的(Ｌｏｃａｌ)で用いることだけではなく、ネットワーク接続を通じて、他の端末機又はサーバと共有するする機能である。このために、外部ソーシャルネットワーク連動機能は、特定端末機のユーザが情報共有するために自分の端末機に設定したクラウドサービス又は他の端末機のユーザとの情報共有のために登録したクラウドサービスなどのためのサーバ接続をサポートする。また、外部ソーシャルネットワーク連動機能は、他の端末機と記憶部１５０の一定領域、例えばギャラリーフォンブックファイル１５７記憶領域を共有してもよい。
【００３２】
一方、上記連動機能対応プログラム１５１は、上述した一連の機能によって生成される、或いは機能対応のために設ける情報をデータベース化して記憶部１５０に記憶するように対応してもよい。ここでデータベース化とは、唯一のキー(Ｕｎｉｑｕｅ Ｋｅｙ)を指定し、ユーザにとって特定情報を捜すことができることを意味する。
【００３３】
上述した上記連動機能対応プログラム１５１によるギャラリーフォンブック連動システム６０は、図２に示されるように６個のユースケース(Ｕｓｅ ｃａｓｅ)をサポートすることができる。すなわち、ギャラリーフォンブック連動システム６０は、フォトギャラリーユースケース６５、顔認識ユースケース６７、フォンコールユースケース６１、ファイルマネージャーユースケース６３、フォンブックユースケース６９、ストレージユースケース６８をサポートすることができる。
【００３４】
フォトギャラリーユースケース６５は、現在端末機１００で使用されている写真などのイメージを管理するアプリケーションのユースケース(Ｕｓｅ Ｃａｓｅ)である。特に、本発明のギャラリーフォンブック連動システム６０において、フォトギャラリーユースケース６５は、既に記憶された写真を検索する機能、すなわち、顔認識ユースケース機能を用いて顔認識を行い、顔認識を通じて収集された情報とフォンブック情報１５５に記憶された情報を比べて比較結果によってフォンブック情報１５５に含まれた電話番号を当該写真にリンクさせる機能をサポートする。またフォトギャラリーユースケース６５は、顔認識によってリンクされる資料に基づく直接通話及びＳＮＳ接続機能もサポートしてもよい。
【００３５】
顔認識ユースケース６７は、何らかのイメージや写真で認識された顔の位置情報も認識する機能をサポートする。このような顔認識ユースケース６７は、ある写真などに位置する少なくとも１つの顔の位置情報をユーザが認識できるように前述したようなボックス表示などを行うことをサポートしてもよい。さらに、顔認識ユースケース６７は、ある顔がある写真上で有する位置情報を写真の縦横軸を基準とする何らかの座標情報として提供する機能をサポートしてもよい。
【００３６】
フォンコールユースケース６１は、端末機１００の音声又は映像電話機能の実行をサポートする。特にフォンコールユースケース６１は、フォトギャラリーユースケース６５と直接連動されているから通話が終わると、復帰地点が端末機１００の待機状態ではなく、フォトギャラリー活性化画面に行くことをサポートしてもよい。
【００３７】
ファイルマネージャーユースケース６３は、写真の情報を管理しやすいように、情報別、属性別、日付別のインデックス付与が可能になるようにリストアップ(Ｌｉｓｔ ｕｐ)する機能をサポートする。フォトギャラリーユースケース６５では、各写真をファイル形態で管理するために、ファイルマネージャーユースケース６３の機能を拡張して用いる。例えば、フォトギャラリーユースケース６５は、ファイルマネージャーユースケース６３の機能に基づいて、写真を画面単位で一枚ずつ変化させながら見えたり、多くの枚を同時に見えたりするリストビューを提供する機能をサポートしてもよい。この時、ファイルマネージャーユースケース６３は、入力部１２０や表示部１４０などから入力される何らかの入力信号、例えばフリック(Ｆｌｉｃｋ)入力信号によって、フォトギャラリーユースケース６５を通じてビュー機能を提供する機能をサポートしてもよい。
【００３８】
フォンブックユースケース６９は、ユーザが登録した特定の端末機関連の連絡情報を記憶するユースケースである。フォンブックユースケース６９は、ユニーク(Ｕｎｉｑｕｅ)のインデックス情報を使う機能をサポートする。例えば、フォンブックユースケース６９は、別のＩＤを割り当てることなく、端末機１００のユーザに係る人の名前をインデックスキー(Ｉｎｄｅｘ−Ｋｅｙ)で活用する機能をサポートする。ここで、フォンブックユースケース６９で利用されるフォンブック情報１５５は、名前、少なくとも１つの電話番号、電子メールアドレス、家や会社住所情報、ＳＮＳ情報、その他のフィールドのうちの少なくとも１つのフィールドを含むデータタイプから構成されるとよい。さらに、フォンブック情報１５５は、本発明のギャラリーフォンブックファイル運用のためにさらに多い情報を有してもよいすなわち、本発明のフォンブック情報１５５は、上述した各フィールド情報のうちのいずれか１つだけでも運用されてもよく、追加で上述したフィールド情報によって定義されないメモや、タグ情報などのフィールドが追加されるデータタイプを有してもよい。
【００３９】
ストレージユースケース６８は、資料の記憶機能をサポートする。特に、本発明のギャラリーフォンブック連動システム６０において、ストレージユースケース６８は、フォトギャラリーとフォンブックで指定された資料の自然結合(Ｎａｔｕｒａｌ Ｊｏｉｎ)の結果、例えばギャラリーフォンブックファイル１５７を記憶する機能をサポートする。
【００４０】
一方、上記ギャラリーフォンブック連動システム６０は、外部アクター(Ａｃｔｏｒ)としてＳＮＳインターフェースアクター６４を有し、これは後述するＳＮＳインターフェースを通じる外部サーバとの連携機能をサポートするために用いることができる。上述するシステムユースケース図において、アクターはユーザアクター６２とＳＮＳインターフェースアクター６４がある。
【００４１】
ユーザアクター６２は、端末機１００を用いるユーザを意味する。一方、本発明で上記ユーザアクター６２は、他のシステムのインターフェースであってもよい。すなわち、ユーザアクター６２は、ギャラリーフォンブック連動システム６０におけるフォトギャラリーユースケース６５及びフォンブックユースケース６９に接続することができる他の端末機であってもよい。
【００４２】
ＳＮＳインターフェースアクター６４は、フォンブックとフォトギャラリーを介して完成されたデータベース(Ｄａｔａｂａｓｅ)にアクセスする外部システムであって、現在ソーシャルネットワーク(Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ)においてサービスとなっている、フェイスブック(Ｆａｃｅｂｏｏｋ：登録商標)、ツイッター(Ｔｗｉｔｔｅｒ：登録商標)、ミーツデー(Ｍｅ２ｄａｙ)などのサービスインターフェース(Ｓｅｒｖｉｃｅ Ｉｎｔｅｒｆａｃｅ)であってもよい。
【００４３】
上述した説明において、ギャラリーフォンブック連動システム６０を四角形で表示することは、内部システムと外部システムとの境界を意味する。すなわち、ユーザアクター６２が本発明のシステム機能を用いるためには、フォンブックユースケース６９とフォトギャラリーユースケース６５とに関する機能のみを介してアクセスすることができ、ソーシャルネットワークからはストレージユースケース６８に関する機能だけアクセスすることができるということを意味する。
【００４４】
上記制御部１６０は、本発明の実施形態によるギャラリーフォンブック連動機能への対応のための多様な信号フロー、データ処理外部接続制御、及びその他コマンド処理などをサポートする。このために、制御部１６０は以下の表1のように多様なクラスを含むとよい。
【００４５】
【表１】
2013242871.tif 000003
【００４６】
表１に示したように、制御部１６０は、フォトギャラリークラス、写真ファイルクラス、写真ファイルマネージャークラス、写真ファイルビューアークラス、フリッククラス、リストビュークラス、電話帳クラス、顔認識クラス、Ｐ＆Ｐシンク(Ｐｈｏｎｅｂｏｏｋ & ＰｈｏｔｏＧａｌｌｅｒｙ Ｓｙｎｃ) クラス、Ｐ＆Ｐデータベースクラス、記憶媒体クラス、外部ソーシャルネットワーククラスなどを含むことができる。ここで、フリッククラスは、一つの動作を表すだけであるので、全体ギャラリーフォンブック連動システム６０のクラスとして定義されず、フォトギャラリークラスのメソッド(Ｍｅｔｈｏｄ)として動作だけが定義されてもよい。上述した各クラスに対して図３乃至図１１を参照してより詳しく説明する。
【００４７】
図３は、本発明の連動対応機能のためのクラスのうち、フォトギャラリークラスを説明するための図面である。
【００４８】
図３を参照すれば、本発明のフォトギャラリークラスは、ｎＰｈｏｔｏＣｎｔ及びｎＶｉｅｗＴｙｐｅを内部属性として含むとよい。ここで、ｎＰｈｏｔｏＣｎｔは写真個数を記憶する属性を含んでもよく、ｎＶｉｅｗＴｙｐｅは実際の画面にどのように見せるかどうかに対する事項を含んでもよい。この事項は、ユーザによって選択される値により表されるとよい。上記フォトギャラリークラスは、オペレーション(Ｏｐｅｒａｔｉｏｎ)関数であって編集のためのＥｄｉｔ( )、追加のためのＡｄｄ( )、及び削除のためのＤｅｌｅｔｅ( )オペレーションを提供する。そして、フォトギャラリークラスは、実際のユーザに対して表示するＶｉｅｗ( )オペレーションを含んでもよい。また、フォトギャラリークラスは、顔認識クラスから受け取ったデータの位置を座標値で記憶するＣｏｏｒｄｉｎａｔｅＣａｌ( )オペレーションを含んでもよい。ＣｏｏｒｄｉｎａｔｅＣａｌ( )オペレーションは、座標値に対する事項をユーザに知らせるための別の動作をサポートしてもよい。
【００４９】
フォトギャラリークラスは、電話帳クラスとの連動のためにＳｙｎｃＰｈｏｎｅｂｏｏｋ( )オペレーションを含む。ＳｙｎｃＰｈｏｎｅｂｏｏｋ( )オペレーションは、電話番号と別のキーとに基づいて、Ｓｙｎｃ動作を行うが、本発明では「Ｎａｍｅ」をキーと定めてもよい。また、フォトギャラリークラスは、Ｐ＆Ｐデータベースクラスに対する連関クラスであってもよい。これは、フォトギャラリークラスとフォンブッククラスとが同期され、結合された後に関連資料をデータベース(Ｄａｔａｂａｓｅ)化して別途管理することをサポートすることを意味する。
【００５０】
図４は、本発明の連動対応機能のためのクラスのうち、フォンブッククラスを説明するための図面である。
【００５１】
図４を参照すれば、本発明のフォンブッククラスは、属性でＮａｍｅ、ＰｈｏｎｅＮｕｍｂｅｒ、Ａｄｄｒｅｓｓ、ＥｍａｉｌＡｄｄｒ、Ｍｅｍｏを含んでもよい。一方、上述したフォンブッククラスの属性は、データベースのフィールド(Ｆｉｅｌｄ)のようにユーザの要求やシステム設計や必要によって他の属性が追加されるなどの拡張及び特定属性を削除するなどの縮小が可能である。このようなフォンブッククラスは、レコードの追加、削除、編集、記憶の基本オペレーションを提供する。また、フォンブッククラスは、本発明のギャラリーフォンブック連動システム６０のためにＳｙｎｃＧａｌｌｅｒｙ( )オペレーションを含む。上記ＳｙｎｃＧａｌｌｅｒｙ( )オペレーションは、フォトギャラリークラスと強い連関を有するフォンブッククラスの基本機能としてＮａｍｅフィールドを用い、フォトギャラリークラスで提供される座標による当該のレコードとを同期をとる。このように同期がとられたレコードには、フォトギャラリークラスから渡された写真を当該レコードに記憶し、ユーザがフォンブックでも選択されたレコードを確認できることをサポートすることができる。
【００５２】
図５は、本発明のフォトギャラリークラス及びフォンブッククラスのデータ構造を説明するための図面である。
【００５３】
本発明のギャラリーフォンブック連動システム６０において、フォトギャラリークラス及びフォンブッククラスが互いに同期をとるためには、前述したようにＤＢファイル属性(Ａｔｔｒｉｂｕｔｅ)に該当するデータ構造を有するとよい。すなわち、フォトギャラリークラス及びフォンブッククラスは、イメージファイル以外にメタファイルを有してもよい。すなわち、イメージファイルが記憶されているフォトギャラリークラスでは、イメージファイル以外の示したようなファイル名（ＦｉｌｅＮａｍｅ）、ＸＹ位置（ＰｏｓｉｔｉｏｎＸＹ）、個人名（ＰｅｒｓｏｎｎａｌＮａｍｅ）のようなメタファイルを構成してなければならず、フォンブッククラスは、フォトギャラリークラスのメタファイルを唯一のキーとして同期ととらなければならない。ここで唯一のキーは、個人名(ＰｅｒｓｏｎｎａｌＮａｍｅ)であるとよい。データベースでは、唯一のキーが重複されることを防止できるフィールドを有することが普通であるが、端末機の場合、別にデータベースに対する唯一のキーを生成しなくても、人名を唯一のキーとして用いることができる。上記ＰｅｒｓｏｎｎａｌＮａｍｅをキーとして結合するとフォンブッククラスのデータベースに図５に示したようなフィールドが追加され、フォトギャラリークラスとの同期化(Ｓｙｎｃ)を完了することができる。ここで、同期化の完了は、フォトギャラリークラスでフォンブッククラスのデータを呼び出す準備が完了することを意味する。
【００５４】
図６は、本発明の実施形態による顔認識クラスを示す図面である。
【００５５】
図６を参照すれば、顔認識クラス(ＦａｃｅＤｅｔｅｃｔｉｏｎ Ｃｌａｓｓ)は、ＣｏｏｒｄｉｎａｔｅＶａｌ及びＣｏｏｒｄｉｎａｔｅＰａｒｅ属性を含むとよい。
【００５６】
顔認識クラスは、認識された顔の写真内の座標値をＣｏｏｒｄｉｎａｔｅＶａｌの属性に記憶する。そして顔認識クラスはＣｏｏｒｄｉａｔｅＰａｒｅ属性を用いて同一写真内でいくつかの認識された顔結果が出た場合、これを区分することができる。顔認識クラスでｎＰｈｏｔｏ( )は外部写真を受け入れる機能を行い、ＣｏｖｅｒｔＰｈｏｔｏ( )オペランドは顔を認識するために顔を除いた部分を陰影処理する機能を行う。ＦｉｎｄＦａｃｅ( )オペランドはＣｏｖｅｒｔＰｈｏｔｏ( )オペランドで陰影処理した部分以外の位置を確認し、顔に認識された部分の座標を返す。ＤｉｓｐｌａｙＳｑｕａｒｅ( )オペランドは、顔として認識された部分の画面外郭を反転、或いは別の外郭線を引くことによってユーザが選択をしやすく、位置を知らせる動作を行う。
【００５７】
図７及び図８は、本発明のＰｎＰデータベースクラス及び写真ファイルマネージャークラスを説明するための図面である。
【００５８】
写真ファイルマネージャークラスは、入力されたファイルの属性を把握し、ファイル管理のために追加、削除、編集のためのツリー(Ｔｒｅｅ)構造でファイルを記憶する。ＰｎＰデータベースクラスは、フォンブックにあるデータをデータベース化して管理する。これによって、ＰｎＰデータベースクラスはフォンブッククラスと関係づけられ、写真ファイルマネージャークラスは入力されたイメージファイルと関係づけられ、写真ファイルマネージャークラスは入力されるファイルのタイプを判定するために写真ファイルクラス(ＰｈｏｔｏＦｉｌｅ)に依存性を有する。
【００５９】
図９は、本発明のリストビュークラスを示した図面であり、図１０はサムネイルビュークラスを示した図面である。
【００６０】
図示するように、リストビュークラス及びサムネイルビュークラスは、ユーザの選択に応じて、ユーザに写真ファイルをリスト形態で表示するか、サムネイル形態で表示するかをサポートする。リストビュークラス及びサムネイルビュークラスのメソッドは、類似しているが、内部の動作や保持される内容は、リストビュー形態とサムネイル(Ｔｈｕｍｂｎａｉｌ)形態では非常に異なるから別途のクラスで区分した。
【００６１】
図１１は、本発明のギャラリーフォンブック連動システムの各クラス関連図を示すものである。
【００６２】
図１１を参照すれば、図示されるように、フォンブッククラスとフォトギャラリークラスとの連関に係わらず、フォンブッククラスのＳｙｎｃＧａｌｌａｅｒｙ( )とフォトギャラリークラスのＳｙｎｃＰｈｏｎｅＢｏｏｋ( )を用い、多(Ｍｕｌｔｉ)対(ｖｓ)多(Ｍｕｌｔｉ)の連関をもって相互同期化が行われる。フォンブッククラス及びフォトギャラリークラスの同期化されたデータは、ＰｎＰデータベースクラスによって記憶される。
【００６３】
図１２は、本発明の実施形態によるギャラリーフォンブック連動システムの状態図を示した図面である。
【００６４】
図１２を参照すれば、本発明のギャラリーフォンブック連動システムの運用状態は、６個の状態(ｓｔａｔｅ)を有する。すなわち、ギャラリーフォンブック連動システムの状態は、Ｉｄｌｅ、ＴａｋｅＰｈｏｔｏＦｉｌｅ、ＦａｃｅＤｅｔｃｔｉｏｎ、ＳｙｎｃＩｎｆｏｒ、ＩｎｐｕｔＩｎｆｏｒ、ＩｎｆｏｒＶｉｅｗ状態を有することができる。
【００６５】
アイドル(Ｉｄｌｅ)状態は、本発明のギャラリーフォンブック連動システムに進入した状態を示す。すなわち、フォンブック連動システム進入時の端末機１００はアイドル状態となる。このようなアイドル状態は、次の状態に行くための待機状態である。また、最初に本発明のギャラリーフォンブック連動システムを駆動した場合、端末機１００の初期化処理もアイドル状態で実行される。
【００６６】
ＴａｋｅＰｈｏｔｏＦｉｌｅ状態は、写真ファイルを取得するための状態であるとか、写真ファイルを取得した状態を意味する。すべてのデジタル写真はファイル形態で存在するから、本発明のギャラリーフォンブック連動システムでは、既に保管されている写真ファイルや、新たに撮影した写真も同じ写真ファイルとして認識されるとよい。
【００６７】
ＦａｃｅＤｅｔｅｃｔｉｏｎ状態は、読み取った写真ファイルの中からユーザが容易に写真の顔を選択することができるように、予め写真をスキャンし、認識された顔の位置を表示する状態である。このようなＦａｃｅＤｅｔｅｃｔｉｏｎ状態は、写真中に複数個の顔が存在する場合、それぞれの顔位置を特定効果、例えばボックス表示やハイライト処理などを介して表示する状態であってもよい。
【００６８】
ＳｙｎｃＩｎｆｏｒ状態及びＩｎｐｕｔＩｎｆｏｒ状態は、ユーザが写真を選択する場合、選択された写真にフォンブック情報をリンクしたりユーザ情報(Ｕｓｅｒ Ｉｎｆｏｒｍａｔｉｏｎ)を追加したりする場合の状態を含む。特に、ＳｙｎｃＩｎｆｏｒ状態は、既存のフォンブック情報のデータベースから読み込んだ写真とフォンブック情報とをリンクするようにする状態を含む。ＩｎｐｕｔＩｎｆｏｒ状態は、写真を通じてフォンブックのデータベースに新規に追加する場合、フォンブックデータベースに写真とフォンブックの新規データを追加する状態を意味する。
【００６９】
ＩｎｆｏｒＶｉｅｗ状態は、リストビュー状態又はサムネイル状態のうちのいずれか１つの状態で画面を構成する状態である。このようなＩｎｆｏｒＶｉｅｗ状態は、ユーザが予め指定した値がリストビュー状態を設定する値である場合、画面に出力される項目をリストビュー状態で表示し、ユーザが予め指定した値がサムネイル状態を設定する値である場合、サムネイル状態で画面を構成するようにサポートする。
【００７０】
上述の６個の状態に基づいて、本発明のギャラリーフォンブック連動システムは、ユーザが初めて端末機１００を活用しようとする場合、端末機１００をアイドル状態とする。このアイドル状態で上述したように初期化処理も実行され、すぐアイドル状態を終了される。つぎに、ユーザが写真を選択する場合、次の段階のＴａｋｅＰｈｏｔｏＦｉｌｅ状態に遷移する。
【００７１】
端末機１００は、ユーザが写真に表示されたいずれかの人物を容易に選択できるようにするために、人の顔を自動的に認識して表記するＦａｃｅＤｅｔｅｃｔｉｏｎ状態に遷移する。端末機１００は、ＦａｃｅＤｅｔｃｔｉｏｎ状態で既存のフォンブックデータとリンクするための入力信号を生成する場合、ＳｙｎｃＩｎｆｏｒ状態に遷移し、新規にフォンブックデータを生成する場合、ＩｎｐｕｔＩｎｆｏｒ状態に遷移する。上述した状態が終了し、全体写真を表示部１４０に表示する時はユーザが既に選択したビュー方式によってリストビューあるいはサムネイルビューによって写真を表示することができる。以後、端末機１００は、ユーザの次のアクションによってアイドル状態に戻って上述した状態を繰り返すようになる。
【００７２】
図１３は、本発明の実施形態によるギャラリーフォンブック連動機能を、ＳＮＳインターフェースを通じてソーシャルネットワークサービスと連携するためのシステム構成を概略的に示した図である。
【００７３】
図１３を参照すれば、連携システム１３００は、サーバ１３０３と少なくとも１つのクライアント１３０１を含んで構成されるとよい。ここで、クライアント１３０１は、本発明のギャラリーフォンブック連動システムを動作する端末機であるとよい。
【００７４】
このような構成により、連携システム１３００は不特定多数とネットワークを形成することができ、特定のグループとネットワークを形成することもできる。実際のクライアント(Ｃｌｉｅｎｔ)では、先にユースケースにおいて説明したように、ストレージユースケースの機能又はＤＢＭＳが、サーバ１３０３と接続できる。
【００７５】
上述した連携システム１３００において、フォンブック情報と同期がとられた情報を有している特定の人の写真をサーバ１３０３に割り当てられたアカウントに対しアップロードした場合、その特定の人と関係がある他のユーザが見たり編集したりすることができる。このために、連携システム１３００は、他のユーザがアップロードされた写真に情報を追加することができる編集機能を提供し、これを通じて他のユーザとの情報共有を誘導することができる。このようなサービス支援によって、連携システム１３００は、最初の写真をアップロードした特定人が別途の操作や管理の手間をかけなくても、その特定人と関係がある人々の情報を追加することによって、多くのソーシャル情報を得ることができるようにサポートし、その特定人の端末機においてその特定人の管理に従って追加的な情報更新を実現できるようにサポートする。
【００７６】
一方、本発明の実施形態によるギャラリーフォンブック連動システム６０のインターフェースは、標準ＡＰＩでＲｅａｄ／Ｗｒｉｔｅ/Ｄｅｌｅｔｅ／Ａｄｄ／ＥｄｉｔのＡＰＩを提供してもよい。さらに、本発明のギャラリーフォンブック連動システム６０は、写真に含まれる位置情報を提供するＡＰＩをさらに含んでもよい。上記位置情報を提供するＰｏｓｉｔｉｏｎ ＡＰＩは、写真上に位置する顔認識された特定人物のユーザ情報を提供することができ、写真に含まれた特定建物或いは特定のオブジェクトに関する情報を提供してもよい。さらに、写真の場合、ＳＮＳサーバ１３０３或いはクライアント１３０１の問題によって写真が送信される処理、或いはリサイジング(ｒｅｓｉｚｉｎｇ)する処理の過程で、位置情報がずれることがある。したがって、Ｐｏｓｉｔｉｏｎ ＡＰＩは、このようなずれを認識し、補正してくれる機能をサポートすることができる。例えば、ある人がＳＮＳサーバ１３０３にクライアント１３０１で接続した後、解像度が高い写真をアップロードし、その後、その人と関係がある別のユーザのクライアント１３０１がＳＮＳサーバ１３０３に接続して解像度が高い写真を見ようとしたとする。もし、本発明のギャラリーフォンブック連動システムが上述した高い解像度をサポートしていなければ、サーバ１３０３が写真のリサイジングを行ってもよい。この場合、ギャラリーフォンブック連動システムがリサイジングされた写真の位置に対する補正を行わない場合、他のクライアント１３０１に誤った情報が共有されることがある。また、ＳＮＳサーバ１３０３に接続する端末機が同じユーザの端末機であっても端末機の機器特性が異なる場合、すなわち高い解像度をサポートしない機器の場合、位置補正が必要な場合もある。これによって、ギャラリーフォンブック連動システムが具現化されるクライアント１３０１又はサーバ１３０３は、Ｐｏｓｉｔｉｏｎ ＡＰＩを用いて特定写真をリサイジングする処理の過程で当該写真に含まれる要素の位置調整などを補正することができる。
【００７７】
一方、写真とフォンブックとを連携する機能を実行する処理において、写真に含まれた人物に応じて、上記連動機能が制限されてもよい。このために、本発明の端末機１００は、特定の写真に対してフォンブック情報を連携する機能を制限するようにする機能をサポートしてもよい。これによって、特定の写真に対してフォンブック情報連動機能を制限した後、これをＳＮＳサーバ１３０３にアップロードした場合、他のユーザが当該写真を共有しても、任意にフォンブック情報にリンクさせることができないように制限することができる。
【００７８】
上述したように、本発明の実施形態による、端末機の機能連動方法及びこれをサポートする端末機は、写真中の特定人の顔を認識し、電話帳とリンクすることによって、イメージベースの直観的なユーザインターフェースに基づくフォンブック情報の操作をサポートする。
【００７９】
図１４は、本発明の実施形態によるギャラリーフォンブック連動機能をサポートする端末機１００の画面インターフェースの一例を示す図面である。
【００８０】
図１４を参照すれば、ユーザは端末機１００を操作する過程でギャラリー機能を呼び出すことができる。その際、端末機１００は、画面１４０１のようにギャラリー機能による画面を表示部１４０に出力することができる。例えば、表示部１４０は、多数個の写真をサムネイルビュー方式で表示することができる。これと共に、端末機１００は、本発明のギャラリーフォンブック連動機能を行うようにするための項目を提供することもできる。画面１４０１において、端末機１００は、このようなギャラリーフォンブック連動機能サポートのための仮想キーボタン１４を、画面の一つの側に出力することができる。また、端末機１００は、ギャラリーフォンブック連動機能サポートのためのメニューを別途のメニュー窓を通じて提供してもよい。これによって、ユーザは、端末機１００に基づく本発明のギャラリーフォンブック連動機能を実行するために、待機画面上でメニュー選択を通じてギャラリーフォンブック連動機能を実行するようにリクエストすることができる。
【００８１】
一方、ギャラリーフォンブック連動機能の活性化のための入力信号が発生すれば、端末機１００は、画面１４０３のようにギャラリーフォンブック連動機能によるギャラリーフォンブックファイル１５７を表示するようにサポートすることができる。このために、端末機１００は、各写真をそれぞれ顔認識することができる。そして、端末機１００は、顔認識された情報に基づいて、フォンブック情報１５５に同じ顔として搭載された情報があるかどうかを確認することができる。このために、端末機１００は、認識された顔とフォンブック情報１５５に登録された顔写真とを比較して、一致する顔写真を有したフォンブック情報１５５があるかどうかを確認することができる。そして、端末機１００は、一致するフォンブック情報１５５がある場合、画面１４０３のように各写真に対してフォンブック情報１５５がリンクされたことを表示することができる。
【００８２】
例えば、写真１４１０の場合、二人の顔が認識され、認識された各顔が記憶部１５０に記憶されたフォンブック情報１５５に含まれる特定の顔写真とマッチングされた場合を表している。これによって、端末機１００は、マッチングされた二つのフォンブック情報を写真１４１０にリンクさせるように制御することができる。この過程で、端末機１００は、認識された顔領域を囲むように点線ボックスを表示することによって、顔認識が成功し、認識された顔に対するフォンブック情報があることを知らせることができる。また、端末機１００は、認識された顔に該当するフォンブック情報があることを別途の領域、例えば写真１４１０の下端領域に「Ｆ１」、「Ｆ２」のように表示することができる。ここで「Ｆ１」及び「Ｆ２」は、フォンブック情報に含まれたユーザの名前、ニックネーム、電話番号などであってもよい。
【００８３】
同様に、端末機１００は、写真１４２０において顔認識を行い、認識された顔とマッチされるフォンブック情報を確認することができる。そしてマッチされるフォンブック情報が存在すると、端末機１００は、図示するようにリンクされたフォンブック情報があることを示すマーキングを行うことができる。すなわち、端末機１００は、顔輪郭に該当する点線枠を顔領域周辺に表示することができ、また認識された顔にマッチされるフォンブック情報のうちの少なくとも一部の情報を表示することができる。例えば、端末機１００は、フォンブック情報に含まれた情報の中で認識された顔にマッチされる名前情報に該当する「Ｆ３」を写真１４２０の領域内の一定空間に出力するようにサポートすることができる。そして、ユーザは、点線枠又は「Ｆ３」を選択することによってリンクされたフォンブック情報基盤の特定のユーザ機能を利用することができる。写真１４３０は、認識された顔にマッチされるフォンブック情報のみを写真中の一定領域に表示したものである。
【００８４】
一方、写真１４４０のように、顔認識処理を実行後、フォンブック情報の顔写真とマッチしない結果が得られた場合、端末機１００は、別に指定された一定テキスト情報を出力したり、点線ボックスを他のボックスと異なるように表示したりすることをサポートすることができる。例えば、端末機１００は、マッチされるフォンブック情報がない顔に対して「Ｗｈｏ？」という選択可能なテキスト情報を写真１４４０の一つの側に出力したり、点線ボックスを陰影処理してマッチされるフォンブック情報がないことを知らせたりすることができる。
【００８５】
ここで、ユーザがフォンブック情報のいずれにもマッチしない顔を選択する場合、端末機１００は、画面１４０５のように、新規のフォンブック情報の入力画面を出力することをサポートすることができる。この時、端末機１００は、顔認識処理の過程で認識された顔写真をキャプチャーして新規のフォンブック情報の顔写真として利用することができ、名前、電話、電子メール、住所などを直接入力することができる。一方、上記写真１４４０がフォンブック情報とリンクされた写真の場合、端末機１００は、ユーザの新規データ生成リクエストによって写真１４４０にリンクされたフォンブック情報を自動で抽出し、画面１４０５において、名前、電話、電子メール、住所などの情報を自動で表示するように制御することができる。このために、写真１４４０は前述したようにフォンブック情報がリンクされたギャラリーフォンブックファイルから構成されるとよく、このようなギャラリーフォンブックファイルは、他のユーザ又は特定サーバが連動して各々の人物に対してフォンブック情報を提供して生成されたファイルであるとよい。
【００８６】
一方、ユーザが写真１４１０において特定人物を選択する信号を入力する場合、つまり、例えば、ユーザが「Ｆ２」に表示された領域を選択したり、「Ｆ２」に対応する顔の点線ボックスを選択した場合、端末機１００は、画面１４０７のように選択された顔とリンクされたフォンブック情報に基づいて通話機能を行うことをサポートすることができる。ここで、端末機１００は、自動で「Ｆ２」に対応するユーザの端末機と音声通話の接続を試みたり又は映像通話の接続を試みたりすることができる。又は、端末機１００は、音声又は映像通話のうちのいずれか１つを選択するためのポップアップウインドウを出力し、選択された通話方法による接続を試みることができる。
【００８７】
さらに、端末機１００は、写真１４５０のように、顔認識処理によって、顔が含まれていないと認識された写真の場合、何も情報を表示しないとか、図示するように認識された顔がないことを示す情報、例えば、「Ｎｏｎｅ」を写真に隣接された領域或いは写真内に出力することができる。
【００８８】
一方、上述した説明では、ギャラリーに含まれるすべての写真に対してギャラリーフォンブック連動機能を行い、それによるギャラリーフォンブックファイル１５７を表示することを説明したが、本発明はこれに限定されるものではない。すなわち、ギャラリーフォンブック連動機能が行われた状態で、ユーザが指定した特定写真ファイル又はデフォルトで設定された特定写真ファイルに対してのみギャラリーフォンブック連動機能が行われ、当該写真ファイルに該当するギャラリーフォンブックファイル１５７が表示部１４０に出力されてもよい。
【００８９】
また、ギャラリーフォンブック連動機能は、ユーザが特定の写真の特定の顔を指定する場合に行うこともできる。これをより詳しく説明すれば、端末機１００は、ギャラリーフォンブック連動機能が活性化された状態では顔認識のみを行って、認識に成功した顔がその特定の写真にあることを表示する状態のみをサポートしてもよい。そして、ユーザが認識された顔のうち、特定の顔を選択する場合、端末機１００は、指定された顔とマッチされる顔写真を有したフォンブック情報を検索し、これを認識された顔にリンクさせることができる。ここで、端末機１００は、検索されたフォンブック情報を当該写真に添付してギャラリーフォンブックファイルを生成することができる。ギャラリーフォンブックファイルが生成された場合、端末機１００は、別途のフォンブック情報検索を行わなくても、写真に含まれたフォンブック情報を認識された顔にリンクさせることをサポートすればよい。
【００９０】
一方、上述した説明では、ギャラリーフォンブック連動機能は、ギャラリー機能の表示画面から実行される場合を説明したが、本発明がこれに限定されるものではない。すなわち、上記ギャラリーフォンブック連動機能はフォンブック機能の表示画面から実行されてもよい。このために、端末機１００は、ギャラリーフォンブック連動機能が実行されるための仮想キーボタン１４を、フォンブック機能の表示画面上に出力するようにサポートしてもよい。或いは、端末機１００は、待機画面状態で特定のホットキー入力や特定んメニュー選択を通じてギャラリーフォンブック連動機能が実行されるようにサポートされてもよい。
【００９１】
図１５は、本発明の実施形態によるギャラリーフォンブックファイルの表示方法を説明するための図面である。
【００９２】
図１５を参照すれば、端末機１００は、フォンブック情報と写真ファイルとをリンクして生成したギャラリーフォンブックファイルを提供することができる。より詳細には、端末機１００は、図示するように、カテゴリー別に区分してギャラリーフォンブックファイルを提供することができる。このとき、カテゴリー別の区分は、当初のギャラリーに記憶された写真による区分であってもよい。すなわち、ギャラリーフォンブックファイルは、端末機１００が提供するギャラリー機能の写真カテゴリー区分によって自動に生成されてもよい。例えば、ギャラリー機能で示した画面１５０１のように「家族」、「友達」、「会社」などのカテゴリー別に写真が分類されている場合、ギャラリーフォンブックファイルは、これを引き継いで同じカテゴリーを有してもよい。或いは、ユーザが直接ギャラリーフォンブックファイルのカテゴリーを生成して、新たに生成されたギャラリーフォンブックファイルをカテゴリー別に分類して記憶することによってカテゴリーを区分してもよい。
【００９３】
画面１５０１では、「家族」カテゴリーが選択された場合を示しており、「家族」カテゴリーに属する特定の写真がデフォルトで表示部１４０中の大部分の領域に出力されている。この時、「家族」ギャラリーフォンブックファイルは、写真に含まれた顔が選択可能であることを示す顔領域周辺の点線枠又はテキスト情報を当該写真内に含んでもよい。認識された顔領域の各々は、事前に顔認識された結果によって当該フォンブック情報がリンクされた状態を示すことができる。これによって、ユーザは、特定の点線枠領域を選択したり又は特定のテキスト情報を選択したりして、選択された領域や情報にリンクされたフォンブック情報に基づく通話機能を利用することができる。ここで、通話機能は、文字メッセージサービス、音声通話サービス、映像通話サービスの中で少なくとも１つが自動で実行されたり、特定のサービス選択のための画面が出力されたりしてもよい。画面１５０１において、ユーザは、一定方向のフリック動作などに相当するタッチイベントを発生させて、家族関連の他の写真を検索することができる。他の家族関連写真は、家族構成員の中の一部の家族構成員の顔を含む写真であってもよく、当該写真に含まれた顔もフォンブック情報とリンクされた状態を有するとよい。
【００９４】
画面１５０３は、写真中で認識された顔にフォンブック情報がリンクされたギャラリーフォンブックファイルを示したものであり、画面１５０１と比べて表示方式が異なるように適用された状態を示している。すなわち、端末機１００は、ギャラリーフォンブックファイルを表示する時、一画面に多数個の写真をサムネイルビュー方式で表示することができる。そして、端末機１００は、各写真に含まれた認識顔に相当するフォンブック情報のうちの少なくとも一部を写真の一定領域、例えば写真の下端領域にテキスト情報で現すことができる。これによって、ユーザは、写真の下端に表示されたテキスト情報のうちのいずれかの１つを選択して通話機能を実行することができる。ここで、端末機１００は、写真に表われた各顔の配置位置によってフォンブック情報に相当するテキスト情報の配置位置を決定することができる。例えば、画面１５０３において、画面１５１０には３人の顔が配置され、それによってテキスト情報を３つの領域に分離して表示されている。ユーザは、顔の配置位置とテキスト情報の配置位置をそれぞれ確認して特定顔と並んで配置されたテキスト情報を選択することによって、当該顔に対応するフォンブック情報に基づいて通話機能を実行することができる。同様の方法で、画面１５３０には２人の顔が配置され、それによってテキスト情報も２つの領域に分離して表示されている。なお、図示された図面ではテキスト情報の配置が長さ方向に均等に配分された形態で表されているが、本発明はこれに限定されるものではない。すなわち、端末機１００は、写真に表示された顔の配置位置が並ぶ向きと平行な方向に並んでフォンブック情報がリンクされたテキスト情報を出力するように表示することもできる。
【００９５】
画面１５０５は、「会社」カテゴリーが選択され、「会社」カテゴリーに属する写真の一部の写真を示したものである。ここで、画面１５０５は、代表写真又は選択された写真を一定割合の大きい写真で表し、残りの写真をサムネイルビュー方式で表したものである。サムネイルビュー方式に表示される写真には、当該の写真がいつ撮影された写真なのかに関する時間情報の少なくとも一部が表示されたり、当該の写真が撮影された場所情報の少なくとも一部が表示されたりしてもよい。サムネイルビュー方式に表示された特定の写真を選択する場合、一定割合の写真領域に表示される写真が選択された写真に変更されるとよい。一方、選択された写真が一定割合に表示される領域において、端末機１００は、認識された顔とマッチするフォンブック情報がない顔に対して一定のマーク、例えば、クェスチョンマークを表示することができる。ユーザは、クェスチョンマークを選択したり又はクェスチョンマークが表示された顔を選択したりした場合、図１４において説明した画面１４０５画面が出力されてもよい。
【００９６】
上述した説明では、カテゴリー毎に互いに異なる表示方法で表示された状態を説明したが、本発明はこれに限定されるものではなく、ユーザ操作によって特定のカテゴリーの表示方法が調整されてもよい。これによって、すべてのカテゴリーを、同じ表示方法によって表示することもでき、さらに上述したように、互いに異なる表示方法によって表示することもできる。
【００９７】
以上で説明したように、本発明の実施形態による機能連動をサポートする端末機及びサポート方法は、ギャラリー機能に含まれる写真とフォンブック機能に入力されたフォンブック情報を相互にリンクすることによって、写真に基づいてフォンブック基盤の通話機能を実行することをサポートする。これによって、ユーザが名前や電話番号などのテキスト情報を通じて情報を認識するのではなく、顔のようなイメージを通じて情報を認識した後、これに基づいて特定の機能を利用するようにサポートすることができる。その結果、本発明は、ユーザがイメージを通した正確な状況認識を行うことを支援し、通話接続過程の時にも相手が正確にどんな人物なのかをユーザが認識した状態で行うことを実現する。例えば、フォンブックに登録された名前が同じであっても電話番号の異なる場合があり得るが、ユーザは、写真に表示された顔を確認し、当該顔を有するユーザと通話を行うようにすることで、ユーザが意図する機能利用をより正確に行うことができる。
【００９８】
上述するギャラリーフォンブックファイルの場合、前述したようにクラウドサービスなど多数のユーザがアクセス可能になるように設定された特定サーバに搭載されるかもしれない。このとき、搭載されるギャラリーフォンブックファイルは、顔を含む写真と、当該顔にリンクされたフォンブック情報を含むことができる。これによって、当該ファイルを確認する他のユーザが特定の写真に含まれる人物のフォンブック情報をより適切に獲得することができる。
【００９９】
一方、端末機１００は、フォンブック情報がリンクされたギャラリーフォンブックファイルを外部から受信する場合、当該写真に記憶されたフォンブック情報に基づいてフォンブック情報を更新することをサポートすることができる。これをより詳しく説明すれば、端末機１００は、フォンブック情報が写真内の特定の顔とリンクされたギャラリーフォンブックファイルを受信すると、当該ギャラリーフォンブックファイルにおいて顔認識によって認識された顔情報とフォンブック情報とを自動で抽出することができる。そして、端末機１００は、当該顔情報にマッチされる既存フォンブック情報が存在することを確認することができる。この過程でマッチされる既存フォンブック情報が存在する場合、フォンブック情報に含まれる情報とギャラリーフォンブックファイルに含まれるフォンブック情報とが一致するのか確認する。そして、一致しない場合、ギャラリーフォンブックファイルから抽出されたフォンブック情報を用いて記憶部１５０のフォンブック情報を更新するように制御することができる。このとき、端末機１００は、フォンブック情報生成日又は更新日と収集されたギャラリーフォンブックファイルのフォンブック情報入力日を確認する。そして、ギャラリーフォンブックファイルのフォンブック情報が相対的に新しい情報の場合、記憶部１５０のフォンブック情報を更新するように制御することができる。そして、ギャラリーフォンブックファイルのフォンブック情報が相対的に古い情報の場合、端末機１００は、記憶部１５０に記憶されたフォンブック情報に基づいてギャラリーフォンブックファイルのフォンブック情報を更新するように制御することができる。一方、端末機１００は、顔情報とマッチされるフォンブック情報がない場合、新規フォンブック情報を自動で生成し、生成されたフォンブック情報にギャラリーフォンブックファイルで抽出したフォンブック情報を入力するように制御することができる。
【０１００】
一方、上述した端末機１００は、その提供形態によって多様な追加モジュールをさらに含んでもよい。すなわち、上記端末機１００は、通信端末機である場合、近距離通信のための近距離通信モジュール、上記端末機１００の有線通信方式又は無線通信方式によるデータ送受信のためのインターフェース、インターネットネットワークと通信してインターネット機能を実行するインターネット通信モジュール及びデジタル放送受信と再生機能を実行するデジタル放送モジュールなどのように上記で言及されていない構成をさらに含むこともできる。このような構成要素は、デジタル機器の コンバージェンス(ｃｏｎｖｅｒｇｅｎｃｅ)趨勢によって非常に多様に変形されるので全部列挙することはできないが、上記言及された構成要素と同等の水準の構成要素が上記デバイスに追加でさらに含まれて構成されてもよい。さらに、本発明の端末機１００は、その提供形態によって、上記の構成から特定構成が除かれたりその他の構成に代わったりすることもあることは勿論である。これは、本技術分野の通常の知識を有する者には容易に理解できる。
【０１０１】
また、本発明の実施形態による上記端末機１００は、マイクを用いてオーディオ信号を収集するすべての形態のデバイスを含んでもよい。 例えば、上記携帯端末機１００は、多様な通信システムに対応する通信プロトコル(ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ)に基づいて動作するすべての移動通信端末機(ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｅｒｍｉｎａｌｓ)を初めとして、ＰＭＰ(Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ)、デジタル放送プレーヤー、ＰＤＡ(Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ)、音楽再生機(例えば、ＭＰ３プレーヤー)、携帯ゲーム端末、スマートフォン(Ｓｍａｒｔ Ｐｈｏｎｅ)、ノートブック(Ｎｏｔｅｂｏｏｋ)、及びハンドヘルドＰＣ等すべての情報通信器機とマルチメディア機器及びそれに対する応用機器を含んでもよい。
【０１０２】
一方、本明細書と図面を通じて、本発明の好ましい実施形態に対して説明した。たとえば、特定の用語が使用されているが、これはただ本発明の記述内容を容易に説明して発明の理解を助けるための一般的な意味で使用されたものであるに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施形態以外にも本発明の技術的思想に基づいた他の変形例が実施可能であるということは、本発明が属する技術分野で通常の知識を有する者に自明なものである。
【符号の説明】
【０１０３】
１００端末機
１１０通信部
１２０入力部
１３０オーディオ処理部
１４０表示部
１５０記憶部
１６０制御部
６０  ギャラリーフォンブック連動システム
【図１】
2013242871.tif 000004
【図２】
2013242871.tif 000005
【図３】
2013242871.tif 000006
【図４】
2013242871.tif 000007
【図５】
2013242871.tif 000008
【図６】
2013242871.tif 000009
【図７】
2013242871.tif 000010
【図８】
2013242871.tif 000011
【図９】
2013242871.tif 000012
【図１０】
2013242871.tif 000013
【図１１】
2013242871.tif 000014
【図１２】
2013242871.tif 000015
【図１３】
2013242871.tif 000016
【図１４】
2013242871.tif 000017
【図１５】
2013242871.tif 000018