(57)【要約】【課題】表示画面上の任意の画像から入力処理のインタフェースを構築可能な携帯端末装置を提供する。【解決手段】表示部１５は画像を表示し、制御部２０は、表示された画像を輪郭抽出することにより複数のオブジェクトを抽出し、抽出したオブジェクトに対して、キー入力部１３が備える複数のキーを割り付ける。【選択図】図１
2005216170.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも画像を表示する表示手段と、
操作手段と、
前記表示手段に所定の画像を表示させている間に、前記操作手段に対する所定の操作がなされると、前記所定の画像からオブジェクトを抽出し、抽出したオブジェクトに対して、一の機能を対応付け、さらに、オブジェクトが前記操作手段により指定されると、指定されたオブジェクトに対応付けられた機能を実行する制御手段と
を有する携帯端末装置。
【請求項２】
オブジェクトは、当該オブジェクトの表示領域を含んで構成される指定領域と関連付けられ、
前記制御手段は、
前記操作手段により前記指定領域が指定されることをもって、当該指定領域に関連付けられたオブジェクトが指定されたと判断する
ことを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記制御手段は、
オブジェクトの表示領域に収まる最大の矩形である第１の矩形と、前記オブジェクトの表示領域を収めることのできる最小の矩形である第２の矩形と、を算出し、
前記第１の矩形と前記第２の矩形の中間の大きさの矩形である第３の矩形内の領域を、指定領域として前記オブジェクトに関連付ける
ことを特徴とする請求項２記載の携帯端末装置。
【請求項４】
前記制御手段は、
前記表示手段に所定の画像を表示させている場合に、前記操作手段に対する所定の操作がなされると、前記表示手段が表示可能な最大表示領域を所定数の複数の領域に分割し、前記複数の領域のそれぞれについて、オブジェクトを抽出する
ことを特徴とする請求項１乃至３のいずれか一に記載の携帯端末装置。
【請求項５】
前記制御手段は、
前記複数の領域のうち少なくとも一の領域において、オブジェクトが抽出できない場合には、前記所定数を減少させる
ことを特徴とする請求項４記載の携帯端末装置。
【請求項６】
前記操作手段は、複数のキーを備え、
前記複数の領域の各領域は、前記複数のキーに対応して分割され、
前記制御手段は、
前記複数のキーのうち一のキーが操作されることをもって、前記一のキーに対応する領域から抽出されたオブジェクトが指定されたと判断する
ことを特徴とする請求項４記載の携帯端末装置。
【請求項７】
前記制御手段は、
入力処理に対応付けられたオブジェクトを、入力処理に対応付けられていないオブジェクトと、区別して表示させる
ことを特徴とする請求項１乃至６のいずれか一に記載の携帯端末装置。
【請求項８】
表示部と、操作部と、を有する情報処理装置の入力処理方法であって、
前記表示部に所定の画像を表示させるステップと、
前記操作部に対する所定の操作を行うステップと、
前記所定の操作に応じて、前記所定の画像からオブジェクトを抽出するステップと、
抽出したオブジェクトに対して、一の機能を対応付けるステップと、
前記操作部によりオブジェクトを指定するステップと、
指定されたオブジェクトに対応付けられた機能を実行するステップと
を有することを特徴とする情報処理装置の入力処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば携帯電話機のように、画像を表示可能な携帯端末装置および情報処理装置の入力処理方法に関するものである。
【背景技術】
【０００２】
従来、携帯電話機に代表される携帯端末装置には、複数のキーが設置され、かかる複数のキーに対するキー操作を行うことで、ユーザが携帯電話機が有する様々な機能を選択して実行させることができるように構成されている。
かかるキー操作は、昨今、携帯電話機が有する機能が増加するにつれて、複雑化されており、ユーザが選択したい機能を素早く見つけることができるような入力方法について、様々な技術が提案されている。
たとえば、下記特許文献１には、機能を図形化したアイコンとして表示し、これらを階層表示させることにより、ユーザにとって機能を認識しやすくさせる技術が開示されている。
【０００３】
【特許文献１】特開平１１−２３７９４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、近年、携帯端末装置の小型化が進んだことから、表示画面を大型化することにも物理的に限界があり、機能を図形化したアイコンをわかりやすく、かつ、他の表示物に影響をできるだけ与えないように表示させる技術が要望される。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、その目的は、表示画面上の任意の画像から入力処理のインタフェースを構築可能な携帯端末装置および情報処理装置の入力処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明の第１の観点は、少なくとも画像を表示する表示手段と、操作手段と、前記表示手段に所定の画像を表示させている間に、前記操作手段に対する所定の操作がなされると、前記所定の画像からオブジェクトを抽出し、抽出したオブジェクトに対して、一の機能を対応付け、さらに、オブジェクトが前記操作手段により指定されると、指定されたオブジェクトに対応付けられた機能を実行する制御手段とを有する携帯端末装置である。
【０００７】
好適には、オブジェクトは、当該オブジェクトの表示領域を含んで構成される指定領域と関連付けられ、前記制御手段は、前記操作手段により前記指定領域が指定されることをもって、当該指定領域に関連付けられたオブジェクトが指定されたと判断する。
【０００８】
好適には、前記制御手段は、オブジェクトの表示領域に収まる最大の矩形である第１の矩形と、前記オブジェクトの表示領域を収めることのできる最小の矩形である第２の矩形と、を算出し、前記第１の矩形と前記第２の矩形の中間の大きさの矩形である第３の矩形内の領域を、指定領域として前記オブジェクトに関連付ける。
【０００９】
好適には、前記制御手段は、前記表示手段に所定の画像を表示させている場合に、前記操作手段に対する所定の操作がなされると、前記表示手段が表示可能な最大表示領域を所定数の複数の領域に分割し、前記複数の領域のそれぞれについて、オブジェクトを抽出する。
【００１０】
上記目的を達成するために本発明の第２の観点は、表示部と、操作部と、を有する情報処理装置の入力処理方法であって、前記表示部に所定の画像を表示させるステップと、前記操作部に対する所定の操作を行うステップと、前記所定の操作に応じて、前記所定の画像からオブジェクトを抽出するステップと、抽出したオブジェクトに対して、一の機能を対応付けるステップと、前記操作部によりオブジェクトを指定するステップと、指定されたオブジェクトに対応付けられた機能を実行するステップとを有する。
【発明の効果】
【００１１】
本発明によれば、表示画面上の任意の画像に基づいて入力処理のインタフェースが構築でき、ユーザにとって操作の快適性が向上する利点がある。
【発明を実施するための最良の形態】
【００１２】
実施形態
以下、本発明に係る携帯端末装置の実施形態を添付図面に関連付けて説明する。
図１は、本発明の携帯端末装置としての携帯電話機１のシステム構成の一例を図解したブロック図である。図２は、携帯電話機１の外観の一例を図解した図である。
【００１３】
図１に示すように、携帯電話機１は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、操作手段としてのキー入力部１３と、スピーカ１４１およびマイクロフォン１４２を含む音声処理部１４と、表示手段としての表示部１５と、パネル入力部１６と、制御手段としての制御部２０とを有している。
以下、携帯電話機１を構成する各構成要素、および、携帯電話機１が実行する処理内容について述べる。
【００１４】
通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部２０で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部２０に出力する。たとえば、後述する表示部１５に表示する画像のデータを、通信処理部１１による無線通信を介して取得してもよい。
なお、送受信アンテナ１１１は、携帯電話機１の本体に内蔵され、図２において外部に露出されていない。
【００１５】
メモリ１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
また、メモリ１２は、後述するオブジェクト抽出処理の基礎となる画像データを記憶する。携帯電話機１は、かかる画像データを、たとえば、通信処理部１１を介して無線通信により取得してメモリ１２に記憶する。
メモリ１２は、制御部２０により抽出されるオブジェクトに関するデータを記憶する。オブジェクトに関するデータには、後述するオブジェクトの輪郭位置情報や指定領域、割り付けられた機能が、各オブジェクト毎に存在する。
【００１６】
キー入力部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部２０に出力する。
キー入力部１３は、図２に示すように、４×３のマトリックス上に、上記複数のキーを配置する。
本実施形態においては、ユーザがキー入力部１３の中の所定のキーを押下（操作）することにより、後述するオブジェクト抽出処理、割付け処理等が開始される。
【００１７】
音声処理部１４は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１４１と音声入力を行うマイクロフォン１４２とが接続されている。
音声処理部１４は、マイクロフォン１４２により集音した音声に対して所定の処理を行って制御部２０に供給する。
また、音声処理部１４は、制御部２０により供給された音声情報に対して所定の処理を行ってスピーカ１４１から出力させる。
【００１８】
表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、メモリ１２が記憶する画像データを表示可能に構成される。
【００１９】
パネル入力部１６は、いわゆるタッチパネル式の入力部であり、ユーザが表示部１５のＬＣＤ等に触れる（タッチ）ことにより、ユーザがタッチした位置を検出し、ユーザの入力情報として制御部２０へ出力する。
タッチパネル式の入力方式としては、表示パネルの表面電荷の変化をとらえて位置検出を行う静電容量方式、表示パネル表面に取り付けたフィルム面の電位により位置検出を行う抵抗膜方式など様々な技術をパネル入力部１６に適用することが可能である。
【００２０】
制御部２０は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部２０は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１４に対する音声情報の処理、表示部１５への情報の表示制御、キー入力部１３およびパネル入力部１６からの入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
【００２１】
さらに、制御部２０は、画像データに基づくオブジェクト抽出処理、抽出したオブジェクトに対する割付け処理、および、オブジェクトの指定領域の決定処理を行う。
以下、制御部２０が実行する上記処理について順に説明する。
【００２２】
オブジェクト抽出処理
まず、制御部２０は、メモリ１２が記憶する画像データに基づいて、画像を表示部１５に表示させるとともに、表示された画像に対してオブジェクト抽出処理を行う。
図３は、オブジェクト抽出処理について説明するための画像の一例である。
オブジェクトの抽出処理の元データとなる画像は、たとえば、カメラ機能が内蔵されている場合には当該カメラ撮影により得られた画像でもよいし、電子メールに添付された画像、メモリカード等の外部メディアから読み込まれた画像、通信デバイス（赤外線通信，短距離通信等）を介したデータ通信により得られた画像、インターネットの任意のＷＥＢ上からダウンロードされた画像でもよい。
かかる画像データが一旦メモリ１２に記憶され、制御部２０によりメモリ１２から読み出されて、表示部１５に表示される。その際には、表示部１５の画面サイズに最適化されるように、必要に応じて、元データとなる画像が拡大／縮小されて表示される。
【００２３】
オブジェクト抽出処理では、表示部１５に表示された画像上に表現されたオブジェクト（独立した対象）を、画像から抽出することが行われる。たとえば、図３に例示する画像では、オブジェクトＯＢＪ１（「太陽」）と、オブジェクトＯＢＪ２，ＯＢＪ３（「雲」）と、オブジェクトＯＢＪ４，ＯＢＪ５（「木」）と、オブジェクトＯＢＪ６（「家」）の６個のオブジェクトが含まれており、これらのオブジェクトを画像から抽出することがオブジェクト抽出処理により行われる。
【００２４】
オブジェクト抽出処理は、表示部１５に表示された画像に対して、輪郭抽出処理（エッジ抽出処理）を行うことにより実行される。
輪郭抽出処理（エッジ抽出処理）は、画像の輝度値や色の濃淡に着目し、これらのデータ（色データ）が急激に変化するエッジ部分を検出することにより行われる。
具体的には、隣接画素間の色データの差分値に基づく色データの１次微分（グラディエント）の大きさと方向から、輪郭の強さと方向を算出する方法、さらに、輪郭の強さを検出するために２次微分（ラプラシアン）を用いる方法、等の技術を適用することができる。また、表示された画像の中から、同系色に着目して輪郭抽出を行ってもよい。
オブジェクト抽出処理により、表示部１５に表示された画像中の各オブジェクトが抽出される。
【００２５】
ブロック単位のオブジェクト抽出処理
制御部２０は、後述するオブジェクト割付け処理のために、表示部１５を所定の数に分割した各ブロック毎に、上述したオブジェクト抽出処理を実行する。
図４は、図３に例示した画像を表示する表示部１５を、４×３のブロックに分割した場合について例示する。なお、以下の説明においては、縦のブロック座標をＸ，横のブロック座標をＹとして、表示部１５中においては、ブロック座標として、ブロックＢ（Ｘ，Ｙ）と表現する。
図４においては、キー入力部１３が有する４×３のキー配置（図２参照）に一致させるように、オブジェクト抽出処理のためのブロックを定義している。
【００２６】
オブジェクト抽出処理は、Ｂ（１，１），Ｂ（１，２），Ｂ（１，３），Ｂ（２，１），…，の各ブロックの順に行われる。
図４に示す例では、ブロックＢ（１，１）においてオブジェクト抽出処理を行うことにより、オブジェクトＯＢＪ１が抽出され、また、ブロックＢ（４，１）においてオブジェクト抽出処理を行うことにより、オブジェクトＯＢＪ４が抽出され、また、ブロックＢ（４，３）においてオブジェクト抽出処理を行うことにより、オブジェクトＯＢＪ６が抽出される。
なお、同一のブロックにおいて、複数のオブジェクトが抽出された場合には、抽出された複数のオブジェクトの中で最大のオブジェクトを抽出する。
【００２７】
オブジェクト抽出処理においては、閉領域をオブジェクトとして認識する。
オブジェクトが複数のブロックに跨がっているために、１つのブロックにおけるオブジェクト抽出処理では閉領域として認識されなかった場合には、そのオブジェクトは無視され、抽出されない。
たとえば、図４に示すオブジェクトＯＢＪ３は、すべての閉領域がブロックＢ（２，３）に収まっていないため、ブロックＢ（２，３）に対するオブジェクト抽出処理においては、オブジェクトとして抽出されない。
【００２８】
制御部２０は、上記１２ブロックに対して、それぞれオブジェクト抽出処理が終了させると、ブロック数を減少させて、再度各ブロックに対してオブジェクト抽出処理を行う。これにより、上記１２ブロック分割では、１つのブロックにおけるオブジェクト抽出処理では閉領域として認識されなかった場合や、オブジェクトが存在しないブロックがあった場合でも、オブジェクトを抽出することが可能となる。
【００２９】
図５は、図３に例示した画像を表示する表示部１５を、２×２のブロックに分割した場合について例示する。
図５においては、オブジェクトＯＢＪ１，ＯＢＪ４，ＯＢＪ６については既に上記１２ブロックでのオブジェクト抽出処理により抽出済であるので、図示していない。
制御部２０は、１２ブロックの場合と同様に、順に、ブロックＢ（１，１）〜Ｂ（２，２）についてオブジェクト抽出処理を行い、ブロックＢ（１，１）からオブジェクトＯＢＪ２を、ブロックＢ（１，２）からオブジェクトＯＢＪ３を、ブロックＢ（２，１）からオブジェクトＯＢＪ５を、それぞれ抽出する。
【００３０】
以上のように、各ブロック毎にオブジェクトを抽出すると、制御部２０は、各オブジェクトの輪郭についての位置情報（輪郭位置情報）をメモリ１２に記憶させる。
【００３１】
オブジェクトの割付け処理
表示部１５に表示された画像からオブジェクトが抽出されると、制御部２０は、抽出された各オブジェクトに対する機能割付け処理を行う。
機能割付け処理は、様々な方法をとることができる。
【００３２】
（Ａ）キー入力部１３のキーへの割付け処理
上述したように、オブジェクト抽出処理では、キー入力部１３が有する４×３のキー配置（図２参照）に一致させるように、表示部１５の画面をブロック毎に分割して実行したので、制御部２０は、各ブロック毎に抽出されたオブジェクトをそれぞれ対応するキーに割り付ける。
たとえば、制御部２０は、図２に示すキー入力部１３の４×３のキー配置において、左列の最上部のキーが数字の「１」のためのキーである場合には、図４に示す画像において、ブロックＢ（１，１）から抽出されたオブジェクトＯＢＪ１（「太陽」）を割り付ける。
【００３３】
制御部２０は、パネル入力部１６から入力される入力位置情報と、メモリ１２が記憶する各オブジェクトの輪郭位置情報とを比較し、入力位置がオブジェクトの輪郭位置が示す領域内である場合には、該当するオブジェクトに割り付けられたキーが操作されたものと判断し、当該キーに対する処理を行う。
たとえば、図４において、ユーザが表示部１５上に表示された画像の「太陽」の部分を指等でタッチすると、パネル入力部１６は、表示部１５上に表示された画像の「太陽」の部分に相当する入力位置を検出して、検出した入力位置情報を制御部２０に出力し、制御部２０は、入力位置がオブジェクトの輪郭位置内となるオブジェクトをメモリ１２から検索する。その結果、オブジェクトＯＢＪ１が検索され、オブジェクトＯＢＪ１に割り付けられた数字キー「１」に応じた入力処理を行う。
【００３４】
なお、４×３のブロックのうち、一部のブロックについてオブジェクトが抽出できなかった場合には、上述したように、たとえば、２×２のブロック構成により再度抽出処理を行うが、その際に抽出されたオブジェクトについては、４×３のブロックにおいて何もオブジェクトが抽出されなかったブロックに対応するキーに割付けが行われる。
ブロック数を減少させても、キー入力部１３のすべてのキーに対して割付けがなされない場合には、表示部１５を介してユーザに対してその旨を通知し、他の画像をオブジェクト抽出のために選択させるように構成してもよい。
【００３５】
（Ｂ）所定の機能に対する割付け処理
制御部２０は、抽出したオブジェクトを、上述した単一のキーへの割付け処理だけでなく、キー入力部１３の複数のキーの組み合わせとして割り付けたり、メニューボタンとして割り付けたりすることも可能に構成される。その際には、ユーザとの対話処理により、抽出した各オブジェクトに対して割付けがなされる。
たとえば、オブジェクト抽出処理の後に、抽出した各オブジェクトに対して、携帯電話機１の音量設定やゲーム等のアプリケーションプログラムの起動指示、目覚まし時計の設定などといった、ユーザが良く使う機能を対応付ける。各オブジェクトに対して対応付けられたこれらの機能は、メモリ１２においてオブジェクトと関連付けて管理される。
オブジェクト抽出処理の基礎とした画像は、自動的に待受画面として設定するように構成してもよい。そして、ユーザが待受画面上の画像を指定すると、制御部２０は、当該指定に係る入力位置情報と、メモリ１２内の各オブジェクトの輪郭位置情報とを比較して指定に係るオブジェクトを特定し、特定したオブジェクトに対応付けられた機能を実行する。たとえば、図３に示す画像中オブジェクトＯＢＪ４（「木」）に対して、「ゲームの起動」という機能を割り付けたならば、画面上でユーザがオブジェクトＯＢＪ４を指定することにより、ゲームが起動され、ゲームの開始画面に表示が切り替わるように、制御部２０は制御する。
なお、オブジェクト抽出段階で、キー入力部１３と同様の配列に対応する形でオブジェクトが抽出できていた場合には、キー入力部１３の配列とオブジェクトの位置とを関連付け、タッチパネルを用いることなく、キー入力部１３に各キーを押下することにより、関連付けられたオブジェクトが指定されたと制御部２０が認識し、当該オブジェクトに割り当てられた機能を実行するようにしてもよい。
【００３６】
指定領域の決定処理
上述したように、制御部２０は、パネル入力部１６から入力される入力位置情報と、メモリ１２が記憶する各オブジェクトの輪郭位置情報とを比較し、入力位置がオブジェクトの輪郭位置が示す領域内である場合には、該当するオブジェクトに割り付けられたキーが操作されたものと判断するが、一般に、オブジェクトの形状は、丸形や四角形等の単純な形状ではないため、ユーザにとって画面上のオブジェクトをタッチしづらい場合がある。そこで、制御部２０は、各オブジェクトに対して、ユーザからの入力を有効と判断するための指定領域を決定する。
すなわち、制御部２０は、パネル入力部１６から入力される入力位置と、各オブジェクトの指定領域とを比較し、入力位置を包含する指定領域を有するオブジェクトが指定されたと判断し、指定されたオブジェクトに応じた入力処理を実行する。
以下、各オブジェクトに対する指定領域の算出方法について述べる。
【００３７】
図６は、オブジェクトの指定領域の算出方法を説明するための図である。図中、実線で表されたオブジェクトＯＢＪは、すでに制御部２０によって抽出されており、その輪郭位置情報がメモリ１２に記憶されている。
まず、制御部２０は、オブジェクトの輪郭位置情報に基づいて、オブジェクトの輪郭を収容可能な最小の四角形を算出する。具体的には、図６における四角形ＲＥＣ１の各点Ｐ１１〜１４の画面上のＸ，Ｙ座標を算出する。
次に、制御部２０は、オブジェクトの輪郭位置情報に基づいて、オブジェクトの輪郭範囲に収容可能な最大の四角形を算出する。具体的には、図６における四角形ＲＥＣ２の各点Ｐ２１〜２４の画面上のＸ，Ｙ座標を算出する。
【００３８】
以上のように算出された点Ｐ１１〜１４および点Ｐ２１〜２４に基づいて、オブジェクトＯＢＪの指定領域を規定する点Ｐ３１〜３４を下式（１）〜（８）の通り算出する。
Ｘ（Ｐ３１）＝（Ｘ（Ｐ１１）＋Ｘ（Ｐ２１））／２  …  （１）
Ｙ（Ｐ３１）＝（Ｙ（Ｐ１１）＋Ｙ（Ｐ２１））／２  …  （２）
Ｘ（Ｐ３２）＝（Ｘ（Ｐ１２）＋Ｘ（Ｐ２２））／２  …  （３）
Ｙ（Ｐ３２）＝（Ｙ（Ｐ１２）＋Ｙ（Ｐ２２））／２  …  （４）
Ｘ（Ｐ３３）＝（Ｘ（Ｐ１３）＋Ｘ（Ｐ２３））／２  …  （５）
Ｙ（Ｐ３３）＝（Ｙ（Ｐ１３）＋Ｙ（Ｐ２３））／２  …  （６）
Ｘ（Ｐ３４）＝（Ｘ（Ｐ１４）＋Ｘ（Ｐ２４））／２  …  （７）
Ｙ（Ｐ３４）＝（Ｙ（Ｐ１４）＋Ｙ（Ｐ２４））／２  …  （８）
なお、Ｘ（ＰＮ），Ｙ（ＰＮ）は、それぞれ点ＰＮのＸ，Ｙ座標を示す。
【００３９】
以上のようにして算出された点Ｐ３１〜３４により、指定領域を示す四角形ＲＥＣ３が決定され、指定領域を示す各点Ｐ３１〜３４は、各オブジェクトに対応付けられてメモリ１２に記憶される。
なお、上記式（１）〜（８）では、指定領域を示す四角形ＲＥＣ３を、図６における四角形ＲＥＣ１およびＲＥＣ２の平均の大きさになるように算出したが、これに拘泥されるものではなく、四角形ＲＥＣ１およびＲＥＣ２の間の位置となる四角形であればよい。
【００４０】
図７は、制御部２０が実行する指定領域の算出例を示す。
図７においては、図３において例示した画像から抽出されたオブジェクトＯＢＪ２（「雲」）の指定領域（図中四角形ＲＥＣ３の範囲内）を算出したものである。
制御部２０は、パネル入力部１６から入力される入力位置が、図７における四角形ＲＥＣ３の範囲内である場合には、オブジェクトＯＢＪ２が指定されたと判断して、オブジェクトＯＢＪ２に割り付けられた入力処理を実行する。
【００４１】
以上、制御部２０により実行される複数の処理について説明した。
次に、図８に示すフローチャートに関連付けて、本実施形態に係る携帯電話機１が実行する一連の処理について述べる。
図８に示すフローチャートでは、ユーザの操作により所望の画像が表示されてから、画像内のオブジェクトに機能割付けを行うまでの一連の処理を示す。
まず、ユーザの操作により所望の画像が表示部１５に表示された状態で、キー入力部１３の所定のキーが押下（操作）されると（ステップＳＴ１０）、制御部２０は、オブジェクトの抽出処理を開始する（ステップＳＴ１１）。
オブジェクト抽出処理のための画面分割ブロック数は、４×３の１２ブロックであり、各ブロック毎にオブジェクト抽出を行う。
【００４２】
１２ブロックですべてのオブジェクトが抽出できない場合には、ブロックの範囲を拡大処理し（ステップＳＴ１３）、オブジェクト抽出処理を行う（ステップＳＴ１１）。たとえば、２×２の４ブロックによりオブジェクトの抽出を行う。その際、１２ブロックでのオブジェクト抽出処理ですでに抽出されたオブジェクトは無視される。
以上の処理の間、表示部１５に表示された画像からオブジェクトが抽出される毎に、制御部２０は、抽出された各オブジェクトの輪郭位置情報をメモリ１２に記憶させる。
【００４３】
すべてのオブジェクトが抽出されると（ステップＳＴ１２）、制御部２０は、メモリ１２に記憶された各オブジェクトの輪郭位置情報に基づいて、指定領域を算出する。
すなわち、制御部２０は、オブジェクトの輪郭位置情報に基づいて、オブジェクトの輪郭を収容可能な最小の四角形（ＲＥＣ１）を算出する（ステップＳＴ１４）。次に、制御部２０は、オブジェクトの輪郭位置情報に基づいて、オブジェクトの輪郭範囲に収容可能な最大の四角形（ＲＥＣ２）を算出する（ステップＳＴ１５）。
そして、制御部２０は、ステップＳＴ１４で算出された四角形ＲＥＣ１とステップＳＴ１５で算出された四角形ＲＥＣ２とに基づいて、これらの中間の大きさの四角形ＲＥＣ３を算出し、算出した四角形ＲＥＣ３を構成する各点の座標データをメモリ１２に記憶させる（ステップＳＴ１６）。
【００４４】
以上ステップＳＴ１４〜１６により、抽出された各オブジェクトの指定領域が算出されると、制御部２０は、次に、オブジェクトの割付け処理を行う（ステップＳＴ１７）。
たとえば、制御部２０は、ステップＳＴ１１において各ブロック毎に抽出されたオブジェクトをそれぞれ対応するキーに割り付ける。
また、制御部２０は、ユーザとの対話処理により、抽出したオブジェクトを、キー入力部１３の複数のキーの組み合わせとして割り付けたり、メニューボタンとして割り付けたりしてもよい。これにより、各オブジェクトがユーザからの入力処理に割り付けられることになる。
ステップＳＴ１７において、入力処理が割り付けられたオブジェクトを、入力処理が割り付けられていないオブジェクトと、区別して表示させる。たとえば、オブジェクトの表示色や輝度、濃淡などの表示形態を区別して表示させる。
【００４５】
以上図８に示すフローチャートの処理が行われた後、ユーザが表示部１５に表示された画像中のオブジェクトを画面上でタッチすると、パネル入力部１６はタッチされた位置に応じた入力位置情報を制御部２０へ出力し、制御部２０は、メモリ１２が記憶する各オブジェクトの輪郭位置情報とを比較し、入力位置がオブジェクトの指定領域内である場合には、該当するオブジェクトに割り付けられた入力処理（たとえば、キーの押下）がなされたものと判断し、当該入力処理が行われる。
【００４６】
以上説明したように、本実施形態に係る携帯電話機１によれば、上述した処理を行うことにより、ユーザ所望の任意の画像に基づいて抽出されたオブジェクトに機能を割付けて、ユーザ独自のマンマシンインタフェースを構築することが可能となる。
また、ユーザにとっては、キー入力部を使用することなく、画面上のオブジェクトを直接指定して入力操作ができるので、操作の快適性が向上する。
【００４７】
本実施形態に係る携帯電話機１によれば、画面をブロック毎に分割し、分割したブロック毎にオブジェクトを抽出するので、画面上にバランスよく散在する複数のオブジェクトを抽出でき、上記インタフェースの構築がしやすい。
その際、ブロックの分割態様を、キー入力部のキー配置に一致させ、各キーに応じた機能を各ブロックから抽出されたオブジェクトに割り付けるので、ユーザにとってオブジェクトに対応するキーが認識しやすい。
さらに、分割したブロックにおいて、オブジェクトが抽出できない場合には、分割数を減少させたうえで、再度オブジェクトを抽出するので、最初の分割時において抽出できなかったオブジェクトを抽出させることができ、上記同様、画面上にバランスよく散在する複数のオブジェクトを抽出でき、上記インタフェースの構築がしやすい。
【００４８】
本実施形態に係る携帯電話機１によれば、抽出したオブジェクトの指定領域を、オブジェクトの輪郭に応じた四角形としたので、オブジェクトが複雑な形状であっても、パネル入力部１６を通したオブジェクトの指定が容易となる。
【００４９】
本実施形態に係る携帯電話機１によれば、抽出したオブジェクトのうち、機能が割り付けられたオブジェクトを、機能が割り付けられていないオブジェクトと区別して表示させるので、ユーザは、機能が割り付けられていないオブジェクトを指定するという無駄な操作をすることがない。
【００５０】
なお、本発明は上述した本実施形態の内容に拘泥せず、本発明の要旨を変更しない範囲内で様々な改変が可能である。
たとえば、上記実施形態では、ユーザからの画面に対する指定方法として、タッチパネル方式のパネル入力部について述べたが、マウスやカーソル等を用いたポインティングデバイスによる入力を適用することもできる。
また、上記実施形態では、抽出した各オブジェクトを、キー入力部の４×３のキー配列に対応させたが、画面上に設定したソフトキーに対応させてもよい。
【図面の簡単な説明】
【００５１】
【図１】携帯電話機のシステム構成の一例を図解したブロック図である。
【図２】携帯電話機の外観の一例を図解した図である。
【図３】携帯電話機の表示部が表示する画像の一例である。
【図４】携帯電話機の表示部を４×３に分割した一例である。
【図５】携帯電話機の表示部を２×２に分割した一例である。
【図６】オブジェクトの指定領域の算出方法を説明するための図である。
【図７】オブジェクトの指定領域の算出例である。
【図８】携帯電話機の処理を説明するためのフローチャートである。
【符号の説明】
【００５２】
１…携帯電話機
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー入力部
１４…音声処理部
１４１…スピーカ
１４２…マイクロフォン
１５…表示部
１６…パネル入力部
２０…制御部
【図１】
2005216170.tif 000003
【図２】
2005216170.tif 000004
【図３】
2005216170.tif 000005
【図４】
2005216170.tif 000006
【図５】
2005216170.tif 000007
【図６】
2005216170.tif 000008
【図７】
2005216170.tif 000009
【図８】
2005216170.tif 000010