(57)【要約】    【構成】携帯電話機１０は、カメラモジュール、ディスプレイ１４、そのディスプレイ１４に設けられる触覚パネル１８などを備える。たとえば、カメラ機能が実行されると、ディスプレイ１４にはＡＦ処理によって合焦状態が調整されたプレビュー画像が表示される。このとき、プレビュー画像に対する画像解析処理によって得られる周波数成分のうち高域成分が抽出される。この高域成分に基づいて被写体の輪郭を示すエッジ情報が作成され、エッジ情報と高域成分とに基づいて触覚情報が作成される。この触覚情報が触覚パネル１８から出力されると、プレビュー画像に写る被写体の輪郭に沿って擬似凹凸が生じる。    【効果】ユーザは、表示される画像の合焦状態を出力された触覚情報によって確認することが出来るため、表示される画像の合焦状態をより適切に把握することが出来る。【選択図】図１
2015065616.tif 000002
【特許請求の範囲】
【請求項１】
画像を出力する画像出力部、
前記画像の合焦状態を調整する調整部、
合焦状態が調整された画像を表示する表示装置、
前記表示装置に設けられ、触覚情報を出力する触覚出力部、
合焦状態が調整された画像の周波数成分に基づいて触覚情報を作成する作成部、および
前記触覚情報を前記触覚出力部から出力させる出力処理部を備える、撮像装置。
【請求項２】
前記作成部は、前記画像の周波数成分に基づいて、当該画像に写る被写体の輪郭を示すエッジ情報を作成する第１作成部および作成されたエッジ情報に基づいて前記被写体の輪郭を示す触覚情報を作成する第２作成部を含む、請求項１記載の撮像装置。
【請求項３】
前記調整部は、オートフォーカス処理によって、前記画像の合焦状態を調整する第１調整部を含む、請求項１または２記載の撮像装置。
【請求項４】
前記調整部は、マニュアルフォーカス処理によって、前記画像の合焦状態を調整する第２調整部をさらに含み、
前記マニュアルフォーカス処理による合焦状態を調整するための調整操作を受け付ける受付部をさらに備える、請求項１ないし３のいずれかに記載の撮像装置。
【請求項５】
前記出力処理部は、前記画像の平面座標と前記触覚情報の平面座標とが一致するように、前記触覚情報を前記触覚出力部から出力させる、請求項１ないし４のいずれかに記載の撮像装置。
【請求項６】
前記出力処理部は、前記画像に写る被写体とは関連しない位置に、前記触覚情報を前記触覚出力部から出力させる、請求項１ないし４のいずれかに記載の撮像装置。
【請求項７】
前記作成部は、前記触覚情報に基づいて補助画像を作成する第３作成部をさらに含み、
前記出力処理部は、作成された補助画像と共に触覚情報を出力する、請求項１ないし６のいずれかに記載の撮像装置。
【請求項８】
前記表示装置に設けられるタッチパネルをさらに備え、
前記出力処理部は、前記タッチパネルがタッチ操作を受け付けたとき、前記触覚情報を前記触覚出力部から出力させる、請求項１ないし７のいずれかに記載の撮像装置。
【請求項９】
画像を出力する画像出力部、前記画像の合焦状態を調整する調整部、合焦状態が調整された画像を表示する表示装置および前記表示装置に設けられ、触覚情報を出力する触覚出力部を有する、撮像装置のプロセッサを、
合焦状態が調整された画像の周波数成分に基づいて触覚情報を作成する作成部、および
前記触覚情報を前記触覚出力部から出力させる出力処理部として機能させる、触覚情報出力プログラム。
【請求項１０】
画像を出力する画像出力部、前記画像の合焦状態を調整する調整部、合焦状態が調整された画像を表示する表示装置および前記表示装置に設けられ、触覚情報を出力する触覚出力部を有する、撮像装置における触覚情報出力方法であって、撮像装置のプロセッサが、
合焦状態が調整された画像の周波数成分に基づいて触覚情報を作成する作成ステップ、および
前記触覚情報を前記触覚出力部から出力させる出力処理ステップを実行する、触覚情報出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は撮像装置、触覚情報出力プログラムおよび触覚情報出力方法に関し、特にカメラモジュールを有する、撮像装置、触覚情報出力プログラムおよび触覚情報出力方法に関する。
【背景技術】
【０００２】
背景技術の一例が特許文献１に開示されている。この特許文献１のデジタルカメラはバイブレータを有しており、バイブレータの振動によってオートフォーカスによって合焦したか否かが告知される。つまり、操作者は、ファインダーによって被写界を確認せずに、振動によって合焦したかを判断することができる。
【特許文献１】特開2003-302692号公報［G03B 17/18, H04N 5/225］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところが、バイブレータによってデジタルカメラを振動させると、その振動によって撮影に悪影響が出る可能性がある。そのため、デジタルカメラを振動させることによって合焦状態を告知する手法が実際に利用される可能性は低い。
【０００４】
それゆえに、この発明の主たる目的は、新規な、撮像装置、触覚情報出力プログラムおよび触覚情報出力方法を提供することである。
【０００５】
この発明の他の目的は、合焦状態を適切に確認できる、撮像装置、触覚情報出力プログラムおよび触覚情報出力方法を提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、画像を出力する画像出力部、画像の合焦状態を調整する調整部、合焦状態が調整された画像を表示する表示装置、表示装置に設けられ、触覚情報を出力する触覚出力部、合焦状態が調整された画像の周波数成分に基づいて触覚情報を作成する作成部、および触覚情報を触覚出力部から出力させる出力処理部を備える、撮像装置である。
【０００８】
第１の発明では、撮像装置（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）の画像出力部（５２−５６）は、フォーカス用のレンズ（５６）などを含み、被写界に対応する画像を出力する。調整部（３０，Ｓ３，Ｓ２１）は、たとえばレンズのレンズ位置を調整することで、画像の合焦状態を調整する。表示装置（１４）は、このようにして合焦状態が調整された画像を、たとえばプレビュー画像として表示する。触覚出力部（１８）は、たとえば触覚パネルとも呼ばれ、表示装置の表示面に設けられる。作成部（３０，Ｓ５，Ｓ２３）は、たとえば、合焦状態が調整された画像の周波数成分のうち高域成分に基づいて触覚情報を作成する。出力処理部（３０，Ｓ１１，Ｓ２５）は、触覚情報に基づく擬似凹凸を、触覚出力部から出力させる。
【０００９】
第１の発明によれば、ユーザは、表示される画像の合焦状態を出力された触覚情報によって確認することが出来るため、表示される画像の合焦状態をより適切に把握することが出来る。
【００１０】
第２の発明は、第１の発明に従属し、作成部は、画像の周波数成分に基づいて、当該画像に写る被写体の輪郭を示すエッジ情報を作成する第１作成部および作成されたエッジ情報に基づいて被写体の輪郭を示す触覚情報を作成する第２作成部を含む。
【００１１】
第２の発明では、たとえば、画像の周波数成分のうち高域成分は被写体の輪郭、つまりエッジを示す。第１作成部（３０，Ｓ４５）は、このような高域成分に基づいて被写体の輪郭を示すエッジ情報を作成する。たとえば、第２作成部（３０，Ｓ４７）によって作成された触覚情報に基づく擬似凹凸は被写体の輪郭を示す。
【００１２】
第２の発明によれば、出力される触覚情報は、被写体の輪郭を示しているため、ユーザは出力された触覚情報に触れることで、被写体の形状を把握することが出来る。
【００１３】
第３の発明は、第１の発明または第２の発明に従属し、調整部は、オートフォーカス処理によって、画像の合焦状態を調整する第１調整部を含む。
【００１４】
第３の発明では、第１調整部（３０，Ｓ３）は、たとえば画像出力部が出力した画像からフォーカス評価値を算出し、そのフォーカス評価値に基づいてレンズのレンズ位置を移動させることで、画像の合焦状態を調整する。
【００１５】
第３の発明によれば、ユーザは、オートフォーカス処理によって意図する被写体にピントを合わせることが出来る。
【００１６】
第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、調整部は、マニュアルフォーカス処理によって、画像の合焦状態を調整するための第２調整部をさらに含み、マニュアルフォーカス処理による合焦状態を調整する調整操作を受け付ける受付部をさらに備える。
【００１７】
第４の発明では、受付部（３０，Ｓ１９）がユーザによる調整操作を受け付けると、第２調整部（３０，Ｓ２１）は、マニュアルフォーカス処理によって、画像の合焦状態を調整する。
【００１８】
第４の発明によれば、ユーザは、一方の指で合焦状態の変化を確認しつつ、他方の指で合焦状態を調整することが出来る。
【００１９】
第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、出力処理部は、画像の平面座標と触覚情報の平面座標とが一致するように、触覚情報を触覚出力部から出力させる。
【００２０】
第５の発明では、たとえば、被写体の輪郭に沿って、触覚情報による擬似凹凸が出力される。
【００２１】
第５の発明によれば、プレビュー画像における輪郭と、触覚情報における疑似凹凸と一致するため、ユーザは触覚情報を直感的に把握することが出来る。
【００２２】
第６の発明は、第１の発明ないし第５の発明のいずれかに従属し、出力処理部は、画像に写る被写体とは関連しない位置に、触覚情報を触覚出力部から出力させる。
【００２３】
第６の発明では、たとえば、表示装置の右下などに設定される触覚領域（ＦＡ）から、触覚情報が出力される。
【００２４】
第６の発明によれば、表示される被写体とは関係しない位置に触覚情報を出力することで、全体の構図を見ながら、合焦状態を確認することが出来る。
【００２５】
第７の発明は、第１の発明ないし第６の発明のいずれかに従属し、作成部は、触覚情報に基づいて補助画像を作成する第３作成部をさらに含み、出力処理部は、作成された補助画像と共に触覚情報を出力する。
【００２６】
第７の発明では、第３作成部（３０，Ｓ４９）は、たとえば透過率を高く設定した補助画像を作成する。出力処理部は、透過率が高く設定された補助画像と共に触覚情報を出力する。
【００２７】
第７の発明によれば、補助画像が表示されているため、触覚情報が出力されている位置を把握することが出来る。
【００２８】
第８の発明は、第１の発明ないし第７の発明のいずれかに従属し、表示装置に設けられるタッチパネルをさらに備え、出力処理部は、タッチパネルがタッチ操作を受け付けたとき、触覚情報を触覚出力部から出力させる。
【００２９】
第８の発明では、タッチパネル（１６）は、たとえば表示装置と触覚出力部との間に設けられる。出力処理部は、タッチパネルが操作を受け付けると、触覚情報が触覚出力部から出力される。
【００３０】
第８の発明によれば、触覚情報を出力するときの消費電力を抑えることが出来る。
【００３１】
第９の発明は、画像を出力する画像出力部（５２−５６）、画像の合焦状態を調整する調整部（３０，Ｓ３，Ｓ２１）、合焦状態が調整された画像を表示する表示装置（１４）および表示装置に設けられ、触覚情報を出力する触覚出力部（１８）を有する、撮像装置（１０）のプロセッサ（３０）を、合焦状態が調整された画像の周波数成分に基づいて触覚情報を作成する作成部（Ｓ５，Ｓ２３）、および触覚情報を触覚出力部から出力させる出力処理部（Ｓ１１，Ｓ２５）として機能させる、触覚情報出力プログラムである。
【００３２】
第９の発明でも、第１の発明と同様、ユーザは、表示される画像の合焦状態を出力された触覚情報によって確認することが出来るため、表示される画像の合焦状態をより適切に把握することが出来る。
【００３３】
第１０の発明は、画像を出力する画像出力部（５２−５６）、画像の合焦状態を調整する調整部（３０，Ｓ３，Ｓ２１）、合焦状態が調整された画像を表示する表示装置（１４）および表示装置に設けられ、触覚情報を出力する触覚出力部（１８）を有する、撮像装置における触覚情報出力方法であって、撮像装置（１０）のプロセッサ（３０）が、合焦状態が調整された画像の周波数成分に基づいて触覚情報を作成する作成ステップ（Ｓ５，Ｓ２３）、および触覚情報を触覚出力部から出力させる出力処理ステップ（Ｓ１１，Ｓ２５）を実行する、触覚情報出力方法である。
【００３４】
第１０の発明でも、第１の発明と同様、ユーザは、表示される画像の合焦状態を出力された触覚情報によって確認することが出来るため、表示される画像の合焦状態をより適切に把握することが出来る。
【発明の効果】
【００３５】
この発明によれば、合焦状態をより適切に把握することが出来る。
【００３６】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００３７】
【図１】図１はこの発明の一実施例の携帯電話機の外観の一例を示す外観図であり、図１（Ａ）は携帯電話機の表面の外観を示し、図１（Ｂ）は携帯電話機の裏面の外観を示す。
【図２】図２は図１に示す携帯電話機の電気的な構成を示す図解図である。
【図３】図３は図１に示すディスプレイ、タッチパネルおよび触覚パネルが重なっている状態の一例を示す図解図である。
【図４】図４は図１に示すディスプレイにプレビュー画像が表示されている状態の一例を示す図解図である。
【図５】図５は図４に示すプレビュー画像においてＡＦ（オートフォーカス）処理を行う操作の手順の一例を示す図解図であり、図５（Ａ）はプレビュー画像に対してタッチ操作がされている状態の一例を示し、図５（Ｂ）はＡＦ処理によって被写体にピントが合った状態の一例を示す。
【図６】図６は図１に示すディスプレイにプレビュー画像が表示されている状態の他の一例を示す図解図である。
【図７】図７は図６に示すプレビュー画像の周波数成分のうち高域成分が抽出された状態の一例を示す図解図であり、図７（Ａ）はプレビュー画像の一部を示し、図７（Ｂ）はプレビュー画像から抽出された高域成分の一例を示す。
【図８】図８は図７（Ｂ）に示す高域成分の出力値の一例を示す図解図であり、図８（Ａ）は高域成分の一部が選択されている状態の一例を示し、図８（Ｂ）は選択された部分の高域成分の出力値の一例を示す。
【図９】図９は図６に示すプレビュー画像においてＭＦ（マニュアルフォーカス）処理が行われている状態の一例を示す図解図である。
【図１０】図１０は図６に示すプレビュー画像においてＭＦ処理が行われている状態の他の一例を示す図解図である。
【図１１】図１１は図２に示すＲＡＭのメモリマップの一例を示す図解図である。
【図１２】図１２は図２に示すプロセッサのカメラ機能処理の一例を示すフロー図である。
【図１３】図１３は図２に示すプロセッサの触覚情報作成処理の一例を示すフロー図である。
【図１４】図１４は図１に示すディスプレイにプレビュー画像が表示されている状態のその他の一例を示す図解図である。
【図１５】図１５は図１に示すディスプレイにプレビュー画像が表示されている状態のさらにその他の一例を示す図解図である。
【発明を実施するための形態】
【００３８】
＜第１実施例＞
図１（Ａ），（Ｂ）を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smartphone）であり、縦長の扁平矩形のハウジング１２を含む。ただし、この発明は、タッチパネル１６を有する、タブレット端末、タブレットＰＣ、ノートＰＣおよびＰＤＡなど任意の撮像装置に適用可能であることを予め指摘しておく。
【００３９】
ハウジング１２の一方主面（表面）には、表示装置とも呼ばれる、たとえば液晶や有機ＥＬなどのディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられ、タッチパネル１６の上には触覚パネル１８が設けられる。触覚パネル１８は、触覚出力部とも呼ばれ、ディスプレイ１４の表示に対応させて触覚情報を出力することで、擬似触覚（疑似凹凸）をユーザに知覚させる。そのため、触覚パネル１８は触覚ディスプレイと呼ばれることがある。なお、触覚パネル１８の詳細については後述するため、ここでの詳細な説明は省略する。
【００４０】
ハウジング１２の縦方向一端の主面側にスピーカ２０が内蔵され、縦方向他端の主面側にマイク２２が内蔵される。
【００４１】
ハウジング１２の一方主面には、タッチパネル１６と共に入力操作手段を構成するハードキーとして、この実施例では、通話キー２４ａ、終話キー２４ｂおよびメニューキー２４ｃが設けられる。
【００４２】
また、ハウジング１２の他面（裏面）には、カメラモジュールのレンズ５６などに通じるレンズ開口２６が設けられる。
【００４３】
たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルパッドに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２４ａを操作して音声通話を開始することができる。終話キー２４ｂを操作すれば、音声通話を終了することができる。なお、ユーザは終話キー２４ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。
【００４４】
また、メニューキー２４ｃを操作すれば、ディスプレイ１４にホーム画面が表示され、その状態でディスプレイ１４に表示されているオブジェクトなどに対して、タッチパネル１６によるタッチ操作を行うことによってオブジェクトを選択し、その選択を確定させることができる。
【００４５】
たとえば、タッチ操作によってカメラ機能が実行されると、ディスプレイ１４に被写界と対応するプレビュー画像（スルー画像）が表示される。そして、ユーザは、レンズ開口２６が設けられている他面を任意の被写体に向けて撮影操作を行うことで、撮影することが出来る。
【００４６】
なお、携帯電話機１０は、電話機能以外に、アドレス帳機能、メール機能およびブラウザ機能などを実行可能である。また、以下の説明では、ディスプレイ１４に表示されるキーなどのＧＵＩおよびアイコンなどは、まとめてオブジェクトと言うことがある。
【００４７】
図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０などを含む。プロセッサ３０には、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８、触覚パネル制御回路５０およびカメラ制御回路５２などが接続される。
【００４８】
プロセッサ３０は、携帯電話機１０の全体制御を司る。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。また、ＲＡＭ４６はさらに、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。
【００４９】
入力装置４０は、図１に示すハードキー２４を含むものである。そのため、ハードキー２４に対するユーザからのキー操作を受け付ける操作受付部を構成する。ユーザが操作したハードキーの情報（キーデータ）はプロセッサ３０に入力される。
【００５０】
無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザがタッチパネル１６を操作して発呼（音声発信）を指示すると、無線通信回路３２は、プロセッサ３０の指示の下、音声発信処理を実行し、アンテナ３４を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において音声着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。
【００５１】
Ａ／Ｄ変換器３６には図１に示すマイク２２が接続され、上述のようにマイク２２からの音声信号はこのＡ／Ｄ変換器３６でディジタルの音声データに変換され、プロセッサ３０に入力される。一方、Ｄ／Ａ変換器３８にはスピーカ２０が接続される。Ｄ／Ａ変換器３８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ２０に与える。したがって、音声データに基づく音声がスピーカ２０から出力される。そして、通話処理が実行されている状態では、マイク２２によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ２０から出力される。
【００５２】
なお、プロセッサ３０は、たとえばユーザによるボリューム調整操作に応答して、Ｄ／Ａ変換器３８に接続されるアンプの増幅率を制御することによって、スピーカ２０から出力される音声の音量を調整することが出来る。
【００５３】
表示ドライバ４２には図１に示すディスプレイ１４が接続され、したがって、ディスプレイ１４はプロセッサ３０から出力される映像または画像データに従って映像または画像を表示する。表示ドライバ４２は表示する画像データを一時的に記憶するビデオメモリを含んでおり、プロセッサ３０から出力されたデータはこのビデオメモリに記憶される。そして、表示ドライバ４２は、ビデオメモリの内容に従って、ディスプレイ１４に画像を表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。そのため、プロセッサ３０は表示制御部と呼ばれることもある。なお、ディスプレイ１４には、バックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。
【００５４】
タッチパネル制御回路４８には図１に示すタッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６に必要な電圧などを付与するとともに、タッチパネル１６に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データをプロセッサ３０に入力する。したがって、プロセッサ３０はこの座標データに基づいて、ユーザがどのオブジェクトに対してタッチしたかを判断することが出来る。
【００５５】
実施例では、タッチパネル１６は、その表面と指などの物体との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。そのため、タッチパネル１６はポインティングデバイスとも呼ばれる。タッチパネル制御回路４８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ３０に出力する。つまり、ユーザは、タッチパネル１６の表面に対してタッチ操作を行うことによって、操作位置や、操作方向などを携帯電話機１０に入力する。
【００５６】
本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。
【００５７】
タップ操作は、タッチパネル１６の表面に指を接触（タッチ）させた後、短時間のうちにタッチパネル１６の表面から指を離す（リリースする）操作である。ロングタップ操作は、所定時間以上、指をタッチパネル１６の表面に接触させ続けた後、指をタッチパネル１６の表面から離す操作である。フリック操作は、タッチパネル１６の表面に指を接触させ、任意の方向へ所定速度以上で指を弾く操作である。スライド操作は、タッチパネル１６の表面に指を接触させたまま任意の方向へ移動させた後、タッチパネル１６の表面から指を離す操作である。
【００５８】
また、上記のスライド操作には、ディスプレイ１４の表面に表示されたオブジェクトに指を触れ、オブジェクトを移動させるスライド操作、いわゆるドラッグ操作も含まれる。また、ドラッグ操作の後、タッチパネル１６の表面から指を離す操作をドロップ操作と呼ぶ。
【００５９】
なお、以下の説明では、タップ操作、ロングタップ操作、フリック操作、スライド操作、ドラッグ操作およびドロップ操作は、それぞれ「操作」を省略して記述されることがある。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。
【００６０】
触覚パネル制御回路５０は触覚情報ドライブ部とも呼ばれ、図１に示す触覚パネル１８が接続される。触覚パネル制御回路５０は触覚パネル１８を動作させるのに必要な電力を供給すると共に、触覚情報を触覚パネル１８に与える。触覚パネル１８は電圧および周波数を様々なパターンで組み合わせることで、与えられた触覚情報に基づく疑似凹凸を出力する。具体的には、ユーザが触覚パネルに触れると、指先に微弱な静電気が発生し、それが擬似凹凸となって指先に伝わる。なお、触覚パネル１８がタッチパネル１６の上に設けられていても、タッチパネル１６はタッチ操作を検出する。また、他の実施例の触覚パネル１８は、超音波などを利用して疑似凹凸を出力してもよい。
【００６１】
また、図３はディスプレイ１４、タッチパネル１６および触覚パネル１８が重なっている状態を示す図解図である。上述したように、ディスプレイ１４の上にはタッチパネル１６が設けられている。そして、タッチパネル１６の上には触覚パネル１８が設けられている。そのため、ユーザがタッチ操作を行うと、ユーザの指は触覚パネル１８に触れることになる。なお、図３に示すディスプレイ１４、タッチパネル１６および触覚パネル１８が重なっている状態は一例であり、他の実施例では異なる順番で重なっていてもよい。また、その他の実施例ではディスプレイ１４および触覚パネル１８、またはタッチパネル１６および触覚パネル１８が１つの部品として構成されていてもよい。また、ディスプレイ１４、タッチパネル１６および触覚パネル１８が１つの部品として構成されていてもよい。
【００６２】
図２を再び参照して、カメラ制御回路５２にはイメージセンサ５４およびレンズ５６のレンズ位置を調整するモータ（図示せず）などが接続される。また、カメラ制御回路５２は、携帯電話機１０で静止画像または動画像を撮影するための回路である。たとえば、カメラ機能を実行する操作が行われると、プロセッサ３０はカメラ制御回路５２を起動して、カメラ機能を実行する。なお、カメラ制御回路５２、イメージセンサ５４およびレンズ５６は、まとめてカメラモジュール、画像出力部または撮影部と呼ばれる。
【００６３】
たとえば、被写体の光学像はイメージセンサ５４に照射され、イメージセンサ５４の撮像エリアには、たとえばＳＸＧＡ（１２８０×１０２４画素）に対応する受光素子が配置されており、撮像エリアでは、光電変換によって、被写体の光学像に対応する電荷つまりＳＸＧＡの生画像信号が生成される。なお、ユーザは、画像データのサイズを、ＳＸＧＡの他に、ＸＧＡ（１０２４×７６８画素）およびＶＧＡ（６４０×４８０画素）などに変更することができる。
【００６４】
カメラ機能が実行されると、被写体のリアルタイム動画像つまりプレビュー画像をディスプレイ１４に表示するべく、プロセッサ３０は、カメラ制御回路５２に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作を、イメージセンサドライバに命令する。
【００６５】
イメージセンサドライバは、イメージセンサ５４の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ５４から出力される。また、出力された生画像信号はカメラ制御回路５２に入力され、カメラ制御回路５２は入力された生画像信号に対して、色分離、白バランス調整、ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成する。そして、ＹＵＶ形式の画像データはプロセッサ３０に入力される。
【００６６】
ここで、カメラ制御回路５２は生画像信号からフォーカス評価値を算出し、そのフォーカス評価値をプロセッサ３０に出力する。プロセッサ３０は、カメラ制御回路５２から出力されたフォーカス評価値に基づいて、ＡＦ（オートフォーカス）処理を実行する。ＡＦ処理が実行されると、カメラ制御回路５２はプロセッサ３０の指示の下、レンズ５６の焦点距離（レンズ位置）を調整する。その結果、被写体にピントが合わせられたスルー画像がディスプレイ１４に表示される。
【００６７】
また、プロセッサ３０に入力されたＹＵＶ形式の画像データは、プロセッサ３０によってＲＡＭ４６に格納（一時記憶）される。さらに、格納されたＹＵＶ形式の画像データは、プロセッサ３０でＲＧＢデータに変換された後に、ＲＡＭ４６から表示ドライバ４２に与えられる。そして、ＲＧＢ形式の画像データがディスプレイ１４に出力される。これによって、被写体を表す低解像度（たとえば、３２０×２４０画素）のプレビュー画像がディスプレイ１４に表示される。
【００６８】
ここで、静止画像の撮影操作が行われると、プロセッサ３０は、静止画像の本撮影処理を実行する。つまり、プロセッサ３０は、イメージセンサ５４から出力されるＳＸＧＡの生画像信号に信号処理を施して、ＲＡＭ４６に一旦格納し、フラッシュメモリ４４に対する記憶処理を実行する。記憶処理が実行されると、プロセッサ３０を通してＲＡＭ４６から画像データが読み出される。そして、プロセッサ３０は、読み出した画像データにメタ情報を関連付けて、一つのファイルとしてフラッシュメモリ４４に記憶する。さらに、プロセッサ３０は、図示しないスピーカから、本撮影処理が実行されていること通知する音を出力させる。
【００６９】
なお、携帯電話機１０にメモリカードが接続される場合、画像データはメモリカードに記憶されてもよい。また、画像データに関連付けられるメタ情報は、Ｅｘｉｆフォーマットで記憶される。
【００７０】
また、ユーザが動画像を撮影する設定をして撮影操作を行うと、プロセッサ３０は、動画像用の本撮影処理を実行する。このとき、プロセッサ３０は、カメラ制御回路５２に対して、VGAの生画像信号を所定のフレームレートで出力させる命令を発行する。そして、プロセッサ３０は、静止画像の本撮影処理と同様、所定のフレームレートで読み出された各生画像信号に対して複数の処理を加えた後に、動画像データをフラッシュメモリ４４に記憶する。
【００７１】
図４はディスプレイ１４にプレビュー画像が表示されている状態の一例を示す図解図である。ディスプレイ１４の表示範囲は状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ３４による電波受信状態を示すピクト、二次電池の残電池容量を示すピクトおよび時刻が表示される。機能表示領域６２には、カメラ画面が表示される。カメラ画面には、カメラモジュールの出力に基づくプレビュー画像が表示されると共に、シャッターキーが表示される。たとえば、シャッターキーに対するタップ操作は、撮影操作として受け付けられる。
【００７２】
また、プレビュー画像において任意の位置にタップ操作がされると、タップされた被写体にピントが合うように、ＡＦ処理が実行される。たとえば、図４では、背後の車にピントが合った状態であるが、図５（Ａ）に示すように、手前の花壇の花に対してタップ操作がされると、その花壇にピントが合うようにＡＦ処理が実行される。そして、ディスプレイ１４には、図５（Ｂ）に示すように、手前の花壇の花にピントが合った状態のプレビュー画像が表示される。
【００７３】
なお、ここでの図示は省略するが、ＭＦ（マニュアルフォーカス）モードが設定された場合、プレビュー画面にタッチされると、ピントを調整するためのフォーカススライダーＦＳ（図９参照）がカメラ画面の左側に表示される。ユーザは、フォーカススライダーＦＳに対して上下方向のスライド操作を行うことで、ピントを任意に調整することが出来る。
【００７４】
ここで、ＡＦ処理を利用して撮影を行う場合に、ユーザが意図する被写体以外にピントが合ってしまったり、被写体にピントが合わせなられなかったりすることがある。また、ユーザが撮影するときにディスプレイ１４に表示されるプレビュー画面でピントの状態を視覚的に確認したとしても、撮影後にＰＣなどのディスプレイで撮影した画像を確認すると、意図した被写体にピントが合っていないことが分かることがある。
【００７５】
そこで、本実施例では、視覚情報に加えて触覚情報を利用して合焦状態（ピントが合った状態）を確認できるようにする。
【００７６】
具体的には、プレビュー画像に対して高速フーリエ変換（ＦＦＴ）、離散コサイン変換（ＤＣＴ）またはＷａｖｅｌｅｔ変換などの画像解析処理を加え、画像の周波数成分を抽出する。抽出された周波数成分のうち高域成分に基づいて、プレビュー画像から被写体の輪郭を示すエッジ情報を作成する。また、高域成分の出力レベルを擬似凹凸の高さに変換し、かつプレビュー画像のＸＹ座標と対応させた触覚情報を作成する。そして、プレビュー画像がディスプレイ１４に表示されているときに、作成された触覚情報を触覚パネル１８から出力させると、合焦状態が視覚情報だけでなく触覚情報によっても示される。
【００７７】
たとえば、画像が鮮明でコントラストがはっきりしている部分では高域成分が増すため、その部分では擬似凸の高さが高くなる。一方、ピントが合っていない部分からは高域成分はほとんど出力されないため、擬似凸はあまり高くならない。つまり、作成された触覚情報は、プレビュー画像のコントラストの高さに相当する。これにより、ユーザは、出力された触覚情報によって擬似凹凸を確認することで、プレビュー画像内の合焦状態を比較することが出来る。
【００７８】
続いて、図面を用いて実施例を説明する。たとえば図６に示すように、人形が被写体として含まれるプレビュー画像がディスプレイ１４に表示されると、プレビュー画像の中心にピントが合うようにＡＦ処理が実行される。ＡＦ処理が実行されると、プレビュー画像から高域成分が抽出される。高域成分は近傍の変化が大きく、コントラストが高い部分であるため、図７（Ａ）に示す被写体のプレビュー画像からは、図７（Ｂ）に示す高域成分が抽出される。このように、高域成分は、被写体の輪郭、つまり「線画になるエッジ情報」と考えることが出来る。抽出された高域成分は平面座標（ＸＹ座標）における座標毎に出力値を持つため、高域成分に基づいて作成されるエッジ情報、つまり線には出力値が存在する。たとえば、図８（Ａ）に示す高域成分において、円Ｃの部分に着目すると、図８（Ｂ）に示すように横軸（Ｘ座標）に対応して、高域成分の出力値が存在する。
【００７９】
エッジ情報の出力値に基づいて触覚情報が作成され、触覚パネル１８からその触覚情報が出力されると、画像の高域成分が疑似凸として表現される。そのため、凹凸感があるプレビュー画像が表示されることになる。
【００８０】
そして、プレビュー画像においてピントが合っていない場合は、被写体のエッジがボケた状態であるため、このようなプレビュー画像では高域成分が乏しくなる。このようなプレビュー画像に基づいて作成された触覚情報が触覚パネル１８から出力された場合、高域成分が少ないため、疑似凸がほとんど得られない。そのため、凹凸感が少ないプレビュー画像が表示されることになる。このように、プレビュー画像に従った疑似凹凸の感触によって視覚に加えて触覚も利用して意図した被写体にピントが合っているかを確認することが出来る。
【００８１】
たとえば、図６を再び参照して、このようにして作成された触覚情報は、プレビュー画像の平面座標と一致するように出力される。つまり、プレビュー画像における輪郭と、触覚情報における疑似凹凸と一致するため、ユーザは触覚情報を直感的に把握することが出来る。
【００８２】
続いて、合焦状態の再調整について説明する。先に説明したように、プレビュー画像に対して任意の位置にタップ操作がされると、任意の位置を中心としてＡＦ処理が実行される。つまり、ユーザは、オートフォーカス処理によって意図する被写体にピントを合わせることが出来る。
【００８３】
また、図９を参照して、ユーザがタッチしている状態で、カメラ画面の左側にさらにタッチされると、ＭＦ処理のためのフォーカススライダーＦＳが表示される。そして、フォーカススライダーＦＳに対してタッチしたまま上下にスライドすると、ＭＦ処理が実行され、合焦状態が調整される。つまり、ユーザは、一方の指で合焦状態の変化を確認しつつ、他方の指で合焦状態を調整することが出来る。
【００８４】
このように、実施例では、ユーザは、ピントが合っていることを期待する部分に触覚的に凸感をしっかり知覚することが出来れば、ピントが合っているということを認識することが出来る。一方、凸感をしっかり知覚することが出来ない場合は、ユーザはＡＦ処理を再度実行したり、ＭＦ処理によって合焦状態を任意に調整したりすることが出来る。つまり、ユーザは、表示される画像の合焦状態を出力された触覚情報によって確認することが出来るため、表示される画像の合焦状態をより適切に把握することが出来る。
【００８５】
特に、実施例では、出力される触覚情報は、被写体の輪郭を示しているため、ユーザは出力された触覚情報に触れることで、被写体の形状を把握することが出来る。
【００８６】
なお、実施例では、触覚情報はタッチパネル１６に対してタッチされたときに、触覚パネル１８から出力されるようにしている。これにより、プロセッサ３０への処理負担を軽減させると共に、触覚情報の出力による消費電力が抑えられる。ただし、他の実施例では、触覚パネル１８から触覚情報が常に出力されるようにしてもよい。
【００８７】
また、実施例では、エッジ情報に基づいて輪郭を示す補助画像が作成され、触覚情報が出力されるときに、補助画像もあわせて表示される。補助画像は透過率が高くされているため、図６に示すプレビュー画像に対して補助画像が表示されても、ユーザは、補助画像をほぼ視認することは出来ない。
【００８８】
また、図１０を参照して、その他の実施例では、ロングタップ操作がされると、ＭＦ処理として受け付けられ上下方向のスライド操作をおこなうことで、合焦状態が調整できてもよい。この場合は、タッチ位置に追従して、触覚情報の出力位置も変化する。これにより、ユーザは、１本の指でＭＦ操作による合焦状態を調整しながら、合焦状態の変化を確認することができる。
【００８９】
また、さらにその他の実施例では、ＭＦ操作は、タッチ操作ではなく、専用のハードキーによって行われてもよい。
【００９０】
上述では本実施例の特徴を概説した。以下では、図１１に示すメモリマップおよび図１２、図１３に示すフロー図を用いて詳細に説明する。
【００９１】
図１１を参照して、ＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２参照）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。
【００９２】
プログラム記憶領域３０２には、カメラ機能を実行するためのカメラ機能プログラム３１０および触覚情報を作成するための触覚情報作成プログラム３１２などが記憶される。なお、プログラム記憶領域３０２には、メール機能、ブラウザ機能などの機能を実行するためのプログラムも記憶される。
【００９３】
続いて、ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、プレビュー画像バッファ３３２、触覚情報バッファ３３４および補助画像バッファ３３６などが設けられる。また、データ記憶領域３０４には、タッチ座標マップ３３８および触覚座標マップ３４０などが記憶されると共に、タッチフラグ３４２などが設けられる。
【００９４】
タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータ、タッチ操作の始点および終点のタッチ座標のデータなどが一時的に記憶される。プレビュー画像バッファ３３２には、カメラモジュールから出力された画像が一時的に記憶される。そして、プレビュー画像バッファ３３２に記憶された画像データに基づいて、プレビュー画像がディスプレイ１４に表示される。触覚情報バッファ３３４には、作成された触覚情報が一時的に記憶される。補助画像バッファ３３６には、作成された補助画像が一時的に記憶される。
【００９５】
タッチ座標マップ３３８は、タッチ操作におけるタッチ座標とディスプレイ１４の表示座標とを対応付けるためのデータである。つまり、タッチパネル１６に対して行われたタッチ操作の結果が、タッチ座標マップ３３８に基づいてディスプレイ１４の表示に反映される。触覚座標マップ３４０は、触覚パネル１８の平面座標とディスプレイの表示座標（画像の平面座標）とを対応付けるためのデータである。
【００９６】
タッチフラグ３４２は、タッチパネル１６に対してタッチされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４２は、１ビットのレジスタで構成される。タッチフラグ３４２がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４２がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。また、タッチフラグ３４２は、タッチパネル制御回路４８の出力に基づいてオン／オフが切り換えられる。
【００９７】
なお、データ記憶領域３０４には、オブジェクトを表示するためのデータが記憶されたり、プログラムの実行に必要な、他のフラグやタイマ（カウンタ）が設けられたりする。
【００９８】
プロセッサ３０は、Ｗｉｎｄｏｗｓ（登録商標）ベースのＯＳや、Ａｎｄｒｏｉｄ（登録商標）およびｉＯＳ（登録商標）などのＬｉｎｕｘ（登録商標）ベースのＯＳなどその他のＯＳの制御下で、図１２に示すカメラ機能処理および図１３に示す触覚情報作成処理などを含む、複数のタスクを並列的に処理する。
【００９９】
図１２はカメラ機能処理のフロー図である。たとえば、カメラ機能を実行する操作がされると、カメラ機能処理は開始される。ステップＳ１でプロセッサ３０は、カメラ機能処理は、プレビュー画像を表示する。つまり、プレビュー画像バッファ３３２から画像を読み出し、その画像に基づくプレビュー画像がディスプレイ１４に表示される。続いて、ステップＳ３でプロセッサ３０は、ＡＦ処理を実行する。つまり、プレビュー画像の略中央にピントが合うように、ＡＦ処理が実行される。なお、ステップＳ３の処理を実行するプロセッサ３０は第１調整部として機能する。
【０１００】
続いて、ステップＳ５でプロセッサ３０は、触覚情報作成処理を実行する。この触覚情報作成処理についてはフロー図を用いて後述するため、ここでの詳細な説明は省略する。
【０１０１】
続いて、ステップＳ７でプロセッサ３０は、タッチ操作か否かを判断する。つまり、タッチフラグ３４２がオンであるかが判断される。ステップＳ７で“ＮＯ”であれば、つまりタッチ操作がされていなければ、プロセッサ３０はステップＳ９で終了か否かを判断する。つまり、カメラ機能を終了する操作がされたかが判断される。ステップＳ９で“ＹＥＳ”であれば、つまりカメラ機能を終了する操作がされると、プロセッサ３０はカメラ機能処理を終了する。一方、ステップＳ９で“ＮＯ”であれば、つまりカメラ機能を終了する操作がされなければ、プロセッサ３０はステップＳ７の処理に戻る。
【０１０２】
ステップＳ７で“ＹＥＳ”であれば、つまりタッチ操作がされると、ステップＳ１１でプロセッサ３０は、触覚情報を出力する。つまり、触覚情報作成処理で作成された触覚情報が触覚パネル１８から出力される。続いて、ステップＳ１３でプロセッサ３０は、撮影操作か否かを判断する。つまり、シャッターキーに対してタップ操作がされたかが判断される。ステップＳ１３で“ＹＥＳ”であれば、つまりシャッターキーに対してタッチ操作がされると、ステップＳ１５でプロセッサ３０は、本撮影処理を実行する。つまり、画像データがフラッシュメモリ４４に記憶される。そして、ステップＳ１５の処理が終了すれば、プロセッサ３０はステップＳ１の処理に戻る。
【０１０３】
また、ステップＳ１３で“ＮＯ”であれば、つまり撮影操作でなければ、ステップＳ１７でプロセッサ３０は、ＡＦ操作か否かを判断する。つまり、プレビュー画像に対してタップ操作がされたかが判断される。ステップＳ１７で“ＹＥＳ”であれば、つまりＡＦ操作がされると、プロセッサ３０はステップＳ３の処理に戻る。つまり、ＡＦ処理が再び実行され、触覚情報が再び作成される。
【０１０４】
また、ステップＳ１７で“ＮＯ”であれば、つまりＡＦ操作でなければ、ステップＳ１９でプロセッサ３０は、ＭＦ操作か否かを判断する。たとえば、既にタッチされている状態で、カメラ画面の左側にタッチされたかが判断される。ステップＳ１９で“ＮＯ”であれば、つまりＭＦ操作がされていなければ、プロセッサ３０はステップＳ７の処理に戻る。また、ステップＳ１９で“ＹＥＳ”であれば、つまりＭＦ操作であれば、ステップＳ２１でＭＦ処理を実行する。たとえば、フォーカススライダーＦＳを表示し、タッチ位置に基づいてレンズ５６のレンズ位置を移動させる。続いて、プロセッサ３０は、ステップＳ２３でステップＳ５と同様に触覚情報作成処理を実行し、ステップＳ２５でステップＳ１１と同様に触覚情報を出力する。つまり、ＭＦ操作に応答して出力する触覚情報が更新される。なお、ステップＳ２３で実行される触覚情報作成処理についてはフロー図を用いて後述するため、ここでの詳細な説明は省略する。なお、ステップＳ１９の処理を実行するプロセッサ３０は受付部として機能し、ステップＳ２１の処理を実行するプロセッサ３０は第２調整部として機能する。
【０１０５】
続いて、ステップＳ２７でプロセッサ３０は、ＭＦ操作が終了したか否かを判断する。たとえば、フォーカススライダーＦＳから指が離されたかが判断される。ステップＳ２７で“ＮＯ”であれば、つまりＭＦ操作が継続していれば、プロセッサ３０はステップＳ２１の処理に戻る。一方、ステップＳ２７で“ＹＥＳ”であれば、ＭＦ操作が終了すれば、プロセッサ３０はステップＳ７の処理に戻る。
【０１０６】
なお、ステップＳ３またはステップＳ２１の処理を実行するプロセッサ３０は調整部として機能する。また、ステップＳ５またはステップＳ２３の処理を実行するプロセッサ３０は作成部として機能する。そして、ステップＳ１１またはステップＳ２５の処理を実行するプロセッサ３０は出力処理部として機能する。
【０１０７】
図１３は触覚情報作成処理のフロー図である。カメラ機能処理でステップＳ５またはステップＳ２３の処理が実行されると、触覚情報作成処理が開始される。ステップＳ４１でプロセッサ３０は、画像解析処理を実行する。つまり、プレビュー画像バッファ３３２に記憶されているプレビュー画像に対して、画像解析処理が施される。続いて、ステップＳ４３でプロセッサ３０は、プレビュー画像の周波数成分を抽出する。たとえば、本実施例では、周波数成分のうち高域成分が抽出される。続いて、ステップＳ４５でプロセッサ３０は、エッジ情報を作成する。たとえば、図７（Ｂ）に示すように、被写体の輪郭を示すエッジ情報が作成される。続いて、ステップＳ４７でプロセッサ３０は、エッジ情報および周波数成分に基づいて、触覚情報を作成する。たとえば、高域成分の出力レベルを擬似凹凸の高さに変換し、かつプレビュー画像の平面座標と対応させた触覚情報が作成される。そして、作成された触覚情報は触覚情報バッファ３３４に記憶される。続いて、ステップＳ４９でプロセッサ３０は、補助画像を作成する。つまり、エッジ情報に基づいて被写体の輪郭を示す補助画像が作成される。そして、作成された補助画像は補助画像バッファ３３６に記憶される。なお、ステップＳ４９の処理が終了すると、プロセッサ３０は触覚情報作成処理を終了して、カメラ機能処理に戻る。
【０１０８】
なお、ステップＳ４５の処理を実行するプロセッサ３０は第１作成部として機能し、ステップＳ４７の処理を実行するプロセッサ３０は第２作成部として機能する。そして、ステップＳ４９の処理を実行するプロセッサ３０は第３作成部として機能する。
【０１０９】
＜第２実施例＞
第２実施例では、触覚情報はプレビュー画像の被写体とは異なる位置に出力する。たとえば、第１実施例のように、視覚情報の平面座標と触覚情報の平面座標とを一致させて出力した場合、合焦状態を確認するために疑似凹凸に触れると、プレビュー画像に写る被写体が隠れてしまう。この場合、視覚情報と触覚情報とを同時に利用しにくくなることが考えられる。そこで、第２実施例では、カメラ画面の任意の位置に触覚情報を出力することで、指によって被写体を隠すことなく、触覚情報を確認することが出来る。
【０１１０】
なお、第２実施例の携帯電話機１０は、第１実施例と略同じであるため、外観および電気的な構成などの説明は省略する。
【０１１１】
たとえば、図１４を参照して、カメラ画面には、触覚情報が出力される触覚領域ＦＡおよび触覚領域ＦＡと対応する対応領域ＣＡが設けられる。たとえば、対応領域ＣＡに人形の顔が含まれている場合、触覚領域ＦＡには対応領域ＣＡの範囲に含まれる被写体の触覚情報が出力される。また、触覚情報が出力されていることを示すために、触覚領域ＦＡには補助画像が表示される。ここで、視覚情報と触覚情報とは別次元の情報であるため、２つの情報が干渉することなく、重ね合わせることが出来る。特に、透過率が高い補助画像を表示しないようにすれば、２つの情報の干渉は生じなくなる。
【０１１２】
また、図１５を参照して、触覚領域ＦＡによって出力される触覚情報および補助画像は拡大して出力されてもよい。つまり、カメラ画面が触覚領域ＦＡとして機能し、カメラ画面の全体を利用して触覚情報および補助画像が出力される。たとえば、ユーザは、プレビュー画像の合焦状態をより正確に確認したいと感じることがある。この場合、視覚情報、つまりプレビュー画像を拡大してカメラ画面の全体を利用して表示すると、全体の構図が確認できなくなってしまう。ところが、図１５のように視覚情報と触覚情報とを出力することで、プレビュー画像によって全体の構図を確認しながら、拡大して出力されている触覚情報によって合焦状態を細かく確認することが出来る。なお、他の実施例では補助画像が表示されなくてもよい。
【０１１３】
たとえば、既存のデジタルカメラなどＭＦ操作を行う場合は、視覚で画像の鮮明度を確認する必要があるため、プレビュー画像の拡大画像がカメラ画面の略全体に表示されることがある。また、視覚情報で鮮明度を確認する場合には、拡大画像を透過させたりせずに表示する必要がある。そのため、既存のデジタルカメラなどでＭＦ操作を行う場合には、全体の構図を確認しながらＭＦ操作を行うことができないことがある。ところが、表示される被写体とは関係しない位置に触覚情報を出力することで、全体の構図を見ながら、合焦状態を確認することが出来る。また、補助画像が表示されているため、触覚情報が出力されている位置を把握することが出来る。
【０１１４】
ここで、対象領域ＣＡは、ＡＦ処理に基づいて設定される。たとえば、カメラ機能が実行された直後は、プレビュー画像の中心にピントが合うように合焦状態が調整されるため、対象領域ＣＡはプレビュー画像の中心に基づいて設定される。また、タップ操作によってＡＦ処理が再度行われると、タップ位置の周辺にピントが合うように合焦状態が調整される。そのため、対象領域ＣＡはタップ位置に基づいて設定される。ただし、ＡＦ処理は、タップ操作だけに限らず、２に点を指定するマルチタッチ操作、カーソルなどによるピンチ位置を指定する操作、ＡＦの基準となるマーカーをドラッグアンドドロップする操作などによって実行されてもよい。また、他の実施例では、対応領域ＣＡの表示は省略されてもよい。
【０１１５】
なお、第１実施例および第２実施例については、任意に組み合わせることが可能である。たとえば、第１実施例の図６の状態と、第２実施例の図１４、図１５の状態とはユーザによって、任意に切り替えることができるようにされてもよい。また、他の組み合わせについては容易に想像できるため、ここでの詳細な説明は省略する。
【０１１６】
また、他の実施例では、画像の高域成分は、ハイパスフィルタやバンドバスフィルタによって抽出されてもよい。また、エッジ情報は、高域成分から作成せずに、他のアルゴリズムによって作成されてもよい。
【０１１７】
また、実施例のカメラモジュールに含まれるイメージセンサ５４は画像出力機能を有している。そして、この画像出力機能さえ有していれば、いかなる回路およびモジュールであっても本実施例の画像出力部に相当する。
【０１１８】
また、触覚情報は、高域成分だけであってもよいし、高域および低域のそれぞれに重み付けをして両者を合成するようにしてもよい。
【０１１９】
また、その他の実施例では、補助画像を透過させずに表示してもよい。また、触覚領域ＦＡの位置は一例であり、他の実施例では他の場所に設けられてもよいし、ユーザによって任意に設定位置が変更されてもよい。
【０１２０】
また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。
【０１２１】
そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
【符号の説明】
【０１２２】
１０    …  携帯電話機
１４    …  ディスプレイ
１６    …  タッチパネル
１８    …  触覚パネル
３０    …  プロセッサ
４４    …  フラッシュメモリ
４６    …  ＲＡＭ
４８    …  タッチパネル制御回路
５０    …  触覚パネル制御回路
５２    …  カメラ制御回路
５４    …  イメージセンサ
５６    …  レンズ
【図１】
2015065616.tif 000003
【図２】
2015065616.tif 000004
【図３】
2015065616.tif 000005
【図４】
2015065616.tif 000006
【図５】
2015065616.tif 000007
【図６】
2015065616.tif 000008
【図７】
2015065616.tif 000009
【図８】
2015065616.tif 000010
【図９】
2015065616.tif 000011
【図１０】
2015065616.tif 000012
【図１１】
2015065616.tif 000013
【図１２】
2015065616.tif 000014
【図１３】
2015065616.tif 000015
【図１４】
2015065616.tif 000016
【図１５】
2015065616.tif 000017