(57)【要約】【課題】  検索結果である画像群を一覧表示させる配列方法を、ユーザの意図に合わせて適宜変更できる。特に、その変更をユーザーの直感的な操作で行う。【解決手段】  複数の画像をディスプレイに配列表示させる表示制御装置であって、操作者のジェスチャを撮影するジェスチャ入力部と、前記ジェスチャによって移動する特定部位の軌跡を認識する軌跡認識部と、前記ジェスチャが移動中に形成する特定部位の形状を認識する形状認識部と、前記特定部位の軌跡および形状に基づいて、前記複数の画像を配列方法を決定する配列方法特定部と、前記特定された配列方法を用いて、前記複数の画像を前記ディスプレイに表示させる表示制御部とを備えることを特徴とする。【選択図】  図８
2011248606.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像をディスプレイに配列表示させる表示制御装置であって、
操作者のジェスチャを撮影するジェスチャ入力部と、
前記ジェスチャによって移動する特定部位の軌跡を認識する軌跡認識部と、
前記ジェスチャが移動中に形成する特定部位の形状を認識する形状認識部と、
前記特定部位の軌跡および形状に基づいて、前記複数の画像を配列方法を決定する配列方法特定部と、
前記特定された配列方法を用いて、前記複数の画像を前記ディスプレイに表示させる表示制御部と
を備えることを特徴とする表示制御装置。
【請求項２】
前記配列方法特定部は、前記特定部位の軌跡を示す、各時間Ｔにおける座標と、前記特定部位の形状の変化を示す、各時間Ｔにおける数値を表す形状とに基づいて、前記複数の画像を配列方法を決定することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記特定部位は、操作者の手および手の指であり、前記形状認識部による形状の認識は、前記指が如何なる数値を表しているかを認識することを特徴とする請求項１に記載の表示制御装置。
【請求項４】
前記配列方法特定部は、前記ジェスチャを実行中の各時間Ｔにおいて前記指が如何なる数値を表しているかを特定し、もし、一部の時間における指が明確な数値を表していない場合には、その前および後の時間帯における指が明確に表す数値に基づいて、前記一部の時間における指が表す数値を決定することを特徴とする請求項３に記載の表示制御装置。
【請求項５】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至４のいずれか１項に記載の表示制御装置として機能させるコンピュータプログラム。
【請求項６】
請求項５に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項７】
複数の画像を配列表示するディスプレイを制御する表示制御方法であって、
ジェスチャ入力手段により、操作者のジェスチャを撮影するジェスチャ入力工程と、
軌跡認識手段により、前記ジェスチャによって移動する特定部位の軌跡を認識する軌跡認識工程と、
形状認識手段により、前記ジェスチャが移動中に形成する特定部位の形状を認識する形状認識工程と、
配列方法特定手段により、前記特定部位の軌跡および形状に基づいて、前記複数の画像を配列方法を決定する配列方法特定工程と、
表示制御手段により、前記特定された配列方法を用いて、前記複数の画像を前記ディスプレイに表示させる表示制御工程と
を備えることを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが行うジェスチャにより、検索された画像を配列する指定する技術に関する。
【背景技術】
【０００２】
従来、キーワードなどを音声として入力することにより、データベース上の画像を検索する技術が知られている。
【０００３】
また、画像の一覧表示のために、ディスプレイの仮想的な３次元空間に、それら画像を配列表示する技術などが知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、キーワード検索などで得られた画像群を、ユーザに確認させるために一覧表示する場合には、予め決められた配列方法でそれら画像群を一覧表示している。しかしながら、例えばそのときの検索内容などに応じて検索結果である画像群の配列方法を適宜変更したい場合なども在り得る。従って、検索結果である画像群を一覧表示させる配列方法は、ユーザの意図に合わせて適宜変更できることが好ましい。
【０００６】
本発明は上記状況に鑑みてなされたものであり、検索結果である画像群を一覧表示させる配列方法を、ユーザの意図に合わせて適宜変更できるようにする技術を提供するものである。特に、その変更をユーザーの直感的な操作で行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決する為に、本発明の表示制御装置によれば、複数の画像をディスプレイに配列表示させる表示制御装置であって、操作者のジェスチャを撮影するジェスチャ入力部と、前記ジェスチャによって移動する特定部位の軌跡を認識する軌跡認識部と、前記ジェスチャが移動中に形成する特定部位の形状を認識する形状認識部と、前記特定部位の軌跡および形状に基づいて、前記複数の画像を配列方法を決定する配列方法特定部と、前記特定された配列方法を用いて、前記複数の画像を前記ディスプレイに表示させる表示制御部とを備えることを特徴とする。
【発明の効果】
【０００８】
以上の構成によれば、検索結果である画像群を一覧表示させる配列方法を、ユーザの意図に合わせて適宜変更できる。特に、その変更をユーザーの直感的な操作で行うことができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置の概観図。
【図２】情報処理装置のブロック図。
【図３】情報処理装置のハードウエア構成図。
【図４】情報処理装置の情報処理方法を特定するための処理手順を示すフローチャート。
【図５】Ｔ＝０のときの割り当て画像枚数分だけ検索画像を配列した結果を示す図。
【図６】ステップＳ４０８を詳細に説明するフローチャート。
【図７】ジェスチャ操作を説明する図。
【図８】ジェスチャ操作に応じて検索画像が配列された結果を示す図。
【図９】情報処理方法を適用した結果を示す図。
【図１０】ステップＳ６０２を詳細に説明したフローチャート。
【図１１】ステップＳ６０１を詳細に説明したフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明に好適な実施形態を説明する。
【００１１】
図１は、本実施形態に適用される情報処理システムの概観図である。なお、本実施形態では、ジェスチャ入力機能を備えた情報処理システムを例示して説明する。また、この情報処理システムは、各処理部の連携により本実施形態の効果を奏する動作を行うものとして説明するが、本発明を実行するものは、上記システムに限らず、全ての処理部を一体的に備えた情報処理装置であってもよい。図１の情報処理システムは、主に、ディスプレイ（表示装置）１０１、カメラ１０２、マイク１０４からなる。本実施形態で検索された画像群は、ディスプレイ１０１の一部である画面１０３に表示される。カメラ１０２は、操作者が実行するジェスチャを撮影する機能を備える。例えば、ユーザ１０５の手１０６によって形成されるジェスチャを撮影する。そしてその手１０６が描いた軌跡とその手１０６の形状（指の状態等）を認識する機能を備える。なお、図中のＸＹＺ軸１０７は、ユーザ１０５のジェスチャ操作を３次元空間座標として説明のためのものであり、物理的に存在するものではない。本実施形態では、カメラ１０２は、距離画像取得機能を備えており、空間上の対象物（手１０６などのオブジェクト）との距離を画素値とするように、距離画像を生成する。距離の測定方法としては、例えば、赤外線を発光して対象物からの反射光の到達時間を計測する飛行時間計測方式（ＴＯＦ）などが適用される。そして時間的に連続した距離画像を比較することにより、その対象物の移動距離と移動方向の特定が可能である。また、カメラ１０２は、画像形状認識機能も装備しており、ユーザ１０５の種類や、ユーザ１０５の手１０６の形状などを認識できる。本実施形態では、様々な人間の形状や手の形状をモデルとして記憶装置（ＲＡＭ）に所持しておくことにより上記各認識を実現する。対象物の移動距離や移動方向の特定、あるいは形状認識技術については公知であるので、詳細な説明は省略する。
【００１２】
図２は、本実施形態に適用される情報処理システムのブロック図である。同図において、軌跡認識部２０１は、カメラ１０２が撮像した動画に基づいて、手１０６が移動した３次元空間における軌跡を認識する。形状認識部２０２は、カメラ１０２が撮像した動画に基づいて、手１０６の形状を認識する。配列方法特定部２０３は、軌跡認識部２０１が認識した手１０６の軌跡と形状認識部２０５が認識した手１０６の形状から、画像検索部２０７が取得した検索画像（検索結果）を一覧表示させるための配列方法を特定する。表示部２０４は、配列方法特定部２０３が特定した配列方法に従って、検索画像を画面１０３上に配列表示する。この場合、配列方法特定部２０３が表示部２０４の表示を制御する表示制御部であると見なすこともできる。音声認識部２０５は、マイク１０４が取得した、ユーザの発声した音声を音声認識する。画像保持部２０６は、本実施形態で扱う種々の画像を保持する。画像検索部２０７は、音声部認識部２０５が認識した認識語彙を検索クエリとして、画像保持部２０６が保持している画像群の画像検索を行う。ジェスチャ入力部２０８は、ユーザ１０５が行ったジェスチャを示す情報を入力する。関連部２０９は、軌跡認識部２０１が認識した手１０６の軌跡に相当する時間と、その時間に形状認識部２０２が認識した手の形状とを関連付ける作業を行う。マッピング方法特定部２１０は、軌跡認識部２０１が認識した軌跡を、上述したＸＹＺ軸１０７で規定される三次元空間上にマッピングする。補正部２１１は、ある時間Ｔにおいて形状認識部２０２が手の形状が認識しない場合、時間Ｔの前後で形状認識部２０２が認識した手の形状を用いて、時間Ｔにおける手の形状を補正する。オブジェクト数特定部２１２は、補正部２１１が補正した手の形状を用いて、３次元空間座標のＸＹ平面、ＹＺ平面、ＺＸ平面の上に配列するオブジェクトの数を特定する。オブジェクトサイズ特定部２１３は、３次元空間座標のＸＹ平面、ＹＺ平面、ＺＸ平面の上に配列するオブジェクトの大きさを、３次元空間座標に応じて特定する。
【００１３】
図３は、本実施形態に適用される情報処理システムのハードウエア構成を示す図である。
ＣＰＵ３０１は、プログラムに従って、本実施形態の各動作手順を実現するよう動作する。ＲＡＭ３０２は、上記プログラムの動作に必要な記憶領域を提供する。ＲＯＭ３０３は、上記プログラムの動作手順を実現するプログラムやデータベースなどを保持する。表示装置３０４は、表示部２０４に相当し、ユーザに対して各種の情報を表示する。撮像装置３０５は、距離画像認識機能を備えており、手１０６などのオブジェクトを３次元空間座標上のものとして認識する。また、撮像装置３０５は、画像形状認識機能を備えており、このオブジェクトの形状も認識する。音声認識装置３０６は、音声認識部２０５に相当する。上記各処理部は、バス３０７を介してデータをやりとりする。
【００１４】
図８は、ユーザのジェスチャによる操作で、検索画像が一覧表示された様子を示す図である。画面１０３は、縦が８０ｃｍ、横が２００ｃｍの大きさであり、ここで仮想的な３次元空間を表現する。この画面１０３は、ＸＹＺ軸８０２で定義される仮想的な３次元空間を有し、画面１０３の左下の点Ｐ８１を原点（０，０，０）とし、横方向をＸ軸、縦方向をＹ軸、奥行き方向をＺ軸（原点を通り、ＸＹ平面に直行する軸）とする。また、本実施形態では、画面１０３の左上の点Ｐ８２を（２００，８０，０）、右下の点Ｐ８３を（２００，０，０）、Ｚ軸上の点Ｐ８４を（０，０，８０）とする。
【００１５】
図４は、ジェスチャ操作により、検索画像の配列方法を特定する処理手順を示したフローチャートである。本実施形態では、画像データベースの中から、「クリスマス」に関連する画像を検索する場合を説明する。なお、上述した３次元空間は、後述するステップＳ４０６で軌跡認識を開始する時点で、図１のＸＹＺ軸１０７を設定する。そして、その開始の時点で、ユーザ１０５の形状を認識し、ユーザ１０５の重心の点Ｐ１１を原点（０，０，０）とする。また、ユーザ１０５から画面１０３に向かって右方向をＸ軸（原点を通り、画面１０３と床面に対して平行の軸）、上方向をＹ軸（原点を通り、床面に対して直行する軸）、前方向をＺ軸（原点を通り、ＸＹ平面に対して直行する軸）とする。座標の単位はｃｍとし、例えば、Ｘ軸の正方向に１ｃｍ移動した３次元空間座標は、（１，０，０）とする。後述するステップＳ４０６にて軌跡の認識をする場合には、右手の重心の点に対する原点からの距離と方向をカメラ１０２が認識し、右手の重心の点における３次元空間の座標を特定する。また、後述するステップＳ４０５におけるジェスチャ操作は、ＸＹＺ座標が、０≦Ｘ≦１００、０≦Ｙ≦４０、０≦Ｚ≦４０の範囲で行われることとする。この範囲外でジェスチャ入力が行われた場合には、ジェスチャ入力はキャンセルされる。
【００１６】
以下、本実施形態の処理手順を、図４のフローチャートを用いて説明する。
ステップＳ４０１では、ユーザは、「クリスマス」と発声する。マイク１０４は、ユーザが発声した音声を検知すると、その音声をテキスト（認識語彙と呼ぶ）に変換する。
【００１７】
ステップＳ４０２では、ステップＳ４０１で認識された認識語彙を検索クエリとし、画像データベースを検索する。ここでは、「クリスマス」に関連する検索画像が４０枚（Ｎ＝４０）特定されるものとする。
【００１８】
ステップＳ４０３では、ユーザは、「ジェスチャ開始」と発声する。本実施形態の情報処理システムが、認識語彙として「ジェスチャ開始」を認識すると、この認識を開始要件として、カメラ１０２がユーザのジェスチャを撮像し始める。本実施形態では、このステップＳ４０３で撮像し始める時間を０秒（Ｔ＝０）とする。
ステップＳ４０４では、ユーザが実行中の一連のジェスチャを入力する。
【００１９】
図７は、上記ユーザのジェスチャの一例を示す。軌跡７０１は、ユーザ１０５が手１０６を移動させることで描かれた軌跡である。ここでは、地点７０２を軌跡の始点であり、地点７０３が軌跡の通過点であり、地点７０４が軌跡の終点である。また、この軌跡を描く際に手１０６は立てている指の本数を変更する。具体的には、軌跡地点７０２では５本、軌跡地点７０３では１本、軌跡地点７０４では５本の指が立っているものとする。ここでは、ユーザは右手を使用してジェスチャによる操作を行うものとし、軌跡７０１は右手の重心が通った経路であるものとする。ただし、この経路７０１の決め方は、右手の重心でなくても良く、例えば右手首などでも良いであろう。
【００２０】
ステップＳ４０５では、ユーザにより「ジェスチャ終了」と発声されたかどうかを判断する。即ち、ユーザはジェスチャの開始時と終了時に音声コマンドによって、本実施形態の情報処理システムに指示を出すものである。このステップＳ４０５において、情報処理システムが「ジェスチャ終了」の音声を認識した場合には、カメラ１０２は、ジェスチャを撮像することを終了する。本実施形態では、このステップＳ４０５でジェスチャの撮像を終了する時間を１．２秒（Ｔ＝１．２）とする。
【００２１】
ステップＳ４０６では、ステップＳ４０５においてカメラ１０２が撮像したジェスチャの軌跡を認識する。本実施形態では、０．１秒毎に、３次元空間座標（ＸＹＺ座標１０７）における右手の重心の位置を認識する。
【００２２】
ステップＳ４０７では、ステップＳ４０５においてカメラ１０２が撮像したジェスチャ（オブジェクト）の形状を認識する。ここでも、ステップＳ４０６と同様に、０．１秒毎に右手の指の本数を認識するものとする。
【００２３】
図９（ａ）は、図７に示したジェスチャの例に対して、ステップＳ４０６の処理を行った結果を示す表である。また、図９（ｂ）は、ステップＳ４０７の処理を行った結果を示す表である。ここで、列９０１は、上述した時間Ｔ（秒）に相当する。それぞれの表では、０．１秒毎の種々の情報が対応している。列９０２は、時間Ｔにおける、右手の重心の位置である。列９０３は、時間Ｔにおける指の状態（指が立っている本数が変更過程にあるか否か）である。列９０４は、時間Ｔにおいて指が立っている本数である。時間Ｔにおける列９０２の座標は、ステップＳ４０４で入力された時間Ｔの軌跡７０１上の通過点である。また、図９（ｂ）を見ると、Ｔ＝０において指が立っている本数が５本であることが解かる。また同じく、Ｔ＝０．６において指が立っている本数が１本であることが解かる。同じく、Ｔ＝１．２において指が立っている本数が５本であることが解かる。そして、Ｔ＝０．１からＴ＝０．５までは、上記“本数”が、５本から１本に変更している途中であることが解かる。同じく、Ｔ＝０．７からＴ＝１．１までは、上記“本数”が、１本から５本に変更している途中である。
【００２４】
ステップＳ４０８では、ステップＳ４０６とステップＳ４０７の結果から、画面１０３上に設定された仮想的な３次元空間に、検索された画像群（検索結果）を如何に配列するか特定する。
【００２５】
図６は、ステップＳ４０８の内部処理の手順を説明するフローチャートである。ステップＳ６０１では、ステップＳ４０３〜Ｓ４０５において入力されたジェスチャの３次元空間における座標を、画面１０３上の仮想的な３次元空間座標にマッピングする。
【００２６】
図１１を用いて、ステップＳ６０１のマッピングの処理手順を説明する。
【００２７】
ステップＳ１１０１では、実空間上で行われたユーザ１０５によるジェスチャについて、重み付け係数αを設定する。このαは、種々のジェスチャの大きさを正規化するための重み付け係数であり、ジェスチャを行う人あるいはジェスチャが行われる場所などに応じて適宜設定される。そして、ジェスチャが実際に起こる３次元空間上の移動距離を１００ｃｍとしたときに、「１００／αｃｍの移動をした」とみなす。例えば、α＝２であれば、「５０ｃｍの移動をした」とみなす。
【００２８】
αの設定の仕方について一例を示す。ここでは、実際のジェスチャが移動する空間を考慮し、その空間におけるＸ座標の最大値と最小値に基づいてαを決定する。例えば、０≦（Ｘ座標の最大値）−（Ｘ座標の最小値）＜４０の場合には、α＝０．５とする。４０≦（Ｘの最大値）−（Ｘ座標の最小値）＜８０の場合には、α＝０．７とする。８０≦（Ｘの最大値）−（Ｘ座標の最小値）＜１２０の場合には、α＝１とする。１２０≦（Ｘの最大値）−（Ｘ座標の最小値）＜１４０の場合には、α＝１．２とする。以上において、例えば、図７に示すジェスチャの移動する空間について着目すると、その空間のＸ座標の最小値は８であり、最大値は９２であり、（Ｘ座標の最大値）−（Ｘ座標の最小値）＝８４である。よって、図７のジェスチャが入力された場合には、α＝１とすれば良い。
【００２９】
ステップＳ１１０２では、ディスプレイ１０１（表示装置）の画面１０３の大きさを特定する。例えば、画面１０３は、縦が８０ｃｍ、横が２００ｃｍであるとすると、画面１０３の大きさ（面積Ｓ）は、１６０００ｃｍ２である。
【００３０】
ステップＳ１１０３では、ステップＳ１１０１〜Ｓ１１０２の結果に基づいて、ジェスチャ全体の動きを画面１０３全体にマッピングするためのマッピング比を特定する。本実施形態では、面積Ｓが大きくなるに従って、このマッピング比を大きくする。
マッピング比＝（１／α）×（Ｓ／Ｓ０）・・・（１）式
なお、Ｓ０は、面積Ｓを正規化するための定数であり、本実施形態では、Ｓ０＝８０００とする。例えば、α＝１であり、面積が１６０００ｃｍ２であるとすると、上記式を用いたマッピング比は、（１／１）×（１６０００／８０００）＝２となる。この場合、ユーザによるジェスチャの全長（横方向の全長）が５０ｃｍであれば、縦が８０ｃｍ、横が２００ｃｍの画面１０３における仮想３次元空間では、上記ジェスチャが横方向に１００ｃｍ移動したものとしてマッピングされることになる。
【００３１】
ステップＳ１１０４では、表示装置上（画面１０３）における仮想３次元空間座標を特定する。具体的には、ステップＳ４０６で特定されたジェスチャの３次元空間座標（ＸＹＺ座標）それぞれに対して、上記マッピング比を乗算する。図９（ｃ）の列９０５は、ステップＳ１１０４の処理を行うことにより、図７のジェスチャを示す座標がマッピングされた座標群である。
【００３２】
ステップＳ６０２では、各時間Ｔにおける指の本数を補間処理する。もし、Ｔ秒後の指の状態が変更途中である場合は、その前後の指の本数から補正値を特定すれば良い。
【００３３】
図１０は、ステップＳ６０２の処理を詳細に説明したフローチャートである。まず、ステップＳ１００１では、Ｔ＝０に設定する。ステップＳ１００２では、時間Ｔにおける指の状態が「変更中」であるかどうか判断する。この判断は、指の本数を補間する必要がある「変更中」の時間Ｔを見つけ、ステップＳ１００４以降の補間処理を行う対象とするための判断である。もし「変更中」である場合には、ステップＳ１００４に移動する。もし、「変更中」でない場合には、ステップＳ１０１４に移動する。図７のジェスチャおよび図９（ｂ）の表を例に説明すると、Ｔ＝０のときと、Ｔ＝０．６のときと、Ｔ＝１．２のときは、指の状態が「特定状態」、ステップＳ１００３に移動する。一方、それ以外のＴ＝０．１などのときは、指の状態が「変更中」であるので、ステップＳ１００４に移動する。なお、本実施形態では、「特定状態」とは、５本の指のそれぞれが、完全に立っているか、完全に曲がっているかの何れかの状態であることに相当する。言い換えれば、「特定状態」とは、ユーザの手の指が、明確に数値を表している状態である。一方、「変更中」とは、ユーザの手の指が、明確に数値を表していない状態である。図７のジェスチャの例によれば、ステップＳ１００２で最初に「Ｙｅｓ」となり、ステップＳ１００４に進むのは、Ｔ＝０．１のときである。ステップＳ１００３では、Ｔに０．１を加算する。ステップＳ１００４では、Ｓに現在のＴの値を代入する。例えば、ステップＳ１００２で最初に「Ｙｅｓ」となった場合（即ち、ステップＳ１００３でＴ＝０．１とした直後に、ステップ１００２からステップＳ１００４に進んだ場合）には、Ｓには、Ｔ＝０．１が代入される。ステップＳ１００５では、Ｓから０．１を減算する。ステップＳ１００６では、Ｓ秒後の指の状態が「特定状態」である場合には、ステップＳ１００７に移動する。Ｓ秒後の指の状態が「特定状態」でない場合、即ち「変更中」である場合には、ステップＳ１００５に戻る。例えば、ステップＳ１００２で最初に「Ｙｅｓ」となった上述の場合には、ステップＳ１００５にて、Ｓ＝０．１からＳ＝０に変化したのときに指の状態が「特定状態」であると判断され、ステップＳ１００７に進む。ステップＳ１００７では、Ｘ１＝Ｓ、Ｙ１＝（Ｓ秒後の指の本数）とする。例えば、ステップＳ１００２で最初に「Ｙｅｓ」となった上述の場合には、Ｘ１＝０、Ｙ１＝５となる。次に、ステップＳ１００８では、ＳにＴの値を代入する。これはステップＳ１００４と同様の処理である。ステップＳ１００９では、Ｓに０．１を加算する。ステップＳ１０１０では、もしＳ秒後の指の状態が「特定状態」である場合には、ステップＳ１０１１に移動する。もしＳ秒後の指の状態が「特定状態」でない場合、即ち「変更中」である場合には、ステップＳ１００９の処理を行う。例えば、ステップＳ１００２で最初に「Ｙｅｓ」となった上述の場合には、ステップＳ１００９でＳ＝０．６になったときに指の状態が「特定状態」であると判定される。ステップＳ１０１１では、Ｘ２＝Ｓ、Ｙ２＝（Ｓ秒後の指の本数）とする。例えば、ステップＳ１００２で最初に「Ｙｅｓ」となった上述の場合（Ｔ＝０．１）のときは、Ｘ２＝０．６であり、Ｙ２＝１である。
【００３４】
以上、ステップＳ１００４〜Ｓ１００７では、補間される対象の時間Ｔの以前の時間帯で「特定状態」であったときの時間と指の情報を特定する。また、ステップＳ１００８〜Ｓ１０１１では、補間される対象の時間Ｔの以降の時間帯で「特定状態」であったときの時間と指の情報を特定する。
【００３５】
次に、ステップＳ１０１２では、現在の処置対象である時間Ｔ（ステップＳ１００２において設定中である時間Ｔ）における指の本数の補正値を、以下の式に基づいて決定する。
補正値＝｛（Ｙ２−Ｙ１）／（Ｘ２−Ｘ１）｝（Ｔ−Ｘ１）＋Ｙ１・・・（２）式
例えば、ステップＳ１００２で最初に「Ｙｅｓ」となった上述の場合（Ｔ＝０．１）のときは、その補正値は４．３（小数第２位以下は四捨五入して切り捨て）となる。これは、「Ｔ＝０．１のときには、指が４．３本立っている」という意味を成す。ステップＳ１０１３では、もし、Ｔ≧Ｋ（Ｋは時間Ｔの最大値）の場合に一連の処理を終了する。もし、Ｔ≧Ｋでない場合には、ステップＳ１００３に戻る。図９（ｄ）の列９０６は、上記補間処理により得られた各時間Ｔにおける補正値である。
【００３６】
ステップＳ６０３では、ステップＳ６０２の結果に基づいて、各時間Ｔに相当する画面１０３の仮想３次元空間に割り当てる画像の枚数を特定する。ここでは、ステップＳ６０２で得られたＴ秒後の補正値に対して、小数第１位で四捨五入した値を、割り当てる画像の枚数とする。例えば、ステップＳ１００２で最初に「Ｙｅｓ」となった上述の場合（Ｔ＝０．１）の補正値は４．３であったので、これに対する枚数は４枚となる。図９（ｅ）の列９０７は、計算して得られた各時間Ｔにおける枚数である。
【００３７】
ステップＳ６０４では、画面１０３上に表示される各画像のサイズを特定する。ここでは、画面１０３の仮想３次元空間上において、Ｚ軸の座標値が大きい位置に表示される画像が小さく表示されるようにする。よって、図７のジェスチャに対応付けて表示される画像群について言えば、時間Ｔが０．６秒（Ｚ座標が３５）のときに相当する中央部の画像が、画像群のなかで一番小さく表示される。そして、時間Ｔが０秒と１．２秒（Ｚ座標が５）のときに相当する左右端部の画像が、画像群のなかで一番大きく表示される。以下に、具体例をあげる。
【００３８】
例えば、Ｚ座標の値が０のときの画像サイズを基準サイズとし、ここでは、縦が１０ｃｍ、横が６ｃｍと設定する。この基準サイズに対する、各時間Ｔに相当する表示画像のサイズをサイズ比とし、以下の様に決める。
サイズ比＝１−（時間ＴのＺ座標の値）／１２０・・・（３）式
もし、ある時間Ｔにおけるサイズ比が０．５であった場合には、その時間Ｔに相当する表示画像は、それぞれ、縦が５ｃｍ、横が３ｃｍということになる。図９（ｆ）の列９０８は、上記（３）式を用いた場合の各時間Ｔにおけるサイズ比である。
【００３９】
ステップＳ４０９では、ステップＳ４０８で特定された配列方法を用いて、検索された画像群を表示する。以下に、検索された画像群を画面１０３上に配列する方法を説明する。各時間Ｔにおける仮想３次元空間のＸＹ平面上に、各時間Ｔに対して割り当てたサイズおよび枚数の画像を等間隔に配列する。本実施形態では、同じ時間Ｔに対応する複数の画像が、Ｙ軸方向に一列に並ぶように配列する。
【００４０】
図５は、Ｔ＝０のときに対応する５枚の画像だけを配列した様子を示す例である。
図８は、全ての検索された画像群を配列した様子を示す例である。これによれば、画面１０３の左側では５枚の画像が縦に並び、画面１０３の中心では１枚の画像が縦に並ぶ。そして、画面１０３の右側では再び５枚の画像が縦に並ぶ。これはユーザがジェスチャによって自分の指を５、１、５の順で立てたことが反映されており、ユーザが直感的に手を動かしたことにより表示配列の方法が設定できたことになる。
【００４１】
以上説明したように、本実施形態によれば、ユーザによるジェスチャ操作で、ユーザの意図した通りに、検索で得られた画像群を配列表示できる。
【００４２】
［変形例］
上記ステップＳ４０３では、音声認識によりジェスチャ入力の開始を指定していたが、例えば、キーボードやマウス操作等による入力で代用しても良い。また、例えば、ある一定時間ジェスチャ操作がされなかった時間が認識されると、開始の合図となるようにしても良い。また、ステップＳ４０４では、指の“本数”に基づいて、各時間Ｔに対応する表示画像の枚数を指定していたが、ユーザの特定部位を移動中に、その特定部位が形成する形状を変動させることにより、配列方法を指定する方法であれば、適宜変更できる。例えば、特定部位として例示した手の指は、足の指であっても良いであろう。また、指が立っているか否かによって“数”を指定するものではなく、例えば、手の傾きや、５本の指によって形作る形状などによって数値を指定できるようにしても良いであろう。またステップＳ４０５では、音声認識によりジェスチャ入力の終了を指定していたが、例えば、キーボードやマウス操作等による入力で代用しても良い。また例えば、ある一定時間ジェスチャ操作がされなかった時間が認識されると、終了の合図となるようにしても良い。また、ステップＳ４０７では、ある一定間隔（本実施形態では、０．１秒間隔）で特定された画面上の３次元空間座標に対して、それぞれ検索画像を配列していたが、画面１０３上の３次元空間座標同士の距離に応じて、配列する３次元空間座標を特定しても良い。また、ステップＳ４０７で、割り当て画像枚数を特定する間隔は０．１秒であったが、以下の様に間隔を設定しても良い。例えば、検索画像の総数Ｎが４０であるが、Ｎが４０より大きい場合は、間隔を１秒以内にし、画面に表示できる検索画像の数を増やす。Ｎが４０より小さい場合は、間隔を１秒以上にし、画面に表示できる検索画像の数を減らす。
【００４３】
また、ステップＳ１１０３におけるマッピング比の決め方は、（１）式に限らず、例えば以下の式に基づいて決定しても良い。
マッピング比＝（１／α）×（Ｓ／Ｓ０）・ｌｏｇ（Ｌ／Ｊ）・・・（４）式
ここで、Ｌは、ジェスチャ入力した地点（ユーザ１０５）と表示装置（画面１０３）との距離である。Ｊは上記距離Ｌを正規化するための定数である。
【００４４】
なお、本発明は、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ可読記憶媒体を装置に供給し、コンピュータが記憶媒体に格納されたコンピュータプログラムコードを読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が、実施形態の機能を実現することになる。また、コンピュータが読出したプログラムコードを実行することにより、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行っても良い。また、プログラムコードが、コンピュータに挿入された機能拡張ボードなどに備わるメモリに書込まれた後、そのコードに基づき、機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行っても良い。
【図１】
2011248606.tif 000003
【図２】
2011248606.tif 000004
【図３】
2011248606.tif 000005
【図４】
2011248606.tif 000006
【図５】
2011248606.tif 000007
【図６】
2011248606.tif 000008
【図７】
2011248606.tif 000009
【図８】
2011248606.tif 000010
【図９】
2011248606.tif 000011
【図１０】
2011248606.tif 000012
【図１１】
2011248606.tif 000013