(57)【要約】【課題】画像閲覧装置の所有者が画像を見せたい閲覧者だけに所望の画像再生を可能とする画像閲覧装置およびその制御方法を提供すること。【解決手段】画像を再生して表示部に表示する画像再生装置は、表示部に表示される画像を閲覧している閲覧者を撮影する撮影手段と、撮影手段により得られた撮影画像から、記閲覧者の顔画像を解析する解析手段と、解析手段の解析結果に基づき、画像の再生を終了する制御手段とを備える。【選択図】図１
2014220563.tif 000002
【特許請求の範囲】
【請求項１】
画像を再生して表示部に表示する画像再生装置であって、
前記表示部に表示される画像を閲覧している閲覧者を撮影する撮影手段と、
前記撮影手段により得られた撮影画像から、前記閲覧者の顔画像を解析する解析手段と、
前記解析手段の解析の結果に基づき、画像の再生を終了する制御手段と
を備えることを特徴とする画像再生装置。
【請求項２】
前記制御手段は、前記閲覧者がいなくなった場合、または前記閲覧者が他の人に変わった場合に、画像の再生を終了することを特徴とする請求項１に記載の画像再生装置。
【請求項３】
複数の画像を記憶する記憶媒体のうちから、予め決められた検索条件に基づき検索された画像を順次再生する第１の再生モードを有しており、前記制御手段は、前記第１の再生モードでの再生中に、前記解析手段による前記閲覧者の顔画像の解析の結果に基づき前記第１の再生モードでの再生を終了することを特徴とする請求項１または２に記載の画像再生装置。
【請求項４】
前記解析手段の解析の結果、画像の閲覧開始時の閲覧者から、一時的に他の閲覧者に変化し、さらにその後に、画像の閲覧開始時の閲覧者に変化した場合に、画像の再生を終了することを特徴とする請求項１乃至３のいずれか１項に記載の画像再生装置。
【請求項５】
前記解析手段の解析の結果、画像の閲覧開始時の閲覧者から、一時的に他の閲覧者に変化し、さらにその後に、前記他の閲覧者がいなくなった場合に、画像の再生を終了することを特徴とする請求項１乃至３のいずれか１項に記載の画像再生装置。
【請求項６】
前記解析手段の解析の結果、前記他の閲覧者がいなくなった後、さらに、画像の閲覧開始時の閲覧者に変化した場合に、再生の再開の問い合わせを前記表示部に表示することを特徴とする請求項５に記載の画像再生装置。
【請求項７】
複数の画像を記憶する記憶媒体から画像を再生して、再生された画像を表示部に表示する再生手段を供える画像閲覧装置において、
被写体を撮像して画像信号を生成する撮像手段と、
前記画像信号に基づいて、前記表示部を閲覧している閲覧者の顔を検出する顔検出手段と、
前記記憶媒体に記憶された複数の画像を表示中に前記撮像手段および前記顔検出手段を制御し、前記顔検出手段の検出の結果に従って画像の再生を制御する第１の再生モードを終了するかどうかを判定するモード制御手段
を備えることを特徴とする画像閲覧装置。
【請求項８】
前記制御手段は、前記第１の再生モードにおいて画像を再生中に、前記撮像手段による画像信号の生成および前記顔検出手段による顔検出を継続し、継続した顔検出の結果に基づいて前記表示部に表示された画像の閲覧者の存在を判定し、前記閲覧者が存在している場合はその顔の第１の特徴量を抽出し、さらに顔検出を継続して第２の特徴量を抽出し、前記第１の特徴量と第２の特徴量との類似度に基づいて前記閲覧者の存在を判定し、存在しないと判定したときに前記第１の再生モードを終了することを特徴とする請求項７に記載の画像閲覧装置。
【請求項９】
前記制御手段は、前記第１の再生モードで再生中に前記顔検出手段により検出された顔の第３の特徴量を抽出し、前記第１の再生モードを終了した後も前記撮像手段による画像信号の生成および前記顔検出を継続して第４の特徴量を抽出し、前記第３の特徴量と第４の特徴量との類似度に基づいて、前記第１の再生モードの再開の問い合わせを前記表示部に表示することを特徴とする請求項８に記載の画像閲覧装置。
【請求項１０】
前記制御手段は、前記顔検出手段による顔検出を所定の周期で継続し、前記第１の再生モードを終了した後は、前記顔検出を所定の期間だけ継続することを特徴とする請求項９に記載の画像閲覧装置。
【請求項１１】
前記制御手段は、前記第１の再生モードが開始されたときに前記顔検出手段が検出した顔の第３の特徴量を抽出し、前記第１の再生モードの実行中において前記顔検出手段による顔検出を継続し、継続した顔検出の結果に基づいて前記表示部に表示された画像の閲覧者の存在を判定し、前記閲覧者が存在している場合はその顔の第１の特徴量を抽出し、さらに顔検出を継続して第２の特徴量を抽出し、前記第２の特徴量と第３の特徴量との類似度に基づいて前記第１の再生モードの開始されたときに検出された顔を検出したときに前記第１の再生モードを終了することを特徴とする請求項７に記載の画像閲覧装置。
【請求項１２】
前記制御手段は、前記第２の特徴量と第３の特徴量との類似度に基づいて前記第１の再生モードを終了したときは、前記第１の再生モードの再開の確認を前記表示部に表示することを特徴とする請求項１１に記載の画像閲覧装置。
【請求項１３】
前記制御手段は、前記顔検出手段による顔検出を所定の周期で継続することを特徴とする請求項１２に記載の画像閲覧装置。
【請求項１４】
前記第１の再生モードで再生される画像の検索情報を指定する指定手段をさらに備え、前記制御手段は、前記記憶媒体に記憶されている任意の画像を再生して表示する第２の再生モードにおいて前記指定手段を前記表示部に表示し、前記第２の再生モードにおいて画像が前記表示部に表示されている時に前記指定手段により前記検索情報が指定されたときは、前記指定された検索情報と前記表示されている画像の属性情報とに基づいて前記記憶媒体に記憶されている画像を検索することを特徴とする請求項６乃至１２のいずれか一項に記載の画像閲覧装置。
【請求項１５】
前記検索情報は、画像に被写体として写っている人物の人物名、画像を撮影した日時および画像を撮影した場所のいずれかであり、前記記憶が媒体に記憶されている画像は、人物名、撮影した日時および撮影した場所の少なくとも一つを前記属性情報として有することを特徴とする請求項１３に記載の画像閲覧装置。
【請求項１６】
前記指定手段が人物名を前記検索情報として指定した時に、前記表示されている画像が人物名の属性情報を有していない場合は、前記制御手段は、前記表示されている画像から顔の特徴量を抽出し、前記特徴量と前記記憶媒体に記憶されている他の画像の特徴量との類似度に基づいて前記記憶媒体に記憶されている画像を検索することを特徴とする請求項１４に記載の画像閲覧装置。
【請求項１７】
画像を再生して表示部に表示する画像再生装置の制御方法であって、
前記表示部に表示される画像を閲覧している閲覧者を、撮像手段で撮影する撮影ステップと、
前記撮影ステップで得られた撮影画像から、前記閲覧者の顔画像を解析する解析ステップと、
前記解析ステップの解析の結果に基づき、画像の再生を終了する制御ステップと
を備えることを特徴とする制御方法。
【請求項１８】
画像を再生して表示部に表示する画像再生装置を制御するプログラムであって、
コンピュータを、
前記表示部に表示される画像を閲覧している閲覧者を、撮像手段で撮影する撮影手段、
前記撮影手段により得られた撮影画像から、前記閲覧者の顔画像を解析する解析手段、
前記解析手段の解析の結果に基づき、画像の再生を終了する制御手段
として機能させるプログラム。
【請求項１９】
複数の画像を記憶する記憶媒体から画像を再生して、再生された画像を表示部に表示する再生手段を供える画像閲覧装置の制御方法において、
撮像素子により被写体を撮像して画像信号を生成する撮像ステップと、
前記画像信号に基づいて、前記報じ部を閲覧している閲覧者の顔を検出する顔検出ステップと、
前記記憶媒体に記憶された複数の画像を表示中に前記撮像ステップおよび前記顔検出ステップを制御し、前記顔検出ステップでの検出の結果に従って前記画像の再生を制御する第１の再生モードを終了するかどうかを判定するモード制御ステップ
を備えることを特徴とする制御方法。
【請求項２０】
複数の画像を記憶する記憶媒体から画像を再生して、再生された画像を表示部に表示する再生手段を供える画像閲覧装置を制御するプログラムにおいて、
コンピュータを、
撮像素子により被写体を撮像して画像信号を生成する撮像手段、
前記画像信号に基づいて、前記表示部を閲覧している閲覧者の顔を検出する顔検出手段、
前記記憶媒体に記憶された複数の画像を表示中に前記撮像手段および前記顔検出手段を制御し、前記顔検出手段の検出の結果に従って画像の再生を制御する第１の再生モードを終了するかどうかを判定するモード制御手段
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を再生して表示する画像閲覧装置およびその制御方法に関し、特に閲覧者の制限が可能な画像閲覧装置およびその制御方法に関する。
【背景技術】
【０００２】
近年はデジタルカメラやスマートフォンが普及して、いつでも手軽に画像を撮影することが可能となっている。そのため、これらのデバイスには、様々な状況で撮影した画像が混在して記憶されている場合がある。そのため、カメラやスマートフォンの画像を友人に見せたい場合は、これらのデバイスをそのまま渡すことが多い。
【０００３】
特許文献１では、カメラで所定画像の閲覧を許可する時間帯を設定することが可能となっている。設定した時間帯であれば所定画像を閲覧することができるが、それ以外の時間帯は所定画像の閲覧が禁止される。このようにして、プライベートな画像の閲覧を制限することが可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−７４６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の場合、閲覧を制限する時間帯を予め指定しておく必要がある。ところで、プライベートな画像であっても、その一部を友人に見せたい場合もある。例えば、カメラやスマートフォンの中にある、子供が写っているようなプライベートの画像を友人に見せたい場合がある。また、子供の画像は見せたいが、その他のプライベートな画像を見られたくない、あるいは、カメラやスマートフォンを渡した人には画像を見せたいが、その他の人には不用意に画像を見られたくない場合もある。このような場合、特許文献１では、指定時間の全ての時間帯で所定画像の閲覧が禁止されていまい、例えば閲覧者に応じた対応ができない問題がある。
【０００６】
そこで、本発明の目的は、画像閲覧装置の所有者が所望の画像を見せたい閲覧者だけに所望の画像再生を可能とする画像閲覧装置およびその制御方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明によれば、画像を再生して表示部に表示する画像再生装置は、表示部に表示される画像を閲覧している閲覧者を撮影する撮影手段と、撮影手段により得られた撮影画像から、記閲覧者の顔画像を解析する解析手段と、解析手段の解析結果に基づき、画像の再生を終了する制御手段とを備える。
【発明の効果】
【０００８】
携帯電話やスマートフォンなどの画像閲覧機能を有する装置において、当該装置に記憶されている画像を友人に見せる際に、所有者が装置を最初に渡した人物のみに、指定した画像を簡単な操作で見せることが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施例に係る画像閲覧装置での画像再生の終了制御動作のフローチャートを示す図である。
【図２】本発明の第１の実施例に係る画像閲覧装置の構成を示す図である。
【図３（ａ）】本発明の第１の実施例に係る画像閲覧装置に記憶されている画像の構成を示す図である。
【図３（ｂ）】本発明の第１の実施例に係る画像閲覧装置に記憶されている画像の構成を示す図である。
【図３（ｃ）】本発明の第１の実施例に係る画像閲覧装置に記憶されている画像の構成を示す図である。
【図３（ｄ）】本発明の第１の実施例に係る画像閲覧装置に記憶されている画像の構成を示す図である。
【図４】本発明の第１の実施例に係る画像閲覧装置の表示部および操作部を示す図である。
【図５】本発明の第１の実施例に係る画像閲覧装置における、所定の人物が被写体として写っている画像の検索動作のフローチャートを示す図である。
【図６】本発明の第１の実施例に係る画像閲覧装置の操作とその時カメラで撮影された人物を示す図である。
【図７】本発明の第１の実施例に係る画像閲覧装置における、所定の人物に類似する被写体が写っている画像を検索する動作のフローチャートを示す図である。
【図８】本発明の第１の実施例に係る画像閲覧装置における、所定の撮影日または場所で撮影された画像を検索する動作のフローチャートを示す図である。
【図９】本発明の第１の実施例の変形例としての画像再生の終了制御動作のフローチャートを示す図である。
【図１０】本発明の第２の実施例に係る画像閲覧装置での画像再生の終了制御動作のフローチャートを示す図である。
【図１１】本発明の第１又は第２の実施例形態に係る画像閲覧装置において、所有者の情報を登録する際の表示部および操作部を示す図である。
【図１２】本発明の第１又は第２の実施例に係る画像閲覧装置における所有者情報の登録動作のフローチャートを示す図である。
【図１３】本発明の第２の実施例に係る画像閲覧装置の変形例としての画像再生の終了制御動作のフローチャートを示す図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明の実施形態について詳細に説明する。
【実施例１】
【００１１】
まず、図１乃至９を参照して本発明の第１の実施例を説明する。図２は、本発明の第１の実施例に係る画像閲覧装置の構成を示すブロック図である。本実施例では、「一郎」という人物が持っている画像閲覧装置を「次朗」という人物に渡して、画像閲覧装置に記憶されている「太郎」と名の子供の画像を見せる場合を例にして説明する。
【００１２】
図２において、画像閲覧装置２００は、光学系２０１と、撮像素子２０２と、ＣＰＵ２０３と、一次記憶装置２０４と、二次記憶装置２０５と、記憶媒体２０６と、光学系２０７と、表示部２０８と、操作部２０９から構成されている。また、本実施例に係る画像閲覧装置は、画像の再生モードとして、後述する通常再生モード(第２の再生モード)と閲覧再生モード（第１の再生モード）を有する。
【００１３】
光学系２０１は、レンズ、シャッター、絞りから構成されていて、被写体からの光を適切な量とタイミングで撮像素子２０２に結像させる。撮像素子２０２は、光学系２０１を通って結像した光を光電変換により撮像して画像信号を生成する。ＣＰＵ２０３は、入力された信号やメモリに記憶されたプログラムを実行して、各種の演算や、画像閲覧装置２００を構成する各部分の制御を行う。一次記憶装置２０４は、一時的なデータを記憶し、ＣＰＵ２０３の作業用に使われる。二次記憶装置２０５は、画像閲覧装置２００を制御するためのプログラム（ファームウェア）や各種の設定情報などを記憶する。記憶媒体２０６は、画像データを記憶するメモリであり、画像閲覧装置に着脱可能なメモリカードを想定している。ただし、記憶媒体２０６は、画像閲覧装置に内蔵のメモリであっても構わない。光学系２０７は、レンズ、絞りから構成されていて、画像閲覧装置を操作している人物を撮影する際に用いられるものであり、インカメラのようなものである。表示部２０８は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。また、記憶媒体２０６に記憶されている画像を図示しない記録再生部によって再生された場合も、再生画像は表示部２０８に表示される。操作部２０９は、使用者の操作を受け付けるためのものである。操作部２０９は、タッチパネルを用いることが可能である。
【００１４】
図３（ａ）は、画像閲覧装置２００に記憶されている画像を示している。画像閲覧装置の記憶媒体２０６には、複数の画像３００〜３０６（合計７枚の画像）が記憶されている。各画像には、画像の属性を表す情報が含まれている。画像３００を例にして説明すると、３０７は画像のファイル名を表す属性情報であり、この画像のファイル名が「IMG_0001.JPG」であることを表している。３０８は画像の撮影日を表す属性情報であり、この画像の撮影日時が２０１２年１月１日であることを表している。３０９は画像が撮影された場所を表す属性情報であり、この画像が「太田神社」で撮影されたことを表している。３１０は画像に被写体として写っている人物名を表す属性情報であり、この画像に「冬子」とうい人物が写っていることを表している。３１１は画像データである。３０７〜３１０の属性情報は、画像の撮影時、または撮影後に画像に付与するものである。これらの画像３００〜３０６は、表示部２０８を用いて表示することが出来る。また、通常再生モードにおいて、操作部２０９を用いて、任意の画像を選択して表示部２０８に表示することが出来る。
【００１５】
図４（ａ）は、画像閲覧装置２００を表した図である。４００は表示部であり、画像を表示することが出来る。４０１は再生ボタンであり、押されると、画像閲覧装置は通常再生モードに遷移する。通常再生モードでは、記憶媒体２０６に記憶された全ての画像を表示することが出来る。また通常再生モードで検索やフィルタの処理を行うことにより所望の画像を選択的に閲覧することも可能である。通常再生モードでの画像閲覧装置の表示画面を表したものが、図４（ｂ）である。４０２は、記憶媒体２０６に記憶されている画像３０２である。４０３、４０４は画像送りのボタンであり、このボタンを押すことで、記憶媒体２０６に記憶されている前後の画像を表示することが出来る。４０５乃至４０７は、閲覧対象の画像を検索するための検索情報を指定するボタンで、画像の属性情報に対応して、人物名、撮影の日時および撮影の場所等をそれぞれ指定することが出来る。また、画像の種類や所定のランキング情報に基づいた検索条件を設定することも可能である。
【００１６】
次に、閲覧対象にする画像を指定して、画像閲覧装置で最初に閲覧した人物のみに、閲覧対象の画像を順次再生して閲覧させる閲覧再生モードの動作について説明する。前述したように、画像閲覧装置の所有者「一郎」さんの子供である「太郎」さんの画像を、「次朗」さんに見せる場合を例にして説明する。「太郎」さんの画像を閲覧対象にする場合は、図４（ｂ）のように、まずは「太郎」さんが写っている画像を表示する。次に、４０９の人物ボタンを押下する。人物ボタンを押下すると、図４（ｃ）に示すように、人物ボタンがハイライト表示になる。この状態で、４０８の閲覧再生ボタンを押下すると、ＣＰＵ２０３は図５のフローチャートに従って、記憶媒体に記憶された全画像（総数Ｎが７）から、今表示されている画像と同一の人物が写っている画像（図４（ｂ）の場合では「太郎」さんが写っている画像）を検索する。  
【００１７】
ここで、図５のフローチャートを用いて閲覧画像の検索動作について説明する。ステップＳ５００でＣＰＵ２０３は、表示中の画像に含まれる人物名を取得する。図３（ａ）のように、画像３０２には「太郎」という人物名が含まれているため、ステップＳ５００では「太郎」という人物名を取得する。次にステップＳ５０１でＣＰＵ２０３は、表示している画像の顔領域から特徴量を算出して抽出する。ここで、顔領域から特徴量を算出する理由について説明する。「太郎」さんが写っている画像を検索する際に、記憶媒体２０６に記憶されている画像の中で、属性情報に人物名が付与されていない場合がある。例えば、画像３０５や３０６には人物名の属性情報が付与されていない。属性情報として人物名が付与されていない画像であっても、画像３０５のように、「太郎」さんが写っている場合がある。このような場合は、前述の特徴量を用いて、「太郎」さんと類似している人物が写っている画像も閲覧対象にした方が、ユーザーにとっては望ましい。このように「太郎」さんと類似している人物を検索するために、顔領域の特徴量を算出しておく。図５の説明に戻る。ステップＳ５０２でＣＰＵ２０３は、ｎの値を１に初期化する。ｎは記憶媒体に記憶された画像を表すインデックスであり、図３（ａ）の場合は、ｎが１〜７の値を取り得る。ステップＳ５０３でＣＰＵ２０３は、ｎ番目の画像に人物名が含まれているかを判定する。現在のｎの値は１なので、画像３００に人物名が含まれているかを判定する。ここで画像３００には人物名が含まれているので、ステップ５０３の判定の結果、ステップＳ５０４へ進む。ステップＳ５０４でＣＰＵ２０３は、ｎ番目の画像に含まれる人物名を取得する。画像３００の人物名は「冬子」であるので、ここでは「冬子」という人物名を取得する。次に、ステップＳ５０５でＣＰＵ２０３は、表示中の人物名と同じであるかを判定する。表示中の人物名は「太郎」であり、ｎ番目の画像の人物名は「冬子」であるため、ステップＳ５０６へ進む。ここで、ステップＳ５０６へ進む理由について説明する。画像３００のように、実際の被写体としては２人の人物が写っているが、属性情報としては１人分の人物名しか付与されていない場合がある。このような場合も、現在検索中である「太郎」さんが画像に写っている可能性がある。そこで、ステップＳ５０１で取得した特徴量を用いて、ｎ番目の画像に「太郎」さんが写っているかを推定する。
【００１８】
図５（ｂ）はステップＳ５０６の詳細なフローチャートである。ステップＳ５１０でＣＰＵ２０３は、ｎ番目の画像で顔検出を行う。画像３００の場合は、２人の顔が検出できたものとする（検出された顔の総数Mが２となる）。次にステップＳ５１１でＣＰＵ２０３は、ｍの値を１に初期化する。ｍは検出された顔を表すインデックスであり、画像３００の場合は、ｍが１〜２の値を取り得る。次にステップＳ５１２でＣＰ２０３は、ｎ番目の画像で顔検出できたかを判定する。画像３００の場合は、２つの顔領域を検出できているため、ステップＳ５１３へ進む。ステップＳ５１３でＣＰＵ２０３は、ｍ番目の顔領域から特徴量を算出する。ここで、ｍが１である顔は画像３００の左側に写っている人物であり、ｍが２である顔は画像３００の右側に写っている人物とする。ここでは、画像３００の左側の顔領域の特徴量を算出する。ステップＳ５１４でＣＰＵ２０３は、ステップＳ５０１で算出した第一の特徴量と、ステップＳ５１３で算出した第二の特徴量の類似度を算出する。ここでの類似度は０〜１００の値を取り得るものとし、それぞれの顔が似ているほど類似度が高くなるものとする。ここで、画像３００の左側の顔との類似度は２０であったとする。ステップＳ５１５でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。ここでは、閾値を７０とし、類似度が７０以上であれば同一人物であると判定するものとする。ここでは、類似度が閾値以下であるため、ステップＳ５１６へ進む。ステップＳ５１６でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値が２となる。ステップＳ５１７でＣＰＵ２０３は、ｍとＭの値を比較する。ここで、Ｍは検出した顔の総数であり、画像３００の場合はＭの値が２となる。従って、ｍとＭの値は同じであるため、ステップＳ５１３へ戻る。ステップＳ５１３〜５１６の処理は前述した通りである。なお、ステップＳ５１５で類似度が所定の閾値以上である顔が見つかった場合は、ステップＳ５１８へ進む。ステップＳ５１８でＣＰＵ２０３は、ｎ番目の画像を閲覧対象のリストに追加する。画像３００の場合は、ｍの値が２である場合も、類似度が閾値より低いものであったとし、ステップＳ５１６へ進むものとする。ステップＳ５１６でｍの値は３となり、ステップＳ５１７の判定でｍ＞Ｍとなり、図５（ｂ）のフローチャートは終了となる。
【００１９】
図５（ａ）の説明に戻る。ステップＳ５０６の次はステップＳ５０７へ進む。ステップＳ５０７でＣＰＵ２０３は、ｎの値をインクリメントする。従って、ｎの値が２となる。ステップＳ５０８でＣＰＵ２０３は、ｎとＮの値を比較する。ここで、Ｎは記憶媒体に記憶された画像の総数であり、図３（ａ）に示す画像が記憶されている場合はＮの値が７である。従って、ｎ＞Ｎとはならないため、ステップＳ５０３へ戻る。以上のようにして、人物名が「太郎」さんである画像と、算出した類似度から「太郎」さんと似ていると判定された画像を検索して、閲覧対象の画像に追加していく。なお、ステップＳ５０５で同じ人物名の画像が見つかった場合は、ステップＳ５０９へ進む。ステップＳ５０９でＣＰＵ２０３は、ｎ番目の画像を閲覧対象のリストに追加する。このようにして閲覧対象となった画像を図３（ｂ）に示す。画像３２０、３２１は属性情報として「太郎」さんという人物名が含まれているため、ステップＳ５０９で閲覧対象に追加された画像である。画像３２２は属性情報として「太郎」さんという人物名は含まれていないが、ステップＳ５１８で閲覧対象に追加された画像である。  閲覧対象とする画像が決まった後は、「閲覧再生モード」での画像再生を開始する。閲覧再生モードでの再生可能な画像は、前述の図５のフローチャートでの動作で閲覧対象に追加された画像３２０〜３２２のみである。このようにして、「太郎」さんが写った画像のみを再生可能とすることで、「一郎」さんが意図していない画像が閲覧可能になってしまうことを防ぐことが出来る。以上が、「太郎」さんの画像を検索する処理である。
【００２０】
次に、本実施例に係る画像閲覧装置での閲覧再生モードの終了制御動作を図１のフローチャートを用いて説明する。閲覧再生モードを開始すると、図１（ａ）のフローに沿って、「次朗」さんが画像の閲覧を終了したかを閲覧画像の再生中に判定する。ステップＳ１００でＣＰＵ２０３は、ｍの値を０、Ｎの値を１に初期化する。ここで、ｍはカウンタであり、Ｎは後述する顔検出を行う所定の周期を表す値である。ステップＳ１０１でインカメラで動画像の撮影を開始する。インカメラは、図４（ａ）に４１０で示すように、画像閲覧装置の操作者を撮影できるものである。このインカメラを用いて、閲覧再生モードの実行中に画像閲覧装置を操作している人物を判定する。
【００２１】
ステップＳ１０２でＣＰＵ２０３は、閲覧再生モードの実行者がフレームアウトするまで待機して、本処理を終了する。本実施例では、閲覧再生モードを実行した「一郎」さんが、インカメラからフレームアウトするまで待機することになる。ステップＳ１０３でＣＰＵ２０３は、閲覧者がインカメラで撮影されるまで待機して本処理を終了する。本実施例では、「次朗」さんがインカメラで撮影されるまで待機するものである。ステップＳ１０４でＣＰＵ２０３は、閲覧者がインカメラからフレームアウトするまで待機する本処理を終了する。本実施例では、「次朗」さんがインカメラからフレームアウトするまで待機するものである。ここで、「次朗」さんがインカメラからフレームアウトしたら、ステップＳ１０５へ進む。ステップＳ１０５でＣＰＵ２０３は、画像の再生を終了する。即ち、閲覧再生モードを終了する。
【００２２】
図１（ｂ）は、ステップＳ１０２の詳細なフローチャートである。ステップＳ１１０でＣＰＵ２０３は、ステップＳ１０１インカメラで撮影を開始した直後の画像信号が表わす動画像から静止画を切り出す。ステップＳ１１１でＣＰＵ２０３は、切り出した静止画像の画像信号に基づいて顔画像の検出を行う。次にステップＳ１１２でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。図６に、閲覧再生モードを開始した後に、装置の所有者と閲覧者の諸作とその時にインカメラに写っている画像の例を示す。閲覧再生モードを実行したのが「一郎」さんである場合、６００のようにインカメラには「一郎」さんが写ることになる。従って、６００のように顔が写っている場合は、ステップＳ１１３へ進む。ステップＳ１１３〜１１７の処理は、インカメラから「一郎」さんがフレームアウトするまで待機する処理である。ステップＳ１１３でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値は１となる。ステップＳ１１４でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ここで、ｍの値は１、Ｎの値は１であるため、１秒が経過するまで待機する。１秒が経過するまで待機したら、ステップＳ１１５へ進む。ステップＳ１１５でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。ステップＳ１１６でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１１７でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っている場合は、「一郎」さんが閲覧装置を持っている状態（閲覧者が存在している）であると判定し、ステップＳ１１３へ戻る。以降は、ステップＳ１１３〜１１７を繰り返し、「一郎」さんがインカメラからフレームアウトするまで待機する。ここで、図６の６０１のように、「一郎」さんが「次朗」さんに画像閲覧装置を渡している途中の場合は、顔が写らない状態となる。このような場合は、ステップＳ１１７で顔が写っていないと判定されるので、図１（ｂ）のフローチャートを終了する。ここでは、ｍの値が５となり、時刻が１３：００：０５の時点で一郎さんがインカメラからフレームアウトしたものとする。なお、ステップＳ１１２で顔が写っていない場合も、図１（ｂ）のフローチャートを終了する。
【００２３】
次に、図１（ｃ）に示すフローチャートに従って、ステップＳ１０３の動作を詳細に説明する。なお、本動作においては、ステップＳ１０２で更新されたｍの値が受け渡される。まず、ステップＳ１２０でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値が６となる。ステップＳ１２１でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ここで、ｍの値は６、Ｎの値は１であるため、閲覧再生モードの開始から６秒が経過するまで待機する。６秒が経過するまで待機したら、ステップＳ１２２へ進む。ステップＳ１２２でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。次にステップＳ１２３でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１２４でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っていない場合は、「一郎」さんから「次朗」さんに閲覧装置を渡している途中の状態であると判定し、ステップＳ１２０へ戻る。即ち、図６の６０１のような状態である場合は、ステップＳ１２０へ戻る。以降は、ステップＳ１２０〜１２４を繰り返し、インカメラに「次朗」さんが写るまで待機する。ここでは、ｍの値が１０となり、時刻が１３：００：１０の時点で「次朗」さんがインカメラに写ったものとする。「次朗」さんがインカメラに写った場合は、ステップＳ１２５へ進む。ステップＳ１２５でＣＰＵ２０３は、検出した顔領域から第一の特徴量を算出して、ステップＳ１０３の処理を終了する。ここで抽出した特徴量は、後述するステップＳ１０４（図１（ｄ）の詳細フローチャートで説明する）で使用する。
【００２４】
次に、図１（ｄ）のフローチャートを用いて、ステップＳ１０４の詳細を説明する。なお、本動作においても、ステップＳ１０3で更新されたｍの値が受け渡される。ステップＳ１３０でＣＰＵ２０３は、ｍの値をインクリメントする。従って、ｍの値が１１となる。ステップＳ１３１でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ここで、ｍの値は１１、Ｎの値は１であるため、閲覧再生モードの開始から１１秒が経過するまで待機する。１１秒が経過するまで待機したら、ステップＳ１３２へ進む。ステップＳ１３２でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。次にステップＳ１３３でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１３４でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っている場合は、ステップＳ１３５へ進む。ステップＳ１３５でＣＰＵ２０３は、顔領域から第二の特徴量を算出する。次にステップＳ１３６でＣＰＵ２０３は、ステップＳ１２５で算出した第一の特徴量と、ステップＳ１３５で算出した第二の特徴量の類似度を算出する。ステップＳ１３７でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。これは、インカメラを操作しているのが、ステップＳ１２４で検出した顔の人物と同じ人であるかを判別するためのものである。ここで、図６の６０２〜６０４の状態の場合は、実際に「次朗」さんが写っており、類似度が閾値以上となるため、ステップＳ１３０へ戻る。即ち、「次朗」さんが画像閲覧装置を操作している間は、ステップＳ１３０〜ステップＳ１３７を繰り返すことになる。ここで、「次朗」さんが画像の閲覧を終了して、「一郎」さんに画像閲覧装置を返そうとすると、インカメラから「次朗」さんがフレームアウトすることになる。そのような場合は、６０５のようにインカメラから人物の顔が無くなるので、ステップＳ１３４での判定、分岐により本動作（ステップＳ１０４）を終了する。また、閲覧開始時の閲覧者である「次朗」さんが画像を閲覧している最中に、第三の人物が一緒に画像を閲覧したとする。更にその後、「次朗」さんは画像の閲覧を終了したが、第三の人物が画像の閲覧を継続したとする。このように顔画像が変化した場合は、ステップＳ１３７で類似度が閾値以下となるため、同じく図１（ｄ）のフローチャートの処理を終了して、ステップＳ１０４の動作を終了する。このように顔画像を解析して、「次朗」さんが画像を閲覧している間のみ、閲覧再生モードを継続する。
【００２５】
上述した本実施例の画像の検索では、図４（ｂ）で指定した画像に属性情報として人物名が付与されている例を説明した(図５)。しかし、画像によっては属性情報として人物名が付与されていない場合も考えられる。このような場合に行う検索動作の例を説明する。
【００２６】
図７は、属性情報として人物名が付与されていない画像を表示させた状態で、閲覧再生モードを実行した場合に、閲覧対象とする画像を決定するフローチャートである。なお、前述の図５の検索動作との差異は、属性情報として人物名が付与されている画像を検索しない点である。この点以外は、図５のフローと同様である。具体的には、ステップＳ７００、７０１は、ステップＳ５０１、５０２と同じであり、ステップＳ７０２〜７１０は、ステップＳ５１０〜５１８と同じであり、ステップＳ７１１、７１２は、ステップＳ５０７、５０８と同じである。従って、ここでの説明は省略する。このようにして、属性情報として人物名が付与されていない画像を指定した場合でも、類似度が高い画像を検索して、閲覧対象とすることが可能である。
【００２７】
なお、ここで「人物」以外の検索情報を指定して閲覧再生モードを実行する例を図８を用いて説明する。まず、検索情報として「日時」を指定して、閲覧再生モードを実行する場合の例について説明する。図４（ｄ）は、画像４１１を表示させた状態で、日時ボタン４１２を押下した場合の表示画面を示す。日時ボタン４１２を押下すると、図４（ｄ）のように、日時ボタンがハイライト表示になる。この状態で、閲覧再生ボタン４１３を押下すると、ＣＰＵ２０３は図８（ａ）のフローチャートに従って、記憶媒体に記憶された全画像から、画像４１１と同じ日に撮影された画像を検索して閲覧対象とする。
【００２８】
図８（ａ）のフローチャートを用いて、検索情報として「日時」を指定して場合の画像検索動作を説明する。本動作においても、ｎをインデックス、Ｎを記憶されている画像の総数とする点は上述の検索動作と同様である。ステップＳ８００でＣＰＵ２０３は、表示中の画像を撮影した撮影日を属性情報から取得する。図３（ａ）に示すように、画像３０３は「2012/4/4」が撮影日であるため、ステップＳ８００では「2012/4/4」という撮影日を取得する。次にステップＳ８０１でＣＰＵ２０３は、ｎの値を１に初期化する。ステップＳ８０２でＣＰＵ２０３は、ｎ番目の画像の撮影日を取得する。現在のｎの値は１なので、画像３００の「2012/1/1」という撮影日時を取得する。ステップＳ８０３でＣＰＵ２０３は、表示中の画像とｎ番目の画像の撮影日が同じであるかを判定する。ｎが１の場合は撮影日が異なるので、ステップＳ８０４へ進む。ステップＳ８０４でＣＰＵ２０３は、ｎの値をインクリメントする。従って、ｎの値が２となる。ステップＳ８０５でＣＰＵ２０３は、ｎとＮの値を比較する。ここで、Ｎは記憶媒体に記憶された画像の総数であり、図３（ａ）に示す画像が記憶されている場合、Ｎの値は７である。従って、ｎ＞Ｎとはならないため、ステップＳ８０２へ戻る。以上のようにして、撮影日が「2012/4/4」である画像を検索して、閲覧対象の画像とする。なお、ステップＳ８０３で撮影日が同じ画像が見つかった場合は、ステップＳ８０６へ進む。ステップＳ８０６でＣＰＵ２０３は、ｎ番目の画像を閲覧対象に追加する。このようにして閲覧対象となった画像を図３（ｃ）に示す。画像３３０、３３１は撮影日時が「2012/4/4」であるため、ステップＳ８０６で閲覧対象に追加された画像である。閲覧対象とする画像が決まった後は、「閲覧再生モード」での画像の再生を開始する。「閲覧再生モード」で再生可能な画像は、画像３３０、３３１のみとなる。このようにして、撮影日が「2012/4/4」である画像のみを再生可能とすることで、画像閲覧装置の所有者が意図しない画像が閲覧可能になってしまうことを防ぐことが出来る。なお、閲覧再生モードを終了する動作は、前述の図１のフローチャートに従って行う。
【００２９】
次に、検索情報として「場所」を指定して、閲覧再生モードを実行する場合の例について説明する。図４（ｅ）は、画像４１４を表示させた状態で、場所ボタン４１５を押下した場合の表示画面を示す。場所ボタン４１５を押下すると、図４（ｅ）のように、場所ボタンがハイライト表示になる。この状態で、閲覧再生ボタン４１６を押下すると、ＣＰＵ２０３は図８（ｂ）のフローチャートに従って、記憶媒体に記憶された全画像から、画像４１４と同じ場所で撮影された画像を検索し、閲覧対象とする。
【００３０】
図８（ｂ）のフローチャートを参照して検索情報として「場所」を指定した場合の画像検索動作を説明する。本動作においても、ｎをインデックス、Ｎを記憶されている画像の総数とする点は上述の検索動作と同様である。ステップＳ８１０でＣＰＵ２０３は、表示中の画像を撮影したランドマーク名を取得する。図３（ａ）にあるように、画像３０１は「ニセコ」という検索情報としてのランドマーク名が付与されているため、ステップＳ８１０では「ニセコ」というランドマーク名を取得する。次にステップＳ８１１でＣＰＵ２０３は、ｎの値を１に初期化する。ステップＳ８１２でＣＰＵ２０３は、ｎ番目の画像のランドマーク名を取得する。現在のｎの値は１なので、画像３００の「太田神社」というランドマーク名を取得する。ステップＳ８１３でＣＰＵ２０３は、表示中の画像とｎ番目の画像のランドマーク名が同じであるかを判定する。ｎが１の場合はランドマーク名が異なるので、ステップＳ８１４へ進む。ステップＳ８１４でＣＰＵ２０３は、ｎの値をインクリメントする。従って、ｎの値が２となる。ステップＳ８０５でＣＰＵ２０３は、ｎとＮの値を比較する。ここで、Ｎは記憶媒体に記憶された画像の総数であり、図３（ａ）に示す画像が記憶されている場合、Ｎの値は７である。従って、ｎ＞Ｎとはならないため、ステップＳ８１２へ戻る。以上のようにして、ランドマーク名が「ニセコ」である画像を検索して、閲覧対象の画像とする。なお、ステップＳ８１３でランドマーク名が同じ画像が見つかった場合は、ステップＳ８１６へ進む。ステップＳ８１６でＣＰＵ２０３は、ｎ番目の画像を閲覧対象に追加する。このようにして閲覧対象となった画像を図３（ｄ）に示す。画像３４０、３４１はランドマーク名が「ニセコ」であるため、ステップＳ８１６で閲覧対象に追加された画像である。閲覧対象とする画像が決まった後は、「閲覧再生モード」での画像の再生を開始する。「閲覧再生モード」で再生可能な画像は、画像３４０、３４１のみとなる。このようにして、ランドマーク名が「ニセコ」である画像のみを再生可能とすることで、画像閲覧装置の所有者が意図しない画像が閲覧可能になってしまうことを防ぐことが出来る。なお、閲覧再生モードを終了する動作は、前述の図１のフローチャートに従って行う。
【００３１】
ここで、上述した第１の実施例の変形例として、閲覧再生モードの終了動作の変形例を説明する。例えば、「次朗」さんが画像を閲覧している際に、閲覧している画像について「一郎」さんに質問をしようとして、画像閲覧装置を一時的に「一郎」さんに戻すことを考える。このような場合、前述の第１の実施例だと、画像閲覧装置を「一郎」さんに戻した時点で、画像の再生が終了してしまう。そこで、閲覧再生モードの終了後も所定の期間はインカメラでの撮影を継続し、閲覧再生モードの実行者が再度現れた場合は、閲覧再生モードを再開するかどうかを確認するメッセージを表示するようにする。このようにしておけば、速やかに閲覧再生モードを再開することが可能となる。
【００３２】
このような動作を実現するために、まずは閲覧再生モードを実行した人物の情報を記憶しておく必要がある。そこで、本変形例では、図９（ａ）のフローチャートに従って行われる閲覧再生モードの実行者がフレームアウトするまでの動作において、実行者の顔の特徴量を記憶しておく。図９（ａ）のフローチャートは、図１（ｂ）のフローチャートにステップＳ９０３を追加したものであり、ステップＳ９０３以外は図１（ｂ）のフローチャートと同じであり、図１（ｂ）と同様の部分は同じ符号を付し、ここでの説明は省略する。よって、本変形例では、ステップＳ９０３のみについて説明する。ステップＳ９０３でＣＰＵ２０３は、顔領域から特徴量（第３の特徴量）を算出する。ここで算出した特徴量は、後述する図９（ｂ）のフローチャートで使用する。
【００３３】
図９（ｂ）のフローチャートを用いて、ステップＳ９０３で抽出した特徴量を用いた閲覧再生モードの終了制御動作について説明する。図９（ｂ）のフローチャートは、図１（ａ）のステップＳ１０５で画像の再生を終了した後に、所定の期間だけインカメラでの撮影を継続し、閲覧再生モードの実行者が撮影画像に再度現れるかを判定する処理である。まず、ステップＳ９１０でＣＰＵ２０３は、ｐの値を１に初期化する。ｐはカウンタであり、本実施例の場合は１の値から始まるものとする。ステップＳ９１１でＣＰＵ２０３は、画像の再生終了から（Ｐ×ｐ）秒が経過するまで待機する。Ｐは顔検出を行う周期であり、ここでは１（ｓ）とする。ここで、ｐの値は１、Ｎの値は１であるため、１秒が経過するまで待機する。１秒が経過するまで待機したら、ステップＳ９１２へ進む。ステップＳ９１２でＣＰＵ２０３は、画像の再生終了から（Ｐ×ｐ）秒後に撮影されたのインカメラの静止画像を切り出す。次にステップＳ９１４でＣＰＵ２０３は、切り出した静止画像に顔が写っているかを判定する。ここで、顔が写っていない場合は、ステップＳ９１５へ進む。ステップＳ９１５でＣＰＵ２０３は、ｐの値をインクリメントする。従って、ｐの値が２となる。ステップＳ９１６でＣＰＵ２０３は、ｐとＱの値を比較する。Ｑは画像の再生終了後に、閲覧再生モードの実行者が再度現れるかを待機するときの制限時間である。ここでは、１０秒間待機するものとし、Ｑを１０とする。Ｑの値が１０の場合、ｐ＞Ｑとはならないので、ステップＳ９１１へ戻る。以降は、ステップＳ９１１〜９１６を繰り返して、閲覧再生モードの実行者が再度現れるかを待機する。ステップＳ９１４で、切り出した静止画像に顔が写っている場合は、ステップＳ９１７へ進む。ステップＳ９１７でＣＰＵ２０３は、顔領域から特徴量を算出する（第４の特徴量の抽出）。次にステップＳ９１８でＣＰＵ２０３は、ステップＳ９０３で算出した特徴量との類似度を算出する。ステップＳ９１９でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。これは、インカメラに写った人物が閲覧再生モードの実行者であるかを判定するために行うものである。ここで、類似度が所定の閾値以上である場合は、ステップＳ９２０へ進む。ステップＳ９２０でＣＰＵ２０３は、閲覧再生モードを再開するかどうかを確認するメッセージを表示する。例えば、「閲覧再生モードを再開しますか？」のメッセージと「はい」「いいえ」ボタンを表示する。「はい」を選択した場合は、閲覧再生モードを再開する。即ち、閲覧再生モードを実行した場合と同じ動作になる。「いいえ」を選択した場合は、図９（ｂ）のフローチャートを終了する。このようにして、閲覧再生モードを一度終了した後もインカメラでの撮影を継続し、閲覧再生モードを実行した人物が再度現れた場合は、簡単な操作で閲覧再生モードを再開することが可能になる。
【実施例２】
【００３４】
次に、本発明の第２の実施例を説明する。第１の実施例では、「一郎」さんが所有している画像閲覧装置を「次朗」さんに渡した後に、「次朗」さんが画像の閲覧を終了したタイミングで、画像の再生を終了するものであった。第２の実施例では、「次朗」さんが画像の閲覧を終了して、「一郎」さんが画像閲覧装置を受け取ったタイミングで画像の再生を終了する例について説明する。また、第一の実施例と同様に、画像閲覧装置の所有者「一郎」さんの子供である「太郎」さんの画像を、「次朗」さんに見せる場合を例にして説明する。
【００３５】
本実施例における画像閲覧装置の構成と、画像閲覧装置に格納されている画像は、第１の実施例において図２、図３（ａ）に示した構成と同様であるので、ここでの説明は省略する。また、「太郎」さんの画像を閲覧対象にするために、表示画面に対して行われる動作も、第１の実施例において図４（ｃ）を用いて説明したとおりである。即ち、「太郎」さんが写っている画像を表示して人物ボタンを押下する。この状態で閲覧再生ボタンを押下すると、閲覧再生モードが開始する。さらに、「太郎」さんが写っている画像を閲覧対象に追加する動作も、第１の実施例で図５のフローチャートを用いて説明したとおりである。なお、閲覧対象にする画像は、第１の実施例で図７又は８を用いて説明したように、属性情報を用いずに画像の類似性の判断に基づく検索動作または人物名以外の属性情報を検索情報として指定した検索動作で検索した画像であってもよい。
【００３６】
次に、閲覧再生モードの終了を制御する動作を、図１０に示すフローチャートを用いて説明する。同図において、図１と同じ部分は同じ符号を付して示す。基本となるフローチャートは図１０（ａ）であり、第１の実施例とはステップＳ１００４のみが異なる。なお、ステップＳ１００２の詳細フローチャートは図９（ａ）のフローチャートであるものとする。即ち、ステップＳ９０３で、撮影画像に含まれる顔の特徴量を算出しておくことで、閲覧再生モードを実行した人物の情報を記憶しておく。
【００３７】
ステップＳ１００４の詳細を、図１０（ｂ）に示すフローチャートを用いて説明する。図１０（ｂ）のフローチャートは、閲覧再生モードを実行した「一郎」さんが、再度インカメラの撮影画像に現れるまで待機する処理である。まず、ステップＳ１０１１でＣＰＵ２０３は、ｍの値をインクリメントする。ステップＳ１０１２でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒が経過するまで待機する。ステップＳ１０１３でＣＰＵ２０３は、閲覧再生モードの開始から（Ｎ×ｍ）秒後に撮影されたインカメラの静止画像を切り出す。次にステップＳ１０１４でＣＰＵ２０３は、切り出した静止画像の顔検出を行う。次にステップＳ１０１５でＣＰＵ２０３は、切り出した静止画像に顔が写っているかどうかを判定する。ここで、顔が写っていない場合とは、図６の６０５にあるように、「次朗」さんが画像の閲覧を終了して、画像閲覧装置を「一郎」さんに返している途中であると考えられる。このように顔が見つからなかった場合は、ステップＳ１０１１へ戻る。ステップＳ１０１１〜１０１５を繰り返して、顔が見つかった場合は、ステップＳ１０１６へ進む。ステップＳ１０１６でＣＰＵ２０３は、顔領域から第二の特徴量を算出する。次にステップＳ１０１７でＣＰＵ２０３は、ステップＳ９０３で算出した第一の特徴量と、ステップＳ１０１６で算出した第二の特徴量との類似度を算出する。ステップＳ１０１８でＣＰＵ２０３は、類似度が所定の閾値以上であるかを判定する。これは、インカメラに写っているのが閲覧再生モードを実行した「一郎」さんであるかを判定するためのものである。ここで、図６の６０６のように、実際に「一郎」さんが画像閲覧装置を受け取った場合は、インカメラに「一郎」さんが写ることになる。そのような場合は、類似度が所定の閾値以上になるため、図１０（ｂ）のフローチャートを終了する。このようにして、「一郎」さんが画像閲覧装置を受け取ったタイミングで、閲覧再生モードを終了する。
【００３８】
ここで、第２の実施例の変形例として、閲覧再生モードの終了制御動作の変形例を説明する。例えば、「次朗」さんが画像を閲覧している際に、閲覧している画像について「一郎」さんに質問しようとして、画像閲覧装置を一時的に「一郎」さんに戻す場合を考える。このような場合、本変形例では、閲覧再生モードの実行者が再度撮影画像に現れた場合は、閲覧再生モードを再開するかどうかを確認するメッセージを表示する。この動作を、図１３（ａ）に示すフローチャートを用いて説明する。図１３（ａ）のフローチャートは、閲覧再生ボタンが押下された後に行われる閲覧再生モードの終了制御動作のフローチャートである。同図において、図１０（ａ）と同様の部分は、同じ符号を付して示す。図１３（ａ）と図１０（ａ）との差異は、ステップＳ１３０６のみである。ステップＳ１０５で閲覧再生モードを終了した後、ステップＳ１３０６へ進む。ステップＳ１３０６でＣＰＵ２０３は、閲覧再生モードを再開するかどうかを確認するメッセージを表示する。例えば、「閲覧再生モードを再開しますか？」のメッセージと「はい」「いいえ」ボタンを表示する。「はい」を選択した場合は、閲覧再生モードを再開する。即ち、閲覧再生モードを実行した場合と同じ動作になる。「いいえ」を選択した場合は、図１３（ａ）のフローチャートの動作を終了する。このようにして、閲覧再生モードを実行した人物が再度撮影画像に現れた場合は、簡単な操作で閲覧再生モードの再開が可能となる。
【００３９】
また、「次朗」さんが画像を閲覧している際に、閲覧している画像について「太郎」さんに尋ねようとして、画像閲覧装置を「一郎」さんと「次朗」さんが同時に閲覧する場合も考えられる。このような場合、前述の第２の実施例だと、画像閲覧装置を「一郎」さんが閲覧した時点で、画像の再生が終了してしまう。そこで、本変形例では、インカメラに「一郎」さんが一人で写った場合のみ、画像の再生を終了するようにする。このようにしておけば、「一郎」さんと「次朗」さんが同時に画像閲覧装置を閲覧した場合でも、閲覧再生モードを継続することが可能となる。この場合の閲覧再生モードの終了制御動作について、図１３（ｂ）のフローチャートを用いて説明する。同図において、図１０（ｂ）と同様の部分は同じ符号を付して示す。
【００４０】
図１３（ｂ）と図１０（ｂ）との差異は、ステップＳ１３１５が追加されたことのみである。ステップＳ１３１５でＣＰＵ２０３は、インカメラに写っている顔が１つであるかどうかを判定する。この判定により、「一郎」さんと「次朗」さんが同時に画像閲覧装置を閲覧した場合は、ステップＳ１０１１へ戻るため、閲覧再生モードが継続されることになる。写っている顔が一つの場合は、第２の実施例と同様に、それが「一郎」さんであるかを判定し、そうである場合に閲覧再生モードを終了する。
【００４１】
最後に、第１および第２の実施例に共通の他の変形例を説明する。本変形例は、画像閲覧装置に、その所有者の情報を登録する例である。画像閲覧装置の所有者を登録することで、例えば、ステップＳ１０２での閲覧再生モードを実行している人物のフレームアウトを検出する際、又はその前に、その実行者が登録者であるかどうかに従って実行を制限することが出来る。
【００４２】
図１１（ａ）は、通常再生モードでの画像閲覧装置の表示画面を示す図である。通常再生モードにおいて、登録ボタン１１００を押下すると、所有者登録モードに遷移し、図１１（ｂ）に示す所有者登録モードでの表示画面が表示される。所有者登録モードでは、インカメラ１１１０で画像閲覧装置の所有者を撮影する。撮影している動画像は１１１１のように表示される。この状態でシャッターボタン１１１２を押下されると、図１２（ａ）のフローチャートに従った動作により、画像閲覧装置に所有者の情報を登録する。この動作を図１２（ａ）のフローチャートを用いて説明する。
【００４３】
ステップＳ１２００でＣＰＵ２０３は、シャッターを押した際の静止画像を切り出す。ステップＳ１２０１でＣＰＵ２０３は、切り出した静止画で顔検出を行う。ステップＳ１２０２でＣＰＵ２０３は、顔検出できたかを判定する。図１１（ｂ）のように顔が写っている場合は、ステップＳ１２０３へ進む。ステップＳ１２０３でＣＰＵ２０３は、顔領域から特徴量を算出する。ステップＳ１２０４でＣＰＵ２０３は、算出した特徴量を画像閲覧装置に登録する。ここで登録した特徴量は、後述する図１２（ｂ）のフローチャートで使用する。なお、ステップＳ１２０２で顔検出できなかった場合は、ステップＳ１２０５へ進む。ステップＳ１２０５でＣＰＵ２０３は、顔検出が出来ず所有者情報を登録出来ない旨のメッセージを表示する。例えば、「顔を検出することが出来なかったため、所有者情報を登録することが出来ませんでした。」のメッセージを表示する。以上が、画像閲覧装置に所有者情報を登録する際のフローチャートである。
【００４４】
次に、閲覧再生モードを実行する人物をインカメラで撮影して、所有者のみが閲覧再生モードを開始できるようにする動作を、図１２（ｂ）のフローチャートを用いて説明する。ステップＳ１２１０でＣＰＵ２０３は、閲覧再生モードを開始した際に、インカメラの動画像を取得して静止画像を切り出す。ステップＳ１２１１でＣＰＵ２０３は、切り出した静止画で顔検出を行う。ステップＳ１２１２でＣＰＵ２０３は、顔検出できたかどうかを判定し、顔検出できた場合は、ステップＳ１２１３へ進む。ステップＳ１２１３でＣＰＵ２０３は、顔領域から特徴量を算出する。ステップＳ１２１４でＣＰＵ２０３は、算出した特徴量と所有者情報として登録している特徴量との類似度を算出する。所有者情報として登録している特徴量とは、図１２（ａ）の１２０４で登録した特徴量である。ステップＳ１２１５でＣＰＵ２０３は、算出した類似度が所定の閾値以上であるかどうかを判定する。ここで、閲覧再生モードを実行した人物が所有者である場合は、類似度の値が高くなり、閾値以上となる。類似度が閾値上である場合は、ステップＳ１２１６へ進む。ステップＳ１２１６でＣＰＵ２０３は、閲覧再生モードの実行を継続する。このようにして、閲覧再生モードを実行した人物が所有者である場合は、閲覧再生モードを実行する。なお、ステップＳ１２１５で類似度が閾値以下で合った場合は、ステップＳ１２１７へ進む。ステップＳ１２１７でＣＰＵ２０３は、閲覧再生モードの実行者が所有者とは別人である旨のメッセージを表示する。例えば、「閲覧再生を実行できるのは、登録された所有者のみです。」のメッセージを表示する。また、ステップＳ１２１２で顔を検出できなかった場合は、ステップＳ１２１８へ進む。ステップＳ１２１８でＣＰＵ２０３は、顔検出が出来ず閲覧再生を実行出来ない旨のメッセージを表示する。例えば、「顔を検出することが出来なかったため、閲覧再生を実行することが出来ませんでした。」のメッセージを表示する。以上が、閲覧再生モードを実行したのが、画像閲覧装置の所有者であるかどうかを判定する動作のフローチャートである。
【００４５】
上述した本変形例の動作を、例えばステップ１０１の後に行えば、画像閲覧装置の所有者でない人物による閲覧再生モードの実行を制限することが可能となる。上述した実施形態において図１、５、７乃至１０、１２および１３に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ２０３が実行することによりその機能を実現させるものである。
【００４６】
尚、上述した構成に限定されるものではなく、図１、５、７乃至１０、１２および１３に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。
【００４７】
また、上記各図に示した処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【００４８】
また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。
【００４９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００５０】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５１】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００５２】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【図１】
2014220563.tif 000003
【図２】
2014220563.tif 000004
【図３（ａ）】
2014220563.tif 000005
【図３（ｂ）】
2014220563.tif 000006
【図３（ｃ）】
2014220563.tif 000007
【図３（ｄ）】
2014220563.tif 000008
【図４】
2014220563.tif 000009
【図５】
2014220563.tif 000010
【図６】
2014220563.tif 000011
【図７】
2014220563.tif 000012
【図８】
2014220563.tif 000013
【図９】
2014220563.tif 000014
【図１０】
2014220563.tif 000015
【図１１】
2014220563.tif 000016
【図１２】
2014220563.tif 000017
【図１３】
2014220563.tif 000018