(57)【要約】【課題】  同じ共有画像を閲覧する閲覧者と感情を共有しやすくし、閲覧者画像の蓄積を容易にする。【解決手段】  ＨＤＤ１２６には、複数の閲覧者により再生表示されうる共有画像と、この共有画像を閲覧する閲覧者を撮影した１以上の閲覧者画像とを関連付けて記憶されている。ＣＰＵ１２０は、閲覧者の撮影の可否を事前に求める。ＣＰＵ１２０は、閲覧者により選択された共有画像を表示部１２８に表示し、関連する閲覧者画像がある場合にはその閲覧者画像も表示部１２８に表示する。撮影許可がある場合、ＣＰＵ１２０は、撮像部１３２により閲覧者を撮影し、得られた閲覧者画像を、表示中の共有画像に関連付けてＨＤＤ１２６に格納する。【選択図】  図１
2016213690.tif 000002
【特許請求の範囲】
【請求項１】
複数の閲覧者により再生表示されうる共有画像と、前記共有画像を閲覧する閲覧者を撮影した１以上の閲覧者画像とを関連付けて記憶する記憶手段と、
表示すべき共有画像と関連する前記１以上の閲覧者画像から、前記共有画像と同時に表示すべき１以上の閲覧者画像を選択する選択手段と、
前記共有画像、および、前記選択手段により選択された１以上の閲覧者画像を同時に表示する表示手段と、
前記表示手段に表示される前記共有画像を閲覧する閲覧者を撮像できる撮像手段と、
前記撮像手段により撮像された閲覧者画像を、前記表示手段により表示中の前記共有画像に関連付けて前記記憶手段に格納する格納手段
とを有することを特徴とする画像表示装置。
【請求項２】
前記表示手段は、前記共有画像、および、前記選択手段により選択された１以上の閲覧者画像の表示を同期再生することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記表示手段は、前記共有画像、および、前記選択手段により選択された１以上の閲覧者画像を１つの画像に構成して表示することを特徴とする請求項１または２に記載の画像表示装置。
【請求項４】
前記選択手段は、表示すべき共有画像と関連する前記１以上の閲覧者画像から、感情表出が大きい閲覧者画像を優先して選択することを特徴とする請求項１から３のいずれか１項に記載の画像表示装置。
【請求項５】
前記選択手段は、表示すべき共有画像と関連する前記１以上の閲覧者画像のうち、前記共有画像を現に閲覧する閲覧者を撮影したものを除外することを特徴とする請求項１から４のいずれか１項に記載の画像表示装置。
【請求項６】
前記選択手段は、表示すべき共有画像と関連する前記１以上の閲覧者画像のうち、同じ閲覧者の閲覧者画像を１つに限定することを特徴とする請求項１から５のいずれか１項に記載の画像表示装置。
【請求項７】
さらに、前記撮像手段による閲覧者撮影の許可を閲覧者から得られた場合に、前記格納手段は前記閲覧者画像を前記共有画像に関連付けて格納することを特徴とする請求項１から６のいずれか１項に記載の画像表示装置。
【請求項８】
前記記憶手段および前記選択手段が画像共有サーバに配置され、
前記表示手段および前記撮像手段が、前記画像共有サーバにネットワークを介して接続するクライアントに配置され、
前記格納手段は、前記クライアントに配置され、前記ネットワークを介して前記画像共有サーバに前記撮像手段により撮像された閲覧者画像を送信する手段と、前記画像共有サーバに配置され、前記クライアントからの前記閲覧者画像を、前記表示手段により表示中の前記共有画像に関連付けて前記記憶手段に格納する手段とを有する
ことを特徴とする請求項１から７のいずれか１項に記載の画像表示装置。
【請求項９】
複数の閲覧者により再生表示されうる共有画像と、前記共有画像を閲覧する閲覧者を撮影した１以上の閲覧者画像とを関連付けて記憶する記憶手段と、
クライアントから要求された共有画像と、この共有画像と関連する１以上の閲覧者画像から１以上の閲覧者画像を選択する選択手段と、
前記クライアントから要求された共有画像と前記選択手段により選択された前記閲覧者画像を前記クライアントに送信する手段と、
前記クライアントでの前記共有画像の表示の際に撮影された閲覧者画像を前記クライアントから受信し、前記クライアントに送信された前記共有画像に関連付けて前記記憶手段に格納する手段
とを具備することを特徴とするサーバ。
【請求項１０】
複数の閲覧者により再生表示されうる共有画像と、前記共有画像を閲覧する閲覧者を撮影した１以上の閲覧者画像とを関連付けて記憶するサーバから接続するクライアントであって、
前記共有画像とこの共有画像に関連する１以上の前記閲覧者画像を前記サーバに要求する手段と、
前記サーバから送信された前記共有画像と１以上の前記閲覧者画像を表示する表示手段と、
前記表示手段に表示される前記共有画像を閲覧する閲覧者を撮影する撮像手段と、
前記撮像手段により撮影された閲覧者画像を前記サーバに送信する手段
とを具備することを特徴とするクライアント。
【請求項１１】
１以上のメイン動画と、前記メイン動画に関連する１以上のサブ動画を記憶する記憶手段と、
いずれかの前記メイン動画とこれに関連する１以上のサブ動画を同時に表示するサブ動画表示モードと、いずれかの前記メイン動画を表示するが、関連する前記サブ動画を表示しないメイン動画表示モードのいずれかの表示モードを設定する設定手段と、
前記設定手段により前記メイン動画表示モードが設定されたときには前記メイン動画のみを表示し、前記サブ動画表示モードが設定されたときには、前記メイン動画及び前記サブ動画を表示する表示手段と、
前記表示手段により表示される動画を閲覧する閲覧者を撮影する撮像手段と、
前記設定手段により設定された表示モードに従い、前記サブ動画表示モードでは前記メイン動画表示モードよりも負担の小さい処理条件で、前記撮像手段により撮影される閲覧者画像を、前記表示手段により表示され閲覧中の前記メイン動画に関連するサブ動画として前記記憶手段に格納する制御手段
とを有することを特徴とする画像表示装置。
【請求項１２】
前記処理条件は、前記閲覧者画像の画像サイズ、圧縮率、フレームレート及び撮影を自動で開始するか否かの少なくとも一つを含む請求項１１に記載の画像表示装置。
【請求項１３】
前記制御手段は、前記サブ動画表示モードにおいて表示するサブ動画の数に応じて前記処理条件を変更する請求項１１または１２に記載の画像表示装置。
【請求項１４】
前記制御手段は、前記メイン動画表示モードでは前記撮像手段による前記閲覧者の撮影を自動で開始し、前記サブ動画表示モードでは前記閲覧者の指示に従い前記撮像手段による前記閲覧者の撮影を開始することを特徴とする請求項１１から１３のいずれか１項に記載の画像表示装置。
【請求項１５】
前記サブ動画には、その記録の際に前記設定手段により設定された前記表示モードを示す情報が付加されていることを特徴とする請求項１１から１４のいずれか１項に記載の画像表示装置。
【請求項１６】
前記サブ動画には、その記録の際に前記表示手段により表示されていた画像を示す情報が付加されていることを特徴とする請求項１１から１５のいずれか１項に記載の画像表示装置。
【請求項１７】
前記メイン動画は、静止画の繰り返し表示を含むことを特徴とする請求項１１から１６のいずれか１項に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、サーバ及びクライアントに関し、特に、閲覧者の様子を撮影、収集及び配信を行う画像表示装置、サーバ及びクライアントに関する。
【背景技術】
【０００２】
インターネットには、画像共有サイトが多数存在する。画像共有サイトは、個人が画像をサーバにアップロードし、仲間がその画像を閲覧できるようにすることで、画像を共有することを目的としている。また、各閲覧者が画像にコメントを入力する機能もあり、画像を見た者同士で意思疎通ができるようになっている。
【０００３】
特許文献１には、画像を閲覧する際に、閲覧者の様子を撮影し、次回またその画像を閲覧するときに、前回の閲覧時の様子を一緒に表示する技術が開示されている。
【０００４】
また、メイン動画の再生中に、その共有画像を閲覧している閲覧者を撮像して動画記録する技術が特許文献２に記載されている。特許文献２にはまた、メイン動画を閲覧するクライアントの画面では、メイン動画のみを表示するか、過去の閲覧者の動画（サブ動画）を同時に表示するかを選択することも記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２１８９５６号公報
【特許文献２】特開平１１-２３８３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載される従来技術では、個人や家族などの限られた範囲のみの閲覧の様子しか見ることができない。すなわち、日常的に顔をあわせるほどではない仲間が閲覧したときの様子を知ることができない。
【０００７】
また、インターネットの画像共有サイトでは、文字でコメント入力できるが、あくまで文字のみ、それも限られた文字数でのコミュニケーションであり、一緒に写真を見ているかのような生の感情を共有することは難しい。
【０００８】
特許文献２に記載される従来技術では、サブ動画（閲覧者画像）の記録処理に割けるリソースが、メイン動画（共有画像）及び他の１以上のサブ動画（閲覧者画像）の再生状況により制限される。すなわち、メイン動画と最大数のサブ動画の再生環境で利用可能な記録処理能力の範囲に、現在の閲覧者のサブ動画の画面サイズ及び圧縮率を設定することになる。しかし、これでは、良好な画質のサブ動画を記録できない。
【０００９】
そこで、本発明は、共有画像と当該共有画像を閲覧した１以上の閲覧者画像を同時に表示できるシステムにおいて、感情共有が容易で、新たな閲覧者画像を適切な画質で記録処理できる画像表示システム、サーバ及びクライアントを提示することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像表示装置は、複数の閲覧者により再生表示されうる共有画像と、前記共有画像を閲覧する閲覧者を撮影した１以上の閲覧者画像とを関連付けて記憶する記憶手段と、表示すべき共有画像と関連する前記１以上の閲覧者画像から、前記共有画像と同時に表示すべき１以上の閲覧者画像を選択する選択手段と、前記共有画像、および、前記選択手段により選択された１以上の閲覧者画像を同時に表示する表示手段と、前記表示手段に表示される前記共有画像を閲覧する閲覧者を撮像できる撮像手段と、前記撮像手段により撮像された閲覧者画像を、前記表示手段により表示中の前記共有画像に関連付けて前記記憶手段に格納する格納手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、共有画像が閲覧されたときに閲覧者の様子を撮影して蓄積することで、共有画像と同時に他の閲覧者の様子を確認できるようにして、感情の共有を促進する装置を提供することができる。また、表示モードの設定に応じてサブ動画の記録処理を制御するため、より適切なサブ動画を記録できるようになる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置に適用した本発明の実施例１の概略構成ブロック図である。
【図２】実施例１の動作フローチャートである。
【図３】実施例１における共有画像（メイン画像）のみを表示する画面構成例である。
【図４】実施例１における共有画像（メイン画像）と１以上の閲覧者画像（サブ画像）を同時表示する画面構成例である。
【図５】実施例１における共有画像（メイン画像）と１０個の閲覧者画像（サブ画像）を同時表示する画面例である。
【図６】実施例２の概略構成ブロック図である。
【図７】実施例２のクライアント側の動作フローチャートである。
【図８】実施例２におけるサーバ側の動作フローチャートである。
【図９】実施例３の概略構成ブロック図である。
【図１０】図９に示す撮像装置の背面図である。
【図１１】図９に示す撮像装置の再生動作フローチャートである。
【図１２】実施例３におけるメイン動画表示モードとサブ動画表示モードの表示例である。
【図１３】実施例３におけるメイン動画表示モードのサブ動画記録処理のフローチャートである。
【図１４】実施例３におけるサブ動画表示モードでのサブ動画記録処理のフローチャートである。
【図１５】実施例４の再生動作の動作フローチャートである。
【図１６】図１５に示すフローにおけるメイン動画・サブ動画表示処理のフローチャートである。
【図１７】実施例４におけるサブ動画表示モードでの関連動画表示の表示例である。
【図１８】実施例４におけるメイン動画表示モードのサブ動画記録処理のフローチャートである。
【図１９】実施例４におけるサブ動画表示モードでのサブ動画記録処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１４】
図１は、本発明に係る画像表示装置の一実施例の概略構成ブロック図を示す。図１に示す画像表示装置１００は、任意の閲覧者の操作に基づいて共有画像と、共有画像を閲覧している閲覧者を撮影した閲覧者画像を表示する。共有画像は、図示しないネットワーク経由又はメモリカード等を介して画像表示装置１００に予め蓄積されている。閲覧者画像は、画像表示装置１００により共有画像を閲覧する際に後述する手順で画像表示装置１００に蓄積される。共有画像は静止画、動画又は静止画と動画の組み合わせである。共有画像の静止画部分は、スライドショーのように所定の時間で静止画が切り替わる形式で表示される。閲覧者画像は動画であるが、静止画でもよい。
【００１５】
画像表示装置１００は、ＣＰＵ１２０、ＲＯＭ１２２、ＲＡＭ１２４、ＨＤＤ１２６、表示部１２８、操作部１３０及び撮像部１３２を具備する。ＣＰＵ（Central Processing Unit）１２０は、ＲＯＭ（Read Only Memory）１２２またはＨＤＤ（Hard Disk Drive）１２６に記憶される制御プログラム及び定数に従い画像表示装置１００の動作を制御する。ＲＯＭ１２２は、画像表示装置１００を制御するためのプログラム（ファームウェア）及び各種の設定情報を記憶する。ＲＡＭ（Random Access Memory）１２４は、ＣＰＵ１２０上で動作する制御プログラムのワーク領域として使用され、表示部１２８で表示される画像及びメニュー等のデータを一時的に格納することにも使用される。
【００１６】
ＨＤＤ１２６には、共有画像データ及び閲覧者画像データ、その他のデータ並びに種々の制御プログラムが、格納される。ＨＤＤ１２６は不揮発性記憶装置の一例であり、半導体の不揮発性メモリ、例えばフラッシュメモリからなる記憶装置であってもよい。
【００１７】
操作部１３０はＣＰＵ１２０に画像表示装置１００を使用するユーザが種々の指示を入力するキーボード及びタッチパネル等からなる。撮像部１３２は、画像表示装置１００を使用して共有画像を閲覧するユーザを撮影可能であり、その撮影画像データはＨＤＤ１２６に格納される。
【００１８】
図２は、画像表示装置１００の動作フローチャートを示す。図２を参照して、画像表示装置１００の共有画像の表示動作と閲覧者の撮影動作を説明する。ＣＰＵ１２０が、図２に示す処理を実現する制御プログラムをＨＤＤ１２６から読み込み、実行することで、図２に示す処理を実現する。共有画像は、画像を収録する単位（イベントや旅行など）であるアルバムに纏められて管理されているものとする。
【００１９】
ステップＳ２０１で、ＣＰＵ１２０は、共有画像の閲覧中に閲覧者を撮像し閲覧者画像を送信してよいかどうかの閲覧者撮影諾否画面を表示部１２８に表示する。ステップＳ２０２で、閲覧者たるユーザは、この閲覧者撮影諾否画面に応じて、操作部１３０を使って回答をＣＰＵ１２０に入力する。これにより、ＣＰＵ１２０は撮影諾否取得手段として、閲覧者撮影の許可／拒否を取得する。
【００２０】
ステップＳ２０３で、ＣＰＵ１２０は、アルバム一覧を表示部１２８に表示する。ステップＳ２０４で、閲覧者は操作部１３０を使って、表示部１２８に表示されるアルバム一覧から閲覧したいアルバムを選択する。ステップＳ２０５で、ＣＰＵ１２０は、選択されたアルバムに収録される共有画像の一覧を表示する。共有画像一覧表示画面では、選択されたアルバムに収録されている共有画像が表示される。ステップＳ２０６で、閲覧者はアルバム一覧画面に戻る操作を選択でき、その選択に対し、ＣＰＵ１２０は、Ｓ２０３に戻り、その選択がなければ、Ｓ２０７に進む。ステップＳ２０７で、閲覧者は、操作部１３０により、共有画像一覧のうちで表示させたい共有画像を選択する。
【００２１】
ステップＳ２０８で、ＣＰＵ１２０は、閲覧者により選択された共有画像に少なくとも１つの閲覧者画像が関連付けられているかどうかを判定する。ステップＳ２０７で選択された共有画像に関連付けられた閲覧者画像が存在しない場合（Ｓ２０８）、ステップＳ２０９で、ＣＰＵ１２０は、選択された共有画像を表示部１２８に表示する。図３に例示するように、共有画像のみを表示してもよいし、図４に例示するように、閲覧者画像の表示枠上を上部及び下部に配置しつつ、共有画像を中央部に表示しても良い。
【００２２】
ステップＳ２０７で選択された共有画像に１以上の閲覧者画像が関連付けられている場合（Ｓ２０８）、ステップＳ２１０で、ＣＰＵ１２０は、表示すべき閲覧者画像を決定する。これは、図４に示したように、共有画像と同時表示できる閲覧者画像の数に制限があるからである。表示すべき閲覧者画像の決定基準として、時間的に新しい閲覧者画像を優先する時間優先、ランダムに選択するランダム選択、（３）閲覧者画像の画像又は音声の内容を解析し、表情や声などでの感情表出が大きいものを優先する内容優先が考えられる。もちろん、これらを組み合わせても良い。どの基準をどの順番で適用するかを閲覧者が選択できるのが好ましい。
【００２３】
閲覧者との関係では、閲覧者が過去に閲覧したときの閲覧者画像をデフォルトでは表示対象から除外してもよい。閲覧者画像が閲覧者のものかどうかは、ログイン名、または顔認識で判定すればよい。
【００２４】
同じ閲覧者の閲覧者画像が複数存在する場合、そのうちの一つを表示対象に限定してもよい。このための選択には、上述の閲覧者画像の決定基準を適用すればよい。同一人の閲覧者画像かどうかは、ログイン名または顔認識で判定すればよい。
【００２５】
ステップＳ２１１で、ＣＰＵ１２０は、ステップＳ２０７で選択された共有画像と、ステップＳ２１０で選択された閲覧者画像を表示部１２８に表示する。図５は表示例を示す。図５に示す表示例では、中央部分に共有画像が配置され、上部および下部に横一列に並んで閲覧者画像が配置される。共有画像の静止画部分は、例えば、スライドショーのように所定の時間で静止画が切り替わる形式で表示される。
【００２６】
閲覧者画像は、共有画像に対する閲覧者の反応をリアルタイムに記録した動画である。共有画像が動画の場合、閲覧者画像と共有画像を再生表示するのが好ましい。共有画像が複数の静止画からなる場合でもこれらがスライドショー表示される場合、実質的には動画であることから、閲覧者画像を共有画像の表示に同期させるのが好ましい。すなわち、共有画像の早送りや巻き戻しの操作に対し、共有画像と閲覧者画像の再生制御を同期させる必要がある。この同期制御の方法として、第１の方法は、共有画像と閲覧者画像を含めた全体を一つの動画としてエンコードし、表示する方法である。第２の方法は、共有画像と閲覧者画像の両方にタイムコードを埋め込んでおき、それを参照しながら再生タイミングを制御する方法である。
【００２７】
第１の方法では、共有画像の静止画部分は、同じフレームが続く動画として表現される。閲覧者画像のうちの一つでも変更されるとエンコードし直す処理が必要になるが、表示時の早送りと巻き戻しについては通常の動画再生と同様に行えばよい。
【００２８】
第２の方法では、動画については通常のタイムコードと同様の時間情報を付加する、たとえば、埋め込めばよい。静止画については、プレイリストのようなデータを用意し、表示すべき画像を示すデータと、表示が切り替わるタイミングのデータすなわちタイムコードを関連付けたスクリプトファイルをＨＤＤ１２６に記録する。トランジション（画像を切り換える際の表示効果）を行う場合、さらに、その種類とタイミングも再生制御方法としてＨＤＤ１２６に記録しておく。
【００２９】
ステップＳ２１２で、ＣＰＵ１２０は、Ｓ２０１で閲覧者が閲覧者撮影を許可していたか否かを判定する。撮影が許可されている場合（Ｓ２１２）、ステップＳ２１３で、ＣＰＵ１２０は、撮像部１３２を起動して撮影者の撮影を開始する。そして、ステップＳ２１４で、ＣＰＵ１２０は、ＨＤＤ１２６にデータを格納する格納手段として、閲覧者画像データを閲覧中の共有画像に関連付けてＨＤＤ１２６に格納し、共有画像一覧表示（Ｓ２０５）に戻る。撮影が許可されていない場合（Ｓ２１２）、ＣＰＵ１２０は、ステップＳ２１３，Ｓ２１４を迂回して共有画像一覧表示（Ｓ２０５）に戻る。
【００３０】
図２では、フローチャートとしての表現上、ステップＳ２０９，Ｓ２１１の後にステップＳ２１３，Ｓ２１４が実行されるように記載されているが、実際には、ステップＳ２０９，Ｓ２１１とステップＳ２１３，Ｓ２１４は並行して実行される。
【００３１】
以上の処理を実行することにより、画像が閲覧されたときに閲覧者の様子を記録し、画像表示装置１００に保存・蓄積していくことができる。そして、後の閲覧において蓄積された閲覧者画像を共有画像とともに表示することで、他の閲覧者の反応を確認しながら共有画像を見ることができる。
【実施例２】
【００３２】
図６は、サーバ／クライアント構成の画像共有システムに適用した本発明の実施例２の概略構成ブロック図を示す。
【００３３】
複数のクライアント６１０（６１０Ａ，６１０Ｂ，６１０Ｃ）が、インターネット６１２を介して画像共有サーバ６１４にアクセス可能である。各クライアント６１０Ａ，６１０Ｂ，６１０Ｃは、携帯可能なパーソナルコンピュータ、タブレット端末又はスマートフォンからなる。各クライアント６１０Ａ，６１０Ｂ，６１０Ｃは、他ユーザに公開される共有画像を画像共有サーバ６１４に投稿する機能及び画像共有サーバ６１４で公開される画像を閲覧する機能を具備する。クライアント６１０Ａについてのみ内部構成を図示してあるが、他のクライアント６１０Ｂ，６１０Ｃの構成はクライアント６１０Ａのそれと同じである。
【００３４】
本実施例では、共有画像の閲覧者は、閲覧中の自身の画像（閲覧者画像）を共有サーバ６１４にアップロードし、閲覧者画像を閲覧中の共有画像に画像共有サーバ６１４上で関連付けることができる。共有画像は静止画、動画又は静止画と動画の組み合わせである。共有画像の静止画部分は、スライドショーのように所定の時間で静止画が切り替わる形式で表示される。閲覧者画像は動画であるが、静止画でもよい。
【００３５】
クライアント６１０Ａの構成を説明する。クライアント６１０Ａは、ＣＰＵ６２０、ＲＯＭ６２２、ＲＡＭ６２４、ＨＤＤ６２６、表示部６２８，操作部６３０、撮像部６３２及び通信部６３４を具備する。ＣＰＵ６２０は、ＲＯＭ６２２またはＨＤＤ６２６に記憶される制御プログラム及び定数に従いクライアント６１０Ａの動作を制御する。ＲＯＭ６２２は、画像表示装置１００を制御するためのプログラム（ファームウェア）及び各種の設定情報を記憶する。ＲＡＭ６２４は、ＣＰＵ６２０上で動作する制御プログラムのワーク領域として使用され、表示部６２８で表示される画像及びメニュー等のデータを一時的に格納することにも使用される。
【００３６】
ＨＤＤ６２６には、送信用又は受信した共有画像データ及び閲覧者画像データ、その他のデータ並びに種々の制御プログラムが、格納される。ＨＤＤ６２６は不揮発性記憶装置の一例であり、半導体の不揮発性メモリ、例えばフラッシュメモリからなる記憶装置であってもよい。
【００３７】
操作部６３０はＣＰＵ６２０にクライアント６１０Ａを使用するユーザが種々の指示を入力するキーボード及びタッチパネル等からなる。撮像部６３２は、クライアント６１０Ａを使用するユーザを撮影可能であり、その撮影画像データはＨＤＤ６２６に格納される。通信部６３４は、インターネット６１２を介した画像共有サーバ６１４との通信を担う。
【００３８】
画像共有サーバ６１４の構成を説明する。画像共有サーバ６１４は、コンピュータ又はこれに類似した構成のファイルサーバであり、ＣＰＵ６４０、ＲＯＭ６４２、ＲＡＭ６４４、ＨＤＤ６４６及び通信部６５４を具備する。ＣＰＵ６４０は、ＲＯＭ６４２に記憶される制御プログラム及び定数に従い画像共有サーバ６１４の動作を制御する。ＲＯＭ１２２は、画像共有サーバ６１４を制御するためのプログラム（ファームウェア）及び各種の設定情報を記憶する。ＲＡＭ６４４は、ＣＰＵ６４０上で動作する制御プログラムのワーク領域として使用される。
【００３９】
ＨＤＤ６４６には、共有画像データ及び閲覧者画像データ、その他のデータ並びに種々の制御プログラムが、格納される。ＨＤＤ６４６は不揮発性記憶装置の一例であり、半導体の不揮発性メモリ、例えばフラッシュメモリからなる記憶装置であってもよい。
【００４０】
通信部６５４は、画像共有サーバ６１４をインターネット６１２に接続し、クライアント６１０からのアクセスを受け付ける。
【００４１】
図７は、クライアント６１０の動作フローチャートを示し、図８は画像共有サーバ６１４の動作フローチャートを示す。図７及び図８を参照して、本実施例の特徴的な動作を説明する。ここでは、閲覧者はクライアント６１０Ａを共有画像の閲覧と閲覧者画像の画像共有サーバ６１４へのアップロードに使用するとする。ＣＰＵ６２０が、図７に示す処理を実現する制御プログラムをＨＤＤ６２６から読み込み、実行することで、図７に示す処理を実現する。また、ＣＰＵ６２０が、図８に示す処理を実現する制御プログラムをＨＤＤ６２６から読み込み、実行することで、図８に示す処理を実現する。
【００４２】
なお、画像共有サーバ６１４において、共有画像は、画像を収録する単位（イベントや旅行など）であるアルバムに纏められて、ＨＤＤ６４６に格納されているものとする。
【００４３】
ステップＳ７０１で、クライアント６１０ＡのＣＰＵ６２０は、共有画像の閲覧中に閲覧者を撮像し閲覧者画像を送信してよいかどうかの諾否質問ダイアログを表示部６２８に表示する。ステップＳ７０２で、閲覧者たるユーザは、この諾否質問ダイアログに応じて、操作部６３０を使って回答をＣＰＵ６２０に入力する。
【００４４】
ステップＳ７０３で、ＣＰＵ６２０は、画像共有サーバ６１４にアルバム一覧情報を要求する。画像共有サーバ６１４のＣＰＵ６４０は、ステップ８０１で、クライアント６１０Ａからのアルバム一覧要求の受信を待機している。アルバム一覧要求を受信すると（Ｓ８０１）、ＣＰＵ６４０は、ステップＳ８０２でアルバム一覧を要求元（ここでは、クライアント６１０Ａ）に送信する。アルバム一覧は、例えば、各アルバムについてアルバム名、アルバムの属性及び代表画像の情報を含む。アルバム一覧の送信後、ステップＳ８０３で、ＣＰＵ６４０は、共有画像一覧要求の受信を確認する。共有画像一覧要求を受信していない場合（Ｓ８０３）、ＣＰＵ６４０は、ステップＳ８０１に戻る。
【００４５】
クライアント６１０ＡのＣＰＵ６２０は、ステップＳ７０３で、画像共有サーバ６１４からアルバム一覧を受信し、ステップＳ７０５で、受信したアルバム一覧を表示部６２８に表示する。ステップＳ７０６で、閲覧者は操作部６３０を使って、表示部６２８に表示されるアルバム一覧から閲覧したいアルバムを選択する。
【００４６】
ステップＳ７０７で、ＣＰＵ６２０は、選択されたアルバムに収録される共有画像の一覧を画像共有サーバ６１４に要求する。画像共有サーバ６１４のＣＰＵ６４０は、ステップ８０３で、クライアント６１０Ａからの共有画像一覧要求の受信を待機している。共有画像一覧要求を受信すると（Ｓ８０３）、ＣＰＵ６４０は、ステップＳ８０４で、共有画像一覧を要求元（ここでは、クライアント６１０Ａ）に送信する。共有画像一覧は、選択されたアルバムに登録された各画像について、その名称、作成日（又は登録日）及び代表画像（又はサムネイル画像）を含む。共有画像一覧の送信後、ステップＳ８０５で、ＣＰＵ６４０は、共有画像要求の受信を待機する。
【００４７】
ステップＳ７０８で、ＣＰＵ６２０は、画像共有サーバ６１４から共有画像一覧を受信し、ステップＳ７０９で、受信した共有画像一覧を表示部６２８に表示する。共有画像一覧表示画面では、選択されたアルバムに収録されている共有画像のサムネイル画像を表示される。
【００４８】
ステップＳ７１０で、閲覧者はアルバム一覧画面に戻る操作を選択でき、その選択に対し、ＣＰＵ６２０は、ステップＳ７０３に戻り、その選択がなければ、ステップＳ７１１に進む。ステップＳ７１１で、閲覧者は、操作部６３０により、共有画像一覧のうちで表示させたい共有画像を選択する。
【００４９】
ステップＳ７１２で、ＣＰＵ６２０は、閲覧者により選択された共有画像の送信要求を画像共有サーバ６１４に送信する。画像共有サーバ６１４のＣＰＵ６４０は、共有画像要求を受信すると（Ｓ８０５）、ステップＳ８０６で、要求された共有画像に閲覧者画像が関連付けられているかどうかを判定する。関連する閲覧者画像が存在しない場合（Ｓ８０６）、ＣＰＵ６４０は、共有画像データのみを要求元（ここでは、クライアント６１０Ａ）に送信する。関連する閲覧者画像が存在する場合（Ｓ８０６）、ＣＰＵ６４０は、ステップＳ８０８で、送信すべき閲覧者画像を選択する。送信すべき閲覧者画像の選択には、ステップＳ２１０に関連して説明した方法を採用できる。ステップＳ８０９で、ＣＰＵ６４０は、共有画像データとＳ８０８で選択した閲覧者画像の画像データを要求元（ここでは、クライアント６１０Ａ）に送信する。ステップＳ８０７，Ｓ８０９の後、ステップＳ８１０で、ＣＰＵ６４０は、共有画像の要求元からの閲覧者画像の受信を待機する。
【００５０】
ステップＳ７１３で、ＣＰＵ６２０は、画像共有サーバ６１４から共有画像データと関連する閲覧者画像データを受信し、ステップＳ７１４で、表示部６２８に表示する。共有画像と閲覧者画像の同期再生方法は、実施例１で説明したのと同様の方法による。閲覧者が選択した共有画像に関連する閲覧者画像が存在しない場合、ＣＰＵ６２０は、画像共有サーバ６１４から共有画像データのみを受信し、表示部６２８に表示する。
【００５１】
ステップＳ７１５で、ＣＰＵ６２０は、閲覧者が自身の撮影を許可しているか否かを判定する。撮影が許可されている場合（Ｓ７１５）、ステップＳ７１６で、ＣＰＵ６２０は、撮像部６３２を起動して撮影者の撮影を開始する。そして、ステップＳ７１７で、ＣＰＵ６２０は、閲覧者画像データを画像共有サーバ６１４に送信する。
【００５２】
ステップＳ８１０で、画像共有サーバ６１４のＣＰＵ６４０は、共有画像の要求元（ここでは、クライアント６１０Ａ）から閲覧者画像データを受信する。ステップ８１１で、ＣＰＵ６４０は、当該共有画像に関連する閲覧者画像としてＨＤＤ６４６に格納し、ステップＳ８０１に戻る。
【００５３】
図８では、フローチャートとしての表現上、ステップＳ７１３，Ｓ７１４の後にステップＳ７１６，Ｓ７１７が実行されるように記載されているが、実際には、ステップＳ７１３，Ｓ７１４とステップＳ７１６，Ｓ７１７は並行して実行される。
【００５４】
本実施例では、サーバ／クライアントモデルの画像共有システムにおいて、閲覧する共有画像を先に閲覧した閲覧者の閲覧者画像も共有画像と同時に閲覧できると共に、自身の閲覧者画像を簡単な操作で登録することができる。
【実施例３】
【００５５】
図９は、本発明の実施例３を実装した撮像装置の概略構成ブロック図を示し、図１０は、その背面図を示す。図９に示す撮像装置９００はいわゆるデジタルカメラであり、動画データをＭｏｔｉｏｎＪＰＥＧで圧縮符号化して記録する。圧縮方式は一例であり、その他の圧縮方式を適用しても良いことはいうまでもない。
【００５６】
主撮像部９０２Ａは、正面の被写体（主被写体）を撮像し、副撮像部９０２Ｂは背面の被写体（例えば、撮影者及び再生画像の閲覧者等）を撮像するように、それぞれ配置されている。主撮像部９０２Ａ及び副撮像部９０２Ｂは共に、撮影レンズ、シャッタ、絞り及び撮像素子からなり、主撮像部９０２Ａは、オートフォーカス機能を持つ。Ａ／Ｄ変換器９０４は、システム制御部９３０の制御下で、主撮像部９０２Ａ又は副撮像部９０２Ｂから出力されるアナログ画像信号をデジタル化し、画像データを符号化部９１０に供給する。主撮像部９０２Ａにより得られる動画をここではメイン動画と呼び、副撮像部９０２Ｂにより得られる動画をサブ動画と呼ぶ。
【００５７】
マイク９０６は正面方向を含む周囲の音声を取り込み、Ａ／Ｄ変換器９０８は、マイク９０６から出力されるアナログ音声信号をデジタル信号に変換し、音声データを符号化部９１０に供給する。
【００５８】
符号化部９１０は、Ａ／Ｄ変換器９０４からの画像データ及びＡ／Ｄ変換器９０８からの音声データを動画及び音声の所定圧縮符号化方式に従って符号化する。動画圧縮符号化方式として、ここでは、Ｍｏｔｉｏｎ  ＪＰＥＧを採用するが、これ以外の圧縮方式を用いてもよい。符号化部９１０は、符号化された動画・音声データを所定フォーマットでデータアクセス制御部９１２に供給する。
【００５９】
データアクセス制御部９１２は、メモリカードへのデータ読み書きを制御する手段であり、メモリ９１４をバッファとして利用しつつ符号化部９１０からの符号化動画・音声データをメモリカード９１６に記録する。データアクセス制御部９１２はまた、再生モードでは、メモリカード９１６から符号化動画・音声データを読み出し、復号化部９１８に供給する。
【００６０】
復号化部９１８は、データアクセス制御部９１２からの符号化動画・音声データを復号化し、復号化で得られた再生動画データをＤ／Ａ変換器９２０に供給し、再生音声データをＤ／Ａ変換器９２２に供給する。Ｄ／Ａ変換器９２０は、復号化部９１８からの再生動画データをアナログ画像信号に変換し、モニタ９２４に供給する。モニタ９２４は、Ｄ／Ａ変換器９２０からのアナログ画像信号を画像表示する。また、Ｄ／Ａ変換器９２２は、復号化部９１８からの再生音声データをアナログ音声信号に変換し、スピーカ９２６に供給する。スピーカ９２６は、Ｄ／Ａ変換器９２２からのアナログ音声信号を音響出力する。
【００６１】
モニタ９２４は、撮影モードにおけるビューファインダとしても使用される。そのために、Ａ／Ｄ変換器９０４の出力画像データは、Ｄ／Ａ変換器９２０に供給されるようになっている。Ｄ／Ａ変換器９２０は、Ａ／Ｄ変換器９０４の出力画像データをアナログ画像信号に変換してモニタ９２４に供給する。このとき、モニタ９２４は、主撮像部９０２Ａの撮影視野内に相当する画像を表示する。
【００６２】
システム制御部９３０はマイクロコンピュータからなり、操作部９３２を使ってユーザにより設定された動作モード、動作状態、及び操作部９３２によるユーザの指示に従って、各部を制御する。システム制御部９３０は、符号化部９１０及び復号化部９１８の稼働状況、特に処理負担を継続的にモニタしており、その結果に従い、符号化部９１０での符号化条件を制御する。
【００６３】
操作部９３２は、図１０に示すように、タッチパネル９３２Ａ、静止画撮影ボタン９３２Ｂ、動画撮影ボタン９３２Ｃ、モード切替えスイッチ９３２Ｄ、上下左右の操作ボタン９３２Ｅ、セットボタン９３２Ｆ、メニューボタン９３２Ｇを具備する。タッチパネル９３２Ａはモニタ９２４の画面上に設置され、静止画撮影ボタン９３２Ｂ及び動画撮影ボタン９３２Ｃは撮像装置９００の上面に配置される。モード切替えスイッチ９３２Ｄにより、電源オフ、撮影モード及び再生モードの何れかを選択できる。左側で再生モード、右側で撮影モード、中央で電源オフとなる。再生モードには、メイン動画だけを再生する「メイン動画表示モード」と、メイン動画と一緒にサブ動画も再生する「サブ動画表示モード」の二つの表示モードがある。これらの表示モードは、切り換え可能である。４方向の操作ボタン９３２Ｅ、セットボタン９３２Ｆ及びメニューボタン９３２Ｇを使って、種々の設定項目を選択し設定できる。
【００６４】
メイン動画は実施例１、２における共有画像に対応するものであり、狭義の動画（真の動画）と、所定時間繰り返し表示されることで動画のように扱われる静止画（疑似動画）とがありうる。サブ動画は、実施例１、２における閲覧者画像に対応し、これも、真の動画と疑似動画がありうる。
【００６５】
図１１は、本実施例の再生モードの動作フローチャートを示す。図１１を参照して、本実施例の再生モードでの動作を説明する。図１１に示す動作は、システム制御部９３０が図示しないプログラム記憶手段から図１１に示す動作に対応する制御プログラムをロードして実行することにより、実現される。プログラム記憶手段は、ネットワークを介して接続するものであってもよい。モード切替えスイッチ９３２Ｄを左側に設定すると、システム制御部９３０は、再生モードで起動し、各部を再生モードでの動作に制御する。
【００６６】
ステップＳ１１０１で、システム制御部９３０は、現在設定されている表示モードを取得する。ステップＳ１１０２で、システム制御部９３０は取得した表示モードがメイン動画表示モードかサブ動画表示モードかを判断する。メイン動画表示モードの場合、システム制御部９３０はステップＳ１１０３に進み、サブ動画表示モード場合、ステップＳ１１０５に進む。
【００６７】
ステップＳ１１０３で、システム制御部９３０は、メモリカード９１６に記録されているメイン動画を読み出し、画像をモニタ９２４に表示する再生処理を実行する。音声も記録されている場合、再生処理でも、音声も再生し、スピーカ９２６から出力する。メイン動画表示モードでは、メイン動画が、モニタ９２４の画面全体に表示される。なお、このステップＳ１１０３では、システム制御部９３０は、メイン動画の１フレームの表示処理を行う。ステップＳ１１０４で、システム制御部９３０は、メイン動画表示モード時の設定に従いサブ動画記録処理を実行する。ステップＳ１１０４の処理の詳細は後述する。
【００６８】
ステップＳ１１０５で、システム制御部９３０は、メモリカード９１６に記録されているメイン動画とサブ動画をモニタ９２４に表示する処理を実行する。サブ動画表示モードでは、システム制御部９３０は、メイン動画とサブ動画をモニタ９２４の画面上に並べて同時に表示する。このステップＳ１１０５では、システム制御部９３０は、動画の１フレーム分の表示処理を行う。ステップＳ１１０６で、システム制御部９３０は、サブ動画表示モード時の設定に従いサブ動画記録処理を行う。ステップＳ１１０６の処理の詳細は、後述する。
【００６９】
ステップＳ１１０４またはＳ１１０６の後、ステップＳ１１０７で、システム制御部９３０は、ユーザが表示モードの切り替え操作を行ったかどうかを判断する。表示モードの切替え操作は、操作ボタン９３２Ｅの上下ボタンで行う。表示モードの切替え操作が行われた場合、システム制御部９３０は、ステップＳ１１０８に進み、表示モードの切替え操作が無かった場合、ステップＳ１１１１に進む。
【００７０】
ステップＳ１１０８で、システム制御部９３０は、サブ動画記録中だった場合に、サブ動画記録の停止処理を行う。サブ動画の記録停止時に、システム制御部９３０は、必要に応じて動画ファイルのヘッダを更新する。
【００７１】
ステップＳ１１０９で、システム制御部９３０は、ステップＳ１１０８で記録停止したサブ動画の管理ファイルに、表示モードの情報を記録する。システム制御部９３０は、サブ動画の管理ファイルをサブ動画ファイルと同じフォルダに作成する。この管理ファイルのファイル名は、サブ動画ファイルのファイル名と拡張子だけが異なる。管理ファイルの内容としては、メイン動画表示モードのときは"０"を記録し、サブ動画表示モードのときは"１"を記録する。ステップＳ１１０８で記録停止しなかった場合、システム制御部９３０は、ステップＳ１１０９では何も処理しない。記録したサブ動画に表示モードを関連付ける方法として、表示モードの情報を管理ファイルに記録するようにしたが、記録するサブ動画ファイル内に同様の情報を管理情報として記録するようにしてもよい。
【００７２】
ステップＳ１１１０で、システム制御部９３０は、表示モードを切り替える処理を行う。メイン動画表示モードだった場合にはサブ動画表示モードに切り替え、サブ動画表示モードだった場合には、メイン動画表示モードに切り替える。
【００７３】
表示モードの切替えが不要な場合（Ｓ１１０７）または、ステップＳ１１１０の後、ステップＳ１１１１で、システム制御部９３０は、再生処理が終了かどうかを判断する。再生処理が終了する条件としては、ユーザが再生をキャンセルした場合と、目的の動画を最後まで再生した場合とがある。再生終了と判断した場合、システム制御部９３０は、ステップＳ１１１２に進むが、そうでない場合には、ステップＳ１１０２に戻る。なお、動画再生のキャンセル操作は、メニューボタン９３２Ｇで行うことができる。
【００７４】
ステップＳ１１０２からステップＳ１１１１をメイン動画のフレーム数分繰り返すことで、システム制御部９３０は、動画表示とサブ動画記録を行う。
【００７５】
再生処理終了の場合（Ｓ１１１１）、ステップＳ１１１２で、システム制御部９３０は、動画再生とサブ動画記録を終了する処理を実行する。サブ動画の記録終了時に、システム制御部９３０は、必要に応じて動画ファイルのヘッダを更新する。
【００７６】
ステップＳ１１１３で、システム制御部９３０は、ステップＳ１１０９の処理と同様に、記録終了したサブ動画の管理ファイルに表示モードの情報を記録する。ステップＳ１１１２で記録停止しなかった場合、システム制御部９３０は、ステップＳ１１１３では何も処理しない。
【００７７】
図１２は、再生モードでのメイン動画表示モードとサブ動画表示モードの表示例を示す。図１２（ａ）はメイン動画表示モードの表示例を示し、図１２（ｂ）はサブ動画表示モードの表示例を示す。
【００７８】
図１２（ａ）に示すように、メイン動画表示モードでは、メイン動画をモニタ９２４の全画面に表示する。なお、メイン動画表示モードのときには、システム制御部９３０は、サブ動画記録を自動的に開始するので、サブ動画記録のための指示ＵＩ（User Interface）は不要となる。
【００７９】
図１２（ｂ）に示すように、サブ動画表示モードでは、メイン動画を画面中央領域１２０４に表示し、サブ動画を、画面左側に３個、画面右側に３個の合計６個のサブ動画表示域１２０６〜１２１８に同時に表示できる。サブ動画表示域１２０６〜１２１８のうち、サブ動画を表示しない表示域は、例えば黒画像とする。サブ動画が７個以上ある場合、記録時間の古い方から６個のサブ動画を表示する。サブ動画が７個以上ある場合、表示するサブ動画を切り替えるようにするのが好ましい。表示される各サブ動画には、サブ動画記録時の表示モードを示すマーク１２１８が重畳表示される。図１２（ｂ）に示す例では、"Ｍ"はメイン動画表示モードを示し、"Ｓ"はサブ動画表示モードを示す。もちろん、その他のシンボルを使用しても良い。
【００８０】
サブ動画表示モードのときにはサブ動画記録が自動的に開始されないので、図１２（ｂ）に示すように、サブ動画記録を指示する記録開始ボタン１２２０が表示される。撮影者は、この記録開始ボタン１２２０に対してタッチパネル９３２Ａにタッチ操作することで、システム制御部９３０にサブ動画の記録開始を指示できる。システム制御部９３０は、この記録開始指示に応じて、副撮像部９０２Ｂにより撮像される動画をメモリカード９１６に記録するようにＡ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を制御する。サブ動画の記録中には、記録開始ボタン１２２０の位置に記録終了ボタンが表示される。
【００８１】
メイン動画表示モードとサブ動画表示モードの切替えには、操作ボタン９３２Ｅの上下ボタンを使う。例えば、システム制御部９３０は、上ボタンを押す操作に対しメイン動画表示モードを設定し、下ボタンを押す操作に対しサブ動画表示モードを設定する。
【００８２】
図１３は、メイン動画表示モードでのサブ動画記録処理（Ｓ１１０４）の詳細なフローチャートを示す。
【００８３】
ステップＳ１３０１で、システム制御部９３０は、サブ動画記録中かどうかを判断する。サブ動画記録中の場合、システム制御部９３０は、ステップＳ１３０４に進み、サブ動画記録中でない場合、ステップＳ１３０２に進む。
【００８４】
ステップＳ１３０２で、システム制御部９３０は、記録すべきサブ動画の画像サイズを１２８０×７２０画素に設定する。この画像サイズが、メイン動画表示モードでサブ動画を記録する際のサブ動画の記録設定となる。ステップＳ１３０３で、システム制御部９３０は、サブ動画の記録を開始できるようにＡ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を設定し、ステップＳ１３０４に進む。
【００８５】
ステップＳ１３０４で、システム制御部９３０は、サブ動画の１フレームをメモリカード９１６に記録するように、Ａ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を制御する。
【００８６】
図１４は、サブ動画表示モードでのサブ動画記録処理（Ｓ１１０６）の詳細なフローチャートを示す。
【００８７】
ステップＳ１４０１で、システム制御部９３０は、サブ動画記録中かどうかを判断する。サブ動画記録中の場合、システム制御部９３０はステップＳ１４０５に進み、サブ動画記録中でない場合、ステップＳ１４０２に進む。
【００８８】
ステップＳ１４０２で、システム制御部９３０は、記録開始ボタン１２２０がユーザによって押されたかどうかを判断する。記録開始ボタン１２２０が押された場合、システム制御部９３０は、ステップＳ１４０３に進み、記録開始ボタンが押されなかった場合、図１４に示すフローを終了する。
【００８９】
ステップＳ１４０３で、システム制御部９３０は、記録すべきサブ動画の画像サイズを６４０×３６０画素に設定する。この画像サイズは、サブ動画表示モード時でサブ動画を記録する際のサブ動画の記録設定となる。
【００９０】
ステップＳ１４０４で、システム制御部９３０は、サブ動画の記録を開始できるようにＡ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を設定し、ステップＳ１４０５に進む。
【００９１】
ステップＳ１４０５で、システム制御部９３０は、サブ動画の１フレームをメモリカード９１６に記録するように、Ａ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を制御する。
【００９２】
図１３及び図１４から分かるように、記録のための処理条件または符号化条件として、メイン動画表示モードで記録するサブ動画の画像サイズを、サブ動画表示モードで記録するサブ動画のそれよりも大きなサイズとしている。また、サブ動画表示モードでは、ユーザの指示に従ってサブ動画の記録を開始するようにしている。サブ動画表示モードではメイン動画と１以上のサブ動画を同時に表示することから、メイン動画のみを表示するメイン動画表モードよりも処理負担が重いが、このようにすることで、サブ動画の記録処理負担が過剰にならないようにしている。
【００９３】
サブ動画記録時の表示モードを、サブ動画に関連付けて記録しているので、そのサブ動画を再生したときに、どの表示モードのときに記録されたかを、すなわち記録時の画像サイズを容易に識別できる。
【００９４】
デジタルカメラに適用した実施例を説明したが、本発明は、コンピュータ又は携帯通信端末等の種々の情報処理装置に装備されるカメラにも適用されうる。
【００９５】
本実施例では、メイン動画を一つだけ再生する場合を説明したが、複数のメイン動画を連続して再生する場合にも適用される。
【００９６】
表示モードに応じてサブ動画の画像サイズと記録処理を制御する実施例を説明したが、これら以外の要素を制御しても良い。例えば、サブ動画の画像圧縮率、フレームレート、保存場所又はファイル形式を制御しても良い。
【実施例４】
【００９７】
メイン動画表示モードにおいて、メイン動画として、一定時間（例えば、１０秒）継続的に表示される静止画を含めても良い。図９に示す撮像装置９００に対してそのように変更した動作を説明する。
【００９８】
図１５は、再生モードの動作フローチャートを示す。図１５に示す動作は、システム制御部９３０が図示しないプログラム記憶手段から図１５に示す動作に対応する制御プログラムをロードして実行することにより、実現される。プログラム記憶手段は、ネットワークを介して接続するものであってもよい。モード切替えスイッチ９３２Ｄを左側に設定すると、システム制御部９３０は、再生モードで起動し、各部を再生モードでの動作に制御する。
【００９９】
ステップＳ１５０１で、システム制御部９３０は、現在設定されている表示モードを取得する。ステップＳ１５０２で、システム制御部９３０は取得した表示モードがメイン動画表示モードかサブ動画表示モードかを判断する。メイン動画表示モードの場合、システム制御部９３０はステップＳ１５０３に進み、サブ動画表示モード場合、ステップＳ１５０５に進む。
【０１００】
ステップＳ１５０３で、システム制御部９３０は、メモリカード９１６に記録されているメイン動画を読み出し、画像をモニタ９２４に表示する再生処理を実行する。音声も記録されている場合、再生処理でも、音声も再生し、スピーカ９２６から出力する。メイン動画表示モードでは、メイン動画が、図１２（ａ）に例示したように、モニタ９２４の画面全体に表示される。なお、このステップＳ１５０３では、システム制御部９３０は、メイン動画の１フレームの表示処理を行う。ステップＳ１５０４で、システム制御部９３０は、メイン動画表示モード時の設定に従いサブ動画記録処理を実行する。ステップＳ１５０４の処理の詳細は後述する。
【０１０１】
ステップＳ１５０５で、システム制御部９３０は、メモリカード９１６に記録されているメイン動画とサブ動画をモニタ９２４に表示する処理を実行する。サブ動画表示モードでは、システム制御部９３０は、図１２（ｂ）に例示したように、メイン動画とサブ動画をモニタ９２４の画面上に並べて同時に表示する。このステップＳ１５０５では、システム制御部９３０は、動画の１フレーム分の表示処理を行う。ステップＳ１５０６で、システム制御部９３０は、サブ動画表示モード時の設定に従いサブ動画記録処理を行う。ステップＳ１５０６の処理の詳細は、後述する。
【０１０２】
ステップＳ１５０４またはＳ１５０６の後、ステップＳ１５０７で、システム制御部９３０は、ユーザが表示モードの切り替え操作を行ったかどうかを判断する。表示モードの切替え操作は、操作ボタン９３２Ｅの上下ボタンで行う。表示モードの切替え操作が行われた場合、システム制御部９３０は、ステップＳ１５０８に進み、表示モードの切替え操作が無かった場合、ステップＳ１５１１に進む。
【０１０３】
ステップＳ１５０８で、システム制御部９３０は、サブ動画記録中だった場合に、サブ動画記録の停止処理を行う。サブ動画の記録停止時に、システム制御部９３０は、必要に応じて動画ファイルのヘッダを更新する。
【０１０４】
ステップＳ１５０９で、システム制御部９３０は、ステップＳ１５０８で記録停止したサブ動画の管理ファイルに、表示モードの情報を記録する。システム制御部９３０は、サブ動画の管理ファイルをサブ動画ファイルと同じフォルダに作成する。この管理ファイルのファイル名は、サブ動画ファイルのファイル名と拡張子だけが異なる。管理ファイルの内容としては、メイン動画表示モードのときは"０"を記録する。サブ動画表示モードのときは"１"を記録し、その後に続けて、表示していたサブ動画のファイル名をコンマ区切りで記録する。複数のサブ動画を表示していた場合には、複数のファイル名を記録する。例えば、サブ動画表示モードで３つのサブ動画を再生していた場合の記録例、「１，Ｓｕｂ＿０００１．ａｖｉ，Ｓｕｂ＿０００１．ａｖｉ，Ｓｕｂ＿０００２．ａｖｉ」という内容になる。ステップＳ１５０８で記録停止しなかった場合、システム制御部９３０は、ステップＳ１５０９では何も処理しない。記録したサブ動画に表示モードを関連付ける方法として、表示モードの情報を管理ファイルに記録するようにしたが、記録するサブ動画ファイル内に同様の情報を管理情報として記録するようにしてもよい。
【０１０５】
ステップＳ１５１０で、システム制御部９３０は、表示モードを切り替える処理を行う。メイン動画表示モードだった場合にはサブ動画表示モードに切り替え、サブ動画表示モードだった場合には、メイン動画表示モードに切り替える。
【０１０６】
表示モードの切替えが不要な場合（Ｓ１５０７）または、ステップＳ１５１０の後、ステップＳ１５１１で、システム制御部９３０は、再生処理が終了かどうかを判断する。再生処理が終了する条件としては、ユーザが再生をキャンセルした場合と、目的の動画を最後まで再生した場合とがある。なおメイン動画が連続再生の静止画の場合、当該静止画の再生時間（１０秒）の経過により再生終了となる。再生終了と判断した場合、システム制御部９３０は、ステップＳ１５１２に進むが、そうでない場合には、ステップＳ１５０２に戻る。なお、動画再生のキャンセル操作は、メニューボタン９３２Ｇで行うことができる。
【０１０７】
ステップＳ１５０２からステップＳ１５１１をメイン動画のフレーム数分繰り返すことで、システム制御部９３０は、動画表示とサブ動画記録を行う。
【０１０８】
再生処理終了の場合（Ｓ１５１１）、ステップＳ１５１２で、システム制御部９３０は、動画再生とサブ動画記録を終了する処理を実行する。サブ動画の記録終了時に、システム制御部９３０は、必要に応じて動画ファイルのヘッダを更新する。
【０１０９】
ステップＳ１５１３で、システム制御部９３０は、ステップＳ１５０９の処理と同様に、記録終了したサブ動画の管理ファイルに表示モードの情報を記録する。ステップＳ１５１２で記録停止しなかった場合、システム制御部９３０は、ステップＳ１５１３では何も処理しない。
【０１１０】
図１６は、メイン動画・サブ動画表示処理（ステップＳ１５０５）の詳細なフローチャートを示す。
【０１１１】
ステップＳ１６０１で、システム制御部９３０は、図１２（ｂ）に例示するように、メモリカード９１６に記録されているメイン動画とサブ動画をモニタ９２４の画面上に並べて表示する。ステップＳ１６０１では、システム制御部９３０は動画の１フレーム分の表示処理を行う。
【０１１２】
ステップＳ１６０２で、システム制御部９３０は、サブ動画の表示エリアがユーザによってタッチされたかどうかを判断する。タッチされた場合、システム制御部９３０はステップＳ１６０３に進み、タッチされなかった場合、図１６に示す処理を終了し、ステップＳ１５０６に進む。
【０１１３】
ステップＳ１６０３で、システム制御部９３０は、サブ動画記録中だった場合に、サブ動画記録の停止処理を行う。サブ動画の記録停止時に、システム制御部９３０は、必要に応じて動画ファイルのヘッダを更新する。
【０１１４】
ステップＳ１６０４で、システム制御部９３０は、ステップＳ１６０３で記録停止したサブ動画の管理ファイルに、表示モードの情報を記録する。ステップＳ１６０３で記録停止しなかった場合、システム制御部９３０は、ステップＳ１６０４では何も処理しない。ステップＳ１６０４の処理は、ステップＳ１５０９の処理と同様になる。
【０１１５】
ステップＳ１６０５で、システム制御部９３０は、ユーザによってタッチされたエリアに表示されているサブ動画を判断し、そのサブ動画に関連づいている管理ファイルを読み込む。ステップＳ１６０６で、システム制御部９３０は、読み込んだ管理ファイルに書かれているサブ動画のファイル名を読み込む。ステップＳ１６０７で、システム制御部９３０は、ステップＳ１６０６で取得したファイル名のサブ動画を、メイン動画と上下に並べて、モニタ９２４に表示する。
【０１１６】
図１７は、ステップＳ１６０７による表示画面例を示す。図１７を参照して、ステップＳ１６０７によるメイン動画とサブ動画の再生表示を説明する。図１７に示す例では、６つのサブ動画がメイン動画と一緒に表示されている。図１７（ａ）は、サブ動画表示モードの画面例を示し、図１７（ｂ）は、図１７（ａ）に示す画面で表示中の任意のサブ動画（例えば、サブ動画１７０２）をタッチしたときの関連動画表示例を示す。図１７（ｂ）に示す関連動画表示では、タッチしたサブ動画１７０２が、符号１７０６に示すように、メイン動画１７０４の下に並んだ位置に移動して表示される。
【０１１７】
ステップＳ１６０５〜Ｓ１６０７の処理により、タッチしたサブ動画（注目するサブ動画）を記録したときに表示されていた画面（メイン動画と、存在する場合のサブ動画）を確認できる。
【０１１８】
ステップＳ１６０８で、システム制御部９３０は、再生処理が終了かどうかを判断する。再生処理が終了する条件としては、ユーザが再生をキャンセルした場合と、目的の動画を最後まで再生した場合とがある。なおメイン動画が連続再生の静止画の場合、当該静止画の再生時間（１０秒）の経過により再生終了となる。再生終了と判断した場合、システム制御部９３０は、ステップＳ１６０９に進むが、そうでない場合には、ステップＳ１６０７に戻る。なお、動画再生のキャンセル操作は、メニューボタン９３２Ｇで行うことができる。
【０１１９】
ステップＳ１６０９で、システム制御部９３０は、メイン動画とサブ動画を先頭に頭出ししてから並べて表示する処理を行う。ここでの表示画面は、図１２（ｂ）に例示したサブモード表示画面と同じ構成となる。
【０１２０】
図１８は、メイン動画表示モードでのサブ動画記録処理（Ｓ１５０４）の詳細なフローチャートを示す。
【０１２１】
ステップＳ１８０１で、システム制御部９３０は、サブ動画記録中かどうかを判断する。サブ動画記録中の場合、システム制御部９３０は、ステップＳ１８０６に進み、サブ動画記録中でない場合、ステップＳ１８０２に進む。
【０１２２】
ステップＳ１８０２で、システム制御部９３０は、メイン動画として表示されている画像が通常の動画か、連続再生されている静止画かを判断する。前者の場合、ステップＳ１８０３で、システム制御部９３０は、記録すべきサブ動画の画像サイズを１２８０×７２０画素、記録ビットレートを５Ｍｂｐｓに設定する。後者の場合、ステップＳ１８０４で、システム制御部９３０は、記録すべきサブ動画の画像サイズを１２８０×７２０画素、記録ビットレートを１０Ｍｂｐｓに設定する。この画像サイズ及び記録ビットレートが、メイン動画表示モードでサブ動画を記録する際のサブ動画の記録設定となる。
【０１２３】
ステップＳ１８０５で、システム制御部９３０は、サブ動画の記録を開始できるようにＡ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を設定し、ステップＳ１８０６に進む。
【０１２４】
ステップＳ１８０６で、システム制御部９３０は、サブ動画の１フレームをメモリカード９１６に記録するように、Ａ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を制御する。
【０１２５】
図１９は、サブ動画表示モードでのサブ動画記録処理（Ｓ１５０６）の詳細なフローチャートを示す。
【０１２６】
ステップＳ１９０１で、システム制御部９３０は、サブ動画記録中かどうかを判断する。サブ動画記録中の場合、システム制御部９３０はステップＳ１９０７に進み、サブ動画記録中でない場合、ステップＳ１９０２に進む。
【０１２７】
ステップＳ１９０２で、システム制御部９３０は、記録開始ボタン１２２０がユーザによって押されたかどうかを判断する。記録開始ボタン１２２０が押された場合、システム制御部９３０は、ステップＳ１９０３に進み、記録開始ボタンが押されなかった場合、図１９に示すフローを終了する。
【０１２８】
ステップＳ１９０３で、システム制御部９３０は、同時に表示するサブ動画が４つ以上かどうかを判断する。４つ以上の場合（Ｓ１９０３）、ステップＳ１９０４で、システム制御部９３０は、記録すべきサブ動画の画像サイズを６４０×３６０画素、記録ビットレートを０．５Ｍｂｐｓに設定する。この画像サイズ及び記録ビットレートが、サブ動画表示モードで４つ以上のサブ動画を表示する場合の、サブ動画の記録設定となる。他方、４つ未満の場合（Ｓ１９０３）、ステップＳ１９０５で、システム制御部９３０は、記録すべきサブ動画の画像サイズを６４０×３６０画素、記録ビットレートを１Ｍｂｐｓに設定する。この画像サイズ及び記録ビットレートが、サブ動画表示モードで４つ以上のサブ動画を表示する場合の、サブ動画の記録設定となる。
【０１２９】
ステップＳ１９０６で、システム制御部９３０は、サブ動画の記録を開始できるようにＡ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を設定し、ステップＳ１９０７に進む。
【０１３０】
ステップＳ１９０７で、システム制御部９３０は、サブ動画の１フレームをメモリカード９１６に記録するように、Ａ／Ｄ変換器９０４、符号化部９１０及びデータアクセス制御部９１２を制御する。
【０１３１】
図１８及び図１９から分かるように、記録のための処理条件または符号化条件として、メイン動画表示モードで記録するサブ動画の画像サイズ／記録ビットレートを、サブ動画表示モードで記録するサブ動画のそれらよりも大きな値にしている。また、サブ動画表示モードでは、ユーザの指示に従ってサブ動画の記録を開始するようにしている。サブ動画表示モードではメイン動画と１以上のサブ動画を同時に表示することから、メイン動画のみを表示するメイン動画表モードよりも処理負担が重いが、このようにすることで、サブ動画の記録処理負担が過剰にならないようにしている。
【０１３２】
また、サブ動画表示モードでも、記録のための処理条件として、同時表示するサブ動画数が所定数以上の場合の記録ビットレートを、所定数未満の場合のそれよりも小さくすることで、サブ動画の記録処理負担が過剰にならないようにしている。
【０１３３】
本実施例では、動画の表示モード、表示状態、及びメイン画像の画像種類に応じて、記録すべきサブ動画の画像サイズとビットレートを調整するので、記録処理を破綻させずに、また再生処理の邪魔にならずに、適切な画質でサブ画像を記録できる。
【０１３４】
サブ動画の記録時に再生されている動画を当該サブ動画に関連付けして記録するので、各サブ動画どのような動画を再生している状況で記録されたものかを事後的に確認できる。
【０１３５】
デジタルカメラに適用した実施例を説明したが、本発明は、コンピュータ又は携帯通信端末等の種々の情報処理装置に装備されるカメラにも適用されうる。
【０１３６】
本実施例では、メイン動画を一つだけ再生する場合を説明したが、複数のメイン動画を連続して再生する場合にも適用される。
【０１３７】
表示モードに応じてサブ動画の画像サイズと記録ビットレートを制御する実施例を説明したが、これら以外の要素を制御しても良い。例えば、サブ動画の画像圧縮率、フレームレート、保存場所又はファイル形式を制御しても良い。
【０１３８】
特定の実施例を参照して本発明を説明したが、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【０１３９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１４０】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワーク経由でダウンロードしてもよい。
【０１４１】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１４２】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【図１】
2016213690.tif 000003
【図２】
2016213690.tif 000004
【図３】
2016213690.tif 000005
【図４】
2016213690.tif 000006
【図５】
2016213690.tif 000007
【図６】
2016213690.tif 000008
【図７】
2016213690.tif 000009
【図８】
2016213690.tif 000010
【図９】
2016213690.tif 000011
【図１０】
2016213690.tif 000012
【図１１】
2016213690.tif 000013
【図１２】
2016213690.tif 000014
【図１３】
2016213690.tif 000015
【図１４】
2016213690.tif 000016
【図１５】
2016213690.tif 000017
【図１６】
2016213690.tif 000018
【図１７】
2016213690.tif 000019
【図１８】
2016213690.tif 000020
【図１９】
2016213690.tif 000021