(57)【要約】【課題】元のコンテンツデータに対して、視聴者のコメント、考え、解説等の付加情報を追加して、より大きな付加価値を与える。【解決手段】画像データ生成装置（１）は、コンテンツデータを再生する再生部（２）と、そのコンテンツデータを出力する出力部（３）と、視聴者の画像を示す撮影画像データを取り込む画像入力部（４）と、撮影画像データに基づいて、視聴者が手で指し示した位置を示し、かつコンテンツ出力部（３）の画面上の位置に対応するポイント位置データを生成する位置生成部（５）と、視聴者の音声を示す追加音声データを取り込む追加音声入力部（６）と、ポイント位置データとコンテンツデータの再生時刻とを含む同期ポイント位置データを生成する同期データ生成部（９）と、コンテンツデータと追加音声データと同期ポイント位置データとを多重化し、コメント付きコンテンツデータを生成する多重化部（１０）と、を具備する。【選択図】図１
2014093713.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツデータに対して付加情報を付加する画像データ生成装置において、
前記コンテンツデータを再生するコンテンツ再生部と、
前記コンテンツデータを視聴する第１の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力するコンテンツ出力部と、
前記第１の視聴者の画像を撮影し、その画像を撮影画像データとして取り込む画像入力部と、
前記撮影画像データに基づいて、前記第１の視聴者が手で指し示した位置を示し、かつ前記コンテンツ出力部の画面上の位置に対応するポイント位置データを生成するポイント位置生成部と、
前記第１の視聴者の音声を追加音声データとして取り込む追加音声入力部と、
前記ポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを含む同期ポイント位置データを生成する同期データ生成部と、
前記コンテンツデータと前記追加音声データと前記同期ポイント位置データとを多重化し、前記第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とが前記付加情報として前記コンテンツデータに付加されたコメント付きコンテンツデータを生成する多重化部と、
を具備することを特徴とする画像データ生成装置。
【請求項２】
前記第１の視聴者の行動が所定の条件を満たした場合に、前記ポイント位置生成部により生成された前記ポイント位置データを出力するポイント位置出力判定部、
をさらに具備し、
前記同期データ生成部は、前記ポイント位置出力判定部から出力された前記ポイント位置データと前記コンテンツデータの再生時刻である前記ポイント再生時刻データとを対応付ける前記同期ポイント位置データを生成する、
ことを特徴とする請求項１に記載の画像データ生成装置。
【請求項３】
コンテンツデータと、前記コンテンツデータを視聴した第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とがコンテンツデータに対して付加された付加情報とを同期して再生する画像データ再生装置において、
コメント付きコンテンツデータからコンテンツデータと同期ポイント位置データ及び追加音声データとを分離する分離部と、
前記コンテンツデータを再生するときに、前記コンテンツデータと前記コンテンツデータの再生時刻を示す再生時刻データとを出力するコンテンツ再生部と、
前記同期ポイント位置データから前記第１の視聴者が手で指し示した位置を示すポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを抽出し、前記ポイント位置データと前記ポイント再生時刻データとを出力するポイント位置再生部と、
前記追加音声データを再生するときに、前記追加音声データと前記追加音声データの再生時刻を示す追加音声再生時刻データとを出力する追加音声再生部と、
前記コメント付きコンテンツデータを視聴する第２の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力すると共に、前記再生時刻データと前記追加音声再生時刻データとに基づいて前記追加音声データを前記コンテンツデータに同期させて出力し、かつ、前記再生時刻データと前記ポイント再生時刻データとに基づいて前記ポイント位置データが示す位置に対応する画面上の位置に目印画像を前記コンテンツデータに同期させて表示する同期出力部と、
を具備することを特徴とする画像データ再生装置。
【請求項４】
コンテンツデータに対して付加情報を付加する画像データ生成方法であって、
前記コンテンツデータを再生するコンテンツ再生ステップと、
前記コンテンツデータを視聴する第１の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力する出力ステップと、
前記第１の視聴者の画像を撮影し、その画像を撮影画像データとして取り込む画像入力ステップと、
前記撮影画像データに基づいて、前記第１の視聴者が手で指し示した位置を示し、かつ前記出力ステップの画面上の位置に対応するポイント位置データを生成するポイント位置生成ステップと、
前記第１の視聴者の音声を追加音声データとして取り込む追加音声入力ステップと、
前記ポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを含む同期ポイント位置データを生成する同期データ生成ステップと、
前記コンテンツデータと前記追加音声データと前記同期ポイント位置データとを多重化し、前記第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とが前記付加情報として前記コンテンツデータに付加されたコメント付きコンテンツデータを生成する多重化ステップと、
を具備することを特徴とする画像データ生成方法。
【請求項５】
コンテンツデータと、前記コンテンツデータを視聴した第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とがコンテンツデータに対して付加された付加情報とを同期して再生する画像データ再生方法において、
コメント付きコンテンツデータからコンテンツデータと同期ポイント位置データ及び追加音声データとを分離する分離ステップと、
前記コンテンツデータを再生するときに、前記コンテンツデータと前記コンテンツデータの再生時刻を示す再生時刻データとを出力するコンテンツ再生ステップと、
前記同期ポイント位置データから前記第１の視聴者が手で指し示した位置を示すポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを抽出し、前記ポイント位置データと前記ポイント再生時刻データとを出力するポイント位置再生ステップと、
前記追加音声データを再生するときに、前記追加音声データと前記追加音声データの再生時刻を示す追加音声再生時刻データとを出力する追加音声再生ステップと、
前記コメント付きコンテンツデータを視聴する第２の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力すると共に、前記再生時刻データと前記追加音声再生時刻データとに基づいて前記追加音声データを前記コンテンツデータに同期させて出力し、かつ、前記再生時刻データと前記ポイント再生時刻データとに基づいて前記ポイント位置データが示す位置に対応する画面上の位置に目印画像を前記コンテンツデータに同期させて表示する同期出力ステップと、
を具備することを特徴とする画像データ再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ生成装置、画像データ再生装置、画像データ生成方法、及び画像データ再生方法に関する。
【背景技術】
【０００２】
近年、ビデオカメラ、デジタルカメラ、携帯電話、スマートフォン、タブレット等で撮影された動画等のコンテンツに対して、ユーザが、テロップや音声の追加を行う等の編集を行うことにより、元のコンテンツに付加情報を加えることが行われている。
【０００３】
例えば特許文献１では、コンテンツデータを再生し、再生されたコンテンツデータに対するユーザの挙動を示す挙動データと、コンテンツデータ内において、ユーザの挙動を示したデータ位置とを取得し、ユーザの挙動と、コンテンツデータとを同期させる同期データを生成する技術が開発されている。また、同文献では、ユーザの挙動データとして、ユーザを撮影した撮像データと、ユーザの音声を収録した収音データと、コンテンツデータに対するユーザによる操作として、例えば再生、停止、早送り等の操作を含むコンテンツ操作データとが挙げられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−８９９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１は、ユーザの挙動データとして挙げられているのは、撮像データ、収音データ、コンテンツ操作データだけである。すなわち、ユーザが、コンテンツデータの特定のシーンにおいて自由に選択する領域である局所領域に対して、ユーザの挙動を示すものが撮像データ、収音データ、コンテンツ操作データだけでは、上記局所領域が、具体的に画面上のどこに当たるのかが、正確に分からないという問題があった。また、特許文献１では、データベースを利用して被写体等の主要領域を自動で検出しているが、この主要領域が上記局所領域に必ずしも一致するとは限らない。さらに、特許文献１では、撮像データを、コンテンツデータに重畳して表示するため、コンテンツデータの見たい領域が隠れてしまう可能性があるという問題があった。
【０００６】
本発明は、このような問題に鑑みてなされたもので、その目的は、元のコンテンツデータに対して、ユーザ（視聴者）のコメント（解説）、考え等の付加情報を追加して、より大きな付加価値を与えることができる画像データ生成装置、画像データ再生装置、画像データ生成方法、及び画像データ再生方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様によれば、コンテンツデータに対して付加情報を付加する画像データ生成装置において、前記コンテンツデータを再生するコンテンツ再生部と、前記コンテンツデータを視聴する第１の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力するコンテンツ出力部と、前記第１の視聴者の画像を撮影し、その画像を撮影画像データとして取り込む画像入力部と、前記撮影画像データに基づいて、前記第１の視聴者が手で指し示した位置を示し、かつ前記コンテンツ出力部の画面上の位置に対応するポイント位置データを生成するポイント位置生成部と、前記第１の視聴者の音声を追加音声データとして取り込む追加音声入力部と、前記ポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを含む同期ポイント位置データを生成する同期データ生成部と、前記コンテンツデータと前記追加音声データと前記同期ポイント位置データとを多重化し、前記第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とが前記付加情報として前記コンテンツデータに付加されたコメント付きコンテンツデータを生成する多重化部と、を具備することを特徴とする。
【０００８】
本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記コンテンツデータは、少なくとも２つ以上の視点を含む複数視点のコンテンツデータにより構成され、前記コンテンツ出力部の画面は、複数視点のコンテンツデータにそれぞれ対応するように設けられた複数のスクリーンにより構成され、前記ポイント位置生成部は、前記第１の視聴者が指し示した位置が、前記複数のスクリーンのうち、どのスクリーンであるかを示す表示スクリーン位置データを生成し、前記ポイント位置データは、前記表示スクリーン位置データを含む、ことを特徴とする。
【０００９】
本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記第１の視聴者の行動が所定の条件を満たした場合に、前記ポイント位置生成部により生成された前記ポイント位置データを出力するポイント位置出力判定部、をさらに具備し、前記同期データ生成部は、前記ポイント位置出力判定部から出力された前記ポイント位置データと前記コンテンツデータの再生時刻である前記ポイント再生時刻データとを対応付ける前記同期ポイント位置データを生成する、ことを特徴とする。
【００１０】
本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記第１の視聴者の行動は、前記第１の視聴者が発声した場合であり、前記所定の条件は、前記第１の視聴者の音声が有る場合であり、前記ポイント位置出力判定部は、前記追加音声データに基づいて、前記第１の視聴者の音声の有無を判定し、前記第１の視聴者の音声が有る場合、前記ポイント位置生成部により生成された前記ポイント位置データを出力する、ことを特徴とする。
【００１１】
本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記第１の視聴者の行動は、前記第１の視聴者がキーワードを発声した場合であり、前記所定の条件は、前記キーワードが前記特定のキーワードと一致する場合であり、前記ポイント位置出力判定部は、前記追加音声データに基づいて、前記第１の視聴者により発声されたキーワードが前記特定のキーワードであるか否かを判定し、前記発声されたキーワードが前記特定のキーワードと一致する場合、前記ポイント位置生成部により生成された前記ポイント位置データを出力する、ことを特徴とする。
本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記特定のキーワードは、方向を示す指示代名詞、方向を示す名詞、前記第１の視聴者が設定したワードである、ことを特徴とする。
【００１２】
本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記第１の視聴者の行動は、前記第１の視聴者の手の形状、手の動作の少なくとも１つを表すジェスチャーを前記第１の視聴者が実行した場合であり、前記所定の条件は、前記ジェスチャーが前記特定のジェスチャーと一致する場合であり、前記ポイント位置出力判定部は、前記撮影画像データに基づいて、前記第１の視聴者により実行されたジェスチャーが特定のジェスチャーであるか否かを判定し、前記実行されたジェスチャーが前記特定のジェスチャーと一致する場合、前記ポイント位置生成部により生成された前記ポイント位置データを出力する、ことを特徴とする。
【００１３】
本発明の別の一態様によれば、本発明にかかる画像データ生成装置において、前記特定のジェスチャーのうちの特定の形状は、人差し指のみを伸ばし、残りの指は曲げている形状であり、前記特定のジェスチャーのうちの特定の動作は、手を左右に動かす動作、上下に動かす動作、前後に動かす動作、円を描くように手を回す動作の少なくとも１つの動作である、ことを特徴とする。
【００１４】
本発明の別の一態様によれば、本発明にかかる画像データ再生装置において、コンテンツデータと、前記コンテンツデータを視聴した第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とがコンテンツデータに対して付加された付加情報とを同期して再生する画像データ再生装置において、コメント付きコンテンツデータからコンテンツデータと同期ポイント位置データ及び追加音声データとを分離する分離部と、前記コンテンツデータを再生するときに、前記コンテンツデータと前記コンテンツデータの再生時刻を示す再生時刻データとを出力するコンテンツ再生部と、前記同期ポイント位置データから前記第１の視聴者が手で指し示した位置を示すポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを抽出し、前記ポイント位置データと前記ポイント再生時刻データとを出力するポイント位置再生部と、前記追加音声データを再生するときに、前記追加音声データと前記追加音声データの再生時刻を示す追加音声再生時刻データとを出力する追加音声再生部と、前記コメント付きコンテンツデータを視聴する第２の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力すると共に、前記再生時刻データと前記追加音声再生時刻データとに基づいて前記追加音声データを前記コンテンツデータに同期させて出力し、かつ、前記再生時刻データと前記ポイント再生時刻データとに基づいて前記ポイント位置データが示す位置に対応する画面上の位置に目印画像を前記コンテンツデータに同期させて表示する同期出力部と、を具備することを特徴とする。
【００１５】
本発明の別の一態様によれば、本発明にかかる画像データ再生装置において、前記コメント付きコンテンツデータが、少なくとも２つ以上の視点を含んでおり、かつ、前記同期出力部が、一つの表示画面しか持たない場合は、同期ポイント位置データから、どの視点のコンテンツデータにおける位置であるかを示す表示スクリーン位置データを抽出し、前記表示スクリーン位置データが示す視点の画像データを優先的に表示する、ことを特徴とする。
【００１６】
本発明の別の一態様によれば、本発明にかかる画像データ生成方法において、コンテンツデータに対して付加情報を付加する画像データ生成方法であって、前記コンテンツデータを再生するコンテンツ再生ステップと、前記コンテンツデータを視聴する第１の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力する出力ステップと、前記第１の視聴者の画像を撮影し、その画像を撮影画像データとして取り込む画像入力ステップと、前記撮影画像データに基づいて、前記第１の視聴者が手で指し示した位置を示し、かつ前記出力ステップの画面上の位置に対応するポイント位置データを生成するポイント位置生成ステップと、前記第１の視聴者の音声を追加音声データとして取り込む追加音声入力ステップと、前記ポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを含む同期ポイント位置データを生成する同期データ生成ステップと、前記コンテンツデータと前記追加音声データと前記同期ポイント位置データとを多重化し、前記第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とが前記付加情報として前記コンテンツデータに付加されたコメント付きコンテンツデータを生成する多重化ステップと、を具備することを特徴とする。
【００１７】
本発明の別の一態様によれば、本発明にかかる画像データ再生方法において、コンテンツデータと、前記コンテンツデータを視聴した第１の視聴者の音声によるコメントと前記第１の視聴者が注目した時刻及び位置とがコンテンツデータに対して付加された付加情報とを同期して再生する画像データ再生方法において、コメント付きコンテンツデータからコンテンツデータと同期ポイント位置データ及び追加音声データとを分離する分離ステップと、前記コンテンツデータを再生するときに、前記コンテンツデータと前記コンテンツデータの再生時刻を示す再生時刻データとを出力するコンテンツ再生ステップと、前記同期ポイント位置データから前記第１の視聴者が手で指し示した位置を示すポイント位置データと前記ポイント位置データに対応する前記コンテンツデータの再生時刻を示すポイント再生時刻データとを抽出し、前記ポイント位置データと前記ポイント再生時刻データとを出力するポイント位置再生ステップと、前記追加音声データを再生するときに、前記追加音声データと前記追加音声データの再生時刻を示す追加音声再生時刻データとを出力する追加音声再生ステップと、前記コメント付きコンテンツデータを視聴する第２の視聴者に対して、前記コンテンツ再生部により再生された前記コンテンツデータを出力すると共に、前記再生時刻データと前記追加音声再生時刻データとに基づいて前記追加音声データを前記コンテンツデータに同期させて出力し、かつ、前記再生時刻データと前記ポイント再生時刻データとに基づいて前記ポイント位置データが示す位置に対応する画面上の位置に目印画像を前記コンテンツデータに同期させて表示する同期出力ステップと、を具備することを特徴とする。
【発明の効果】
【００１８】
この発明によれば、第１の視聴者がコンテンツデータを視聴しているときの行動が所定の条件を満たしている場合に、第１の視聴者の音声と第１の視聴者が注目した時刻及び表示部の画面上の特定の位置（点または領域））と、がコンテンツデータに付加されたコメント付きコンテンツデータを生成することにより、元のコンテンツデータに対して、よりわかりやすく、かつ明確な形で、第１の視聴者のコメント（解説）、考え等の付加情報を追加することができ、元のコンテンツデータに対して、より大きな付加価値を与えることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る画像データ生成装置の構成を示すブロック図である。
【図２】図１のコンテンツ出力部の画面に表示されるコンテンツデータの一例として、運動会の徒競走の１シーンを表す画像を示す図である。
【図３】図２に示される画像の被写体に対して、第１の視聴者がテレビ画面（図１のコンテンツ出力部の画面）上に指し示す様子を表す図である。
【図４】図３に示される第１の視聴者がカメラ（図１の画像入力部）で撮影されたときの撮影画像データを示す図である。
【図５】図１の同期データ生成部により生成されるポイント位置操作ログの一例を示す図である。
【図６】図１の多重化部により生成されるコメント付きコンテンツデータの一例を示す図である。
【図７】本発明の実施形態に係る画像データ生成装置の動作を示すフローチャートである。
【図８】本発明の実施形態に係る画像データ生成装置におけるポイント位置出力判定部の動作を示すフローチャートである。
【図９】特定の指の形状の一例を示す図である。
【図１０】本発明の実施形態に係る画像データ生成装置におけるポイント位置出力判定部の他の動作を示すフローチャートである。
【図１１】本発明の実施形態に係る画像データ生成装置におけるポイント位置出力判定部の更に他の動作を示すフローチャートである。
【図１２】５方向の視点で構成されている場合のコンテンツデータの一例を示す図である。
【図１３】５つのスクリーンで構成された場合のコンテンツ出力部の画面の一例を示す図である。
【図１４】第１の視聴者がコンテンツ出力部の画面にポイントする場合の様子を説明する図である。
【図１５】図１４に対する撮影画像データの一例を示す図である。
【図１６】同期ポイント位置データの一例を示す図である。
【図１７】本発明の実施形態に係る画像データ再生装置の構成を示すブロック図である。
【図１８】本発明の実施形態に係る画像データ再生装置の動作を示すフローチャートである。
【図１９】図１７の同期出力部の画面に表示されるコメント付きコンテンツデータの一例を示す図である。
【図２０】図１７の同期出力部の画面に表示されるコメント付きコンテンツデータの他の一例を示す図である。
【図２１】本発明の実施形態に係る画像データ生成装置と画像データ再生装置とが一体化された画像処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照して、本発明に係る画像データ生成装置、画像データ再生装置、画像データ生成方法、及び画像データ再生方法の好適な実施形態を詳細に説明する。
以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。
また、以下で述べる画像とは、静止画像と動画像の両方を示すものとし、コンテンツデータとは、画像データと音声データから構成されているものとする。
【００２１】
＜１．本発明の実施形態に係る画像データ生成装置の構成の概略＞
図１は、本発明の実施形態に係る画像データ生成装置１の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る画像データ生成装置１の構成の概略を説明する。
画像データ生成装置１は、コンテンツ再生部２と、コンテンツ出力部３と、画像入力部４と、ポイント位置生成部５と、追加音声入力部６と、追加音声圧縮部７と、ポイント位置出力判定部８と、同期データ生成部９と、多重化部１０とを具備している。
画像データ生成装置１の具体的な例として、例えば、画像データの表示を行うことができる、テレビや、モニタ、携帯電話、スマートフォン、タブレットＰＣ、ＰＣ、携帯ゲーム機、電子フォトフレーム、デジタルスチルカメラ、ビデオカメラ等があげられる。
【００２２】
コンテンツ再生部２は、画像データ生成装置１に入力されたコンテンツデータを再生するための装置である。コンテンツ再生部２は、再生したコンテンツデータをコンテンツ出力部３に出力し、コンテンツデータの再生時刻を再生時刻データとして同期データ生成部９に出力する。
ここで、コンテンツ再生部２は、通常のコンテンツを再生する一般的なものであり、例えば、記録媒体からコンテンツデータを読み込んで、再生する装置であってもよい。記録媒体としては、市販のビデオカメラ内の記憶装置と、ＤＶＤやＢｌｕ−ｒａｙ（登録商標）  Ｄｉｓｋ等に代表される光磁気ディスクと、ＵＳＢメモリやＳＤ（登録商標）カード等に代表される半導体メモリ等の電子媒体とが挙げられる。また、テレビ放送の放送波を受信するテレビ信号受信装置等により、放送波に含まれるコンテンツデータを入力して、再生する装置であってもよい。また、インターネットやその他の通信回線から配信されるコンテンツデータを受信して、再生する装置であってもよい。あるいは、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤー等の外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）レシーバ等により、コンテンツデータを受け付けて、再生する装置であってもよい。すなわち、コンテンツデータを入力するための装置であれば、どのような装置であっても構わず、その説明については、本出願とは直接関係しないため、省略する。
【００２３】
コンテンツ出力部３は、コンテンツデータを視聴する第１の視聴者に対して、コンテンツ再生部２により再生されたコンテンツデータを出力するための出力装置であり、コンテンツデータの映像を表示する表示部と、コンテンツデータの音を出力するスピーカとを備えている。表示部は通常のテレビ等の一般的なディスプレイである。コンテンツ出力部３の表示部は、ポイント位置生成部５から後述のポイント位置データが出力された場合、そのポイント位置データが示す位置に対応する画面上の位置に、カーソル等の目印画像（後述）を重畳して表示する。
【００２４】
画像入力部４は、コンテンツ出力部３の表示部に表示されたコンテンツデータを視聴する第１の視聴者を被写体とし、第１の視聴者の画像を撮影するための装置である。画像入力部４は、第１の視聴者の画像を撮影したときの画像データを撮影画像データとして取り込み、ポイント位置生成部５とポイント位置出力判定部８とに出力する。
ここで、画像入力部４は、通常の画像を撮影するためのカメラなどの一般的な撮像装置であり、その説明については、本出願とは直接関係しないため、省略する。
【００２５】
ポイント位置生成部５は、画像入力部４から出力された撮影画像データを解析して、撮影画像データに基づいて第１の視聴者の手の位置を検出する。この場合、ポイント位置生成部５は、撮影画像データから検出された第１の視聴者の手の位置を示すポイント位置データを生成し、そのポイント位置データをコンテンツ出力部３とポイント位置出力判定部８とに出力する。
ここで、前述したコンテンツ出力部３の表示部は、上記ポイント位置データとして、随時、後述の目印画像を表示しており、第１の視聴者は、目印画像を見ながら、その目印画像が自分の指し示したい領域となるよう、手の位置を動かすことができる。
ポイント位置生成部５の詳細については後述する。
【００２６】
追加音声入力部６は、第１の視聴者の音声を入力するための装置である。追加音声入力部６は、第１の視聴者の音声を入力した（取り込んだ）ときの音声データを追加音声データとして生成し、追加音声圧縮部７とポイント位置出力判定部８とに出力する。
ここで、追加音声入力部６は、音を収音するためのマイク等の一般的な音声収音装置であり、その説明については、本出願とは直接関係しないため、省略する。
【００２７】
追加音声圧縮部７は、追加音声入力部６から出力された追加音声データを音声圧縮し、その追加音声データを追加音声圧縮データとして多重化部１０に出力する。
ここで、追加音声圧縮部７は、音声データを圧縮符号化するための一般的な音声圧縮符号化装置であり、その説明については、本出願とは直接関係しないため、省略する。
なお、ユーザの指定に応じて、圧縮をせず、そのままのデータを出力しても構わない。
【００２８】
ポイント位置出力判定部８は、ポイント位置生成部５からポイント位置データが出力された場合、画像入力部４から出力された撮影画像データ、または、追加音声入力部６から出力された追加音声データに基づいて、ポイント位置データを同期データ生成部９に出力するか否かを判定し、その判定結果が出力可能を表している場合にポイント位置データを同期データ生成部９に出力する。判定の詳細については後述する。
ポイント位置出力判定部８の詳細については後述する。
【００２９】
同期データ生成部９は、コンテンツ再生部２から出力された再生時刻データと、ポイント位置出力判定部８から出力されたポイント位置データとに基づいて、後述の同期ポイント位置データを生成して、多重化部１０に出力する。
同期データ生成部９の詳細については後述する。
【００３０】
多重化部１０は、画像データ生成装置１に入力されたコンテンツデータと、同期データ生成部９から出力された追加音声圧縮データと、追加音声圧縮部７から出力された同期ポイント位置データとを多重化して、コメント付きコンテンツデータを生成し、そのコメント付きコンテンツデータを出力する。
コンテンツ再生部２が記録媒体からコンテンツデータを読み込んで再生する装置である場合、多重化部１０は、コンテンツ再生部２が記録媒体からコンテンツデータを読み込むときに、その記録媒体からコンテンツデータを読み込んで入力してもよい。
多重化部１０の詳細については後述する。
【００３１】
＜２．本発明の実施形態に係る画像データ生成装置の構成要素の詳細な説明＞
次に、本実施形態に係る画像データ生成装置１の構成要素のうち、ポイント位置生成部５と、同期データ生成部９と、多重化部１０と、に関して、より詳細に説明する。
なお、ポイント位置出力判定部８に関する詳細説明については、後述する動作の説明にて行う。
【００３２】
＜２−１．ポイント位置生成部５＞
まず、ポイント位置生成部５の詳細について図２〜４を用いて説明する。
図２は、図１のコンテンツ出力部３の表示部に表示されるコンテンツデータの一例として、運動会の徒競走の１シーンを表す画像１１を示す図である。この画像１１は、後述の目印画像が重畳されていないコンテンツデータ、すなわち、オリジナルのコンテンツデータである。図３は、図２に示される画像１１の被写体１４に対して、第１の視聴者１３がテレビ画面１２（コンテンツ出力部３の表示部の画面に対応）上に指し示す様子を表す図である。
図３に示されるように、第１の視聴者１３は、テレビ画面１２に表示された画像１１を視聴しているときに、画像１１内の被写体１４を指差している。カメラ１５は、この様子を撮影している。ポイント位置生成部５は、画像入力部４から出力された撮影画像データを解析して、撮影画像データから第１の視聴者の手の位置を検出する。すなわち、撮影画像データから、第１の視聴者１３が指先で示すテレビ画面１２上の位置を検出する。ポイント位置生成部５は、第１の視聴者が指先で表示部の画面上に指し示したい点（位置）として、撮影画像データから検出された第１の視聴者の手の位置を示すポイント位置データを生成し、そのポイント位置データをコンテンツ出力部３とポイント位置出力判定部８とに出力する。このとき、テレビ画面１２（コンテンツ出力部３の表示部の画面）には、ポイント位置データを視覚的に表す情報として、図３に示されるような目印画像１６が表示される。
【００３３】
図４は、図３に示される第１の視聴者１３がカメラ１５（上述の画像入力部４に対応）で撮影されたときの撮影画像データ１７を示す図である。
図４に示されるように、ポイント位置生成部５は、ポイント位置データを生成する際に、上述の撮影画像データである撮影画像データ１７が示す画像の特徴量や動き等に基づいて第１の視聴者１３の指先を検出する。ここで、撮影画像データ１７が示す画像の縦と横との比率は、テレビ画面１２の縦と横との比率に比例している。ポイント位置生成部５は、撮影画像データから検出された第１の視聴者の指先の位置１８を示す座標をポイント位置データとして生成する。
ここで使用する指先の位置検出の手法は、一般的な手法によるものとする。例えば、皮膚の色情報を用いて手領域を抽出し、次に得られた手領域の輪郭線を求め、その曲率に基づいて指先位置を検出するような手法であってもよい。また、指先の位置と数とを検出し、手の領域の重心との相対的な位置関係に基づいて、指先位置に加えて手形状を認識するような手法であってもよい。また、上記検出に加えて顔の検出を同時に行い、顔の位置を参照して、手の位置を検出する方法であってもよい。また、画像内の動きから、指先のある位置や動きを検出してもよい。このように、指先の位置検出の手法は、どのような手法であっても構わず、その説明については、本出願とは直接関係しないため、省略する。
また、このとき画面内に、第１の視聴者１３が映っていない場合や、体に隠れて指先の位置が検出できない場合等において、ポイント位置生成部５は、ポイント位置データを生成しなくてもよい。または、ポイント位置データは、上記座標を含む“有効”を示すデータ、または、上記座標を含まない“無効”を示すデータにより表され、ポイント位置生成部５は、指先の位置が検出できなかった場合、“無効”を示すデータをポイント位置データとして出力してもよい。
【００３４】
＜２−２．同期データ生成部９＞
次に、同期データ生成部９の詳細について図５を用いて説明する。
図５は、図１の同期データ生成部９により生成されるポイント位置操作ログ１９の一例を示す図である。
同期データ生成部９は、コンテンツ再生部２から出力された再生時刻データと、ポイント位置出力判定部８から出力されたポイント位置データとに基づいて、図５に示されるようなポイント位置操作ログ１９を生成し、同期ポイント位置データとして多重化部１０に出力する。同期ポイント位置データは、第１の視聴者１３が注目した時刻（再生時刻データ）において、特定の位置（ポイント位置データ）を示している。
ポイント位置操作ログ１９は、複数のポイント再生時刻データと複数のポイント位置データとを対応付ける。複数のポイント再生時刻データの各々は、第１の視聴者１３がテレビ画面１２（コンテンツ出力部３の表示部の画面）上の画像１１に指差したときのコンテンツデータの再生時刻である。複数のポイント位置データの各々は、第１の視聴者１３がテレビ画面１２上の画像１１に指差したときの手の位置を表す座標である。図５に示されるように、第１の視聴者１３は、ポイント再生時刻データとして時刻００：００：３０：００であるときにポイント位置データとして画像１１内の座標（１０００，３００）に指差している。同様に、第１の視聴者１３は、ポイント再生時刻データとして時刻００：００：３１：００であるときにポイント位置データとして画像１１内の座標（９９９，３００）に指差し、ポイント再生時刻データとして時刻００：０１：００：００であるときにポイント位置データとして画像１１内の座標（５００，３００）に指差し、ポイント再生時刻データとして時刻００：０１：０１：００であるときにポイント位置データとして画像１１内の座標（４９０，２９０）に指差している。ここで、ポイント位置データは、画像のフレームレートに合わせて、画像フレームごとに取得してもよいし、所定のフレーム間隔で取得してもよいし、秒単位で取得してもよく、任意のタイミングでの取得であってもよい。
【００３５】
＜２−３．多重化部１０＞
次に、多重化部１０の詳細について図６を用いて説明する。
図６は、図１の多重化部１０により生成されるコメント付きコンテンツデータ２０の一例を示す図である。
多重化部１０は、画像データ生成装置１に入力されたコンテンツデータであるコンテンツデータ２１と、追加音声圧縮部７から出力された追加音声圧縮データである追加音声圧縮データ２３と、同期データ生成部９から出力された同期ポイント位置データである同期ポイント位置データ２２とを多重化して、図６に示されるようなコメント付きコンテンツデータ２０を生成する。コメント付きコンテンツデータ２０は、コンテンツデータ２１と、コンテンツデータ２１に付加された付加情報とを有している。付加情報は、同期ポイント位置データ２２（第１の視聴者１３が注目した時刻及び位置）と、追加音声圧縮データ２３（第１の視聴者１３の音声によるコメント）とを含む。多重化部１０は、そのコメント付きコンテンツデータ２０を出力する。
【００３６】
＜３．本発明の実施形態に係る画像データ生成装置１の動作＞
次に、本発明の実施形態に係る画像データ生成装置１の動作について説明する。
【００３７】
＜３−１．全体動作＞
図７は、画像データ生成装置１の動作を示すフローチャートである。
【００３８】
ステップＳ１において、コンテンツ再生部２は、画像データ生成装置１に入力されたコンテンツデータ２１を再生し、再生したコンテンツデータ２１をコンテンツ出力部３に出力し、そのときのコンテンツデータ２１の再生時刻を示す再生時刻データを同期データ生成部９に出力する。コンテンツ出力部３の表示部は、コンテンツ再生部２により再生されたコンテンツデータ２１を表示して、画像データ生成装置１の動作はステップＳ２に移行する。
【００３９】
ステップＳ２において、画像入力部４は、第１の視聴者１３の画像を撮影し、そのときの画像データを撮影画像データ１７として、ポイント位置生成部５とポイント位置出力判定部８とに出力して、画像データ生成装置１の動作はステップＳ３に移行する。
【００４０】
ステップＳ３において、追加音声入力部６は、マイク等により、第１の視聴者１３の音声を入力し、そのときの音声データを追加音声データとして、追加音声圧縮部７とポイント位置出力判定部８とに出力する。追加音声圧縮部７は、追加音声入力部６から出力された追加音声データを音声圧縮し、その追加音声データを追加音声圧縮データ２３として多重化部１０に出力して、画像データ生成装置１の動作は判定ステップＳ４に移行する。
【００４１】
判定ステップＳ４において、ポイント位置生成部５は、画像入力部４から出力された撮影画像データ１７を解析して、撮影画像データ１７が示す画像に第１の視聴者１３が映っていて、かつ、撮影画像データ１７から第１の視聴者１３の手（指先）の位置１８を検出できるか否かを判定する。ここで、手の位置１８が検出できた場合、画像データ生成装置１の動作はステップＳ５に移行し、そうでない場合、画像データ生成装置１の動作は判定ステップＳ９に移行する。
【００４２】
ステップＳ５において、ポイント位置生成部５は、撮影画像データ１７から検出された位置１８を示す座標をポイント位置データとして、コンテンツ出力部３とポイント位置出力判定部８とに出力して、画像データ生成装置１の動作はステップＳ６に移行する。
【００４３】
ステップＳ６において、コンテンツ出力部３の表示部は、ポイント位置生成部５からポイント位置データが出力された場合、ポイント位置データが示す座標に対応する画面上の位置に、目印画像１６を重畳して表示して、画像データ生成装置１の動作は判定ステップＳ７へ移行する。
【００４４】
判定ステップＳ７において、ポイント位置出力判定部８は、ポイント位置生成部５からポイント位置データが出力された場合、画像入力部４から出力された撮影画像データ１７、または、追加音声入力部６から出力された追加音声データに基づいて、ポイント位置データを同期データ生成部９に出力するか否かを判定する。その結果、出力可能を表している場合、ポイント位置出力判定部８は、ポイント位置データを同期データ生成部９に出力して、画像データ生成装置１の動作はステップＳ８へ移行し、そうでない場合、画像データ生成装置１の動作は判定ステップＳ９に移行する。この判定ステップＳ７、すなわち、ポイント位置出力判定部８の動作の詳細については後述する。
【００４５】
ステップＳ８において、同期データ生成部９は、コンテンツ再生部２から出力された再生時刻データであるポイント再生時刻データと、ポイント位置出力判定部８から出力されたポイント位置データとを対応付けて、同期ポイント位置データ２２を生成して、多重化部１０に出力して、画像データ生成装置１の動作は判定ステップＳ９へ移行する。
【００４６】
判定ステップＳ９において、コンテンツ再生部２がコンテンツデータ２１の再生を終了した場合、画像データ生成装置１の動作はステップＳ１０に移行し、そうでない場合、画像データ生成装置１の動作は判定ステップＳ２に戻る。
【００４７】
ステップＳ１０において、多重化部１０は、画像データ生成装置１に入力されたコンテンツデータ２１と、追加音声圧縮部７から出力された追加音声圧縮データ２３と、同期データ生成部９から出力された同期ポイント位置データ２２とを多重化して、コメント付きコンテンツデータ２０を生成し、そのコメント付きコンテンツデータ２０を出力する。これにより、画像データ生成装置１の動作は終了する。
【００４８】
＜３−２．判定ステップＳ７の処理＞
次に、判定ステップＳ７について詳細に説明する。
図８は、判定ステップＳ７において、ポイント位置出力判定部８の動作を示すフローチャートである。
【００４９】
ステップＳ１１において、ポイント位置出力判定部８は、ポイント位置生成部５からポイント位置データが出力された場合、画像入力部４から出力された撮影画像データ１７に基づいて、第１の視聴者１３の手の形状、手の動作の少なくとも１つを表すジェスチャーを検出して、画像データ生成装置１の動作は判定ステップＳ１２に移行する。
【００５０】
判定ステップＳ１２において、ポイント位置出力判定部８は、検出した第１の視聴者１３のジェスチャーが特定のジェスチャーであるか否かを判定し、特定のジェスチャーである場合は、ポイント位置データを同期データ生成部９に出力して、画像データ生成装置１の動作はステップＳ８に移行し、そうでない場合、画像データ生成装置１の動作は判定ステップＳ９に移行する。ポイント位置出力判定部８からポイント位置データが出力された場合、ポイント位置データは、第１の視聴者１３の手の位置を示すのではなく、第１の視聴者１３が手で指し示した位置を示し、かつコンテンツ出力部３の表示部の画面上の位置に対応する。
【００５１】
特定のジェスチャーが手の形状である場合、すなわち、特定の手の形状の場合について説明する。図９は、特定の手の形状の一例を示す図である。例えば、図９（ａ）に示される特定の手の形状は、人差し指のみを伸ばし、残りの指を手のひらの方に曲げている。同様に、図９（ｂ）に示される特定の手の形状は、人差し指、中指の２本を伸ばし、残りの指を手のひらの方に曲げている。図９（ｃ）に示される特定の手の形状は、人差し指、中指、薬指の３本を伸ばしているものであり、残りの指を手のひらの方に曲げている。図９（ｄ）に示される特定の手の形状は、親指のみを手のひらの方に曲げているものであり、残りの指を伸ばしている。図９（ｅ）に示される特定の手の形状は、すべての指を伸ばしている。図９（ｆ）に示される特定の手の形状は、すべての指を手のひらの方に曲げている。特定の手の形状、例えば、人差し指のみを伸ばしている形状（図９（ａ）参照）を所定の条件、すなわち、ポイント位置データの出力の合図とした場合、ポイント位置出力判定部８は、ステップＳ１１において、手の形状（伸ばした指先の本数）を検出し、ステップＳ１２において、検出した手の形状が人差し指のみを伸ばしている形状であるときに、所定の条件を満たしているため、ポイント位置データを出力する。
また、特定のジェスチャーが手の動作である場合、すなわち、特定の手の動作の場合について説明する。特定の手の動作としては、第１の視聴者１３が手を左右に動かす動作、上下に動かす動作、前後に動かす動作、円を描くように手を回す動作の少なくとも１つの動作が挙げられる。これらの少なくとも１つを所定の条件（ポイント位置データの出力の合図）とした場合、ポイント位置出力判定部８は、ステップＳ１１において、手の動作を検出し、ステップＳ１２において、検出した手の動作が特定の手の動作であるときに、所定の条件を満たしているため、ポイント位置データを出力する。
また、特定のジェスチャーが手の形状と動作との併用である場合について説明する。例えば、図９（ａ）に示されるように人差し指を伸ばし、次に、図９（ｆ）に示されるように全部の指を曲げ、再度、図９（ａ）に示されるように人差し指を伸ばすという特定の手の形状及び動作を所定の条件（ポイント位置データの出力の合図）とした場合、ポイント位置出力判定部８は、ステップＳ１１において、手の形状及び動作を検出し、ステップＳ１２において、検出した手の形状及び動作が特定の手の形状及び動作であるときに、所定の条件を満たしているため、ポイント位置データを出力する。また、ポイント位置出力判定部８は、ポイント位置データの出力停止の合図として、第１の視聴者１３が上述のポイント位置データの出力の合図と同じ動作を行うことにより、ポイント位置データの出力を停止してもよい。
このように、本発明の画像データ生成装置１によれば、第１の視聴者１３は、コンテンツデータ２１を視聴しながら直感的に行うジェスチャー（手の形状や動作）によりポイント位置データの出力を指示することができるため、ストレスなく、かつ簡易的に、第１の視聴者１３が注目した時刻における特定の位置（点または領域）を示す同期ポイント位置データ２２を生成することができる。
また、上述の手の形状及び動作は一例であり、どのような手の形状や動作であっても構わず、第１の視聴者１３は、自身の手の形状や得意な動作で、ポイント位置データの出力を指示できるよう、その形状や動作を自由にカスタマイズできるようにしてもよい。
【００５２】
上述の判定ステップＳ７において、ポイント位置出力判定部８は、手の形状や手の動作に応じて、ポイント位置データを同期データ生成部９に出力するか否かを判定しているが、追加音声入力部６から出力された追加音声データに応じて、ポイント位置データを同期データ生成部９に出力するか否かを判定してもよい。ここで、第１の視聴者１３の音声が有る場合を所定の条件、すなわち、ポイント位置データの出力の合図とする。
図１０は、判定ステップＳ７において、ポイント位置出力判定部８の他の動作を示すフローチャートである。
【００５３】
ステップＳ１３において、ポイント位置出力判定部８は、ポイント位置生成部５からポイント位置データが出力された場合、追加音声入力部６から出力された追加音声データに基づいて、第１の視聴者１３の音声の有無を解析し、画像データ生成装置１の動作は判定ステップＳ１４に移行する。
【００５４】
判定ステップＳ１４において、ポイント位置出力判定部８は、第１の視聴者１３の音声が有る場合は、所定の条件を満たしているため、ポイント位置データを出力して、画像データ生成装置１の動作はステップＳ８に移行し、そうでない場合、画像データ生成装置１の動作は判定ステップＳ９に移行する。
このように、本発明の画像データ生成装置１によれば、第１の視聴者１３は、コンテンツデータ２１を視聴しながら直感的に発する音声によりポイント位置データの出力を指示することができるため、ストレスなく、かつ簡易的に、第１の視聴者１３が注目した時刻における特定の位置（点または領域）を示す同期ポイント位置データ２２を生成することができる。
【００５５】
また、上述の判定ステップＳ７において、ポイント位置出力判定部８は、音声の有無で、ポイント位置データを同期データ生成部９に出力するか否かを判定しているが、追加音声入力部６から出力された追加音声データが示す音声として、第１の視聴者１３が発声するキーワードが特定のキーワードであるか否かに応じて、ポイント位置データを同期データ生成部９に出力するか否かを判定してもよい。ここで、特定のキーワードを所定の条件、すなわち、ポイント位置データの出力の合図とする。
特定のキーワードとしては、方向を示す指示代名詞や、方向を示す名詞が挙げられる。方向を示す指示代名詞は、一般的に「こそあど言葉」と呼ばれている。「こそあど言葉」としては、例えば、「この」、「その」、「あの」、「どの」、「これ」、「それ」、「あれ」、「どれ」、「ここ」、「そこ」、「あそこ」、「どこ」、「こっち」、「あっち」、「そっち」、「どっち」、「こちら」、「そちら」、「あちら」、「どちら」等が挙げられる。方向を示す名詞としては、「向こう」、「上」、「下」、「左」、「右」、「奥」、「手前」、「斜め」、「隣」等が挙げられる。方向を示す指示代名詞や、方向を示す名詞の例としては、方向を示すものであれば、上記以外のものであってもよいし、また、特定のキーワードに、第１の視聴者１３があらかじめに好みの言葉（ワード）を設定できるように、カスタマイズしてもよい。
図１１は、判定ステップＳ７において、ポイント位置出力判定部８の更に他の動作を示すフローチャートである。
【００５６】
ステップＳ１５において、ポイント位置出力判定部８は、ポイント位置生成部５からポイント位置データが出力された場合、追加音声入力部６から出力された追加音声データに基づいて、第１の視聴者１３の音声から、特定のキーワードの有無を解析し、画像データ生成装置１の動作は判定ステップＳ１６に移行する。
【００５７】
判定ステップＳ１６において、ポイント位置出力判定部８は、第１の視聴者１３の音声に特定のキーワードが有る場合は、所定の条件を満たしているため、ポイント位置データを出力して、画像データ生成装置１の動作はステップＳ８に移行し、そうでない場合、画像データ生成装置１の動作は判定ステップＳ９に移行する。
このように、本発明の画像データ生成装置１によれば、第１の視聴者１３は、コンテンツデータ２１を視聴しながら直感的に発声する、方向を示す特定のキーワードにより、ポイント位置データの出力を指示することができるため、ストレスなく、かつ簡易的に、第１の視聴者１３が注目した時刻における特定の位置（点または領域）を示す同期ポイント位置データ２２を生成することができる。
【００５８】
以上の説明により、本発明の画像データ生成装置１によれば、第１の視聴者１３がコンテンツデータ２１を視聴しているときに直感的に行った行動（ジェスチャー、音声、キーワード）が所定の条件（特定のジェスチャーと一致する、音声有り、特定のキーワードと一致する）を満たしている場合に、追加音声圧縮データ２３（第１の視聴者１３の音声によるコメント）と、同期ポイント位置データ２２（第１の視聴者１３が注目した時刻及び特定の位置（点または領域））と、がコンテンツデータ２１に付加されたコメント付きコンテンツデータ２０を生成することにより、元のコンテンツデータ２１に対して、よりわかりやすく、かつ明確な形で、第１の視聴者１３のコメント（解説）、考え等の付加情報を追加することができ、元のコンテンツデータ２１に対して、より大きな付加価値を与えることができる。
【００５９】
また、上述の説明では、コンテンツデータ２１が１種類の方向の視点で構成され、コンテンツ出力部３の表示部も１つのスクリーンで構成された場合について述べたが、コンテンツデータ２１が、複数の方向の視点で、かつ、表示部が複数のスクリーンで構成されていてもかまわない。
例えば、以下では、複数の方向の視点で構成されている場合のコンテンツデータ２１として、５方向の視点のコンテンツデータ２１を含むコンテンツデータを、５つのスクリーンで構成されている表示部で表示する場合について説明する。
【００６０】
図１２は、５方向の視点で構成されている場合のコンテンツデータ２１として、コンテンツデータ２４の一例を示す図である。図１２において、コンテンツデータ２４には、ｎ視点のコンテンツデータが含まれている（ｎは２以上の整数とする）。ここで、ｎ視点のコンテンツデータのうちの第１の視点のコンテンツデータ２５は、そのコンテンツデータ２４がどの方向の視点であるのかを示す視点種別データ２６と、視点種別データ２６が示す視点に対応するコンテンツデータを示す視点別コンテンツデータ２７とを含んでいる。同様に、ｎ視点のコンテンツデータのうちの第ｎの視点のコンテンツデータ２８は、視点種別データ２９と、視点別コンテンツデータ３０とを含んでいる。
【００６１】
また、上述では、コンテンツデータ２４が、各視点別のコンテンツデータ内に、視点種別データを含むような場合について説明したが、別の方法として、各視点の画像を一枚の画像として圧縮し、１つのコンテンツデータとしてもよい。例えば、ある視点の画像の隣に、別の視点の画像を、垂直方向もしくは水平方向に並べて一枚の画像として圧縮してもよい。このとき、１枚の画像において、どの領域が、どの視点の画像であるかを示す情報を、コンテンツデータ内に含むようにしてもよい。
【００６２】
次にスクリーンについて説明する。
図１３は、５つのスクリーンで構成された場合の表示部として、表示部３１の一例を示す。表示部３１は５つのスクリーン３２〜３６により構成され、スクリーン３２〜３６は、複数視点のコンテンツデータにそれぞれ対応するように設けられている。例えば、図１３に示すように、中心となるスクリーン３２の上下左右の４か所に、４面のスクリーン３３〜３６を配置する。このとき、各スクリーン３３〜３６のスクリーン面の向きは必ずしも揃える必要はなく、例えば、第１の視聴者１３を囲むように、４面のスクリーン３３〜３６をそれぞれ、内向きに傾けてもよい。
例えば、図１３では、スクリーン３３を、その上側が前面に来るように下向きに４５度傾け、スクリーン３４をその下側が前面に来るように上向きに４５度傾け、スクリーン３５を左側が前面に来るように水平方向に４５度傾け、スクリーン３６を右側が前面に来るように水平方向に４５度傾けて、それぞれ配置している。
【００６３】
なお、このとき、複数のスクリーン３２〜３６は、それぞれ異なる機器のものであってもよい。
例えば、複数のスクリーン３２〜３６のそれぞれが、テレビの画面であっても、タブレットの画面であっても、スマートフォンの画面であっても、パソコンのモニタの画面であっても、構わず、画像を表示できるものであれば、いずれの機器であってもよい。
【００６４】
この場合、第１の視聴者１３が、表示部３１を構成する複数のスクリーン３２〜３６のうち、どのスクリーンの、どこの領域を指差しているかを示すために、ポイント位置生成部５は、複数のスクリーン３２〜３６のうち、どのスクリーンであるかを示す表示スクリーン位置データを生成し、ポイント位置データに含めてもよい。
図１４は、第１の視聴者１３がコンテンツ出力部の画面（表示部３１）にポイントする場合の様子を説明する図である。図１４において、例えば、第１の視聴者１３は、スクリーン３６の領域を指先でポイントしており、そのポイント先に上述の目印画像１６として目印画像３７が表示される。
図１５は、図１４に対する撮像画像データ１７として、撮影画像データ３８を示す図である。図１５に示すように、撮影画像データ３８における所定の領域３９〜４３を、表示部３１を構成する５つのスクリーン３２〜３６のそれぞれに対して割り当てることにより、ポイント位置生成部５は、第１の視聴者１３がどのスクリーンの位置を指差しているのかを判定することができる。ここで、撮影画像３８において、領域３９はスクリーン３２に、領域４０はスクリーン３３に、領域４１はスクリーン３４に、領域４２はスクリーン３５に、領域４３はスクリーン３６にそれぞれ対応する。
ここでは、図１５の第１の視聴者１３は、領域４２内の領域４４を指しており、この領域４４は、図１４の目印画像３７の位置に相当する。
【００６５】
また、このときの、同期ポイント位置データ２２について説明する。
図１６は、同期ポイント位置データ２２を示す。このとき、図１６に示すように、図５で説明した同期ポイント位置データ２２に対し、画面上の座標に加え、表示スクリーンの位置である表示スクリーン位置データを含むものを、新たなポイント位置データとして取り扱えばよい。
以上のようにして、本発明の画像データ生成装置１によれば、上述の表示部３１のように、コンテンツ出力部３の表示部が複数のスクリーンで構成されている場合であっても、第１の視聴者１３は、好みのスクリーンの好みの位置を指定することができる。その結果、同期ポイント位置データ２２に、表示スクリーンの位置である表示スクリーン位置データが含まれ、第１の視聴者１３は、好みのスクリーンの好みの位置に、目印画像３７を表示させることができる。
【００６６】
＜４．本発明の実施形態に係る画像データ再生装置の構成の概略＞
続いて、本発明の実施形態に係る画像データ再生装置１００について、図面を用いて詳細に説明する。画像データ再生装置１００は、前述の画像データ生成装置１により生成されたコメント付きコンテンツデータ２０を入力して、再生する。
図１７は、本発明の実施形態に係る画像データ再生装置１００の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る画像データ再生装置１００の構成の概略を説明する。
【００６７】
画像データ再生装置１００は、分離部１０１と、コンテンツ再生部１０２と、ポイント位置再生部１０３と、追加音声再生部１０４と、同期出力部１０５とを具備している。
画像データ再生装置１００の具体的な例として、画像データ生成装置１と同じく、例えば、画像データの表示を行うことができる、テレビ、モニタ、携帯電話、スマートフォン、タブレットＰＣ、ＰＣ、携帯ゲーム機、電子フォトフレーム、デジタルスチルカメラ、ビデオカメラ等が挙げられる。
【００６８】
分離部１０１は、画像データ再生装置１００に入力されたコメント付きコンテンツデータ２０を分離するための装置である。その分離部１０１は、コメント付きコンテンツデータ２０を、コンテンツデータ２１と、同期ポイント位置データ２２と、追加音声圧縮データ２３と、に分離し、コンテンツ再生部１０２にコンテンツデータ２１を出力し、ポイント位置再生部１０３に同期ポイント位置データ２２を出力し、追加音声再生部１０４に追加音声圧縮データ２３を出力する。
【００６９】
コンテンツ再生部１０２は、分離部１０１から出力されたコンテンツデータ２１を再生するための装置である。コンテンツ再生部１０２は、コンテンツデータ２１を再生し、再生したコンテンツデータ２１と、そのときのコンテンツデータ２１の再生時刻である再生時刻データとを同期出力部１０５に出力する。なお、コンテンツ再生部１０２は、画像データ生成装置１内のコンテンツ再生部２と同じものであり、その説明については省略する。
【００７０】
ポイント位置再生部１０３は、分離部１０１から出力された同期ポイント位置データ２２から、ポイント位置データと、ポイント再生時刻データとを抽出し、ポイント位置データとポイント再生時刻データとを同期出力部１０５に出力する。ポイント位置データは、第１の視聴者１３が手で指し示した位置を示している。ポイント再生時刻データは、第１の視聴者１３が指定したポイント位置データに対応するコンテンツデータ２１の再生時刻を示している。
【００７１】
追加音声再生部１０４は、分離部１０１から出力された追加音声圧縮データ２３を再生するための装置である。追加音声再生部１０４は、追加音声圧縮データ２３を元の追加音声データに展開して、その追加音声データを再生し、再生した追加音声データと、そのときの追加音声データの再生時刻である追加音声再生時刻データとを同期出力部１０５に出力する。
なお、追加音声再生部１０４は、一般的な音声を復号するための装置であれば、いずれのものでもよく、本発明の内容とは直接関係がないため、その説明については省略する。
【００７２】
同期出力部１０５は、コメント付きコンテンツデータ２０を視聴する第２の視聴者に対して、コメント付きコンテンツデータ２０を出力するための出力装置であり、コメント付きコンテンツデータ２０の映像を表示する表示部と、コメント付きコンテンツデータ２０の音を出力するスピーカとを備えている。同期出力部１０５は、コンテンツ再生部１０２により再生されたコンテンツデータ２１を出力すると共に、再生時刻データと追加音声再生時刻データとに基づいて、追加音声データをコンテンツデータ２１に同期させて出力し、かつ、再生時刻データとポイント再生時刻データとに基づいて、ポイント位置データが示す位置に対応する画面上の位置に、目印画像（前述の目印画像３７に対応）を、コンテンツデータ２１に同期させて表示する。
なお、後述する画像データ再生装置１００の動作の説明において、同期出力部１０５の詳細な説明を行う。
【００７３】
＜５．本発明の実施形態に係る画像データ再生装置１００の動作＞
次に、本発明の実施形態に係る画像データ再生装置１００の動作について説明する。
【００７４】
図１８は、画像データ再生装置１００の動作を示すフローチャートである。
【００７５】
ステップＳ１００において、分離部１０１は、画像データ再生装置１００に入力されたコメント付きコンテンツデータ２０を、コンテンツデータ２１と、同期ポイント位置データ２２と、追加音声圧縮データ２３とに分離し、コンテンツ再生部１０２にコンテンツデータ２１を出力し、ポイント位置再生部１０３に同期ポイント位置データ２２を出力し、追加音声再生部１０４に追加音声圧縮データ２３を出力して、画像データ再生装置１００の動作はステップＳ１０１に移行する。
【００７６】
ステップＳ１０１において、コンテンツ再生部１０２は、分離部１０１から出力されたコンテンツデータ２１を再生し、再生した再生コンテンツデータ２１と、そのときのコンテンツデータ２１の再生時刻である再生時刻データとを同期出力部１０５に出力し、画像データ再生装置１００の動作はステップＳ１０２に移行する。
【００７７】
ステップＳ１０２において、ポイント位置再生部１０３は、分離部１０１から出力された同期ポイント位置データ２２から、ポイント再生時刻データと、それに対応するポイント位置データとを抽出して、同期出力部１０５に出力し、画像データ再生装置１００の動作はステップＳ１０３に移行する。
【００７８】
ステップＳ１０３において、追加音声再生部１０４は、分離部１０１から出力された追加音声圧縮データ２３を再生し、再生した追加音声データと、そのときの追加音声データの再生時刻である追加音声再生時刻データとを同期出力部１０５に出力し、画像データ再生装置１００の動作はステップＳ１０４に移行する。
【００７９】
ステップＳ１０４において、同期出力部１０５は、コンテンツ再生部１０２により再生されたコンテンツデータ２１を出力すると共に、再生時刻データと追加音声再生時刻データとに基づいて、追加音声データをコンテンツデータ２１に同期させて出力し、かつ、再生時刻データとポイント再生時刻データとに基づいて、コンテンツデータ２１に同期させ、ポイント位置データが示す位置に対応する画面上の位置に、目印画像を重畳させて表示する。その後、画像データ再生装置１００の動作は判定ステップＳ１０５に移行する。
【００８０】
判定ステップＳ１０５において、コンテンツ再生部１０２がコンテンツデータ２１の再生を終了した場合、画像データ再生装置１００は再生を停止し、そうでない場合、画像データ再生装置１００の動作はステップＳ１０１に戻る。
【００８１】
このときの同期出力部１０５の画面（表示部）で表示される画像の一例について、図面を用いて説明する。図１９は、同期出力部１０５の画面で表示されるコメント付きコンテンツデータ２０の一例である。
図１９において、同期出力部１０５の画面の一例である、テレビ１０６の画面１０７には、コメント付きコンテンツデータ２０として、コンテンツデータ２１と共に、上述の目印画像である目印画像１０８（図１９参照）が表示され、第２の視聴者１０９がそれらを視聴している。
【００８２】
また、ここで、同期出力部１０５の画面は、コンテンツ出力部３の画面で説明したのと同様に、複数のスクリーンで構成されていてもよい。このとき、同期ポイント位置データ２２において、表示スクリーン位置データが含まれている場合に、表示スクリーン位置データに対応するスクリーンに目印画像が表示される。
【００８３】
以上の説明により、本発明の画像データ再生装置１００によれば、第２の視聴者１０９がコメント付きコンテンツデータ２０を視聴するときに、コメント付きコンテンツデータ２０内のコンテンツデータ２１を出力すると共に、そのコンテンツデータ２１に同期して、追加音声圧縮データ２３（第１の視聴者１３の音声によるコメント）を出力して、同期ポイント位置データ２２（第１の視聴者１３が注目した時刻及び特定の位置（点または領域））による目印画像１０８を画面１０７上に表示することにより、第２の視聴者１０９は、第１の視聴者１３の音声によるコメントを聞きながら、同時に、第１の視聴者１３が指定した特定の位置（点または領域）を目で確認しながら、コンテンツデータ２１を視聴することができ、元のコンテンツデータ２１に対して、第１の視聴者１３の意図が、より明確に理解することができる。
【００８４】
また、ここで、ポイント位置データに対応する位置に目印画像１０８を画面１０７上に表示する際、画像内の人の顔がある顔領域を検出し、検出した顔領域内に、目印画像１０８が重畳して表示されないよう、目印画像１０８の位置をずらして表示するようにしてもよい。また、上述の目印画像１０８の代わりに顔領域を線で囲むように表示してもよい。
図２０は、同期出力部１０５の画面で表示されるコメント付きコンテンツデータ２０の他の画像の一例である。
例えば、図１９において、テレビ１０６の画面１０７にある、目印画像１０８は、被写体の顔に重なり、被写体の表情が見えづらくなるため、図２０のように、目印画像１０８を表示する代わりに、被写体の顔位置を検出して、検出した顔領域を囲む点線目印画像１１０のように、表示してもよい。この際、顔の検出方法は、一般的な方法であってもよい。例えば、画像の特徴量から顔を認識したり、データベースに登録したパターンから顔領域を認識したりする手法であってもよく、本発明の内容とは直接関係がないため、その説明については省略する。
本発明の画像データ再生装置１００によれば、目印画像１０８を表示した場合であっても、目印画像１０８として点線目印画像１１０を表示することにより、被写体の顔を隠すことなく、第１の視聴者１３が示したい位置を、快適に、わかりやすく表示することができる。
【００８５】
また、このとき、コメント付きコンテンツデータ２０の追加音声圧縮データ２３内を検索し、発話があった時刻、もしくは、発話があった時刻と、その時刻の前後の所定の時間を含む時刻に、コメント付きコンテンツデータ２０を再生するようにしてもよい。
このようにすることにより、第１の視聴者１３が、音声でコメントした部分をダイジェスト版として、表示することができる。
【００８６】
また、このとき、コメント付きコンテンツデータ２０の同期ポイント位置データ２２内を検索し、同期ポイント位置データ２２が示す時刻、もしくは、その時刻と、その時刻の前後の所定の時間を含む時刻に、コメント付きコンテンツデータ２０を再生するようにしてもよい。
このようにすることにより、第１の視聴者１３が、画面を指差したときのシーンだけをダイジェスト版として、表示することができる。
【００８７】
また、上記で説明したコメント付きコンテンツデータ２０が複数の視点のコンテンツデータから構成されていてもよい。また、コンテンツ出力部３の表示部（表示部３１）で説明したのと同様に、同期出力部１０５の表示部（画面）が、複数のスクリーンで構成されていてもよい。
コメント付きコンテンツデータ２０が複数の視点のコンテンツデータから構成されており、同期ポイント位置データ２２に、表示スクリーン位置データが含まれている際に、同期出力部１０５の表示部が、複数のスクリーンで構成されている場合は、表示スクリーン位置データに対応するスクリーンに、目印画像１０８または点線目印画像１１０が表示される。
また、同期出力部１０５の表示部（画面）が１台のスクリーンでしか構成されていない場合は、同期ポイント位置データ２２に基づいて、複数視点のコンテンツデータのうち、表示スクリーン位置データの示すスクリーンに対応する視点のコンテンツデータを優先して、同期出力部１０５の表示部のスクリーンに表示してもよい。
このようにすることにより、本発明の画像データ再生装置１００によれば、コメント付きコンテンツデータ２０が複数の視点のコンテンツデータから構成されており、同期ポイント位置データ２２に、表示スクリーン位置データが含まれている際、同期出力部１０５の表示部が１台のスクリーンでしか構成されていない場合であっても、第１の視聴者１３が指差した、視点の画像と、その画像内の特定の領域を表示することができる。
【００８８】
また、本発明は、上記で説明した、例えばテレビのような情報処理装置だけでなく、デジタルカメラ、デジタルムービー、デジタルビデオレコーダー、携帯型ムービープレイヤー、携帯電話、カーナビゲーションシステム、携帯型ＤＶＤプレイヤー、ＰＣ等、画像データを扱う装置に広く適用可能である。また、これらの装置は、装置自体が画像表示部を備えず、外部の画像表示装置を用いる、画像データ処理装置であってもよい。
また、画像データ処理装置と外部の画像表示装置を含む、画像データ表示システムであってもよい。
また、本発明は、画像データ表示方法や画像データ処理方法にも適用可能である。
【００８９】
＜６．まとめ＞
以上により、本発明に係る画像データ生成装置１、画像データ再生装置１００、画像データ生成方法（画像データ生成装置１の動作）、及び画像データ再生方法（画像データ再生装置１００の動作）について説明した。
【００９０】
本発明の画像データ生成装置１は、コンテンツデータ２１に対して付加情報を付加する画像データ生成装置１において、前記コンテンツデータ２１を再生するコンテンツ再生部２と、前記コンテンツデータ２１を視聴する第１の視聴者１３に対して、前記コンテンツ再生部２により再生された前記コンテンツデータ２１を出力するコンテンツデータ出力部３と、前記第１の視聴者１３の画像を撮影し、その画像を撮影画像データ１７として取り込む画像入力部４と、前記撮影画像データ１７に基づいて、前記第１の視聴者１３が手で指し示した位置を示し、かつ前記コンテンツデータ出力部３の画面上の位置に対応するポイント位置データを生成するポイント位置生成部５と、前記第１の視聴者１３の音声を追加音声データとして取り込む追加音声入力部６と、前記ポイント位置データと前記ポイント位置データに対応する前記コンテンツデータ２１の再生時刻を示すポイント再生時刻データとを含む同期ポイント位置データ２２を生成する同期データ生成部９と、前記コンテンツデータ２１と前記追加音声データ（追加音声圧縮データ２３）と前記同期ポイント位置データ２２とを多重化し、前記第１の視聴者１３の音声によるコメントと前記第１の視聴者１３が注目した時刻及び位置とが前記付加情報として前記コンテンツデータ２１に付加されたコメント付きコンテンツデータ２０を生成する多重化部１０と、を具備することを特徴とする。
本発明の画像データ生成装置１によれば、第１の視聴者１３がコンテンツデータ２１を視聴しているときに直感的に行った行動（ジェスチャー、音声、キーワード）が所定の条件（特定のジェスチャーと一致する、音声有り、特定のキーワードと一致する）を満たしている場合に、追加音声圧縮データ２３（第１の視聴者１３の音声によるコメント）と、同期ポイント位置データ２２（第１の視聴者１３が注目した時刻及び特定の位置（点または領域））と、がコンテンツデータ２１に付加されたコメント付きコンテンツデータ２０を生成することにより、元のコンテンツデータ２１に対して、よりわかりやすく、かつ明確な形で、第１の視聴者１３のコメント（解説）、考え等の付加情報を追加することができ、元のコンテンツデータ２１に対して、より大きな付加価値を与えることができる。
【００９１】
本発明の画像データ生成装置１において、前記コンテンツデータ２１は、少なくとも２つ以上の視点を含む複数視点のコンテンツデータにより構成され、前記コンテンツデータ出力部３の画面は、複数視点のコンテンツデータにそれぞれ対応するように設けられた複数のスクリーン３２〜３６により構成され、前記ポイント位置生成部５は、前記第１の視聴者１３が指し示した位置が、前記複数のスクリーン３２〜３６のうち、どのスクリーンであるかを示す表示スクリーン位置データを生成し、前記ポイント位置データは、前記表示スクリーン位置データを含む、ことを特徴とする。
本発明の画像データ生成装置１によれば、コンテンツ出力部３の表示部が複数のスクリーンで構成されている場合であっても、第１の視聴者１３は、好みのスクリーンの好みの位置を指定することができる。その結果、同期ポイント位置データ２２に、表示スクリーンの位置である表示スクリーン位置データが含まれる。
【００９２】
本発明の画像データ生成装置１は、前記第１の視聴者１３の行動が所定の条件を満たした場合に、前記ポイント位置生成部５により生成された前記ポイント位置データを出力するポイント位置出力判定部８、をさらに具備し、前記同期データ生成部９は、前記ポイント位置出力判定部８から出力された前記ポイント位置データと前記コンテンツデータ２１の再生時刻である前記ポイント再生時刻データとを対応付ける前記同期ポイント位置データ２２を生成する、ことを特徴とする。
【００９３】
本発明の画像データ生成装置１において、前記第１の視聴者１３の行動は、前記第１の視聴者１３が発声した場合であり、前記所定の条件は、前記第１の視聴者１３の音声が有る場合であり、前記ポイント位置出力判定部８は、前記追加音声データ（追加音声圧縮データ２３）に基づいて、前記第１の視聴者１３の音声の有無を判定し、前記第１の視聴者１３の音声が有る場合、前記ポイント位置生成部５により生成された前記ポイント位置データを出力する、ことを特徴とする。
本発明の画像データ生成装置１によれば、第１の視聴者１３は、コンテンツデータ２１を視聴しながら直感的に発する音声によりポイント位置データの出力を指示することができるため、ストレスなく、かつ簡易的に、第１の視聴者１３が注目した時刻における特定の位置（点または領域）を示す同期ポイント位置データ２２を生成することができる。
【００９４】
本発明の画像データ生成装置１において、前記第１の視聴者１３の行動は、前記第１の視聴者１３がキーワードを発声した場合であり、前記所定の条件は、前記キーワードが前記特定のキーワードと一致する場合であり、前記ポイント位置出力判定部８は、前記追加音声データ（追加音声圧縮データ２３）に基づいて、前記第１の視聴者１３により発声されたキーワードが前記特定のキーワードであるか否かを判定し、前記発声されたキーワードが前記特定のキーワードと一致する場合、前記ポイント位置生成部５により生成された前記ポイント位置データを出力する、ことを特徴とする。
本発明の画像データ生成装置１によれば、第１の視聴者１３は、コンテンツデータ２１を視聴しながら直感的に発声する、方向を示す特定のキーワードにより、ポイント位置データの出力を指示することができるため、ストレスなく、かつ簡易的に、第１の視聴者１３が注目した時刻における特定の位置（点または領域）を示す同期ポイント位置データ２２を生成することができる。
【００９５】
本発明の画像データ生成装置１において、前記特定のキーワードは、方向を示す指示代名詞、方向を示す名詞、前記第１の視聴者１３が設定したワードである、ことを特徴とする。
【００９６】
本発明の画像データ生成装置１において、前記第１の視聴者１３の行動は、前記第１の視聴者１３の手の形状、手の動作の少なくとも１つを表すジェスチャーを前記第１の視聴者１３が実行した場合であり、前記所定の条件は、前記ジェスチャーが前記特定のジェスチャーと一致する場合であり、前記ポイント位置出力判定部８は、前記撮影画像データ１７に基づいて、前記第１の視聴者１３により実行されたジェスチャーが特定のジェスチャーであるか否かを判定し、前記実行されたジェスチャーが前記特定のジェスチャーと一致する場合、前記ポイント位置生成部５により生成された前記ポイント位置データを出力する、ことを特徴とする。
本発明の画像データ生成装置１によれば、第１の視聴者１３は、コンテンツデータ２１を視聴しながら直感的に行うジェスチャー（手の形状や動作）によりポイント位置データの出力を指示することができるため、ストレスなく、かつ簡易的に、第１の視聴者１３が注目した時刻における特定の位置（点または領域）を示す同期ポイント位置データ２２を生成することができる。
【００９７】
本発明の画像データ生成装置１において、前記特定のジェスチャーのうちの特定の形状は、人差し指のみを伸ばし、残りの指は曲げている形状であり、前記特定のジェスチャーのうちの特定の動作は、手を左右に動かす動作、上下に動かす動作、前後に動かす動作、円を描くように手を回す動作の少なくとも１つの動作である、ことを特徴とする。
【００９８】
本発明の画像データ再生装置１００は、コンテンツデータ２１と、前記コンテンツデータ２１を視聴した第１の視聴者１３の音声によるコメントと前記第１の視聴者１３が注目した時刻及び位置とがコンテンツデータ２１に対して付加された付加情報とを同期して再生する画像データ再生装置１００において、コメント付きコンテンツデータ２０からコンテンツデータ２１と同期ポイント位置データ２２及び追加音声データ（追加音声圧縮データ２３）とを分離する分離部１０１と、前記コンテンツデータ２１を再生するときに、前記コンテンツデータ２１と前記コンテンツデータ２１の再生時刻を示す再生時刻データとを出力するコンテンツ再生部１０２と、前記同期ポイント位置データ２２から前記第１の視聴者１３が手で指し示した位置を示すポイント位置データと前記ポイント位置データに対応する前記コンテンツデータ２１の再生時刻を示すポイント再生時刻データとを抽出し、前記ポイント位置データと前記ポイント再生時刻データとを出力するポイント位置再生部１０３と、前記追加音声データを再生するときに、前記追加音声データと前記追加音声データの再生時刻を示す追加音声再生時刻データとを出力する追加音声再生部１０４と、前記コメント付きコンテンツデータ２０を視聴する第２の視聴者１０９に対して、前記コンテンツ再生部１０２により再生された前記コンテンツデータ２１を出力すると共に、前記再生時刻データと前記追加音声再生時刻データとに基づいて前記追加音声データを前記コンテンツデータ２１に同期させて出力し、かつ、前記再生時刻データと前記ポイント再生時刻データとに基づいて前記ポイント位置データが示す位置に対応する画面上の位置に目印画像１０８（目印画像３７に対応）を前記コンテンツデータ２１に同期させて表示する同期出力部１０５と、を具備することを特徴とする。
本発明の画像データ再生装置１００によれば、第２の視聴者１０９がコメント付きコンテンツデータ２０を視聴するときに、コメント付きコンテンツデータ２０内のコンテンツデータ２１を出力すると共に、そのコンテンツデータ２１に同期して、追加音声圧縮データ２３（第１の視聴者１３の音声によるコメント）を出力して、同期ポイント位置データ２２（第１の視聴者１３が注目した時刻及び特定の位置（点または領域））による目印画像１０８を画面１０７上に表示することにより、第２の視聴者１０９は、第１の視聴者１３の音声によるコメントを聞きながら、同時に、第１の視聴者１３が指定した特定の位置（点または領域）を目で確認しながら、コンテンツデータ２１を視聴することができ、元のコンテンツデータ２１に対して、第１の視聴者１３の意図が、より明確に理解することができる。
【００９９】
本発明の画像データ再生装置１００において、前記コメント付きコンテンツデータ２０が、少なくとも２つ以上の視点を含んでおり、かつ、前記同期出力部１０５が、一つの表示画面しか持たない場合は、同期ポイント位置データ２２から、どの視点のコンテンツデータ２１における位置であるかを示す表示スクリーン位置データを抽出し、前記表示スクリーン位置データが示す視点の画像データを優先的に表示する、ことを特徴とする。
本発明の画像データ再生装置１００によれば、コメント付きコンテンツデータ２０が複数の視点のコンテンツデータから構成されており、同期ポイント位置データ２２に、表示スクリーン位置データが含まれている際、同期出力部１０５の表示部が１台のスクリーンでしか構成されていない場合であっても、第１の視聴者１３が指差した、視点の画像と、その画像内の特定の領域を表示することができる。
【０１００】
本発明の画像データ生成方法は、コンテンツデータ２１に対して付加情報を付加する画像データ生成方法であって、前記コンテンツデータ２１を再生するコンテンツ再生ステップ（Ｓ１）と、前記コンテンツデータ２１を視聴する第１の視聴者１３に対して、前記コンテンツ再生部２により再生された前記コンテンツデータ２１を出力する出力ステップ（Ｓ１）と、前記第１の視聴者１３の画像を撮影し、その画像を撮影画像データ１７として取り込む画像入力ステップ（Ｓ２）と、前記撮影画像データ１７に基づいて、前記第１の視聴者１３が手で指し示した位置を示し、かつ前記出力ステップ（Ｓ１）の画面上の位置に対応するポイント位置データを生成するポイント位置生成ステップ（Ｓ４、Ｓ５）と、前記第１の視聴者１３の音声を追加音声データとして取り込む追加音声入力ステップ（Ｓ３）と、前記ポイント位置データと前記ポイント位置データに対応する前記コンテンツデータ２１の再生時刻を示すポイント再生時刻データとを含む同期ポイント位置データ２２を生成する同期データ生成ステップ（Ｓ８）と、前記コンテンツデータ２１と前記追加音声データ（追加音声圧縮データ２３）と前記同期ポイント位置データ２２とを多重化し、前記第１の視聴者１３の音声によるコメントと前記第１の視聴者１３が注目した時刻及び位置とが前記付加情報として前記コンテンツデータ２１に付加されたコメント付きコンテンツデータ２０を生成する多重化ステップ（Ｓ１０）と、を具備することを特徴とする。
【０１０１】
本発明の画像データ再生方法は、コンテンツデータ２１と、前記コンテンツデータ２１を視聴した第１の視聴者１３の音声によるコメントと前記第１の視聴者１３が注目した時刻及び位置とがコンテンツデータ２１に対して付加された付加情報とを同期して再生する画像データ再生方法において、コメント付きコンテンツデータ２０からコンテンツデータ２１と同期ポイント位置データ２２及び追加音声データ（追加音声圧縮データ２３）とを分離する分離ステップ（Ｓ１００）と、前記コンテンツデータ２１を再生するときに、前記コンテンツデータ２１と前記コンテンツデータ２１の再生時刻を示す再生時刻データとを出力するコンテンツ再生ステップ（Ｓ１０１）と、前記同期ポイント位置データ２２から前記第１の視聴者１３が手で指し示した位置を示すポイント位置データと前記ポイント位置データに対応する前記コンテンツデータ２１の再生時刻を示すポイント再生時刻データとを抽出し、前記ポイント位置データと前記ポイント再生時刻データとを出力するポイント位置再生ステップ（Ｓ１０２）と、前記追加音声データ（追加音声圧縮データ２３）を再生するときに、前記追加音声データと前記追加音声データの再生時刻を示す追加音声再生時刻データとを出力する追加音声再生ステップ（Ｓ１０３）と、前記コメント付きコンテンツデータ２０を視聴する第２の視聴者１０９に対して、前記コンテンツ再生部（１０２）により再生された前記コンテンツデータ２１を出力すると共に、前記再生時刻データと前記追加音声再生時刻データとに基づいて前記追加音声データを前記コンテンツデータ２１に同期させて出力し、かつ、前記再生時刻データと前記ポイント再生時刻データとに基づいて前記ポイント位置データが示す位置に対応する画面上の位置に目印画像１０８（目印画像３７に対応）を前記コンテンツデータ２１に同期させて表示する同期出力ステップ（Ｓ１０４）と、を具備することを特徴とする。
【０１０２】
＜７．補足＞
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【０１０３】
なお、本発明では、第１の視聴者１３は自身の指先を用いているが、これに限定されない。第１の視聴者１３の指先の位置が検出されればよいため、指等の模型（義手を含む）を用いてもよい。また、先端に指等の模型が設けられた棒を用いてもよい。これにより、第１の視聴者１３が指や手のないハンディキャップである場合でも利用することができる。
【０１０４】
また、本発明では、第１の視聴者１３が、画像データ生成装置１（画像データ生成方法）を利用して、画像データの生成を行い、第２の視聴者１０９が、画像データ再生装置１００（画像データ再生方法）を利用して、画像データの再生を行っているが、これに限定されない。本発明は、図２１に示されるように、画像データ生成装置１と画像データ再生装置１００とが一体化されてもよい。すなわち、本発明に係る画像処理システム２００は、画像データ生成装置１と、画像データ再生装置１００とを具備している。この場合、第１の視聴者１３及び第２の視聴者１０９は、画像処理システム２００を共有または個別に所有し、第１の視聴者１３は、画像処理システム２００の画像データ生成装置１を利用して、画像データの生成を行い、第２の視聴者１０９は、画像処理システム２００の画像データ再生装置１００を利用して、画像データの再生を行う。
【０１０５】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１０６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１０７】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１０８】
１  画像データ生成装置
２  コンテンツ再生部
３  表示部
４  画像入力部
５  ポイント位置生成部
６  追加音声入力部
７  追加音声圧縮部
８  ポイント位置出力判定部
９  同期データ生成部
１０  多重化部
１１  画像
１２  テレビ画面
１３  第１の視聴者
１４  被写体
１５  カメラ
１６  目印画像
１７  撮影画像データ
１８  位置
１９  ポイント位置操作ログ
２０  コメント付きコンテンツデータ
２１  コンテンツデータ
２２  同期ポイント位置データ
２３  追加音声圧縮データ
２４  コンテンツデータ
２５  第１の視点のコンテンツデータ
２６  視点種別データ
２７  視点別コンテンツデータ
２８  第ｎの視点のコンテンツデータ
２９  視点種別データ
３０  視点別コンテンツデータ
３１  表示部
３２、３３、３４、３５、３６  スクリーン
３７  目印画像
３８  撮影画像
３９、４０、４１、４２、４３、４４  領域
１００  画像データ再生装置
１０１  分離部
１０２  コンテンツ再生部
１０３  ポイント位置再生部
１０４  追加音声再生部
１０５  同期表示部
１０６  テレビ
１０７  画面
１０８  目印画像
１０９  第２の視聴者
１１０  点線目印画像
２００  画像処理システム
【図１】
2014093713.tif 000003
【図２】
2014093713.tif 000004
【図３】
2014093713.tif 000005
【図４】
2014093713.tif 000006
【図５】
2014093713.tif 000007
【図６】
2014093713.tif 000008
【図７】
2014093713.tif 000009
【図８】
2014093713.tif 000010
【図９】
2014093713.tif 000011
【図１０】
2014093713.tif 000012
【図１１】
2014093713.tif 000013
【図１２】
2014093713.tif 000014
【図１３】
2014093713.tif 000015
【図１４】
2014093713.tif 000016
【図１５】
2014093713.tif 000017
【図１６】
2014093713.tif 000018
【図１７】
2014093713.tif 000019
【図１８】
2014093713.tif 000020
【図１９】
2014093713.tif 000021
【図２０】
2014093713.tif 000022
【図２１】
2014093713.tif 000023