(57)【特許請求の範囲】
【請求項１】
動画サーバより動画像を取得し、前記動画像に対応するコメントと、前記コメントを示すコメント領域の前記動画像上での表示時刻および表示位置を含むコメント情報とを、コメント情報蓄積サーバより取得するデータ取得部と、
前記動画像上でのユーザによる指示時刻及び指示位置を含むユーザ情報の入力を受け付ける入力受付部と、
各コメントと、各コメントが付与された被写体領域との対応を示す対応情報、および前記ユーザ情報に基づいて、前記指示時刻および前記指示位置に対応するコメント領域または被写体領域の表示優先度が最も高く、前記ユーザ情報が含む前記指示時刻および前記指示位置に対応するコメント領域のコメントが付与された被写体領域、または前記ユーザ情報が含む前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域の表示優先度が、前記表示優先度が最も高い前記コメント領域または前記被写体領域の次に高くなるように、前記コメント領域および前記被写体領域の表示優先度を算出する表示優先度算出部と、
前記表示優先度算出部が算出した前記表示優先度が高い前記コメント領域及び前記被写体領域ほど、画像表示部において表示される際に、より上方に重畳されたような表示となるように、コメント領域の重畳方法を決定するコメント重畳方法決定部と、
前記コメント重畳方法決定部が決定した前記コメント領域の重畳方法に従い、前記動画像に複数のコメント領域を合成したコメント付き動画像を生成する画像合成部と、
前記画像合成部で生成された前記コメント付き動画像を出力する画像出力部とを備え、
前記画像出力部は、前記画像表示部において、前記ユーザ情報が示す前記指示位置に位置する領域であるユーザ選択領域に対応する被写体領域および前記被写体領域に付与されたコメントのコメント領域、または前記ユーザ選択領域に対応するコメント領域および前記コメント領域のコメントが付与された被写体領域を、他の被写体領域および当該他の被写体領域に付与されたコメントのコメント領域よりも上方に重畳表示する
コメント付き動画像生成装置。
【請求項２】
前記コメント重畳方法決定部は、さらに、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメント領域または前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域を除く、前記複数のコメント領域について、被写体領域の前後関係情報に基づいて、より前方に位置する被写体領域に付与されたコメントのコメント領域を、より後方に位置する被写体および当該被写体に付与されたコメントのコメント領域よりも上方に重畳するようコメント領域の重畳方法を決定し、前記画像表示部においては、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメント領域または前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域を除く、前記複数のコメント領域について、被写体領域の前後関係情報に基づいて、より前方に位置する被写体領域に付与されたコメントのコメント領域を、より後方に位置する被写体および当該被写体に付与されたコメントのコメント領域よりも上方に重畳表示する
請求項１記載のコメント付き動画像生成装置。
【請求項３】
前記表示優先度算出部は、さらに、前記コメント情報に含まれる前記表示時刻が遅いコメントであるほど、あるいは、投稿された実際の時刻を示す投稿時刻が遅いコメントほど、コメント領域の表示優先度を高くし、
前記コメント重畳方法決定部は、前記表示優先度に基づき、前記コメント情報に含まれる前記表示時刻が遅いコメントであるほど、あるいは、投稿された実際の時刻を示す投稿時刻が遅いコメントほど、コメント領域をより上方に重畳するよう重畳方法を決定するものであって、
前記画像表示部においては、前記コメント情報に含まれる前記表示時刻が遅いコメントであるほど、あるいは、投稿された実際の時刻を示す投稿時刻が遅いコメントほど、コメント領域がより上方に重畳表示される
請求項２記載のコメント付き動画像生成装置。
【請求項４】
さらに、
ユーザＩＤ情報サーバよりユーザ情報を取得するユーザ情報取得部を備え、
前記表示優先度算出部は、さらに、ユーザが前記動画像を視聴中に、前記ユーザＩＤ情報サーバ上のユーザＩＤ情報が変更されると、新しいユーザＩＤ情報に基づき、前記コメント領域および前記被写体領域の表示優先度を算出しなおす
請求項１記載のコメント付き動画像生成装置。
【請求項５】
前記コメント重畳方法決定部は、さらに、被写体領域とコメント領域との間、またはコメント領域同士で重なりが生じた画素については半透明状の透過表示をするために、前記重なった各画素の透過度を、前記表示優先度算出部が算出した、前記各画素が属する二つの領域間の表示優先度の比率に基づいて算出し、
前記算出した前記透過度に基づいて、コメント領域と被写体領域とを合成するために、より上方に重畳された領域ほど透過度を低く表示するように、コメント領域の重畳方法を決定する
請求項１記載のコメント付き動画像生成装置。
【請求項６】
前記コメント重畳方法決定部は、さらに、被写体領域間の遮蔽関係を記述する情報に基づいて、遮蔽関係にある被写体領域間では、遮蔽開始より遮蔽終了までの間は、各被写体領域に対応するコメントのコメント領域を、遮蔽開始前の位置で一時停止させ、遮蔽終了後に当該一時停止を解除し、各コメント領域を被写体領域に追従させるよう前記コメント領域の重畳方法を決定するものであって、前記画像表示部においては、遮蔽関係にある被写体領域間では、遮蔽開始より遮蔽終了までの間は、各被写体領域に対応するコメントのコメント領域が、遮蔽開始前の位置で一時停止した表示となり、遮蔽終了後に当該一時停止が解除され、各コメント領域が被写体領域に追従した表示となる
請求項１記載のコメント付き動画像生成装置。
【請求項７】
前記コメント重畳方法決定部は、さらに、被写体領域間の遮蔽関係を記述する情報に基づいて、遮蔽関係にある被写体領域間では、遮蔽開始より遮蔽終了までの間は、各被写体領域に付与されたコメントを一つのフキダシに統合したコメント領域を重畳し、遮蔽終了後に、前記一つのフキダシに統合したコメント領域を、再度別々のフキダシのコメント領域に分離して、各コメント領域を被写体領域に追従するよう前記コメント領域の重畳方法を決定するものであって、前記画像表示部においては、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、各被写体領域に付与されたコメントが一つのフキダシに統合したコメント領域として表示され、遮蔽終了後に、前記一つのフキダシに統合したコメント領域が、再度別々のフキダシのコメント領域に分離し、各コメント領域が被写体領域にそれぞれ追従するような表示となる
請求項１記載のコメント付き動画像生成装置。
【請求項８】
前記コメント重畳方法決定部は、さらに、被写体領域間の遮蔽関係を記述する情報に基づいて、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、前記動画像を撮影したカメラにより近い位置にある被写体領域であって、かつ遮蔽する側の被写体領域に対応するコメントのコメント領域のみを重畳し、遮蔽終了後に、すべてのコメント領域を重畳するよう前記コメント領域の重畳方法を決定するものであって、前記画像表示部においては、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、前記動画像を撮影したカメラにより近い位置にある被写体領域であって、かつ遮蔽する側の被写体領域に対応するコメントのコメント領域のみが表示され、遮蔽終了後に、すべてのコメント領域の表示が再開されるような表示となる
請求項１記載のコメント付き動画像生成装置。
【請求項９】
前記コメント重畳方法決定部は、さらに、前記遮蔽する側の被写体領域に対応するコメントのコメント領域は、半透明状の表示を行い、遮蔽終了後に、半透明ではない表示形態ですべてのコメント領域が表示されるよう、前記コメント領域の重畳方法および重畳時の透過度を決定するものであって、前記画像表示部においては、前記遮蔽する側の被写体領域に対応するコメントのコメント領域が、半透明状の表示となり、遮蔽終了後に、半透明ではない表示形態ですべてのコメント領域の表示が再開される
請求項８記載のコメント付き動画像生成装置。
【請求項１０】
前記コメント重畳方法決定部は、さらに、前記コメント付き動画像に対して、早送り、プレビュー、巻き戻しまたはスキップを含む、通常再生以外の視聴方法が実行されている間は、各フレームに存在する複数のコメント領域のうち、通常再生の場合に最も上位に重畳表示されるコメント領域のみを前記動画像上に重畳表示するよう、前記コメント領域の重畳方法を決定するものであって、前記画像表示部においては、早送り、プレビュー、巻き戻しまたはスキップを含む、通常再生以外の視聴方法が実行されている間は、各フレームに存在する複数のコメント領域のうち、通常再生の場合に最も上位に重畳するコメント領域のみが前記動画像上に重畳表示される
請求項１記載のコメント付き動画像生成装置。
【請求項１１】
ユーザ情報取得部は、さらに、ユーザＩＤ情報サーバまたは外部に保持されているユーザの視聴履歴を取得し、
前記表示優先度算出部は、さらに、ユーザが過去に視聴したコメント付き動画像を再度視聴した際には、前回視聴時に、最上方に重畳された領域の表示優先度を、最下位にするものであって、前記画像表示部においては、ユーザが過去に視聴したコメント付き動画像を再度視聴した際には、前回の視聴時に最上位に重畳表示されていたコメント領域が、最も後方に重畳表示される
請求項４記載のコメント付き動画像生成装置。
【請求項１２】
動画サーバより動画像を取得し、前記動画像に対応するコメントと、前記コメントのコメント領域の前記動画像上での表示時刻および表示位置とを含むコメント情報を、コメント情報蓄積サーバより取得するデータ取得ステップと、
前記動画像上でのユーザによる指示時刻及び指示位置を含むユーザ情報の入力を受け付ける入力受付ステップと、
各コメントと、各コメントが付与された被写体領域との対応を示す対応情報、および前記ユーザ情報に基づいて、前記指示時刻および前記指示位置に対応するコメント領域または被写体領域の表示優先度が最も高く、前記ユーザ情報が含む前記指示時刻および前記指示位置に対応する、コメント領域のコメントが付与された被写体領域、または前記ユーザ情報が含む前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域の表示優先度が、前記表示優先度が最も高い前記コメント領域または前記被写体領域の次に高くなるように、前記コメント領域および前記被写体領域の表示優先度を算出する表示優先度算出ステップと、
前記表示優先度算出ステップで算出された前記表示優先度が高い前記コメント領域及び前記被写体領域ほど、前記コメント領域および前記被写体領域を重畳表示する際に上方に重畳するように、コメント領域の重畳方法を決定するコメント重畳方法決定ステップとを含む
コメント重畳方法決定方法。
【請求項１３】
請求項１２に記載のコメント重畳方法決定方法と、
前記コメント重畳方法決定ステップで決定された前記コメント領域の重畳方法に従い、前記動画像に複数のコメント領域を合成したコメント付き動画像を生成する画像合成ステップと、
前記画像合成ステップで生成された前記コメント付き動画像を出力する画像出力ステップとを含み、
前記画像出力ステップでは、前記ユーザ情報が示す前記指示位置に位置する領域であるユーザ選択領域に対応する被写体領域および前記被写体領域に対応するコメントのコメント領域、または前記ユーザ選択領域に対応するコメントのコメント領域および前記コメント領域のコメントに対応する被写体領域を、他の被写体領域および当該他の被写体領域に対応するコメントのコメント領域よりも上方に重畳合成した動画像を出力する
コメント付き動画像生成方法。
【請求項１４】
前記対応情報は、前記複数のコメントの各々が付与された被写体情報を示し、
前記画像出力ステップでは、前記ユーザ選択領域に対応する被写体領域および前記被写体領域に付与されたコメントのコメント領域、または前記ユーザ選択領域に対応するコメント領域および前記コメント領域のコメントが付与された被写体領域を、他の被写体領域および当該他の被写体領域に付与したコメントのコメント領域よりも上方に重畳合成した動画像を出力する
請求項１３に記載のコメント付き動画像生成方法。
【請求項１５】
ユーザの前方を撮影するカメラ、前記ユーザが視認可能な位置に設置されたディスプレイ、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）およびコンパスを備えた携帯端末から、前記カメラで撮影された動画像を取得し、取得した前記動画像に基づいて領域分割を行うことにより、前記動画像に含まれる複数の被写体領域を示す被写体領域情報を生成する被写体領域情報生成部と、
ユーザから一定範囲以内に存在する複数の他の携帯端末のＧＰＳ情報と、前記複数の他の携帯端末に一対一に対応付けられた複数のコメントとを含むコメント情報を取得するデータ取得部と、
前記動画像上の指示位置を含むユーザ情報の入力を受け付ける入力受付部と、
前記ユーザの携帯端末および前記複数の、他の携帯端末のＧＰＳ情報と、前記ユーザの携帯端末のコンパス情報とに基づいて、前記動画像上での前記複数の、他の携帯端末の位置を算出し、算出した前記複数の、他の携帯端末の位置に基づいて、各他の携帯端末を有する被写体の被写体領域と、前記データ取得部が取得した前記コメント情報に含まれるコメントとの対応付けを行うコメント位置推定部と、
前記コメント情報および前記ユーザ情報に基づいて、前記ユーザ情報が示す表示位置に位置する被写体領域に対応するコメントのコメント領域の表示優先度が、他の被写体領域または他のコメント領域の表示優先度よりも高くなるように、前記動画像に重畳表示される前記複数のコメント領域および前記動画像中の前記複数の被写体領域の表示優先度を算出する表示優先度算出部と、
前記表示優先度算出部が算出した前記表示優先度に従って、前記動画像への前記複数のコメント領域の重畳方法として、前記表示優先度がより高いコメント領域または被写体領域ほどより前面に表示されるように、前記複数のコメント領域および前記複数の被写体領域の表示順を決定する、または前記表示優先度がより高いコメント領域または被写体領域ほどより透過度が低くなるように、前記複数のコメント領域および前記複数の被写体領域の表示時の透過度を決定するコメント重畳方法決定部と、
前記コメント重畳方法決定部が決定した前記複数のコメント領域の重畳方法に従って、前記動画像に前記複数のコメント領域を重畳する画像合成部と、
前記画像合成部によって前記複数のコメント領域が重畳された前記動画像を、出力する画像出力部と
を備えるコメント付き動画像生成装置。
【請求項１６】
動画サーバより動画像を取得するステップと、
前記動画像に対応するコメントと、前記コメントの前記動画像上での表示時刻および表示位置とを含むコメント情報を、コメント情報蓄積サーバより取得するステップと、
前記動画像上でのユーザによる指示時刻及び指示位置を含むユーザ情報の入力を受け付けるステップと、
各コメントが対応する被写体領域を示す対応情報、および前記ユーザ情報に基づいて、前記指示時刻および前記指示位置に対応するコメント領域または被写体領域が最も上方になるよう、また、前記ユーザ情報が含む前記指示時刻および前記指示位置に対応する、コメント領域のコメントが付与された被写体領域、または前記ユーザ情報が含む前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域が、前記最も上方になる前記コメント領域または前記被写体領域の次に上方に重畳表示されるよう、前記動画像に複数のコメント領域を合成したコメント付き動画像を生成するステップとを含む
コメント付き動画像生成方法。
【請求項１７】
動画サーバより動画像を取得し、前記動画像に対応するコメントと、前記コメントを示すコメント領域の前記動画像上での表示時刻および表示位置を含むコメント情報とを、コメント情報蓄積サーバより取得するデータ取得部と、
前記動画像上でのユーザによる指示時刻及び指示位置を含むユーザ情報の入力を受け付ける入力受付部と、
各コメントと、各コメントが付与された被写体領域との対応を示す対応情報、および前記ユーザ情報に基づいて、前記コメント領域および前記被写体領域の表示優先度を算出する表示優先度算出部と、
前記表示優先度算出部が算出した前記表示優先度が高い前記コメント領域及び前記被写体領域ほど、画像表示部において表示される際に、より上方に重畳されたような表示となるように、前記動画像に複数のコメント領域を合成したコメント付き動画像を出力する画像出力部とを備える
コメント付き動画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に対応したコメントを含むコメント付き動画像を生成するためのコメント付き動画像生成装置およびコメント付き動画像生成方法に関する。
【背景技術】
【０００２】
近年、ネットワークの発達や、携帯端末の普及により、ネットワークを介して、遠隔地の相手と、手軽に動画コンテンツや静止画コンテンツを通じたコミュニケーションを楽しむことが日常的に行なわれるようになっている。たとえば、既存のコンテンツに対し、コンテンツの時間軸上のとあるタイミングで、ユーザがそれぞれ、文章によって個人の嗜好や考えを書き込めるサービスが存在する。このような、コンテンツを通じたコミュニケーションは、表示デバイスや通信技術の発達とともに、今後ますます増えると考えられる。【０００３】
このようなコミュニケーションを実現するため、動画像にコメントが記載されたコメント領域を重畳し、インターネット上で配信する技術が特許文献１に示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４８０７１号公報
【特許文献２】特開２０１１−６１５２８号公報
【特許文献３】特開２００４−１２８６１４号公報
【特許文献４】国際公開第２０１０／１１６８２０号
【特許文献５】特開２００９−８１５９２号公報
【特許文献６】特許第４９９４５２５号公報
【非特許文献】
【０００５】
【非特許文献１】コンピュータビジョン  技術評論と将来展望  ／  松山隆司ら  編  （新技術コミュニケーションズ社  １９９８年）  「第３章  カメラキャリブレーション」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のコメント重畳方法によると、コメント領域同士が重なった場合に、ユーザが読みたいと思ったコメントが他のコメントのコメント領域に遮蔽されたり、コメント領域によってユーザが見たいコンテンツ中の被写体が遮蔽されたりしてしまい、ユーザが隠して欲しくないと思うコメントまたは被写体の視認性が低下するという課題がある。【０００７】
本発明は、上述の課題を解決するためになされたものであり、コメント領域が重畳された動画像（コメント付き動画像）であって、ユーザにとって重要なコメントまたは被写体の視認性を向上させることで、ユーザにとって望ましい表示が実現されたコメント付き動画像を生成する、コメント付き動画像生成装置およびコメント付き動画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係るコメント付き動画像生成装置は、動画サーバより動画像を取得し、前記動画像に対応するコメントと、前記コメントを示すコメント領域の前記動画像上での表示時刻および表示位置を含むコメント情報とを、コメント情報蓄積サーバより取得するデータ取得部と、前記動画像上でのユーザによる指示時刻及び指示位置を含むユーザ情報の入力を受け付ける入力受付部と、各コメントと、各コメントが付与された被写体領域との対応を示す対応情報、および前記ユーザ情報に基づいて、前記指示時刻および前記指示位置に対応するコメント領域または被写体領域の表示優先度が最も高く、前記ユーザ情報が含む前記指示時刻および前記指示位置に対応するコメント領域のコメントが付与された被写体領域、または前記ユーザ情報が含む前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域の表示優先度が、前記表示優先度が最も高い前記コメント領域または前記被写体領域の次に高くなるように、前記コメント領域および前記被写体領域の表示優先度を算出する表示優先度算出部と、前記表示優先度算出部が算出した前記表示優先度が高い前記コメント領域及び前記被写体領域ほど、画像表示部において表示される際に、より上方に重畳されたような表示となるように、コメント領域の重畳方法を決定するコメント重畳方法決定部と、前記コメント重畳方法決定部が決定した前記コメント領域の重畳方法に従い、前記動画像に複数のコメント領域を合成したコメント付き動画像を生成する画像合成部と、前記画像合成部で生成された前記コメント付き動画像を出力する画像出力部とを備え、前記画像出力部は、前記画像表示部において、前記ユーザ情報が示す前記指示位置に位置する領域であるユーザ選択領域に対応する被写体領域および前記被写体領域に付与されたコメントのコメント領域、または前記ユーザ選択領域に対応するコメント領域および前記コメント領域のコメントが付与された被写体領域を、他の被写体領域および当該他の被写体領域に付与されたコメントのコメント領域よりも上方に重畳表示する。【０００９】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明によると、視認性を向上させることのできる動画像であって、コメント領域が重畳された動画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１における動画像配信システムの構成例を示す図である。
【図２Ａ】図２Ａは、動画像へのコメント付与における時間的な流れを示す図である。
【図２Ｂ】図２Ｂは、日時の流れと表示されるコメントとの関係を示す図である。
【図３】図３は、コメント付き動画像生成装置を含む動画像配信システムの全体構成例を示す図である。
【図４】図４は、コメント付き動画像生成装置を含む動画像配信システムの他の全体構成例を示す図である。
【図５Ａ】図５Ａは、コメント情報蓄積サーバが蓄積するデータの例を示す図である。
【図５Ｂ】図５Ｂは、ユーザＩＤ情報サーバが蓄積するデータの例を示す図である。
【図５Ｃ】図５Ｃは、被写体領域情報サーバが蓄積するデータの例を示す図である。
【図５Ｄ】図５Ｄは、動画サーバが蓄積するデータの例を示す図である。
【図６】図６は、本発明の実施の形態１におけるコメント付き動画像生成装置の構成を示すブロック図である。
【図７Ａ】図７Ａは、コンピュータによって構成されたコメント付き動画像生成装置のハードウェア構成を示す図である。
【図７Ｂ】図７Ｂは、コンピュータによって構成されたコメント付き動画像生成装置のハードウェア構成を示す図である。
【図８】図８は、コメント付き動画像生成装置の動作の手順を示すフローチャートである。
【図９Ａ】図９Ａは、動画像の一例を示す図である。
【図９Ｂ】図９Ｂは、動画像中の被写体領域の一例を示す図である。
【図１０Ａ】図１０Ａは、データ取得部で取得される被写体領域情報を模式的に示す図である。
【図１０Ｂ】図１０Ｂは、被写体領域情報のデータ構成の例を示す図である。
【図１１Ａ】図１１Ａは、データ取得部で取得されるコメント情報におけるコメント領域を模式的に示す図である。
【図１１Ｂ】図１１Ｂは、コメント情報のデータ構成の例を示す図である。
【図１２】図１２は、時系列に沿って異なるユーザからコメントが入力されていく様子を示す図である。
【図１３】図１３は、タッチパネル上での入力を通じ、ユーザ入力受付部が受け付けるユーザ情報の一例を示す図である。
【図１４】図１４は、コメント領域と被写体領域の重畳の概念を説明するための図である。
【図１５】図１５は、コメント領域を一時停止させて表示する表示例を示す図である。
【図１６】図１６は、複数のコメント領域を一つのコメント領域に統合して表示する表示例を示す図である。
【図１７】図１７は、コメント領域を一時的に非表示状態にして表示する表示例を示す図である。
【図１８】図１８は、コメント領域を透過表示する表示例を示す図である。
【図１９】図１９は、ユーザの指定と表示優先度との関係を説明するための図である。
【図２０】図２０は、表示優先度算出部が実行する処理のフローチャートである。
【図２１Ａ】図２１Ａは、被写体領域情報が示す被写体領域を示す図である。
【図２１Ｂ】図２１Ｂは、一般的なコメント付き動画像の表示例を示す図である。
【図２１Ｃ】図２１Ｃは、被写体領域を選択した場合の動画像の表示例を示す図である。
【図２１Ｄ】図２１Ｄは、コメント領域を選択した場合の動画像の表示例を示す図である。
【図２１Ｅ】図２１Ｅは、被写体領域とコメント領域を選択した場合の動画像の表示例を示す図である。
【図２１Ｆ】図２１Ｆは、背景を除く全ての被写体領域を選択した場合の動画像の表示例を示す図である。
【図２２】図２２は、ユーザ情報取得部を備えるコメント付き動画像生成装置の構成を示すブロック図である。
【図２３】図２３は、インターネット上でのユーザのアクティビティに伴うコメント領域および被写体領域の重畳順の変化を示す図である。
【図２４】図２４は、動画像の視聴のたびに更新される、コメント領域および被写体領域の重畳順および動画像の視聴履歴を示す図である。
【図２５Ａ】図２５Ａは、実施の形態１または２におけるコメント付き動画像生成装置が生成する動きに追従するコメントの概念を示す図である。
【図２５Ｂ】図２５Ｂは、実施の形態１または２におけるコメント付き動画像生成装置が生成する動きに追従するコメントの概念を示す図である。
【図２６】図２６は、早送り・プレビュー・巻き戻し・スキップなどの視聴方法が行われた場合のコメント領域の表示例を示す図である。
【図２７】図２７は、実施の形態２における動画像配信システムの構成例を示す図である。
【図２８】図２８は、実施の形態２におけるコメント付き動画像生成装置の構成を示すブロック図である。
【図２９Ａ】図２９Ａは、入力装置と入力支援装置とを備えるシステムの構成を示すブロック図である。
【図２９Ｂ】図２９Ｂは、入力支援装置が実行する処理のフローチャートである。
【図３０Ａ】図３０Ａは、動画像の視聴状態からコメントの入力状態へ移行するための手順を示す図である。
【図３０Ｂ】図３０Ｂは、コメントの入力状態における画面表示例を示す図である。
【図３１】図３１は、実施の形態３におけるコメント付き動画像生成装置の構成を示すブロック図である。
【図３２】図３２は、実施の形態３における動画像配信システムの構成例を示す図である。
【図３３】図３３は、実施の形態３におけるコメント付き動画像生成装置の利用シーンの例を示す図である。
【図３４】図３４は、実施の形態３におけるコメント付き動画像生成装置を利用しているユーザと被写体の位置関係を示す図である。
【発明を実施するための形態】
【００１２】
（本発明の基礎となった知見）
本発明者らは、「背景技術」の欄において記載した、従来のコメント重畳方法に関し、以下の問題が生じることを見出した。
【００１３】
特許文献１に記載のシステムは、動画サーバ、およびコメント配信サーバを備えるシステムであり、各ユーザがネットワークを介して書き込んだコメントは、まずコメント配信サーバ上に蓄えられ、動画像に重畳され配信される。動画像が配信され再生されるたびにユーザによって新たに書き込まれるコメントは、実際のユーザコメント時刻に加え、映像時間軸に沿った形式で、コメント配信サーバ上で管理される。動画像に書き込まれたコメントは、将来の配信では、たとえば、ユーザコメント時刻の新旧に関わらず、映像時間軸に沿った形式で配信される。特許文献１のサービスにおいては、特定シーンに対してしばしばコメント領域が集中し、同一画面上に複数のコメント領域が発生する。そのような場合にコメント領域同士が重ならないための工夫として、例えば、画面上でのコメント領域の移動速度をコメントの文字数に基づき調整すること、新しいコメント領域が古いコメント領域に重なる場合、古いコメント領域の表示位置を変更すること、等が開示されている。
【００１４】
特許文献１ではコメントは文字情報であるが、特許文献２には、ユーザによる手書きコメントが投稿可能なシステムが示されている。複数の手書きコメントのコメント領域間、または対象動画像中の部分映像領域（明暗、色彩、コントラスト等に基づいて区別された領域）と手書きコメントのコメント領域との間で接触がある場合に、ユーザ指示に基づき衝突を表す画像効果を選択し、表示するものである。
【００１５】
また、特許文献３では吹き出しによって動画像に文字データを合成表示可能なチャットシステムが開示されている。チャットによって発生する吹き出しが、過去の吹き出しや、ある背景画像上の規定の位置にそれぞれ配置および合成された複数ユーザの顔画像を隠さないよう、吹き出しの表示方法および表示位置を決定する。
【００１６】
また、インターネットを介さずに動画像に文字情報を付加するための手法も提案されている。
【００１７】
特許文献４では、撮影した動画像に付加データを表示するムービー機器が示されている。例えば、文字や吹き出しなどにより付加データを表示し、その表示位置を動画像中のオブジェクト移動に応じて変化させる手法を提案している。
【００１８】
また、特許文献５でも同様に個人保有のコンテンツに対し、携帯端末から文字や絵情報を入力する手法が示されている。機能の一つとして、ユーザが手動で指定したオブジェクト枠に対し、枠内のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）の動きベクトルを用いて、オブジェクトに文字情報および絵情報が追従して動く視覚効果を与える機能を提案している。
【００１９】
以上に述べたように、動画像にコメントを挿入する手法が提案されているが、本開示では特に、コンテンツ配信者の配信する動画像や個人保有のコンテンツの多く（以下、「実画像コンテンツ」という）が、シーンに複数のオブジェクト（被写体）を含むことに着目する。従来、そのような実画像コンテンツ上でのコメントを通じたコミュニケーションにおいて、ユーザにとって重要なコメントや被写体を遮蔽しないコメント付き動画像を生成することは、特に複数のコメント領域と複数のオブジェクトが同時に存在する場合、困難である。
【００２０】
特許文献１では、コメント領域同士の重なりを防ぐアプローチは開示されているが、コメント領域を重畳している動画像そのものが非常に見づらくなるという課題は解決できない。特に、動画像中のオブジェクト位置を考慮せずにコメント領域表示を行なうため、動画像中に存在するオブジェクトのうち、例えばユーザが隠して欲しくないと感じるオブジェクトの視認性が低下してしまう。
【００２１】
特許文献２では、背景と相対的に動きが異なる部分映像を動画像中のオブジェクトとみなし、これらのオブジェクトが複数のコメント領域に作用を及ぼすとしている。しかし、複数オブジェクトが存在する場合に部分映像を生成する手法が具体的に記載されていない。また、コメント領域とオブジェクトが接触したのち、コメント領域がオブジェクト外部に「くっつく」という動作により、当該オブジェクトの視認性は保てる可能性はあるが、他のオブジェクトとの関係性を考慮しないため、別のオブジェクトの視認性が低下してしまう。
【００２２】
一方、特許文献３では、チャットメンバーを表す複数オブジェクトに対し、複数の吹き出しを配置する手法が述べられているが、オブジェクトは所定の位置に合成されていることが前提であり、実画像コンテンツへの適用は不可能である。
【００２３】
特許文献４および５においても、オブジェクトに追従した吹き出し、あるいはオブジェクトの動きを考慮した吹き出しの表示については述べられているが、複数のオブジェクトの領域情報まで考慮した吹き出し（コメント領域）の表示方法はどこにも述べられていない。
【００２４】
このような問題を解決するために、本発明の一態様に係るコメント付き動画像生成装置は、動画サーバより動画像を取得し、前記動画像に対応するコメントと、前記コメントを示すコメント領域の前記動画像上での表示時刻および表示位置を含むコメント情報とを、コメント情報蓄積サーバより取得するデータ取得部と、前記動画像上でのユーザによる指示時刻及び指示位置を含むユーザ情報の入力を受け付ける入力受付部と、各コメントと、各コメントが付与された被写体領域との対応を示す対応情報、および前記ユーザ情報に基づいて、前記指示時刻および前記指示位置に対応するコメント領域または被写体領域の表示優先度が最も高く、前記ユーザ情報が含む前記指示時刻および前記指示位置に対応するコメント領域のコメントが付与された被写体領域、または前記ユーザ情報が含む前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域の表示優先度が、前記表示優先度が最も高い前記コメント領域または前記被写体領域の次に高くなるように、前記コメント領域および前記被写体領域の表示優先度を算出する表示優先度算出部と、前記表示優先度算出部が算出した前記表示優先度が高い前記コメント領域及び前記被写体領域ほど、画像表示部において表示される際に、より上方に重畳されたような表示となるように、コメント領域の重畳方法を決定するコメント重畳方法決定部と、前記コメント重畳方法決定部が決定した前記コメント領域の重畳方法に従い、前記動画像に複数のコメント領域を合成したコメント付き動画像を生成する画像合成部と、前記画像合成部で生成された前記コメント付き動画像を出力する画像出力部とを備え、前記画像出力部は、前記画像表示部において、前記ユーザ情報が示す前記指示位置に位置する領域であるユーザ選択領域に対応する被写体領域および前記被写体領域に付与されたコメントのコメント領域、または前記ユーザ選択領域に対応するコメント領域および前記コメント領域のコメントが付与された被写体領域を、他の被写体領域および当該他の被写体領域に付与されたコメントのコメント領域よりも上方に重畳表示する。
【００２５】
この構成によると、ユーザ情報が含む、指示時刻および指示座標、すなわち動画像を閲覧するユーザの入力によって指定された時刻および座標に対応する、コメント領域または被写体領域の表示優先度を、他の領域の表示優先度よりも高くなるよう算出し、算出した表示優先度に基づいて、動画像（動画像データ）に付与されたコメントのコメント領域を重畳合成した画像を生成できる。これにより、特定の被写体領域やコメント領域に対しては、その上方にコメント領域を重畳表示し、別の、例えば、ユーザ入力によって指定された、ユーザにとって重要な特定のコメントのコメント領域や被写体領域に関しては、当該コメント領域や被写体領域の上方に他のコメント領域を重畳しない（例えば下方に重畳する等）ことにより、ユーザにとって重要なコメントや被写体領域の視認性が低下することを防ぎ、ユーザにとって望ましい表示を実現できる。これにより、コメント領域が重畳表示される動画像（以下、コメント付き動画像）に関して、ユーザにとって、隠れて欲しくないようなコメントまたは被写体の視認性が向上された動画像を生成できる。
【００２６】
また、各コメントにどの被写体領域が対応するかの情報を事前に有しているため、ユーザ入力が含む動画像中のユーザ入力時刻および座標に対応する被写体領域またはコメント領域がより上方に重畳表示されるようなコメント付き動画像を生成できる。
【００２７】
たとえば、前記コメント重畳方法決定部は、さらに、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメント領域または前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域を除く、前記複数のコメント領域について、被写体領域の当該フレームにおける前後関係情報に基づいて、より前方に位置する被写体領域に付与されたコメントのコメント領域を、より後方に位置する被写体および当該被写体に付与されたコメントのコメント領域よりも上方に重畳するようコメント領域の重畳方法を決定し、前記画像表示部において、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメント領域または前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントのコメント領域を除く、前記複数のコメント領域について、被写体領域の当該フレームにおける前後関係情報に基づいて、より前方に位置する被写体領域に付与されたコメントのコメント領域が、より後方に位置する被写体および当該被写体に付与されたコメントのコメント領域よりも上方に重畳表示されるとしても良い。
【００２８】
この構成によると、ユーザが指定した被写体領域以外の被写体領域については、被写体領域の前後関係を、コメント領域の前後関係にも反映したコメント付き動画像を実現できる。
【００２９】
また、前記表示優先度算出部は、さらに、前記コメント情報に含まれる前記表示時刻が遅いコメントであるほど、あるいは、当該コメントが投稿された実際の時刻を示す投稿時刻が遅いコメントほど、当該コメントのコメント領域の表示優先度を高くし、前記コメント重畳方法決定部は、前記表示優先度に基づき、前記コメント情報に含まれる前記表示時刻が遅いコメントであるほど、あるいは、当該コメントが投稿された実際の時刻を示す投稿時刻が遅いコメントほど、当該コメントのコメント領域をより上方に重畳するよう重畳方法を決定するものであって、これにより、前記画像表示部においては、前記コメント情報に含まれる前記表示時刻が遅いコメントであるほど、あるいは、当該コメントが投稿された実際の時刻を示す投稿時刻が遅いコメントほど、当該コメントのコメント領域がより上方に重畳表示される、としても良い。
【００３０】
この構成によると、ユーザが指定したコメント以外のコメントについては、表示時刻または投稿時刻が遅いコメントのコメント領域ほど、より上方に重畳表示されるようなコメント付き動画像を生成できる。
【００３１】
また、上述のコメント付き動画像生成装置は、さらに、ユーザＩＤ情報サーバよりユーザ情報を取得するユーザ情報取得部を備え、前記表示優先度算出部は、さらに、ユーザが前記動画像を視聴中に、前記ユーザＩＤ情報サーバ上のユーザＩＤ情報が変更されると、新しいユーザＩＤ情報に基づき、前記コメント領域および前記被写体領域の表示優先度を算出しなおしても良い。
【００３２】
この構成によると、ユーザが動画像に対して直接指定をしなくとも、ユーザの嗜好変化を反映した表示を行うことができる。
【００３３】
また、前記コメント重畳方法決定部は、さらに、被写体領域とコメント領域との間、またはコメント領域同士で重なりが生じた画素については半透明状の透過表示をするために、前記重なった各画素の透過度を、前記表示優先度算出部が算出した、前記各画素が属する二つの領域間の表示優先度の比率に基づいて算出し、前記算出した透過度に基づいて、コメント領域と被写体領域とを合成するために、より上方に重畳された領域ほど透過度を低く表示するように、コメント領域の重畳方法を決定しても良い。
【００３４】
この構成によると、コメント領域と他のコメント領域、またはコメント領域と被写体領域との間に重なりが生じた画素について、互いに透けて見えるような表示効果を与えることができる。
【００３５】
また、前記コメント重畳方法決定部は、さらに、被写体領域間の遮蔽関係を記述する情報に基づいて、遮蔽関係にある被写体領域間では、遮蔽開始より遮蔽終了までの間は、各被写体領域に対応するコメントのコメント領域を、遮蔽開始前の位置で一時停止させ、遮蔽終了後に当該一時停止を解除し、各コメント領域を被写体領域に追従させるよう前記コメント領域の重畳方法を決定し、前記画像表示部においては、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、各被写体領域に対応するコメントのコメント領域が、遮蔽開始前の位置で一時停止した表示となり、遮蔽終了後に当該一時停止が解除され、各コメント領域が被写体領域に追従した表示となるとしても良い。
【００３６】
この構成によると、遮蔽関係にある被写体両方に付与されたコメントが見たいユーザにとって、どちらか一方のコメント領域が他方のコメント領域に隠されることなく、煩雑でないコメント表示を行うことができる。
【００３７】
また、前記コメント重畳方法決定部は、さらに、被写体領域間の遮蔽関係を記述する情報に基づいて、遮蔽関係にある被写体領域間では、遮蔽開始より遮蔽終了までの間は、各被写体領域に付与されたコメントを一つのフキダシに統合したコメント領域を重畳し、遮蔽終了後に、前記一つのフキダシに統合したコメント領域を、再度別々のフキダシのコメント領域に分離して、各コメント領域を被写体領域に追従させるよう前記コメント領域の重畳方法を決定し、前記画像表示部においては、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、各被写体領域に付与されたコメントが一つのフキダシに統合したコメント領域として表示され、遮蔽終了後に、前記一つのフキダシに統合したコメント領域が、再度別々のフキダシのコメント領域に分離し、各コメント領域が被写体領域にそれぞれ追従するような表示となるとしても良い。
【００３８】
この構成によると、当該コメントが付与された被写体同士が一時的に遮蔽関係にあることを、より強調し、かつ煩雑でないコメント表示を行うことができる。
【００３９】
また、前記コメント重畳方法決定部は、さらに、被写体領域間の遮蔽関係を記述する情報に基づいて、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、前記動画像を撮影したカメラにより近い位置にある被写体領域であって、かつ遮蔽する側の被写体領域に対応するコメントのコメント領域のみを重畳し、遮蔽終了後に、すべてのコメント領域を重畳するよう前記コメント領域の重畳方法を決定し、前記画像表示部においては、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、前記動画像を撮影したカメラにより近い位置にある被写体領域であって、かつ遮蔽する側の被写体領域に対応するコメントのコメント領域のみが表示され、遮蔽終了後に、すべてのコメント領域の表示が再開されるような表示となるとしても良い。
【００４０】
この構成によると、被写体間の実シーンでの前後関係をより強調し、かつ煩雑でないコメント表示を行うことができる。
【００４１】
また、前記コメント重畳方法決定部は、さらに、前記遮蔽する側の被写体領域に対応するコメントのコメント領域は、半透明状の表示となり、遮蔽終了後に、半透明ではない表示形態ですべてのコメント領域が表示されるよう、前記コメント領域の重畳方法および重畳時の透過度を決定し、前記画像表示部においては、前記遮蔽する側の被写体領域に対応するコメントのコメント領域が、半透明状の表示となり、遮蔽終了後に、半透明ではない表示形態ですべてのコメント領域の表示が再開されるとしても良い。
【００４２】
この構成によると、当該コメントが付与された被写体同士が一時的に遮蔽関係にあることをより強調し、かつ煩雑でないコメント表示を行うことができる。
【００４３】
また、前記コメント重畳方法決定部は、さらに、前記コメント付き動画像に対して、早送り、プレビュー、巻き戻しまたはスキップを含む、通常再生以外の視聴方法が実行されている間は、各フレームに存在する複数のコメント領域のうち、通常再生の場合に最も上位に重畳するコメント領域のみを前記動画像上に重畳するよう、前記コメント領域の重畳方法を決定し、前記画像表示部においては、早送り、プレビュー、巻き戻しまたはスキップを含む、通常再生以外の視聴方法が実行されている間は、各フレームに存在する複数のコメント領域のうち、通常再生の場合に最も上位に重畳するコメント領域のみが前記動画像上に重畳表示される、としても良い。
【００４４】
この構成によると、早送り・巻き戻しといった、ユーザが１フレームあたりの情報処理にかけられる時間が短い状況で、重要なコメントのみを表示することで、ユーザの嗜好を反映し、かつ、ユーザが短時間で判読および理解しやすいコメント表示を行うことができる。
【００４５】
また、ユーザ情報取得部は、さらに、ユーザＩＤ情報サーバまたは外部に保持されているユーザの視聴履歴を取得し、前記表示優先度算出部は、さらに、ユーザが過去に視聴したコメント付き動画像を再度視聴した際には、前回視聴時に、最上方に重畳された領域の表示優先度を、最下位にし、これにより、前記画像表示部においては、ユーザが過去に視聴したコメント付き動画像を再度視聴した際には、前回の視聴時に最上位に重畳表示されていたコメント領域が、最も後方に重畳表示される、としても良い。
【００４６】
この構成によると、動画像を見るたびに表示されるコメント領域の前後関係が更新されるため、同一ユーザに対して、同一の動画像であっても、毎回重畳表示の異なるコメント付き動画像を生成・呈示することができる。
【００４７】
また、前記表示優先度算出部は、前記複数のコメントの各々について、前記コメント情報が示す当該コメントの表示位置に基づいて当該コメントがどの被写体領域に付与されたものかを示す対応情報を算出し、前記算出した対応情報に基づいて、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメントが付与された被写体領域、または前記動画像中の前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントの表示優先度が、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメント領域または被写体領域の表示優先度の次に高くなるように、前記コメントおよび前記被写体領域の表示優先度を算出しても良い。
【００４８】
この構成によると、コメント領域と被写体領域の対応情報を算出するため、対応情報が事前に得られていない場合であっても、ユーザ入力が含む動画像中のユーザ入力時刻および座標に対応する被写体領域またはコメント領域がより上方に重畳表示されるようなコメント付き動画像を生成できる。
【００４９】
また、前記コメント情報は、さらに、前記複数のコメントの各々について、当該コメント表示時に使用する吹き出しの表示位置および形状を示す情報を含み、前記表示優先度算出部は、前記複数のコメントの各々について、前記コメント情報が示す前記吹き出しの表示位置および形状を示す情報に基づいて、当該コメントがどの被写体領域に付与されたものかを示す対応情報を算出し、前記算出した対応情報に基づいて、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメントが付与された被写体領域、または前記動画像中の前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応する被写体領域に付与されたコメントの表示優先度が、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメント領域または被写体領域の表示優先度の次に高くなるように、前記コメントおよび前記被写体領域の表示優先度を算出しても良い。
【００５０】
この構成によると、ユーザにより被写体領域が指定された場合に、指定された被写体領域に付与されたコメントのコメント領域が他の被写体領域やコメント領域よりも上方に重畳表示されるようなコメント付き動画像を生成できる。
【００５１】
また、前記表示優先度算出部は、さらに、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメントがある場合は、当該コメントを除く全てのコメントの表示優先度が全ての被写体領域の表示優先度よりも低くなるように、前記コメントおよび前記被写体領域の表示優先度を算出し、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメントがない場合は、全てのコメントの表示優先度が全ての被写体領域の表示優先度よりも低くなるように、前記コメントおよび前記被写体領域の表示優先度を算出しても良い。
【００５２】
この構成によると、ユーザが指定したコメントを除く、全てのコメントよりも上方に被写体を重畳表示することができる。
【００５３】
また、前記表示優先度算出部は、さらに、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応する被写体領域がある場合は、当該被写体領域を除く全ての被写体領域が全てのコメントの表示優先度よりも低くなるように、前記コメントおよび前記被写体領域の表示優先度を算出し、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応する被写体領域がない場合は全ての被写体領域の表示優先度が全てのコメントの表示優先度よりも低くなるように、前記コメントおよび前記被写体領域の表示優先度を算出しても良い。
【００５４】
この構成によると、ユーザが指定した被写体領域と、他の被写体領域との間にコメント領域が挟まれたような表示を行うことができる。
【００５５】
また、前記表示優先度算出部は、さらに、前記ユーザ情報が含む、前記指示時刻および前記指示位置に対応するコメントと、前記コメントの投稿者が投稿した前記コメント以外のコメントとを含む複数のコメントについて、当該複数のコメントの表示優先度が、前記投稿者以外の投稿者のコメントの表示優先度よりも高くなるように、前記複数のコメントの表示優先度を算出しても良い。
【００５６】
この構成によると、ユーザが指定したコメントの投稿者が投稿した他のコメントについても、ユーザが画面上で都度指定することなく、より上方に重畳表示させることができる。
【００５７】
また、上述のコメント付き動画像生成装置は、さらに、前記動画像に基づいて領域分割を行うことにより、前記動画像に含まれる被写体領域を示す被写体領域情報を生成する被写体領域情報生成部を備えていても良い。
【００５８】
一般的な動画像では、該動画像に含まれる被写体領域に関する情報が事前に用意されていない場合が多いが、この構成によると、被写体領域が未知の場合でも、領域分割を行って被写体領域情報を検出した結果を、被写体領域情報として利用できる。
【００５９】
また、ユーザが動画像に新たにコメントを追加する場合について、コメントを追加する前に、該ユーザがコメントをする可能性が高い被写体領域・コメント領域を推定し、上方に重畳表示するよう表示を変更するとしてもよい。この構成に依れば、入力支援装置として、ユーザがコメントする可能性が高い領域を、ユーザが指定しやすくなるような表示を行うことができる。
【００６０】
また、本発明の他の一態様に係るコメント付き動画像生成装置は、ユーザの前方を撮影するカメラ、前記ユーザが視認可能な位置に設置されたディスプレイ、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）およびコンパスを備えた携帯端末から、前記カメラで撮影された動画像を取得し、取得した前記動画像に基づいて領域分割を行うことにより、前記動画像に含まれる複数の被写体領域を示す被写体領域情報を生成する被写体領域情報生成部と、ユーザから一定範囲以内に存在する複数の他の携帯端末のＧＰＳ情報と、前記複数の他の携帯端末に一対一に対応付けられた複数のコメントとを含むコメント情報を取得するデータ取得部と、前記動画像上の指示位置を含むユーザ情報の入力を受け付ける入力受付部と、前記ユーザの携帯端末および前記複数の、他の携帯端末のＧＰＳ情報と、前記ユーザの携帯端末のコンパス情報とに基づいて、前記動画像上での前記複数の、他の携帯端末の位置を算出し、算出した前記複数の、他の携帯端末の位置に基づいて、各他の携帯端末を有する被写体の被写体領域と、前記データ取得部が取得した前記コメント情報に含まれるコメントとの対応付けを行うコメント位置推定部と、前記コメント情報および前記ユーザ情報に基づいて、前記ユーザ情報が示す表示位置に位置する被写体領域に対応するコメントのコメント領域の表示優先度が、他の被写体領域または他のコメント領域の表示優先度よりも高くなるように、前記動画像に重畳表示される前記複数のコメント領域および前記動画像中の前記複数の被写体領域の表示優先度を算出する表示優先度算出部と、前記表示優先度算出部が算出した前記表示優先度に従って、前記動画像への前記複数のコメント領域の重畳方法として、前記表示優先度がより高いコメント領域または被写体領域ほどより前面に表示されるように、前記複数のコメント領域および前記複数の被写体領域の表示順を決定する、または前記表示優先度がより高いコメント領域または被写体領域ほどより透過度が低くなるように、前記複数のコメント領域および前記複数の被写体領域の表示時の透過度を決定するコメント重畳方法決定部と、前記コメント重畳方法決定部が決定した前記複数のコメント領域の重畳方法に従って、前記動画像に前記複数のコメント領域を重畳する画像合成部と、前記画像合成部によって前記複数のコメント領域が重畳された前記動画像を、出力する画像出力部とを備える。
【００６１】
この構成によると、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術のように、ユーザが撮影した動画像中の被写体に対応するコメントが表示される場合に、ユーザが指定する被写体領域に対応するコメント領域が他のコメント領域によって遮蔽されないようなコメント付き動画像を生成および表示できる。
【００６２】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００６３】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００６４】
（実施の形態１）
図１に、本実施の形態が対象とする動画像配信システムの簡単な構成例を示す。特許文献１と同様に、動画サーバ、コメント情報蓄積サーバ、ユーザＩＤ情報サーバ、さらに、領域情報サーバを備えている。各サーバはそれぞれ同じＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）上で管理されていても良いし、別のＰＣ上で管理されていても良い。
【００６５】
図１に示すユーザＡ〜Ｄは、ネットワークを通じて各ユーザの保持する端末（スマートフォン、ＰＣまたはタブレットＰＣ等）に配信された動画像を閲覧する。ここではさらに、ユーザＡ、ユーザＢが、端末に備えつけられたキーボードまたはソフトウェアキーボード等を通じて、動画像にコメントを付与する例が示されている。コメントはここでは文字情報であり、ユーザによって指定された、動画像中の時間的な位置（すなわち所望の時間ないしフレーム番号）、および空間的な位置（すなわち座標）に対応付けて動画像に付与される。なお、以下の説明で動画像という言葉を用いる場合、動画像データまたは動画像データが示す動画像そのもののいずれをも指しうるものとする。
【００６６】
ユーザが付与したコメントは、当該コメントが付与された動画像、当該ユーザのユーザＩＤや、当該コメントが対応付けられた（動画像中の）時刻および座標、当該コメントが投稿された実際の時刻、等の情報と合わせて、コメント情報蓄積サーバに随時蓄積される。そして、ユーザＡおよびユーザＢがある動画像にコメントを付与した後に、別のユーザＣおよびユーザＤが当該動画像を視聴した際には、当該動画像に対応付けられた他のコメントと同様に、ユーザＡおよびユーザＢのコメントがコメント情報蓄積サーバより配信される。また、前記コメントに対応付けられた情報（動画像中で経過した時間である動画時刻および座標等）に基づいてコメントが動画像上に合成される。これにより、動画像にコメントを重ねたような表示が実現される。以上の処理において、各コメントがどのように表示されるかは、コメントが行なわれた実時刻（コメントの投稿時刻）、および動画像中でのコメントの表示時刻と密接に関連する。
【００６７】
図２Ａに、動画像中の時間の流れと、表示されるコメントとの関係を示す。ここで動画像に対しユーザＡ、ユーザＢがコメント付与を行なう例を用い、コメント付与および表示の流れを説明する。各コメントのコメント長はユーザが指定しても良いし、予め定めた長さ（例えば、２秒間等）としても良い。なお、時間の単位として以下では「秒」を用いるが、秒の代わりにフレーム数を用いても良い。
【００６８】
図２Ａによれば、ユーザＡのコメントは、動画像上の時刻ＳＡ秒〜ＥＡ秒の間表示され、ユーザＢのコメントは、ＳＢ秒〜ＥＢ秒の間表示される。したがって、当該動画像を視聴すると、ＳＡ秒〜ＳＢ秒の間はユーザＡのコメントが、ＳＢ秒〜ＥＡ秒はユーザＡおよびユーザＢ両方のコメントが、ＥＡ秒〜ＥＢ秒の間はユーザＢのコメントが表示される。
【００６９】
また、図２Ｂには、実際の日時の流れと、表示されるコメントとの関係を示す。ユーザＡによるコメント付与（書き込み）より後であって、ユーザＢによるコメント付与（書き込み）よりも前に動画像を視聴したユーザＤは、ユーザＡのコメントのみを見ることができる。一方ユーザＣは、ユーザＡおよびユーザＢによるコメント付与後に動画像を視聴しているため、両方のコメントを見ることができる。
【００７０】
なお、一般的には、動画時刻及び実時刻に関して、ともに、より後から付与されたコメントが見やすくなるよう、当該コメントのコメント領域がより上方に重畳合成される場合が多い。
【００７１】
図３は、コメント付き動画像生成装置を含む動画像配信システムの簡単な構成を示した図である。コメント付き動画像生成装置１００は、ネットワークを通じて各個人の端末にコメント付き動画像を配信する。また、コメント付き動画像生成装置１００は、ネットワークを通じて各サーバおよび各端末から、付与されるコメントや、コメントを入力したユーザの情報を得る。
【００７２】
なお、本実施の形態のコメント付き動画像生成装置は、各個人の端末内にその機能を備えることで実現されてもよい。図４にその例を示す。この構成においては、コメント付き動画像生成装置１００は、ネットワークを通じて各サーバから情報を取得し、端末内部での処理により、端末上におけるコメント付き動画像の表示を実現する。
【００７３】
図５Ａ〜図５Ｄに、コメント情報蓄積サーバ、ユーザＩＤ情報サーバ、被写体領域情報サーバ、動画サーバが蓄積するデータの例を示す。各サーバには、各コメントと、動画像および被写体領域を対応付けるために必要な情報がそれぞれ格納されている。本実施の形態では、コメントの重畳方法の決定にこれらの情報を利用する。前記情報の詳細、及びコメント重畳方法を決定する方法の詳細については後述する。
【００７４】
図６に、実施の形態１におけるコメント付き動画像生成装置１００の構成を示す。コメント付き動画像生成装置１００は、コメント重畳情報生成部１０１と、画像合成部１０２と、画像出力部１０３とを備える。コメント付き動画像生成装置１００は、動画像１１０、被写体領域情報１１１、コメント情報１１２、およびユーザ情報１１３に基づいて、コメント付き動画像を生成し、ディスプレイ１２０（画像表示部を構成する）に出力する。ディスプレイ１２０は、コメント付き動画像生成装置１００から出力されるコメント付き動画像を表示する。動画像１１０、被写体領域情報１１１、およびコメント情報１１２は、前述の動画サーバ、コメント情報蓄積サーバ、および被写体領域情報サーバにそれぞれ記憶されており、コメント重畳情報生成部１０１は、ネットワークなどの通信経路を介してこれらの情報を取得する。なお、コメント情報蓄積サーバに記憶されているコメント情報１１２は、他のユーザからのコメント付与が行われるごとに順次蓄積され、内容は時間の経過とともに変化する。
【００７５】
コメント重畳情報生成部１０１は、動画像１１０、被写体領域情報１１１、コメント情報１１２、およびユーザ情報１１３に基づいて、各動画時刻において表示されるべきコメントを、動画像上でどのように表示するかを決定する。画像合成部１０２は、コメント重畳情報生成部１０１により決定されたコメントの表示方法に基づいて、動画像とコメントを合成したコメント付き動画像を生成する。画像出力部１０３は、画像合成部１０２により合成されたコメント付き動画像をディスプレイ１２０に出力する。
【００７６】
コメント重畳情報生成部１０１は、データ取得部１０４、入力受付部１０５、表示優先度算出部１０６、およびコメント重畳方法決定部１０７を備える。
【００７７】
データ取得部１０４は、動画像１１０、被写体領域情報１１１、およびコメント情報１１２を、各サーバから取得する。データ取得部１０４は、動画サーバに記憶されている動画像１１０を、直接、または通信経路を介して読み出すインタフェースであっても良い。
【００７８】
ここで、被写体領域情報１１１は、動画像中の各被写体の領域分割の結果を示す領域分割情報、および、複数の被写体領域間の前後関係の情報を含む。また、コメント情報１１２は、動画像１１０に対してつけられたコメント（文字情報）、コメントを付与した動画時刻やコメント座標、実時刻（図５Ａの「コメント付与日時」）、およびコメント形状、などのコメント領域情報を含む。
【００７９】
入力受付部１０５は、動画像を閲覧するユーザが利用する端末から、ユーザ入力によって指定される時刻および座標である指示時刻および指示座標を含むユーザ情報１１３を受け付ける。入力受付部１０５は、例えば、マウスまたはタッチパネルへのタッチ等のユーザ入力が行なわれた動画像１１０上の指示時刻や指示座標を、ユーザ情報１１３が含む情報として、直接、または通信経路を介して読み出すインタフェースであっても良い。
【００８０】
表示優先度算出部１０６は、データ取得部１０４と入力受付部１０５とから取得した情報に基づいて、動画像１１０中でのコメントと被写体との表示優先度を算出する。表示優先度算出部１０６は、入力受付部１０５が受け付けたユーザ情報１１３に含まれる指示時刻および指示座標に対応するコメント領域または被写体領域が、他のコメント領域に隠されることがないようなコメント付き動画像生成を実現する。このため、表示優先度算出部１０６は、データ取得部１０４が取得した前記被写体領域情報１１１、コメント情報１１２およびユーザ情報１１３に基づき、ユーザが選択した、つまり指示時刻および指示座標に対応する領域の表示優先度が、他の領域の表示優先度と比べて高くなるような表示優先度を算出する。また、同時に表示される可能性がある複数のコメント間においては、より新しいコメントのコメント領域の表示優先度を高くする等のルールを予め定めておき、定めたルールに基づいて、全てのコメント領域と被写体領域の表示優先度を算出する。
【００８１】
コメント重畳方法決定部１０７は、算出した表示優先度に基づいて動画像１１０にコメント領域を重畳する方法を決定する。コメント重畳方法決定部１０７は、前記表示優先度算出部１０６により算出した表示優先度に基づき、動画像１１０中の被写体領域とコメント領域の重畳方法を決定する。特に、表示優先度が高い領域（コメント領域または被写体領域）をより上方に重畳することにより、表示優先度が高い領域が、表示優先度がより低い他の領域に遮蔽されることを防ぐ。
【００８２】
画像合成部１０２は、コメント重畳方法決定部１０７が決定した、コメントの重畳方法に基づき、動画像１１０上に関して、被写体領域とコメント領域とが合成されたコメント付き動画像を生成する。画像出力部１０３は、画像合成部１０２により合成された前記コメント付き動画像をディスプレイ１２０等に出力する。
【００８３】
なお、本明細書において、「領域抽出」とは、ある特定の対象物が存在する画像領域を抽出する検出技術と、対象物が何であるかの区別なくピクチャ中の領域を分割する領域分割技術との、両者を含んでいるが、検出技術と領域分割技術とは共通する部分が多いため、本明細書においては両者を区別しない。
【００８４】
なお、コメント付き動画像生成装置１００を構成する各構成要素（コメント重畳情報生成部１０１、画像合成部１０２、画像出力部１０３）は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。図７Ａおよび図７Ｂは、コンピュータによって構成された本実施の形態におけるコメント付き動画像生成装置１００のハードウェア構成を示す図である。図７Ａは、図３の動画像配信システムにおけるコメント付き動画像生成装置１００を実現するための各構成要素を示し、図７Ｂは、図４の動画像配信システムにおけるコメント付き動画像生成装置１００を実現するための各構成要素を示す。上記２つの例は、ディスプレイへの出力経路のみ異なるため、以下で構成をまとめて説明する。記憶装置２１０は動画像１１０、被写体領域情報１１１、およびコメント情報１１２を格納し、これらをＩ／Ｆ２０１へ出力する。コンピュータ２００は、動画像１１０、被写体領域情報１１１、およびコメント情報１１２を取得してコメント付き動画像生成処理を行い、コメント付き動画像を生成する。
【００８５】
ディスプレイ端末２２０ａまたはディスプレイ２２０ｂは、コンピュータ２００で生成されたピクチャを取得して表示する。コンピュータ２００は、Ｉ／Ｆ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、ＨＤＤ２０５およびビデオカード２０６を含む。コンピュータ２００を動作させるプログラムは、ＲＯＭ２０３またはＨＤＤ２０５にあらかじめ保持されている。プログラムは、プロセッサであるＣＰＵ２０２によって、ＲＯＭ２０３またはＨＤＤ２０５からＲＡＭ２０４に読み出されて展開される。ＣＰＵ２０２はＲＡＭ２０４に展開されたプログラム中のコード化された各命令を実行する。Ｉ／Ｆ２０１は、プログラムの実行に応じて、記憶装置２１０で発生したユーザ入力を、ＲＡＭ２０４へ取り込む。Ｉ／Ｆ２０１は、プログラムの実行に応じて、動画像１１０、被写体領域情報１１１、およびコメント情報１１２を、ＲＡＭ２０４へ取り込む。ビデオカード２０６は、プログラムの実行に応じて生成されたコメント付き動画像を出力し、ディスプレイ１２０がそのコメント付き動画像を表示する。
【００８６】
なお、コンピュータプログラムは、半導体であるＲＯＭ２０３またはＨＤＤ２０５に限られず、例えばＣＤ−ＲＯＭに格納されていてもよい。また、コンピュータプログラムは、有線または無線のネットワーク２１１、放送などを介して伝送され、コンピュータのＲＡＭ２０４に取り込まれてもよい。
【００８７】
以下、本実施の形態におけるコメント付き動画像生成装置１００の動作を、図８を用いて説明する。図８は、本実施の形態におけるコメント付き動画像生成装置１００の動作を表すフローチャートである。
【００８８】
図８において、７つのステップＳ３０１〜Ｓ３０７は、それぞれ図６の各処理部１０１〜１０７に対応している。すなわち、コメント重畳情報生成部１０１はコメント重畳情報生成ステップＳ３０１、画像合成部１０２は画像合成ステップＳ３０２、画像出力部１０３は画像出力ステップＳ３０３の各動作を実行する。また、コメント重畳情報生成ステップＳ３０１は、データ取得ステップＳ３０４、入力受付ステップＳ３０５、表示優先度算出ステップＳ３０６、コメント重畳方法決定ステップＳ３０７の４つのステップを含む。データ取得部１０４はデータ取得ステップＳ３０４、入力受付部１０５は入力受付ステップＳ３０５、表示優先度算出部１０６は表示優先度算出ステップＳ３０６、コメント重畳方法決定部１０７はコメント重畳方法決定ステップＳ３０７の各動作を実行する。
【００８９】
最初に、コメント重畳情報生成ステップＳ３０１が、コメント重畳情報生成部１０１により実行される。コメント重畳情報生成部１０１は、データ取得部１０４、入力受付部１０５、表示優先度算出部１０６、およびコメント重畳方法決定部１０７を含み、それぞれに対応するコメント重畳情報生成ステップＳ３０１は、データ取得ステップＳ３０４、入力受付ステップＳ３０５、表示優先度算出ステップＳ３０６、コメント重畳方法決定ステップＳ３０７の４つのステップを含む。
【００９０】
データ取得ステップＳ３０４では、データ取得部１０４は、記憶装置から、動画像１１０、被写体領域情報１１１、およびコメント情報１１２を取得する。
【００９１】
本実施の形態では、データ取得部１０４が取得する動画像１１０として、放送動画、または自家用ムービーで撮影された動画像を想定している。これらの動画像１１０は、前述のとおり動画サーバなどに蓄積されており、データ取得部１０４は、有線または無線のネットワーク、放送などを介して、動画像１１０を取得する。取得された動画像１１０の例を図９Ａに示す。ここでは音楽関連の動画コンテンツ例を示すが、本発明が対象とする動画像はこれに限られない。なお、以降では、説明および図面の簡略化のため、ここで示した動画像例について、図９Ｂのような、被写体領域情報を示す図を用いる。
【００９２】
また、図１０Ａはデータ取得部１０４で取得される被写体領域情報１１１の模式図であり、図１０Ｂは被写体領域情報１１１のデータ構成の例を示す図である。先に述べたとおり、被写体領域情報１１１は、動画像中の各被写体の領域分割情報、および、複数の被写体領域間の前後関係の情報を含む。例えば、動画像１１０に対応する領域データとして、背景の被写体領域４００、異なる人物の被写体領域４０１〜４０３が、図１０Ａに示すように得られたものとする。各領域と矢印で繋がっている矩形内に、各領域に対応する「領域情報」の例を示す。被写体領域情報は、図１０Ｂに例を示すように、具体的には以下の情報を含む。
【００９３】
（１）ｉｎｄｅｘ：被写体領域番号インデックス
（２）位置属性：同一フレーム内における複数の被写体間の前後関係を示す情報（本実施形態の例では、カメラに近い領域ほど、小さい値を付与している。）
（３）座標：各インデックスに所属する画素の座標値
また、図１１Ａはデータ取得部１０４で取得されるコメント情報１１２におけるコメント領域の模式図であり、図１１Ｂはコメント情報１１２のデータ構成の例を示す図である。コメント情報に基づいて、各コメント領域５００〜５０２を、動画像１１０上に表示した例を図１１Ａに示す。コメント情報１１２は、具体的には、図１１Ｂに例を示すように、動画像ごとに、以下のような情報を含む。
【００９４】
・動画名（コメント付与の対象とされた動画像１１０の名称）
・表示時刻（動画像上でのコメントの表示開始時刻）
・コメント（コメントの文字列）
・投稿時刻（実際にコメントを投稿した日時）
・ユーザ（コメントしたユーザのＩＤ）
・基点座標（コメント領域の基点位置の座標）
・コメント形状（コメント領域の形状の情報）
・コメントｉｎｄｅｘ（コメント領域番号インデックス）
【００９５】
図１１Ａおよび図１１Ｂの例では、コメント情報１１２のうち、コメントｉｎｄｅｘが「２」のレコードにより、基点座標（（ｘ，ｙ）＝（２００，２００））を基準点としてコメント領域５００が表示されることが示されている。また、そのレコードのコメント形状（ｎｏｒｍａｌ１）により、コメント領域５００の形状およびサイズが決定される。これにより、動画像１１０上のどのフレームにおいてどの領域が前記コメントの領域によって遮蔽されるかが分かる。なお、文字数に応じてコメント形状やフォントサイズを変化させてもよい。
【００９６】
また、本実施の形態ではコメントの表示時間長を、たとえばあらかじめ、００：００：０５（秒）とすると、コメント領域５００の表示時刻は００：００：２０であることから、コメント領域５００が表示される動画像１１０上での時刻（以下、「動画時刻」とする）は、００：００：２０〜００：００：２５となる。動画時刻００：００：２０では、コメント領域５０１およびコメント領域５０２もまだ表示されているため、３つのコメントが表示される。コメントの入力が、互いに異なるユーザＡ、Ｂ、Ｃにより行なわれる例を図１２に示す。動画時刻が進むにつれ、ユーザＡが入力したコメントを表示するコメント領域５０２、続いてユーザＢが入力したコメントを表示するコメント領域５０１、続いてユーザＣが入力したコメントを表示するコメント領域５００が、その順に上方に重畳されて表示される。
【００９７】
なお、被写体領域は既知である。このため、例えば、ある表示時刻のコメントについて、コメントを付与した領域を矩形で囲った矩形領域を求める。また、前記ある表示時刻における前記矩形領域上での基点座標の相対位置を求める。さらに、当該表示時刻以降のフレームにおいても同様に、コメントを付与した領域を矩形で囲った矩形領域をそれぞれ求め、前記表示時刻における基点座標が相対的に矩形中の同じ位置に存在し続けるような基点座標を、各矩形領域について求める。このような処理により、結果として、コメントを付与した被写体領域に、付与したコメントが追従して見えるような表示を実現できるようにしてもよい。
【００９８】
なお、コメントごとにそれぞれ異なる表示時間長を予めコメント情報に含めて保持させておき、その表示時間長だけコメントを表示しても良い。どちらのケースでも、通常、コメント領域の数が複数になると、図１１Ａに示すように、被写体領域４０１〜４０３の表示が妨げられ視認性が落ちる場合が生じる。
【００９９】
再度図８を参照して、ステップＳ３０５では、入力受付部１０５は、マウス、またはタッチパネルの入力を受け取るＵＩ（ユーザインタフェース）などを通じて視聴時にユーザが、所望の領域を選択するために入力したユーザ情報１１３を受け取る。ユーザ情報１１３は、ユーザ入力により指示された座標（指示座標）、及び入力が行なわれた時刻（指示時刻）を含み、例えば、タッチパネルの場合は、ユーザが、所望の被写体領域に相当する画面上の１点を、ある時刻にタップ（指で叩く）すること、所望の被写体領域を囲むように円を描くこと、または所望の被写体領域上でフリックを行なうこと等により、ユーザ情報１１３の入力が行なわれるとしてもよい。
【０１００】
入力受付部１０５は、動画像１１０に対する、マウス操作またはタッチパネルへのタッチ等について、ユーザ情報１１３が含む指示時刻または指示座標を、直接、または通信経路を介して読み出すインタフェースであっても良い。なお、ユーザの入力回数は１回でなくてもよく、例えば互いに異なる領域上をそれぞれタッチすることで、複数のオブジェクトを選択することができる、としてもよい。また、ある画面内、あるいは動画中に存在する全てのオブジェクトを選択する場合のユーザの便利のため、別途、動画像表示画面上に「画面内全選択」アイコンまたは「動画内全選択」アイコンを備える等してもよい。
【０１０１】
入力受付部１０５の例として、タッチパネルを通してユーザ情報１１３の入力が行なわれる例を図１３に示す。この場合、ユーザが指示した座標（指示座標）、及びその際の動画像１１０上での時刻（指示時刻）がユーザ情報１１３として取得され、入力受付部１０５で受け付けられる。なお、後のステップで、領域分割情報と、指示時刻および指示座標とを照合することで、この例の場合、”被写体領域４０２が選択された”という情報が得られる。
【０１０２】
再度図８を参照して、ステップＳ３０６では、表示優先度算出部１０６は、被写体領域情報１１１、コメント情報１１２およびユーザ情報１１３に基づいて、コメントと動画像１１０中の被写体領域の表示優先度を算出する。表示優先度算出部１０６は、ユーザが選択した領域（入力受付部１０５が受け取った前記ユーザ情報１１３に基づいて求められる）が、他のコメント領域に隠されることがないようなコメント付き動画像生成を実現するため、各コメントおよび各被写体領域に対する表示優先度を決定する。表示優先度算出部１０６が各領域の表示優先度を算出する際に基準とするルールの一例としては、例えば、「データ取得部１０４が取得した被写体領域情報１１１、コメント情報１１２、ユーザ情報１１３に基づき、ユーザ選択領域の表示優先度が他と比べて高くなるような表示優先度を算出し、コメント間では、より新しいコメントの表示優先度を高くする」等がある。
【０１０３】
表示優先度は、後段のコメント重畳方法決定部において、コメント（コメント領域）の重畳方法を決定する基準となる。図１４に、表示優先度に基づくコメント重畳表示の概念図を示す。図１４には、被写体領域４００〜４０３、および、コメント領域５００〜５０２が示されている。ここで説明のため、各コメントがどの被写体領域に付与されたかの関係を、「対応」と呼ぶ。領域５００は被写体領域４０１に対応し、コメント領域５０１は被写体領域４０２に対応し、コメント領域５０２は被写体領域４０３に対応している。コメントと領域の対応情報は、コメント情報１１２に保持されている。被写体領域４００〜４０３、および、コメント領域５００〜５０２は、それぞれが一部分で互いに重なり、重なった領域間の画素のうち、最も上方に重畳された画素のみが表示される。
【０１０４】
図１４に示す例では、最も表示優先度が低い背景領域（被写体領域４００）を最後方とし、被写体領域４００〜４０３、および、コメント領域５００〜５０２を、ある順番でレイヤー構造状に重畳表示している。この表示順を決定するのが表示優先度Ｐであり、表示優先度が低いものほど後方に重畳されて見えなくなる。すなわち図１４は、各領域のＰがＰ４０１＞Ｐ４０２＞Ｐ５０１＞Ｐ５００＞Ｐ４０３＞Ｐ５０２＞Ｐ４００である場合の重畳表示例を示す図である。したがって、各領域の表示優先度Ｐの大きさの順番が変わると、各領域の重畳順も変わる。例えばもっとも単純には、ユーザが遮蔽して欲しくないと感じている領域が、被写体領域４０１および被写体領域４０２であった場合、これらの表示優先度Ｐを他の領域より高くすることで、これらの領域を遮蔽しないようなコメント表示を実現できる。
【０１０５】
以降、本開示で重畳という場合は、このような、画像上での領域の重ね合わせを指すものとする。表示優先度算出部１０６は、入力受付部１０５で得られたユーザ情報１１３の座標および時刻と、データ取得部１０４で得られた被写体領域情報１１１とを照合することで、どの領域が選択されたかを求める。
【０１０６】
なお、「領域情報」が図１０Ｂのように、さらに「領域属性」を含むとしてもよい。領域属性は、各被写体領域が静止領域であるか移動物領域であるかを示す情報であり、本実施の形態では、静止領域には０、移動物領域には１を付与している。例えばスポーツの動画像、または人物が踊っている動画像などにおいては、ユーザが選択する可能性がある被写体はほとんど移動物であるため、上記のような属性を備えることで、より表示優先度の算出を簡単にできる。すなわち、表示優先度算出部１０６は、領域属性が０（静止領域）である領域は背景領域とみなし、常に表示優先度Ｐを最小にするようにしても良い。
【０１０７】
さらに、「領域情報」は被写体領域間の動画像における遮蔽関係を示す情報を含むとしてもよい。遮蔽関係にある被写体領域の情報が、動画時刻またはフレーム番号と合わせて保持されているのが望ましい。たとえば、図１２の例で表示している動画像では、動画時刻「００：００：１９」において被写体Ｃが被写体Ａを遮蔽している、といった情報を、動画時刻全体に対して保持すればよい（被写体のアルファベットは図９に準ずる。）。
【０１０８】
または、同様の遮蔽関係を示す情報を、データ取得部１０４が取得した領域情報に基づき算出するとしてもよい。この場合、領域の境界付近で動きベクトルを算出しておき、各領域に属する動きベクトルがより多く消滅するほうの領域、つまり、動画時刻で一定の時間帯に着目したときに、より多くの移動軌跡が途切れるほうの領域は、そうではない領域に、その時間帯において遮蔽されていると判定する等により、遮蔽関係を求めることができる。事前に遮蔽関係を示す情報がない場合には、算出することで遮蔽情報を得られる。
【０１０９】
上記のようにして取得した遮蔽情報を用いることで、よりユーザにとって重要な領域を見やすい動画像を実現できる。
【０１１０】
例えば、図１５の（ａ）に示すように、遮蔽関係にある被写体に付与された、近接したコメントが、互いに重なりあいながらすれ違い移動するのは、ユーザにとってあまり見やすい表示とはいえない。そこで、コメント重畳方法決定部１０７は、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間、各被写体領域に対応するコメントのコメント領域が、遮蔽開始前の位置で一時停止し、遮蔽終了後に当該一時停止を解除し、コメントの追従が再開するような表示が得られるよう、重畳方法を決定する。これにより、ディスプレイ１２０上では、図１５の（ｂ）に示すように、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間は、各被写体領域に対応するコメントのコメント領域が、遮蔽開始前の位置で一時停止し、遮蔽終了後にコメントの追従が再開されるようなコメント付き動画像が表示される。図１５の例では、ｔ＝１で遮蔽開始、ｔ＝２で遮蔽終了、となっており、ｔ＝１で各被写体に付与されたコメント位置をｔ＝２でも保持するような表示が得られている。
【０１１１】
上記のような表示を行うことで、特に、遮蔽関係にある両方の被写体に付与されたコメントが見たいユーザにとって、両方の被写体に付与されたコメントのうち、一方の被写体に付与されたコメントが別の被写体に付与されたコメントに隠されることを避けることができる。これにより、煩雑でない、見やすいコメントの表示を行うことができる。
【０１１２】
また、別の解決方法として、コメント重畳方法決定部１０７は、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間、各領域に対応するコメントを一つのフキダシに統合したような表示を行い、遮蔽終了後に、統合後の一つのフキダシを再度別々のフキダシに分離して、コメント追従の表示を再開するような表示が得られるよう、重畳方法を決定する。これにより、ディスプレイ１２０上では、図１６に示すように、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間、各領域に対応するコメントが一つのフキダシに統合され、遮蔽終了後に、統合後の一つのフキダシが再度別々のフキダシに分離され、コメントの追従が再開されるようなコメント付き動画像が表示される、としてもよい。なお、コメント重畳方法決定部１０７は、フキダシの統合時には、一つのコメント領域内に、左右に２つのコメントを並べて表示しても良いし、上下にコメントを並べて表示しても良い。図１５と同様に、図１６の例でも、ｔ＝１で遮蔽開始、ｔ＝２で遮蔽終了、となっており、この場合単純には、遮蔽開始時の２つのフキダシの中心位置に、二つのフキダシの面積を合計した大きさのフキダシを表示する、としてもよい。なお、図１６の（ａ）に示すように、フキダシの先端のみが被写体領域に追従した表示が得られるよう重畳方法を決定してもよい。あるいは、被写体領域のすれ違い時にフキダシの先端が煩雑になることを防ぐため、図１６の（ｂ）に示すように、図１５の（ｂ）と同様に、ｔ＝１で統合されたフキダシを一時停止したような表示とし、ｔ＝２まで保持するような表示が得られるよう重畳方法を決定してもよい。
【０１１３】
これにより、遮蔽関係にある被写体両方に付与されたコメントが見たいユーザにとって、煩雑ではない、見やすい表示を行うことができる。さらに、当該コメントが付与された被写体同士が一時的に遮蔽関係にあることを、よりユーザに強調して伝えるような表示を行うことができる。
【０１１４】
また別の解決方法として、コメント重畳方法決定部１０７は、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間、動画像を撮影したカメラにより近い位置にある被写体領域であって、かつ遮蔽する側の被写体領域に対応するコメントのみを表示し、遮蔽終了後に、すべてのコメントの表示を再開するような表示が得られるよう、重畳方法を決定してもよい。これにより、ディスプレイ１２０上では、図１７に示すように、遮蔽関係にある被写体領域間で、遮蔽開始より遮蔽終了までの間、動画像を撮影したカメラにより近い位置にある被写体領域であって、かつ遮蔽する側の被写体領域に対応するコメントのみが表示され、遮蔽終了後に、すべてのコメントの表示が再開される、としてもよい（図１７の（ｂ））。
【０１１５】
図１７の（ａ）に示す、すれ違い時のフキダシと比較して、図１７の（ｂ）では、より見やすく、かつ、被写体間の実シーンでの前後関係を保持した、ユーザにとって直観的な表示を行うことができる。
【０１１６】
さらに、図１８の（ａ）に示すように、コメント重畳方法決定部１０７は、ディスプレイ１２０上で、上記遮蔽する側の被写体領域に対応するコメントを、半透明状の表示とし、遮蔽終了後に、遮蔽前のように、半透明ではない表示形態ですべてのコメントの表示を再開する、という表示方法を行ってもよい。
【０１１７】
これにより、先に述べた方法と同様に、煩雑ではなく、かつ、被写体の視認性を保つことができるような表示を行える。
【０１１８】
あるいは、コメント重畳方法決定部１０７は、上記遮蔽される側の被写体領域に対応するコメントを、半透明状の表示形態で遮蔽する側の上に重畳表示し、遮蔽終了後に、遮蔽前のように、半透明ではない表示形態ですべてのコメントの表示を再開するような表示が得られるよう、重畳方法を決定してもよい。これにより、ディスプレイ１２０上では、図１８の（ｂ）に示すように、上記遮蔽される側の被写体領域に対応するコメントが、半透明状の表示形態で遮蔽する側の上に重畳表示され、遮蔽終了後に、遮蔽前のように、半透明ではない表示形態ですべてのコメントの表示が再開される、としてもよい。
【０１１９】
これにより、コメントの視認性を保ちながら、被写体間の実シーンでの前後関係をより強調した、ユーザにとって直観的な表示を行うことができる。
【０１２０】
また、図１８の（ａ）および（ｂ）のどちらの表示方法においても、当該コメントが付与された被写体同士が一時的に遮蔽関係にあることを、よりユーザに強調して伝えるような表示を行うことができる。
【０１２１】
なお、図１５〜図１８では、別のフキダシを異なるテクスチャで表示しているが、説明上見やすいようにこのようにしたのであって、実際の表示様態を必ずしも示すものではない。実際は、たとえば、すべてのフキダシについて、テクスチャがない状態のフキダシ上に文字が表示される方が、文字の視認性が良い。
【０１２２】
コメント付き動画像の見え方や、各領域の視認性に影響する要素については、複数挙げることができる。コメントによるコミュニケーションを重視する場合、基本的には、コメント領域は被写体領域よりも上位に重畳されたほうが、ユーザは動画像上でのコミュニケーションを楽しめる。そのため実際に、多くのコメント付き動画像サービスにおいて、コメント領域が被写体領域を遮蔽する表示が採用されている。
【０１２３】
さらに、コメントが投稿された日時については、より新規に投稿されたコメントのコメント領域が上位に重畳されたほうが、ユーザにとっては見やすく、また、動画時刻に関しては、古いものほど後方に埋もれ、新しいコメントのコメント領域が上位に重畳されていくような表示のほうが、ユーザにとっては見やすいと考えられる。
【０１２４】
また、より手前の被写体領域に対応付けられたコメント領域がより前方に見えたほうが、すなわちより上位に重畳されたほうが、直感的には見やすいとも考えられる。
【０１２５】
上記した要素以上に重要なのは、ユーザ自らの意思である。ユーザが自らの意思で選択した被写体領域またはコメント領域を最も上位に重畳し、遮蔽を防ぐことが、ユーザにとって最も見やすいコメント付き動画像を生成するといえる。
【０１２６】
以上の条件を表にまとめると図１９のようになる。例えば、ユーザ入力がない、つまり被写体領域およびコメント領域のいずれもが選択されていない場合には（図１９の（Ａ））、表示優先度算出部１０６は、背景領域を含む被写体領域がコメント領域よりも下位に重畳されるように表示優先度を決定する（（Ａ）の（ａ））。また、表示優先度算出部１０６は、コメント領域については、動画時刻が早いほど下位に重畳されるように表示優先度を決定する（（Ａ）の（ｂ））。なお、表示優先度算出部１０６は、コメント領域について、動画時刻だけでなく、投稿された実時刻が遅いものほど上方に重畳されるように表示優先度を決定しても良い。
【０１２７】
ユーザ入力として被写体領域が選択され、コメント領域が選択されていない場合には（図１９の（Ｂ））、表示優先度算出部１０６は、選択された被写体領域が最上位に重畳されるように表示優先度を決定する（（Ｂ）の（ａ））。また、表示優先度算出部１０６は、選択されなかった被写体領域およびコメント領域については、（Ａ）に示した基準に従い表示優先度を決定する（（Ｂ）の（ｂ））。
【０１２８】
ユーザ入力としてコメント領域が選択され、被写体領域が選択されていない場合には（図１９の（Ｃ））、表示優先度算出部１０６は、選択されたコメント領域が最上位に重畳されるように表示優先度を決定する（（Ｃ）の（ａ））。また、表示優先度算出部１０６は、選択されなかった被写体領域およびコメント領域については、（Ａ）に示した基準に従い表示優先度を決定する（（Ｃ）の（ｂ））。ただし、表示優先度算出部１０６は、選択されたコメント領域に対応する被写体領域が、選択されたコメント領域の次に上位に重畳されるように表示優先度を決定しても良い（（Ｃ）の（ａ´））。
【０１２９】
ユーザ入力として、コメント領域および被写体領域の両方が選択された場合には（図１９の（Ｄ））、表示優先度算出部１０６は、選択されたコメント領域が最上位に配置されるように表示優先度を決定する（（Ｄ）の（ａ））。また、表示優先度算出部１０６は、選択された被写体領域が選択されたコメント領域の次に上位に配置されるように表示優先度を決定する（（Ｄ）の（ｂ））。また、表示優先度算出部１０６は、選択されなかった被写体領域およびコメント領域については、（Ａ）に示した基準に従い表示優先度を決定する（（Ｄ）の（ｂ））。ただし、表示優先度算出部１０６は、選択されたコメント領域に対応する被写体領域が、選択された被写体領域の次に上位に重畳されるように表示優先度を決定しても良い（（Ｄ）の（ａ´））。また、表示優先度算出部１０６は、選択された被写体領域に対応するコメント領域が、選択された被写体領域の次または選択されたコメント領域に対応する被写体領域の次に上位に重畳されるように表示優先度を決定しても良い（（Ｄ）の（ｂ´））。
【０１３０】
以上の条件をルール化した表示優先度の算出方法を用いることで、目的とするユーザの意図を反映したコメント付き動画像を生成できる。算出方法の一例としては、図２０に示すような表示優先度算出フローにもとづいた処理を行うことができる（「表示優先度」は図の上では「優先度」と省略）。なお、コメント領域と被写体領域との間の対応関係は、事前にコメント情報蓄積サーバに蓄えられていてもよいし、コメント情報１１２中に含まれる、各コメントの表示時刻および基点座標情報を用いて、被写体領域情報１１１から、各コメントの表示時刻でのコメント領域の基点座標に対応する座標の被写体領域を探索してもよい。
【０１３１】
各フレーム、または特定のフレームごとに、入力受付部１０５よりユーザの入力があったかどうかをチェックし、ユーザ入力がなかった場合は図２０の処理（Ａ）で示すフローに沿った処理によれば、従来の手法を踏襲したコメント表示を実現する表示優先度が算出される。
【０１３２】
一方、ユーザ入力があった場合は、先に述べたように、被写体領域、またはコメント領域のいずれか、ないし両方が選択されたかどうかに基づき、処理を切り替える。被写体領域とコメント領域の間、および、コメント領域間で、各領域に属する画素間に重なりが生じた際にどの領域を優先的に表示するかを決定する必要があるためである。図２０の処理（Ｂ）、（Ｃ）、（Ｄ）で示すフローに沿った処理によれば、前述のルールに基づく、望ましい表示優先度が算出される。
【０１３３】
なお、処理（Ａ）の（１）〜（３）の処理の順は、ユーザの好み等に応じて入れ替えてもよい。
【０１３４】
図２１Ａ〜図２１Ｆに、異なる領域が選択されたケースごとに図１９に示すルールまたは図２０の処理フローを適用し、それぞれ表示優先度を算出した結果得られるコメント領域および被写体領域の重畳表示例を示す。
【０１３５】
図２１Ａは、図１０Ａに示したものと同じ被写体領域情報１１１が示す、動画像１１０およびその背景を含む被写体領域４００〜４０３である。さらに、図１１Ａと同様に、ある時刻でのコメント領域５００〜５０２を重畳した動画像の表示例を図２１Ｂに示す。ここで、コメント領域５００〜５０２の表示に用いられるコメント情報１１２は、図１１Ｂと同様である。図２１Ｂは、一般的なコメント表示例を示しており、コメント領域５００〜５０２が、背景を含む被写体領域４００〜４０３より前方に重畳されている。そのため背景以外の被写体領域４０１〜４０３は遮蔽されている。なお、コメント領域は、コメントの表示時刻が新しいものほど上方に重畳されている（コメント領域５００が最も新しいコメントの表示領域である）。なお、本実施の形態では、ユーザから何らかの指示がない限り、被写体領域の表示優先度は、前方（手前側）の被写体領域の方が高く、コメント領域の表示優先度は、表示時刻が新しいコメントほど高く設定される（他のコメント領域に隠されにくい）ものとする。また、ユーザから何らかの指示がない限り、コメント領域の表示優先度の方が被写体領域の表示優先度よりも高く、背景領域の表示優先度は全ての領域中で最も低いものとする。
【０１３６】
ここで、先に述べたように、コメント領域５００は被写体領域４０１に対応し、コメント領域５０１は被写体領域４０２に対応し、コメント領域５０２は被写体領域４０３に対応していることから、図２１Ｂの場合に算出される表示優先度はＰ５００＞Ｐ５０１＞Ｐ５０２＞Ｐ４０１＞Ｐ４０２＞Ｐ４０３＞Ｐ４００となる。図２１Ｂは、図１９の（Ａ）または図２０の処理（Ａ）に対応する表示例である。
【０１３７】
また、ユーザ選択された領域が、被写体領域４０２であった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｃに示す。図２１Ｃは、図１９の（Ｂ）または図２０の処理（Ｂ）に対応する表示例である。被写体領域４０２が最も前方に重畳され、その次に被写体領域４０２に対応するコメント領域５０１が重畳され、その他の領域がコメント領域５０１の後方に重畳されていることが分かる。すなわち、この場合に算出される表示優先度はＰ４０２＞Ｐ５０１＞Ｐ５００＞Ｐ５０２＞Ｐ４０１＞Ｐ４０３＞Ｐ４００である。
【０１３８】
また、ユーザ選択された領域が、コメント領域５０２であった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｄに示す。図２１Ｄは、図１９の（Ｃ）または図２０の処理（Ｃ）に対応する表示例である。コメント領域５０２が最も前方に重畳され、その次にコメント領域５０２に対応する被写体領域４０３が重畳され、その他の領域が被写体領域４０３の後方に重畳されていることが分かる。この場合に算出される表示優先度は、Ｐ５０２＞Ｐ４０３＞Ｐ５００＞Ｐ５０１＞Ｐ４０１＞Ｐ４０２＞Ｐ４００である。
【０１３９】
また、ユーザ選択された領域が、被写体領域４０２およびコメント領域５０２であった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｅに示す。図２１Ｅは、図１９の（Ｄ）または図２０の処理（Ｄ）に対応する表示例である。前方から、コメント領域５０２、被写体領域４０２、コメント領域５０２に対応する被写体領域４０３、被写体領域４０２に対応するコメント領域５０１の順で重畳されていることが分かる。また、その他の領域がコメント領域５０１の後方に重畳されていることが分かる。この場合に算出される表示優先度は、Ｐ５０２＞Ｐ４０２＞Ｐ４０３＞Ｐ５０１＞Ｐ５００＞Ｐ４０１＞Ｐ４００である。
【０１４０】
ここで、ユーザ選択された領域が、被写体領域４０１〜４０３の全てであった場合にコメント付き動画像生成装置１００が出力する動画像の表示例を図２１Ｆに示す。図２１Ｆは、図１９の（Ｂ）または図２０の処理（Ｂ）の場合の表示例である。全てのコメントが、被写体領域４０１〜４０３よりも後方、かつ背景である被写体領域４００よりも前方に重畳されていることがわかる。すなわち、この場合に算出される表示優先度はＰ４０１＞Ｐ４０２＞Ｐ４０３＞Ｐ５００＞Ｐ５０１＞Ｐ５０２＞Ｐ４００である。
【０１４１】
以上に述べたようなルールに基づいて、表示優先度算出部１０６は、被写体領域情報１１１、コメント情報１１２およびユーザ情報１１３に基づいて、動画像１１０中の各コメント領域５００〜５０２と、背景を含む被写体領域４００〜４０３の表示優先度を算出する。なお、表示優先度の値は、各領域間の優先関係を表現できるものであればなんでもよく、例えば、前述の説明においては、領域数が７であることから、最も表示優先度の低い背景の表示優先度を０とし、以降、表示優先度が低くなるものから順に１，２，３・・・という整数値を与えてもよい。
【０１４２】
上記したとおり、表示優先度の優先順に対し、最も影響する要素はユーザ選択の有無である。さらに被写体領域の前後関係、およびコメントの投稿時刻、表示時刻の新旧、等を表示優先度に影響する複数の要素として挙げたが、上記した以外にも、例えば、コメント情報１１２がコメントを行なった人物のＩＤを含む場合は、ユーザが予め指定した特定のユーザＩＤを有するＩＤの書き込みの表示優先度に影響するとしても良い。
【０１４３】
また、表示優先度が同位の領域が発生した場合には、例えば図２０の処理（Ａ）［２］（１）−（４）に示すように、ランダムに順位を振るとしたが、その代わりに、ディスプレイ上にその旨を表示することでユーザに優先表示させる領域を選択させてもよい。また、重なったコメント間で文字数が異なるような場合、例えばコメントが少ない方のコメント領域を小さく表示し、より前方に重畳することで、両方のコメントが見やすくなるような表示を行なうとしてもよい。
【０１４４】
再度図８を参照して、ステップＳ３０７では、コメント重畳方法決定部１０７は、表示優先度算出部１０６が算出した表示優先度に基づき、動画像１１０中の被写体領域とコメント領域を合成した動画像（コメント付き動画像）を生成するための、各領域の重畳方法を決定する。
【０１４５】
具体的には、表示優先度算出部１０６が算出した各領域間の表示優先度が、より高い領域を、より上方に重畳するよう、領域間の重畳順を求める。図２１Ａ〜図２１Ｆの説明と前後するが、このように領域間の重畳順を表示優先度に基づき制御することで、ユーザが所望した領域が、他のコメント領域または被写体領域に遮蔽されることを防ぐ。
【０１４６】
また、コメント重畳方法決定部１０７は、領域間の重畳順を求める代わりに、表示優先度算出部１０６が算出した表示優先度に基づき、領域のコメント領域表示の透過度を算出するとしてもよい。具体的には、被写体領域とコメント領域との間、またはコメント領域同士で重なりが生じる画素の透過度について、表示優先度算出部１０６が算出した表示優先度が最も高い画素は透過度＝０（全く透過しない）とし、表示優先度が低いほうの画素を、透過度＞０とする。透過度は、表示優先度の比率等に基づいて決定することができる。なお、視認性をよくするために、重なりが生じる画素だけではなく、当該コメント領域全体を、透過表示としてもよい。その場合、透過表示の視認性をよくするため、コメント領域色またはコメント文字色が指定されていた場合であっても、そうでない場合でも、自動的に領域色が白色で、かつ文字色が黒色で表示されるよう変換される、としてもよい。
【０１４７】
ステップＳ３０２では、画像合成部１０２は、コメント重畳方法決定部１０７が決定した、各領域の重畳方法に従って、動画像１１０上にコメントを表示した、コメント付き動画像を合成する。コメント重畳方法決定部１０７が、コメントの重畳順を求めた場合は、画像合成部１０２は、前記コメントの重畳順に従って、動画像１１０とコメントをレイヤー状に合成したコメント付き動画像を生成する。あるいは、コメント重畳方法決定部１０７が、重畳順ではなくコメント領域表示の透過度を算出した場合は、前記透過度に従って各領域に相当する画素値を決定することで、動画像１１０とコメントを合成したコメント付き動画像を生成するとしてもよい。
【０１４８】
ステップＳ３０３では、画像出力部１０３が、前記画像合成部１０２で合成されたコメント付き動画像を、ディスプレイ１２０等に出力する。
【０１４９】
なお、本実施の形態のコメント付き動画像生成装置１００は、ユーザ情報１１３を受け付ける入力受付部１０５を有するとしたが、例えばネットワークに繋がったＴＶやディスプレイなど、ユーザ入力（時刻および座標の指定）を前提としない、もしくは予めユーザ入力がないことが分かっている場合は、コメント付き動画像生成装置は入力受付部１０５を備えない構成であっても良い。具体的には、ユーザの入力した情報を用いる代わりに、一般的に望ましい表示形態として、被写体の視認性をあげるために以下のいずれかのルールを自動で適用するとしてもよい。
【０１５０】
（ａ）最前列の被写体領域のみ、コメントよりも表示優先度を高くする
（ｂ）被写体領域は、全てコメント領域よりも表示優先度を高くする
【０１５１】
なお、本実施の形態におけるコメント付き動画像生成装置は、入力受付部１０５の代わりに、または、入力受付部１０５と合わせて、ユーザ情報取得部を備えていても良い。図２２は、ユーザ情報取得部を備えるコメント付き動画像生成装置の構成を示すブロック図である。コメント付き動画像生成装置１００Ａは、図６に示したコメント付き動画像生成装置１００の構成において、さらに、ユーザ情報取得部１１４を備える。つまり、コメント付き動画像生成装置１００Ａは、コメント重畳情報生成部１０１の代わりにコメント重畳情報生成部１０１Ａを備える。コメント重畳情報生成部１０１Ａは、コメント重畳情報生成部１０１の構成において、さらに、ユーザ情報取得部１１４を備える。ユーザ情報取得部１１４は、情報配信元（ユーザＩＤ情報サーバ）などから、有線または無線による通信経路を介して、予め蓄えられたユーザ情報１１３の代わりになる指示座標および指示時刻を取得する。
【０１５２】
また、ユーザＩＤ情報サーバは、さらにウェブページを閲覧する各閲覧ユーザの嗜好またはインターネット上での行動履歴等の情報を保持してもよい。ユーザ情報取得部１１４は、インタフェースを通じてユーザ情報１１３を取得する代わりに、ユーザの嗜好または行動履歴の情報を取得し、取得した情報に基づいてユーザ情報１１３を推定し利用する、としてもよい。このような構成を備えることで、ユーザの直接的な入力を受け付けることなく、自動的にユーザの嗜好に合わせたコメント付き画像表示が可能である。
【０１５３】
具体的には、例えば、表示優先度算出部１０６は、ユーザＩＤ情報サーバ上に保持された、ユーザが予め登録した文字列（例えば、特定の被写体の名前等）、または、ユーザがＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ：ｆａｃｅｂｏｏｋ等）若しくはインターネット上の記事でシェアした対象若しくはＬｉｋｅボタンを押した対象に対応する文字列が、ユーザが視聴中の動画像に付与されたコメント内にあるか否かを判定する。判定結果が真であれば、表示優先度算出部１０６は、当該コメントのコメント領域と、当該コメントに対応する被写体領域とを、ユーザが選択したと判定し、それらの領域の表示優先度を上げて、より上方に重畳表示する、などとしても良い。
【０１５４】
特に、図２３に示すように、動画像を視聴中のユーザが、同時に、または、前後してインターネット上で別のアクティビティを行うことがある。たとえば、動画像を視聴しながらウェブ上の記事を見る、動画像を視聴をしながらＳＮＳを見る、等である。その際、たとえば図２３の（ａ）に示すように、ユーザがＳＮＳまたはインターネット上の記事でＬｉｋｅボタンを押したり、記事である対象をシェアすると、Ｌｉｋｅボタンを押したり、シェアした対象に対応する文字列が、図２３の（ｂ）に示すように、上記したユーザＩＤ情報サーバに、動画像の視聴中に追加される、としてもよい。ここでは、文字列“ｘｘ”が文字列“ｙｙ”に代わりユーザＩＤ情報サーバに追加された例を示す。このようにユーザＩＤ情報がユーザのインターネット上での行動履歴に基づいて変更された場合、ユーザＩＤ情報サーバ上の新しいユーザＩＤ情報に基づき、図２３の（ｂ）に示すように、重畳表示順を逐次変更するという表示方法を行うことで、ユーザが動画像に対して、逐次ユーザ情報を変更するためのタッチ等の動作をしなくとも、ユーザの嗜好変化を反映した表示を自動的に行うことも可能である。つまり、文字列“ｘｘ”に対応する被写体領域に対応するコメントのコメント領域が上方に重畳表示される。
【０１５５】
また、ユーザＩＤ情報サーバは他のコメント投稿者の情報も保有していることから、コメント投稿者のユーザＩＤまたは端末番号などを、表示優先度算出処理に用いるものとしてもよい。例えば、ユーザＩＤ情報サーバ上に、各ユーザ間のＳＮＳ上での友人関係やフォロー状況などの情報を、ユーザＩＤと関連づけて保持することで、表示優先度算出部１０６は、動画像の視聴ユーザと友人関係にある投稿者の投稿したコメント、または視聴ユーザがフォローしている投稿者の投稿したコメントについて、表示優先度の値を高くするような重み付けを行うことができる。この場合も、先に述べた例と同様に、視聴中のＳＮＳ上の友人関係またはフォロー状況の変化を反映し、重畳表示順を逐次変更するという表示方法を行うことで、ユーザの嗜好変化を反映した表示を自動的に行うことが可能である。
【０１５６】
また、ユーザが被写体領域またはコメント領域の指定を行なう代わりに、ユーザＩＤを直接指定するとしてもよい。この場合、表示優先度算出部１０６は、指定されたユーザＩＤを持つ特定ユーザが投稿したコメントが、ユーザ入力により全て選択されたとして、図１９の（Ｃ）、または図２０の（Ｃ）の処理を行うとしてもよい。
【０１５７】
さらに、図２４に示すように、ユーザＩＤ情報サーバはユーザのＩＤと合わせて、ユーザの視聴履歴を保持するとしてもよい。ユーザは、同じ動画像を一度しか見ないとは限らない。この際、ユーザが当該動画像を複数回視聴する間に、当該動画像に対するコメントが、他のいずれかのユーザによって追加されなければ、すでに見た同じコメントが最上位に重畳された状態で、毎回同じコメント付き動画像が表示されてしまう。
【０１５８】
そこで、ユーザ情報取得部１１４において、前記ユーザの視聴履歴を取得し、ユーザが同一のコメント付き動画像を再度視聴したかどうかを判定するものとする。さらに、表示優先度算出部１０６は、その際、前回視聴時に最上位に重畳表示されていた領域の表示優先度を最も低くし、最も後方に重畳表示させることで、上記したような毎回同じコメント付き動画像が表示されてしまう状態を防ぐことができる。
【０１５９】
図２４の（ａ）に、ユーザの一度目の視聴を示す。この際、ユーザＩＤ情報サーバには、視聴時間帯と、視聴した動画像の情報などが書き込まれる。ユーザＩＤ情報サーバには、さらに、視聴時の表示優先度の情報が書き込まれていてもよい。
【０１６０】
図２４の（ｂ）に示すように、次にユーザが動画像を視聴した際には、表示優先度算出部１０６は、ユーザＩＤ情報サーバに問い合わせを行い、視聴している動画像がユーザＩＤ情報サーバに書き込まれているかどうかにより、既視聴動画像かどうかを判定する。視聴している動画像が既視聴動画像であった場合は、表示優先度算出部１０６は、前回視聴時の表示優先度の情報を参照し、前回最上方に重畳された領域の表示優先度を、最下位にする。なお、コメント付き動画像生成装置１００は、一度目の動画像の視聴時と同様に、図２４（ｃ）に示すように、視聴履歴をユーザＩＤ情報サーバに追加する。
【０１６１】
これにより、複数回の視聴において、視聴のたびに表示される領域の重畳順が更新される。このため、同一ユーザが同一の動画像を複数回視聴しても、同じコメントばかりが最前面で呈示されることなく、毎回表示の異なるコメント付き動画像が生成および呈示される。
【０１６２】
なお、コメント情報１１２には、全てのフレームの基点座標が含まれていなくても良い。例えば、領域情報が、隣接フレーム間における、各領域中のそれぞれの画素の動き、または、各領域全体の動きの情報を含んでいれば、コメント開始時点での基点座標と、先に求められている各領域中の画素の動きまたは全体の動きに基づいて、各領域または領域中の画素に追従させてコメントを表示させることができる（図２５Ａ、図２５Ｂ）。
【０１６３】
特に、被写体領域のサイズが変わるような場合でも、自然な追従を実現するためには、領域情報が含む被写体領域の中心とコメント領域の基点座標との位置関係を保つよう、コメント領域の基点座標を算出する。つまり、コメント開始フレームでのコメントが対応する被写体領域の領域サイズ、および被写体領域上のコメント開始時点での基点座標の画素位置に基づいて、相対的に被写体領域に対するコメント領域の位置が変わらないように、コメント領域の基点座標を算出する。たとえば、コメント領域の基点座標位置からコメント対象の被写体領域の中心までの距離を、被写体領域サイズで正規化して決定する等により、以降のフレームにおけるコメント領域の基点座標を求めてもよい。
【０１６４】
また、コメント付き動画像に対して、通常のビデオレートでの再生だけではなく、早送り・プレビュー・巻き戻し・スキップなどの視聴方法が実行される場合もある。特に動画像に多くのコメントが付与されていた場合、ユーザが通常の速度では判読できていた複数のコメントであっても、通常の動画像の早送り・巻き戻しのように、単純にフレームレートを上げて、またはフレームを飛ばして再生すると、コメント付き動画像の場合は非常に見づらくなってしまう。
【０１６５】
そこで、早送り・プレビュー・巻き戻し・スキップなどの視聴方法が実行される場合は、図２６に示すように、各フレームに付与されている複数のコメント領域のうち、最も上位に重畳表示されているコメント領域のみを重畳表示するものとする。たとえば、通常再生時には図２６の（ａ）、（ｃ）および（ｅ）のような表示が行われるとする。このとき早送り・プレビュー・巻き戻し・スキップなどの視聴方法が実行されると、図２６の（ｂ）、（ｄ）および（ｆ）のような表示が行われる。
【０１６６】
早送り・巻き戻しといった視聴方法の間は、ユーザにとってより短時間での情報処理が求められる状況になるが、上記のように、重要なコメントのみを表示することで、ユーザの嗜好を反映し、かつ、ユーザが処理すべきコメントの情報量を低減した、見やすい早送り・巻き戻し表示を行うことができる。
【０１６７】
以上説明したように、実施の形態１によると、ユーザ情報が含む動画像上の指示時刻及び指示座標に対応するコメントないし被写体領域の表示優先度を最も高くする等のルールに基づいて、動画像にコメント領域を重畳表示したコメント付き動画像を生成することができる。これにより、ある被写体領域やコメント領域に対しては、その上にコメント領域を重畳表示し、別の、例えばユーザにとって重要なコメントや被写体領域に関しては、その上にコメント領域を重畳せず、遮蔽されることを防ぐ、といったようなユーザにとって望ましい表示を実現できる。
【０１６８】
（実施の形態２）
実施の形態１におけるコメント付き動画像生成装置１００は、事前に取得された被写体領域情報１１１をデータ取得部１０４への入力とし処理を行うとしたが、被写体領域情報１１１を入力する代わりにコメント付き動画像生成装置内で生成するものとしてもよい。すなわち、本実施の形態におけるコメント付き動画像生成装置は、被写体領域情報を生成する被写体領域情報生成部を内部に備える。この場合、実施の形態２が対象とする動画像配信システムは例えば図２７に示す構成例のようになる。つまり、図１、図３または図４に例を示すような実施の形態１の構成では必要であった被写体領域情報を格納するための領域情報サーバを備えなくてもよいため、より汎用性が高くなるという効果がある。
【０１６９】
図２８に、実施の形態２に係るコメント付き動画像生成装置９００の機能的な構成を示す。コメント付き動画像生成装置９００は、コメント重畳情報生成部９０１、および画像合成部１０２、画像出力部１０３を含む。図６に示した実施の形態１に係るコメント付き動画像生成装置１００が含むコメント重畳情報生成部１０１と異なる処理を行うコメント重畳情報生成部９０１を備える。
【０１７０】
具体的には、コメント重畳情報生成部９０１は、実施の形態１におけるデータ取得部１０４の代わりに、データ取得部９０２と、被写体領域情報生成部９０３とを備える。データ取得部９０２は、動画像１１０とコメント情報１１２を取得する。被写体領域情報生成部９０３は、取得した動画像１１０を入力とし、被写体領域情報を生成する。本実施の形態の構成によれば、動画像１１０から被写体領域情報（領域属性、位置属性、および領域分割の情報等）を求めるため、被写体領域情報を入力する必要なく、目的とするコメント付き動画像生成を行なうことができる。
【０１７１】
データ取得部９０２については、実施の形態１のデータ取得部１０４との違いは、被写体領域情報１１１を受け取るかどうかのみであるため、詳しい説明は省略する。
【０１７２】
本実施の形態の特徴である、被写体領域情報生成部９０３が被写体領域情報を生成する処理には、例えば、動きに基づく領域分割方法を適用してもよい。具体的には、特許文献６で説明するような、画素の動きに基づいて動画像を領域分割する手法を適用してもよい。これによれば、移動体と背景の色が類似する場合であっても、類似した動きをする被写体領域ごとに、より正しく分離できる効果がある。また、関節における繋がりを情報として含む移動軌跡間距離に基づく領域分割を行なうため、人のように形状が大きく変化する移動体であっても精度よく領域抽出できる。また、隣接した２領域間で、例えば、各領域に属する動きベクトルが、領域の境界付近でより多く消滅するほうの領域、つまり、動画時刻で一定の時間帯に着目したときに、より多くの移動軌跡が途切れるほうの領域は、そうではない領域に、その時間帯において遮蔽されていると判定する等できる。このように、移動軌跡の消滅に着目することなどにより、隣接する領域間の前後位置情報を判別することができる。
【０１７３】
なお、本実施の形態のコメント情報１１２には、全てのフレームの基点座標が含まれていなくても良い。例えば、コメント開始時点での基点座標が分かれば、被写体領域情報生成部９０３で求められた各被写体領域の動きに基づいて、被写体領域に追従するようなコメント表示を実現することができる（図２５Ａ、図２５Ｂ）。
【０１７４】
例えば、領域の中心とコメント基点との位置関係を保つよう、被写体領域情報とコメント情報１１２とを入力として、以降のフレームにおけるコメント領域の基点座標を求めるコメント追従座標生成部を設けてもよい。
【０１７５】
なお、被写体領域情報生成部９０３を構成する各構成要素は、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよいし、電子回路または集積回路等のハードウェアで実現されてもよい。
【０１７６】
なお、被写体領域情報生成部９０３は、測距データなどを用いて領域分割を行っても良い。例えば、先述した領域分割手法（特許文献６）で用いられるペアワイズな距離に対して、測距により得られた距離が似ている領域間のペアワイズ距離は近づけ、そうでない領域間のペアワイズ距離を遠ざけるといった処理を追加することで、より正確に領域分割を行なえる。さらに、測距データを用いると、被写体領域の前後関係もある程度算出可能であるため、表示優先度算出部１０６は、前記のローカルな表示優先度を求める手法を用いても、実施の形態１で用いた、全ての領域間で表示優先度の順位付けを行なう手法を用いても、どちらでもよい。
【０１７７】
本実施の形態の動画像配信システムは、情報配信元が保有および運営するサーバ装置と、ネットワーク通信が可能な複数のパーソナルコンピュータ（ＰＣ）と、同じくネットワーク通信が可能な複数の携帯端末（携帯電話、スマートフォン、タブレットＰＣ等）と、有線または無線による通信回線とを、備える。
【０１７８】
前記サーバ装置、ＰＣ、および携帯端末は、上記通信回線に有線または無線を通じて、直接、または中継基地局を介して接続されており、当該通信回線を介して相互に情報通信が可能な状態になっている。
【０１７９】
以上説明したように、実施の形態２によると、実施の形態１の効果に加えて、動画像に含まれる被写体領域が不明である場合であっても、領域分割を行うことにより被写体領域を検出することができる。
【０１８０】
なお、上記した実施の形態１および２におけるコメント付き動画像生成装置は、入力支援装置としても有効に用いることができる。例を以下に示す。
【０１８１】
はじめに述べた、本発明が対象とするシステムの説明にあるとおり、ユーザはコメント付き動画像を視聴するだけでなく、自らのコメントを追加で入力することもできる。入力装置はタブレットやＰＣ等なんでもよく、動画像にユーザがコメント文を入力および付与する方法については、たとえば特許文献１に示されるような、既存の提案されているいくつかの手法を利用してもよい。
【０１８２】
図２９Ａは、入力装置と入力支援装置とを備えるシステムの構成を示すブロック図である。図２９Ｂは、入力支援装置が実行する処理のフローチャートである。ここで説明する入力支援装置は、前記コメントの入力が行われる際に表示制御を行う表示制御装置の部分であり、図２９Ａに示すように、前記入力装置から、コメントが入力される前に、これからユーザがコメントを入力する、という入力開始情報を受け取るものである。一例として、入力装置上においては、図３０Ａの（ａ）に示すように、ユーザがコメントを付与する際に選択できるコメントアイコン３０１を画面に表示する。ユーザがコメントアイコン３０１を押下すると、入力装置が、入力開始情報を入力支援装置に送るとしてもよい。また別の例としては、図３０Ａの（ｂ）に示すように、画面下端からの上方スワイプなどの特定ユーザアクションを受け付けることで、入力装置は、入力開始情報を入力支援装置に送るとしてもよい。
【０１８３】
入力支援装置が入力装置より、入力開始情報を受け取ると、自動的に動画像１１０の再生が一時停止された状態で、コメントの投稿が行われるとしてよい。あるいは、ユーザの画面上での操作によって動画像１１０の再生が一時停止されるとしてもよい。
【０１８４】
入力開始情報を上記のように受け付けることで、入力支援装置は、ユーザによるコメント入力の意図の発生をユーザが実際にコメント入力を行う前に、取得することができる。
【０１８５】
ここで、多くのコメントが既に付与されているコメント付き動画像に、さらにコメントを追加する際、ユーザがコメントを追加しようとしている対象である被写体領域またはコメント領域が、他のコメント領域または被写体領域によって隠されている可能性がある。ユーザがスムーズに、コメントしたいと望む対象領域にコメントを入力するためには、なるべくそれらの領域が隠されていない方が望ましいといえる。そこで、先に述べたような、入力開始情報を入力支援装置が受け取ると、あらかじめ表示順を変更することで、上記課題を解決する。
【０１８６】
具体的な例を図３０Ｂの（ａ）に示す。たとえば、ユーザが左側の被写体３０２に対してコメントを入力する際、視聴時と同じようにコメントを表示したままでは、図３０Ｂの（ａ）のように被写体が隠れてしまいコメント入力がしづらい可能性がある。そこで、図３０Ｂの（ｂ）に示すように、前記被写体を最上方に表示することで、特定の被写体へのコメント入力を容易にすることができる。
【０１８７】
上記のようにするには、ユーザがどの被写体に対してコメントを入力するか推定する必要がある。一般的には、ユーザのコメント入力対象は、特定の被写体であることが多い。このため、最も簡単には、すべての被写体領域を他のコメント領域よりも前面に表示する、とすればよい。
【０１８８】
さらに好ましくは、事前にユーザの好みなどを反映した情報を、ユーザＩＤ情報サーバ上に登録しておき、前記登録された被写体の被写体領域のみを、他の被写体領域やコメント領域よりも前面に表示する、としてもよい。この際、当該被写体領域に付与されたコメントを他の被写体領域やコメント領域よりも前面に表示する、としてもよく、このようにすることで、ユーザは、コメント入力対象の被写体領域に付与された他のコメントを見ながら、容易にコメント入力対象を選択しコメントを入力することができる。もちろん、前記ユーザＩＤ情報サーバ上で保持される前記情報は、該ユーザのインターネット上のアクティビティを反映してリアルタイムに変更されてもよい。
【０１８９】
あるいは、入力支援装置は、コメント情報蓄積サーバ上に保持された情報を参照し、たとえば該ユーザがコメント入力を行う時点以前に、コメントを多く行った対象の被写体領域を、ユーザがコメント入力する可能性が高い領域として用いてもよい。
【０１９０】
また、ユーザが、コメント入力を行う際に、あるコメントＡに対するコメントを入力したいという場合も考えられる。この場合は、被写体領域よりも前記コメントＡの視認性が重要となる。したがって、入力支援装置は、前記コメントＡのコメント領域および前記コメントＡに対応する被写体領域などを最前面に表示してもよい。このようにすることで、ユーザは、前記コメントＡを見ながら、容易にコメント入力対象の領域を選択し、コメントを入力することができる。
【０１９１】
上記のようにするには、ユーザがどのコメントに対するコメントを入力するかを推定する必要がある。先に述べた例のように、ユーザＩＤ情報サーバ上にユーザのＳＮＳ上での人間関係（ソーシャルグラフ）やフォロー状況などの情報を、ユーザＩＤと関連づけて保持している場合、または、入力支援装置によりユーザＩＤと関連付けられた、ユーザのソーシャルグラフにアクセス可能な場合は、前記ユーザの友人や、前記ユーザがフォローしている別のユーザが付与したコメントを、ユーザがコメントを行う対象のコメントとしてもよい。
【０１９２】
あるいは、ユーザＩＤ情報サーバ上に保持されたユーザの好みの被写体に対応するコメントを採用してもよい。これにより、図３０Ｂの（ｃ）に例を示すように、ユーザがコメントを入力しようとしている特定の被写体領域やコメント領域が隠れないようにすることができる。
【０１９３】
表示の際、コメント領域と被写体領域のどちらを優先するかに関しては、事前にユーザＩＤ情報サーバ上にユーザ本人が登録をしておいてもよいし、前記ユーザがコメントを入力しそうな被写体領域およびコメント領域のうち、当該フレームでどちらかしか存在しない（推定できなかった）場合は、存在する（推定できた）方のみの領域を優先するとしてもよい。
【０１９４】
（実施の形態３）
実施の形態１および２におけるコメント付き動画像生成装置は、動画サーバより取得した動画像をデータ取得部への入力とし、処理を行うこととしたが、動画像を動画サーバより入力するかわりに、コメント付き動画像生成装置を利用するユーザが保持したカメラから、そのカメラが撮影した動画像を入力するものとしてもよい。
【０１９５】
図３１に、本実施の形態３に係るコメント付き動画像生成装置１４００の構成を示す。コメント付き動画像生成装置１４００は、被写体領域情報生成部１４０２、コメント重畳情報生成部１４０１、画像合成部１０２、および画像出力部１０３を含む。実施の形態３のコメント付き動画像生成装置１４００は、コメント付き動画像生成装置１４００を内蔵する携帯端末上に表示させるためのコメント付き動画像を生成する装置である。携帯端末は、カメラ１４１０と、ディスプレイ１２０と、ＧＰＳ１４１１ａと、コンパス１４１１ｂとを備える。カメラ１４１０は、ユーザ（撮影者）の前方を撮影する。ディスプレイ１２０は、コメント付き動画像生成装置１４００で生成されたコメント付き動画像を表示し、ユーザに対して視認可能な位置角度で設置されている。ＧＰＳ１４１１ａは、携帯端末の位置情報を計測する。コンパス１４１１ｂは、携帯端末の方位を計測する。コメント付き動画像生成装置１４００は、カメラ１４１０で撮影された動画像と、ネットワークなどの通信経路を介して、外部データベースより取得したコメント情報とを合成することで、コメント領域を重畳したように見える動画像を生成する。
【０１９６】
被写体領域情報生成部１４０２は、カメラから動画像を取得し、被写体領域情報を算出する。コメント重畳情報生成部１４０１は、データ取得部１４０４と、コメント位置推定部１４０３と、入力受付部１０５と、表示優先度算出部１０６と、コメント重畳方法決定部１０７とを備える。
【０１９７】
データ取得部１４０４は、ユーザから一定範囲以内に存在する他端末のＧＰＳ情報および付加情報を含むコメント情報１４１２を取得する。コメント位置推定部１４０３は、ユーザが利用する携帯端末（以下、「自端末」という）および他人が利用する携帯端末（以下、「他端末」という）のＧＰＳ情報と、自端末のコンパス情報とに基づき、自端末のカメラ位置およびカメラ軸の方向と、自端末の動画像上での他端末の位置とを算出し、これらの算出結果から各コメント情報１４１２が動画像中のどの被写体領域に対応するのかを推定する。表示優先度算出部１０６は、被写体領域情報生成部１４０２が算出した被写体領域情報、コメント情報１４１２、ユーザ情報１１３およびコメント位置推定部１４０３での推定結果を入力として受け、コメントの表示位置と、被写体領域およびコメントの表示優先度とを算出する。コメント重畳方法決定部１０７は、表示優先度算出部１０６が算出した表示優先度に基づいて、動画像へのコメントの重畳方法を決定する。
【０１９８】
画像合成部１０２は、コメント重畳方法決定部１０７が決定したコメント重畳方法に基づいて、動画像にコメント領域を重畳する。画像出力部１０３は、コメントが重畳された動画像を画像出力部１０３に出力する。
【０１９９】
図３２に、本実施の形態のコメント付き動画像生成装置が対象とする、動画像配信システムの簡単な構成例を示す。動画像配信システムは、コメント情報蓄積サーバ、ユーザＩＤ情報サーバを備えている。さらに、コメント付き動画像生成装置１４００は、ネットワークを通じて、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｍｍｅｒｃｅ）サイトなどの外部サーバおよび情報にアクセス可能になっているとより望ましい。各サーバはそれぞれ同じＰＣ上で管理されていても、別のＰＣ上で管理されていても良い。
【０２００】
ユーザは、事前にユーザＩＤ情報サーバに、ユーザの情報を登録することができる。例えば、ユーザは、自分が購入した商品などの写真または動画像、上記商品に対応付けられた商品情報またはコメント、ＥＣサイトへのリンク情報、ＥＣサイトで販売される商品の情報および販売商品に対応付けられたコメントなどを、携帯端末に備えつけられたキーボードや、ソフトウェアキーボード、タッチ操作等を通じて入力することにより、これらのユーザの情報をユーザＩＤ情報サーバに登録することができる。例えば、ユーザＡは、商品カテゴリとして「ワンピース」、コメントとして「今日のコーデ」、日時として「２０１２．５．５」等を登録することができる。具体的には、その日付に、ユーザＡが身に着けるものや、所持するものなどを登録することを想定している。なお、コメントを登録した日時が自動的に登録されてもよい。ユーザ本人が洋服を身に着けるなどの予定をしている場合は、登録した洋服または商品（身に着けるものや、所持するもの）を、身に着ける、または所持する日時を、ユーザが入力するとしたほうが望ましい。
【０２０１】
これらのコメントを含む情報（コメント情報１４１２）は、コメントを行なったユーザのＩＤ、日時、写真、商品のカテゴリ、ＥＣサイトの情報（サイト名、商品番号等）等を含み、図３２に示すように、コメント情報蓄積サーバに新たに蓄積される。
【０２０２】
ユーザＡがコメントを行なった後、別のユーザＢおよびユーザＣが、ユーザＡに、携帯端末上のカメラ（起動済）を向けたとする。ユーザＡに対応付けられたコメント情報１４１２のうち、本日の日付に対応するものが、コメント情報蓄積サーバより配信され、図３２に示すように、ユーザＢおよびユーザＣの携帯端末画面上に、ユーザＡのコメント情報が重畳されて表示される。なお、ユーザＢおよびユーザＣは同じ日の別の時間帯に、全く別の場所で、ユーザＡにカメラを向けたものとしてもよい。カメラの画面内にユーザＡが写るようにカメラが保持されている間は、ユーザＡに関する情報が、図３２に示すように表示され続けるものとしてよい。前述のように、ユーザＡは、その日に身に着けるもの、または所持するものを事前に登録している。このため、ユーザＢおよびユーザＣの画面上には、ユーザＡが身に着けている、例えばユーザＡが身に着けているワンピースに関する情報が表示される。このため、ユーザＢおよびユーザＣは、そのワンピースに関する情報（メーカー、価格、購入可否等）を、その場で知ることができる。従来、このように「他の誰か（ユーザＡ）」が着用している洋服等について、ユーザＢまたはユーザＣが情報を知りたいと思っても、ユーザＡ本人に直接確認するしかなかった。以上の構成によれば、ユーザＢおよびユーザＣは簡単にユーザＡの着用しているもの等の情報を知ることができる。
【０２０３】
例えば、図３２のように、コメント情報を予め定めた配置で表示するとしてもよい。その際、ユーザＡのように、コメント情報にＥＣサイトの情報が紐付けられている場合は、画像またはコメント文字等にリンクの機能をもたせることで、ユーザの入力により、ＥＣサイト上の商品ページ（購入できるサイト）にワンタッチで遷移することができる。これにより、服に興味を持つユーザの購買行動を促進する効果が期待できる。
【０２０４】
さらに、図３２のユーザＢまたはユーザＣの画面には、ユーザＡと同じ画面にユーザＤが映っており、ユーザＤも同様に事前に情報を登録していた場合、ユーザＡの情報と重なってしまい、ユーザＡまたはユーザＤと、それぞれに対応付けられたコメント情報とが、互いに遮蔽しあう。ユーザＢまたはユーザＣがスムーズに知りたい情報を知るためには、ユーザＡおよびユーザＤの被写体領域およびコメント領域をどのように重畳表示するかを制御する必要がある。これに対し、本実施の形態では、実施の形態２で述べたコメント付き動画像生成装置を応用することで、上記課題を解決する。これにより、例えばユーザＡを選択したユーザＢは、ユーザＡおよびユーザＡに対応するコメント情報を遮蔽なく視認できる。また、ユーザＤを選択したユーザＣは、ユーザＤおよびユーザＤに対応したコメント情報を遮蔽なく視認できる。
【０２０５】
以下、本実施の形態に係るコメント付き動画像生成装置１４００の構成についてより詳細に説明する。
【０２０６】
図３３に示すように、実施の形態３に係るコメント付き動画像生成装置１４００は、特に、あるユーザが保持する携帯端末に備え付けられたカメラを向けた方向に存在する人物等の被写体について、当該人物の情報または人物が保有する物品に関する情報などを携帯端末上で視認可能な状態にするものである。コメント付き動画像生成装置１４００は、携帯端末のカメラによって撮影された動画像を、携帯端末のディスプレイに表示する際に、当該動画像中に存在する特定の被写体領域に対し、コメントとして上記情報を付加表示する。
【０２０７】
上記特定の被写体領域は、当該ユーザが携帯端末上のタッチパネルなどのＵＩを通じて指定した被写体領域、または、データ取得部１４０４で取得された外部データベースに登録されている情報に基づき定められる被写体領域である。コメント付き動画像生成装置１４００は、特定の被写体領域を遮蔽しないように、動画像にコメント領域を重畳する。
【０２０８】
被写体領域情報生成部１４０２については、実施の形態２の被写体領域情報生成部９０３と同じであるため説明を省略する。
【０２０９】
ユーザが被写体１を指定する場面について図３４に示す。入力受付部１０５は、ユーザがタッチパネル等を用いて入力した情報を受け付け、画像座標系Ｄにおけるユーザの指示位置を算出する。
【０２１０】
ここで、ユーザの指示位置などの画像上の任意の１点（ｘｄ，ｙｄ）が、世界座標系Ｗ上で指す直線Ｌ（（ｘｄ，ｙｄ）とカメラ座標系Ｃの原点とを通る直線）は、カメラのパラメータ、および座標系の変換行列が分かれば算出することができる。上記パラメータおよび変換行列はキャリブレーションを行うことにより求めることができる。より詳しくは、非特許文献１に詳しい説明があるため省略する。
【０２１１】
一方、各被写体の世界座標系Ｗ上における位置情報（ｘｗ，ｙｗ，ｚｗ）のｘ成分、ｚ成分は、各被写体が保有する携帯端末から発せられたＧＰＳ等により得られる。ｙ成分は図３４に示すとおり被写体の身長方向の成分であり、例えば、各ユーザが事前に登録した身長Ｈ、または、年代および性別から平均的な身長Ｈを求めて、幅をもたせる形（ｙｗ＝０〜Ｈ）で用いる。同様に、平均的な体の幅の値を用いて、ｘｗ、ｚｗに関しても幅をもたせてもよい。
【０２１２】
先に述べた直線Ｌが求まれば、このＬが通る経路上で、ユーザから最も近い（ｘｗ，ｙｗ，ｚｗ）に相当する被写体が、ユーザが指示した被写体となる。
【０２１３】
コメント位置推定部１４０３は、被写体領域情報生成部１４０２が算出した画像座標系Ｄ上での各被写体領域に相当する座標に基づき、データ取得部１４０４で取得した、近傍に位置する携帯端末のＧＰＳ情報から、同様にカメラのパラメータと変換行列を用いて、各被写体領域に対応する携帯端末を推定する。コメント位置推定部１４０３は、その携帯端末に対応する付加情報と被写体領域とを対応付け、動画像上に表示するコメントの位置、形状、文字情報等のコメント表示情報を生成する。
【０２１４】
表示優先度算出部１０６は、コメント位置推定部１４０３が生成したコメント表示情報、被写体領域情報生成部１４０２が算出した被写体領域情報、および入力受付部１０５が受け付けたユーザ情報１１３から、表示優先度を算出する。表示優先度算出部１０６の動作以降の動作については実施の形態１および２と同様であるため説明を省略する。
【０２１５】
以上のようにして、本実施の形態のコメント付き動画像生成装置１４００は、ユーザ所望の被写体領域の視認性を保ったコメント領域を生成し、被写体領域に対応する付加情報を図３３のように画面上に表示する。
【０２１６】
なお、表示優先度算出部１０６は、入力受付部１０５が受け付けたユーザ情報１１３を必ずしも利用しなくともよい。例えば、コメント情報蓄積サーバは、コメント情報蓄積サーバに蓄積されているデータを参照し、別途、特定の品番またはカテゴリ等に属するコメント投稿数をカウントすることにより、品番またはカテゴリ等の人気の高さ等を管理していても良い。表示優先度算出部１０６は、コメント情報蓄積サーバが管理している上記情報に基づいて、表示優先度に重み付けを行っても良い。
【０２１７】
また、先に図３２の説明で述べたように、コメント情報蓄積サーバに蓄えられたコメント情報は、ＥＣサイトへのリンク情報、商品の品番などを備えていても良い。各ユーザ携帯端末上に表示したコメント領域上で、ユーザが、コメントや画像をタッチすると、リンク情報に基づき、商品購入ページ等へ自動的に誘導する（画面が切り替わる）ことができる。すなわち、各携帯端末に紐付けられたコメントとともに、もしくは単独で、リンク情報が、コメント領域（吹き出し）に表示されるとしてもよい。例えば、被写体の身につけている洋服の情報を備えた販売サイトへのリンク情報を表示することにより、ユーザが気に入った洋服を、簡単にＥＣサイト経由で購入できる。
【０２１８】
実施の形態３によると、ＡＲ技術のように、ユーザが撮影した動画像中の被写体に対応するコメントが表示される場合に、ユーザが指定する被写体領域に対応するコメントが他のコメントによって遮蔽されないように、動画像にコメント領域を重畳表示させることができる。
【０２１９】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のコメント付き動画像生成装置などを実現するソフトウェアは、次のようなプログラムである。
【０２２０】
すなわち、このプログラムは、動画サーバより動画像を取得し、前記動画像に対応するコメントと、前記コメントの前記動画像上での表示時刻および表示位置を含むコメント情報をと、コメント情報蓄積サーバより取得するデータ取得ステップと、前記動画像上でのユーザによる指示時刻及び指示位置を含むユーザ情報の入力を受け付ける入力受付ステップと、前記コメント情報および前記ユーザ情報に基づいて、前記動画像に対応するコメントと前記動画像中に含まれる被写体の領域である被写体領域との表示優先度を算出する表示優先度算出ステップと、前記表示優先度算出ステップで算出された前記表示優先度に基づいて、前記コメントおよび前記被写体領域を重畳表示する際の表示順、または透過度を含むコメントの重畳方法を決定するコメント重畳方法決定ステップと、前記コメント重畳方法決定ステップで決定された前記コメントの重畳方法に基づいて、前記動画像に複数のコメントを合成したコメント付き動画像を生成する画像合成ステップと、前記画像合成ステップで生成された前記コメント付き動画像を出力する画像出力ステップとをコンピュータに実行させる。
【０２２１】
なお、上記した実施の形態におけるコメント付き動画像生成方法・プログラムは、コメント付きのユーザ選択被写体領域、および前記被写体に付与されたコメント領域、あるいはユーザ選択コメント領域、および前記コメントが付与された被写体領域を、他の被写体領域および他の被写体に対応するコメント領域よりも上方に重畳表示する順を、情報として生成するコメント重畳順生成方法としても、有効に用いることができる。
【０２２２】
また、上記した実施の形態におけるコメント付き動画像生成方法・プログラムは、生成したコメント付き動画像を出力するコメント付き動画像出力方法としても、有効に用いることができる。
【０２２３】
以上、本発明の一つまたは複数の態様に係るコメント付き動画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０２２４】
本発明は、ネットワーク上の動画像配信サービスまたはＳＮＳを利用可能な、ネットワークに接続可能なビデオカメラ、ＴＶ、携帯端末、タブレットＰＣ等のＡＶ機器に内蔵させるコメント付き動画像生成装置等として利用することが可能である。
【符号の説明】
【０２２５】
１００、９００、１４００  コメント付き動画像生成装置
１０１、９０１、１４０１  コメント重畳情報生成部
１０２  画像合成部
１０３  画像出力部
１０４、９０２、１４０４  データ取得部
１０５  入力受付部
１０６  表示優先度算出部
１０７  コメント重畳方法決定部
１１０  動画像
１１１  被写体領域情報
１１２  コメント情報
１１３  ユーザ情報
１２０  ディスプレイ
２００  コンピュータ
２０１  Ｉ／Ｆ
２０２  ＣＰＵ
２０３  ＲＯＭ
２０４  ＲＡＭ
２０５  ＨＤＤ
２０６  ビデオカード
２１０  記憶装置
２２０ａ  ディスプレイ端末
２２０ｂ  ディスプレイ
４００〜４０３  被写体領域
５００〜５０２  コメント領域
９０３、１４０２  被写体領域情報生成部
１４０３  コメント位置推定部
１４１０  カメラ
１４１１ａ  ＧＰＳ
１４１１ｂ  コンパス
１４１２  コメント情報
【図１】
0005571269.tif 000002
【図２Ａ】
0005571269.tif 000003
【図２Ｂ】
0005571269.tif 000004
【図３】
0005571269.tif 000005
【図４】
0005571269.tif 000006
【図５Ａ】
0005571269.tif 000007
【図５Ｂ】
0005571269.tif 000008
【図５Ｃ】
0005571269.tif 000009
【図５Ｄ】
0005571269.tif 000010
【図６】
0005571269.tif 000011
【図７Ａ】
0005571269.tif 000012
【図７Ｂ】
0005571269.tif 000013
【図８】
0005571269.tif 000014
【図９Ａ】
0005571269.tif 000015
【図９Ｂ】
0005571269.tif 000016
【図１０Ａ】
0005571269.tif 000017
【図１０Ｂ】
0005571269.tif 000018
【図１１Ａ】
0005571269.tif 000019
【図１１Ｂ】
0005571269.tif 000020
【図１２】
0005571269.tif 000021
【図１３】
0005571269.tif 000022
【図１４】
0005571269.tif 000023
【図１５】
0005571269.tif 000024
【図１６】
0005571269.tif 000025
【図１７】
0005571269.tif 000026
【図１８】
0005571269.tif 000027
【図１９】
0005571269.tif 000028
【図２０】
0005571269.tif 000029
【図２１Ａ】
0005571269.tif 000030
【図２１Ｂ】
0005571269.tif 000031
【図２１Ｃ】
0005571269.tif 000032
【図２１Ｄ】
0005571269.tif 000033
【図２１Ｅ】
0005571269.tif 000034
【図２１Ｆ】
0005571269.tif 000035
【図２２】
0005571269.tif 000036
【図２３】
0005571269.tif 000037
【図２４】
0005571269.tif 000038
【図２５Ａ】
0005571269.tif 000039
【図２５Ｂ】
0005571269.tif 000040
【図２６】
0005571269.tif 000041
【図２７】
0005571269.tif 000042
【図２８】
0005571269.tif 000043
【図２９Ａ】
0005571269.tif 000044
【図２９Ｂ】
0005571269.tif 000045
【図３０Ａ】
0005571269.tif 000046
【図３０Ｂ】
0005571269.tif 000047
【図３１】
0005571269.tif 000048
【図３２】
0005571269.tif 000049
【図３３】
0005571269.tif 000050
【図３４】
0005571269.tif 000051