(57)【要約】【課題】  ユーザの望むデータを付加することが可能な動画データを生成する電子機器および電子機器システムを提供する。【解決手段】  動画データを再生中に一時停止させることでディスプレイに画像を表示させ、この静止画像を参考にして例えばペン等を用いたユーザの操作によってディスプレイに静止画データを入力する。動画データを一時停止させることでディスプレイに表示される静止画データ（抽出静止画データ）とこの抽出静止画データとユーザの操作によって入力された静止画データとを合成した静止画データ（合成静止画データ）を含む動画データを通信相手に送信する。この動画データを受信した通信相手機器は、合成静止画データを見ることができるとともに、抽出静止画データに参考にしてユーザの望むデータを入力する。【選択図】  図１１
2009071379.tif 000002
【特許請求の範囲】
【請求項１】
外部機器と通信可能な電子機器において、
前記外部機器から送信された動画データを受信する受信手段と、
前記受信手段によって受信された動画データが表示されるディスプレイと、
前記動画データに含まれ前記ディスプレイに表示される第１の静止画像を生成する第１の画像生成手段と、
前記第１の静止画像を前記ディスプレイに表示した状態で、ユーザの操作に応じて入力され前記ディスプレイに表示される第２の静止画像を生成する第２の画像生成手段と、
前記第１の静止画像と前記第２の静止画像とを合成して第３の静止画像を生成する合成手段と、
前記第１の静止画像および前記第３の静止画像から構成される動画データを生成するエンコーダと、
前記エンコーダが生成した動画データを前記外部機器に送信する送信手段と、
を具備することを特徴とする電子機器。
【請求項２】
前記第１の画像生成手段は、前記動画データの再生中にユーザによる一時停止操作に応じて前記ディスプレイに表示される前記第１の静止画像を生成する手段であることを特徴とする請求項１記載の電子機器。
【請求項３】
第１の電子機器と第２の電子機器とからなる電子機器システムにおいて、
前記第１の電子機器は、
前記第２の電子機器から送信された動画データを受信する第１の受信手段と、
前記第１の受信手段によって受信された動画データを表示可能な第１のディスプレイと、
前記第１の受信手段によって受信された動画データに含まれ前記第１のディスプレイに表示される第１の静止画像を生成する第１の画像生成手段と、
前記第１の静止画像を前記第１のディスプレイに表示した状態で、ユーザの操作に応じて入力され前記第１のディスプレイに表示される第２の静止画像を生成する第２の画像生成手段と、
前記第１の静止画像と前記第２の静止画像とを合成して第３の静止画像を生成する合成手段と、
前記第１の静止画像および前記第３の静止画像から構成される動画データを生成するエンコーダと、
前記第１の静止画像および前記第３の静止画像から構成される動画データを前記第２の電子機器に送信する送信手段と、
前記第２の電子機器は、
前記第１の電子機器から送信され前記第１の静止画像および前記第３の静止画像から構成される動画データを受信する第２の受信手段と、
前記第２の受信手段によって受信された、前記第１の静止画像および前記第３の静止画像から構成される動画データを表示可能な第２のディスプレイと、
を具備することを特徴とする電子機器システム。
【請求項４】
前記第１の電子機器が生成する動画データは、前記第１の静止画像を含む動画を生成するための第１のフレーム群および前記第３の静止画像を含む動画を生成するための第２のフレーム群を含む動画データであり、
前記第２の電子機器は、
前記受信手段によって受信された動画データを構成する前記第１のフレーム群および前記第２のフレーム群を判別する判別手段と、
前記判別手段によって判別された前記第１のフレーム群を用いて前記第１の静止画像を生成する生成手段と、
を具備することを特徴とする請求項３記載の電気機器システム。
【請求項５】
前記第２の電子機器の判別手段は、
前記受信された動画データを構成する前記第１のフレーム群および前記第２のフレーム群夫々のビットレート値に基づいて前記第１のフレーム群および前記第２のフレーム群を判別する手段であることを特徴とする請求項４記載の電子機器システム。
【請求項６】
前記第２の電子機器の判別手段は、
前記第１のフレーム群が第１のＩフレームおよび前記第１のＩフレーム以外のフレームの順番で並べられており、かつ、前記第２のフレーム群が第２のＩフレームおよび前記第２のＩフレーム以外のフレームの順番で並べられている場合、前記第１のフレーム群および前記第２のフレーム群のビットレート値をモニタリングして前記第１のＩフレームと前記第２のＩフレームとを判別することで前記第１のフレーム群および前記第２のフレーム群を判別する手段であることを特徴とする請求項５記載の電子機器システム。
【請求項７】
前記第１の電子機器が生成する動画データは、前記第１の静止画像を含む動画を生成するための第１のフレーム群および前記第３の静止画像を含む動画を生成するための第２のフレーム群を含む動画データであり、
前記第２の電子機器は、
前記受信された動画データを構成する前記第１のフレーム群および前記第２のフレーム夫々に付与されているフレーム識別データに基づいて前記第１のフレームおよび前記第２のフレームを判別する判別手段をさらに具備することを特徴とする請求項４記載の電子機器システム。
【請求項８】
前記第２の電子機器の判別手段は、
前記第１のフレーム群が第１のＩフレームおよび前記第１のＩフレーム以外のフレームの順番で並べられており、かつ、前記第２のフレーム群が第２のＩフレームおよび前記第２のＩフレーム以外のフレームの順番で並べられている場合、前記第１のＩフレームに付与されているフレーム識別データおよび前記２のＩフレーム付与されているフレーム識別データに基づいて前記第１のフレーム群および前記第２のフレーム群を判別する手段であることを特徴とする請求項７記載の電子機器システム。
【請求項９】
第１の電子機器および第２の電子機器から構成される電子機器システムにおいて、
前記第１の電子機器は、
前記第２の電子機器から送信された動画データを受信する第１の受信手段と、
前記第１の受信手段によって受信された動画データに含まれ前記第１のディスプレイに表示される第１の静止画像を生成する第１の画像生成手段と、
前記第１の静止画像を前記第１のディスプレイに表示した状態で、ユーザの操作に応じて入力され前記第１のディスプレイに表示される第２の静止画像を生成する第２の画像生成手段と、
前記第１の静止画像と前記第２の静止画像とを合成して第３の静止画像を生成する合成手段と、
前記第１の静止画像および前記第３の静止画像を含む動画データを、この動画データを構成する静止画像群のうち前記第１の静止画像がどの部分に存在するかを示すデータに基づいて生成するエンコーダと、
前記エンコーダによって生成された前記第１の静止画像および前記第３の静止画像を含む動画データを前記第２の電子機器に送信する送信手段と、
前記第２の電子機器は、
前記第１の電子機器から送信された前記第１の静止画像および前記第３の静止画像を含む動画データを受信する第２の受信手段と、
前記第２の受信手段によって受信された前記第１の静止画像および前記第３の静止画像を含む動画データを表示する第２のディスプレイと、
を具備することを特徴とする電子機器システム。
【請求項１０】
前記第１の電子機器が生成する動画データは、前記第１の静止画像を含む動画を生成するための第１のフレーム群および前記第３の静止画像を含む動画を生成するための第２のフレーム群を含む動画データであり、この動画データを構成するフレーム群のうち前記第１のフレーム群がどの部分に存在するかを示すデータに基づいて生成される動画データであり、
前記第２の電子機器は、
前記受信された動画データを構成するフレーム群のうち前記第１のフレーム群がどの部分に存在するかを示すデータに基づいて、前記動画データを構成するフレーム群の中から前記第１のフレーム群を取得する取得手段と、
前記取得手段によって取得された前記第１のフレーム群を用いて前記第１の静止画像を生成する生成手段と、
をさらに具備することを特徴とする請求項９記載の電子機器システム。
【請求項１１】
前記第２の電子機器は、前記第１の電子機器から送信されてきた、前記動画データを構成するフレーム群のうち前記第１のフレーム群がどの部分に存在するかを示すデータに基づいて、前記動画データを構成するフレーム群の中から前記第１のフレーム群を取得することを特徴とする請求項１０記載の電子機器システム。
【請求項１２】
前記動画データの再生中にユーザによる一時停止操作に応じて前記第１のディスプレイに表示される前記第１の静止画像を生成することを特徴とする請求項３記載の電子機器システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを再生および通信相手に送信可能な電子機器および電子機器システムに関する。
【背景技術】
【０００２】
近年、通信技術が発達するに伴い、例えばインターネットといったネットワークを介して情報処理装置間にて動画データのやり取りを行うことが可能となった。
【０００３】
例えばインターネットプロトコルを利用して当初、音声データを転送するために開発されたＶｏＩＰ（Ｖｏｉｃｅ  ｏｖｅｒ  ＩＰ）技術が、音声データのみならず動画データの伝送も行うことが可能となるようにさらに開発された。
【０００４】
機器間にて行われる動画データの伝送に関係する技術として、人物画像（自然画像）部分と人物画像以外の背景領域となるグラフィック画像とを合成し、この合成画像をＨ．２６１コーディックを用いて符号化することで動画データを生成し、この動画データを通信相手に送信する技術があった（特許文献１参照。）。
【特許文献１】特開平８−８４３３１号公報（第５頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術のように、合成画像を符号化することで生成された動画データを通信相手に送信した場合、この動画データを受信した側にて合成前の画像を容易に抽出することは難しい。
【０００６】
現在、ユーザ間で動画データを互いに送信することでコミュニケーションを行う場合、ユーザの望むデータを付加した動画データを通信相手に送りたい、というユーザのニーズがある。また、データが付加された動画データを受信した受信機側のユーザが、送信機側のユーザによってデータが付加される前の動画データに受信機側のユーザが好むデータを付加したい、というニーズもある。
【０００７】
そこで、本発明は、ユーザの望むデータを付加することが可能な動画データを生成する電子機器および電子機器システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に関わる電子機器は、外部機器と通信可能な電子機器において、前記外部機器から送信された動画データを受信する受信手段と、前記受信手段によって受信された動画データが表示されるディスプレイと、前記動画データに含まれ前記ディスプレイに表示される第１の静止画像を生成する第１の画像生成手段と、前記第１の静止画像を前記ディスプレイに表示した状態で、ユーザの操作に応じて入力され前記ディスプレイに表示される第２の静止画像を生成する第２の画像生成手段と、前記第１の静止画像と前記第２の静止画像とを合成して第３の静止画像を生成する合成手段と、前記第１の静止画像および前記第３の静止画像から構成される動画データを生成するエンコーダと、前記エンコーダが生成した動画データを前記外部機器に送信する送信手段とを具備することを特徴とする
【０００９】
さらに、請求項３に関わる電子機器システムは、第１の電子機器と第２の電子機器とからなる電子機器システムにおいて、前記第１の電子機器は、前記第２の電子機器から送信された動画データを受信する第１の受信手段と、前記第１の受信手段によって受信された動画データを表示可能な第１のディスプレイと、前記第１の受信手段によって受信された動画データに含まれ前記第１のディスプレイに表示される第１の静止画像を生成する第１の画像生成手段と、前記第１の静止画像を前記第１のディスプレイに表示した状態で、ユーザの操作に応じて入力され前記第１のディスプレイに表示される第２の静止画像を生成する第２の画像生成手段と、前記第１の静止画像と前記第２の静止画像とを合成して第３の静止画像を生成する合成手段と、前記第１の静止画像および前記第３の静止画像から構成される動画データを生成するエンコーダと、前記第１の静止画像および前記第３の静止画像から構成される動画データを前記第２の電子機器に送信する送信手段と、前記第２の電子機器は、前記第１の電子機器から送信され前記第１の静止画像および前記第３の静止画像から構成される動画データを受信する第２の受信手段と、前記第２の受信手段によって受信された、前記第１の静止画像および前記第３の静止画像から構成される動画データを表示可能な第２のディスプレイと、を具備することを特徴とする。
【００１０】
さらに、請求項３に関わる電子機器システムは、第１の電子機器および第２の電子機器から構成される電子機器システムにおいて、前記第１の電子機器は、前記第２の電子機器から送信された動画データを受信する第１の受信手段と、前記第１の受信手段によって受信された動画データに含まれ前記第１のディスプレイに表示される第１の静止画像を生成する第１の画像生成手段と、前記第１の静止画像を前記第１のディスプレイに表示した状態で、ユーザの操作に応じて入力され前記第１のディスプレイに表示される第２の静止画像を生成する第２の画像生成手段と、前記第１の静止画像と前記第２の静止画像とを合成して第３の静止画像を生成する合成手段と、前記第１の静止画像および前記第３の静止画像を含む動画データを、この動画データを構成する静止画像群のうち前記第１の静止画像がどの部分に存在するかを示すデータに基づいて生成するエンコーダと、前記エンコーダによって生成された前記第１の静止画像および前記第３の静止画像を含む動画データを前記第２の電子機器に送信する送信手段と、前記第２の電子機器は、前記第１の電子機器から送信された前記第１の静止画像および前記第３の静止画像を含む動画データを受信する第２の受信手段と、前記第２の受信手段によって受信された前記第１の静止画像および前記第３の静止画像を含む動画データを表示する第２のディスプレイとを具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ユーザの望むデータを付加することが可能な動画データを生成する電子機器および電子機器システムを提供することが可能となる。
【発明を実施するための最良の形態】
【００１２】
図１は、複数の電子機器間にて行われる通信の概要について示した図である。
【００１３】
第１の電子機器１と第２の電子機器２とは、ネットワーク３を介して通信する。第１の電子機器１および第２の電子機器２は、再生された動画、静止画等をディスプレイに映し出すことが可能な機器である。
【００１４】
ここで、第１の電子機器１および第２の電子機器２のハードウェア構成、ソフトウェア構成は基本的に同じ構成であるものとして、以下、説明する。
【００１５】
第１の電子機器１は、ディスプレイ１０、アンテナ１９およびカメラ１６を具備する。第２の電子機器２は、ディスプレイ２０、アンテナ２９およびカメラ２６を具備する。
【００１６】
第１の電子機器１は動画データを取り扱うアプリケーションを起動し、例えば第１の電子機器１のカメラ１６を用いて撮影された動画データを第２の電子機器２に送信する場合、第１の電子機器１にて起動されている動画データを取り扱うためのアプリケーションは、アンテナ１９を用いてネットワーク３を介して第２の電子機器２に対して動画データを伝送する。動画データを伝送するための通信プロトコルとして、例えばＶｏＩＰ等が挙げられる。
【００１７】
第２の電子機器２は、動画データを取り扱うアプリケーションを起動しており、第２の電子機器２の動画データを取り扱うアプリケーションは、ネットワーク３を介して伝送されてくる第１の電子機器１の動画データをアンテナ２９を用いて受信する。
【００１８】
第１の電子機器１のディスプレイ１０には、動画データを取り扱うアプリケーションによって再生された動画データが表示される。また、第２の電子機器２のディスプレイ２０には、第１の電子機器１から伝送され、動画データを取り扱うアプリケーションによって再生された動画データが表示される。
【００１９】
第２の電子機器２は動画データを取り扱うアプリケーションを起動し、第２の電子機器２のカメラ２６を用いて撮影された動画データを第１の電子機器１に送信する場合、第２の電子機器２の動画データを取り扱うアプリケーションはアンテナ２９を用いてネットワーク３を介して第１の電子機器１に対して動画データを伝送する。第１の電子機器１の動画データを取り扱うアプリケーションは、ネットワーク３を介して伝送されてくる第２の電子機器２の動画データをアンテナ１９を用いて受信する。
【００２０】
第２の電子機器２のディスプレイ２０には、動画データを取り扱うアプリケーションによって再生された動画データが表示される。また、第１の電子機器１のディスプレイ１０には、第２の電子機器２から伝送され、動画データを取り扱うアプリケーションによって再生された動画データが表示される。
【００２１】
図２は、図１にて説明した第１の電子機器１のハードウェア構成および第２の電子機器２のハードウェア構成の一例を示したブロック図である。
【００２２】
第１の電子機器１および第２の電子機器２のハードウェア構成、ソフトウェア構成は、基本的に同じ構成である。従って、ここでは、第２の電子機器２を構成するハードウェア群の夫々について説明する。第１の電子機器を構成するハードウェア群の夫々は、第２の電子機器を構成するハードウェア群の夫々に対する説明内容と同じであるので説明を省略する。
【００２３】
第１の電子機器１にて生成される動画データが、ネットワーク３を介して、第２の電子機器２に送信され、第２の電子機器２が受信した動画データを動画データを扱うアプリケーションを用いてディスプレイ２０に表示する、第２の電子機器２にて動画データを生成した後、アンテナ２９を用いて第１の電子機器１に対して生成した動画データを送信する、という流れで、ハードウェア群の夫々について説明する。
【００２４】
まず、第２の電子機器２が、アンテナ２９を用いて第１の電子機器１から送信されてきた動画データを受信し、動画データを取り扱うアプリケーションを用いてディスプレイ２０に表示する内容について説明する。
【００２５】
第２の電子機器２のアンテナ２９には通信コントローラ２７が接続される。通信コントローラ２７は、アンテナ２９を用いて通信相手機器との間で行う通信を制御する。
【００２６】
通信コントローラ２７には、コントローラ２１が接続されている。このコントローラ２１には、ディスプレイタブレット２０、デコーダ２２、エンコーダ２３、メモリ２５、ビデオカメラ２６が接続される。
【００２７】
第１の電子機器１から伝送されアンテナ２９にて受信した動画データは、通信コントローラ２７、コントローラ２１の夫々で処理され、デコーダ２２に送られる。
【００２８】
デコーダ２２は、コントローラ２１から送られてきた動画データをデコード処理する。デコーダ２２にてデコード処理された動画データは、コントローラ２１によってディスプレイタブレット２０に表示される。
【００２９】
ディスプレイタブレット２０は、ユーザがペン等を用いてディスプレイタブレット２０上に描いた静止画データを入力する。ディスプレイタブレット２０によって入力された静止画データはコントローラ２０に送られる。
【００３０】
エンコーダ２３は、コントローラ２０から送られてくるデータをエンコード処理する。エンコーダ２３によってエンコード処理された動画データは、コントローラ２０を介して、通信コントローラ２７に伝送される。通信コントローラ２７は、アンテナ２９を用いて第１の電子機器１に対してエンコーダ２３から送られてきた動画データを送信する。
【００３１】
ビデオカメラ２６が入力したデータは、コントローラ２１を介してエンコーダ２３によってエンコード処理される。エンコーダ２３によってエンコード処理された動画データは、メモリ２６に格納される。次に、コントローラ２１にて実行される静止画の合成処理について説明する。
【００３２】
図３は、コントローラ２１にて実行される静止画の合成処理の一例について説明する流れ図である。
【００３３】
第２の電子機器２は、アンテナ２９および通信コントローラ２７を用いて、第１の電子機器１から送信されてきた動画データを受信する（ステップ  Ｓ１００）。
【００３４】
デコーダ２２は、コントローラ２１を介して、ステップＳ１００にて受信した動画データを受け取り、この動画データをエンコード処理する（ステップ  Ｓ１０１）。
【００３５】
デコーダ２２によってデコード処理された動画データは、コントローラ２１を介して、動画データを取り扱うアプリケーションを用いてディスプレイタブレット２０に表示される（ステップ  Ｓ１０２）。ここで、ディプレイタブレット２０に表示される動画データの一例を、図４として示す。
【００３６】
ディプレイタブレット２０には、動画データを取り扱うためのアプリケーションのインタフェース２０ａが表示される。このアプリケーションのインタフェース２０ａには、動画データを再生するためのソフトウェアボタン（動画データ再生ボタン）２０ｂ、動画データを巻き戻しするためのソフトウェアボタン（動画データ巻き戻しボタン）２０ｃ、動画データを早送りするためのソフトウェアボタン（動画データ早送りボタン）２０ｄ、動画データの再生を一時停止するためのソフトウェアボタン（動画データ一時停止ボタン）２０ｅが設けられる。ユーザはこれらのソフトウェアボタンを例えばペン等を用いて操作することで、動画データの再生、早送り等の操作等を行う。図３を用いて、ステップＳ１０２以降の処理について説明する。
【００３７】
再生中の動画データがディスプレイタブレット２０に表示中に、ユーザによって動画データ再生を一時停止させるためのソフトウェアボタンをタップクリックするといった操作がなされた場合、コントローラ２１はディプレイタブレット２０を介してこのタップクリック操作を検出する（ステップ  Ｓ１０３  Ｙｅｓ）。
【００３８】
コントローラ２１は、ステップＳ１０３における動画データ一時停止ボタン２０ｅのタップクリック操作検出に応じて、動画再生アプリケーションにおける動画データの再生を一時停止する（ステップ  Ｓ１０４）。
【００３９】
一時停止させるためのソフトウェアボタンをタップクリックすることでユーザが望む静止画がディスプレイタブレット２０に表示されなかった場合、一時停止させた状態で動画データ巻き戻しボタン２０ｃまたは動画データ早送りボタン２０ｄをタップクリック操作することで、動画データの再生を一時停止させた静止画をディスプレイタブレット２０に表示させる。
【００４０】
コントローラ２１は、ステップＳ１０４にて再生中の動画データを一時停止させることでディスプレイタブレット２０に表示される静止画を、静止画データ（再生中の動画データから抽出された静止画データであるので、以下、"抽出静止画データ"と称す）として生成する（ステップ  Ｓ１０５）。
【００４１】
ステップＳ１０４にて動画データの再生を一時停止した状態にて、ユーザはディスプレイタブレット２０に例えばペンを用いて文字、記号等のデータを入力する。ここで、ディプレイタブレット２０に入力された文字、記号等のデータのディスプレイタブレット２０への表示一例を、図５として示す。
【００４２】
図５に示す画像は、ステップＳ１０４にて一時停止させた動画データが静止画として表示されているディスプレイタブレット２０にペン２６を用いて文字等のデータが入力された状態の静止画像である。図５に示されるように、ディスプレイタブレット２０には、一時停止させた動画データが静止画として表示されるとともに、ペン２６等を用いてユーザが入力した文字等のデータが静止画として表示される。図３を用いて、ステップＳ１０５以降の処理について説明する。
【００４３】
コントローラ２１が、ステップＳ１０５におけるペン２６等によるデータ入力を検出した場合（ステップ  Ｓ１０６  Ｙｅｓ）、コントローラ２１は、ペン２６等によってディスプレイタブレット２０を介して入力された文字等のデータを静止画データ（以下、文字等のデータを入力することで生成される静止画データであるので、以下、"入力静止画データ"と称す）として生成し保存する（ステップ  Ｓ１０７）。
【００４４】
コントローラ２１は、抽出静止画データと入力静止画データを合成することで、図５に示す静止画データを生成する（ステップ  Ｓ１０８）。コントローラ２１にて合成された静止画データのことを、以下、"合成静止画データ"と称す。次に、エンコーダ２３にて実行される動画データ生成処理について説明する。
【００４５】
図６は、エンコーダ２３にて実行される動画データの生成処理の一例について説明する流れ図である。
【００４６】
エンコーダ２３は、ステップＳ１０５にて生成した抽出静止画データをコントローラ２１から取得する（ステップ  Ｓ２００）。
【００４７】
さらに、エンコーダ２３は、ステップＳ１０８にて生成した合成静止画データをコントローラ２１から取得する（ステップ  Ｓ２０１）。
【００４８】
エンコーダ２３は、ステップＳ２００にて取得した抽出静止画データをＩフレームに符号化する（ステップ  Ｓ２０２）。ステップＳ２０２にて生成されたＩフレームのことを、以下、"Ｉフレーム（抽出静止画データ）"と称す。
【００４９】
さらに、エンコーダ２３は、ステップＳ２００にて取得した抽出静止画データをＰフレームに符号化する（ステップ  Ｓ２０３）。ステップＳ２０３にて生成されたＰフレームのことを、以下、"Ｐフレーム（抽出静止画データ）"と称す。
【００５０】
次に、エンコーダ２３は、ステップ２０１にて取得した合成静止画データをＩフレームに符号化する（ステップ  Ｓ２０４）。ステップＳ２０４にて生成されたＩフレームのことを、以下、"Ｉフレーム（合成静止画データ）"と称す。
【００５１】
さらに、エンコーダ２３は、ステップＳ２０１にて取得した合成静止画データをＰフレームに符号化する（ステップ  Ｓ２０５）。ステップＳ２０５にて生成されたＰフレームのことを、以下、"Ｐフレーム（合成静止画データ）"と称す。
【００５２】
エンコーダ２３は、ステップＳ２０２，Ｓ２０３，Ｓ２０４，Ｓ２０５にて生成、符号化したフレームを図７に示すように並べ、動画データを生成する。
【００５３】
まず、エンコーダ２３は、ステップＳ２０２にて生成したＩフレームを動画データの先頭となるＩフレーム（抽出静止画データ）３０として並べる（ステップ  Ｓ２０６）。
【００５４】
エンコーダ２３は、ステップＳ２０５にて並べたＩフレーム（抽出静止画データ）に続いて、ステップＳ２０３にて生成したＰフレーム（抽出静止画データ）３１を並べる（ステップ  Ｓ２０７）。
【００５５】
さらに、エンコーダ２３は、ステップＳ２０６にて並べたＰフレーム（抽出静止画データ）に続いて、ステップＳ２０４にて生成したＩフレーム（合成静止画データ）３２を並べる（ステップ  Ｓ２０８）。
【００５６】
エンコーダ２３は、ステップＳ２０７にて並べたＩフレーム（合成静止画データ）に続いて、ステップＳ２０５にて生成したＰフレーム（合成静止画データ）３３を並べる（ステップ  Ｓ２０９）。
【００５７】
エンコーダ２３が図６を用いて説明した動画データを生成することで、第１の電子機器１を使用するユーザは、第２の電子機器２から送信されるこの動画データを受信して再生した場合に、ディスプレイタブレット２０を介して入力されたデータと合成されていない静止画データ（抽出静止画データ）およびディスプレイタブレット２０を介して入力されたデータと合成された静止画データ（合成静止画データ）とを見ることが可能となる。
【００５８】
第１の電子機器１のユーザは、第２の電子機器２から送信されてきた動画データを再生時に、ディスプレイタブレット１０に表示されている動画データを見ながら一時停止等の操作をすることで、ディスプレイタブレット１０に抽出静止画データを表示させることが可能となり、さらに、ディスプレイタブレット１０に表示された抽出静止画データを保存することが可能となる。
【００５９】
このように、第１の電子機器１のユーザの操作によってディスプレイタブレット１０に抽出静止画データを表示させ、保存することが可能であるが、以下では、この抽出静止画データを自動的に生成する手順について、３通りの手順を説明する。
【００６０】
以下、図６を用いて説明した手順で第２の電子機器２にて生成された動画データがネットワーク３を介して第１の電子機器１に送信され、第１の電子機器１が第２の電子機器２から送信されてきた動画データを用いて抽出静止画データを生成する手順について説明する。
【００６１】
図８は、エンコーダ２３にて生成された動画データを受信した機器にて行われる抽出静止画データの第１の生成手順の一例を示した流れ図である。
【００６２】
図６を用いて説明した、第２の電子機器２のエンコーダ２３にて生成された動画データの先頭のフレームはＩフレームであり、このＩフレームに続くフレームはＰフレームである。さらに、このＰフレームの後に続くフレームはＩフレームである。
【００６３】
ＩフレームとＰフレームとのデータ量を比較した場合、Ｉフレームのデータ量のほうがＰフレームのデータ量よりも多い。データ量が少ないフレームを伝送する場合と比較してデータ量が多いフレームを伝送するほうが、フレームを伝送するのに要するビットレート値が大きくなるという特徴を利用して、抽出静止画データを生成する第１の生成手順について説明する。
【００６４】
エンコーダ２３にて生成された動画データを受信する第１の電子機器１にて、デコーダ１２が受信した動画データをデコードする場合、デコーダ１２は動画データを構成するフレーム群の夫々が有するビットレート値を監視する（ステップ  Ｓ３００）。
【００６５】
デコーダ１２は、動画データを構成するフレーム群の夫々が有するビットレート値を監視し、ビットレート値が低下した後にビットレート値が上昇したか否かを検出する（ステップ  Ｓ３０１）。
【００６６】
ステップＳ３０１にて、デコーダ１２が、フレーム群のビットレート値が低下した後にビットレート値が上昇したことを検出した場合（ステップ  Ｓ３０１  Ｙｅｓ）、デコーダ１２は受信した動画データのフレーム群にて、Ｉフレーム（抽出静止画データ）、Ｐフレーム（抽出静止画データ）続いてＩフレーム（合成静止画データ）の順番で受信したと判別し（受信するフレームがＩフレームからＰフレームに変わることによりビットレート値が低下、さらに、受信するフレームがＰフレームからＩフレームに変わることによりビットレート値が上昇）、ビットレート値の上昇を検出したＩフレーム（合成静止画データ）よりも前に受信したＩフレーム（抽出静止画データ）およびＰフレーム（抽出静止画データ）を用いて抽出静止画像データを生成する（ステップ  Ｓ３０２）。
【００６７】
図８を用いて説明した抽出静止画データの第１の生成手順を実現するために、第１の電子機器１に搭載されているデコード処理に関わるプログラムに対して、"デコーダが、動画データを構成するフレーム群の夫々が有するビットレート値をモニタリングし、フレームの有するビットレート値が低下した後に、フレームの有するビットレート値が上昇した場合に、ビットレート値の上昇を検出するトリガーとなるフレームよりも前に受信したフレームを用いて静止画データを生成する"という処理手順内容を設定しておくことで、第１の電子機器１が、この処理手順内容に従って、動画データを受信した電子機器側が受信した動画データを処理することで、抽出静止画データを生成することが可能となる。
【００６８】
図９は、エンコーダ２３にて生成された動画データを受信した機器にて行われる抽出静止画データの第２の生成手順の一例を示した流れ図である。
【００６９】
図６を用いて説明した動画データの先頭のフレームはＩフレームであり、このＩフレームに続くフレームはＰフレームである。さらに、このＰフレームの後に続くフレームはＩフレームである。
【００７０】
これらのフレーム群にはフレームの種類（Ｉフレーム、Ｐフレーム、Ｂフレーム等）を識別するためにフレーム識別データが付けられている。このフレーム識別データを利用して、抽出静止画データを生成する第２の生成手順について説明する。
【００７１】
エンコーダ２３にて生成された動画データを受信する機器側にて、受信した動画データをデコードする場合、動画データを構成するフレーム群の夫々に付与されているフレーム識別データの値を監視する（ステップ  Ｓ４００）。
【００７２】
デコーダ１２は、動画データを構成するフレーム群の夫々が有するフレーム識別データの値を監視し、フレーム識別データの値が、Ｉフレームを示す値からＰフレームを示す値に変化したか否かを検出する（ステップ  Ｓ４０１）。
【００７３】
デコーダ１２は、フレーム識別データの値がＩフレームを示す値からＰフレームを示す値に変化したと検出した場合（ステップ  Ｓ４０１  Ｙｅｓ）、さらに、フレーム識別データの値がＰフレームを示す値からＩフレームを示す値に変化したか否かを検出する（ステップ  Ｓ４０２）。
【００７４】
ステップＳ４０２にて、フレーム識別データの値がＰフレームを示す値からＩフレームを示す値に変化したことを検出した場合（ステップ  Ｓ４０２  Ｙｅｓ）、デコーダ１２は受信した動画データのフレーム群の中で、Ｉフレーム（抽出静止画データ）、Ｐフレーム（抽出静止画データ）続いてＩフレーム（合成静止画データ）を受信したと判別し、フレーム識別データの値がＰフレームからＩフレームに変化したことを検出することのトリガーとなるＩフレーム（合成静止画データ）よりも前に受信したＩフレーム（抽出静止画データ）およびＰフレーム（抽出静止画データ）を用いて抽出静止画像データを生成する（ステップ  Ｓ４０３）。
【００７５】
図９を用いて説明した抽出静止画データの第２の生成手順を実現するために、第１の電子機器１に搭載されているデコード処理に関わるプログラムに対して、"デコーダが、フレーム識別データの値をモニタリングし、フレーム識別データの値がＩフレームを示す値からＰフレームを示す値に変化後、再び、Ｉフレームを示す値に変化した場合に、フレーム識別データの値がＩフレームを示す値を有するフレームよりも前に受信したフレームを用いて静止画データを生成する"という処理手順内容を設定しておくことで、第１の電子機器１が、この処理手順内容に従って、抽出静止画データを生成することが可能となる。
【００７６】
図１０は、エンコーダ２３にて生成された動画データを受信した機器にて行われる抽出静止画データの第３の生成手順の一例を示した流れ図である。
【００７７】
図６を用いて説明した動画データの先頭のフレームはＩフレーム（抽出静止画データ）であり、このＩフレーム（抽出静止画データ）に続くフレームはＰフレーム（抽出静止画データ）である。さらに、このＰフレーム（抽出静止画データ）の後に続くフレームはＩフレーム（合成静止画データ）である。
【００７８】
動画データを生成する第２の電子機器２のエンコーダ２３にて動画データを生成する場合、動画データの先頭から並べるフレームの数を、フレームの種類に応じて予め決めることが可能である。例えば、Ｉフレーム（抽出静止画データ）を何枚、Ｐフレーム（抽出静止画データ）を何枚、Ｉフレーム（合成静止画データ）を何枚、Ｐフレーム（合成静止画データ）を何枚、といった具合である。
【００７９】
そこで、抽出静止画データを生成するために必要となる"Ｉフレーム（抽出静止画データ）"および"Ｐフレーム（抽出静止画データ）"の夫々のフレーム枚数を利用して、抽出静止画データを生成する第３の生成手順について説明する。
【００８０】
エンコーダ２３にて生成された動画データを受信する第１の電子機器１が、受信した動画データをデコードする場合、デコーダ１２は、動画データを構成するフレームの数を、動画データの先頭から順にカウントする（ステップ  Ｓ５００）。
【００８１】
デコーダ１２には、動画データの先頭に位置する"Ｉフレーム（抽出静止画データ）"および"Ｉフレーム（抽出静止画データ）"に引き続いて並べられている"Ｐフレーム（抽出静止画データ）"夫々の枚数の値が予め設定されている。
【００８２】
デコーダ１２に設定される"Ｉフレーム（抽出静止画データ）"および"Ｐフレーム（抽出静止画データ）"の枚数値データは、例えば、動画データを生成する第１の電子機器１から第２の電子機器２に対してネットワーク３を介して伝送することが可能である。
【００８３】
この際、例えばＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）のフィールドにこの値を設定して、第１の電子機器１から第２の電子機器２に対して値を通知することが可能である。
【００８４】
デコーダ１２が、ステップＳ５００にてカウントするフレームの枚数が、デコーダ１２に予め設定されている"Ｉフレーム（抽出静止画像データ）"の枚数および"Ｐフレーム（抽出静止画像データ）"の枚数の和に達するか否かを判断する（ステップ  Ｓ５０１）。
【００８５】
デコーダ１２が、ステップＳ５００にてカウントするフレームの枚数が、受信する動画データを構成するフレーム群中の"Ｉフレーム（抽出静止画像データ）"の枚数および"Ｐフレーム（抽出静止画像データ）"の枚数の和に達したと判断した場合（ステップ  Ｓ５０１  Ｙｅｓ）、デコーダ１２は、これらの"Ｉフレーム（抽出静止画像データ）"および"Ｐフレーム（抽出静止画像データ）"を用いて、抽出静止画像データを生成する（ステップ  Ｓ５０２）。
【００８６】
図１０を用いて説明した抽出静止画データの第３の生成手順を実現するために、第１の電子機器１に搭載されているデコード処理に関わるプログラムに対して、"受信する動画データを構成するフレーム群の枚数をフレームの種類毎に予めデコーダ１２に設定しておき、デコーダ１２が受信した動画データを構成するフレーム群の枚数をカウントして、カウント値が予め設定されていたフレームの種類毎の枚数の和に達した場合に、取得したフレームを用いて抽出静止画データを生成する"という処理手順内容を設定しておくことで、第１の電子機器１が、この処理手順内容に従って、抽出静止画データを生成することが可能となる。
【００８７】
図１１は、第１の電子機器１と第２の電子機器２との間で送受信される動画データの夫々の機器における表示状態の一例を示した図である。
【００８８】
第１の電子機器１のディスプレイタブレット１０に、例えばカメラ１６等を用いて撮影した動画データを動画データを取り扱うアプリケーションを用いて表示した状態がｐ１である。
【００８９】
第１の電子機器１から第２の電子機器２に対して動画データが送信される。第２の電子機器２のディスプレイタブレット２０には第１の電子機器１から送信されてきた動画データを動画データを取り扱うアプリケーションを用いて表示することが可能である。
【００９０】
第２の電子機器２のディスプレイタブレット２０にて、第１の電子機器１から送信されてきた動画データの再生中にて一時停止させた状態がｐ２である。
【００９１】
第２の電子機器２のディスプレイタブレット２０に表示された静止画（ｐ２）を参考にして、ユーザは例えばペン入力によってディスプレイタブレット２０に対して静止画データを入力する。ユーザによるペン入力操作後のディプレイタブレット２０の表示状態がｐ３である。
【００９２】
第２の電子機器２は、ｐ２の状態を示す静止画データおよびｐ３の状態を示す静止画データを含む動画データを第１の電子機器１に送信する。
【００９３】
第１の電子機器１は、第２の電子機器２から送信されてきた動画データを受信し、動画データを取り扱うアプリケーションを用いて、ｐ３の状態を示す静止画データをディスプレイタブレット１０に表示する。このディスプレイタブレット１０に表示された状態がｐ４である。第１の電子機器１のユーザは、ディスプレイタブレット１０に表示されるｐ４の状態を示す静止画データを見ることで、第２の電子機器２のユーザが入力した情報が何であるかわかる。
【００９４】
さらに、第１の電子機器１は、第２の電子機器２から送信されてきた動画データのうちｐ２の状態を示す静止画データを、動画データを取り扱うアプリケーションを用いてディスプレイタブレット２０に表示する。このディスプレイタブレット１０に表示された状態がｐ５である。
【００９５】
第１の電子機器１のディスプレイタブレット１０に表示された静止画（ｐ５）を参考にして、ユーザは例えばペン入力によってディスプレイタブレット１０に対して静止画データを入力する。ユーザによるペン入力操作後のディプレイタブレット１０の表示状態がｐ６である。
【００９６】
第１の電子機器１は、ｐ５の状態を示す静止画データおよびｐ６の状態を示す静止画データの夫々を含む動画データを第１の電子機器１に送信する。第２の電子機器２は、第１の電子機器１から送信されてきた動画データを受信する。
【００９７】
図１１を用いて説明したように、ユーザによるデータ入力前の静止画データおよびユーザによって入力されたデータと合成された静止画データを含む動画データを生成し、この生成した動画データを、動画データを扱うアプリケーションを搭載した電子機器間でやりとりすることで、これら２つの静止画データを扱う特別なアプリケーションを別途準備すること無く、動画データを扱うアプリケーションを用いて、ユーザによるデータ入力前の静止画データおよびユーザによって入力されたデータと合成された静止画データを見ることが可能となる。さらに、この動画データを扱うアプリケーションを用いて、ユーザによるデータ入力前の静止画データを参考にして自分の望むデータを入力することが可能となる。
【００９８】
通信相手から動画データが送信されてくる場合、この通信相手が動画データを扱うアプリケーションを用いている状況であるので、通信相手に静止画データ形式でデータを送信するのではなく、ユーザによるデータ入力前の静止画データおよびユーザによって入力されたデータと合成された静止画データを含む動画データを生成し、動画データ形式でデータを送信するほうが、通信相手のアプリケーション使用状況を考慮したやり方である。
【００９９】
尚、上記説明では、第２の電子機器２が第１の電子機器１から動画データを受信し、この受信した動画データを参考にして第２の電子機器２のユーザがデータを入力する例を説明したが、この例に限定することなく、第２の電子機器２のユーザがカメラ２６等で撮影することで取得した動画データを参考にしてデータを入力する場合であってもよい。
【０１００】
本発明は上記実施形態をそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示されている全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０１】
【図１】複数の電子機器間にて行われる通信の概要について示した図。
【図２】第１の電子機器１のハードウェア構成および第２の電子機器２のハードウェア構成の一例を示したブロック図。
【図３】コントローラ２１にて実行される静止画の合成処理の一例について説明する流れ図。
【図４】ディプレイタブレット２０に表示される動画データの一例。
【図５】一時停止させた動画データが静止画として表示されているディスプレイタブレット２０にペン２６を用いて文字等のデータが入力された状態の静止画像の一例を示す図。
【図６】エンコーダ２３にて実行される動画データの生成処理の一例について説明する流れ図。
【図７】ステップＳ２０２，Ｓ２０３，Ｓ２０４，Ｓ２０５にて生成したフレームの並べ方を示す図。
【図８】エンコーダ２３にて生成された動画データを受信した機器にて行われる抽出静止画データの第１の生成手順の一例を示した流れ図。
【図９】エンコーダ２３にて生成された動画データを受信した機器にて行われる抽出静止画データの第２の生成手順の一例を示した流れ図。
【図１０】エンコーダ２３にて生成された動画データを受信した機器にて行われる抽出静止画データの第３の生成手順の一例を示した流れ図。
【図１１】第１の電子機器１と第２の電子機器２との間で送受信される動画データの夫々の機器における表示状態の一例を示した図。
【符号の説明】
【０１０２】
１…第１の電子機器、２…第２の電子機器、３…ネットワーク、
１０…ディスプレイタブレット、１１…コントローラ、１２…デコーダ、
１３…エンコーダ、２０…ディスプレイタブレット、２１…コントローラ、
２２…デコーダ、２３…エンコーダ、
【図１】
2009071379.tif 000003
【図２】
2009071379.tif 000004
【図３】
2009071379.tif 000005
【図４】
2009071379.tif 000006
【図５】
2009071379.tif 000007
【図６】
2009071379.tif 000008
【図７】
2009071379.tif 000009
【図８】
2009071379.tif 000010
【図９】
2009071379.tif 000011
【図１０】
2009071379.tif 000012
【図１１】
2009071379.tif 000013