(57)【要約】【課題】端末装置で取得した画像に対してサービス業者が提供する編集・加工サービスを受けるに際し、通信負担を削減し、かつ通信のセキュリティを高める技術を提供する。【解決手段】入力部１１０で画像を取得する。加工部１２０で画像処理サーバ２００における動画生成情報の生成処理に適合するように取得した画像を加工する。通信部１３０は画像処理サーバに加工された画像を送信し、画像処理サーバ２００は、加工された画像に基づいて動画生成情報を生成する。通信部１３０はさらに画像処理サーバ２００で生成された動画生成情報を受信し、動画生成情報と取得した画像に基づいて再生部１４０で動画を再生する。【選択図】  図２
2004341747.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する入力部と、
画像処理サーバに前記画像を送信する前に、前記画像処理サーバにおける動画生成情報を生成する処理に適合するように前記画像を加工する加工部と、
加工された前記画像を前記画像処理サーバに送信し、加工された前記画像に基づいて生成される前記動画生成情報を前記画像処理サーバから受信する通信部と、
前記画像及び前記動画生成情報に基づいて動画を再生する再生部と、
を含むことを特徴とする電子端末装置。
【請求項２】
前記加工部は、前記画像のデータ形式を変更することを特徴とする請求項１に記載の電子端末装置。
【請求項３】
前記加工部は前記画像のサイズを変更することを特徴とする請求項１に記載の電子端末装置。
【請求項４】
前記加工部は前記画像をグレースケールに変換することを特徴とする請求項１に記載の電子端末装置。
【請求項５】
前記入力部は複数の画像を取得し、前記動画生成情報は前記複数の画像の対応情報であり、前記再生部は前記複数の画像と前記対応情報を利用して前記複数の画像の中間画像を生成することによって前記動画を再生することを特徴とする請求項１から４のいずれかに記載の電子端末装置。
【請求項６】
電子端末装置と画像処理サーバとがネットワークを介して接続された画像データ授受システムであって、
前記電子端末装置は、
画像を取得する入力部と、
前記画像処理サーバに前記画像を送信する前に、前記画像処理サーバにおける動画生成情報を生成する処理に適合するように加工する加工部と、
加工された前記画像を前記画像処理サーバに送信し、加工された前記画像に基づいて生成される動画生成情報を前記画像処理サーバから受信する通信部と、
前記動画生成情報と前記画像に基づいて動画を生成する再生部とを備え、
前記画像処理サーバは、
加工された前記画像を前記電子端末装置から受信し、前記動画生成情報を前記電子端末装置に送信する通信部と、
加工された前記画像に基づいて前記動画生成情報を生成する処理部とを備えることを特徴とする画像データ授受システム。
【請求項７】
前記加工部は、前記画像のデータ形式を変更することを特徴とする請求項６に記載の画像データ授受システム。
【請求項８】
前記加工部は前記画像のサイズを変更することを特徴とする請求項６に記載の画像データ授受システム。
【請求項９】
前記加工部は前記画像をグレースケールに変換することを特徴とする請求項６に記載の画像データ授受システム。
【請求項１０】
前記入力部は複数の画像を取得し、前記動画生成情報は前記複数の画像の対応情報であり、前記再生部は前記複数の画像と前記対応情報を利用して前記複数の画像の中間画像を生成することによって前記動画を再生することを特徴とする請求項６から９のいずれかに記載の画像データ授受システム。
【請求項１１】
前記画像処理サーバは、前記動画生成情報の生成に対する課金情報を生成する課金情報生成部をさらに備えることを特徴とする請求項６から１０のいずれかに記載の画像データ授受システム。
【請求項１２】
画像を取得する工程と、
画像処理サーバに前記画像を送信する前に、前記画像処理サーバにおける動画情報を生成する処理に適合するように加工する工程と、
加工された前記画像を前記画像処理サーバに送信する工程と、
加工された前記画像に基づいて生成された前記動画生成情報を前記画像処理サーバから受信する工程と、
前記動画生成情報と前記画像に基づいて動画を生成する工程とを備えることを特徴とする動画生成方法。
【請求項１３】
前記画像を取得する工程において、複数の画像が取得され、前記動画生成情報は前記複数の画像の対応情報であり、前記動画を生成する工程では、前記複数の画像と前記対応情報を利用して前記複数の画像の中間画像を生成することによって前記動画を再生することを特徴とする請求項１２に記載の動画生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像処理技術に関し、とくにサーバと端末装置間でデータのやり取りを行う電子端末装置、画像データ授受システム及び動画生成方法に関する。
【０００２】
【従来の技術】
カメラ付き携帯電話の爆発的な普及に見られるように、画像を撮影する機能を備えた携帯電話やパーソナルコンピュータなどの端末装置は現在幅広く利用されている。これらの端末装置はインターネットなどに接続され、端末装置のユーザ（以下単に「ユーザ」という。）は、撮影した画像をその端末で再生して楽しむだけではなく、他の端末に送信して他のユーザと画像を共有することも可能である。
【０００３】
また、画像の加工や編集サービスを行っている事業者（以下単に「サービス業者」という。）に、端末装置で撮影した画像を送信し、サービス業者によって加工・編集された画像の返信を受けることで、ユーザが自ら撮影した画像を多様な形態で楽しむことも行われている。この構成では、画像の編集・加工をサービス業者のサーバ等で行うことにより、端末内部で編集・加工処理を行うよりも端末への負荷をはるかに低く抑えたまま、ユーザは多彩な画像を楽しむことができる。これについて、キーワードや短文の入力により、難解な画像処理用語などを知らないユーザでも画像加工方法を容易に指定できるようにする技術が提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００２−３３４３４２号公報
【０００５】
【発明が解決しようとする課題】
上述したようなサービスの利用に当たっては、ユーザとサービス業者の間で授受するデータ量をなるべく削減できることが通信時間やコストの面から望ましい。特に、携帯電話の商品価値は、その軽量性、長い電池寿命、安いハードウエアコスト、軽快な操作性などにあり、重たい画像データを長い時間をかけてやりとりすることは好ましくない。一方、画像データのやり取りにおいては、第三者の盗用や改ざんを防ぐべく、セキュリティへの配慮も必要となる。
【０００６】
本発明は上記課題を鑑みてなされたものであり、その目的は、ユーザが画像処理サービスの提供を受けて、自己の端末で取得した画像に基づく動画を再生するのに好適な電子端末装置、画像データ授受システム及び動画生成方法の提供にある。
【０００７】
【課題を解決するための手段】
本発明のある態様は、電子端末装置に関する。この装置は、画像を取得する入力部と、画像処理サーバに画像を送信する前に、画像処理サーバにおける動画生成情報を生成する処理に適合するように画像を加工する加工部と、加工された画像を画像処理サーバに送信し、加工された画像に基づいて生成される動画生成情報を画像処理サーバから受信する通信部と、入力部の取得した画像及び動画生成情報に基づいて動画を再生する再生部と、を含む。
【０００８】
前記加工部は、前記画像のデータ形式を変更してもよく、画像のサイズを変更してもよく、さらに画像をグレースケールに変換してもよい。また、前記入力部は複数の画像を取得し、動画生成情報はこれら複数の画像の対応情報であり、前記再生部はこれら複数の画像と対応情報を利用して複数の画像の中間画像を生成することで動画を再生してもよい。
【０００９】
ここで「電子端末装置」とは、例えば携帯電話やパーソナルコンピュータであり、内蔵されたカメラやカメラアタッチメント等によって画像を撮影する機能を有する。「画像」はユーザが撮影した静止画像である。別の例では、一連の動画像から任意に抽出された画像フレームでも良い。「動画」とは一般に単一の被写体や風景などの一連の動作や変化を捉えた画像をいうが、ここではそれにとらわれず、複数の被写体の間の連続的な変化画像、いわゆるモーフィング画像などであっても良い。「動画生成情報」は取得した画像に基づいて動画を生成するのに用いられる情報であり、「対応情報」は、複数の画像間の対応関係を記述した情報である。対応情報の生成に用いられる技術としては、本出願人が特許第２９２７３５０号を取得している多重解像度特異点フィルタを用いた画像マッチング処理技術（以下「前提技術」という。）が好適であるが、それに限られずピクセルマッチング、ブロックマッチング、オプティカルフローなどの既知の手法を利用しても良い。
【００１０】
画像処理サーバに画像を送信する前に、画像処理サーバで行う処理に適した形式に予め画像のデータ形式を変更すれば、画像サーバの負担を低減することができる。また、画像処理サーバに画像を送信する前に画像サイズの縮小やグレースケールへの変換などの加工を行えば、そのまま画像を送信するよりも送信データ量を小さくできるし、一方で画像処理サーバから電子端末装置に返信されるのが動画生成情報だけであって、画像データは送信されないため、電子端末装置側で受信するデータの量も大幅に減らすことができる。つまり、送受信に係るデータ量を削減することが可能となる。また、画像をそのままやりとりすることもなくなるので、ユーザの撮影した画像が第三者に盗用される危険性も減らすことができる。
【００１１】
本発明の別の態様は電子端末装置と画像処理サーバとがネットワークを介して接続された画像データ授受システムである。電子端末装置は、画像を取得する入力部と、画像処理サーバに画像を送信する前に、画像処理サーバにおける動画生成情報を生成する処理に適合するように加工する加工部と、加工された画像を画像処理サーバに送信し、加工された画像に基づいて生成される動画生成情報を画像処理サーバから受信する通信部と、動画生成情報と画像に基づいて動画を生成する再生部とを備え、画像処理サーバは、加工された画像を電子端末装置から受信し、動画生成情報を電子端末装置に送信する通信部と、加工された画像に基づいて動画生成情報を生成する処理部とを備える。前記画像処理サーバは、動画生成情報の生成に対しての課金情報を生成する課金情報生成部をさらに備えていてもよい。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００１３】
【発明の実施の形態】
図１は、実施の形態に係る画像データ授受システム１０の構成図である。画像データ授受システム１０では、電子端末装置１００と画像処理サーバ２００がネットワーク１２に接続されている。ネットワーク１２は、携帯電話網、インターネットやイントラネット、ないしは各種プロトコルのネットワークである。電子端末装置１００は画像を取得する機能を有し、ユーザは取得した画像をもとに動画再生を行いたい場合、サービス業者の画像処理サーバ２００が提供するサービスを受ける。本実施の形態では、画像処理サーバ２００が前提技術によって画像間の対応情報を生成し、その対応情報を利用して電子端末装置１００で動画再生を行う場合を例にとる。
【００１４】
図２は、図１の電子端末装置１００の内部構成図である。入力部１１０は内蔵カメラなどにより２枚の画像（以下「キーフレーム」という。）ＫＦ１、ＫＦ２を取得する。キーフレームＫＦ１、ＫＦ２は加工部１２０に送信され、図１の画像処理サーバ２００で前提技術によるマッチング処理を直接行うことができる形式に変更される。すなわち、前提技術では、画像の幅をＭ、高さをＮとした場合にＭ  ＝  Ｎ  ＝  ２ｎ（ｎは自然数）となるようなサイズの画像、つまり画素数が２ｎ×２ｎのサイズの画像について、輝度情報を利用してマッチングを取ることが開示されているが、予め加工部１２０で、キーフレームＫＦ１、ＫＦ２のサイズを２ｋ×２ｋ（ｋは自然数）とすべく画素の削減や追加を行ったり、キーフレームＫＦ１、ＫＦ２をグレースケールに変換したりすることで、マッチング処理に先立ち画像処理サーバ２００でこれらの処理を行う必要がなくなる。画素数を削除した場合やグレースケールへの変換を行った場合には、キーフレームＫＦ１、ＫＦ２のデータ量が削減できるので、そのままキーフレームＫＦ１、ＫＦ２を送信するよりも画像処理サーバ２００へ送信するデータ量を落とすことができる。また、キーフレームＫＦ１、ＫＦ２をそのまま送信しないので、オリジナルのキーフレームを第三者に盗用されるおそれもない。
【００１５】
加工されたキーフレーム（以下「加工後キーフレーム」という。）ＫＦ１’、ＫＦ２’は通信部１３０に送られ、通信部１３０から画像処理サーバ２００に送信される。この際、通信部１３０は加工後キーフレームＫＦ１’、ＫＦ２’を発信した電子端末装置１００を示す情報（以下「発信元情報」という。）も併せて画像処理サーバ２００に送信する。発信元情報は、電子端末装置１００に割り振られた所定の電話番号、電子メールアドレスなどである。別の例では、電子端末装置１００のユーザの名前、住所等であってもよい。これらの情報は、図示しない格納部に格納され、通信部１３０は格納部からこれらの情報を取得して画像処理サーバ２００に送信する。別の例では、通信部１３０自体が、これらの情報を格納する領域を持っていても良い。
【００１６】
通信部１３０はさらに、送信した加工後キーフレームＫＦ１’、ＫＦ２’に基づいて画像処理サーバ２００で生成された対応情報を画像処理サーバ２００から受信する。再生部１４０は、この対応情報と、入力部１１０から受信している２枚のキーフレームＫＦ１、ＫＦ２に基づいてそれらの間の中間画像を生成し、キーフレームＫＦ１、ＫＦ２及び中間画像を一連の動画として再生する。対応情報は、加工後キーフレームＫＦ１’、ＫＦ２’に基づいて生成されるため、加工部１２０がキーフレームのサイズを変更する加工を行った場合、対応情報は必然的にサイズ変更後のキーフレームＫＦ１、ＫＦ２についての対応関係を記述したものとなっている。このため、再生部１４０では、変更後のキーフレームＫＦ１、ＫＦ２すなわち加工後キーフレームＫＦ１’、ＫＦ２’のサイズと同じサイズの動画を再生する。つまり、この対応情報を用いて動画を再生するにあたり、再生部１４０は、入力部１１０から受信したキーフレームＫＦ１、ＫＦ２を加工後キーフレームＫＦ１’、ＫＦ２’と同サイズに変更した後、その変更後のキーフレームＫＦ１、ＫＦ２の中間画像を、対応情報に基づいて生成し、そのサイズでの動画再生を行う。再生部１４０は、自らキーフレームＫＦ１、ＫＦ２のサイズの変更は行わず、図示しない経路で加工部１２０からサイズ変更後の加工後キーフレームＫＦ１’、ＫＦ２’を受け取り、それを利用して動画を生成しても良い。別の例では、再生部１４０は、対応情報とサイズの変更されたキーフレームＫＦ１、ＫＦ２に基づいて生成された中間画像のサイズを、加工部１２０で行ったサイズの変更処理と逆の処理を行ってオリジナルのキーフレームＫＦ１、ＫＦ２と同じサイズに戻し、この中間画像と、オリジナルのキーフレームＫＦ１、ＫＦ２を用いて、そのサイズでの動画再生を行ってもよい。
【００１７】
加工部１２０で、キーフレームＫＦ１、ＫＦ２をグレースケールに変換する加工のみが行われた場合、画像処理サーバ２００では、取得したままのサイズでのキーフレームＫＦ１、ＫＦ２間の対応情報が生成されるため、再生部１４０では、入力部１２０から受け取っているキーフレームと対応情報をそのまま利用してキーフレーム間の中間画像を生成して動画を再生する。なお、再生部１４０は、例えば液晶ディスプレイなどを有しており、それを利用して再生した動画を表示する。
【００１８】
図３は、図１の画像処理サーバ２００の内部構成図である。本図の通信部２１０は、図２の電子端末装置１００の通信部１３０から加工後キーフレームＫＦ１’、ＫＦ２’及び発信元情報を受信する。加工後キーフレームＫＦ１’、ＫＦ２’は処理部２２０に送られ、発信元情報は課金情報生成部２３０に送られる。課金については後述する。処理部２２０は加工後キーフレームＫＦ１’、ＫＦ２’について前提技術を用いたマッチング処理を行い、生成した対応情報を通信部２１０に送信する。通信部２１０から対応情報が電子端末装置１００に返信され、上述の通り再生部１４０が動画を再生するのに利用される。画像処理サーバ２００から電子端末装置１００には対応情報のみが送信され、加工後キーフレームＫＦ１’、ＫＦ２’は送信されないため、通信データ量は少なくて済む。また、対応情報だけでは動画再生は不可能なので第三者による盗用等のおそれもない。
【００１９】
以下に、サービスに対するユーザへの課金について説明する。処理部２２０はマッチング処理を行った旨を課金情報生成部２３０に通知する。課金情報生成部２３０は、処理部２２０から通知を受けると、発信元情報によって特定されるユーザについてサービスに対する課金情報を生成する。課金情報は課金額、支払期限、支払方法などを定めたものであり、図示しない経路、例えば電子メールや郵便等、によって電子端末装置１００のユーザに通知される。別の例では、課金情報が通信部２１０に送信され、通信部２１０から対応情報とともに課金情報が電子端末装置１００に送信されても良い。さらに別の例では、課金情報は、例えば図示しない課金情報格納部に格納されてもよく、この場合課金情報が定期的に、例えば１ヶ月に１回などのペースで集計されユーザに請求が行われても良い。さらに別の例では、課金情報を電子端末装置１００への通信サービス一般を提供している通信事業者、例えば電子端末装置１００が携帯電話である場合には電話会社、に通知し、この通信事業者が動画生成サービスに係る料金の徴収を代行してもよい。この場合、通信事業者は課金情報に基づき、電子端末装置１００での通信一般に係る料金に含めて、動画生成サービスに係る料金をユーザから徴収し、該当する金額をサービス業者に支払う。
【００２０】
以上、実施の形態をもとに本発明を説明した。なお本発明はこの実施の形態に限定されることなく、そのさまざまな変形例もまた、本発明の態様として有効である。
【図面の簡単な説明】
【図１】本実施の形態に係る画像データ授受システムの構成図である。
【図２】電子端末装置の内部構成図である。
【図３】画像処理サーバの内部構成図である。
【符号の説明】
１０  画像データ授受システム、  １２  ネットワーク、  １００  電子端末装置、  １１０  入力部、  １２０  加工部、  １３０  通信部、  １４０  再生部、  ２００  画像処理サーバ、  ２１０  通信部、  ２２０  処理部、  ２３０  課金情報生成部。
【図１】
2004341747.tif 000003
【図２】
2004341747.tif 000004
【図３】
2004341747.tif 000005