(57)【要約】【課題】揺れ動く映像を視認するユーザが、その映像に写る対象物をできる限り認識しやくする端末、システム、プログラム及び方法を提供する。【解決手段】カメラで撮影した撮影動画像を送信する端末において、撮影動画像を、既定のフレームレートで送信する第１のモードと、所定時間幅で間引いたフレームレートで送信する第２のモードとを切り替え可能な撮影動画像符号化手段と、撮影動画像について、時間的前後の動き変化量を計測する動き変化量計測手段と、動き変化量が所定閾値以下となった際、撮影動画像符号化手段に対して第２のモードへの切り替えを指示するフレームレート制御手段とを有する。動き変化量は、動き検出センサの出力値、又は、撮影動画像におけるＩフレームに対するＰ及びＢフレームの差分値である。【選択図】図２
2015119335.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影した撮影動画像を送信する端末において、
前記撮影動画像を、既定のフレームレートで送信する第１のモードと、所定時間幅で間引いたフレームレートで送信する第２のモードとを切り替え可能な撮影動画像符号化手段と、
前記撮影動画像について、時間的前後の動き変化量を計測する動き変化量計測手段と、
前記動き変化量が所定閾値以下となった際、前記撮影動画像符号化手段に対して第２のモードへの切り替えを指示するフレームレート制御手段と
を有することを特徴とする端末。
【請求項２】
動き検出センサを更に搭載しており、
前記動き変化量は、前記動き検出センサの出力値である
ことを特徴とする請求項１に記載の端末。
【請求項３】
前記撮影動画像は、動き補償フレーム間予測方式に基づくものであって、
第２のモードは、Ｉ(Intra-picture)フレームのみを送信するものである
ことを特徴とする請求項２に記載の端末。
【請求項４】
前記撮影動画像は、動き補償フレーム間予測方式に基づくものであって、
前記動き変化量は、Ｉフレームに対するＰ(Predictive-picture)及びＢ(Bidirectionally-picture)フレームの差分値である
ことを特徴とする請求項１に記載の端末。
【請求項５】
第２のモードは、Ｉフレームのみを送信することを特徴とする請求項４に記載の端末。
【請求項６】
第２のモードで送信されるＩフレームは、１つのＧＯＰ(Group Of Pictures)のデータレート以下であって比較的高いデータレートに設定される
ことを特徴とする請求項４又は５に記載の端末。
【請求項７】
カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムにおいて、
第１の端末は、
前記撮影動画像について、時間的前後の動き変化量を計測する動き変化量計測手段と、
前記動き変化量を送信する動き変化量送信手段と
を有し、
第２の端末は、
前記撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
前記動き変化量が所定閾値以下となった際、前記撮影動画像復号手段に対して第２のモードへの切り替えを指示するフレームレート制御手段と
を有することを特徴とするシステム。
【請求項８】
カメラで撮影した撮影動画像を相手方端末へ送信する端末に搭載されたコンピュータを機能させるプログラムにおいて、
前記撮影動画像を、既定のフレームレートで送信する第１のモードと、所定時間幅で間引いたフレームレートで送信する第２のモードとを切り替え可能な撮影動画像符号化手段と、
前記撮影動画像について、時間的前後の動き変化量を計測する動き変化量計測手段と、
前記動き変化量が所定閾値以下となった際、前記撮影動画像符号化手段に対して第２のモードへの切り替えを指示するフレームレート制御手段と
してコンピュータを機能させることを特徴とする端末用のプログラム。
【請求項９】
端末を用いて、カメラで撮影した撮影動画像を送信する撮影動画像送信方法において、
前記撮影動画像を、既定のフレームレート（第１のモード）で送信する第１のステップと、
前記撮影動画像について、時間的前後の動き変化量を計測する第２のステップと、
前記動き変化量が所定閾値以下となった際、所定時間幅で間引いたフレームレート（第２のモード）で送信するように切り替える第３のステップと
を有することを特徴とする撮影動画像送信方法。
【請求項１０】
カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムにおける撮影動画像再生方法において、
第１の端末が、前記撮影動画像と共に、計測した時間的前後の動き変化量を送信し、
第２の端末が、前記動き変化量が所定閾値以下となった際、前記撮影動画像を、所定時間幅で間引いたフレームレートで再生表示する
ことを特徴とする撮影動画像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末間のオンラインビデオサービスの技術に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介したオンラインビデオサービスが提供されている（例えば非特許文献１参照）。このサービスによれば、例えば現場作業の用途として、現場作業員が持つ端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。これに対し、作業管理者は、映像でその作業現場の状況を認識し、音声で指示することができる。
【０００３】
図１は、オンラインビデオサービスのシステム構成図である。
【０００４】
図１のシステムによれば、携帯電話機やスマートフォンのような端末が、撮影した映像データを、ネットワークを介してリアルタイムに他方の端末へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影し送受信することができる。
【０００５】
図１によれば、端末１は、現場作業員（被指示者）によって所持され、搭載されたカメラによってその映像が撮影される。一方で、端末２は、作業管理者（指示者）によって所持される。そして、端末１は、アクセスネットワーク及びインターネットを介して、その映像データを端末２へリアルタイムに送信する。端末２は、受信した映像データをディスプレイに再生することによって、作業管理者に対し、現場作業員の状況を視認させることができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】「Skype」、[online]、［平成２５年１１月１３日検索］、インターネット＜URL:http://www.skype.com/ja/＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
作業管理者（指示者）は、現場の多種多様な機器や操作部分の位置を映像から視認する必要がある。ここで、現場作業員（非指示者）の端末に搭載されたカメラが手振れ等で揺れ動く場合、その映像自体も揺れ動き、作業管理者にとっては視認が困難となる。そのため、一般に、映像を撮影するカメラを搭載した端末１は、三脚等により固定的に設置されることが望ましい。
【０００８】
しかしながら、映像を撮影するカメラを搭載した端末１を三脚等で固定すると利便性が低下するため、現場作業員が手に保持した状態等で利用されることも多い。その場合、作業管理者が持つ端末２には、現場作業員による手の動きなどによって、揺れ動く映像が表示され続けることとなり、作業管理者の気分が悪くなる場合もある。また、揺れ動く映像は、映像圧縮の特性上、画像が荒く、映像に映る対象物の詳細な部分が確認しづらくなる。
【０００９】
そこで、本発明は、揺れ動く映像を視認するユーザが、その映像に写る対象物をできる限り認識しやくする端末、システム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、カメラで撮影した撮影動画像を送信する端末において、
撮影動画像を、既定のフレームレートで送信する第１のモードと、所定時間幅で間引いたフレームレートで送信する第２のモードとを切り替え可能な撮影動画像符号化手段と、
撮影動画像について、時間的前後の動き変化量を計測する動き変化量計測手段と、
動き変化量が所定閾値以下となった際、撮影動画像符号化手段に対して第２のモードへの切り替えを指示するフレームレート制御手段と
を有することを特徴とする。
【００１１】
本発明の端末における他の実施形態によれば、
動き検出センサを更に搭載しており、
動き変化量は、動き検出センサの出力値であることも好ましい。
【００１２】
本発明の端末における他の実施形態によれば、
撮影動画像は、動き補償フレーム間予測方式に基づくものであって、
第２のモードは、Ｉ(Intra-picture)フレームのみを送信するものであることも好ましい。
【００１３】
本発明の端末における他の実施形態によれば、
撮影動画像は、動き補償フレーム間予測方式に基づくものであって、
動き変化量は、Ｉフレームに対するＰ(Predictive-picture)及びＢ(Bidirectionally-picture)フレームの差分値であることも好ましい。
【００１４】
本発明の端末における他の実施形態によれば、
第２のモードは、Ｉフレームのみを送信することも好ましい。
【００１５】
本発明の端末における他の実施形態によれば、
第２のモードで送信されるＩフレームは、１つのＧＯＰ(Group Of Pictures)のデータレート以下であって比較的高いデータレートに設定されることも好ましい。
【００１６】
本発明によれば、カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムにおいて、
第１の端末は、
撮影動画像について、時間的前後の動き変化量を計測する動き変化量計測手段と、
撮影動画像と共に、動き変化量を送信する撮影動画像送信手段と
を有し、
第２の端末は、
撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
動き変化量が所定閾値以下となった際、撮影動画像復号手段に対して第２のモードへの切り替えを指示するフレームレート制御手段と
を有することを特徴とする。
【００１７】
本発明によれば、カメラで撮影した撮影動画像を相手方端末へ送信する端末に搭載されたコンピュータを機能させるプログラムにおいて、
撮影動画像を、既定のフレームレートで送信する第１のモードと、所定時間幅で間引いたフレームレートで送信する第２のモードとを切り替え可能な撮影動画像符号化手段と、
撮影動画像について、時間的前後の動き変化量を計測する動き変化量計測手段と、
動き変化量が所定閾値以下となった際、撮影動画像符号化手段に対して第２のモードへの切り替えを指示するフレームレート制御手段と
してコンピュータを機能させることを特徴とする。
【００１８】
本発明によれば、端末を用いて、カメラで撮影した撮影動画像を送信する撮影動画像送信方法において、
撮影動画像を、既定のフレームレート（第１のモード）で送信する第１のステップと、
撮影動画像について、時間的前後の動き変化量を計測する第２のステップと、
動き変化量が所定閾値以下となった際、所定時間幅で間引いたフレームレート（第２のモード）で送信するように切り替える第３のステップと
を有することを特徴とする。
【００１９】
本発明によれば、カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムにおける撮影動画像再生方法において、
第１の端末が、撮影動画像と共に、計測した時間的前後の動き変化量を送信し、
第２の端末が、動き変化量が所定閾値以下となった際、撮影動画像を、所定時間幅で間引いたフレームレートで再生表示する
ことを特徴とする。
【発明の効果】
【００２０】
本発明の端末、システム、プログラム及び方法によれば、揺れ動く映像を視認するユーザが、その映像に写る対象物をできる限り認識しやくすることができる。
【図面の簡単な説明】
【００２１】
【図１】オンラインビデオサービスのシステム構成図である。
【図２】本発明における端末の機能構成図である。
【図３】本発明におけるシーケンス図である。
【図４】撮影動画像の符号化フレームを表す説明図である。
【図５】本発明のシステムにおける端末の機能構成図である。
【図６】図５のシステムに対するシーケンス図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
本発明によれば、以下の２つのの実施形態を有する。
第１の実施形態：映像の送信側端末が、動き変化量に応じてストリーム映像／パラパラ画像を切り替える。
第２の実施形態：映像の受信側端末が、送信側端末の動き変化量に応じてストリーム映像／パラパラ画像を切り替える。
【００２４】
［第１の実施形態］
図２は、本発明における端末の機能構成図である。
【００２５】
第１の実施形態によれば、映像の送信側端末が、動き変化量に応じてストリーム映像／パラパラ画像を切り替える。図２によれば、端末１は、ハードウェアとして、動画像を撮影可能なカメラ１０１と、ネットワークに接続された通信インタフェース１０２と、動き検知センサ１０３とを有する。カメラ１０１は、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。また、動き検知センサ１０３は、例えば端末自身の動きを検知する加速度センサであってもよい。
【００２６】
また、端末１は、撮影動画像符号化部１１と、動き変化量計測部１２と、フレームレート制御部１３とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００２７】
撮影動画像符号化部１１は、例えば動き補償フレーム間予測方式に基づいて、撮影動画像を符号化するものであって、以下の２つのモードで切り替えることができる。
（モード１）既定のフレームレート(frame per sec)で送信する
（モード２）所定時間幅で間引いたフレームレートで送信する
動き補償フレーム間予測方式の場合、Ｉフレームのみを送信する
モード２は、「ストリーミング映像」を「パラパラ画像」とすることによって、端末２のユーザにとって、撮影された対象物の画像を認識しやすくする。
【００２８】
動き変化量計測部１２は、撮影動画像について、時間的前後の「動き変化量」を計測する。ここで、動き変化量は、以下の２つのいずれかである。
（１）動き検出センサの出力値
（２）撮影動画像が動き補償フレーム間予測方式である場合、Ｉフレームに対する
Ｐ及びＢフレームの差分値
【００２９】
フレームレート制御部１３は、動き変化量が所定閾値以下となった際、撮影動画像符号化部１１に対して「モード２」への切り替えを指示する。
動き変化量が大きい->既定の高フレームレート（ストリーム映像）
動き変化量が小さい->間引いた低フレームレート（離散的なパラパラ画像）
このように、動き変化量が小さいということは、例えば、端末１の現場作業員（被指示側）としては、所定の対象物に焦点を当てて撮影しているために、端末２の作業管理者（指示側）に注意を払って確認してもらいたい場面と言える。
【００３０】
図３は、本発明におけるシーケンス図である。
【００３１】
図３によれば、図２の端末が、映像の送信側の第１の端末１として備えられている。（Ｓ１）最初に、端末１は、撮影動画像を、既定のフレームレート（モード１）で送信しているとする。動き補償フレーム間予測方式である場合、端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信しており、端末２では、端末１によって撮影動画像が、ストリーミング映像として視認できる。
【００３２】
（Ｓ２）端末１では、時間的前後の動き変化量が常に計測されている。動き変化量は、加速度センサからの出力値、又は、Ｉフレームに対するＰ，Ｂフレームの差分値である。尚、ここでの時間的前後の時間単位は、極めて短いものである。例えば１／２４秒（０．０４１６秒）単位の程度であってもよい。即ち、端末１を操作するユーザが、所定の対象物に焦点を当てて撮影していることが認識できる程度の時間単位である。
【００３３】
（Ｓ３）端末１は、動き変化量が所定閾値以下となったと判定したとする。このとき、端末１は、モード１からモード２へ切り替える。端末１は、間引きしたフレームのみを送信しており、端末２では、端末１によって撮影動画像が、パラパラ画像として視認できる。
【００３４】
尚、端末２のディスプレイの右上に、「停止確認」用ボタンが明示されている。端末２のユーザは、撮影動画像がパラパラ画像として逐次進行していく際に、「停止確認」用ボタンを押下することによって１枚の画像を対象として、停止させることができる。そのユーザは、画像を停止させることによって、対象物の映る映像の細部に渡って視認することができる。
【００３５】
その後、端末１は、モード２でパラパラ画像を送信している際に、動き変化量が所定閾値よりも高くなった時、モード１へ切り替える。端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信し、端末２では、端末１によって撮影動画像が、再び、ストリーミング映像として視認できる。
【００３６】
図３によれば、時間経過に対する利用帯域を表すグラフも描画されている。
本発明によれば、動き変化量が所定閾値以下となった時、既定のフレームレートから間引いたフレームレートへ変更し、ストリーミング映像からパラパラ画像へ切り替えるものである。
【００３７】
図４は、撮影動画像の符号化フレームを表す説明図である。
【００３８】
図４（ａ）によれば、例えばMotion JPEGの場合であって、撮影動画像は、全ての各フレームがJPEG圧縮されたものであり、単に所定時間幅でフレームを間引いたものである。
【００３９】
図４（ｂ）によれば、例えば動き補償フレーム間予測方式の場合であって、複数のフレームがＧＯＰ(Group Of Pictures)単位で構成されている。ＧＯＰは、一般に、１つのＩ(Intra-picture)フレームと、複数のＰ(Predictive-picture)フレーム及びＢ(Bidirectionally-picture)フレームとから構成される。そして、本発明によれば、撮影動画像として、Ｉ(Intra-picture)フレームのみが抽出される。即ち、画像全体が符号化されたフレームのみを、パラパラ画像として送信する。
【００４０】
また、「モード２」で送信されるＩフレームのデータレートを、１つのＧＯＰのデータレート以下であって比較的高いデータレートに設定することも好ましい。例えばＩフレーム１枚のデータレートと、ＧＯＰのデータレートとを同一にすることもできる。通信帯域に余裕があってもあえて、低フレームレートのパラパラ画像として送信しているために、その１枚のＩフレーム自体の解像度を高くして、画像品質を向上させることができる。これによって、受信側の端末２のユーザは、撮影された対象物の細部に渡って認識しやすくなる。
【００４１】
［第２の実施形態］
図５は、本発明のシステムにおける端末の機能構成図である。
【００４２】
第２の実施形態によれば、映像の受信側端末が、送信側端末の動き変化量に応じてストリーム映像／パラパラ画像を切り替える。図５のシステムによれば、カメラで撮影した撮影動画像を送信する端末１と、受信したその撮影動画像を再生表示する端末２とが、ネットワークを介して通信する。
【００４３】
端末１は、撮影動画像符号化部１１と、動き変化量計測部１２と、動き変化量送信部１４とを有する。
撮影動画像符号化部１１は、カメラ１０１から取得した撮影動画像を、例えば動き補償フレーム間予測方式に基づいて符号化する。ここでは、端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信する。
動き変化量計測部１２は、撮影動画像について、時間的前後の「動き変化量」を計測する。動き変化量は、動き検出センサの出力値、又は、Ｉフレームに対するＰ及びＢフレームの差分値である。
動き変化量送信部１４は、動き変化量計測部１２から出力された動き変化量を、映像フレームと共に送信する。
【００４４】
一方で、受信側の端末２は、ディスプレイ２０１と、通信インタフェース２０２と、撮影動画像復号部２１と、フレームレート制御部２２とを有する。ディスプレイ２０１は、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。撮影動画像復号部２１及びフレームレート制御部２２は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００４５】
撮影動画像復号部２１は、撮影動画像を復号するものであって、以下の２つのモードで切り替えることができる。
（モード１）既定のフレームレートで再生する
（モード２）所定時間幅で間引いたフレームレートで再生する
動き補償フレーム間予測方式の場合、Ｉフレームのみを再生する
【００４６】
フレームレート制御部２２は、受信した動き変化量が所定閾値以下となった際、撮影動画像復号部２１に対してモード２への切り替えを指示する。
【００４７】
図６は、図５のシステムに対するシーケンス図である。
【００４８】
（Ｓ１）端末１は、撮影動画像を、既定のフレームレートで送信している。動き補償フレーム間予測方式である場合、端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信している。端末２は、Ｉ、Ｐ、Ｂフレームの全てを用いてモード１で再生表示する。これによって、端末２には、ストリーミング映像が再生される。
（Ｓ２）端末１では、時間的前後の動き変化量が常に計測されている。その動き変化量は、撮影動画像と共に、端末２へ送信される。
（Ｓ３）端末２は、端末１から受信した動き変化量が所定閾値以下となったと判定したとする。このとき、端末２は、モード１からモード２へ切り替える。これによって、端末２には、端末１の撮影動画像が、所定時間幅で間引いたフレームレート（パラパラ画像）で再生表示される。
【００４９】
その後、端末２は、モード２でパラパラ画像が再生表示されている際に、受信した動き変化量が所定閾値よりも高くなった時、モード１へ切り替える。これによって、端末２には、端末１の撮影動画像が、ストリーム映像として再生表示される。
【００５０】
以上、詳細に説明したように、本発明の端末、プログラム及び方法によれば、揺れ動く映像を視認するユーザが、その映像に写る対象物をできる限り認識しやくすることができる。
【００５１】
カメラで撮影する端末１を所持するユーザは、対象物に注目して相手方ユーザに視認させたい場合、そのカメラの動き変化量をできる限り小さくしようとする。そのために、本発明によれば、撮影動画像の受信側の端末には、送信側の端末の動き変化量が大きいときにはストリーミング映像（高いフレームレート）で再生表示させ、その動き変化量が小さいときにはパラパラ画像（低いフレームレート）で再生表示させることができる。これによって、その撮影動画像を視認するユーザが、細かい揺れ動きによって気分が悪くなることもなくなる。また、パラパラ画像における１枚あたりのビットレートを高くすることによって、受信側の端末のユーザは、撮影動画像の細部に渡って視認することができる。
【００５２】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００５３】
１  端末
１０１  カメラ
１０２  通信インタフェース
１０３  動き検知センサ
１１  撮影動画像符号化部
１２  動き変化量計測部
１３  フレームレート制御部
１４  動き変化量送信部
２  端末
２０１  ディスプレイ
２０２  通信インタフェース
２１  撮影動画像復号部
２２  フレームレート制御部
【図１】
2015119335.tif 000003
【図２】
2015119335.tif 000004
【図３】
2015119335.tif 000005
【図４】
2015119335.tif 000006
【図５】
2015119335.tif 000007
【図６】
2015119335.tif 000008