(57)【要約】【課題】映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システムを提供する。【解決手段】本発明は、映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システムに関するものであって、一つのカメラによって撮影されるユーザ映像から特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御するようにすることで、ユーザの物理的な操作なしでも、撮影制御を可能にした。【選択図】図１
2011061770.tif 000002
【特許請求の範囲】
【請求項１】
第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、
前記動作検出部による特定動作の検出時に、相手移動端末の第２カメラの動作または相手移動端末の第２カメラによって撮影される映像の処理を制御する第１制御命令を生成する制御命令生成部と、
前記制御命令生成部によって生成された第１制御命令を相手移動端末に送信する制御命令送信部と、
相手移動端末から送信される前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する第２制御命令を受信する制御命令受信部と、
前記制御命令受信部によって受信された第２制御命令に従って前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、
を含むことを特徴とする映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項２】
第１カメラによって撮影されるユーザ映像を相手移動端末に送信する映像送信部と、
相手移動端末から送信されるユーザ映像を受信する映像受信部と、
前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、
前記動作検出部による特定動作の検出時に、前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、
を含むことを特徴とする映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項３】
第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、
前記動作検出部による特定動作の検出時に、第２カメラの動作または第２カメラによって撮影される映像の処理を制御する撮影制御部と、
を含むことを特徴とする映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項４】
前記動作検出部によって検出される特定動作を設定する動作設定部をさらに含むことを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項５】
前記撮影制御部の動作のオン／オフを設定する環境設定部をさらに含むことを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項６】
前記撮影制御部は、前記第１カメラまたは前記第２カメラのズームインまたはズームアウト動作を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項７】
前記撮影制御部は、第１カメラまたは前記第２カメラの撮影角を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項８】
前記撮影制御部は、前記第１カメラまたは前記第２カメラの撮影開始または撮影終了動作を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項９】
前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の表示を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１０】
前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の伝送を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１１】
前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の合成を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１２】
前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の特殊効果処理を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１３】
前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の置き換えを制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１４】
前記動作検出部は、ユーザ映像から当該ユーザの前記第１カメラ側または前記第２カメラ側への接近または遠ざかりを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１５】
前記動作検出部は、ユーザ映像から当該ユーザの左側または右側への動きを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１６】
前記動作検出部は、ユーザ映像から当該ユーザの左眼または右眼の瞬きを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１７】
前記動作検出部は、ユーザ映像から当該ユーザの口の形状を検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１８】
前記動作検出部は、ユーザ映像から当該ユーザの顔の傾きを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項１９】
前記動作検出部は、ユーザ映像から当該ユーザの顔の左側または右側の回転を検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項２０】
前記動作検出部は、ユーザ映像から当該ユーザの顔のしかめ面を検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
【請求項２１】
第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、
前記第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を生成する制御命令生成部と、前記制御命令生成部によって生成された制御命令を送信する制御命令送信部と、を含む第１ユーザの移動端末と、
前記第１ユーザの移動端末から送信される前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を受信する制御命令受信部と、前記制御命令受信部によって受信された制御命令に従って前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、
を含むことを特徴とする映像認識技術を利用した撮影制御システム。
【請求項２２】
第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、
前記第１カメラによって撮影されるユーザ映像を送信する映像送信部を含む第１ユーザの移動端末と、
前記第１ユーザの移動端末から送信されるユーザ映像を受信する映像受信部と、前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、
を含むことを特徴とする映像認識技術を利用した撮影制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影制御技術に係り、特に、映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システムに関する。
【背景技術】
【０００２】
従来の場合、前面部カメラと背面部カメラとを備えた移動端末において、ズームインまたはズームアウトなどの撮影制御命令は、ユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作によってなされていた。一方、従来の画像通話が可能な移動端末の場合、自身の撮影制御命令は、ユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作によってなされ、相手のカメラに対する制御は不可能であった。
【０００３】
カメラ付き移動端末を用いた撮影途中、ズームインまたはズームアウトなどの撮影制御命令をユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作を通じて入力することは非常に不便であった。また、ユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作の際に、移動端末が揺れて、撮影される映像がぼやけるか、焦点が合わなくなる。
【０００４】
したがって、本発明者は、前面部カメラと背面部カメラとを備えた移動端末や、画像通話が可能な移動端末などでユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作なしでも、撮影制御が可能な技術について研究をした。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記課題を解決するために発明されたものであって、一つのカメラから撮影される映像から特定動作を検出した時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザの物理的な操作なしでも、撮影制御が可能な映像認識技術を利用した撮影制御システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によれば、映像認識技術を利用した撮影制御システムは、一つのカメラによって撮影されるユーザ映像から特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することを特徴とする。
【０００７】
本発明の一実施形態によれば、前面部カメラと背面部カメラとを備えた移動端末、又は、画像通話機能を備えた移動端末は、一つのカメラにより撮影された映像は、他のカメラの動作または他のカメラによって撮影される映像の処理を制御するために分析されることにより、ユーザの物理的な操作なしで撮影を制御することを特徴とする。
【０００８】
本発明の一実施形態に係る移動端末は、第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、相手移動端末の第２カメラの動作または相手移動端末の第２カメラによって撮影される映像の処理を制御する第１制御命令を生成する制御命令生成部と、前記制御命令生成部によって生成された第１制御命令を相手移動端末に送信する制御命令送信部と、相手移動端末から送信される前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する第２制御命令を受信する制御命令受信部と、前記制御命令受信部によって受信された第２制御命令に従って前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、を含むことを特徴とする。
【０００９】
本発明の一実施形態に係る移動端末は、第１カメラによって撮影されるユーザ映像を相手移動端末に送信する映像送信部と、相手移動端末から送信されるユーザ映像を受信する映像受信部と、前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、を含むことを特徴とする。
【００１０】
本発明の一実施形態に係る移動端末は、第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、第２カメラの動作または第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含むことを特徴とする。
【００１１】
本発明の一実施形態に係る撮影制御システムは、第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、前記第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を生成する制御命令生成部と、前記制御命令生成部によって生成された制御命令を送信する制御命令送信部と、を含む第１ユーザの移動端末と、前記第１ユーザの移動端末から送信される前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を受信する制御命令受信部と、前記制御命令受信部によって受信された制御命令に従って前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、を含むことを特徴とする。
【００１２】
本発明の一実施形態に係る撮影制御システムは、第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、前記第１カメラによって撮影されるユーザ映像を送信する映像送信部を含む第１ユーザの移動端末と、前記第１ユーザの移動端末から送信されるユーザ映像を受信する映像受信部と、前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、を含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、前面部カメラと背面部カメラとを備えた移動端末や、画像通話が可能な移動端末などで一つのカメラによって撮影される映像を分析して他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザの物理的な操作なしでも、撮影制御を可能にして、ユーザの利便性を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。
【図２】本発明の第１実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。
【図３】本発明の第２実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。
【図４】本発明の第２実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。
【図５】本発明の第３実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。
【図６】本発明に係る映像認識技術を利用した撮影制御システムの撮影制御手続きを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、添付した図面を参照して説明する望ましい実施形態を通じて、本発明を当業者が容易に理解して再現できるように詳しく記述する。
【００１６】
本発明を説明するに当って、関連した公知機能または構成についての具体的な説明が、本発明の実施形態の要旨を不明にする虞があると判断される場合には、その詳細な説明を省略する。
【００１７】
本発明の明細書の全般に亘って使われる用語は、本発明の実施形態での機能を考慮して定義された用語であって、ユーザまたは運用者の意図、慣例などによって十分に変形されうる事項であるので、この用語の定義は、本明細書の全般に亘った内容に基づいて判断されなければならない。
【００１８】
図１は、本発明の第１実施形態に係る映像認識技術を利用した撮影制御機能を備えたユーザ移動端末１００及び相手移動端末１０５のブロック図である。この実施形態による映像認識技術を利用した撮影制御機能を備えたユーザ移動端末１００は、動作検出部１１０ａと、制御命令生成部１２０ａと、制御命令送信部１３０ａと、制御命令受信部１４０ａと、撮影制御部１５０ａと、を含む。ユーザ移動端末１００は、更に、動作設定部１０６ａと環境設定部１７０ａを含む。相手移動端末１０５は、動作検出部１１０ｂと、制御命令生成部１２０ｂと、制御命令送信部１３０ｂと、制御命令受信部１４０ｂと、撮影制御部１５０ｂと、動作設定部１６０ｂと、環境設定部１７０ｂと、を含む。
【００１９】
前記動作検出部１１０ａは、自身の第１カメラ２００によって撮影されるユーザ映像からユーザの特定動作を検出する。前記動作検出部１１０ｂは、自身の第２カメラ３００によって撮影されるユーザ映像から特定動作を検出する。ユーザ映像は、上述したように撮影されるものであるが、ユーザ移動端末１００のメモリに記録されるか、または格納される必要はない。ユーザの特定動作は、映像認識技術に従ってユーザの動作における変化、及び／又は表情変化を認識して、ユーザ映像の特徴の変化を分析することによって検出することができる。映像認識技術に応じたユーザ映像の分析は、２つの映像間の変化を検出するように、２つ以上の映像の分析を含んでも良い。特定動作は、動作や表情の変化を認識するためにユーザの映像に含まれる特徴点の変化を分析することにより検出されても良い。このように、ユーザは、ユーザ移動端末１００の撮影制御機能を制御するように映像認識技術に応じたユーザ映像の分析によって特定動作の検出を行っても良い。  
【００２０】
例えば、前記動作検出部１１０ａが、ユーザ映像から当該ユーザのカメラ側への接近または遠ざかりを検出するか、当該ユーザの左側または右側への動きを検出するか、当該ユーザの左眼または右眼の瞬きを検出するか、当該ユーザの口の形状を検出するか、当該ユーザの顔の傾きを検出するか、当該ユーザの顔の左側または右側の回転を検出するか、当該ユーザ顔のしかめ面を検出するか、などのユーザの動きや表情変化などを認識することによって特定動作を検出してもよい。
【００２１】
前記制御命令生成部１２０ａは、前記動作検出部１１０ａによる特定動作の検出時に、相手移動端末１０５の第２カメラ３００の動作または相手移動端末１０５の第２カメラ３００によって撮影される映像の処理を制御する制御命令を生成する。
【００２２】
前記制御命令送信部１３０ａは、前記制御命令生成部１２０ａによって生成された制御命令を相手移動端末１０５の制御命令受信部１４０ｂに送信する。前記制御命令送信部１３０ａから送信された制御命令は、相手移動端末の第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するために、移動通信網を通じて相手移動端末１０５に受信される。
【００２３】
制御命令を受信した相手移動端末１０５は、自身の第２カメラ３００の動作または自身の第２カメラ３００によって撮影される映像の処理を制御する。この詳細については、図２を参照して後述する。
【００２４】
ユーザ端末１００の制御命令受信部１４０ａは、相手移動端末１０５の制御命令送信部１３０ｂから送信される自身の第１カメラ２００の動作または自身の第１カメラ２００によって撮影される映像の処理を制御する制御命令を受信する。
【００２５】
ユーザ端末１００の撮影制御部１５０ａは、制御命令受信部１４０ａによって受信された制御命令に従って、自身の第１カメラ２００の動作または自身の第１カメラ２００によって撮影される映像の処理を制御する。
【００２６】
例えば、前記撮影制御部１５０ａが、自身の第１カメラ２００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、相手移動端末１０５により検出されたユーザの特定動作に従って自身の第１カメラ２００の動作を制御することができる。
【００２７】
例えば、前記撮影制御部１５０ａは、相手移動端末１０５のユーザの特定動作に従って、自身の第１カメラ２００によって撮影されるユーザ映像の表示、ユーザ映像の伝送、ユーザ映像の同期、ユーザ映像の特殊効果処理、またはユーザ映像の置き換え等を制御することができる。
【００２８】
図１に示すように、映像認識技術に基づく撮影制御機能を有する移動端末１００は、更に、動作設定部１６０ａを含む。動作設定部１６０ａは、動作検出部１１０ａにより検出される特定動作を設定する。すなわち、動作設定部１６０ａは、特定動作が検出された後に実行される相手移動端末１０５の第２カメラ３００の動作または第２カメラ３００により撮影された映像の処理動作に関するユーザ情報から取得する動作情報を動作設定情報として動作設定部１６０ａに格納する。動作検出部１１０ａは、特定動作が検出された場合、動作設定部１６０ａの動作設定情報を参照する。
【００２９】
さらに、映像認識技術に基づく撮影制御機能を有する移動端末１００は、環境設定部１７０ａを含む。環境設定部１７０ａは、撮影制御部１５０ａの動作のＯＮ／ＯＦＦ状態を設定する。すなわち、環境設定部１７０ａは、設定情報としてＯＮ／ＯＦＦ状態に関する情報を格納する。撮影制御部１５０ａの動作は、この設定情報に従って制御されてもよい。
【００３０】
したがって、この第１実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末１００は、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザによるボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
【００３１】
図２は、本発明の第１実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。この映像認識技術を利用した撮影制御システムは、第１カメラ２００は、第１ユーザの移動端末１００ａに設けられ、第２カメラ３００は、第２ユーザの相手移動端末１０５に設けられて、第１カメラ２００により撮影されるユーザ映像から特定動作を検出するとき、第１ユーザの移動端末１００ａから送信される制御命令に従って、第２ユーザの移動端末１０５が、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するようにしたものである。
【００３２】
第１ユーザの移動端末１００の動作検出部１１０ａは、第１カメラ２００によって撮影されるユーザ映像から特定動作を検出する。
【００３３】
第１ユーザの移動端末１００の制御命令生成部１２０ａは、前記動作検出部１１０ａによる特定動作の検出時に、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御する制御命令を生成する。
【００３４】
第１ユーザの移動端末１００の制御命令送信部１３０ａは、前記制御命令生成部１２０ａによって生成された制御命令を送信する。前記制御命令送信部１３０ａから送信された制御命令は、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するために用いられるように、移動通信網を通じて第２ユーザの相手移動端末１０５に送信される。
【００３５】
前記第２ユーザの相手移動端末１０５の制御命令受信部１４０ｂは、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するために第１ユーザの移動端末１００ａから送信される制御命令を受信する。
【００３６】
第２ユーザの相手移動端末１０５の撮影制御部１５０ｂは、制御命令受信部１４０によって受信された制御命令に従って、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御する。
【００３７】
例えば、前記撮影制御部１５０ｂは、第２カメラ３００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定動作に従って第２カメラ３００の動作を制御することができる。
【００３８】
例えば、前記撮影制御部１５０ｂは、第２カメラ３００によって撮影される映像の表示、映像の伝送、映像の同期、映像の特殊効果処理、または映像の置き換え等を制御することで、ユーザの特定動作に従って第２カメラ３００によって撮影される映像の処理を制御することができる。
【００３９】
したがって、この実施形態に係る映像認識技術を利用した撮影制御システムは、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
【００４０】
図３は、本発明第２実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末４００は、映像送信部４１０ａと、映像受信部４２０ａと、動作検出部４３０ａと、撮影制御部４４０ａと、動作設定部４５０ａと、環境設定部４０６ａと、を含む。相手移動端末４０５は、映像送信部４１０ｂと、映像受信部４２０ｂと、動作検出部４３０ｂと、撮影制御部４４０ｂと、動作設定部４５０ｂと、環境設定部４６０ｂと、を含む。
【００４１】
前記映像送信部４１０ａは、自身の第１カメラ５００によって撮影されるユーザ映像を相手移動端末４０５に送信する。映像送信部４１０から送信されたユーザ映像は、移動通信網を通じて相手移動端末４０５に送信される。
【００４２】
このユーザ映像を受信した相手移動端末４０５は、第１カメラ５００により撮影されたユーザ映像から特定動作を検出して、自身の第２カメラ６００の動作または自身の第２カメラ６００によって撮影される映像の処理を制御する。この詳細については、図４を参照して後述する。
【００４３】
相手移動端末４０５の映像受信部４２０ｂは、移動端末４００から受信したユーザ映像を受信する。移動端末４００の第１カメラ５００によって撮影されたユーザ映像が相手移動端末４０５から送信されれば、相手移動端末４０５の映像受信部４２０ｂが、これを受信する。
【００４４】
相手移動端末４０５の動作検出部４３０ｂは、前記映像受信部４２０ｂによって受信されたユーザ映像から特定動作を検出する。前記特定動作は、映像認識技術を用いてユーザ映像に含まれる特徴点の変化を分析することで、ユーザの動きや表情変化などを認識することによって検出することができる。
【００４５】
例えば、相手移動端末４０５の動作検出部４３０ｂが、ユーザ映像から当該ユーザのカメラ側への接近または遠ざかりを検出するか、当該ユーザの左側または右側への動きを検出するか、当該ユーザの左眼または右眼の瞬きを検出するか、当該ユーザの口の形状を検出するか、当該ユーザ顔の傾きを検出するか、当該ユーザ顔の左側または右側の回転を検出するか、当該ユーザ顔のしかめ面を検出するか、などのユーザの動きや表情変化などを認識することによって特定動作を検出することができる。
【００４６】
撮影制御部４４０ｂは、相手移動端末４０５の動作検出部４３０ｂによる特定動作の検出時に、自身の第２カメラ６００の動作または自身の第２カメラ６００によって撮影される映像の処理を制御する。
【００４７】
例えば、相手移動端末４０５の撮影制御部４４０が、自身の第２カメラ６００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定動作によって自身の第２カメラ６００の動作を制御することができる。
【００４８】
また、相手移動端末４０５の撮影制御部４４０は、自身の第２カメラ６００によって撮影される映像の表示、映像の伝送、映像の合成、映像の特殊効果処理、または映像の置き換え等を制御することで、ユーザの特定動作に従って自身の第２カメラ６００によって撮影される映像の処理を制御することができる。
【００４９】
また、映像認識技術に基づく撮影制御機能をそなえる移動端末４０５は、更に動作設定部４５０ｂを含む。動作設定部４５０ｂは、動作検出部４３０ｂにより検出される特定動作を設定する。すなわち、動作設定部４５０ｂは、特定動作が検出された後に実行される相手移動端末４０５の第２カメラ６００の動作または第２カメラ６００により撮影された映像の処理動作に関するユーザ情報から取得する動作情報を動作設定情報として動作設定部４５０ｂに格納する。動作検出部４３０ｂは、特定動作が検出された場合、動作設定部４５０ｂの動作設定情報を参照する。
【００５０】
したがって、この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末は、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
【００５１】
図４は、本発明の第２実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。この実施形態に係る映像認識技術を利用した撮影制御システムは、第１カメラ５００は、第１ユーザの移動端末４００に設けられ、第２カメラ６００は、第２ユーザの相手移動端末４０５に設けられて、第１カメラ５００で撮影されるユーザ映像を第１ユーザの移動端末４００が送信し、このユーザ映像を受信した第２ユーザの相手移動端末４０５が、ユーザ映像から特定動作を検出するとき、第２カメラ６００の動作または第２カメラ６００によって撮影される映像の処理を制御するようにしたものである。
【００５２】
前記第１ユーザの移動端末４００の映像送信部４１０ａは、第１カメラ５００によって撮影されるユーザ映像を送信する。第１ユーザの移動端末４００の映像送信部４１０ａによって送信されたユーザ映像は、移動通信網を通じて第２ユーザの移動端末４０５に送信される。
【００５３】
第２ユーザの相手移動端末４０５の映像受信部４２０ｂは、第１ユーザの移動端末４００から送信されるユーザ映像を受信する。第２ユーザの相手移動端末４０５の動作検出部４３０ｂは、映像受信部４２０ｂによって受信されたユーザ映像から特定行動を検出する。
【００５４】
第２ユーザの相手移動端末４０５の撮影制御部４４０ｂは、動作検出部４３０ｂによる特定動作の検出時に、第２カメラ６００の動作または第２カメラ６００によって撮影される映像の処理を制御する。
【００５５】
例えば、前記撮影制御部４４０ｂは、第２カメラ６００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定行動に従って第２カメラ６００の動作を制御することができる。
【００５６】
例えば、前記撮影制御部４４０ｂは、第２カメラ６００によって撮影される映像の表示、映像の伝送、映像の合成、映像の特殊効果理、または映像の置き換え等を制御することで、ユーザの特定動作に従って第２カメラ６００によって撮影される映像の処理を制御することができる。
【００５７】
したがって、この実施形態に係る映像認識技術を利用した撮影制御システムは、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
【００５８】
図５は、本発明の第３実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末７００は、第１カメラ８００と第２カメラ９００とを備える。第１カメラ８００と第２カメラ９００は、移動端末７００の対向する側に配置されている。移動端末７００は、動作検出部７１０と撮影制御部７２０を含む。動作検出部７１０は、第１カメラ８００により撮影されたユーザ映像から特定動作を検出し、撮影制御部７２０は、特定動作が検出された時、第２カメラ９００の動作または第２カメラ９００により撮影された映像の処理を制御する。
【００５９】
前記動作検出部７１０は、自身の第１カメラ８００によって撮影されるユーザ映像から特定動作を検出する。前記ユーザの特定動作は、映像認識技術を用いてユーザ映像に含まれる特徴点の変化を分析することで、ユーザの動きや表情変化などを認識することによって検出することができる。
【００６０】
例えば、前記動作検出部７１０は、ユーザ映像から当該ユーザのカメラ側への接近または遠ざかりを検出するか、当該ユーザの左側または右側への動きを検出するか、当該ユーザの左眼または右眼の瞬きを検出するか、当該ユーザの口の形状を検出するか、当該ユーザ顔の傾きを検出するか、当該ユーザ顔の左側または右側の回転を検出するか、当該ユーザ顔のしかめ面を検出するか、などのユーザの動きや表情変化などを認識することによって特定動作を検出することができる。
【００６１】
前記撮影制御部７２０は、前記動作検出部７１０による特定動作の検出時に、自身の第２カメラ９００の動作または自身の第２カメラ９００によって撮影される映像の処理を制御する。
【００６２】
例えば、前記撮影制御部７２０が、第２カメラ９００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定動作に従って第２カメラ９００の動作を制御することができる。
【００６３】
また、前記撮影制御部７２０は、第２カメラ９００によって撮影される映像の表示、映像の伝送、映像の合成、映像の特殊効果処理または映像の置き換え等を制御することで、ユーザの特定動作に従って第２カメラによって撮影される映像の処理を制御することができる。
【００６４】
したがって、この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末は、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
【００６５】
本発明に係る映像認識技術を利用した撮影制御機能を備えた移動端末７００は、図５に示すように、動作設定部７３０をさらに含む。動作設定部７３０は、前記動作検出部１１０、４３０、７１０によって検出される特定動作を設定する。
【００６６】
すなわち、動作設定部７３０は、特定動作が検出された後に実行される第２カメラ９００の動作または第２カメラ９００により撮影された映像の処理動作に関するユーザ情報から取得する動作情報を動作設定情報として動作設定部７３０に格納する。動作検出部７１０は、特定動作の検出時に動作設定部７３０の動作設定情報を参照する。
【００６７】
本発明に係る映像認識技術を利用した撮影制御機能を備えた移動端末７００は、環境設定部７４０をさらに含む。環境設定部７４０は、撮影制御部７２０の動作のオン／オフ状態を設定する。
【００６８】
すなわち、環境設定部７４０は、撮影制御部７２０の動作のオン／オフ状態を環境設定情報として保存するようにしたものである。該保存された環境設定情報によって、前記撮影制御部７２０の動作がオン／オフされてもよい。
【００６９】
図６を参照して、前述したような構成を有する本発明に係る映像認識技術を利用した撮影制御システムの撮影制御動作を説明する。図６は、本発明に係る映像認識技術を利用した撮影制御システムの撮影制御手順を示すフローチャートである。
【００７０】
第１カメラによってユーザ映像が撮影されると、ステップＳ１１０において、本発明に係る映像認識技術を利用した撮影制御システムが、第１カメラによって撮影されるユーザ映像から特定動作を検出する。
【００７１】
例えば、ユーザ映像から当該ユーザの第１カメラ側への接近または遠ざかりを検出することで、特定動作を検出することができる。この際、ユーザの第１カメラ側への接近または遠ざかりは、第１カメラによって撮影されるユーザ映像の大きさの変化を認識することによって検出することができる。
【００７２】
例えば、ユーザ映像から当該ユーザの左側または右側への動きを検出することで、特定動作を検出することができる。この際、ユーザの左側または右側への動きは、第１カメラによって撮影されるユーザ映像に含まれる特徴点の位置移動または回転または傾きなどを認識することによって検出することができる。
【００７３】
例えば、ユーザ映像から当該ユーザの左眼または右眼の瞬きを検出することで、特定動作を検出することができる。この際、ユーザの左眼または右眼の瞬きは、第１カメラによって撮影されるユーザ映像に含まれる左眼または右眼と関連した特徴点の変化を認識することによって検出することができる。
【００７４】
例えば、ユーザ映像から当該ユーザの口の形状を検出することで、特定動作を検出することができる。この際、ユーザの口の形状は、第１カメラによって撮影されるユーザ映像に含まれる口と関連した特徴点の変化を認識することによって検出することができる。
【００７５】
例えば、ユーザ映像から当該ユーザの顔の傾きを検出することで、特定動作を検出することができる。この際、ユーザの顔の傾きは、第１カメラによって撮影されるユーザ映像に含まれる特徴点の位置移動または回転または傾きなどを認識することによって検出することができる。
【００７６】
例えば、ユーザ映像から当該ユーザの顔の左側または右側の回転を検出することで、特定動作を検出することができる。この際、ユーザの顔の左側または右側の回転は、第１カメラによって撮影されるユーザ映像に含まれる特徴点の位置移動または回転または傾きなどを認識することによって検出することができる。
【００７７】
例えば、ユーザ映像から当該ユーザ顔のしかめ面を検出することで、特定動作を検出することができる。この際、ユーザ顔のしかめ面は、第１カメラによって撮影されるユーザ映像に含まれる目、鼻、口と関連した特徴点の変化を認識することによって検出することができる。
【００７８】
もし、前記ステップＳ１１０において特定動作が検出されれば、本発明による映像認識技術を利用した撮影制御システムは、ステップＳ１２０において第２カメラの動作または第２カメラによって撮影される映像の処理を制御し、ステップＳ１３０においてあらかじめ設定された撮影制御の終了命令が入力されるまでに撮影制御動作を繰り返し実行する。
【００７９】
例えば、前記ステップＳ１２０において、第２カメラのズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、第１カメラにより撮影されたユーザ映像から検出されたユーザの特定動作に従って第２カメラの動作を制御することができる。
【００８０】
例えば、前記ステップＳ１２０において、第２カメラによって撮影される映像の表示、映像の伝送、映像の同期、映像の特殊効果処理または映像の置き換え等を制御することで、第１カメラにより撮影されたユーザ映像から検出されたユーザの特定動作に従って第２カメラによって撮影される映像の処理を制御することができる。
【００８１】
したがって、本発明は、前面部カメラと背面部カメラとを備えた移動端末や、画像通話が可能な移動端末などで一つのカメラによって撮影される映像の分析を通じて他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるのでユーザの利便性を向上させることができ、上述した本発明の目的を達成することができる。
【００８２】
次は、本発明に係る映像認識技術を利用した撮影制御システムを移動端末に適用した例を説明するものである。
【００８３】
例えば、本発明による映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザが第１カメラ側に近付くと検出される場合には、第２カメラをズームインさせ、遠ざかると検出される場合には、第２カメラをズームアウトさせるようにすれば、ユーザのボタン操作やタッチ操作等の物理的な操作なしでも、ユーザの第１カメラ側への接近または遠ざかり動作に従って第２カメラのズームインまたはズームアウトの制御が可能になる。
【００８４】
また、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザが左側に動くと検出される場合には、第２カメラの撮影角を左側に回転させ、右側に動くと検出される場合には、第２カメラの撮影角を右側に回転させるようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの左側または右側への動き動作に従って第２カメラの撮影角の制御が可能になる。
【００８５】
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザが左側の目を瞬くと検出される場合には、第２カメラの撮影を始め、右側の目を瞬くと検出される場合には、第２カメラの撮影を終了するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの左眼または右眼の瞬き動作に従って第２カメラの撮影開始または撮影終了動作の制御が可能になる。
【００８６】
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの口の形状が開かれたと検出される場合には、第２カメラに撮影される映像を表示し、口の形状が前に突き出たと検出される場合には、第２カメラによって撮影される映像の表示を終了するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの口の形状に従って第２カメラによって撮影される映像表示の制御が可能になる。
【００８７】
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの顔の傾きが前に傾いたと検出される場合には、第２カメラをズームインさせ、後に傾いたと検出される場合には、第２カメラをズームアウトさせるようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの顔の傾き動作に従って第２カメラのズームインまたはズームアウトの制御が可能になる。
【００８８】
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの顔が左側に回転されたと検出される場合には、第２カメラによって撮影される映像と第１カメラによって撮影される映像とを左右分割合成して表示し、右側に回転されたと検出される場合には、第１カメラによって撮影される映像を第２カメラによって撮影される映像内にＰＩＰ（Ｐｉｃｔｕｒｅ  Ｉｎ  Ｐｉｃｔｕｒｅ）方式で合成して表示するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの顔の左側または右側の回転動作に従って第２カメラによって撮影される映像の合成制御が可能になる。
【００８９】
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの顔がしかめ面になったと検出される場合、第２カメラによって撮影される映像を他のユーザの移動端末に伝送するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの顔のしかめ面の動作に従って第２カメラによって撮影される映像の伝送制御が可能になる。
【００９０】
一方、本発明の付加的な態様によれば、前記撮影制御部１５０、４４０、７２０が、ユーザの第１カメラ側への接近または遠ざかりの速度や回数、ユーザの左側または右側への動きの速度や回数、ユーザの左眼または右眼の瞬きの速度や回数、ユーザの口の形状の開け具合、ユーザの顔の傾き具合、ユーザの顔の左側または右側への回転速度や回数、ユーザの顔のしかめ面具合を反映して、第２カメラの動作または第２カメラによって撮影される映像の処理の制御を行うようにすることもできる。
【００９１】
例えば、ユーザの第１カメラ側への接近または遠ざかり速度によって、撮影制御部１５０、４４０、７２０が、第２カメラのズームインまたはズームアウト速度を可変制御するようにすることができる。
【００９２】
例えば、ユーザの顔が前に一回傾いたと検出される場合には、撮影制御部１５０、４４０、７２０が、第２カメラによって撮影される映像をそのまま他人の移動端末に伝送し、二回傾いたと検出される場合には、撮影制御部１５０、４４０、７２０が、第２カメラによって撮影される映像を第１カメラによって撮影される映像と合成して、他人の移動端末に伝送するようにすることもできる。
【００９３】
本発明は、添付した図面によって参照される望ましい実施形態を中心に説明したが、このような記載から後述する特許請求の範囲に包含される範囲内で、本発明の範疇から外れることなく多様な変形が可能であるということは明白である。
【符号の説明】
【００９４】
１００、４００、７００：移動端末
１０５、４０５：相手移動端末
１１０ａ、１１０ｂ、４３０ａ、４３０ｂ、７１０：動作検出部
１２０ａ、１２０ｂ：制御命令生成部
１３０ａ、１３０ｂ：制御命令送信部
１４０ａ、１４０ｂ：制御命令受信部
１５０ａ、１５０ｂ、４４０ａ、４４０ｂ、７２０：撮影制御部
１６０ａ、１６０ｂ、４５０ａ、４５０ｂ、７３０：動作設定部
１７０ａ、１７０ｂ、４６０ａ、４６０ｂ、７４０：環境設定部
２００、５００、８００：第１カメラ
３００、６００、９００：第２カメラ
４１０ａ、４１０ｂ：映像送信部
４２０ａ、４２０ｂ：映像受信部
【図１】
2011061770.tif 000003
【図２】
2011061770.tif 000004
【図３】
2011061770.tif 000005
【図４】
2011061770.tif 000006
【図５】
2011061770.tif 000007
【図６】
2011061770.tif 000008