(57)【要約】      （修正有）【課題】画像中を移動する動体を背景となる画像から精度良く切り出す画像処理装置を提供する。【解決手段】画像処理装置（スマートフォン１０）は、プロセッサ１４、メインメモリ１５及びダンス解析プログラム１６Ａを記憶したＳＳＤ１６を備える。ダンス解析プログラム１６Ａは、動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較して対象画像の背景画像としての信頼性を判断し、信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する。【選択図】図１
2019219940.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段と、
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段と、
を備える画像処理装置。
【請求項２】
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定する、請求項１記載の画像処理装置。
【請求項３】
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能とする、請求項２記載の画像処理装置。
【請求項４】
上記判断手段は、動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、予め設定した閾値以下の相違の場合、上記対象画像は背景画像としての信頼性があると判断する、請求項１乃至３の何れか一項記載の画像処理装置。
【請求項５】
上記背景画像作成手段は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、請求項１乃至４の何れか一項記載の画像処理装置。
【請求項６】
上記背景画像作成手段は、重み付け背景画像生成法により背景画像の情報を作成する、請求項１乃至５の何れか一項記載の画像処理装置。
【請求項７】
上記基準となる画像は、上記動画の一のフレームである、請求項１乃至６の何れか一項記載の画像処理装置。
【請求項８】
上記基準となる画像は、「ピンぼけ」状態となっていない画像である、請求項１乃至７の何れか一項記載の画像処理装置。
【請求項９】
上記予め設定した画像位置範囲は、画像の周辺領域である、請求項１乃至８の何れか一項記載の画像処理装置。
【請求項１０】
上記予め設定した画像位置範囲は、画像の四隅の領域である、請求項９記載の画像処理装置。
【請求項１１】
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断工程と、
上記判断工程で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成工程と、
を有する画像処理方法。
【請求項１２】
動画を取扱う装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段、及び
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
画面全体からゆらぎ領域を確実に検出でき、監視対象とする物体を精度良く検知するための技術が提案されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１２３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、室内でカメラを固定して人物がダンスする情景を動画撮影する場合で、且つカメラが備えるオートフォーカス機能により、撮影範囲内を移動する、主要な被写体であるダンスを行なう人物を追尾しながら合焦し続けるケースを想定する。
【０００５】
そのような状況においては、上記合焦位置が移動することに伴って、背景となる画像部分においても、著しく合焦から外れた、所謂「ピンぼけ」と称される不鮮明な状態で撮影されることがある。
【０００６】
そして、上述したように背景側の画像が不鮮明な状態で撮影されると、その後に撮影画像中を移動する主要被写体の画像と背景を切り分けるような画像処理が必要となった場合に、背景と主要被写体との区分を判断する際の精度が低下する、という不具合を生じることになる。
【０００７】
このようなオートフォーカス機能の働きによって生じる背景画像の不鮮明化等については、上記特許文献に記載された技術でも考慮されていない。
【０００８】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、画像中を移動する動体と背景を精度良く切り分けることが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様は、動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段と、上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、画像中を移動する動体と背景を精度良く切り分けることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係るスマートフォンの電子回路の機能構成を示すブロック図。
【図２】同実施形態に係るダンスを撮影してから、その撮影結果を基に採点を行なうまでの一連の処理の流れを示すフローチャート。
【図３】同実施形態に係る図２の背景テンプレート画像作成に関するサブルーチンの処理内容を示すフローチャート。
【図４】同実施形態に係る画像中の主要被写体の位置に応じた重み付け設定の例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明を、ダンス解析用のアプリケーションプログラムをインストールしたスマートフォンに適用した場合の一実施形態について、図面を参照して詳細に説明する。
【００１３】
図１は、スマートフォン１０の電子回路の機能構成を説明するブロック図である。このスマートフォン１０において、１１は音声を出力するスピーカ、１２は音声を入力するマイクロホンであり、共に音声処理部１３に接続される。
【００１４】
この音声処理部１３は、スマートフォン１０により音声の入出力を行なうに当たり、上記マイクロホン１２から入力される音声をデジタル化、コードデータ化及び所定のデータ圧縮を施してシステムバスＳＢへ出力する一方で、デジタル音楽データをシステムバスＳＢを介して受取り、伸長処理した後にアナログ化した音声信号を生成して上記スピーカ１１へ出力し、放音させる。
【００１５】
プロセッサ１４は、このスマートフォン１０全体の動作制御を、上記システムバスＳＢを介して接続されたメインメモリ１５及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）１６を使用して実行する。
【００１６】
メインメモリ１５は、例えばＳＤＲＡＭで構成され、プロセッサ１４がプログラムを実行する際にＳＳＤ１６から読み出したアプリケーションプログラムを展開して保持するワークメモリである。ＳＳＤ１６は、不揮発性メモリで構成され、ＯＳ（オペレーティングシステム）と、後述するダンス解析プログラム１６Ａを含む各種アプリケーションプログラム、その他各種固定データやコンテンツ等を格納、記憶するもので、それらの記憶内容は必要により適宜プロセッサ１４によってメインメモリ１５等へ読出される。
【００１７】
なおプロセッサ１４は、映像の記録時に、撮影により得られる一連の画像データに対するデータ圧縮を含む動画像ファイル化を行なう一方で、映像の再生時には、記録媒体から読み出されてきた動画像ファイルを上記記録時と逆の手順で順次デコードして伸長して再生表示させる。
【００１８】
また上記システムバスＳＢにはさらに、表示部１７、タッチ入力部１８、撮像部１９、ＧＰＳ受信部２０、加速度センサ２１、ジャイロセンサ２２、地磁気センサ２３、操作部２４、バイブレータ２５、無線通信部２６、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部２７、及び外部デバイスインタフェイス（Ｉ／Ｆ）２８と接続される。
【００１９】
表示部１７は、バックライト付きの例えば対角６インチ程のサイズのカラー液晶パネルとそれらの駆動回路とで構成される。この表示部１７に対して、透明電極膜を用いたタッチ入力部１８が一体に構成される。このタッチ入力部１８は、マルチタッチ操作を含めてユーザのタッチ操作に応じた時系列の座標信号をデジタル化し、タッチ操作信号として上記プロセッサ１４へ送出する。
【００２０】
撮像部１９は、スマートフォン１０の筐体の表裏の少なくとも何れかに設けられた撮像部と、それらの撮像部の撮像で得られた画像データを圧縮してファイル化する画像処理部等を有する。
【００２１】
ＧＰＳ受信部２０は、ＧＰＳアンテナ２９で受信する、図示しない複数のＧＰＳ衛星からの到来電波に基づき、現在位置の３次元座標（緯度、経度、高度）と、現在時刻とを算出し、システムバスＳＢを介して上記プロセッサ１４へ送出する。
【００２２】
加速度センサ２１は、互いに直交する３軸方向それぞれの加速度を検出するもので、重力加速度の方向により、このスマートフォン１０の姿勢を検出できる。
【００２３】
ジャイロセンサ２２は、互いに直交する３軸方向に配置された振動型ジャイロスコープで構成され、上記加速度センサ２１、地磁気センサ２３の出力と組み合わせて、このスマートフォン１０を所持、装着しているユーザの動作を解析して、上記ＧＰＳアンテナ２９、ＧＰＳ受信部２０からの出力による絶対的な現在位置の認識ができない状態でも、加速度センサ２１、地磁気センサ２３との協働により自律航法による現在位置の更新動作を実行することができる。
【００２４】
地磁気センサ２３は、互いに直交する３軸方向それぞれの地磁気を検出するもので、磁北の方向に基づいてその時点でこのスマートフォン１０を向けている方位が検出できる。
【００２５】
操作部２４は、このスマートフォン１０の筐体側面等に設けられる、電源キーを含むいくつかの操作キーからなり、それらのキー操作に応じたキー操作信号をシステムバスＳＢを介してプロセッサ１４へ送出する。
【００２６】
バイブレータ２５は、小型のモータとそのモータの回転軸に偏心して取付けられたウェイトとからなり、モータの回転駆動によりスマートフォン１０全体に及ぶ振動を発生させる。
【００２７】
無線通信部２６は、アンテナ３０〜３２を用いて、例えば第４世代携帯電話、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎに則った無線ＬＡＮシステム、及びブルートゥース（登録商標）等による近距離無線通信線にそれぞれ対応して外部の機器と無線通信によるデータの送受を行なう。
【００２８】
ＮＦＣ部２７は、例えばＦｅｌｉＣａ（登録商標）規格及びＭＩＦＡＲＥ（登録商標）規格を用いて、近距離にある外部機器と非接触でデータの送受及び給電動作を行なう。
【００２９】
外部デバイスインタフェイス２８は、ヘッドホンジャック３３、マイクロＵＳＢ端子３４、及びメモリカードスロット３５を介して、例えばヘッドホンやイヤホン、ＵＳＢ機器、及びメモリカードをそれぞれ接続または装着可能とする。
【００３０】
メモリカードスロット３５に装着するメモリカードには、後述するダンス解析プログラムで使用する動画像データファイル等を記録し、また記録したデータファイルを読み出すことができる。
【００３１】
次に本実施形態の動作について説明する。  
図２は、ダンスを行なう人物の動画を撮影してから、その撮影により得られた動画ファイルにおける上記人物のダンスの採点を行なうまでの一連の処理の流れを示す。
【００３２】
その当初に、ユーザはスマートフォン１０を設置、できれば三脚等を用いて固定設置した上で、ダンスを行なう人物の動画による撮影を実行する（ステップＳ１０１）。
【００３３】
この撮影に先駆けて、例えば表示部１７の画面下部において、  
「背景画像の四隅がはっきりと写るように画角を設定して下さい」  
のような文字ガイドメッセージを併せて重畳表示させるものとして、ユーザに適切な動画を撮影するように促してもよい。
【００３４】
この動画撮影に関しては、スマートフォン１０にインストールしているアプリケーションプログラムであるダンス解析プログラム１６Ａを使用することなく、通常のカメラモードでの動画撮影であっても良いし、あるいはスマートフォン１０外の機器から、既に撮影済みの動画ファイルを取込んで、メモリカードスロット３５に装着したメモリカード、あるいはＳＳＤ１６に記録させるものとしても良い。
【００３５】
その後、ダンス解析プログラム１６Ａを起動していない場合は当該プログラムをあらためて起動した上で、解析を行なう動画ファイルを選択する。
【００３６】
選択した動画ファイルに対して、プロセッサ１４ではまず、ダンスを行なう人物を画像中から切り出して抽出するための背景テンプレート画像を作成する処理を実行する（ステップＳ１０２）。
【００３７】
図３は、この背景テンプレート画像の作成に関するサブルーチンの処理内容を示すフローチャートである。
【００３８】
その当初にプロセッサ１４は、今回撮影する動画の一のフレーム（例えば、先頭フレーム）を、基準となる初期の背景画像として設定する。なお、その際、当該一のフレームが「ピンぼけ」状態となっていないか画像認識処理により判別し、「ピンぼけ」状態となっていないフレームを、基準となる初期の背景画像として設定する（ステップＳ２０１）。
【００３９】
こうして初期の背景画像が選択されたことを受けて、以後、動画ファイルを構成する個々のフレーム画像を用いた背景テンプレート画像の作成に移行する。
【００４０】
その処理当初にプロセッサ１４は、全てのフレーム画像に対する処理を終了したか否かにより、上記背景テンプレート画像の作成を終了したか否かを判断する（ステップＳ２０２）。
【００４１】
ここでまだ終了していないと判断すると（ステップＳ２０２のＮｏ）、プロセッサ１４は、背景テンプレート画像の作成で参照していないフレーム画像中、時系列で最も先頭側に位置しているものを選択し、デコード対象の画像（以下「対象画像」と称する）として設定する（ステップＳ２０３）。
【００４２】
次にプロセッサ１４は、それまでの時点で背景テンプレート画像として積算処理された画像を平均化した画像（以下「前回対象画像」と称する）と、今回設定した対象画像の周辺画像範囲、例えばそれぞれ四隅の縦６４画素×横６４画素の画像ブロックの一致を検証する（ステップＳ２０４）。
【００４３】
上記前回対象画像は、上記ステップＳ２０１で最初に選択した初期の背景画像からの蓄積に基づく画像であるものとする。
【００４４】
プロセッサ１４は上記検証の結果に基づき、予め設定した閾値以下の相違であるか否かにより、一致するか否かを判断する（ステップＳ２０５）。
【００４５】
ここで、前回対象画像と今回設定した対象画像の四隅の画像範囲の一致を検証するのは、ダンスの場合、ダンサーが画像の四隅の位置に移動して踊ることはなく、２つの対象画像の四隅が一致しないと判断した場合は（ステップＳ２０５のＮｏ）、例えば画像中の主要被写体に対するオートフォーカス機能による追尾処理等でフレーム画像の背景側の合焦状態が大きく外れて「ピンぼけ」状態となっている場合や、当該フレーム画像の撮影範囲が、そもそも上記初期の背景画像の撮影範囲と異なっている場合などが考えられる。
【００４６】
したがってプロセッサ１４は、その時点で設定している対象画像を背景テンプレート画像の作成に用いることはないものとして、次のフレーム画像を設定するべく、再び上記ステップＳ２０２からの処理に戻る。
【００４７】
また上記ステップＳ２０５において、２つの対象画像の四隅の相違が予め設定した閾値以下であり、一致したと判断した場合（ステップＳ２０５のＹｅｓ）、次にプロセッサ１４は、その対象画像中の主要被写体の位置に応じた画面の背景領域の重み付け設定を行なう（ステップＳ２０６）。
【００４８】
ここで、対象画像中の主要被写体の位置に応じた画面の背景領域の重み付け設定を行なうのは、ダンスの場合、それぞれのダンスに応じてダンサーの移動や振り付けが決まっており、一連のダンスの中で、ある時は、ダンスフロアの中央付近にある程度の時間留まって踊り、またある時は、ダンスフロアの左や右端付近に留まって踊ることがある。
【００４９】
このようなダンス動画から背景テンプレートを作成する場合、特定の場所にある程度の時間留まっているダンサーも背景として含まれてしまうのを防ぐことを目的とする。
【００５０】
図４は、画像中の主要被写体ＭＯの位置に応じた重み付け設定の例を示す図である。ここでは、横長の矩形の画像を横方向に４つのエリアに分割するものとして、背景領域を等分に分割し、画面全体における総計値を「２００」として、各領域毎に重み付けを行った例を示す。
【００５１】
図４（Ａ）−１は、主要被写体ＭＯが画像中のほぼ中央に留まって踊っている場合を示す。この場合、図４（Ａ）−２に示すように、４つに分割した背景領域中、左右の両端の２つのエリアにそれぞれ重み付け「７０」を設定する一方で、中央寄りの２つのエリアにはそれぞれ重み付け「３０」を設定している。
【００５２】
図４（Ｂ）−１は、主要被写体ＭＯが画像中のほぼ左端側に留まって踊っている場合を示す。この場合、図４（Ｂ）−２に示すように、４つに分割した背景領域中、左端側から順次重み付けを「３０」「４０」「６０」「７０」と、右側に位置するほど高くなるように設定している。
【００５３】
さらに図４（Ｃ）−１は、反対に画像中のほぼ右端側に主要被写体ＭＯが位置している場合を示す。この場合、図４（Ｃ）−２に示すように、４つに分割した背景領域中、右端側から順次重み付けを「３０」「４０」「６０」「７０」と、左側に位置するほど高くなるように設定している。
【００５４】
なお、上記図４は、横長の矩形の画像を横方向に４つのエリアに分割するものとして、背景領域を等分に分割した場合について説明したが、このような分割パターンに限らず、予め用意される複数の分割パターンから、スマートフォン１０のユーザ自身が、ダンスにおける主要被写体ＭＯの動きに応じた１つの分割パターンを任意に選択できるものとしても良い。
【００５５】
その場合、ユーザ自身が画像中の主要被写体ＭＯの動き方を考慮して分割パターンを適切に選択することで、後に画像中から主要被写体ＭＯを切り出して抽出する場合の精度をより高めることができる。
【００５６】
こうして上記図４に示した如く主要被写体の位置に応じた画面の背景領域の重み付け設定を行なった後、プロセッサ１４は重み付けした結果に基づいて現在の対象画像を前回対象画像にさらに加算させる積算処理を実行した後（ステップＳ２０７）、次のフレーム画像を設定するべく、再び上記ステップＳ２０２からの処理に戻る。
【００５７】
こうして上記ステップＳ２０２〜Ｓ２０７の処理を、動画ファイルを構成するフレーム画像分だけ繰返し実行することで、画像の背景側が鮮明な状態となっているフレーム画像のみを用いて背景テンプレート画像を作成する。  
なお、この重み付け背景画像生成法は公知な技術であるため詳細な説明は省略する。
【００５８】
そして、動画ファイルを構成する最後のフレーム画像に対する処理を実行した後、上記ステップＳ２０２において、背景テンプレート画像の作成を終了したと判断すると（ステップＳ２０２のＹｅｓ）、プロセッサ１４は以上で図３のサブルーチンの処理を終了して、上記図２のメインルーチンに復帰する。
【００５９】
図２において、上記作成した背景のテンプレート画像に基づいて、あらためてダンサーの主要被写体ＭＯを切り出して抽出する処理を、全フレーム画像に対して実行する（ステップＳ１０３）。
【００６０】
その後にプロセッサ１４は、抽出したダンサーの主要被写体ＭＯに基づき、予め設定されている採点処理方法に基づいた採点を実行し、採点結果を表示部１７にて表示させた上で（ステップＳ１０４）、以上でダンス解析プログラム１６Ａに基づいた上記図２の処理を終了する。
【００６１】
以上詳述した如く本実施形態によれば、画像中を移動する動体と背景を精度良く切り分けることが可能となる。
【００６２】
また上記実施形態においては、上記図４でも示したように、対象となる画像中での主要被写体ＭＯの位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数の背景領域に分割して、分割した背景領域毎に重み付けを設定するものとしたので、明らかに主要被写体ＭＯが存在しない背景領域が、より重み付けされるものとして背景のテンプレート画像を作成するものとしたので、後に画像中から主要被写体ＭＯを切り出して抽出する場合の精度をより高めることができる。
【００６３】
なお上記実施形態は、ダンス解析用のアプリケーションプログラムをインストールしたスマートフォンに適用した場合について説明したものであるが、本発明はそのように限定を行なうものではなく、画像中を移動する物体を主要被写体ＭＯとして、背景画像から切り出して抽出するような他の画像処理装置においても、同様に適用することが可能である。
【００６４】
また上記実施形態においては、動画を構成するフレームにおいて「ピンぼけ」状態となっているフレームは、背景テンプレート画像の作成に使わない処理（図３のステップＳ２０３〜Ｓ２０５）と、対象画像中の主要被写体の位置に応じた画面の背景領域の重み付け設定を行なう処理（図３のステップＳ２０６）の両方を行なったが、どちらか一方の処理だけを行なってもよい。
【００６５】
さらに上記実施形態においては、基準となる初期の背景画像の設定（図３のステップＳ２０１）は、今回撮影する動画の「ピンぼけ」状態となっていない一のフレーム（例えば、先頭フレーム）を基準となる初期の背景画像としたが、記録されている複数の静止画及び又は動画の中に、今回ダンスを行なうダンスフロアを撮影したファイルが既に存在する場合は、その画像を基準となる初期の背景画像としてもよい。
【００６６】
また上記実施形態において、図３のステップＳ２０６の、主要被写体位置に応じた画面の背景領域の重み付け設定は、今回のダンスの教師データとなる動画を事前に撮影し、その動画におけるダンサー（教師）の位置に応じた重み付けのテンプレートデータを事前に作成し、このテンプレートデータに基づいて重み付け設定を行なってもよい。
【００６７】
さらに上記実施形態においては、ダンスを例に説明したが、ダンスに限らず、フィギュアスケート、体操競技の床運動、チアリーディング等の演技、パフォーマンスなどであってもよい。
【００６８】
また、そのような処理を実行するプログラムを実装する装置に関しても、スマートフォンに限らず、モバイルタイプのパーソナルコンピュータや、動画撮影を行なうムービーカメラ等においても適用することが可能となる。
【００６９】
その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００７０】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
［請求項１］  
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段と、  
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段と、  
を備える画像処理装置。  
［請求項２］  
上記背景画像作成手段は、対象画像中の主要被写体の位置を認識し、認識した主要被写体の位置に基づいて、対象画像を複数のエリアに分割してエリア毎に背景画像としての重み付けを設定する、請求項１記載の画像処理装置。  
［請求項３］  
上記複数のエリアの分割は、予め用意された複数の分割パターンから１つを任意に選択可能とする、請求項２記載の画像処理装置。  
［請求項４］  
上記判断手段は、動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、予め設定した閾値以下の相違の場合、上記対象画像は背景画像としての信頼性があると判断する、請求項１乃至３の何れか一項記載の画像処理装置。  
［請求項５］  
上記背景画像作成手段は、事前に撮影された教師データとなる動画から教師の位置を認識し、事前に作成した、前記教師の位置に応じた重み付けのテンプレートデータに基づいて、背景画像としての重み付けを設定する、請求項１乃至４の何れか一項記載の画像処理装置。  
［請求項６］  
上記背景画像作成手段は、重み付け背景画像生成法により背景画像の情報を作成する、請求項１乃至５の何れか一項記載の画像処理装置。  
［請求項７］  
上記基準となる画像は、上記動画の一のフレームである、請求項１乃至６の何れか一項記載の画像処理装置。  
［請求項８］  
上記基準となる画像は、「ピンぼけ」状態となっていない画像である、請求項１乃至７の何れか一項記載の画像処理装置。  
［請求項９］  
上記予め設定した画像位置範囲は、画像の周辺領域である、請求項１乃至８の何れか一項記載の画像処理装置。  
［請求項１０］  
上記予め設定した画像位置範囲は、画像の四隅の領域である、請求項９記載の画像処理装置。  
［請求項１１］  
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断工程と、  
上記判断工程で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成工程と、  
を有する画像処理方法。  
［請求項１２］  
動画を取扱う装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、  
動画を構成する対象画像を基準となる画像と予め設定した画像位置範囲で比較し、上記対象画像の背景画像としての信頼性を判断する判断手段、及び  
上記判断手段で信頼性があると判断した対象画像を複数用いて背景画像の情報を作成する背景画像作成手段、  
として機能させるプログラム。
【符号の説明】
【００７１】
１０…スマートフォン、
１１…スピーカ、
１２…マイクロホン、
１３…音声処理部、
１４…プロセッサ、
１５…メインメモリ、
１６…ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、
１６Ａ…ダンス解析プログラム、
１７…表示部、
１８…タッチ入力部、
１９…撮像部、
２０…ＧＰＳ受信部、
２１…加速度センサ、
２２…ジャイロセンサ、
２３…地磁気センサ、
２４…操作部、
２５…バイブレータ、
２６…無線通信部、
２７…ＮＦＣ部、
２８…外部デバイスインタフェイス（Ｉ／Ｆ）、
２９…ＧＰＳアンテナ、
３０〜３２…アンテナ、
３３…ヘッドホンジャック、
３４…マイクロＵＳＢ端子、
３５…メモリカードスロット、
ＭＯ…（画像中の）主要被写体、
ＳＢ…システムバス
【図１】
2019219940.tif 000003
【図２】
2019219940.tif 000004
【図３】
2019219940.tif 000005
【図４】
2019219940.tif 000006