(57)【要約】【課題】撮影中の動画像に対し所望する箇所の編集を可能とする。【解決手段】動画撮影モードでライブビュー画像を表示している間に、ライブビュー画像における被写体の動作に応じ、記録する動画像に対する編集対象箇所を含む画像編集内容を設定する（Ｓ５）。撮影開始操作を確認した後（Ｓ１１：ＹＥＳ）、設定した内容の画像編集を含む動画像の撮影、記録を開始することにより（Ｓ１２）、特定の箇所のみを編集した動画像を記録する。【選択図】図３
2015061133.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像される動画像における被写体の動作を検出する検出手段と、
前記検出手段により検出された被写体の動作に応じ、前記動画像に対する編集対象箇所を含む画像編集の内容を設定する設定手段と、
前記動画像に対し、前記設定手段により設定された内容の画像編集を行う編集手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記編集手段は、前記設定手段により画像編集の内容が設定された後に撮像される動画像に対し、前記画像編集の内容の画像編集を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記編集手段による編集後の動画像の記録又は配信の少なくともいずれか一方を行う画像処理手段を、更に備えることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像編集の内容に含まれる編集対象箇所は、前記検出手段により検出された被写体の動作における前記被写体の移動領域であって、
前記画像編集の内容は、前記被写体の移動領域に対応する画像領域の隠蔽であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像編集の内容は、前記被写体の移動領域に対応する画像領域の所定の色又は図柄のいずれか一方による塗りつぶしであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像編集の内容は、前記被写体の移動領域に対応する画像領域の、予め用意されている静止画像の一部との置き換えであることを特徴とする請求項４記載の画像処理装置。
【請求項７】
前記編集手段は、前記動画像に対する画像編集に際し、当該動画像における前記編集対象箇所に該当する領域内の被写体の移動に追従し、前記編集対象箇所を更新することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像編集の内容は、前記編集対象箇所を画像内の規定領域とした、当該規定領域への所定情報の表示であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像編集の内容は、前記被写体の動作中における前記被写体の移動軌跡上の所定の位置を前記編集対象箇所とした、当該所定の位置への予め用意されている静止画像の貼付であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮影準備段階における動画像を表示する表示手段を備え、
前記設定手段は、前記表示手段に前記撮影準備段階における動画像とともに前記画像編集の種類を示す複数のアイコンを表示させる一方、前記画像編集の内容として、前記検出手段により検出された被写体の動作に含まれる前記複数のアイコンのいずれかの指示動作に応じた種類の編集内容を設定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項１１】
前記設定手段は、前記撮像手段により前記動画像の撮影が開始される前に前記表示手段による前記複数のアイコンの表示を終了する
ことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記設定手段により設定された動画像に対する画像編集の内容を記憶する記憶手段と、
前記動画像に対する画像編集の内容として、前記記憶手段に記憶されている内容を設定する第２の設定手段と
を備え、
前記編集手段は、前記動画像に対し、前記設定手段又は前記第２の設定手段のいずれか一方により設定された内容の画像編集を行う
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
撮像手段により撮像される動画像における被写体の動作を検出する検出工程と、
前記検出工程で検出した被写体の動作に応じ、前記動画像に対する編集対象箇所を含む画像編集の内容を設定する設定工程と、
前記動画像に対し、前記設定工程で設定した内容の画像編集を行う編集工程と
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータに、
撮像手段により撮像される動画像における被写体の動作を検出する検出機能、
前記検出機能により検出した被写体の動作に応じ、前記動画像に対する編集対象箇所を含む画像編集の内容を設定する設定機能、
前記動画像に対し、前記設定機能により設定した内容の画像編集を行う編集機能
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を処理対象とする画像処理装置、画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、ＷＥＢ配信やＴＶ電話が普及しており、携帯電話端末やパーソナルコンピュータ等の情報機器に内蔵されたカメラを用いて自分が撮影した動画像を他人とリアルタイムで共有したり、インターネットの任意のサイトに公開したりすることが一般に行われている。
【０００３】
しかし、撮影中の動画像や記録した動画像を共有、公開を目的とする場合、その動画像の撮影を、いわゆる自分撮りにより行う場合には、本人以外にも部屋の様子等の公開等を望まない部分が背景として映ってしまう場合がある。これを解決可能とする技術として、例えば下記特許文献１には、動画像における背景部分と人物部分とを区別し、背景部分に特定パターンを自動的に映し出す技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１３７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の技術は、人物以外の背景部分の全てを隠したいときには有効であっても、例えば背景の一部だけを隠す等、所望する箇所を対象とした編集は行うことができないという問題があった。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影中の動画像に対し所望する箇所の編集が可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明にあっては、撮像手段により撮像される動画像における被写体の動作を検出する検出手段と、前記検出手段により検出された被写体の動作に応じ、前記動画像に対する編集対象箇所を含む画像編集の内容を設定する設定手段と、前記動画像に対し、前記設定手段により設定された内容の画像編集を行う編集手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影中の動画像に対し所望する箇所の編集が可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の画像処理装置として例示する情報機器の外観図である。
【図２】情報機器の電気的構成を示すブロック図である。
【図３】自分撮りモードでの動画撮影処理を示すフローチャートである。
【図４】画像編集内容設定処理を示すフローチャートである。
【図５】画像編集内容設定処理の実行前、及び実行後のライブビュー画像を示す図である。
【図６】画像編集内容設定処理の実行後における他のライブビュー画像を示す図である。
【図７】変形例における画像編集内容設定処理の実行後のライブビュー画像を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について説明する。
図１は、本発明の画像処理装置として例示する動画撮影機能を備えた携帯型の情報機器１の外観図である。情報機器１は、機器本体２の表面に、文字や画像を表示するカラー液晶表示パネル３が設けられるとともに、カメラ部４や複数の操作ボタン５が設けられた構成である。なお、カメラ部４は、主としていわゆる自分撮りに際して使用されるものであり、図示しない機器本体２の裏面には、主として他人やその他の撮影対象の撮影に使用とれるカメラ部も設けられている。
【００１１】
また、図２は、上記情報機器１の電気的構成の概略を示したブロック図である。図２に示したように、情報機器１は、主として制御部２１と、電源部２３、撮像部２４、画像記憶部２５、プログラム記憶部２６、表示部２７、操作部２８の各部を備えている。
【００１２】
制御部２１は、ＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access memory）等の作業用の内部メモリを含み、情報機器１の各部を制御する。なお、制御部２１には、現在の日付及び時刻をカウントする内部時計が含まれる。
【００１３】
電源部２３は、充電池、およびＤＣ／ＤＣコンバータなどで構成され、情報機器１の各部へ、各々の動作に必要な電力を供給する。
【００１４】
撮像部２４は、前述した機器本体２の表面側のカメラ部４、及び機器本体２の裏面側のカメラ部（図示せず）を個別に構成する２つの撮像素子と、各々の撮像素子から出力された撮像信号を処理する信号処理回路とから構成される。なお、撮像素子は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子である。撮像部２４は情報機器１に撮影モードが設定されている間、２つの撮像素子のうち所定の撮像素子により被写体を逐次撮像し、被写体の画像データを制御部２１へ供給する。
【００１５】
制御部２１へ供給された画像データは、制御部２１において画素毎のＲＧＢデータに変換され、さらに輝度（Ｙ）成分及び色差（ＵＶ）成分からなるＹＵＶデータに変換された後、前記カラー液晶表示パネル３を含む表示部２７へ供給され、画面上にライブビュー画像として表示される。
【００１６】
表示部２７は、前記カラー液晶表示パネル３と、制御部２１から供給される画像データ等に応じてカラー液晶表示パネル３を駆動する表示駆動回路とから構成される。
【００１７】
また、上記ＹＵＶデータに変換された画像データは、静止画撮影時には、制御部２１においてＪＰＥＧ（Joint Photographic Expert Group）方式等で静止画データとして圧縮され、種々の属性情報が付加された静止画ファイルとして画像記憶部２５に記憶される。
【００１８】
さらに、ＹＵＶデータに変換された画像データは、動画撮影時には、制御部２１においてＭＰＥＧ（Motion Picture Experts Group）方式等で動画データとして逐次圧縮され、種々の属性情報が付加された動画ファイルとして画像記憶部２５に記憶される。
【００１９】
画像記憶部２５に静止画ファイルや動画ファイルとして記録された静止画データや動画データは、必要に応じて制御部２１に読み出されて伸張された後、表示部２７に供給され、カラー液晶表示パネル３の画面上に静止画像や動画像として再生（表示）される。
【００２０】
画像記憶部２５は、例えば情報機器１に内蔵されたフラッシュメモリや、情報機器１に着脱自在な各種のメモリカード、及びメモリカードへのデータの入出力を可能とするカードインターフェイスにより構成される。
【００２１】
操作部２８は、前述した複数の操作ボタン５から構成される。操作部２８における操作ボタンの操作状態は制御部２１において随時監視される。
【００２２】
プログラム記憶部２６は、例えばフラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部２６には、制御部２１に情報機器１の各部を制御させるための制御プログラム等が記憶されている。
【００２３】
特にプログラム記憶部２６には、制御部２１に、画像内における任意の人物の顔認識や、その他の任意の被写体部分の認識を伴う後述する動画像の撮影処理を行わせるプログラムが記憶されている。また、プログラム記憶部２６には、後述する動画像の編集内容を含む各種の情報が記憶される。
【００２４】
そして、以上の構成からなる情報機器１には、動画像を撮影し記録する動画撮影モードとして通常モードと自分撮りモードとが用意されている。自分撮りモードは、主として他人との共有や公開を目的としてユーザー（撮影者）本人の写った動画像を撮影し記録する際に使用される動画撮影モードである。
【００２５】
次に、情報機器１の本発明に係る動作を図を参照をしながら説明する。図３及び図４は、情報機器１において前述した自分撮りモードが設定されたときの制御部２１における動画撮影処理を示したフローチャートである。
【００２６】
図３に示したように、制御部２１は自分撮りモードの設定とともに動作を開始すると、撮像部２４による所定のフレームレートでの撮像、及び表示部２７によるライブビュー表示を開始する（ステップＳ１）。
【００２７】
次に、制御部２１は、逐次撮像されライブビュー画像として表示中の画像（撮像画像）を対象とした顔認識処理を行う（ステップＳ２）。なお、係る顔認識処理に際して制御部２１は、画像内に存在する任意の人物の顔部分であって、その大きさ（画像内での面積の割合）が決められている規定の顔部分を公知の画像認識技術を用いて認識する。
【００２８】
そして、制御部２１は、上記規定の顔部分が認識できなかった場合には（ステップＳ３：ＮＯ）、画角内に自分撮りの対象となる撮影者であるユーザー本人が存在しないものとして、ユーザーによる編集内容の呼び出し操作の有無を確認する（ステップＳ８）。
【００２９】
ここで、編集内容とは、プログラム記憶部２６に予め記録されている撮像中の画像に対する編集内容である。編集内容の詳細については後述する。また、編集内容の呼び出し操作は、操作部２８の所定の操作ボタンの操作により行われる。
【００３０】
制御部２１は、編集内容の呼び出し操作が確認できなければ（ステップＳ８：ＮＯ）、いったんステップＳ２の処理に戻り、前述した顔認識処理を繰り返す。また、制御部２１は、編集内容の呼び出し操作があれば（ステップＳ８：ＹＥＳ）、編集内容の呼び出し（ステップＳ９）、及び編集内容を決定する処理を行う（ステップＳ１０）。なお、ステップＳ８〜Ｓ１０の処理の詳細については後述する。
【００３１】
一方、上記の処理とは異なり、処理開始当初においてライブビュー画像として表示中の画像において規定の顔部分が認識できた場合、及び顔認識処理を繰り返す間に規定の顔部分が認識できた場合（ステップＳ３：ＹＥＳ）、制御部２１は、実際に自分撮りが行われているものとして、後述する画像編集の種類を示す複数のアイコンを画面上に表示させる（ステップＳ４）。具体的に説明すると、制御部２１は、所定のフレームレートで逐次撮像した画像の所定の位置に上記複数のアイコンを上書き合成し、合成後の画像を画面上に表示させる処理を開始する。
【００３２】
図５（ａ）は、ステップＳ４の処理の直後にライブビュー画像Ｇの一例を示した図であり、実際に自分撮りが行われており、ライブビュー画像内に撮影者であるユーザー本人Ａが存在する場合を例示した図である。同図に示したように、ステップＳ４の処理において制御部２１は、消しゴムアイコン５１（図で、「Ｅｒａｓｅ」）と、壁紙アイコン５２（図で、「Ｓｃｒｅｅｎ」）と、スタンプアイコン５３（図で、「Ｓｔａｍｐ」）と、日付アイコン５４（図で、「Ｄａｔｅ」）との４種類のアイコンを画面上に表示させる。
【００３３】
しかる後、制御部２１は、画像編集内容設定処理を行う（ステップＳ５）。係る処理は撮像中の画像に行う編集の内容を設定する処理であり、画角内におけるユーザーの手の動きを編集内容の設定操作として検出し、検出した手の動きに応じた編集内容を設定する処理である。
【００３４】
以下、制御部２１による画像編集内容設定処理を図４に従い説明する。なお、図４では省略するが、以下の処理に際して制御部２１は、逐次撮像した画像において任意の人物の手に相当する被写体部分を認識し、認識した被写体部分（ユーザーの手）を逐次追跡する。なお、制御部２１による上記被写体部分の具体的な認識手法、及び追跡手法については、動体認識技術として公知の手法を使用する。
【００３５】
画像編集内容設定処理に際して制御部２１は、図４に示したように、逐次撮像した画像内でユーザーの手の動きを逐次追跡する間に、ユーザーの手が、前述した複数のアイコン５１〜５４のいずれかの上で１秒以上停止したか否かを順に確認する（ステップＳ５１，Ｓ５５，Ｓ５９，Ｓ６４）。
【００３６】
そして、制御部２１は、画像編集内容設定処理を開始してから所定時間が経過するまでの間（ステップＳ６６：ＮＯ）、上記確認を繰り返し行う。
【００３７】
その間、制御部２１は、ユーザーの手が消しゴムアイコン５１上で１秒以上停止したことが確認できた場合には（ステップＳ５１：ＹＥＳ）、まず、消しゴムアイコン５１を選択状態とする（ステップＳ５２）。
【００３８】
すなわち消しゴムアイコン５１の表示形態を図５（ａ）に示した状態から図５（ｂ）に示した反転表示に変更する。なお、ステップＳ５２の処理に際して制御部２１は、消しゴムアイコン５１以外のアイコン５２，５３，５４の画像内での表示を終了する。
【００３９】
次に、制御部２１は、ユーザーの手が、いったん移動を開始してから任意の位置で１秒以上停止したことが確認できるまでの間は（ステップＳ５３：ＮＯ）、逐次撮像した画像に対し、ユーザーの手の移動軌跡に相当する領域を塗りつぶす編集（以下、塗りつぶし編集という。）を行う（ステップＳ５４）。より具体的に説明すると、制御部２１は、ユーザーの手の移動軌跡に相当する領域を画像編集の対象領域として白や黒等の所定の色、又は所定の図柄で一様に塗りつぶす。
【００４０】
したがってユーザーにおいては、ライブビュー画像を見ながら自分の手を画角内で動かすことにより、撮像された画像の背景部分の一部であって所望する領域を塗りつぶすことができる。また、必要に応じてユーザーの顔等も塗りつぶすことができる。
【００４１】
なお、制御部２１は、ユーザーの手の移動軌跡に相当する領域を塗りつぶす際の色や図柄は、予めユーザーに選択的に設定されていた内容とする。また、ユーザーの手の移動軌跡に相当する領域は、文字通りにユーザーの手が移動したユーザーの手の大きさに対応する幅の軌跡線からなる領域、又はユーザーの手の大きさよりも広い予め決められた幅の軌跡線からなる領域のいずれかであり、これについても制御部２１は、予めユーザーに選択的に設定されていた幅とする。
【００４２】
なお、図示しないが、ステップＳ５４の処理に際して制御部２１は、消しゴムアイコン５１の表示位置を追跡中のユーザーの手の位置に応じた位置に逐次更新する。
【００４３】
その後、塗りつぶし編集を繰り返す間に、ユーザーの手が任意の位置で１秒以上停止したことが確認できると（ステップＳ５３：ＹＥＳ）、制御部２１は画像編集内容設定処理を終了する。なお、図では省略するが、制御部２１は、画像編集内容設定処理を終了した時点で消しゴムアイコン５１の表示を終了する。
【００４４】
図５（ｃ）は、上記の塗りつぶし編集が行われた状態のライブビュー画像Ｇの位置例を示した図であり、前記対象領域Ｘを白一色で塗りつぶした場合の例である。
【００４５】
また、制御部２１は、ユーザーの手が壁紙アイコン５２上で１秒以上停止したことが確認できた場合にも（ステップＳ５５：ＹＥＳ）、まず、表示中の壁紙アイコン５２を選択状態とする（ステップＳ５６）。すなわち壁紙アイコン５２の表示形態を反転表示に変更する。また、ステップＳ５６の処理に際して制御部２１は、壁紙アイコン５２以外のアイコン５１，５３，５４の画像内での表示を終了する。
【００４６】
次に、制御部２１は、ユーザーの手が、いったん移動を開始してから任意の位置で１秒以上停止したことが確認できるまでの間（ステップＳ５７：ＮＯ）、逐次撮像した画像に対し、ユーザーの手の移動軌跡に相当する領域を画像編集の対象領域として、例えば画像記憶部２５に記憶されているとともにユーザーによって予め壁紙画像として設定されている画像（静止画像）の一部を表示する編集（以下、壁紙表示編集という。）を行う（ステップＳ５８）。
【００４７】
より具体的に説明すると、ステップＳ５８の処理に際して制御部２１は、前記壁紙画像を下層レイヤとし、かつ撮像した画像を上層レイヤとするとともに、撮像した画像内における前記対象領域を透明に設定してレイヤ合成を行う。つまりライブビュー画像における対象領域を壁紙画像と置き換える。
【００４８】
したがってユーザーにおいては、ライブビュー画像を見ながら自分の手を画角内で動かすことにより、撮像された画像の背景部分の一部であって所望する領域を壁紙画像と置き換えることができる。また、必要に応じてユーザーの顔等も塗りつぶすことができる。
【００４９】
なお、ユーザーの手の移動軌跡に相当する領域の詳細については、前述した塗りつぶし編集の場合と同様である。また、図示しないが、ステップＳ５８の処理に際しても制御部２１は、壁紙アイコン５２の表示位置を追跡中のユーザーの手の位置に応じた位置に逐次更新する。
【００５０】
その後、壁紙表示編集を繰り返す間に、ユーザーの手が任意の位置で１秒以上停止したことが確認できると（ステップＳ５７：ＹＥＳ）、制御部２１は画像編集内容設定処理を終了する。なお、この場合も、制御部２１は、画像編集内容設定処理を終了した時点で壁紙アイコン５２の表示を終了する。
【００５１】
図６（ａ）は、壁紙表示編集（レイヤ合成）が行われた状態のライブビュー画像Ｇの例を示した図であり、前記対象領域Ｘに壁紙画像の一部が表示された状態を示す図である。
【００５２】
また、制御部２１は、ユーザーの手がスタンプアイコン５３上で１秒以上停止したことが確認できた場合にも（ステップＳ５９：ＹＥＳ）、まず、表示中のスタンプアイコン５３を選択状態とする（ステップＳ６０）。すなわちスタンプアイコン５３の表示形態を反転表示に変更する。また、ステップＳ６０の処理に際して制御部２１は、スタンプアイコン５３以外のアイコン５１，５２，５４の画像内での表示を終了する。
【００５３】
次に、制御部２１は、ユーザーの手が、いったん移動を開始してから任意の位置で１秒以上停止したことが確認できる毎に（ステップＳ６１：ＹＥＳ）、逐次撮像した画像に対し、ユーザーの手が停止した位置に、予め用意されている所定のサイズ及び図柄のスタンプを表示する編集（以下、スタンプ表示編集という。）を行う（ステップＳ６２）。
【００５４】
そして、制御部２１は、ユーザーの手が画角外に移動したことが確認できるまでの間（ステップＳ６３：ＮＯ）、移動中のユーザーの手が１秒以上停止する毎に上記のスタンプ表示編集を繰り返し行う。
【００５５】
したがってユーザーにおいては、ライブビュー画像を見ながら自分の手を画角内で動かすことにより、撮像された画像の背景部分の所望する被写体部分にスタンプを表示させることができる。また、必要に応じてユーザーの顔等にもスタンプを表示させることができる。
【００５６】
その後、ユーザーの手が画角外に移動したことが確認できると（ステップＳ６３：ＹＥＳ）、制御部２１は画像編集内容設定処理を終了する。なお、この場合も、制御部２１は、画像編集内容設定処理を終了した時点でスタンプアイコン５３の表示を終了する。
【００５７】
図６（ｂ）は、スタンプ表示編集が行われた状態のライブビュー画像Ｇの例を示した図であり、画像内の複数ヶ所（図では７ヶ所）にスタンプＳが表示された状態を示す図である。
【００５８】
また、制御部２１は、ユーザーの手が日付アイコン５４上で１秒以上停止したことが確認できた場合には（ステップＳ６４：ＹＥＳ）、逐次撮像した画像に対し、予め決められた所定位置に現在の時刻を含む日付情報を表示させる編集（以下、情報表示編集という。）を行う（ステップＳ６５）。
【００５９】
より具体的に説明すると、ステップＳ６５の処理に際して制御部２１は、まず、逐次撮像した画像の所定の位置に、所定の大きさの表示領域を設定し、係る表示領域の画像部分を白塗り状態で白等の所定の色で一様に塗りつぶす。しかる後、内部時計に示される現在の日付及び時刻を取得するとともに、取得した日付及び時刻を上記表示領域に、その表示領域の大きさに応じたサイズで表示させる。
【００６０】
ここで、係る情報表示編集において、逐次撮像した画像に設定する表示領域の画像内での位置、及び大きさと、表示領域の塗りつぶし色は、予めユーザーに選択的に設定されていた位置、大きさ、色である。
【００６１】
図６（ｃ）は、情報表示編集が行われた状態のライブビュー画像の例を示した図であって、上記表示領域が、予め画面の上側１／３の全域に設定され、かつ表示領域の塗りつぶし色が白である場合の例である。
【００６２】
したがってユーザーにおいては、日付及び時刻の表示領域を適宜設定しておくことにより、撮像された画像の背景部分の所望する領域に日付情報を表示させることができる。
【００６３】
また、ステップＳ６５の処理に際して制御部２１は、日付アイコン５４、及び他のアイコン５１，５２，５３の全ての表示を終了するとともに、ステップＳ６５の処理を完了すると同時に画像編集内容設定処理を終了する。
【００６４】
そして、以上説明した画像編集内容設定処理を終了すると制御部２１は、図３の処理に戻り、画像編集内容設定処理において塗りつぶし編集、壁紙表示編集、スタンプ表示編集、情報表示編集のいずれかの画像編集を行った場合には（ステップＳ６：ＹＥＳ）、行った画像編集による編集内容をプログラム記憶部２６に保存する（ステップＳ７）。
【００６５】
係る処理に際して保存される編集内容は、塗りつぶし編集、壁紙表示編集、スタンプ表示編集、情報表示編集といった編集方法の種類と、画像内における編集対象箇所に関する情報である。
【００６６】
編集対象箇所に関する情報は、画像編集が塗りつぶし編集であった場合には、画像内で塗りつぶした領域を示す領域情報であり、画像編集が壁紙表示編集であった場合には、画像内において壁紙画像の一部を表示した領域を示す領域情報である。また、画像編集がスタンプ表示編集であった場合には、画像内における１又は複数のスタンプの表示位置を示す位置情報であり、画像編集が情報表示編集であった場合には、画像内における日付情報の表示位置を示す位置情報である。
【００６７】
しかる後、制御部２１は、前述した画像編集の結果を維持した状態、すなわち図５（ｃ）、図６（ａ）〜図６（ｃ）に示した状態のライブビュー画像を表示した状態で、ユーザによる撮影開始操作の有無を確認する（ステップＳ１１）。
【００６８】
したがって、ユーザーにおいては、動画撮影を開始する以前に自分が設定した画像編集の内容を容易、且つ確実に確認することができる。
【００６９】
一方、係る処理と異なり、画像編集内容設定処理において画像編集を行っていなかった場合（ステップＳ６：ＮＯ）、制御部２１は、前述したステップＳ８の処理へ移行して、ユーザーによる編集内容の呼び出し操作の有無を確認する（ステップＳ８）。係る編集内容の呼び出し操作は、ユーザーが、過去の動画撮影時において前述したステップＳ７の処理でプログラム記憶部２６に保存されていた編集内容を呼び出すための操作である。
【００７０】
そして、先に述べたように制御部２１は、編集内容の呼び出し操作が確認できなければ（ステップＳ８：ＮＯ）、いったんステップＳ２の処理に戻り、前述した顔認識処理を繰り返す。
【００７１】
また、制御部２１は、編集内容の呼び出し操作があれば（ステップＳ８：ＹＥＳ）、編集内容を呼び出す（ステップＳ９）。係る処理に際して、制御部２１は、ユーザーによる所定の操作ボタンの操作に応じてプログラム記憶部２６に保存されていた編集内容を所定の順に読み出し、それを現在表示中のライブビュー画像に適用する。
【００７２】
そして、制御部２１は、ユーザーによって所定の操作ボタンの操作による編集内容の決定指示があるまで（ステップＳ１０：ＮＯ）、ステップＳ９の処理を繰り返し、編集内容の決定指示があった時点で（ステップＳ１０：ＹＥＳ）、ライブビュー画像に適用している編集内容を最終的な編集内容とする。
【００７３】
しかる後、制御部２１は、最終的な編集内容を適用した状態のライブビュー画像を表示したまま、ユーザーによる撮影開始操作の有無を確認する（ステップＳ１１）。
【００７４】
したがって、この場合についても、ユーザーにおいては、動画撮影を開始する以前に自分が設定した画像編集の内容を容易、且つ確実に確認することができる。
【００７５】
引き続き、制御部２１は、撮影開始操作があるまで待機し（ステップＳ１１：ＮＯ）、撮影開始操作があれば（ステップＳ１１：ＹＥＳ）、撮影開始操作があった時点でライブビュー画像を表示している間と同様の画像編集を含む、動画像の撮影、及び記録を開始する（ステップＳ１２）。
【００７６】
すなわち制御部２１は、所定のフレームレートで撮像した画像を対象として、撮影開始操作があった時点でライブビュー画像に適用していた編集内容と同じ編集を行い、編集後の画像を各フレームの画像として記録する処理を開始する。
【００７７】
つまり制御部２１は、直前に行った画像編集内容設定処理や過去の画像編集内容設定処理においてユーザーにより設定された編集対象領域や被写体部分を秘匿状態とした動画像の撮影、及び記録を開始する。
【００７８】
以後、制御部２１は、上記動画像の撮影を開始した後、適用している編集内容が塗りつぶし編集、又は壁紙表示編集でない場合、すなわちスタンプ表示編集又は情報表示編集である場合には（ステップＳ１３：ＮＯ）、ユーザーによる撮影終了操作の有無を逐次確認する（ステップＳ１７）。
【００７９】
そして、制御部２１は、撮影開始操作があった時点で（ステップＳ１７：ＹＥＳ）、画像編集を含む、動画像の撮影、及び記録を終了する（ステップＳ１８）。これにより自分撮りモードでの処理を終了する。
【００８０】
一方、制御部２１は、上記動画像の撮影を開始した後、適用している編集内容が塗りつぶし編集、又は壁紙表示編集である場合については（ステップＳ１３：ＹＥＳ）、撮像画像における編集対象領域の表示内容を検出する処理を開始する（ステップＳ１４）。係る処理において制御部２１は、撮像した画像の編集対象領域に対して特徴抽出等の画像認識処理を行い個々の被写体部分を検出する。
【００８１】
以後、制御部２１は、各フレームの画像において表示内容（検出した被写体部分）の位置を比較することによって、表示内容が移動したか否かを逐次確認する（ステップＳ１５）。つまり当初のステップＳ１４の処理で抽出した被写体部分の画像内での移動の有無を確認する。
【００８２】
そして、制御部２１は、表示内容に移動がなければ（ステップＳ１５：ＮＯ）、そのままユーザーによる撮影終了操作の有無を確認する（ステップＳ１７）。
【００８３】
一方、制御部２１は、表示内容に移動があった場合には（ステップＳ１５：ＹＥＳ）、表示内容の移動に応じて撮像した画像における編集対象領域を移動する（ステップＳ１６）。つまり被写体部分に追従して編集対象領域を更新する。
【００８４】
但し、ステップＳ１６の処理に際して制御部２１は、編集対象領域の被写体部分が全体的に移動した場合についてのみ編集対象領域を移動する。係る場合の例としては、動画撮影中に画角が変化した場合や、編集対象領域が画角内におけるユーザー以外の人物の顔部分のように特定の被写体部分であって、当該被写体部分が移動した場合がある。
【００８５】
したがって、例えば撮影開始当初に塗りつぶし編集によって塗りつぶされていた被写体部分が塗りつぶされた状態を維持され、また、撮影開始当初に壁紙表示編集によって壁紙画像に置き換えられていた被写体部分が、壁紙画像に置き換えられた状態を維持される。つまりユーザーが当初設定した編集対象領域の被写体が撮影中に仮に動いたとしても、その被写体の秘匿状態を維持することができる。
【００８６】
そして、制御部２１は、ユーザーによる撮影終了操作がなければ（ステップＳ１７：ＮＯ）、前述したステップＳ１４〜Ｓ１６の処理を繰り返し、撮影終了操作があった時点で（ステップＳ１７：ＹＥＳ）、画像編集を含む、動画像の撮影、及び記録を終了する（ステップＳ１８）。これにより自分撮りモードでの処理を終了する。
【００８７】
以上のように、本実施形態の情報機器１においては、自分撮りモードでの動画撮影時には、撮影中の動画像が、ユーザーに指定された部分のみをユーザーにより設定された内容で自動的に編集される。したがって、ユーザーにあっては、自分撮りモードを用いることにより撮影中の動画像に対して背景部分等の所望する箇所を編集することができ、画角内の所望の被写体部分を秘匿状態とすることができる。
【００８８】
そして、ユーザーは、編集対象なる画像内の領域や部分を画角内で手を動かすだけで容易に設定することができる。
【００８９】
また、編集対象となる画像内の領域や部分に対して、塗りつぶし編集、壁紙表示編集、スタンプ表示編集、情報表示編集といった異なる種類の編集を行うことができるとともに、具体的な編集内容についても画角内で手を動かしてライブビュー画像に表示された複数のアイコン５１，５２，５３，５４を選択するだけで容易に選択することができる。しかも、複数のアイコン５１，５２，５３，５４が撮影した動画像内に記録されることもない。
【００９０】
また、一度設定した編集内容が自動的に保存され、必要に応じて呼び出して使用することができるため、例えば異なる日に同じ場所、同じフレーミングで動画撮影を行う場合に便利である。
【００９１】
ここで、本実施形態においては、ユーザーが編集内容の設定に際して塗りつぶし編集や壁紙表示編集を選択した際には、各々に対する消しゴムアイコン５１又は壁紙アイコン５２に手を移動した状態を１秒以上維持すると編集対象領域の設定を開始し、その後、任意の位置で手を１秒以上停止すると編集対象領域の設定を終了するものについて説明した。
【００９２】
しかし、編集対象領域の設定開始、及び設定終了の方法については以下のようにしてよい。例えば消しゴムアイコン５１又は壁紙アイコン５２上に手を移動すると、直ちに消しゴムアイコン５１又は壁紙アイコン５２の移動が開始して編集対象領域の設定を開始し、その後、画像内（画角内）から手が外れたら編集対象領域の設定を終了する構成としてもよい。
【００９３】
また、消しゴムアイコン５１又は壁紙アイコン５２を選択後、消しゴムアイコン５１又は壁紙アイコン５２を塗りつぶし編集又は壁紙表示編集を所望する位置に移動するまでは塗りつぶし編集又は壁紙表示編集を行わず、１秒以上の停止を確認できてから次に1秒以上の停止を確認できるまでの間のみ移動軌跡を塗りつぶし編集又は壁紙表示編集を行うようにしてもよい。
【００９４】
また、本実施形態の塗りつぶし編集では、ユーザーが設定した編集対象領域を白や黒等の所定の色、又は所定の図柄で一様に塗りつぶす場合について説明したが、編集対象領域の表示内容をユーザーが望む程度に秘匿状態とすることできれば、具体的な編集内容については適宜変更することができる。
【００９５】
図７は、編集対象領域Ｘに本実施形態とは異なる内容の編集を施した状態を想定したライブビュー画像Ｇを便宜的に示した、図５（ｃ）に対応する図である。具体的な編集内容としては、ぼかしや、表示内容の細部を確認不能にできる程度の、いわゆるアートフィルタを用いた任意のアート変換等がある。
【００９６】
また、本実施形態の情報表示編集では、編集対象領域に現在の日付及び時刻を表示する場合について説明したが、編集対象領域には、その他の情報を表示するようにしてもよい。その他の情報としては、例えば予め情報機器１に記憶されている被写体であるユーザーの名前やハンドルネームや、情報機器１が撮影位置（緯度、経度等）を取得可能な構成であれば撮影位置を示す情報がある。
【００９７】
また、本実施形態では、編集対象領域に対する具体的な編集内容として、塗りつぶし編集、壁紙表示編集、スタンプ表示編集、情報表示編集の４種類が用意されたものについて説明した。しかし、本発明の実施に際しては、編集対象領域に対する具体的な編集内容は固定されていても構わないし、本実施形態とは異なる種類の編集内容を適宜用意することができる。
【００９８】
また、本実施形態においては、自分撮りモードで撮影した動画像を単に画像記憶部２５へ記憶する構成について説明した。しかし、情報機器１が通信機能を有した構成である場合には、撮影中に前述した種々の編集を行った状態の動画像をリアルタイムで外部へ送信することができる。すなわちインターネットに接続可能な構成であれば、撮影中の動画像を編集状態でインターネット上に配信したりすることができる。この場合、記録は行わなくともよい。
【００９９】
以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
撮像手段により撮像される動画像における被写体の動作を検出する検出手段と、
前記検出手段により検出された被写体の動作に応じ、前記動画像に対する編集対象箇所を含む画像編集の内容を設定する設定手段と、
前記動画像に対し、前記設定手段により設定された内容の画像編集を行う編集手段と
を備えたことを特徴とする画像処理装置。
［請求項２］
前記編集手段は、前記設定手段により画像編集の内容が設定された後に撮像される動画像に対し、前記画像編集の内容の画像編集を行うことを特徴とする請求項１記載の画像処理装置。
［請求項３］
前記編集手段による編集後の動画像の記録又は配信の少なくともいずれか一方を行う画像処理手段を、更に備えることを特徴とする請求項１又は２記載の画像処理装置。
［請求項４］
前記画像編集の内容に含まれる編集対象箇所は、前記検出手段により検出された被写体の動作における前記被写体の移動領域であって、
前記画像編集の内容は、前記被写体の移動領域に対応する画像領域の隠蔽であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
［請求項５］
前記画像編集の内容は、前記被写体の移動領域に対応する画像領域の所定の色又は図柄のいずれか一方による塗りつぶしであることを特徴とする請求項４記載の画像処理装置。
［請求項６］
前記画像編集の内容は、前記被写体の移動領域に対応する画像領域の、予め用意されている静止画像の一部との置き換えであることを特徴とする請求項４記載の画像処理装置。
［請求項７］
前記編集手段は、前記動画像に対する画像編集に際し、当該動画像における前記編集対象箇所に該当する領域内の被写体の移動に追従し、前記編集対象箇所を更新することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
［請求項８］
前記画像編集の内容は、前記編集対象箇所を画像内の規定領域とした、当該規定領域への所定情報の表示であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
［請求項９］
前記画像編集の内容は、前記被写体の動作中における前記被写体の移動軌跡上の所定の位置を前記編集対象箇所とした、当該所定の位置への予め用意されている静止画像の貼付であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
［請求項１０］
前記撮影準備段階における動画像を表示する表示手段を備え、
前記設定手段は、前記表示手段に前記撮影準備段階における動画像とともに前記画像編集の種類を示す複数のアイコンを表示させる一方、前記画像編集の内容として、前記検出手段により検出された被写体の動作に含まれる前記複数のアイコンのいずれかの指示動作に応じた種類の編集内容を設定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
［請求項１１］
前記設定手段は、前記撮像手段により前記動画像の撮影が開始される前に前記表示手段による前記複数のアイコンの表示を終了する
ことを特徴とする請求項１０記載の画像処理装置。
［請求項１２］
前記設定手段により設定された動画像に対する画像編集の内容を記憶する記憶手段と、
前記動画像に対する画像編集の内容として、前記記憶手段に記憶されている内容を設定する第２の設定手段と
を備え、
前記編集手段は、前記動画像に対し、前記設定手段又は前記第２の設定手段のいずれか一方により設定された内容の画像編集を行う
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
［請求項１３］
撮像手段により撮像される動画像における被写体の動作を検出する検出工程と、
前記検出工程で検出した被写体の動作に応じ、前記動画像に対する編集対象箇所を含む画像編集の内容を設定する設定工程と、
前記動画像に対し、前記設定工程で設定した内容の画像編集を行う編集工程と
を含むことを特徴とする画像処理方法。
［請求項１４］
コンピュータに、
撮像手段により撮像される動画像における被写体の動作を検出する検出機能、
前記検出機能により検出した被写体の動作に応じ、前記動画像に対する編集対象箇所を含む画像編集の内容を設定する設定機能、
前記動画像に対し、前記設定機能により設定した内容の画像編集を行う編集機能
を実現させるためのプログラム。
【符号の説明】
【０１００】
１    情報機器
２    機器本体
３    カラー液晶表示パネル
４    カメラ部
５    操作ボタン
２１    制御部
２３    電源部
２４    撮像部
２５    画像記憶部
２６    プログラム記憶部
２７    表示部
２８    操作部
５１    消しゴムアイコン
５２    壁紙アイコン
５３    スタンプアイコン
５４    日付アイコン
【図１】
2015061133.tif 000003
【図２】
2015061133.tif 000004
【図３】
2015061133.tif 000005
【図４】
2015061133.tif 000006
【図５】
2015061133.tif 000007
【図６】
2015061133.tif 000008
【図７】
2015061133.tif 000009