(57)【要約】【課題】  動画像に対して付加情報を予め付加せずに、ユーザーが望む静止画像を動画像から自動的に抽出する画像処理装置を得る。【解決手段】  静止画像抽出部１２は、動画像から静止画像を順番に抽出し、被写体検出部１３は、ユーザーにより指定される基準画像内の被写体を、抽出された静止画像において検索し、その基準画像内の被写体を含む静止画像を検出し、検出画像出力部１４は、検出された静止画像を出力する。【選択図】  図１
2018023071.tif 000002
【特許請求の範囲】
【請求項１】
動画像から静止画像を順番に抽出する静止画像抽出部と、
ユーザーにより指定される基準画像内の被写体を、抽出された前記静止画像において検索し、前記基準画像内の被写体を含む前記静止画像を検出する被写体検出部と、
検出された前記静止画像を出力する検出画像出力部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記検出画像出力部は、前記基準画像を指定した前記ユーザーに対応する宛先に、検出された前記静止画像を送信することを特徴とする請求項１記載の画像処理装置。
【請求項３】
ユーザーごとにユーザーＩＤに関連付けてユーザー属性情報を含むユーザーデータを記憶する記憶装置をさらに備え、
前記ユーザー属性情報は、前記基準画像のファイルパスおよび前記宛先を含み、
前記被写体検出部は、前記ユーザーデータに基づいて、前記ユーザーに対応する前記基準画像のファイルパスを特定し、特定した前記ファイルパスに基づいて前記基準画像を取得し、取得した前記基準画像内の被写体を、抽出された前記静止画像において検索し、前記基準画像内の被写体を含む前記静止画像を検出し、
前記検出画像出力部は、前記ユーザーデータに基づいて、前記ユーザーに対応する宛先を特定し、特定した前記宛先に、検出された前記静止画像を送信すること、
を特徴とする請求項２記載の画像処理装置。
【請求項４】
前記動画像および前記基準画像を受信する画像取得部をさらに備え、
前記検出画像出力部は、前記動画像および前記基準画像の送信元を前記宛先として特定し、特定した前記宛先に、検出された前記静止画像を送信すること、
を特徴とする請求項２記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
あるビデオプリンターでは、撮影したビデオ映像などの動画データに、選別情報や画像種別情報、必要度ランク情報などの情報が信号として予め付加されており、事前に登録しておいた印刷出力条件（選別情報や画像種別情報など）にヒットする映像のキャプチャ画像が自動的に出力される（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１２６７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のビデオプリンターでは、撮影したビデオ映像などの動画像から、ユーザーにより選択された静止画像が検出され、印刷される。
【０００５】
しかしながら、上述のビデオプリンターでは、動画像の信号データに選別情報、画像種別などの付加情報を予め付加しておく必要があり、手間がかかる。
【０００６】
また、ユーザーが選択したい静止画像の検出に使用する検出条件を設定しても、検出条件が付加情報に対応したものではない場合には、付加情報に基づいて自動的に検出できない可能性がある。その場合、ユーザーは、動画像を見ながら場面を選択して印刷しなければならない。
【０００７】
本発明は、上記の問題に鑑みてなされたものであり、動画像に対して付加情報を予め付加せずに、ユーザーが望む静止画像を動画像から自動的に抽出する画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、動画像から静止画像を順番に抽出する静止画像抽出部と、ユーザーにより指定される基準画像内の被写体を、抽出された前記静止画像において検索し、前記基準画像内の被写体を含む前記静止画像を検出する被写体検出部と、検出された前記静止画像を出力する検出画像出力部とを備える。
【発明の効果】
【０００９】
本発明によれば、動画像に対して付加情報を予め付加せずに、ユーザーが望む静止画像を動画像から自動的に抽出する画像処理装置が得られる。
【００１０】
本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、実施の形態１に係る画像処理装置の動作について説明するフローチャートである。
【図３】図３は、実施の形態２におけるユーザーデータ２１の一例を示す図である。
【図４】図４は、実施の形態２に係る画像処理装置の動作について説明するフローチャートである。
【図５】図５は、実施の形態３に係る画像処理装置の動作について説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図に基づいて本発明の実施の形態を説明する。
【００１３】
実施の形態１．
【００１４】
図１は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、複合機などといった画像形成装置である。図１に示す画像処理装置は、画像読取装置１、記憶装置２、通信装置３、印刷装置４、操作パネル５、および演算処理装置６を備える。
【００１５】
画像読取装置１は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データ（ここでは、ＲＧＢデータ）を生成する内部装置である。
【００１６】
また、記憶装置２は、各種データやプログラムを格納可能な装置である。記憶装置２としては、不揮発性メモリー、ハードディスクドライブなどの不揮発性の大容量記憶媒体が使用される。
【００１７】
記憶装置２には、登録ユーザーのユーザーデータ２１が格納されている。ユーザーデータ２１は、登録ユーザーごとに、ユーザーＩＤ、およびその他のユーザー属性情報を含んでいる。
【００１８】
記憶装置２には、さらに、各登録ユーザーのユーザーデータ（画像データなど）を格納可能な文書ボックス２２がユーザーごとに設けられている。
【００１９】
また、印刷装置４は、画像データに基づく画像を印刷用紙へ印刷する。
【００２０】
また、操作パネル５は、ユーザーに対して各種画面を表示する液晶ディスプレイなどといった表示装置と、ユーザー操作を検出するタッチパネル、ハードキーなどといった入力装置とを備える。
【００２１】
また、演算処理装置６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するコンピューターであり、ＲＯＭや記憶装置２などからＲＡＭへプログラムをロードし、そのプログラムをＣＰＵで実行することにより、各種処理部として動作する。この実施の形態では、演算処理装置５は、画像取得部１１、静止画像抽出部１２、被写体検出部１３、および検出画像出力部１４として動作する。
【００２２】
画像取得部１１は、処理対象としての動画像の画像データを取得する。なお、処理対象としての動画像では、各フレームに対して、そのフレームの画像内容を示す属性情報は付加されていない。
【００２３】
静止画像抽出部１２は、画像取得部１１により取得された画像データに基づく動画像から、静止画像を１コマずつ（１フレームずつ）順番に抽出し、静止画像の画像データを生成する。これにより、一連の静止画像が、動画像の先頭から順番に抽出される。なお、動画像の画像データが、例えばＭＰＥＧ（Moving Picture Experts Group）のように符号化されている場合には、必要に応じて前後のフレームなどから当該フレームの静止画像が復元される。
【００２４】
被写体検出部１３は、ユーザーにより指定される基準画像内の被写体を、抽出された静止画像において検索し、その基準画像内の被写体を含む静止画像を検出する。
【００２５】
例えば、ユーザーは、所望の単一の被写体（三次元物体、当該ユーザーなどの人物の顔など）を含む基準画像を撮影し、その基準画像の画像データを当該画像処理装置へ供給する。
【００２６】
被写体検出部１３は、既存の顔認識技術、人物識別技術、物体認識技術などを使用して、基準画像内の被写体を特定し、特定した被写体を含む静止画像を検出する。
【００２７】
検出画像出力部１４は、被写体検出部１３により検出された静止画像を出力する。
【００２８】
実施の形態１では、検出画像出力部１４は、被写体検出部１３により検出された静止画像を印刷装置４で印刷したり、その静止画像の画像データを記憶装置２（例えばそのユーザーの文書ボックス２２）に格納したりする。
【００２９】
次に、実施の形態１に係る画像処理装置の動作について説明する。図２は、実施の形態１に係る画像処理装置の動作について説明するフローチャートである。
【００３０】
画像取得部１１は、通信装置３を使用して、図示せぬ外部の端末装置などから送信されている動画像の画像データを受信し、その動画像の画像データを送信したユーザーの文書ボックス２２に格納する（ステップＳ１）。
【００３１】
次に、画像取得部１１は、画像読取装置１を使用して、ユーザーの原稿から原稿画像（静止画像）を基準画像として読み取り、その基準画像の画像データをそのユーザーの文書ボックス２２に格納する（ステップＳ２）。なお、基準画像の画像データは、そのユーザーの文書ボックス２２に予め格納されていてもよい。その場合、このステップＳ２の処理は不要である。
【００３２】
そして、所定のユーザー操作が操作パネル５において検出されると、以下の処理が実行される。
【００３３】
画像取得部１１は、処理対象としての動画像の画像データを、そのユーザーの文書ボックス２２から読み出す（ステップＳ３）。
【００３４】
次に、静止画像抽出部１２は、画像取得部１１により取得された画像データに基づく動画像から、１つの静止画像を抽出し、静止画像の画像データを生成する（ステップＳ４）。
【００３５】
そして、被写体検出部１３は、そのユーザーの文書ボックス２２に格納されている基準画像の画像データに基づいて、その基準画像内の被写体を、抽出された静止画像において検索し、抽出された静止画像が、その基準画像内の被写体を含んでいるか否かを判定する（ステップＳ５）。
【００３６】
抽出された静止画像が、その基準画像内の被写体を含んでいる場合、検出画像出力部１４は、ユーザー操作やユーザー設定に応じて、その静止画像の画像データを、そのユーザーの文書ボックス２２に格納するか、印刷装置４を使用して、その静止画像を印刷用紙に印刷する（ステップＳ６）。
【００３７】
一方、抽出された静止画像が、その基準画像内の被写体を含んでいない場合、検出画像出力部１４は、その静止画像を出力しない。
【００３８】
そして、静止画像抽出部１２は、処理対象の動画像において、後続の静止画像が存在するか否かを判断し（ステップＳ７）、後続の静止画像が存在する場合には、ステップＳ４に戻り、後続の静止画像について同様の処理を実行する。
【００３９】
一方、後続の静止画像が存在しない場合には、処理対象の動画像についての処理が終了する。
【００４０】
以上のように、上記実施の形態１によれば、静止画像抽出部１２は、動画像から静止画像を順番に抽出し、被写体検出部１３は、ユーザーにより指定される基準画像内の被写体を、抽出された静止画像において検索し、その基準画像内の被写体を含む静止画像を検出し、検出画像出力部１４は、検出された静止画像を出力する。
【００４１】
これにより、動画像に対して付加情報を予め付加せずに、ユーザーが望む静止画像を動画像から自動的に抽出することができる。
【００４２】
実施の形態２．
【００４３】
実施の形態２では、検出画像出力部１４が、被写体検出部１３により検出された静止画像の画像データを、ユーザーに宛てて送信する。
【００４４】
図３は、実施の形態２におけるユーザーデータ２１の一例を示す図である。図３に示すように、ユーザーデータ２１において、ユーザーＩＤに対して、基準画像のファイルパス、宛先などがユーザー属性情報として関連付けられている。
【００４５】
実施の形態２では、被写体検出部１３は、ユーザーデータ２１に基づいて、ユーザーに対応する基準画像のファイルパスを特定し、特定したファイルパスに基づいて基準画像を記憶装置２２から取得し、取得した基準画像内の被写体を、抽出された静止画像において検索し、基準画像内の被写体を含む静止画像を検出する。
【００４６】
また、実施の形態２では、検出画像出力部１４は、ユーザーデータ２１に基づいて、ユーザーに対応する宛先を特定し、特定した宛先に、検出された静止画像の画像データを送信する。例えば、検出画像出力部１４は、通信装置３を使用して、例えば静止画像の画像データを添付した電子メールを、ユーザーの電子メールアドレスに宛てて送信する。
【００４７】
次に、実施の形態２に係る画像処理装置の動作について説明する。図４は、実施の形態２に係る画像処理装置の動作について説明するフローチャートである。
【００４８】
実施の形態２では、実施の形態１と同様に、ユーザーから動画像の画像データが取得された後（ステップＳ１１）、画像取得部１１は、ユーザーデータ２１に基づいて、そのユーザーの基準画像のファイルパスを特定し、基準画像の画像データを読み出す（ステップＳ１２）。
【００４９】
次に、静止画像抽出部１２は、実施の形態１と同様に、画像取得部１１により取得された画像データに基づく動画像から、１つの静止画像を抽出し、静止画像の画像データを生成する（ステップＳ１３）。
【００５０】
そして、被写体検出部１３は、特定したそのユーザーの基準画像の画像データに基づいて、その基準画像内の被写体を、抽出された静止画像において検索し、抽出された静止画像が、その基準画像内の被写体を含んでいるか否かを判定する（ステップＳ１４）。
【００５１】
抽出された静止画像が、その基準画像内の被写体を含んでいる場合、検出画像出力部１４は、ユーザーデータ２１に基づいて、そのユーザーに対応する宛先を特定し（ステップＳ１６）、通信装置３を使用して、特定した宛先へ、その静止画像の画像データを送信する（ステップＳ１７）。
【００５２】
一方、抽出された静止画像が、その基準画像内の被写体を含んでいない場合、検出画像出力部１４は、その静止画像を送信しない。
【００５３】
そして、静止画像抽出部１２は、処理対象の動画像において、後続の静止画像が存在するか否かを判断し（ステップＳ１８）、後続の静止画像が存在する場合には、ステップＳ１４に戻り、後続の静止画像について同様の処理を実行する。
【００５４】
一方、後続の静止画像が存在しない場合には、処理対象の動画像についての処理が終了する。
【００５５】
なお、実施の形態２に係る画像処理装置のその他の構成および動作については実施の形態１と同様であるのでその説明を省略する。
【００５６】
実施の形態３．
【００５７】
実施の形態３では、画像取得部１１が、ユーザーから動画像および基準画像の画像データを例えば当該画像処理装置宛ての電子メールの添付ファイルとして受信し、検出画像出力部１４が、被写体検出部１３により検出された静止画像の画像データを、その動画像および基準画像の送信元のユーザーに宛てて例えば電子メールの添付ファイルとして送信する。
【００５８】
次に、実施の形態３に係る画像処理装置の動作について説明する。図５は、実施の形態３に係る画像処理装置の動作について説明するフローチャートである。
【００５９】
実施の形態３では、画像取得部１１が、通信装置３を使用して、ユーザーから動画像および基準画像の画像データを例えば電子メールの添付ファイルとして受信すると（ステップＳ２１）、静止画像抽出部１２は、画像取得部１１により受信された画像データに基づく動画像から、１つの静止画像を抽出し、静止画像の画像データを生成する（ステップＳ２２）。
【００６０】
そして、被写体検出部１３は、受信したそのユーザーの基準画像の画像データに基づいて、その基準画像内の被写体を、抽出された静止画像において検索し、抽出された静止画像が、その基準画像内の被写体を含んでいるか否かを判定する（ステップＳ２３）。
【００６１】
抽出された静止画像が、その基準画像内の被写体を含んでいる場合、検出画像出力部１４は、この動画像および基準画像の送信元を宛先として、通信装置３を使用して、特定した宛先へ、その静止画像の画像データを送信する（ステップＳ２４）。
【００６２】
例えば、この動画像および基準画像の画像データが、電子メールの添付ファイルとして受信された場合、その電子メールの送信者アドレスが、検出された静止画像の画像データの宛先として特定され、その送信者アドレスに宛てて、検出された静止画像の画像データが添付された電子メールが送信される。
【００６３】
一方、抽出された静止画像が、その基準画像内の被写体を含んでいない場合、検出画像出力部１４は、その静止画像を送信しない。
【００６４】
そして、静止画像抽出部１２は、処理対象の動画像において、後続の静止画像が存在するか否かを判断し（ステップＳ２５）、後続の静止画像が存在する場合には、ステップＳ２２に戻り、後続の静止画像について同様の処理を実行する。
【００６５】
一方、後続の静止画像が存在しない場合には、処理対象の動画像についての処理が終了する。
【００６６】
なお、実施の形態３に係る画像処理装置のその他の構成および動作については実施の形態１または実施の形態２と同様であるのでその説明を省略する。
【００６７】
なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。
【００６８】
例えば、上記の実施の形態１〜３において、ユーザーデータ２１においてユーザーのメールアドレスに関連付けてそのユーザーのサムネイル画像が含まれている場合、そのサムネイル画像を上述の基準画像として使用するようにしてもよい。
【００６９】
また、上記の実施の形態１〜３において、所定の枚数以上、基準画像内の被写体を含む静止画像が検出された場合、検出画像出力部１４は、それらの静止画像のうち、互いに差の少ない複数の静止画像については、それらのうちの１枚の静止画像のみを出力するようにしてもよい。例えば、画素ごとに複数の静止画像を比較し、画素ごとの色差の総和が所定値より低いものが、上述の互いに差の少ない複数の静止画像とされる。
【産業上の利用可能性】
【００７０】
本発明は、例えば、複合機などの画像形成装置に適用可能である。
【符号の説明】
【００７１】
２  記憶装置
１１  画像取得部
１２  静止画像抽出部
１３  被写体検出部
１４  検出画像出力部
【図１】
2018023071.tif 000003
【図２】
2018023071.tif 000004
【図３】
2018023071.tif 000005
【図４】
2018023071.tif 000006
【図５】
2018023071.tif 000007