(57)【要約】【課題】複数の動被写体中から、選択された動被写体の軌跡上の画像と、静止画像とを合成する。【解決手段】画像処理装置は、例えば、所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、前記検出した前記複数の動被写体の中から所定の動被写体を選択し、前記選択した動被写体の軌跡上の画像と、静止画像とを合成する。【選択図】図２
2013162333.tif 000002
【特許請求の範囲】
【請求項１】
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
前記検出した前記複数の動被写体の中から所定の動被写体を選択し、
前記選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置。
【請求項２】
前記複数の動被写体の各動被写体に対応する領域を指示することで、前記選択がなされる請求項１に記載の画像処理装置。
【請求項３】
基準フレームにおける前記選択された動被写体および比較対象のフレームにおける前記選択された動被写体の位置関係に応じて、前記軌跡上の画像を構成する前記動被写体が決定される請求項１に記載の画像処理装置。
【請求項４】
前記位置関係は、前記基準フレームにおける前記動被写体と前記比較対象のフレームにおける前記動被写体とが、重ならない位置関係である請求項３に記載の画像処理装置。
【請求項５】
複数の動被写体を選択し、該複数の動被写体の各動被写体の軌跡上の画像と、前記静止画像とを合成する請求項１に記載の画像処理装置。
【請求項６】
所定の動被写体の軌跡上の画像における該動被写体毎の間隔と、他の動被写体の軌跡上の画像における該動被写体毎の間隔とが、異なる間隔に設定される請求項５に記載の画像処理装置。
【請求項７】
前記所定の動被写体が自動で選択される請求項１に記載の画像処理装置。
【請求項８】
前記複数のフレームをそれぞれ２値化することで２値情報を生成し、前記２値情報に応じて前記複数の動被写体を検出する請求項１に記載の画像処理装置。
【請求項９】
前記複数のフレームをキャプチャする撮像部を有する請求項１に記載の画像処理装置。
【請求項１０】
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
前記検出した前記複数の動被写体の中から所定の動被写体を選択し、
前記選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置における画像処理方法。
【請求項１１】
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
前記検出した前記複数の動被写体の中から所定の動被写体を選択し、
前記選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置における画像処理方法を、コンピュータに実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
撮像装置により撮像された複数のフレーム画像を合成することで、動被写体の軌跡上の画像を生成することが行われている（例えば、特許文献１および特許文献２）。このような処理は、ストロボ・スコープなどと称される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０８−１８２７８６号公報
【特許文献２】特開２００９−１８１２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術は、動被写体が存在しない背景を撮像する。さらに、動被写体を、同じカメラアングルで撮像する。撮像した２枚の画像の差分を計算することで動被写体を抽出する。動被写体を抽出するために、２回の撮像を行わなければならないという問題があった。
【０００５】
特許文献２に記載の技術は、一定のフレーム間隔で画像を合成する。動被写体毎の大きさ等に応じて画像を合成するには、画像を合成する間隔を手動で設定する必要があった。さらに、特許文献２に記載の技術は、全ての動被写体の軌跡上の画像が表示される。例えば、ユーザが所望する動被写体などの、所定の動被写体の軌跡上の画像が表示されることが望ましい。
【０００６】
したがって、本開示の目的の一つは、複数の動被写体のうち、所定の動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本開示は、例えば、
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
検出した複数の動被写体の中から所定の動被写体を選択し、
選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置である。
【０００８】
本開示は、例えば、
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
検出した複数の動被写体の中から所定の動被写体を選択し、
選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置における画像処理方法でもよい。
【０００９】
本開示は、例えば、
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
検出した複数の動被写体の中から所定の動被写体を選択し、
選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置における画像処理方法を、コンピュータに実行させるプログラムでもよい。
このプログラムが記録された記録媒体でもよい。
【発明の効果】
【００１０】
少なくとも一つの実施形態によれば、複数の動被写体のうち、所定の動被写体の軌跡上の画像と、静止画像とを合成できる。
【図面の簡単な説明】
【００１１】
【図１】本開示における撮像装置の構成の一例を示す図である。
【図２】第１の実施形態における画像処理部の機能の一例を説明するための図である。
【図３】フレーム画像の一例を説明するための図である。
【図４】画素値の選択の一例を示す図である。
【図５】画素値の選択間隔の一例を示す図である。
【図６】所定の画素が動被写体であるか否かを判定する処理の一例を説明するための図である。
【図７】動被写体推定マップの一例を示す図である。
【図８】動被写体を選択するＧＵＩの一例を示す図である。
【図９】動被写体を選択するＧＵＩの他の例を示す図である。
【図１０】動被写体領域情報の一例を示す図である。
【図１１】動被写体領域情報を比較する処理の一例を説明するための図である。
【図１２】軌跡合成画像の一例を示す図である。
【図１３】不自然な軌跡合成画像の一例を示す図である。
【図１４】第２の実施形態における画像処理部の機能の一例を説明するための図である。
【図１５】第３の実施形態における画像処理部の機能の一例を説明するための図である。
【図１６】軌跡合成画像の一例を示す図である。
【図１７】軌跡上の画像における動被写体の間隔を設定するＧＵＩの一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態について図面を参照しながら説明する。なお、説明は、以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．第３の実施形態＞
＜４．変形例＞
なお、以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
【００１３】
＜１．第１の実施形態＞
「撮像装置の構成」
図１は、撮像装置の構成の一例を示す。撮像装置１を使用して、例えば、所定の被写体を所定時間、撮像し、動画像を得る撮像操作がなされる。所定の被写体は、動きが全くない静止被写体と、動く被写体である動被写体とを含む。静止被写体は、例えば、木々や道路、建物などの背景である。動被写体は、人物、乗物、動物、ボールなどである。動被写体は、常に動いている必要はなく、一時的に停止した状態があっても構わない。
【００１４】
撮像装置１は、大別して光学系、信号処理系、記録再生系、表示系、および、制御系から構成される。例えば、光学系に係る構成が撮像部に対応する。
【００１５】
光学系は、レンズおよび絞り（図示を省略している）と、撮像素子１１とを含む。レンズによって被写体からの光画像が集光される。絞りによって光画像の光量が調節される。集光された光画像が撮像素子１１に供給される。撮像素子１１によって光画像が光電変換され、電気信号であるアナログ画像データが生成される。撮像素子１１は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどから構成される。
【００１６】
信号処理系は、サンプリング回路２１と、Ａ／Ｄ(Analog to Digital)変換部２２と、画像処理部２３とを含む。サンプリング回路２１は、撮像素子１１から供給されるアナログ画像データに対して、例えば、ＣＤＳ(Correlated Double Sampling)処理を行ってＳ／Ｎ比(Signal to Ratio)を良好にする。サンプリング回路２１において、利得を制御するＡＧＣ(Automatic Gain Control)などのアナログ信号処理が、アナログ画像データに対して施されてもよい。
【００１７】
Ａ／Ｄ変換部２２は、サンプリング回路２１から供給されるアナログ画像データを、デジタル画像データに変換する。変換されたデジタル画像データが画像処理部２３に供給される。
【００１８】
画像処理部２３は、デジタル画像データに対してデモザイク処理やＡＦ(Auto Focus)、ＡＥ(Auto Exposure)、ＡＷＢ(Auto White Balance)などのカメラ信号処理を施す。さらに、画像処理部２３は、所定の動被写体の軌跡上の画像と静止画像とを合成し、軌跡合成画像を生成する処理や、ＧＵＩ(Graphical User Interface)を表示するための処理を行う。なお、カメラ信号処理を行う画像処理部と、軌跡合成画像を生成する処理等を行う画像処理部とが別個に設けられた構成でもよい。なお、図示は省略しているが、画像処理部２３は、複数のフレーム画像を保持する画像メモリを有する。
【００１９】
記録再生系は、符号化／復号化部３１と、メモリ３２とを含む。メモリ３２は、メモリおよびメモリに対する記録処理および再生処理を制御するドライバを含む。デジタル画像データが記録されるときは、符号化／復号化部３１によって、画像処理部２３から供給されるデジタル画像データが所定のフォーマットに符号化される。符号化されたデジタル画像データがメモリ３２に記録される。デジタル画像データが再生されるときは、メモリ３２から所定のデジタル画像データが読み出される。読み出されたデジタル画像データが、符号化／復号化部３１によって復号化される。
【００２０】
メモリ３２は、例えば、撮像装置１に内蔵されるハードディスクである。メモリ３２は、半導体メモリや光ディスク、磁気ディスクのように、撮像装置１に着脱自在とされるメモリでもよい。メモリ３２に対して、例えば、デジタル画像データが記録される。デジタル画像データの撮像日時等のメタデータや音声データがメモリ３２に記録されてもよい。
【００２１】
表示系は、Ｄ／Ａ(Digital to Analog)変換部４１と、表示制御部４２と、表示部４３とを含む。Ｄ／Ａ変換部４１は、画像処理部２３から供給されるデジタル画像データをアナログ画像データに変換する。デジタル画像データは、光学系によって取り込まれ、Ａ／Ｄ変換部２２によって変換されたデジタル画像データでもよく、メモリ３２から読み出されたデジタル画像データでもよい。
【００２２】
表示制御部４２は、Ｄ／Ａ変換部４１から供給されるアナログ画像データを所定のフォーマットのビデオ信号に変換する。所定のフォーマットは、表示部４３に適合するフォーマットである。表示制御部４２から表示部４３に対してビデオ信号が供給され、表示部４３にビデオ信号に基づく表示がなされる。
【００２３】
表示部４３は、ＬＣＤ(Liquid Crystal Display)や有機ＥＬ(Electroluminescence)などによって構成される。表示部４３は、例えば、スルー画像が表示されるファインダとして機能する。メモリ３２から再生された画像が表示部４３に表示されてもよい。表示部４３は、タッチパネルとして構成されてもよい。メニュー画面等の操作画面が表示部４３に表示され、操作画面の所定位置を触れることで撮像装置１に対する操作がなされるようにしてもよい。複数の動被写体の中から、所定の動被写体を選択するためのＧＵＩが表示部４３に表示されるようにしてもよい。
【００２４】
制御系は、制御部５１と、操作入力受付部５２と、操作部５３と、タイミング生成器５４とを含む。制御部５１は、例えば、ＣＰＵ(Central Processing Unit)によって構成され、撮像装置１の各部を制御する。操作入力受付部５２は、操作部５３に対してなされた操作を受け付け、操作に応じた操作信号を生成する。生成された操作信号が制御部５１に供給される。制御部５１は、操作信号に応じた処理を行う。
【００２５】
操作部５３は、撮像装置１に配設されるボタンやスイッチ等である。例えば、パワーオン／パワーオフや、撮像するための録画ボタンなどである。操作部５３の個数や、操作部５３が配設される位置、操作部５３の形状等は適宜、変更できる。
【００２６】
タイミング生成器５４は、制御部５１の制御に応じて、所定のタイミング信号を生成する。生成されたタイミング信号が撮像素子１１、サンプリング回路２１およびＡ／Ｄ変換部２２に供給される。撮像素子１１等は、供給されたタイミング信号に応じてそれぞれ動作する。
【００２７】
制御系に係る構成と、画像処理部２３と、符号化／復号化部３１と、メモリ３２とがバス６０を介して接続される。バス６０を介して、例えば、制御部５１から送出された制御コマンドが伝送される。タイミング生成器５４で生成されたタイミング信号が、バス６０を介して、画像処理部２３や符号化／復号化部３１に供給されるようにしてもよい。タイミング信号に応じて、画像処理部２３等が動作するようにしてもよい。
【００２８】
なお、図示は省略しているが、マイクによって集音された音声を処理する音声処理系が撮像装置１に設けられてもよい。さらに、集音された音声を再生したり、ＢＧＭ(Background music)を再生するスピーカが撮像装置１に設けられてもよい。
【００２９】
撮像装置１の動作の一例について、概略的に説明する。タイミング生成器５４から供給されるタイミング信号に応じて光学系が動作し、光学系を介して複数のフレーム画像が取り込まれる。複数のフレーム画像は、一定のフレームレートに基づいて取り込まれる。一定のフレームレートは、撮像装置毎に異なる。フレームレートは、１０f/s(frames per second)、３０f/s、６０f/s、２４０f/sなどである。
【００３０】
撮像素子１１等の光学系を介して取り込まれたアナログ画像データに対して、サンプリング回路２１によって所定の信号処理が施される。アナログ画像データがＡ／Ｄ変換部２２によってデジタル画像データに変換される。デジタル画像データが画像処理部２３に供給される。通常の状態では、画像処理部２３に供給されたデジタル画像データは、画像処理部２３が有する画像メモリに上書きされる。画像メモリに記憶された画像データに対して、Ｄ／Ａ変換部４１および表示制御部４２による処理が施され、表示部４３にスルー画像が表示される。
【００３１】
ここで、被写体の構図が決定され、操作部５３における録画ボタンが押下されると、撮像処理が実行される。撮像処理は、例えば、録画ボタンが再度押下されるまでの所定時間の間、実行される。撮像処理により、画像処理部２３の画像メモリに複数の画像データが記憶される。例えば、撮像処理が終了したタイミングで画像データが画像メモリから符号化／復号化部３１に転送される。そして、画像データが符号化／復号化部３１によって符号化される。符号化された画像データがメモリ３２に記録される。
【００３２】
撮像装置１に対して、例えば、ストロボ撮影モードの設定が可能とされる。ストロボ撮影モードが設定されると、画像処理部２３に記憶されている複数のフレーム画像を使用した処理がなされる。この処理により、所定の動被写体の軌跡上の画像と、静止画像とが合成され、軌跡合成画像が生成される。軌跡合成画像が、例えば、表示部４３に表示される。なお、処理の詳細は、後述する。
【００３３】
「画像処理部の機能」
図２は、画像処理部２３の機能の一例を示す機能ブロック図である。画像処理部２３は、機能の一例として、入力画像保持部１００と、画素選択部１１０と、動被写体検出部１２０と、動被写体追尾部１３０と、軌跡合成部１４０と、軌跡合成結果保持部１５０と、軌跡合成画像表示部１６０とを有する。
【００３４】
「入力画像保持部について」
入力画像保持部１００は、複数のフレーム画像を保持（記憶）する画像メモリである。入力画像保持部１００に、時系列に撮像されたｎ枚（但し、ｎは２以上の整数）のフレーム画像が記憶される。入力画像保持部１００の記憶容量は有限である。このため、新たなフレーム画像が入力画像保持部１００に入力されると、記憶されているフレーム画像の中で最も古いフレーム画像から順に消去され、上書きされる。入力画像保持部１００には、一定期間の撮像により得られるフレーム画像が保持されることになる。
【００３５】
なお、以下の説明では、説明の便宜を考慮して、撮像装置１のフレームレートを６０f/sとして説明する。撮像装置１を使用して、例えば、１０秒間の撮像がなされる。したがって、入力画像保持部１００には、６００フレームのフレーム画像（Ｉ1〜Ｉ600）が保持される。もちろん、フレームレートおよび撮像時間は一例であり、例示した数値に限定されるものではない。
【００３６】
図３は、入力画像保持部１００に保持される１番目のフレーム画像Ｉ1の一例である。フレーム画像Ｉ1は、背景として、例えば、樹木Ｔ１、樹木Ｔ２および樹木Ｔ３と、走行レーンＬ１および走行レーンＬ２を含む。動被写体は、例えば、レーンＬ１を走行するバイクＢ（ドライバを含む）と、レーンＬ２を走行するトラックＴＲとである。バイクＢは、フレーム画像Ｉ1の、図面に向かって右側の端部に位置する。トラックＴＲは、フレーム画像Ｉ1の、図面に向かって左側の端部に位置する。
【００３７】
フレーム画像Ｉ1〜フレーム画像Ｉ600を時系列に再生すると、バイクＢは、レーンＬ１上を右側から左下コーナー付近に向かって進行する。すなわち、バイクＢは、時間の経過とともに、撮像装置１に近づくように進行する。時間の経過とともに、バイクＢの見かけ上の大きさが大きくなる。トラックＴＲは、レーンＬ２上を、左下コーナー付近から右上コーナー付近に向かって進行する。すなわち、トラックＴＲは、時間の経過とともに、撮像装置１から遠ざかるように進行する。時間の経過とともに、トラックＴＲの見かけ上の大きさが小さくなる。
【００３８】
「画素選択部について」
画素選択部１１０は、入力画像保持部１００に保持されたフレーム画像の中から、１枚のフレーム画像を中心画像として設定する。さらに、画像選択部１１０は、中心画像を基準にして、時系列順に一定の範囲のフレーム画像を周辺画像として設定する。なお、周辺画像は、中心画像から時間的に前または時間的に後でもよく、時間的に前後の画像を含むようにしてもよい。中心画像および周辺画像が、処理対象の画像とされる。
【００３９】
図４に示すように、例えば、時刻ｔにおけるフレーム画像Ｉtが中心画像として設定される。時刻ｔ＋iにおけるフレーム画像Ｉt+iおよび時刻ｔ−iにおけるフレーム画像Ｉt-i、が、周辺画像として設定される。なお、周辺画像の枚数は、２枚に限られることなく、任意の枚数を設定できる。中心画像に対して、所定時間（例えば、３秒間）の範囲のフレーム画像が周辺画像として設定される。このため、周辺画像の枚数が２００フレーム程度になる場合もあるが、説明の便宜を考慮して、周辺画像の数を少なくしている。
【００４０】
画素選択部１１０は、中心画像Ｉtの所定位置の画素Ｖtを選択し、画素Ｖtの画素値を取得する。画素選択部１１０は、周辺画像Ｉt+iにおける、画素Ｖtと同一位置における画素Ｖt+iの画素値を取得する。画素選択部１１０は、周辺画像Ｉt-iにおける、画素Ｖtと同一位置における画素Ｖt-iの画素値を取得する。
【００４１】
なお、周辺画像における画素の選択間隔は、適宜、変更可能である。図５は、画素の選択間隔の複数の例を示す。図５に示す例は、中心画像に対して時間的に後に位置する９枚のフレーム画像が周辺画像として設定された例である。さらに、中心画像に対して時間的に前に位置する９枚のフレーム画像が周辺画像として設定された例である。中心画像の所定位置の画素Ｖtと、周辺画像において画素Ｖtと同一位置の画素とを矩形のブロックで示している。ブロックに対して付される斜線は、処理の対象として選択された画素を示す。なお、画素Ｖtの画素値を画素値Ｖtと適宜、称する。
【００４２】
図５Ａは、周辺画像における画素Ｖtと同一位置の画素が、全て選択された例である。この場合、後述する動被写体検出部１２０で実行される動被写体の検出精度は向上するものの、計算コストが増大する。このため、図５Ｂおよび図５Ｃのように、画素を間引いて選択するようにしてもよい。図５Ｂは、周辺画像における画素Ｖtと同一位置の画素を、等間隔に間引いて選択した例である。図５Ｃは、中心画像に対して時間的距離が近い周辺画像の画素を密に選択した例である。このように、動被写体を検出する計算コストを考慮して、周辺画像の画素を間引いて選択してもよい。
【００４３】
「動被写体検出部について」
画素選択部１１０によって画素の選択がなされると、動被写体検出部１２０による処理が実行される。図６に例示するように、画素選択部１１０で選択された画素の画素値が、時間と画素値の軸によりプロットされている。図６の例では、中心画像の所定位置における画素Ｖtの画素値Ｖtがプロットされている。さらに、６枚の周辺画像のそれぞれにおいて、画素Ｖtと同一の位置の画素の画素値がプロットされている。画素値Ｖtを基準にして、所定の範囲の判定閾値が設定される。判定閾値の範囲が枠ＦＲで模式的に示されている。
【００４４】
動被写体検出部１２０は、判定閾値内の画素数に関する多数決判定処理を行い、画素Ｖtが背景を構成する背景画素か否かを判定する。例えば、判定閾値内の画素値を有する画素が多いほど、画素値の変化が小さいものとして画素Ｖtを背景画素と判定する。判定閾値内の画素値を有する画素が少ないほど、画素値の変化が大きいものとして画素Ｖtを動被写体と判定する。始めに、画素Ｖtが背景画像か否かの判定を行い、背景画素と判定されない画素を、動被写体の画素として判定してもよい。
【００４５】
画素Ｖtに対する判定が終了すると、画素選択部１１０により、中心画像における次の画素が選択される。中心画像における画素の選択順序は、例えば、ラスタースキャン順で選択される。すなわち、中心画像の左上の画素から右下の画素に向かって順次、画素が選択される。選択された画素が背景画素か否かの判定がなされる。中心画像における全ての画素に対する判定が終了すると、中心画像に対して時間的に次のフレーム画像が中心画像として設定される。新たに設定された中心画像の全ての画素に対して、上述した処理が行われ、背景画素か否かの判定が行われる。
【００４６】
入力画像保持部１００に、６００フレームのフレーム画像が保持されている場合には、例えば、始めにフレーム画像Ｉ1が中心画像として設定される。フレーム画像Ｉ1の全ての画素に対して、動被写体検出部１２０による判定処理が行われる。次に、２番目のフレーム画像Ｉ2が中心画像に設定され、フレーム画像Ｉ2の全ての画素に対して、動被写体検出部１２０による判定処理が行われる。処理が繰り返され、６００番目のフレーム画像Ｉ600の全ての画素に対して、背景画素か否かを判定する判定処理が行われる。６００フレームの全画素について、背景画素か否かを判定する判定処理が行われる。
【００４７】
なお、入力画像保持部１００に保持されたフレーム画像から所定間隔でフレーム画像を間引き、処理の対象となるフレーム画像を減少させてもよい。処理の対象となるフレーム画像を減少させることで、画素選択部１１０および動被写体検出部１２０の処理の負荷を低減できる。
【００４８】
動被写体検出部１２０は、各画素に対する判定処理の結果に応じて、動被写体推定マップＭnをフレーム画像毎に生成する。動被写体推定マップＭnは、動被写体と背景画像とを識別するマップであり、例えば、ローレベルの画素とハイレベルの画素とからなる２値情報によって表される。
【００４９】
図７Ａは、フレーム画像Ｉ1に対する判定処理によって得られる動被写体推定マップＭ1の一例を示す。動被写体検出部１２０における判定処理によって、背景画素と判定された画素がローレベル（例えば、黒色）で示される。背景画素でないと判定された画素、すなわち、動被写体を構成する画素がハイレベル（例えば、白色）で示される。動被写体推定マップＭ1の右側の端部付近に、動被写体としてバイクＢが検出される。動被写体推定マップＭ1の左側の端部付近に、動被写体としてトラックＴＲが検出される。
【００５０】
図７Ｂは、フレーム画像Ｉ1に対して所定時間、時間的に後のフレーム画像Ｉnに対応する動被写体推定マップＭnの一例を示す。時間の経過とともにバイクＢが接近するため、バイクＢを示す領域が大きくなる。一方、時間の経過とともにトラックＴＲが遠ざかるため、トラックＴＲを示す領域が小さくなる。動被写体検出部１２０によって生成された動被写体推定マップＭnが、動被写体追尾部１３０に供給される。
【００５１】
なお、動被写体を検出する処理は、上述した処理に限定されることはない。例えば、上述した特開２００９−１８１２５８号（日本国特許庁発行）に開示されているように、画素間の距離を考慮して、画素毎の動被写体確率を求めるようにしてもよい。所定のフレームと、そのフレームに対して時間的に前後するフレームとを比較することで、動被写体を検出するようにしてもよい。フレーム画像に対して距離マップを求め、前方に位置する被写体を動被写体と判定してもよい。このように、動被写体を検出する方法は、例示した方法に限定されることはなく、公知の方法を適用できる。
【００５２】
動被写体検出部１２０によって検出された複数の動被写体から、追尾の対象となる動被写体が選択される。選択された動被写体の軌跡上の画像と、静止画像とが後述する処理によって合成され、軌跡合成画像が得られる。なお、動被写体検出部１２０によって検出された複数の動被写体から、１の動被写体が選択されてもよく、複数の動被写体が選択されてもよい。動被写体検出部１２０によって検出された複数の動被写体の全てが選択されてもよい。第１の実施形態では、ユーザが所望する動被写体が選択される。
【００５３】
動被写体は、例えば、ＧＵＩを使用して選択される。ＧＵＩは、例えば、表示部４３に表示される。ＧＵＩを生成する処理は、例えば、画像処理部２３によって行われる。ＧＵＩを生成する処理が、制御部５１等によって行われてもよい。
【００５４】
ＧＵＩは、例えば、１番目のフレーム画像Ｉ1を使用される。もちろん、任意のフレーム画像を使用してもよい。動被写体検出部１２０によって検出される全ての動被写体を表示し、動被写体を選択するための画像を新たに生成してもよい。
【００５５】
画像処理部２３は、図７Ａに例示した動被写体推定マップＭ1に基づいて、動被写体の位置を識別する。例えば、動被写体推定マップＭ1における白色の領域の中で、端部付近に位置する画素の座標を特定する。続いて、画像処理部２３は、動被写体を選択するための選択領域の画像を生成する。選択領域の画像は、例えば、動被写体を指し示し、所定の領域を有する画像である。生成された選択領域の画像がフレーム画像Ｉ1に重畳され、選択領域が画面に表示される。
【００５６】
図８は、動被写体を選択するためのＧＵＩの一例を示す。ＧＵＩ１には、各動被写体に対応する選択領域が表示される。例えば、バイクＢの端部付近を指し示すようにして、選択領域１が表示される。さらに、トラックＴＲの端部付近を指し示すようにして、選択領域２が表示される。選択領域１および選択領域２の形状および大きさは、略同一とされる。ユーザは、指や操作具を使用して、選択領域１および選択領域２の少なくとも一方を指示する選択操作を行う。例えば、選択領域１および選択領域２の少なくとも一方を触れる選択操作がなされる。選択操作によって、バイクＢおよびトラックＴＲの少なくとも一方が選択される。選択された動被写体が追尾の対象となる。
【００５７】
なお、選択領域の形状は、矩形に限らず円形などでもよい。ユーザが選択領域を的確に指示することができるように、選択領域の大きさ等が適切に設定される。もちろん、ボタンや十字キーなどを使用して、選択領域を指示できるようにしてもよい。さらに、動被写体の選択を確定する決定ボタンなどの他の表示がなされてもよい。
【００５８】
動被写体の形状や大きさ、速度は、様々である。動被写体の形状等によっては、動被写体そのものを的確に触れることが、困難な場合があり得る。しかしながら、適切な形状および大きさの選択領域を表示することで、ユーザが動被写体を的確かつ容易に選択できる。
【００５９】
図９は、動被写体を選択するためのＧＵＩの他の例を示す。ＧＵＩ２では、動被写体毎に番号が割り当てられ、動被写体の近傍に番号が表示される。バイクＢには、例えば、番号１が割り当てられ、番号１がバイクＢの近傍に表示される。トラックＴＲには、例えば、番号２が割り当てられ、番号２がトラックＴＲの近傍に表示される。個々の動被写体の範囲を明確にするため、それぞれの動被写体が点線で囲まれる。点線によって設定される矩形の領域のサイズは、例えば、動被写体推定マップＭ1を参照して決定される。なお、点線は、表示されなくてもよい。
【００６０】
ＧＵＩ２には、動被写体に割り当てられた番号に対応する選択領域が表示される。例えば、バイクＢに対応する選択領域１と、トラックＴＲに対応する選択領域２とが表示される。選択領域１および選択領域２は、背景の領域に重畳される。例えば、ＧＵＩ２では、選択領域１および選択領域２が、左上コーナー付近の背景の領域に、互いに近接して表示される。
【００６１】
ＧＵＩ２は、静止画像に限定されることなく、動画像でもよい。さらに、選択領域１および選択領域２は、常に背景の領域となる領域に表示してもよい。ＧＵＩ２が動画像である場合でも、バイクＢやトラックＴＲの表示を妨げることなく、選択領域１や選択領域２を表示できる。さらに、ＧＵＩ２が動画像である場合でも、選択領域自体は固定されるため、選択領域に対する操作を容易に行うことができる。なお、ＧＵＩ１およびＧＵＩ２では、背景を表示しているが、選択の候補となる動被写体のみを表示してもよい。ＧＵＩ２において、点線の領域内を指示することで動被写体の選択が可能とされてもよい。
【００６２】
ＧＵＩ１やＧＵＩ２などを使用して、動被写体に対する選択操作がなされる。以下では特に断らない限り選択領域１が触れられ、バイクＢが選択されたものとして説明する。バイクＢが選択された旨を示す情報（以下、適宜、動被写体選択情報と称する）が、動被写体追尾部１３０に供給される。
【００６３】
「動被写体追尾部について」
動被写体追尾部１３０は、動被写体選択情報で指示される動被写体を追尾の対象とする。すなわち、動被写体追尾部１３０に供給される動被写体推定マップ（Ｍ1〜Ｍ600）のそれぞれから、バイクＢを抽出する。動被写体追尾部１３０は、抽出したバイクＢの位置およびサイズを取得する。
【００６４】
図１０Ａは、所定の動被写体推定マップＭnから抽出されたバイクＢに相当する領域を示す。バイクＢに相当する領域は、例えば、バイクＢを示す領域（白色の領域）を含むようにして設定される矩形の領域で規定される。バイクＢに相当する領域を動被写体領域と適宜、称する。
【００６５】
図１０Ｂに示すように、動被写体領域の位置およびサイズが取得される。動被写体領域の位置は、例えば、動被写体推定マップＭnにおける動被写体領域の重心が位置する座標（Xn,Yn）によって規定される。動被写体領域のサイズは、水平方向の長さWnおよび垂直方向の長さHnで規定される。動被写体追尾部１３０は、動被写体領域の位置およびサイズに関する情報を軌跡合成部１４０に供給する。なお、動被写体推定マップＭnから取得される動被写体領域の位置およびサイズに関する情報を、動被写体領域情報ＩＦnと、適宜、称する。なお、トラックＴＲは選択された動被写体ではないため、トラックＴＲの動被写体領域情報を取得する必要はない。
【００６６】
「軌跡合成部について」
軌跡合成部１４０は、動被写体追尾部１３０と、軌跡合成結果保持部１５０とから供給される動被写体領域情報を参照して、フレーム画像を保持または破棄するか否かを判定する。フレーム画像を保持すると判定された場合は、当該フレーム画像は軌跡合成結果保持部１５０に保持される。このとき、当該フレーム画像に対応する動被写体領域の情報も保持される。フレーム画像を破棄すると判定された場合は、フレーム画像および当該フレーム画像に対応する動被写体領域情報が破棄される。軌跡合成部１４０は、さらに、動被写体の軌跡上の画像と静止画像とを合成する。
【００６７】
「軌跡合成結果保持部について」
軌跡合成結果保持部１５０は、軌跡合成部１４０から供給されるフレーム画像および当該フレーム画像に対応する動被写体領域情報を保持する。軌跡合成結果保持部１５０は、保持している動被写体領域情報を、軌跡合成部１４０に供給する。
【００６８】
「軌跡合成画像表示部について」
軌跡合成画像表示部１６０は、軌跡合成部１４０から供給される軌跡合成画像を表示する。軌跡合成画像は、静止画像および動画像のいずれでもよい。軌跡合成画像表示部１６０は、表示部４３でもよく、撮像装置１とは別体とされた表示装置でもよい。
【００６９】
「画像処理部の処理の流れ」
画像処理部２３の処理の流れの一例について説明する。入力画像保持部１００には、例えば、６００フレームのフレーム画像（Ｉ1〜Ｉ600）が保持される。１番目のフレーム画像Ｉ1に対して、画素選択部１１０および動被写体検出部１２０による処理が行われ、フレーム画像Ｉ1に対応する動被写体推定マップＭ1が取得される。画素選択部１１０および動被写体検出部１２０による処理の詳細は上述してあるので、重複した説明を省略する。フレーム画像Ｉ1が軌跡合成部１４０に供給される。動被写体推定マップＭ1が、動被写体追尾部１３０に供給される。動被写体追尾部１３０には、さらに、バイクＢが選択されたことを示す動被写体選択情報が供給される。
【００７０】
動被写体追尾部１３０は、動被写体推定マップＭ1からバイクＢの動被写体領域を抽出し、動被写体領域情報ＩＦ1を取得する。動被写体領域情報ＩＦ1が軌跡合成部１４０に供給される。
【００７１】
軌跡合成部１４０は、最初に供給されるフレーム画像Ｉ1と、最初に供給される動被写体領域情報ＩＦ1とを、軌跡合成結果保持部１５０に供給する。フレーム画像Ｉ1と動被写体情報ＩＦ1とが、軌跡合成結果保持部１５０に保持される。軌跡合成結果保持部１５０に保持されるフレーム画像Ｉ1が基準フレーム（キーフレームとも称される）の一例とされる。以降の処理では、基準フレームに対応する動被写体領域情報が軌跡合成部１４０に供給される。基準フレームは、後述するようにして更新される。
【００７２】
次に、比較の対象のフレーム（カレントフレームとも称される）として、２番目のフレーム画像Ｉ2が入力画像保持部１００から読み出される。フレーム画像Ｉ2に対して画素選択部１１０および動被写体検出部１２０による処理が行われ、フレーム画像Ｉ2に対応する動被写体推定マップＭ2が取得される。フレーム画像Ｉ2が軌跡合成部１４０に供給される。フレーム画像Ｉ2に対応する動被写体推定マップＭ2が、動被写体追尾部１３０に供給される。
【００７３】
動被写体追尾部１３０は、動被写体推定マップＭ2からバイクＢの動被写体領域を抽出し、動被写体領域情報ＩＦ2を取得する。動被写体領域情報ＩＦ2が軌跡合成部１４０に供給される。
【００７４】
軌跡合成部１４０は、動被写体追尾部１３０から供給される動被写体領域情報ＩＦ2と、軌跡合成結果保持部１５０から供給される動被写体領域情報ＩＦ1とを比較する。図１１に示すように、動被写体追尾部１３０からは、動被写体領域情報ＩＦ2によって示される、位置(X2,Y2)およびサイズ(W2,H2)が供給される。軌跡合成結果保持部１５０からは供給される動被写体領域情報ＩＦ1が基準(ref)として使用される。すなわち、位置（Xref,Yref）およびサイズ（Wref,Href）におけるrefは、この処理では１である。
【００７５】
軌跡合成部１４０は、動被写体領域情報ＩＦ1および動被写体領域情報ＩＦ2に基づいて、式（１）を満たすか否かの判定を行う。
【００７６】
(Xn-Xref)2+(Yn-Yref)2>=(Wn/2)2+(Hn/2)2+(Wref/2)2+(Href/2)2・・（１）
【００７７】
フレーム画像Ｉ2に対する処理なので、ｎ＝２である。式（１）における左辺は、動被写体間の距離を示す。(Wref/2)2+(Href/2)2は、動被写体領域情報ＩＦ1の動被写体領域に外接する外接円の半径を示す。(W2/2)2+(H2/2)2は、動被写体領域情報ＩＦ2の動被写体領域に外接する外接円の半径を示す。すなわち、式（１）を満たす場合には、２つの外接円は、接するまたは離れることになり、２つの動被写体領域が重ならないことを意味する。
【００７８】
式（１）を満たさない場合は、軌跡合成部１４０は、動被写体検出部１２０から供給されるフレーム画像Ｉ2および動被写体領域情報ＩＦ2を破棄する。そして、次のフレーム画像Ｉ3が入力画像保持部１００から読み出される。以降、フレーム画像Ｉ3に対して、フレーム画像Ｉ2に対する処理と同様の処理が行われる。
【００７９】
処理が進み、例えば、９０番目のフレーム画像Ｉ90に対する処理において、式（１）を満たす結果が得られたとする。この場合には、軌跡合成部１４０は、動被写体検出部１２０から供給されるフレーム画像Ｉ90と、動被写体追尾部１３０から供給される動被写体領域情報ＩＦ90とを、軌跡合成結果保持部１５０に供給する。
【００８０】
軌跡合成結果保持部１５０は、供給されたフレーム画像Ｉ90および動被写体領域情報ＩＦ90を保持し、基準フレームをフレーム画像Ｉ90に更新する。例えば、基準フレームが更新されるタイミングで、軌跡合成部１４０は、フレーム画像Ｉ1とフレーム画像Ｉ90とを合成する。
【００８１】
軌跡合成部１４０は、フレーム画像Ｉ1において、動被写体領域情報ＩＦ1によって指示される領域以外の不透明度を０に設定する。同様に、フレーム画像Ｉ90において、動被写体領域情報ＩＦ90によって指示される領域以外の不透明度を０に設定する。２枚のフレーム画像（レイヤ）を合成して、動被写体をフレーム内に配置する。そして、配置された動被写体以外の領域に背景を割り当てる。このとき使用される背景は、例えば、フレーム画像Ｉ90において背景と判定された領域が使用される。
【００８２】
フレーム画像Ｉ1とフレーム画像Ｉ90とを合成した画像を、合成画像Ａと適宜、称する。合成画像Ａは、例えば、軌跡合成結果保持部１５０に保持される。なお、２枚のフレーム画像を合成する処理は、上述した処理に限定されることはない。
【００８３】
このように、軌跡合成部１４０は、基準フレームの動被写体領域情報と、比較の対象となるフレーム画像の動被写体領域情報をと比較する。比較の結果が式（１）を満たす場合にのみ、比較の対象となるフレーム画像および当該フレーム画像の動被写体領域情報を軌跡合成結果保持部１５０に保持し、当該フレーム画像を基準フレームに設定する。
【００８４】
次の処理では、フレーム画像Ｉ91が入力画像保持部１００から読み出される。画素選択部１１０および動被写体検出部１２０における処理によって、動被写体推定マップＭ91が取得される。動被写体追尾部１３０における処理によって、動被写体領域情報ＩＦ91が取得される。軌跡合成部１４０では、動被写体領域情報ＩＦ90および動被写体領域情報ＩＦ91に基づいて、式（１）を満たす結果か否かが判定される。
【００８５】
例えば、フレーム画像Ｉ170に対する処理において、式（１）を満たす結果が得られたとする。軌跡合成部１４０は、フレーム画像Ｉ170および動被写体領域情報ＩＦ170を軌跡合成結果保持部１５０に供給する。基準フレームがフレーム画像Ｉ170に更新され、フレーム画像Ｉ170および動被写体領域情報ＩＦ170が軌跡合成結果保持部１５０に供給される。フレーム画像Ｉ170および動被写体領域情報ＩＦ170が軌跡合成結果保持部１５０に保持される。
【００８６】
例えば、基準フレームが更新されたタイミングで、軌跡合成部１４０は、合成画像Ａに対して、フレーム画像Ｉ170を合成する。例えば、動被写体領域情報ＩＦ170で示される領域がフレーム画像Ｉ170から抽出される。抽出された領域の画像が、合成画像Ａに重畳される。例えば、合成画像Ａにおいて、動被写体領域情報ＩＦ170で示される領域の不透明度が最小にされる。不透明度が最小とされた領域に、フレーム画像Ｉ170から抽出された領域の画像が割り当てられる。
【００８７】
入力画像保持部１００に保持された全てのフレーム画像に対して、上述した処理が行われる。基準フレームが更新されるタイミングで、画像を合成する処理が行われる。全てのフレーム画像に対する処理が終了すると、軌跡合成部１４０は、その時点における合成画像を軌跡合成画像として出力する。出力された軌跡合成画像が軌跡合成画像表示部１６０に表示される。
【００８８】
なお、軌跡合成部１４０により画像を合成する処理が行われるタイミングは、基準フレームが更新されるタイミングに限られない。例えば、軌跡合成結果保持部１５０は、基準フレームが更新された場合でも、更新前の基準フレームに相当するフレーム画像を保持する。入力画像保持部１００に保持された全てのフレーム画像に対する処理が終了した後に、軌跡合成部１４０が、軌跡合成結果保持部１５０に保持されたフレーム画像を合成し、軌跡合成画像を生成してもよい。
【００８９】
図１２は、軌跡合成画像の一例を示す。バイクＢの軌跡上の画像（バイクＢ１０、バイクＢ１１、バイクＢ１２、バイクＢ１３、バイクＢ１４およびバイクＢ１５）と、静止画像とが合成されて表示される。静止画像は、背景および選択されない動被写体（トラックＴＲ）を含む。
【００９０】
なお、軌跡合成画像表示部１６０に、以下のような表示を行うようにしてもよい。始めに、１番目のフレーム画像が軌跡合成画像表示部１６０に供給され、表示される。軌跡合成部１４０によって合成された合成画像が軌跡合成画像表示部１６０に順次、供給される。軌跡合成画像表示部１６０に表示される合成画像が切り換えられて表示される。この処理によって、例えば、バイクＢ１０、バイクＢ１１、バイクＢ１２・・とバイクＢが追加されていく表示を行うことができる。トラックＴＲの位置が変化する可能性があるが、トラックＴＲの軌跡上の画像が表示されることはない。
【００９１】
このように、第１の実施形態では、ユーザによって選択された動被写体の軌跡上の画像を表示するようにしている。したがって、所望の動被写体の軌跡上の画像を表示できる。例えば、サッカーの試合の画像において、所望の選手やボールのみの軌跡上の画像を表示できる。
【００９２】
さらに、第１の実施形態では、式（１）を満たし、動被写体が重ならない場合に、フレーム画像等を保持するようにしている。このため、軌跡合成画像では、軌跡上の画像における動被写体が重ならず、適切な位置間隔で表示される。さらに、フレーム画像から動被写体を検出する。動被写体を検出するために背景のみを一度、撮像するなど、複数の撮像操作を行う必要がない。
【００９３】
これに対して、一般に利用される技術では、一定の間隔でフレーム画像を保持し、保持したフレーム画像を合成するようにしている。例えば、５０フレーム毎にフレーム画像を保持し、保持したフレーム画像を合成するようにしている。
【００９４】
しかしながら、動被写体の形状やサイズ、速度は、バイクやトラック、人物、ボールなどに応じて相違するものであり、一定の間隔（５０フレーム）が必ずしも適切な間隔とは限らない。このため、図１３に示すように、動被写体が重なるようにして線状に連続的に表示され、不自然な軌跡合成画像となる可能性があった。反対に、軌跡合成画像における動被写体の間隔が大きくなり過ぎて、不自然な軌跡合成画像となる可能性があった。
【００９５】
フレーム画像を保持する間隔を、動被写体の形状等に応じてユーザが変更してもよい。しかしながら、動被写体の形状等に応じてユーザが適切な間隔を設定することは、高度なスキルを必要とする。このため、動被写体の形状等に応じてユーザが適切な間隔を設定することは、極めて困難である。第１の実施形態では、動被写体が重ならない場合に、フレーム画像を保持するようにしている。よって、軌跡上における動被写体同士が重なることはない。さらに、ユーザは、所望の動被写体を選択するだけでよく、複雑な設定を行う必要がない。さらに、動被写体推定マップを使用することで、容易に動被写体を検出できるとともに、検出の精度を向上させることができる。
【００９６】
＜２．第２の実施形態＞
次に、本開示における第２の実施形態について説明する。第２の実施形態における撮像装置の構成は、例えば、第１の実施形態における撮像装置の構成と略同様である。第２の実施形態では、画像処理部２３における処理の一部が異なる。
【００９７】
図１４は、第２の実施形態における画像処理部２３の機能の一例を示す機能ブロック図である。入力画像保持部１００、画素選択部１１０、動被写体検出部１２０、動被写体追尾部１３０、軌跡合成部１４０、軌跡合成結果保持部１５０および軌跡合成画像表示部１６０のそれぞれが実行する処理については上述してあるので、重複した説明を適宜、省略する。
【００９８】
第２の実施形態における画像処理部２３は、動被写体が既に選択されたか否かを判定する判定処理２００を行う。例えば、図８や図９に例示されたＧＵＩが使用され、動被写体が既に選択されている場合には、判定処理２００で肯定結果が得られる。判定処理２００で肯定結果が得られた場合は、第１の実施形態と同様の処理が行われる。例えば、動被写体としてバイクＢが選択されていれば、バイクの軌跡上の画像が表示された軌跡合成画像が生成される。軌跡合成画像が軌跡合成画像表示部１６０に表示される。
【００９９】
動被写体が選択されていない場合には、判定処理２００で否定結果が得られる。判定処理２００で否定結果が得られた場合には、動被写体が自動で選択される。例えば、フレーム画像の外部からフレーム画像にフレームインした動被写体が、優先して選択される（フレームイン動被写体優先選択モード）。選択された動被写体が、動被写体追尾部１３０の処理における追尾の対象として設定される。
【０１００】
フレームイン動被写体優先選択モードの処理の一例を説明する。動被写体検出部１２０の処理によって得られた動被写体推定マップが、フレームイン動被写体検出部２１０に供給される。フレームイン動被写体検出部２１０は、例えば、動被写体推定マップＭ1のコーナー付近や端部の近傍に、検出エリアを設定する。検出エリアは、変化しない。このとき、フレームイン動被写体検出部２１０は、動被写体推定マップＭ1に存在する動被写体、すなわち、撮像の当初から存在する複数の動被写体の動被写体領域情報を取得する。
【０１０１】
フレームイン動被写体検出部２１０は、２番目以降の動被写体推定マップを解析し、検出エリア内に動被写体が存在しないかを監視する。検出エリア内に動被写体が存在する場合は、当初から存在する動被写体の動被写体領域情報を参照して、検出エリア内に存在する動被写体が、当初から存在する動被写体であるか否かを判断する。ここで、検出エリア内に存在する動被写体が当初から存在する動被写体であれば、引き続き、検出エリア内に動被写体が存在するか否かを監視する。
【０１０２】
検出エリア内の動被写体が、当初から存在する動被写体でない場合は、フレームイン動被写体検出部２１０は、新たな動被写体がフレームインしてきたものと判断する。フレームイン動被写体検出部２１０は、新たな動被写体の動被写体領域情報を取得する。取得された動被写体領域情報が動被写体自動選択処理部２２０に供給される。
【０１０３】
動被写体自動選択処理部２２０は、フレームインした新たな動被写体を、追尾の対象の動被写体として設定する。追尾の動被写体が設定されると、判定処理２３０において、モードに対応する動被写体が有ると判定される。動被写体自動選択処理部２２０で選択された動被写体の情報が動被写体追尾部１３０に供給される。動被写体自動選択処理部２２０によって選択された動被写体に対して、第１の実施形態で説明した処理と同様の処理が行われる。例えば、新たな動被写体が検出されたフレーム画像を１番目のフレーム画像として処理が開始され、新たな動被写体の軌跡上の画像と、静止画像とが合成される。
【０１０４】
全ての動被写体推定マップを解析した段階で、フレームインした動被写体が無い場合には、判定処理２３０において、モードに対応する動被写体が無いと判定される。この場合は、候補提示部２４０による処理が行われる。候補提示部２４０は、動被写体検出部１２０によって検出された動被写体を表示する処理を行う。動被写体の候補が表示されることで、動被写体の選択をユーザに促すことができる。候補提示部２４０の処理によって表示される画像に、図８や図９に例示したＧＵＩが表示されるようにしてもよい。動被写体が選択されない場合は、エラーを表示してもよいし、軌跡合成画像を生成する処理を終了してもよい。
【０１０５】
なお、上述した例では、フレームインする動被写体が優先して選択されるようにしたが、他の動被写体が優先して選択されるようにしてもよい。例えば、１番目（任意の順番でもよい）の動被写体推定マップＭ1が、動被写体自動選択処理部２２０に供給される。動被写体自動選択処理部２２０は、動被写体推定マップＭ1を使用して、動被写体毎の位置情報を検出する。動被写体毎の位置情報は、例えば、動被写体の領域の重心の座標で示される。自動動被写体選択部２２０は、動被写体毎の位置情報に基づいて、例えば、フレーム画像の中心に対して、最も近い位置に存在する動被写体を優先して選択するようにしてもよい（中心動被写体優先選択モード）。選択された動被写体が追尾の対象として設定される。
【０１０６】
動被写体自動選択処理部２２０は、動被写体推定マップＭ1を使用して、動被写体毎のサイズ情報を検出するようにしてもよい。動被写体毎のサイズ情報は、動被写体の領域の画素数や、動被写体の領域を含むようにして設定される矩形や円のサイズなどで規定される。動被写体自動選択処理部２２０は、動被写体毎のサイズ情報に基づいて、最大のサイズの動被写体を優先して選択するようにしてもよい（最大動被写体優先選択モード）。選択された動被写体が追尾の対象として設定される。
【０１０７】
なお、例示した複数のモード（フレームイン動被写体優先選択モード、中心動被写体優先選択モード、最大動被写体優先選択モード）のうち、所望のモードをユーザが選択できるようにしてもよい。さらに、判定処理２３０において、所定のモードに対応する動被写体が存在しない場合に、候補提示部２４０によって他のモードが提示されてもよい。動被写体を自動で選択する処理において、複数の動被写体が選択されてもよい。
【０１０８】
＜３．第３の実施形態＞
次に、第３の実施形態について説明する。第３の実施形態において、撮像装置の構成は、上述した第１または第２の実施形態と略同様である。第３の実施形態では、画像処理部２３の機能が一部、異なる。
【０１０９】
図１５は、第３の実施形態における、画像処理部２３の機能の一例を示す機能ブロック図である。なお、第１の実施形態と同一の構成（機能）については同一の符号を付し、重複した説明を適宜、省略する。
【０１１０】
第３の実施形態では、追尾の対象となる動被写体が複数、選択される。例えば、図３で例示した画像において、動被写体としてバイクＢおよびトラックＴＲが選択される。なお、バイクＢおよびトラックＴＲは、ユーザによって選択されてもよく、自動で選択されてもよい。選択された複数の動被写体に対する処理が並列的（パラレル）に行われる。
【０１１１】
入力画像保持部１００に、複数のフレーム画像が保持される。画素選択部１１０および動被写体検出部１２０における処理は、第１の実施形態と同様である。例えば、１番目のフレーム画像Ｉ1に対する動被写体検出部１２０による処理によって、動被写体推定マップＭ1が取得される。動被写体推定マップＭ1が動被写体追尾部３００および動被写体追尾部３１０に供給される。動被写体追尾部３００は、動被写体推定マップＭ1を参照して、バイクＢの動被写体領域情報ＩＦＢ1を取得する。動被写体追尾部３１０は、動被写体推定マップＭ1を参照して、トラックＴＲの動被写体領域情報ＩＦＴＲ1を取得する。
【０１１２】
動被写体領域情報ＩＦＢ1および動被写体領域情報ＩＦＴＲ1が、軌跡合成部１４０に供給される。軌跡合成部１４０には、さらに、フレーム画像Ｉ1が供給される。軌跡合成部１４０は、フレーム画像Ｉ1と、動被写体領域情報ＩＦＢ1と、動被写体領域情報ＩＦＴＲ1とを軌跡合成結果保持部１５０に供給する。フレーム画像Ｉ1、動被写体領域情報ＩＦＢ1および動被写体領域情報ＩＦＴＲ1が軌跡合成結果保持部１５０に保持される。
【０１１３】
次に、フレーム画像Ｉ2が入力画像保持部１００から読み出される。フレーム画像Ｉ2に対して画素選択部１１０および動被写体検出部１２０による処理が行われ、動被写体推定マップＭ2が得られる。動被写体推定マップＭ2が動被写体追尾部３００および動被写体追尾部３１０に供給される。フレーム画像Ｉ2が、軌跡合成部１４０に供給される。
【０１１４】
動被写体追尾部３００は、動被写体推定マップＭ2を参照して、バイクＢの動被写体領域情報ＩＦＢ2を取得する。動被写体追尾部３１０は、動被写体推定マップＭ2を参照して、トラックＴＲの動被写体領域情報ＩＦＴＲ2を取得する。動被写体領域情報ＩＦＢ2および動被写体領域情報ＩＦＴＲ2が、軌跡合成部１４０に供給される。
【０１１５】
軌跡合成部１４０は、上述した式（１）を使用した判定処理を、動被写体毎に行う。例えば、バイクＢに関する判定処理として、動被写体領域情報ＩＦＢ1および動被写体領域情報ＩＦＢ2に基づき、式（１）を満たすか否かの判定処理を行う。バイクＢに関する判定処理では、式（１）におけるrefとして、動被写体領域情報ＩＦＢ1が使用される。
【０１１６】
さらに、トラックＴＲに関する判定処理として、動被写体領域情報ＩＦＴＲ1および動被写体領域情報ＩＦＴＲ2に基づき、式（１）を満たすか否かの判定処理を行う。トラックＴＲに関する判定処理では、式（１）におけるrefとして、動被写体領域情報ＩＦＴＲ1が使用される。
【０１１７】
バイクＢに関する判定処理およびトラックＴＲに関する判定処理のいずれの判定処理においても式（１）を満たさない場合は、フレーム画像Ｉ2、動被写体領域情報ＩＦＢ2および動被写体領域情報ＩＦＴＲ1が破棄される。そして、フレーム画像Ｉ3が入力画像保持部１００から読み出され、フレーム画像Ｉ2に対する処理と同様の処理が行われる。
【０１１８】
バイクＢに関する判定処理およびトラックＴＲに関する判定処理の少なくとも一方の判定処理において式（１）を満たす結果が得られたとする。例えば、フレーム画像Ｉ90に対する処理で、バイクＢに関する判定処理で式（１）を満たす結果が得られ、トラックＴＲに関する判定処理で式（１）を満たさない結果が得られたとする。
【０１１９】
軌跡合成部１４０は、フレーム画像Ｉ90から得られる動被写体領域情報ＩＦＢ90を軌跡合成結果保持部１５０に保持する。動被写体領域情報ＩＦＢ90が、バイクＢに関する判定処理のrefとして使用される。なお、動被写体領域情報ＩＦＴＲ90は破棄され、軌跡合成結果保持部１５０に保持された動被写体領域情報ＩＦＴＲ1は更新されない。
【０１２０】
軌跡合成部１４０は、さらに、フレーム画像Ｉ1と、比較の対象のフレーム画像Ｉ90の一部とを合成して、合成画像（以下、合成画像Ｂと称する）を生成する。合成画像Ｂが、例えば、軌跡合成結果保持部１５０に保持される。
【０１２１】
合成画像Ｂは、例えば、以下のようにして生成される。軌跡合成部１４０は、フレーム画像Ｉ90から、動被写体領域情報ＩＦＢ90で示される領域の画像を抽出する。そして、フレーム画像Ｉ1における動被写体領域情報ＩＦＢ90に対応する位置に、抽出した画像を重畳する。
【０１２２】
そして、フレーム画像Ｉ91以降のフレーム画像に対して、順次、同様の処理が行わる。ここで、フレーム画像Ｉ91からフレーム画像Ｉ159までの処理では、バイクＢに関する判定処理およびトラックＴＲに関する判定処理とも、式（１）を満たす結果がないものとする。
【０１２３】
次に、フレーム画像Ｉ160に対する処理が行われる。軌跡合成部１４０は、例えば、バイクＢに関する判定処理として、動被写体領域情報ＩＦＢ90および動被写体領域情報ＩＦＢ160に基づき、式（１）を満たすか否かの判定処理を行う。式（１）を使用した判定処理におけるrefとして、動被写体領域情報ＩＦＢ90が使用される。
【０１２４】
さらに、トラックＴＲに関する判定処理として、動被写体領域情報ＩＦＴＲ1および動被写体領域情報ＩＦＴＲ160に基づき、式（１）を満たすか否かの判定処理を行う。式（１）を使用した判定処理におけるrefとして、動被写体領域情報ＩＦＴＲ1が使用される。
【０１２５】
バイクＢに関する判定処理で式（１）を満たさない結果が得られ、トラックＴＲに関する判定処理で式（１）を満たす結果が得られたとする。
【０１２６】
軌跡合成部１４０は、動被写体領域情報ＩＦＴＲ160を軌跡合成結果保持部１５０に保持する。トラックＴＲに関する以降の判定処理のrefとして、動被写体領域情報ＩＦＴＲ160が使用される。なお、軌跡合成結果保持部１５０に保持された動被写体領域情報ＩＦＢ90は更新されない。動被写体領域情報ＩＦＢ160は破棄される。
【０１２７】
軌跡合成部１４０は、さらに、合成画像Ｂと、フレーム画像Ｉ160の一部とを合成し、合成画像（以下、合成画像Ｃと称する）を生成する。合成画像Ｃが、例えば、軌跡合成結果保持部１５０に保持される。
【０１２８】
合成画像Ｃは、例えば、以下のようにして生成される。軌跡合成部１４０は、フレーム画像Ｉ160から、動被写体領域情報ＩＦＴＲ160で示される領域の画像を抽出する。そして、合成画像Ｃにおける動被写体領域情報ＩＦＴＲ160に対応する位置に、抽出した画像を重畳する。合成画像Ｃが軌跡合成結果保持部１５０に保持される。
【０１２９】
以降、同様の処理が行われ、全てのフレーム画像に対する処理が終了する。処理が終了した段階で、軌跡合成結果保持部１５０に保持された合成画像が、軌跡合成画像とされる。軌跡合成部１４０は、軌跡合成画像を軌跡合成画像表示部１６０に供給する。軌跡合成画像表示部１６０に軌跡合成画像が表示される。
【０１３０】
図１６は、第３の実施形態における軌跡合成画像の一例を示す。軌跡合成画像に、バイクＢの軌跡上の画像（バイクＢ１０、バイクＢ１１・・バイクＢ１５）が表示される。各バイクＢは、重ならないようにして表示される。さらに、軌跡合成画像に、トラックＴＲの軌跡上の画像（トラックＴＲ１、トラックＴＲ２、トラックＴＲ３）が表示される。各トラックＴＲは、重ならないようにして表示される。
【０１３１】
例えば、バイクＢ１０の重心位置とバイクＢ１１の重心位置との間隔（バイク間の間隔）は、トラックＴＲ１の重心位置とトラックＴＲ２の重心位置との間隔（トラック間の間隔）と、異なるものとされる。一定のフレーム間隔でフレーム画像を保持するようにした場合には、バイク間の間隔とトラックの間隔とが、等しくなる。このため、例えば、バイク間の間隔が適切であったとしても、トラックＴＲが重なるように表示される等の不自然な軌跡合成画像となるおそれがある。
【０１３２】
動被写体毎に式（１）を使用した判定処理を行うことにより、軌跡上の画像におけるバイクＢ同士の間隔を適切な間隔に設定できるとともに、軌跡上の画像におけるトラックＴＲ同士の間隔を適切な間隔に設定できる。なお、複数の動被写体として、３以上の動被写体が選択されてもよい。動被写体の数に応じた数の動被写体追尾部が機能し、上述した処理と同様の処理が行われる。
【０１３３】
以上説明したように、第３の実施形態では、複数の動被写体が選択された場合に、動被写体毎に式（１）を使用した判定処理を行うようにしている。そして、動被写体毎に、式（１）で使用されるrefを更新している。
【０１３４】
なお、以下のような処理を行うこともできる。例えば、バイクＢに関する軌跡合成画像と、トラックＴＲに関する軌跡合成画像をそれぞれ生成する。バイクＢに関する軌跡合成画像およびトラックＴＲに関する軌跡合成画像を合成し、最終的な軌跡合成画像を生成するようにしてもよい。最終的な軌跡合成画像が軌跡合成画像表示部１６０に表示される。
【０１３５】
さらに、第３の実施形態における処理は、必ずしも並列的な処理に限定されることはない。例えば、第１の実施形態における処理と同様の処理を行い、始めに、バイクＢに関する軌跡合成画像を生成する。さらに、第１の実施形態における処理と同様の処理を行い、トラックＴＲに関する軌跡合成画像を生成する。バイクＢに関する軌跡合成画像およびトラックＴＲに関する軌跡合成画像を合成し、最終的な軌跡合成画像を生成してもよい。最終的な軌跡合成画像が軌跡合成画像表示部１６０に表示される。
【０１３６】
＜４．変形例＞
以上、本開示の一実施形態について説明したが、本開示は、上述した実施形態に限られることなく、種々の変形が可能である。
【０１３７】
上述した複数の実施形態では、軌跡上の画像における複数の動被写体が重ならないようにしたが、一部重なるようにしてもよい。さらに、軌跡上の画像における動被写体の間隔を広げるようにしてもよい。
【０１３８】
例えば、軌跡合成部１４０の処理で使用される式（１）を式（２）に変形する。
【０１３９】
(Xn-Xref)2+(Yn-Yref)2+α>=(Wn/2)2+(Hn/2)2+(Wref/2)2+(Href/2)2
・・（２）
【０１４０】
式（２）において、α＝０のときは、式（２）は式（１）と等価になる。αの値を負の値に設定すると、軌跡上の画像における動被写体が重なるようにすることができる。さらに、αを負の値とし、かつ、αの絶対値を大きくすることで、動被写体が重なる程度（重なり具体）を大きくすることができる。反対に、αを正の値とし、αの値を大きくすることで、軌跡上の画像における動被写体の間隔を大きくすることができる。
【０１４１】
軌跡上の画像における動被写体の重なり具合や、軌跡上の画像における動被写体の間隔を、ユーザが選択できるようにしてもよい。例えば、図１７に示すＧＵＩ３を使用して、動被写体の間隔の設定がなされてもよい。ＧＵＩ３では、第１の実施形態等で説明した、動被写体を重ならないようにする設定がなされている。この場合は、α＝０に設定される。例えば、「重なり（大）」が選択されると、αが負の大きな値に設定される。「重なり（小）」が選択されると、αが負の小さな値に設定される。「間隔を大きくする」が選択されると、αが正の値に設定される。αの値は、軌跡合成画像表示部１６０のサイズなどに応じて、適切に設定される。
【０１４２】
さらに、例えば、スライドキーを使用して、軌跡上の画像における動被写体の重なり具合を調節できるようにしてもよい。例えば、スライドキーが右方向にスライドされた場合には、αの値が連続的に増加し、スライドキーが左方向にスライドされた場合には、αの値が連続的に減少するようにしてもよい。動被写体によっては、軌跡上の動被写体が部分的に重なる方が好ましい場合もある。さらに、動被写体によっては、軌跡上の動被写体の間隔が大きいほうが好ましい場合でもある。このような場合でも、簡単な設定を行うだけで、適切な軌跡合成画像を得ることができる。
【０１４３】
軌跡合成部１４０の処理における判定処理で式（１）や式（２）を使用しなくてもよい。すなわち、基準フレームにおける動被写体と、比較の対象のフレームにおける動被写体との間の距離を考慮しなくてもよい。
【０１４４】
例えば、基準フレームにおける動被写体を示す領域（動被写体推定マップにおける白色の領域）と、比較の対象のフレーム画像における動被写体を示す領域が抽出される。それぞれの領域を比較し、双方の領域に共通する画素の画素数を求める。この画素数が多いほど、２つの動被写体の重なりの程度が大きくなる。
【０１４５】
画素数に対して閾値が設定される。画素数が閾値を超えた場合に、軌跡合成部１４０が画像を合成する処理や、基準フレームを更新する処理を行うようにしてもよい。例えば、閾値を０に設定した場合は、式（２）におけるα＝０における処理と略等価な処理となる。閾値を大きくした場合は、αを負の数とし、αの値を大きくした場合の処理と略等価な処理となる。画素数ではなく、動被写体を示す領域に対する画素数の割合を使用してもよい。変形例によれば、例えば、動被写体の一部が移動した場合（例えば、人物が移動せずに姿勢のみを変えた場合）でも、軌跡上の画像を生成できる。
【０１４６】
上述した処理は、全てのフレーム画像に対して行わなくてもよい。例えば、入力画像保持部１００に保持された６００フレームのうち、所定数のフレームを間引いて処理を行うようにしてもよい。上述した説明における数値（例えば、フレーム画像の順番）等は、理解を容易にするために例示したものであり、例示した数値等に本開示の内容が限定されるものではない。
【０１４７】
本開示は、撮像装置に限られることはなく、少なくとも画像処理部の機能を有する画像処理装置として構成することができる。画像処理装置は、パーソナルコンピュータや携帯端末、ビデオカメラなどによって実現される。さらに、軌跡合成画像を他の装置に送信する通信機能を、画像処理装置が有していてもよい。さらに、放送を行う装置として構成してもよい。例えば、サッカーの試合でゴールシーンを放送した直後に、ゴールシーンをスローで再生するのではなく、ゴールに吸い込まれるボールの軌跡上の画像を放送できる。
【０１４８】
さらに、本開示は、装置に限らず、方法、プログラム、記録媒体として実現することができる。
【０１４９】
なお、実施形態および変形例における構成および処理は、技術的な矛盾が生じない範囲で適宜組み合わせることができる。例示した処理の流れにおけるそれぞれの処理の順序は、技術的な矛盾が生じない範囲で適宜、変更できる。
【０１５０】
本開示は、例示した処理が複数の装置によって分散されて処理される、いわゆるクラウドシステムに対して適用することもできる。例えば、動被写体検出部の機能、動被写体追尾部の機能および軌跡合成部のそれぞれの機能が異なる装置によって行われてもよい。例示した機能の少なくとも一部の機能を実行する装置として、本開示を実現することができる。
【０１５１】
本開示は、以下の構成をとることもできる。
（１）
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
前記検出した前記複数の動被写体の中から所定の動被写体を選択し、
前記選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置。
（２）
前記複数の動被写体の各動被写体に対応する領域を指示することで、前記選択がなされる（１）に記載の画像処理装置。
（３）
基準フレームにおける前記選択された動被写体および比較対象のフレームにおける前記選択された動被写体の位置関係に応じて、前記軌跡上の画像を構成する前記動被写体が決定される（１）または（２）に記載の画像処理装置。
（４）
前記位置関係は、前記基準フレームにおける前記動被写体と前記比較対象のフレームにおける前記動被写体とが、重ならない位置関係である（３）に記載の画像処理装置。
（５）
複数の動被写体を選択し、該複数の動被写体の各動被写体の軌跡上の画像と、前記静止画像とを合成する（１）に記載の画像処理装置。
（６）
所定の動被写体の軌跡上の画像における該動被写体毎の間隔と、他の動被写体の軌跡上の画像における該動被写体毎の間隔とが、異なる間隔に設定される（５）に記載の画像処理装置。
（７）
前記所定の動被写体が自動で選択される（１）乃至（６）のいずれか１に記載の画像処理装置。
（８）
前記複数のフレームをそれぞれ２値化することで２値情報を生成し、前記２値情報に応じて前記複数の動被写体を検出する（１）乃至（７）のいずれか１に記載の画像処理装置。
（９）
前記複数のフレームをキャプチャする撮像部を有する（１）乃至（８）のいずれか１に記載の画像処理装置。
（１０）
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
前記検出した前記複数の動被写体の中から所定の動被写体を選択し、
前記選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置における画像処理方法。
（１１）
所定のタイミングでキャプチャされた複数のフレームから複数の動被写体を検出し、
前記検出した前記複数の動被写体の中から所定の動被写体を選択し、
前記選択した動被写体の軌跡上の画像と、静止画像とを合成する画像処理装置における画像処理方法を、コンピュータに実行させるプログラム。
（１２）
（１１）に記載のプログラムが記録された記録媒体。
【符号の説明】
【０１５２】
１・・・撮像装置
１１・・・撮像素子
２３・・・画像処理部
１２０・・・動被写体検出部
１３０・・・動被写体追尾部
１４０・・・軌跡合成部
１５０・・・軌跡合成結果保持部
Ｂ・・・バイク
ＴＲ・・・トラック
【図１】
2013162333.tif 000003
【図２】
2013162333.tif 000004
【図３】
2013162333.tif 000005
【図４】
2013162333.tif 000006
【図５】
2013162333.tif 000007
【図６】
2013162333.tif 000008
【図８】
2013162333.tif 000009
【図９】
2013162333.tif 000010
【図１２】
2013162333.tif 000011
【図１３】
2013162333.tif 000012
【図１４】
2013162333.tif 000013
【図１５】
2013162333.tif 000014
【図１６】
2013162333.tif 000015
【図１７】
2013162333.tif 000016
【図７】
2013162333.tif 000017
【図１０】
2013162333.tif 000018
【図１１】
2013162333.tif 000019