初回に入力された複数の画素データで構成された画像データを第1の画像データとして記憶し、該記憶した第1の画像データ内の前記画素データを第1の画素データとして順次出力する第1の画像データ記憶部と、2回目以降に入力された複数の前記画像データを第2の画像データとして順次記憶し、該記憶した第2の画像データ内の前記画素データを第2の画素データとして順次出力する第2の画像データ記憶部と、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第1のデータと、第2のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出部と、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶部と、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第1の画像データ内の前記第1の画素データ、または前記第2の画像データ内の前記第2の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較部と、を備え、前記平均算出部は、該画像処理装置に2回目までの前記画像データが入力されているときには、前記第1の画素データを前記第1のデータとし、前記第2の画素データを前記第2のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、該画像処理装置に3回目以降の前記画像データが入力されているときには、前記第2の画素データを前記第1のデータとし、該前記第1のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第2のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第2のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第1の画像データ記憶部は、前記第1の画素データを前記差分比較部に出力した後、前記差分比較部から出力された前記更新データを前記第1の画素データとして順次記憶する、ことを特徴とする画像処理装置。前記第1の画像データ記憶部は、該画像処理装置に最終回の前記画像データが入力され、該最終回の前記画像データに対応した前記第1の画素データの全てが更新されたときに、該更新された前記第1の画素データで構成された画像データを、出力画像データとして出力する、ことを特徴とする請求項1に記載の画像処理装置。前記第1の画像データ記憶部は、該画像処理装置に2回目以降の前記画像データが入力される毎に、入力された前記画像データに対応した前記第1の画素データの全てが更新されたときに、該更新された前記第1の画素データで構成された画像データを、出力画像データとして順次出力する、ことを特徴とする請求項1に記載の画像処理装置。第1の画像データ記憶部に、初回に入力された複数の画素データで構成された画像データを第1の画像データとして記憶し、該記憶した第1の画像データ内の前記画素データを第1の画素データとして順次出力する第1の画像データ記憶ステップと、第2の画像データ記憶部に、2回目以降に入力された複数の前記画像データを第2の画像データとして順次記憶し、該記憶した第2の画像データ内の前記画素データを第2の画素データとして順次出力する第2の画像データ記憶ステップと、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第1のデータと、第2のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出ステップと、平均値記憶部に、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶ステップと、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第1の画像データ内の前記第1の画素データ、または前記第2の画像データ内の前記第2の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較ステップと、を含み、前記平均算出ステップは、2回目までの前記画像データが入力されているときには、前記第1の画素データを前記第1のデータとし、前記第2の画素データを前記第2のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、3回目以降の前記画像データが入力されているときには、前記第2の画素データを前記第1のデータとし、該前記第1のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第2のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第2のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第1の画像データ記憶ステップは、前記第1の画素データを前記差分比較ステップにおいて出力した後、前記差分比較ステップによって出力された前記更新データを前記第1の画素データとして、前記第1の画像データ記憶部に順次記憶する、ことを特徴とする画像処理方法。しかしながら、特許文献1で開示された技術では、背景のみの画像を生成する処理を行うために使用する複数の画像を、全て同時に処理する必要があり、全ての画像を一旦蓄積しておかなければならない。そのため、背景のみの画像を生成する画像処理装置内に、全ての画像を蓄積しておくことができる大きな容量を持った記憶部を備えなくてはならない、という問題がある。また、特許文献1で開示された技術では、処理に必要な枚数の全ての画像が揃った後に、背景のみの画像を生成する処理を開始することになる。このため、最初の画像の取得から処理の完了までに、相当の時間を要する、という問題もある。このため、例えば、カメラであれば、1枚目の撮影を開始してから処理に必要な枚数の撮影が終わった後に、さらに、背景のみの画像を生成する処理を行うための時間がかかるため、カメラの使用者ユーザーに、違和感や不快感を与えてしまうこととなる。本発明は、上記の課題認識に基づいてなされたものであり、大きな容量の記憶部を備えることなく、背景のみの画像を生成する処理に要する時間を短縮することができる画像処理装置および画像処理方法を提供することを目的としている。上記の課題を解決するため、本発明の画像処理装置は、初回に入力された複数の画素データで構成された画像データを第1の画像データとして記憶し、該記憶した第1の画像データ内の前記画素データを第1の画素データとして順次出力する第1の画像データ記憶部と、2回目以降に入力された複数の前記画像データを第2の画像データとして順次記憶し、該記憶した第2の画像データ内の前記画素データを第2の画素データとして順次出力する第2の画像データ記憶部と、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第1のデータと、第2のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出部と、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶部と、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第1の画像データ内の前記第1の画素データ、または前記第2の画像データ内の前記第2の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較部と、を備え、前記平均算出部は、該画像処理装置に2回目までの前記画像データが入力されているときには、前記第1の画素データを前記第1のデータとし、前記第2の画素データを前記第2のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、該画像処理装置に3回目以降の前記画像データが入力されているときには、前記第2の画素データを前記第1のデータとし、該前記第1のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第2のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第2のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第1の画像データ記憶部は、前記第1の画素データを前記差分比較部に出力した後、前記差分比較部から出力された前記更新データを前記第1の画素データとして順次記憶する、ことを特徴とする。また、本発明の前記第1の画像データ記憶部は、該画像処理装置に最終回の前記画像データが入力され、該最終回の前記画像データに対応した前記第1の画素データの全てが更新されたときに、該更新された前記第1の画素データで構成された画像データを、出力画像データとして出力する、ことを特徴とする。また、本発明の前記第1の画像データ記憶部は、該画像処理装置に2回目以降の前記画像データが入力される毎に、入力された前記画像データに対応した前記第1の画素データの全てが更新されたときに、該更新された前記第1の画素データで構成された画像データを、出力画像データとして順次出力する、ことを特徴とする。また、本発明の画像処理方法は、第1の画像データ記憶部に、初回に入力された複数の画素データで構成された画像データを第1の画像データとして記憶し、該記憶した第1の画像データ内の前記画素データを第1の画素データとして順次出力する第1の画像データ記憶ステップと、第2の画像データ記憶部に、2回目以降に入力された複数の前記画像データを第2の画像データとして順次記憶し、該記憶した第2の画像データ内の前記画素データを第2の画素データとして順次出力する第2の画像データ記憶ステップと、前記画像データ内の前記画素データのそれぞれに対応して順次入力される第1のデータと、第2のデータとの平均値を、前記画像データ内のそれぞれの前記画素データの配置位置毎に順次算出し、該算出した平均値を順次出力する平均算出ステップと、平均値記憶部に、前記平均値のそれぞれを、前記画像データ内のそれぞれの前記画素データの配置位置に対応づけて、前記画像データに対応した平均値データとして順次記憶する平均値記憶ステップと、前記平均値のそれぞれに基づいて、該平均値が対応づけられている前記画像データ内の前記画素データの配置位置と同じ位置に配置されている前記第1の画像データ内の前記第1の画素データ、または前記第2の画像データ内の前記第2の画素データのいずれか一方の画素データをそれぞれ選択し、該選択した画素データを、更新データとして順次出力する差分比較ステップと、を含み、前記平均算出ステップは、2回目までの前記画像データが入力されているときには、前記第1の画素データを前記第1のデータとし、前記第2の画素データを前記第2のデータとし、前記画像データ内の前記画素データの配置位置毎に、前記平均値を順次算出し、3回目以降の前記画像データが入力されているときには、前記第2の画素データを前記第1のデータとし、該前記第1のデータにおける前記画像データ内の前記画素データの配置位置と同じ位置に対応づけられた前記平均値データ内の平均値を前記第2のデータとし、該画像処理装置に入力された前記画像データの回数に応じた重み付けを前記第2のデータ対して行った後、前記画像データ内の前記画素データの位置毎に、前記平均値を順次算出し、前記第1の画像データ記憶ステップは、前記第1の画素データを前記差分比較ステップにおいて出力した後、前記差分比較ステップによって出力された前記更新データを前記第1の画素データとして、前記第1の画像データ記憶部に順次記憶する、ことを特徴とする。本発明によれば、大きな容量の記憶部を備えることなく、背景のみの画像を生成する処理に要する時間を短縮することができるという効果が得られる。以下、本発明の実施形態について、図面を参照して説明する。本実施形態においては、例えば、デジタルスチルカメラなどの撮像装置に、本実施形態の画像処理装置を適用した場合の一例について説明する。図1は、本実施形態における画像処理装置を適用した撮像装置の概略構成を示したブロック図である。図1に示した撮像装置10は、制御部11と、撮像部12と、記憶部13と、手ぶれ補正部14と、画像処理部15と、表示部16と、記録部17と、動体除去部20と、を備えている。制御部11は、撮像装置10内の各構成要素をそれぞれ制御することによって、撮像装置10全体の制御を行う。撮像部12は、レンズや撮像素子などから構成され、制御部11からの制御に応じて、レンズを介して撮像素子に結像された被写体の光学像を露光する。そして、撮像部12は、撮像素子が露光した光量に応じて画像信号に変換した画像データを、記憶部13に出力する。記憶部13は、制御部11からの制御に応じて、撮像部12から入力された画像データを一時的に記憶する、例えば、DRAMDynamicRandomAccessMemoryなどのメモリである。記憶部13に記憶された画像データは、制御部11からの制御に応じて、動体除去部20に出力される。また、記憶部13に記憶された画像データは、制御部11からの制御に応じて手ぶれ補正部14に出力され、手ぶれ補正部14から入力された処理後の画像データが再度記憶される。手ぶれ補正部14は、制御部11からの制御に応じて、記憶部13に記憶された、例えば、2枚の画像データに対して、位置合わせなどの手ぶれ補正処理を行う。この手ぶれ補正処理によって、記憶部13に記憶された2枚の画像データ内で同一の位置に配置されているそれぞれの画素の値は、被写体の光学像の同じ場所を露光したときの値になる。そして、手ぶれ補正処理をした後の画像データを、記憶部13に出力する。動体除去部20は、制御部11からの制御に応じて、記憶部13から入力された手ぶれ補正処理後の画像データに対して移動体除去処理を行って、画像データ内に含まれる移動体を除去した画像データを生成する、本実施形態の画像処理装置である。動体除去部20は、移動体除去処理によって、例えば、固定物の前を横切る通行人や車両などの不要な移動体を除去した画像データを生成する。動体除去部20によって生成される移動体除去後の画像データは、背景のみが写された画像データと同等の画像データである。以下の説明においては、動体除去部20によって生成される移動体除去後の画像データを、動体除去画像データという。動体除去部20は、生成した動体除去画像データを、画像処理部15に出力する。なお、動体除去部20における移動体除去処理に関する詳細な説明は、後述する。画像処理部15は、制御部11からの制御に応じて、動体除去部20から入力された動体除去画像データに対して、予め定められた種々の画像処理を行った画像データを生成する。そして、画像処理部15は、生成した画像処理後の画像データを、撮像装置10内の対応する構成要素に出力する。例えば、画像処理部15は、画像データを表示するための画像処理を行って生成した表示用の画像データを、表示部16に出力する。また、例えば、画像処理部15は、画像データを記録するための画像フォーマット例えば、JPEG:JointPhotographicExpertsGroupに変換する画像処理を行って生成した記録用の画像データを、記録部17に出力する。表示部16は、画像データを表示する、例えば、LCDLiquidCrystalDisplayなどの表示装置を備え、制御部11からの制御に応じて、画像処理部15から入力された表示用の画像データを表示する。記録部17は、制御部11からの制御に応じて、画像処理部15から入力された記録用の画像データを、例えば、メモリカードなどの画像記録媒体に記録する。次に、撮像装置10に備えた本実施形態の画像処理装置である動体除去部20について、より詳細に説明する。図2は、本実施形態における画像処理装置である動体除去部20の概略構成を示したブロック図である。図2に示したように、動体除去部20は、背景画像記憶部21と、入力画像記憶部22と、平均算出部23と、差分比較部24と、平均値記憶部25と、を備えている。動体除去部20には、記憶部13に記憶された画像データが、入力画像データとして入力される。そして、動体除去部20は、移動体除去処理を行って生成した画像データを、動体除去画像データとして出力する。なお、動体除去部20による移動体除去処理においては、移動体除去処理に用いる複数の入力画像データにおいて、それぞれの入力画像データ内の同一の位置に配置されている画素同士で、それぞれの処理を行う。そして、動体除去部20内の各構成要素は、それぞれの画素に対する処理を、入力画像データの画素数と同じ回数繰り返す。以下の説明において画素という場合には、それぞれの処理に用いるデータの内の同一の位置に配置されている画素であるものとする。また、同様に画素の値である画素値や、後述の平均値などのその他の値も、データ内の同一の位置に配置されている画素に対応する値であるものとする。背景画像記憶部21は、撮像装置10において処理される1枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、動体除去部20によって移動体除去処理を行った後の動体除去画像データの記憶に用いられる記憶部である。動体除去部20が移動体除去処理を行う際、背景画像記憶部21は、最初に、記憶部13から入力された1枚目の入力画像データを、背景画像データとして記憶する。そして、背景画像記憶部21は、記憶した背景画像データ1枚目の入力画像データを、平均算出部23と差分比較部24とに出力する。また、背景画像記憶部21は、後述する差分比較部24から入力された差分比較後の画像データを、新たな背景画像データとして順次記憶する。すなわち、背景画像記憶部21は、動体除去部20における移動体除去処理の進捗に応じて、現在記憶している背景画像データの各画素値を、最終的な背景画像データの画素値に、順次更新する。そして、背景画像記憶部21は、更新した背景画像データを、動体除去部20が現在まで移動体除去処理した背景画像データとして、順次、差分比較部24に出力する。また、背景画像記憶部21は、制御部11からの制御に応じて、最終的に記憶している背景画像データを、動体除去部20における移動体除去処理後の動体除去画像データとして出力する。入力画像記憶部22は、撮像装置10において処理される1枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、動体除去部20によって移動体除去処理を行うために比較される入力画像データの記憶に用いられる記憶部である。動体除去部20が移動体除去処理を行う際、入力画像記憶部22は、記憶部13から入力された2枚目以降の入力画像データを、動体除去部20における移動体除去処理の進捗に応じて順次記憶する。そして、入力画像記憶部22は、順次記憶した2枚目以降の入力画像データを、平均算出部23と差分比較部24とに順次出力する。平均算出部23は、入力された画像データの画素毎に、画素値の平均をそれぞれ算出する。そして、平均算出部23は、算出したそれぞれの画素の平均値を、差分比較部24と平均値記憶部25とに出力する。動体除去部20が移動体除去処理を行う際、平均算出部23は、最初に、背景画像記憶部21から入力された背景画像データ1枚目の入力画像データの画素値と、入力画像記憶部22から入力された2枚目の入力画像データの画素値と平均値を、それぞれの画素毎に算出する。このときの平均値の算出処理では、1枚目の入力画像データの画素値と2枚目の入力画像データの画素値とを加算して平均値を算出する以下、加算平均という。そして、平均算出部23は、画素毎に算出加算平均した平均値を、最初の平均値データとして、差分比較部24と平均値記憶部25とに出力する。なお、平均値データは、入力画像データまたは背景画像データ内のそれぞれの画素に対応した、画素値の平均値である。平均算出部23は、以降の平均値の算出処理において、新たに入力された入力画像データと、平均値データとに基づいて、新たに入力された入力画像データを含めた、それぞれの画素毎の画素値の平均値を算出する。平均算出部23は、入力画像記憶部22から3枚目の入力画像データが入力されると、入力された3枚目の入力画像データと、平均値記憶部25から入力された最初の平均値データとにおける画素値の平均値を、それぞれの画素毎に算出する。このときの平均値の算出処理では、平均値記憶部25から入力された平均値データが、何枚分の入力画像データから算出された平均値であるかに応じて、平均値データの平均値と3枚目の入力画像データの画素値との加重平均をそれぞれ行う。より具体的には、平均算出部23は、平均値記憶部25から入力された平均値データのそれぞれの平均値に対して、今までに処理した入力画像データの枚数に応じた重み付けを行う。例えば、入力画像記憶部22から3枚目の入力画像データが入力されたときは、今までに1枚目と2枚目との2枚の入力画像データを処理しているため、今までに処理した入力画像データの枚数は、2枚である。この枚数に応じて重み付けを行った平均値データの平均値と、新たに入力された入力画像データここでは、3枚目の入力画像データの画素値との平均値を、それぞれの画素毎に算出する。これにより、平均算出部23が出力する平均値は、今回入力された入力画像データを含めた全ての入力画像データの同一位置の画素の画素値を均等に平均した値になる。例えば、3枚目の入力画像データが入力されたときは、1枚目~3枚目までの全ての入力画像データの画素値を加算平均した平均値と同等の値になる。そして、平均算出部23は、画素毎に算出加重平均した平均値を、新たな平均値データとして、差分比較部24と平均値記憶部25とに出力する。以降、平均算出部23は、新たな入力画像データが入力画像記憶部22から入力される毎に、平均値記憶部25から入力された平均値データに対して、それまでに入力された入力画像データの枚数に応じた重み付けを行って、新たに入力された入力画像データとの加重平均による平均値の算出を繰り返し行う。そして、それぞれ算出した平均値を、新たな平均値データとして、差分比較部24と平均値記憶部25とに順次出力する。このように、平均算出部23では、入力された2枚ずつの画像データを用いて、画素毎の平均値の算出を順次行う。これにより、平均算出部23に最終のN枚目の入力画像データが入力画像記憶部22から入力されたときには、結果として、入力された全ての入力画像データN枚数分の入力画像データの各画素値を、画素毎に均等に平均した値が算出されることになる。平均値記憶部25は、撮像装置10において処理される1枚分の入力画像データを画素毎に記憶することができる容量を持ったメモリを備え、平均算出部23から入力された平均値を画素毎に記憶するための記憶部である。平均値記憶部25は、平均算出部23によって算出された新たな入力画像データに対応する平均値データが入力される毎に、入力された平均値データを、現在までの入力画像データの平均値データとして順次記憶する。すなわち、平均値記憶部25は、動体除去部20における移動体除去処理の進捗に応じて、記憶している平均値データの各平均値を、平均算出部23から入力された新たな平均値データの平均値に順次更新する。そして、平均値記憶部25は、記憶している平均値データを、動体除去部20に現在まで入力された全ての入力画像データの平均値として、順次、平均算出部23に出力する。差分比較部24は、背景画像記憶部21から入力された背景画像データと、入力画像記憶部22から入力された入力画像データとのそれぞれの画素毎に、平均値との差分を算出し、平均値に近い方の画素値を選択する。そして、選択された平均値に近い方のそれぞれの画素値を、新たな背景画像データとして背景画像記憶部21に出力する。差分比較部24による画素毎の画素値の選択においては、まず、平均算出部23から入力された現在までの入力画像データの各平均値と、背景画像記憶部21から入力された現在までの背景画像データの各画素値との差分の絶対値以下差分絶対値というを算出する。また、差分比較部24は、平均算出部23から入力された現在までの入力画像データの各平均値と、入力画像記憶部22から入力された新たな入力画像データの各画素値との差分絶対値を算出する。そして、同じ位置の画素毎にそれぞれの差分絶対値の比較を行い、差分絶対値が小さい方の画素、すなわち、背景画像データの画素または入力画像データの画素のいずれか一方の画素値を選択する。ここで選択された各画素値が新たな背景画像データの各画素値になる。次に、撮像装置10に備えた本実施形態の画像処理装置である動体除去部20における移動体除去処理の手順について説明する。図3は、本実施形態の画像処理装置である動体除去部20における移動体除去処理の手順を示したフローチャートである。動体除去部20は、制御部11からの制御に応じて移動体除去処理を開始すると、まず、ステップ1において、移動体除去の処理を行った回数を表す処理回数Tの値を1に初期化する。続いて、動体除去部20は、ステップS2から1回目の移動体除去処理を開始する。1回目の移動体除去処理が開始されると、ステップS3において、背景画像記憶部21は、記憶部13から入力された1枚目の入力画像データの最初の画素の画素値である入力画素値InTを、背景画素値Img1として、背景画像記憶部21内の対応するメモリに書き込む。そして、背景画像記憶部21は、書き込んだ背景画素値Img1を、平均算出部23と差分比較部24とに出力する。続いて、ステップS4において、入力画像記憶部22は、記憶部13から入力された2枚目の入力画像データの最初の画素の入力画素値InT1を、比較画素値Img2として、入力画像記憶部22内の対応するメモリに書き込む。そして、入力画像記憶部22は、書き込んだ比較画素値Img2を、平均算出部23と差分比較部24とに出力する。続いて、ステップS5において、平均算出部23は、背景画像記憶部21から入力された背景画素値Img1と、入力画像記憶部22から入力された比較画素値Img2との2つの画素値に基づいて、平均値ATを、下式1によって算出する。そして、平均算出部23は、算出した平均値ATを、平均値記憶部25に出力する。AT=Img1Img2/21続いて、ステップS6において、平均値記憶部25は、平均算出部23から入力された平均値ATを、総平均値Avrとして、平均値記憶部25内の対応するメモリに書き込む。そして、平均値記憶部25は、書き込んだ総平均値Avrを、差分比較部24に出力する。続いて、ステップS7において、差分比較部24は、平均値記憶部25から入力された総平均値Avrと、背景画像記憶部21から入力された背景画素値Img1とに基づいて、差分絶対値D1を、下式2によって算出する。D1=|Img1-Avr|2また、差分比較部24は、平均値記憶部25から入力された総平均値Avrと、入力画像記憶部22から入力された比較画素値Img2とに基づいて、差分絶対値D2を、下式3によって算出する。D2=|Img2-Avr|3続いて、ステップS8において、差分比較部24は、算出した差分絶対値D1と差分絶対値D2とを比較する。そして、差分絶対値D1と差分絶対値D2とを比較した結果、差分絶対値D1が差分絶対値D2以下の値D1≦D2である場合ステップS8のYesには、差分比較部24は、ステップS9において、背景画像記憶部21から入力された背景画素値Img1を出力画素値OutTとして、背景画像記憶部21に出力する。また、差分絶対値D1と差分絶対値D2とを比較した結果、差分絶対値D1が差分絶対値D2よりも大きい値D1>D2である場合ステップS8のNoには、差分比較部24は、ステップS10において、入力画像記憶部22から入力された比較画素値Img2を出力画素値OutTとして、背景画像記憶部21に出力する。なお、ここでは、1回目の移動体除去処理であるため、差分絶対値D1と差分絶対値D2とを比較した結果は、差分絶対値D1と差分絶対値D2とが同じ値D1=D2になる、すなわち、ステップS8のYesになる。従って、差分比較部24は、ステップS9において、背景画像記憶部21から入力された背景画素値Img11枚目の入力画像データの画素値を出力画素値OutTとして、背景画像記憶部21に出力する。なお、差分絶対値D1と差分絶対値D2とが同じ値D1=D2になる場合に、差分比較部24は、ステップS10において、入力画像記憶部22から入力された比較画素値Img22枚目の入力画像データの画素値を出力画素値OutTとして、背景画像記憶部21に出力する構成にすることもできる。続いて、ステップS11において、背景画像記憶部21は、差分比較部24から入力された出力画素値OutTを、背景画素値Img1として、背景画像記憶部21内の対応するメモリに上書きする。このように、入力画像データの各画素に対する移動体除去処理では、ステップS2~ステップS11によって、差分絶対値が小さい方の画素値、すなわち、総平均値Avrに近い方の画素値が、背景画素値Img1として選択され、背景画像記憶部21内に記憶される。以降、動体除去部20は、ステップS2~ステップS11までの入力画像データの画素毎の移動体除去処理を、入力された入力画像データの全ての画素に対する移動体除去処理が完了するまで、繰り返す。その後、ステップS2~ステップS11までの処理の繰り返しを、入力画像データの画素数と同じ回数行うと、すなわち、入力画像データの全ての画素に対する画素毎の移動体除去処理が完了すると、ステップS12において、1回目の移動体除去処理のループを抜け出す。ここまでの処理が、1回目の移動体除去処理である。続いて、ステップS13において、動体除去部20は、今回入力された入力画像データが、最終の入力画像データであるか否かを判断する。今回入力された入力画像データが、最終の入力画像データでない場合ステップS13のNoには、ステップS14に進んで、移動体除去の処理の処理回数Tの値に1を加え、処理回数Tを次の値に更新する。続いて、動体除去部20は、ステップS15から2回目以降の移動体除去処理を開始する。なお、2回目以降の移動体除去処理は、最終の1枚の入力画像データに対する処理が完了するまで繰り返される。以下の説明においては、2回目の移動体除去処理、すなわち、処理回数T=2である場合の移動体除去処理について説明する。なお、3回目以降の移動体除去処理処理回数T=3~最終のN枚目の画像データに対する移動体除去処理処理回数T=Nは、2回目の移動体除去処理と同様の処理を繰り返すのみであるため、説明を省略する。2回目の移動体除去処理が開始されると、ステップS16において、入力画像記憶部22は、記憶部13から入力された3枚目の入力画像データの最初の画素の入力画素値InT1を、比較画素値Img2として、入力画像記憶部22内の対応するメモリに上書きする。そして、入力画像記憶部22は、上書きした比較画素値Img2を、平均算出部23と差分比較部24とに出力する。続いて、ステップS17において、平均算出部23は、入力画像記憶部22から入力された比較画素値Img2と平均値記憶部25から入力されたT枚分の総平均値Avrと、の2つの値画素値に基づいて、T1枚分の入力画像データを均等に平均した平均値ATを、下式4によって算出する。そして、平均算出部23は、算出した平均値ATを、平均値記憶部25に出力する。AT=Avr×T/T1Img2×1/T14なお、ここでは、2回目の移動体除去処理であるため、処理回数T=2である、従って、平均値記憶部25から入力された総平均値Avrは、2枚分の入力画像データにおける平均値である。そして、平均算出部23は、新たに入力された3枚目の入力画像データを含めた3枚分の平均値ATを算出する。続いて、ステップS18において、平均値記憶部25は、平均算出部23から入力されたT1枚分の平均値ATを、総平均値Avrとして、平均値記憶部25内の対応するメモリに上書きする。そして、平均値記憶部25は、上書きした総平均値Avrを、差分比較部24に出力する。続いて、ステップS7~ステップS11までのそれぞれの処理によって、差分比較部24が、平均値記憶部25から入力された上書きされた総平均値Avrに基づいて、上書きされた総平均値Avrに近い方の画素値が選択されて、出力画素値OutTとして出力される。そして、背景画像記憶部21は、差分比較部24から入力された出力画素値OutTを、背景画素値Img1として、背景画像記憶部21内の対応するメモリに再び上書きする。なお、ここでは、2回目の移動体除去処理であるため、1回目の移動体除去処理によって上書きされた背景画素値Img1と、入力画像記憶部22から入力された3枚目の入力画像データの比較画素値Img2との、いずれか一方の画素値が、出力画素値OutTとして出力され、背景画像記憶部21内の対応するメモリに再び上書きされる。すなわち、背景画像記憶部21は、画素毎に異なる入力画像データ1枚目の入力画像データまたは3枚目の入力画像データの画素値を記憶する。このように、2回目以降の移動体除去処理における入力画像データの各画素に対する移動体除去処理では、ステップS15~ステップS18およびステップS7~ステップS11によって、上書きされた総平均値Avrに近い方の画素値が、背景画素値Img1として選択され、背景画像記憶部21内に記憶される。以降、動体除去部20は、ステップS15~ステップS18およびステップS7~ステップS11の入力画像データの画素毎の移動体除去処理を、入力された入力画像データの全ての画素に対する移動体除去処理が完了するまで、繰り返す。その後、ステップS15~ステップS18およびステップS7~ステップS11の処理の繰り返しを、入力画像データの画素数と同じ回数行って、入力画像データの全ての画素に対する画素毎の移動体除去処理が完了すると、ステップS12において、2回目以降の移動体除去処理のループを抜け出す。ここまでの処理が、2回目以降の移動体除去処理における1回分の移動体除去処理である。続いて、ステップS13において、動体除去部20は、今回入力された入力画像データが、最終の入力画像データであるか否かを判断する。今回入力された入力画像データが、最終の入力画像データでない場合ステップS13のNoには、ステップS14に戻って、次の入力画像データに対する移動体除去処理を開始する。また、ステップS13において、今回入力された入力画像データが、最終の入力画像データである場合ステップS13のYesには、動体除去部20は、ステップS19において、背景画像記憶部21に記憶しているそれぞれの背景画素値Img1をそれぞれの画素値とした最終的な背景画像データを、最終的な動体除去画像データとして画像処理部15に出力して、動体除去部20における移動体除去処理を完了する。このように、動体除去部20は、入力画像データが入力される毎に、入力画像データの画素毎の値を比較することによって、多くの入力画像データの同一位置の画素値と異なる、例えば、固定物の前を横切る通行人や車両などの移動体による特異な画素値を排除する。これにより、移動体除去処理後の最終的な動体除去画像データは、移動体が含まれない画素データとなる。なお、動体除去画像データは、移動体除去処理によって生成された、画素毎に異なる入力画像データ動体除去部20に入力された全ての入力画像データの内、いずれか1つの入力画像データの画素値で構成された画像データである。なお、動体除去部20に入力されるそれぞれの入力画像データは、1回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像データ毎に画素値が異なってしまう。このような場合には、動体除去部20による移動体除去処理において、背景データとなる画素を正しく選択できなくなってしまう。そのため、動体除去画像データを得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像データで同一であることが望ましい。ここで、本実施形態の画像処理装置である動体除去部20において移動体除去処理を行う場合の一例について説明する。図4は、本実施形態の画像処理装置である動体除去部20による移動体除去処理の一例を説明する図である。図4の説明においては、5枚フレーム分の入力画像データから動体除去画像データを生成するときの移動体除去処理において、3枚目の入力画像データに写っている移動体を除去する場合の移動体除去処理の推移について説明する。また、5枚の入力画像データ内の同一位置の特定の画素に着目して、移動体除去処理によって画素値が選択される様子を説明する。また、以下の説明においては、着目する画素を区別するため、何枚目の入力画像データであるかを表す入力画像データのフレーム数を、それぞれの画素の符号として付加して説明する。図4では、横軸を入力画像データの枚数フレーム数、縦軸を画素値とし、棒グラフで入力画像データまたは背景画像データの画素値の分布を表し、点線で入力された入力画像データの平均値を表している。また、図4内の黒塗りの丸および白抜きの丸は、それぞれ、入力画像データ内で着目する同一位置の特定の画素を表し、黒塗りの丸が、差分比較部24によって選択される対象の画素を表し、白抜きの丸が、差分比較部24によって選択されなかった画素を表している。なお、図4a~図4dのそれぞれには、差分比較部24によって比較される背景画像データと入力画像データとの2枚の画像データの画素値の分布を示すが、差分比較部24によって選択された後の新たな背景画像データの画素値の分布は、上述したように、画素毎に異なる入力画像データの画素値によって構成される。このため、図4b~図4dに示す新たな背景画像データの画素値の分布は、着目する画素が含まれる画像データの画素値の分布を、新たな背景画像データの画素値の分布の代表として示す。1フレーム目の入力画像データと、2フレーム目の入力画像データとが動体除去部20に入力されると、動体除去部20は、1回目の移動体除去処理を行う。1回目の移動体除去処理においては、図4aに示したように、まず、平均算出部23は、1フレーム目の入力画像データの画素1の画素値と、2フレーム目の入力画像データの画素2の画素値との加算平均によって最初の平均値を算出する。そして、平均値記憶部25は、平均算出部23が算出した最初の平均値を記憶する。続いて、差分比較部24は、平均値記憶部25に記憶された最初の平均値に基づいて、1フレーム目の入力画像データの画素1を選択する。そして、背景画像記憶部21は、差分比較部24によって選択された1フレーム目の入力画像データの画素1を、新たな背景画像データとして再度記憶する。その後、3フレーム目の入力画像データが動体除去部20に入力されると、動体除去部20は、2回目の移動体除去処理を行う。2回目の移動体除去処理においては、図4bに示したように、まず、平均算出部23は、平均値記憶部25に記憶されている最初の平均値と、3フレーム目の入力画像データの画素3の画素値との加重平均によって2回目の平均値を算出する。そして、平均値記憶部25は、平均算出部23が算出した2回目の平均値を記憶する。なお、3フレーム目の入力画像データには移動体が含まれているため、画素3の画素値は、画素1および画素2の画素値に比べて大きな値である。そのため、平均算出部23が算出した2回目の平均値は、最初の平均値よりも大きな値になってしまう。しかし、差分比較部24は、平均値記憶部25に記憶された2回目の平均値に基づいて画素を選択するときに、画素3を選択することはなく、画素1を選択する。これは、差分比較部24が、平均値に近い方の画素値を選択するためである。より具体的には、2回目の平均値は、画素1~画素3の画素値を均等に加算平均した平均値と同等であるため、画素3の大きな画素値の影響は、1/3である。このため、平均値に近い方の画素値を選択する差分比較部24は、平均値の2/3に影響している画素1および画素2の画素値を選択することになる。このように、背景画像記憶部21は、移動体が含まれる画素3の影響を受けることなく、移動体を含まない画素1を選択することができる。そして、背景画像記憶部21は、差分比較部24によって選択された1フレーム目の入力画像データの画素1を、新たな背景画像データとして再度記憶する。その後、4フレーム目の入力画像データが動体除去部20に入力されると、動体除去部20は、3回目の移動体除去処理を行う。3回目の移動体除去処理においては、図4cに示したように、まず、平均算出部23は、平均値記憶部25に記憶されている2回目の平均値と、4フレーム目の入力画像データの画素4の画素値との加重平均によって3回目の平均値を算出する。そして、平均値記憶部25は、平均算出部23が算出した3回目の平均値を記憶する。なお、4フレーム目の入力画像データには移動体が含まれていないため、画素4の画素値は、画素1および画素2の画素値とほぼ同じ大きさの値である。そのため、平均算出部23が算出した3回目の平均値は、2回目の平均値に影響していた画素3の影響が少なくなり、2回目の平均値よりも少し小さな値になる。より具体的には、3回目の平均値は、画素1~画素4の画素値を均等に加算平均した平均値と同等であるため、画素3の大きな画素値の影響は、1/4になり、2回目の平均値よりも少し小さな値になる。そして、差分比較部24は、平均値記憶部25に記憶された3回目の平均値に基づいて、平均値に近い方の画素を選択する。図4cにおいては、差分比較部24によって、4フレーム目の入力画像データの画素4が選択された場合を示している。そして、背景画像記憶部21は、差分比較部24によって選択された4フレーム目の入力画像データの画素4を、新たな背景画像データとして再度記憶する。その後、5フレーム目の入力画像データが動体除去部20に入力されると、動体除去部20は、4回目の移動体除去処理を行う。4回目の移動体除去処理においては、図4dに示したように、まず、平均算出部23は、平均値記憶部25に記憶されている3回目の平均値と、5フレーム目の入力画像データの画素5の画素値との加重平均によって4回目の平均値を算出する。そして、平均値記憶部25は、平均算出部23が算出した4回目の平均値を記憶する。なお、5フレーム目の入力画像データにも移動体が含まれていないため、画素5の画素値も、画素1、画素2、および画素4の画素値とほぼ同じ大きさの値である。そのため、平均算出部23が算出した4回目の平均値は、2回目の平均値に影響していた画素3の影響がさらに少なくなり、3回目の平均値よりも少し小さな値になる。より具体的には、4回目の平均値は、画素1~画素5の画素値を均等に加算平均した平均値と同等であるため、画素3の大きな画素値の影響は、1/5になり、3回目の平均値よりもさらに少し小さな値になる。そして、差分比較部24は、平均値記憶部25に記憶された4回目の平均値に基づいて、平均値に近い方の画素を、最終の選択画素として選択する。図4dにおいては、差分比較部24によって、5フレーム目の入力画像データの画素5が、最終の選択画素として選択された場合を示している。そして、背景画像記憶部21は、差分比較部24によって選択された5フレーム目の入力画像データの画素5を、新たな背景画像データとして再度記憶する。その後、背景画像記憶部21は、制御部11からの制御に応じて、最終的に記憶している背景画像データを、動体除去部20が移動体除去処理を行った最終的な動体除去画像データとして、画像処理部15に出力する。このように、動体除去部20は、移動体除去処理を行う毎に平均値を更新し、その都度、前回の移動体除去処理によって記憶された背景画像データと、新たに入力された入力画像データとの内、更新された平均値に近い方を選択して出力する。上述したように、移動体がカメラの前を横切るような場合においても、移動体が通過した位置の画素値のほとんど過半数は、移動体の画素値ではなく、固定物や背景の画素値であると考えるため、少ない移動体の画素値が選択されることはなく、動体除去画像データを生成することができる。上記に述べたとおり、本発明を実施するための形態によれば、画像データが入力される毎に、2枚の画像データのそれぞれの画素の画素値に基づいて平均値を算出し、算出した平均値に基づいて、2枚の画像データのそれぞれの画素に、平均値に近い方の画素を選択することによって、移動体を除去した画像データである動体除去画像データを生成する。このため、本実施形態の画像処理装置内に備える必要がある記憶部の容量は、2枚分の画像データを記録することができる容量と、平均値を記憶するための1枚分の画像データを記録することができる容量との、合計3枚分の画像データを記録することができる容量のみである。従来の移動体除去方法によって移動体を除去した画像、すなわち、本実施形態の動体除去画像データと同様の画像を生成する場合には、処理を行うために使用する全ての画像データを記憶しておくことができる容量の記憶部が必要であったが、本実施形態の画像処理装置では、移動体除去処理を行うために使用する入力画像データの枚数に限らず、3枚分の画像データを記録することができる容量のみで、移動体除去処理を行うことができる。このことにより、本実施形態の画像処理装置では、大きな容量の記憶部を備えることなく、移動体を除去した画像データを生成することができる。これにより、移動体を除去した画像データを生成するために必要な記憶部の容量を削減することができ、移動体を除去した画像データを生成するための回路規模を削減することができる。また、本発明を実施するための形態によれば、画像データが入力される毎に、順次、移動体除去処理を行う。従来の移動体除去方法では、処理を行うために使用する全ての画像データの記憶が完了した後に、記憶した全ての画像データに基づいて移動体を除去した画像の生成処理を行うため、処理が完了するまでに相当の時間を要していた。例えば、処理を行うために使用する画像データが5枚分必要であれば、5枚の画像データを記憶した後に処理を開始していたため、5枚分の処理に時間を要していた。本実施形態の画像処理装置では、最終の1枚の画像データが入力された後に行う移動体除去処理は、入力された最終の1枚の画像データに基づいて移動体除去処理のみにすることができる。すなわち、本実施形態の画像処理装置では、1回目の移動体除去処理において使用する2枚分の画像データが入力されたときから移動体除去処理を開始することができ、最終の1枚の画像データより前の画像データに対する移動体除去処理を、事前に完了しておくことができる。例えば、移動体除去処理において5枚の画像データを使用する場合でも、最初の移動体除去処理は、2枚目の画像データが入力されたときから開始することができ、1枚目~4枚目までの移動体除去処理を、5枚目の画像データが入力されるときには終了させておくことができる。このため、最終の1枚の画像データが入力されてから移動体除去処理が完了するまでの時間を短縮することができる。これにより、例えば、本実施形態の画像処理装置を搭載したカメラでは、2枚の撮影が終了した時点から移動体除去処理を開始することができ、撮影開始から移動体除去処理の完了までの時間を短縮でき、カメラの使用者ユーザーに、違和感や不快感を与えることなく、移動体除去処理が完了させることができる。なお、本実施形態においては、図3の移動体除去処理のフローチャートで示したように、背景画像記憶部21と入力画像記憶部22とに、入力画像データの各画素を順次記憶しながら、画素毎に移動体除去処理を行い、入力画像データの画素数と同じ回数の処理が完了したときに、1回の移動体除去処理、すなわち、入力された1枚の入力画像データに対する移動体除去処理が完了する場合について説明した。しかし、1枚の入力画像データに対する移動体除去処理を行う手順は、本発明を実施するための形態に限定されるものではない。例えば、先に、背景画像記憶部21と入力画像記憶部22との全てのメモリに、入力画像データの全ての画素分の画素値を書き込んでおき、その後、記憶した画素値を順次読み出しながら、画素毎に移動体除去処理を行う手順にすることもできる。また、本実施形態においては、移動体除去処理を行った最終的な背景画像データを、動体除去画像データとして出力する場合について説明したが、動体除去画像データを出力するタイミングは、本発明を実施するための形態に限定されるものではない。例えば、1回の移動体除去処理が完了する毎に、背景画像記憶部21に記憶されている背景画像データを、動体除去画像データとして出力する構成にすることもできる。この場合、例えば、画像処理部15が、動体除去画像データが入力される毎に、画像データを表示するための画像処理を行って表示用の画像データを生成し、表示部16内の表示装置に、表示用の画像データを表示することができる。このような構成にすることによって、本実施形態の画像処理装置を搭載したカメラのユーザーは、移動体が除去されていく過程を確認しながら撮影を行うことができ、撮影開始から移動体除去処理の完了までの間、違和感や不快感がなく、背景のみの画像を取得することができる。また、移動体が除去されていく過程を確認しながら撮影を行っているため、ユーザーが所望する画像であると判断した場合に、撮影と移動体除去処理とを終了させることができる。これにより、従来の移動体除去方法では、処理を行うために使用する枚数分の撮影を必ず行わなければならないというような制約があったが、本実施形態の画像処理装置を搭載したカメラでは、移動体除去処理におけるこのような制約をなくすことができる。また、本実施形態の画像処理装置では、入力される画像データの条件によっては、本実施形態の画像処理装置を搭載したカメラが最終的に出力する背景のみの画像の画質改善の効果も得られることがある。例えば、本実施形態の画像処理装置に入力される最終の入力画像データにのみ移動体が写っている場合に、従来の移動体除去方法よりも画質の改善効果が得られる動体除去画像データを出力することができる。以下に、移動体除去処理によって画質改善の効果が得られる動体除去画像データを出力する場合の一例について説明する。図5は、本実施形態の画像処理装置である動体除去部20による移動体除去処理の別の一例を説明する図である。図5の説明においては、5枚フレーム分の入力画像データから動体除去画像データを生成するときの移動体除去処理において、5枚目の入力画像データにのみ移動体が写っている場合の移動体除去処理について説明する。従って、動体除去部20による4回目の移動体除去処理のみについて説明する。また、5枚の入力画像データ内の同一位置の特定の画素に着目し、移動体除去処理によって選択される画素値について説明する。また、以下の説明においては、着目する画素を区別するため、何枚目の入力画像データであるかを表す入力画像データのフレーム数を、それぞれの画素の符号として付加して説明する。図5では、横軸を入力画像データの枚数フレーム数、縦軸を画素値とし、棒グラフで入力画像データまたは背景画像データの画素値の分布を表している。また、図5では、実線で従来の移動体除去方法によって算出される5フレーム分の平均値を表し、点線で本実施形態の画像処理装置である動体除去部20が4フレームまでの入力画像データから算出した4フレーム分の平均値3回目の平均値を表している。また、図5内の黒塗りの丸および白抜きの丸は、それぞれ、入力画像データ内で着目する同一位置の特定の画素を表し、黒塗りの丸が、差分比較部24によって選択される対象の画素を表し、白抜きの丸が、差分比較部24によって選択されなかった画素を表している。また、図5aおよび図5bのそれぞれには、差分比較部24によって比較される新たな背景画像データと入力画像データとの2枚の画像データの画素値の分布を示すが、差分比較部24によって選択された後の新たな背景画像データの画素値の分布は、上述したように、画素毎に異なる入力画像データの画素値によって構成される。このため、図5aおよび図5bに示す新たな背景画像データの画素値の分布は、着目する画素が含まれる画像データの画素値の分布を、新たな背景画像データの画素値の分布の代表として示す。図5aに示した4回目の移動体除去処理は、5フレーム目の入力画像データにのみ移動体が写っている場合の移動体除去処理の一例である。従来の移動体除去方法では、画像データの画素毎に、全て5枚の画像データに基づいて平均値を算出し、算出した平均値に最も近い画素値を持つ画素を全ての画像データの中から選択する。このため、従来の移動体除去方法では、図5aの実線で示したような平均値が算出される。この平均値は、画素1~画素5の画素値を均等に加算平均した平均値である。そして、この平均値は、画素1~画素4の画素値に比べて大きな値である画素5の画素値の影響によって、大きめの値になっている。この平均値に最も近い画素値を持つ画素を選択すると、画素3が選択される。一方、動体除去部20の4回目の移動体除去処理では、3回目の移動体除去処理で算出した3回目の平均値と、5フレーム目の入力画像データの画素5の画素値との加重平均によって4回目の平均値を算出する。従って、平均算出部23によって算出される4回目の平均値は、従来の移動体除去方法で算出された平均値と同じである。しかし、動体除去部20では、上記に述べたように、3回目までの移動体除去処理によって選択された画素の画素値と、5フレーム目の入力画像データの画素の画素値とにおいて、4回目の平均値に近い方の画素値を選択する。従って、図5aに示したように、3回目までの移動体除去処理によって選択された画素が画素1である場合には、差分比較部24によって、画素1の画素値と画素5の画素値とが比較され、4回目の平均値に近い方の画素1が、最終の選択画素として選択される。ここで、5フレーム目の入力画像データの画素5は、移動体の画素であるため、画素5以外の移動体が含まれていない画素1~画素4までの画素に基づいた移動体除去処理を考える。画素1~画素4の画素値を均等に加算平均した3回目の平均値は、図5aの点線で示したような値である。そして、従来の移動体除去方法で選択された画素3の画素値と、差分比較部24によって選択された画素1の画素値とを比較すると、図5aを見てわかるように、移動体が含まれていない画素1~画素4に基づいた3回目の平均値に近い方の画素は、画素1である。なお、従来の移動体除去方法で選択された画素3も、差分比較部24によって選択された、すなわち、本実施形態の画像処理装置による移動体除去処理で選択された画素1も、移動体が写っていない画素である。従って、移動体が写っていない画素の中から、いずれか1つの画素を選択していれば、特に問題がないとも考えることができる。しかし、1フレーム目~4フレーム目までの入力画像データは、共に移動体が写っていない入力画像データのではあるが、同一位置の画素であっても、実際の画素値は、例えば、ノイズなどの影響によって、図5aに示したように、僅かに変動している。このノイズによる画素値の変動を考慮すると、ノイズの影響が最も少ないと考えることができる値は平均値である。すなわち、図5aの点線で示した3回目の平均値である。このため、この3回目の平均値に最も近い画素1を選択することができる本実施形態の画像処理装置の移動体除去処理の方が、従来の移動体除去方法よりも画質的に優位であるといえる。このように、従来の移動体除去方法では、全ての画像データが入力された後に、入力された全ての画像データに基づいて移動体除去処理を行うため、移動体が含まれていない画素1~画素4の画素値の中でも、移動体が含まれている画素5の画素値よりの画素が選択される。一方、本実施形態の画像処理装置では、移動体が含まれていない画素1~画素4の画素値の平均に近い画素が選択される。すなわち、本実施形態の画像処理装置では、最終の入力画像データにのみ移動体が写っている場合において、移動体が写っている最終の入力画像データに対する移動体除去処理より前の移動体除去処理で選択された画素が、最終的に選択される。従って、本実施形態の画像処理装置では、最終の入力画像データにのみに写っている移動体の画素値に影響されていない、すなわち、画質の改善効果が得られる動体除去画像データを出力することができる。また、図5bに示した4回目の移動体除去処理は、5フレーム目の入力画像データに移動体が写っており、4フレーム目の入力画像データが移動体の境界部分にあたる場合の移動体除去処理の一例である。ここで、移動体の境界部分とは、例えば、移動体の輪郭部分、移動体の陰による色の変わり目の境界部分など、移動体の影響が現れている場所であり、移動体の境界部分に位置する画素の画素値は、背景の画素値と移動体の画素値との間の画素値になる。図5bに示した4フレーム目の入力画像データの画素4の画素値は、1フレーム目~3フレーム目までの入力画像データに写っている背景の画素1~画素3の画素値と、5フレーム目の入力画像データの移動体の画素5の画素値との間の値である。従来の移動体除去方法では、画像データの画素毎に、全て5枚の画像データに基づいて算出した平均値に最も近い画素値を持つ画素を全ての画像データの中から選択する。このため、従来の移動体除去方法では、画素4と画素5との大きな値に影響された図5bの実線で示した大きめの値の平均値が算出される。そして、この平均値に最も近い画素値を持つ画素4が選択される。このように、従来の移動体除去方法では、移動体が含まれていない画素1~画素3までの画素の画素値と離れた値の画素値を持つ画素4が選択されてしまうため、画質的に不利になってしまうと考えられる。一方、動体除去部20の4回目の移動体除去処理でも、平均算出部23によって算出される4回目の平均値は、従来の移動体除去方法で算出された平均値と同じである。また、図5bに点線で示した、3回目の移動体除去処理で算出した3回目の平均値も、画素1~画素3の画素値に比べて大きな値である画素4の画素値の影響によって、図5aに点線で示した3回目の平均値よりも大きめの値になる。しかし、動体除去部20による4枚目の移動体除去処理においては、移動体が含まれていない画素1~画素3までの画素の画素値と離れた値の画素値を持つ画素4が選択されることはない。これは、図5bに示したように、3回目の移動体除去処理において、画素1が選択されているからである。すなわち、4フレーム目の入力画像データが入力されたときに行う3回目の移動体除去処理では、図5bに点線で示した3回目の平均値から離れた値の画素値を持つ画素4が選択されることはなく、画素4が、4回目の移動体除去処理において選択される対象の画素とはならないからである。そして、4回目の移動体除去処理においては、画素5が選択されることもなく、4回目の平均値に近い方の画素1が、最終の選択画素として選択される。このように、従来の移動体除去方法では、移動体の輪郭部分や、移動体の陰によってできる色の変わり目の境界部分などに多く見られる移動体の影響が現れている場所では、移動体が含まれていない画素の画素値と離れた値の画素値を持つ画素例えば、図5bに示した画素4が選択されてしまうことがある。一方、本実施形態の画像処理装置では、移動体の輪郭部分や境界部分などの移動体の影響が現れている場所においても、移動体が含まれていない画素1~画素3の画素値の平均に近い画素例えば、図5bに示した画素1が選択される。すなわち、本実施形態の画像処理装置では、被写体の影響が現れている場合において、移動体が含まれていない画素例えば、図5bに示した画素1~画素3の画素値の平均に近い画素が、最終的に選択される。従って、本実施形態の画像処理装置では、入力画像データに写っている移動体の画素値や、移動体の境界部分の画素値に影響されていない、すなわち、画質の改善効果が得られる動体除去画像データを出力することができる。上記に述べたように、本実施形態の画像処理装置では、移動体が含まれていない、より多くの画素例えば、図5aに示した画素1~画素4、また、例えば、図5bに示した画素1~画素3の画素値の平均に近い画素が、動体除去画像データの画素として選択される。これにより、最終の入力画像データにのみ移動体が写っているような入力画像データの領域では、移動体の影響がない、動体除去画像データを出力することができる。これにより、本実施形態の画像処理装置を搭載したカメラでは、従来の移動体除去方法よりも移動体をきれいに除去した画像を生成することができる。また、最終の入力画像データに移動体が写っており、1つ前の入力画像データが移動体の境界部分であり、背景の画素値と移動体の画素値との間の画素値であるような入力画像データの領域でも、移動体や移動体の境界部分の影響がない、動体除去画像データを出力することができる。これにより、本実施形態の画像処理装置を搭載したカメラでは、従来の移動体除去方法よりも、より自然に移動体を除去した画像を生成することができる。このように、本実施形態の画像処理装置では、入力される画像データの条件によって、従来の移動体除去方法よりも、画質的に有利な動体除去画像データを出力することができる。また、本実施形態においては、撮像装置に画像処理装置を適用した場合について説明したが、本実施形態の画像処理装置を適用することができる範囲は、本発明を実施するための形態に限定されるものではなく、複数の同じ画角の画像から移動体を除去した画像を生成するシステムであれば、どのようなシステムにも適用することができる。以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。