保守新党
2003年11月の第43回衆議院議員総選挙で、保守新党は11人の候補を擁立するも、当選者は井上を含む4人に留まる大敗を喫し、党首の熊谷弘も落選。選挙後、保守新党は解党して自民党に合流し、井上は10年ぶりに自民党に復党した。復党後、保守新党幹事長だった二階俊博が会長を務める二階派に所属。