横須賀藩
常陸笠間藩分家の旗本・井上正義（横須賀藩主・井上正就の次男）の次男として生まれる。母は丹波園部藩主・小出吉親の娘。