徳川家康に仕えて「鬼半蔵」と称された服部正成の庶長子とも、同族ともいわれている。