城番となり、寛文10年(1670年)には城代となる。