延宝6年(1678年)、長兄・頼方が早世したため、府中藩嫡子となる。