延宝3年(1675年)に次兄・高郷の末期養子として家督を相続し小普請となる。