婿養子の高常(牧野忠列の五男)は病気を理由に嫡子の地位を辞退し、孫の高厚が家督を相続した。