修験道に没頭して女性を近づけず独身を貫いたため実子はおらず、政元をもって細川家の嫡流は途絶え、養子に澄之、澄元、高国がいる。