6年（1547年），义晴、义辉父子与管领细川晴元战斗并败北，随之逃到近江国坂本。永禄8年（1565年），第13代将军义辉被杀后，仕于义辉的弟弟‧第15代将军义昭。在永禄13年（1570年）3月1日死去。享年71岁。
家族.儿子细川藤孝（幽斋）成为兄长的养子，后来成为近世细川家的家祖。藤孝的生母是后妻智庆院（的女儿），而智庆院是由足利义晴下赐给晴员，因此有説法指藤孝其实是义晴的儿子。根据『系图纂要』，三渊氏由持清开始（被当作是足利义持的庶子，不过在某些系图中记载是义满的庶子，即义