为将军侧近的的养子。以幕臣身份仕于第12代将军足利义晴，并成为和泉国、山城国大法寺城的城主。天文16年（1547年），义晴、义辉父子与管领细川晴元战斗并败北，随之逃到近江国坂本。永禄8年（1565年），第13代将军义辉被杀后，仕于义辉的弟弟‧第15代将军义昭。在永禄13年（1570年）3月1日死去。享年71岁。
家族.儿子细川藤孝（幽斋）成为兄长的养子，后来成为近世细川家的家祖。藤孝的生母是后妻智庆院（的女儿），而智庆院是由足利义晴下赐给晴员，因此有説法指藤孝其实是义晴的儿子。