之之弟赖有子孙在14世纪出任和泉守护代。细川元有与畠山尚顺结盟与细川政元敌对，被政元打败后投降。1500年元有逝世，家系亦告衰落。儿子细川元常成为守护，但是没有亲生儿子，于是他向其弟三渊晴员将藤孝成为养子成为家亲。藤孝儿子忠兴，获丰臣秀吉重用，并在关原之战支持德川家康，因而确保大名位置，江户时代成为熊本藩主。明治时代成为侯爵。至于下家情况与上家差不多，当主细川政久同样与畠山尚顺结盟而和细川政元敌对，被政元打败后投降。但是之后没有回复原有职位。
备中守护家.赖之最年幼之弟细川