是出身于在室町幕府政权下担任管领的细川京兆家，而丰氏则是细川澄元之外孙。丰氏在年青的时候开始跟从父亲重则在各地参战，由于其兄是候任家督，因此丰氏仕官于姊夫并担任家老。天正20年（1592年），丰臣氏出兵朝鲜，丰氏亦率领200名士兵在名护屋城参战。文禄4年（1595年），受到丰臣秀次事件牵连渡濑繁诠被丰臣秀吉下令切腹，其所领和家臣全部由丰氏来继承，并且作为远江3万石大名，替秀吉效力。在秀吉死后，丰氏与父亲开始靠拢德川家康，庆长4年（1599年）正月，丰氏奉家康之命在驻守，并成为德川家的御伽众。庆长