到罢免，自此不再受到信长优厚待遇。信长死后出仕秀吉，担任伊势安浓郡及近江高岛郡内的藏入地代官一职。之后也有出阵小田原征伐，认功受封朽木谷2万石。庆长5年（1600）关原之战同大谷吉继一样投向西军一方，但在小早川秀秋倒戈后，与小川祐忠、赤座直保及脇坂安治一同倒向东军。战后，被以事前没有表明站在东军一方为理由减封9550石，仍保有大名职权。元和2年（1616）剃发出家，法号牧斋。不久于朽木谷去世，享年84。元纲死后领地被宣纲、友刚、植纲三子分割，因此而失去大名资格，被降为旗本（6,300余石）。