后，直元成为斋藤氏的家臣。道三死后，继续为义龙和龙兴效力。1567年，在织田信长攻打稻叶山城的时候，决定加入信长，协助织田军攻克稻叶山城。斋藤氏灭亡后，正式成为织田氏的家臣，直元参与了大河内城（北畠氏）及姉川之战等重要战役。直元在1571年讨伐长岛一向一揆的时候，当织田军下令撤退时，直元成为了殿后部队，最后在撤退时战死。死后，由长男直昌继承。