被斋藤氏扶持而继承家督。斋藤氏灭亡后辗转各地，先后侍奉武田氏、丰臣氏，最后侍奉德川氏，而守住了土岐氏的家名。丰臣秀吉曾授予他河内古市郡内500石。关原之战后改侍德川家康，担任美浓国内的知行。隐居后称道庵。据『宽政重修诸家谱』记载，他在庆长13年（1608年）10月19日死去，年齢不详。土岐家由息子持益继承。虽然赖元一代曾称斋藤姓，但是息子持益又改回了土岐姓。此外还擅长鹰绘画，瑞浪市日吉町平岩的开元院还收藏有赖元所绘画的《土歧的鹰绘图》。