失去许多领地，更在建久年间，被守护野上成经夺去所有领地，于是隐居在木全村（现今爱知县稻泽市木全、稻岛），并改氏木全。在室町时代，仕于室町幕府，并成为庄长，有木全善鎗和木全一角。根据宝历年间编纂的『张州府志』中记载，家祖是木全善鎗。忠征建立的大林寺（名古屋市千种区）中的「泷川忠征墓志」上，亦以纪氏为木全氏的本姓。
生平.在天文3年（1534年）于尾张国出生。最初仕于织田氏的家臣浅井政贞，后来成为泷川一益的家老（『宽政重修诸家谱』、『尾张群书系图部集』）。智谋优秀，擅长枪术，被称为