永禄9年（1566年）、義綱とその父・義続が重臣らによって追放されると帰参し、年寄衆に列して再び重臣となる。
永禄9年（1566年），在义纲与其父义续被重臣流放后，返回畠山家，被列为年寄众，再次成为重臣。