面上与以上的重臣们有很大隔膜。此后，在永禄13年（1570年）信长为了防备六角义贤的残党而在琵琶湖周边的城池配置重臣之际被任命守卫安土，此时终于被提升到部队指挥官的地位。在此时因为与长光寺城的柴田胜家的领地邻接，于是卷入复杂的权力斗争，后来因为弟弟津田盛月杀害胜家侧的代官而触怒信长，于是与弟弟一同被改易，被流放到德川家康之下和受到蛰居处分。此时剃髪并自号土玄。在元龟3年（1572年）12月的三方原之战中跟随家康与武田信玄的军势战斗。在天正元年（1573年）被信长赦免罪行并召还。后来被信长任命为安土城