兄斯波义银。初名长秀，后改现名。别称河内守、仕从。在斯波义统暗杀未遂事件后长秀成为信长家臣，参与1560年桶狭间之战立功，被拔擢为赤母衣众。1569年参与进攻伊势大河内城。在石山合战中表现不俗。松永久秀背叛信长后降伏时担任多闻山城管理。之后统帅尾张及美浓军团，隶属于织田信忠麾下，参与进攻武田氏及岩村城、高远城攻略。武田灭亡后，信长任命他为高远城城主，兼有伊那郡。天正10年（1582）天正壬午之乱时武田遗臣叛乱，秀赖逃往尾张，后任秀吉家臣，参与小牧长久手之战、九州征伐及小田原合战。之后回到南信浓任7万