，与周边诸将结盟，与同是东美浓国的领主森长可斗争。不久后，斋藤氏的领土被森氏吞併。此后，仕于森长可。因为是名家出身，加上武勇，于是成为与加治田众的连络人。天正12年（1584年），长可在小牧长久手之战中战死，自身则没有参战，之后，以重臣身份辅助继承人忠政。庆长5年（1600年），在忠政移封至信浓国川中岛后，被任命为城代。同年，在关原之战中，森氏受德川家康命令，为抑制真田氏而被阻止出兵，在德川秀忠引发第二次上田合战时，亦在海津城待机。不过忠政没有完全旁观，为了对攻撃上田城进行援护，受忠政命令，单独负责牵制