际上摆脱了僧侣的身份以北条氏一族的身分活动着，长兄北条氏纲与上杉家争夺岩付城时一度率军应援并参加第一次国府台合战。氏纲身故后由年方二十六的姪儿北条氏康继位，由幻庵来担任姪儿氏康的后见役，以身为一族长老的崇高身分同时担当着北条氏在南关东扩张的经营，也负责小田原城的内务管理，整治城下町并指挥风魔党蒐集情报。在后来制成『小田原众所领役帐』之中，幻庵领有5457贯的俸禄，其知行乃是家臣中最高的一位，并领有相模中郡和武藏小机领的封地，而伊势家的制鞍之术亦由其传承光大，留下了被称为「幻庵之鞍」的名品，时人称作「鞍打幻庵