家祖北条早云之三男，幼名为菊寿丸，母亲是早云的正室栖德寺殿，共育有北条时长、及三子。由于他是当时少有的高寿者，三个儿子都比他早殁，故最后家业是由孙子继承。
生平.依照箱根神社文书的记载，幻庵幼时便被其父送入的别当寺金刚王院修行。永正16年（1519年）四月，北条早云将4400贯文的领地让渡给该寺。后来幻庵在大永4年（1524年）游方至京都在近江一带的三井寺修行了三年，学习了诸多技艺：不但精通茶道、连歌，亦熟悉尺八、一面鼓等乐器，并以尺八创作出一曲《泷落》流传至今。此外，亦勤加练习弓