祀记》里说自己当时作为聂豹的门生，聂豹对他的影响很深。那时候的徐阶虽然身材矮小，但是他皮肤白哲，非常注重仪貌。而且他喜好读书，心有谋略，经常跟随王守仁的门人四处游学，因此在当时士大夫群体内也有一定名声。不久之后徐阶便遇见了因为大礼议事件被贬官的杨慎、安磐和王元正，他为三人准备了盘缠，心想着也要做出一番贡献，但是由于父母俱在而顾忌许多，非常不乐。继续北上的徐阶在路过清源时，梦见父亲不停叫他的名字，就转而回去，在彭城听说了父亲的死，一路号哭，回到华亭为父亲置办葬礼。而在之后的三年里，徐阶便丁忧在家，直到嘉靖