徐岳年少方正，传家学，博通经史，尤长文采。开始担任东阳王萧琮太傅。东阳王萧琮被梁明帝改立皇太子，他一起进入东宫，转任太子詹事。太子萧琮即位，拜他为侍中、左民尚书，官至尚书右仆射，在相位三年，谨于朝政。跟随萧琮入隋朝，隋文帝任命他为上开府仪同三司。在陈州刺史任上去世。子徐凯，秘书郎。徐岳兄徐矩，有文学，善吏事。但是非常贪婪。官至度支尚书。子徐敬，鸿胪卿。