来八次应试不中，“再试有司，皆以不合规寸，摈斥于时。”，妻子十四岁与徐渭结婚，夫妻十分恩爱，惜仅十九岁即病故。嘉靖二十四年，长兄徐淮服食丹药而死，因已入赘潘家，无法继承遗产。嘉靖二十六年（1547年）在山阴城东赁房设馆授徒，与绍兴文人萧勉、陈鹤、杨珂、朱公节、沈鍊、钱楩、柳文、诸大绶、吕光升等号“越中十子”。。后来为浙闽总督作幕僚，曾入胡宗宪幕府，一切疏计，皆出其手，又出奇计大破徐海等倭寇。一日胡宗宪于舟山捕获白鹿，徐渭撰《进白鹿表》、《再进白鹿表》、《再进白鹿赐一品俸谢表》等并献于朝中，视为祥物，