自幼丧父，由母亲教授读书。十二岁能作文。家多藏书，乃尽读之。嘉靖十三年（1534年）获贡生，有部会首长知其名说：“此吾少日所闻蔡某，今犹滞选调耶？”特授南京翰林院孔目。三年后退休回西山，卒于家。文章师法先秦、两汉，有人以为其诗似李贺，自负甚高。书法与文征明齐名，行、楷书遒劲，王宠曾从学书三年。有《林屋》、《南馆》二集。今台北国立故宫博物院藏其作品“嘉靖癸未《呈蔡羽文征明楷书四首》”。