人章庄简废园址上筑室桃花坞，有学圃堂、梦墨亭、竹溪亭、蚊蝶斋等（亦称唐家园，遗址在今桃花坞大街）。他的后半生主要生活在桃花坞，一生中的主要艺术作品也产生于此。 唐伯虎晚年，精神空虚，“皈心佛乘，自号六如”，思想趋向解脱颓唐，又将自己的屋舍改称为庵。明嘉靖二年（1523年），唐伯虎去世，享年54岁。唐伯虎墓位于虎丘区，经整修，1986年10月22日对公众开放。 由于其潇洒飘逸、傲世不羁，又治印“江南第一风流才子”章，仕女画登峰造极，故被后人误解，留传许多风流传说，如“唐伯虎三点秋香”等。其实他坎坷一生