贬谪关外，幸赖亲友交争助私钱，得以免祸。遂云游四方，“北抵秦晋，南涉荆楚，中历荆洛海岱之间”。康熙十年春至京师，好友龚鼎孳等欲建白复其官，以受阻未果。顾庵亦掉头就走，兴尽曰:“六十老人岂复梦金马门哉？”晚年息影南溪，康熙十八年病逝。工于诗词，在京师与宋琬、王士禛、施闰章等唱和，诗“登开元之堂，入大历之室”，词“品格在眉山、渭南之间”。为柳洲词派盟主，与曹贞吉并称“南北二曹”。善作艳词，多是宴饮狎妓之作。又与宋琬、沈荃、施闰章、王士禄、王士祯、汪琬、程可则合称“清八大诗家”。