与姚私下是好友。袁枚过世后，姚鼐深感惋惜，还不顾众人反对，写下《袁随园君墓志铭并序》，成为文坛佳话。袁枚喜爱声色，夜夜青楼，刘成禺《世载堂杂忆》记载，袁枚曾被岭南诗家黎二樵批评为「大嫖客」而不见，刘成禺称：「故《随园诗话》中，无及二樵者。」袁枚的好友赵翼曾揶揄袁枚「占人间之艳福」、「引诱良家子女」等，还消遣他，说如有来生，袁枚会投胎成蜜蜂、蝴蝶，可以日日採花。袁枚对喜欢风月一事无所忌惮，还推崇古代名妓苏小小，刻了一枚印章，写着「钱塘苏小小是乡亲」，四处盖印。袁枚为人放荡不羁，又公开反对儒家、理学许多