但都未能有后，因此常流连于风月场所，据说因为常到妓院可看尽天下美女，与当时名伶朱霞芬、梅蕙仙、傅芷秋、时琴香等都交往甚密，还记在日记里。《孽海花》中的李纯客，便是以李慈铭为原型的。李慈铭过惯官场糜烂的生活，又“戌削善病”，光绪二十年（1894年），中日甲午战争战败，闻讯忧惧，咯血而死。
着作.《越缦堂日记》大抵是李慈铭生前认定的传世之作，因此在字里行间都不能苟且，1920年，由生前好友蔡元培助其出版。一生着作等身，有《越缦堂日记》、《越缦堂文集》、《越缦堂诗集》、《湖塘林馆骈体文钞