Til tross for Boswell s relative litterære suksess med beretninger om hans europeiske reiser, var Boswell bare en moderat vellykket advokat, med unntak av rettssaken om brudd på opphavsretten i , der Boswell representerte den skotske bokhandleren Alexander Donaldson. På slutten av 1770-tallet gikk Boswell lenger og lenger ned i alkoholisme og spilleavhengighet. Gjennom hele livet, fra barndommen til døden, var han plaget av alvorlige humørsvingninger. Depresjonene hans ble utløst ofte og forverret av hans forskjellige laster. Hans lykkeligere perioder var når han var relativt lytefri. Karakteren hans blandet en overfladisk sensibilitet for fornuft og smak med en ekte og litt romantisk kjærlighet til det sublime og en tilbøyelighet til tidvis barnslig innfall. Sistnevnte, sammen med hans tendens til drikke og andre laster, fikk mange samtidige og senere observatører til å betrakte ham som en lettvekter som ikke var verdig være likestilt med den litterære gruppen han ønsket å være en del av. Men hans humor og uskyldige gode natur ga ham mange livslange venner.