Noen av hans dagbokoppføringer og brev fra denne perioden beskrev hans amorøse bedrifter. I 1767, i et brev til sin venn William Johnson Temple, skrev han derfor: «Jeg ble ganske beruset, dro til et (bordell) og tilbrakte en hel natt i armene til en hore. Hun var virkelig en fin, sterk pike, en hore verdig Boswell hvis Boswell må ha en hore.» Noen år tidligere skrev han at i løpet av en natt med en skuespillerinne ved navn Louisa, «fem ganger var jeg ganske fortapt i suveren henrykkelse. Louisa var vanvittig glad i meg ; hun erklærte at jeg var et vidunderbarn og spurte meg om dette ikke var ekstraordinært for menneskets natur.» Selv om han noen ganger brukte kondom for beskyttelse, fikk han kjønnssykdom minst sytten ganger.