Den åtte år gamle Boswell var ulykkelig der, og led av mareritt og ekstrem sjenanse. Følgelig ble han fjernet fra akademiet og utdannet av en rekke private lærere. Den mest bemerkelsesverdige og støttende av disse, John Dunn, som åpnet ham for gleden i lesning, introduserte Boswell for moderne litteratur, som essay og artikler fra det banebrytende tidsskriftet som behandlet moralske og praktisk-filosofiske emner i moderne opplysningsfilosofenes ånd. Dunn var også til stede, om ikke direkte involvert, under Boswells alvorlige lidelse i 1752, da han ble begrenset til byen Moffat i det nordlige Dumfriesshire. Dette ga Boswell sin første opplevelse av ekte samfunn. Hans bedring var rask og fullstendig, og Boswell kan ha bestemt seg for at reiser og underholdning utøvde en beroligende terapeutisk effekt på ham.