Da han fylte nitten, ble han sendt for å fortsette studiene ved Universitet i Glasgow, hvor han deltok på forelesningene til økonomen og filosofen Adam Smith som var en pioner i tankegangen om politisk økonomi og nøkkelfigur under den skotske opplysningstiden. Mens han var i Glasgow, bestemte Boswell seg for å konvertere til katolisisme og bli munk. Da faren fikk vite om dette, beordret faren ham hjem. I stedet for å adlyde rømte Boswell til London, hvor han tilbrakte tre måneder og levde livet som en libertiner, før han ble ført tilbake til Skottland av faren. Da han kom tilbake, ble han registrert på nytt ved Universitet i Edinburgh og tvunget av faren, i et forsøk på å kontrollere sønnen, til å signere bort mesteparten av arven sin mot en godtgjørelse på £ 100 i året.