Boswell giftet seg til sist, og da med sin kusine, Margaret Montgomerie, den 25. november 1769. Hun forble trofast mot Boswell, til tross for hans hyppige forbindelser med prostituerte, fram til hun døde av tuberkulose i 1789. Etter hans utroskap ville han gi henne tårevåte unnskyldninger og be henne om tilgivelse, før han igjen lovet henne og seg selv at han ville reformere seg. James og Margaret fikk fire sønner og tre døtre. To av sønnene døde i spedbarnsalderen; de to andre var Alexander (1775–1822) og James (1778–1822). Døtrene deres var Veronica (1773–1795), Euphemia (1774 – ca. 1834) og Elizabeth, kjent som «Betsy», (1780–1814). Boswell hadde også minst to utenomekteskapelige barn, Charles (1762–1764) og Sally (1767 – ca. 1768).