Despite being married twice and raising a large family, Boulton was described as reclusive by those who knew him.
Παρά το γεγονός ότι παντρεύτηκε δύο φορές και μεγάλωσε μεγάλη οικογένεια, ο Μπούλτον περιγράφηκε ως απομονωμένος από εκείνους που τον γνώριζαν.