Mosleys familie var anglo-irsk, men hans gren var velstående godseiere i Staffordshire. Familien hadde mottatt en baronettittel i 1781. Som baronett førte han tiltaleformen foran sitt navn.