Den 2. april 1752 giftet Gregory seg med Elizabeth Forbes og sammen fikk de tre sønner, inkludert legen James Gregory, og tre døtre. I 1754 flyttet familien til London og ble en del av den sosiale sirkelen med John Wilkes, Charles Townshend, George Lyttelton og Elizabeth Montagu. Det var på denne tiden som han begynte å stave sitt navn «Gregory» framfor «Gregorie», antagelig for at det skulle virke mindre påtrengende skotsk. I 1756 ble han valgt som medlem av Det kongelige samfunn, men han trakk seg siden tilbake til Aberdeen for å overta nok en akademisk posisjon.