I 1819 giftet Stirling seg med Jean Rankin. De fikk syv barn, inkludert lokomotivingeniørene Patrick Stirling og James Stirling.