Calhoun era hijo del inmigrante escocés e irlandés Patrick Calhoun, el cual enfermó gravemente cuando su hijo contaba con 17 años.