Dopo la sua nascita in Québec, si trasferì con la sua famiglia nella colonia inglese dell'Alto Canada. Suo padre fu Sir Randolph Isham Routh (1782–1858), un ufficiale che combatté durante la Battaglia di Waterloo.