Routh có bố là một người Anh và mẹ là một người Canada gốc Pháp ở Quebec, trong thời kỳ thuộc địa Anh của Hạ Canada. Có thể truy nguyên nguồn gốc gia đình cha ông vào thời chinh phục Normankhi nó giành được vùng Routh gần Beverley, Yorkshire. Dòng họ mẹ ông, Taschereau, cũng được hình thành tại Quebec, và có nguồn gốc từ thời kỳ đầu của thời thuộc địa Pháp. Cha mẹ ông là Ngài Randolph Isham Routh (1782–1858) và vợ thứ hai của ông, Marie Louise Taschereau (1810–1891). Randolph là một sĩ quan chỉ huy tham gia chiến đấu tại Trận Waterloo, và Marie Louise là con gái của thẩm phán Jean-Thomas Taschereau, là chị gái của thẩm phán Jean-Thomas và hồng y Elzéar-Alexandre Taschereau.