Routh est le fils d'un commissaire aux armées, Sir Randolph Isham Routh (1782–1858) et de Marie-Louise Taschereau (1810–1891), une fille de magistrat québécoise (Québec étant alors rattaché à la province britannique du Bas-Canada). La terre noble de Routh, détenue par sa famille depuis l'invasion normande, est voisine du bourg de Beverley, dans le Yorkshire. Le père d'Edward, Randolph, avait notamment servi à la Bataille de Waterloo.