Il est né le dans le West Norwood (qui fait actuellement partie de Londres), à St John's Lodge sur Knight's Hill, dans un domaine de vingt-et-un hectares, de Bazett David Colvin, négociant de la Compagnie britannique des Indes orientales, et de Marie Steuart, fille de William Butterworth Bayley, Président de cette même compagnie. Les deux côtés de sa famille sont liées aux Indes Britanniques. Son oncle est John Russell Colvin, lieutenant-gouverneur du Nord-Ouest des Provinces au cours de la mutinerie de 1857, qui est le père de l'avocat et d', également lieutenant-gouverneur du Nord-Ouest des Provinces (et Oudh).