Nació con el nombre de Hamilton Howard Fish en Washington D.C., hijo de Randall Fish (1795-1875).