Grant nació en la Ciudad de Nueva York, NY, donde vivió toda su vida, hijo de Gabriel Grant, un médico y cirujano muy conocido durante la Guerra Civil, y de Caroline Manice.