Грант родился 19 ноября 1865 года в Нью-Йорке старшим из четырёх детей в семье Габриэля Гранта (Gabriel Grant) — известного врача, участвовавшего в Гражданской войне в США в качестве военного хирурга, и Каролины Мэйнис (Caroline Manice) — потомка Джессэ де Фореста (Jesse de Forest), валлонского гугенота, в 1632 году возглавившего группу поселенцев, обосновавшихся в Новых Нидерландах. Первым родившимся в Америке предком Мэдисона Гранта со стороны отца был Ричард Трит (Richard Treat), ставший в 1630 году одним из первых пуританских поселенцев в Новой Англии. Среди предков Гранта по отцовской линии были Роберт Трит (Robert Treat), колониальный губернатор Нью-Джерси; Роберт Трит Пэйн (Robert Treat Paine), один из подписавших Декларацию независимости; Чарльз Грант (прадед Мэдисона Гранта), служивший офицером в англо-американскую войну 1812 года; Габриэль Грант (отец Мэдисона), выдающийся врач и начальник службы здравоохранения г. Ньюарк. За свою службу военным хирургом Второго нью-джерсийского добровольческого полка доктор Габриэль Грант был награждён Медалью Почета. Во время битвы при Фэйр-Оукс он под сильным обстрелом эвакуировал раненых с поля боя.