Han ble født i Huntington, New York, Grummans forfedre hadde røtter i Connecticut og var bryggerieiere. Fra ung alder demonstrerte "Red Mike" (et klengenavn han fikk på grunn avsitt rød-blonde hår) sin interesse for fly, og på sin tale ved avslutningen på high school i 1911 spådde han at "flyets endelige perfeksjon vil være en av de største triumfene mennesket noensinne har oppnådd over naturen".