Grumman fikk en BA-grad i mekanikk fra Cornell University i 1916. Hans første jobb var ved New York Telephone Company. Etter at USA gikk med i første verdenskrig, meldte han seg til tjeneste i den amerikanske marine i juni 1917 som fyrbøter og ble sendt til Columbia University for opplæring som "ubåtjeger".