Grove ble født i Clapham som det åttende av Thomas Groves (1774–1852) elleve barn. Faren var fiske- og vilthandler og gift med Mary (1784–1856), født Blades. Han gikk på en forberedende skole ved Clapham Common, hvor en av skolekameratene var George Granville Bradley, hvis søster Grove senere giftet seg med. Efter Clapham Common begynte Grove på Stockwell (senere kjent som Clapham) Grammar School, hvor astronomen var rektor. Her studerte han klassiske fag, teologi, matematikk og naturfilosofi. Pritchard oppfordret sine elever til å interessere seg for litteratur og musikk. Grove gikk regelmessig i Holy Trinity-kirken i Clapham, hvor han hørte Bachs og Händels musikk. Allerede som 16-åring var han dyktig i klassiske fag og matematikk. I 1836 ble han ansatt hos Alexander Gordon, en kjent sivilingeniør i Westminster. I sin fritid fordypet Grove seg i musikken, og gikk på konserter og leste noter.