Grove föddes i Clapham och studerade först till civilingenjör och arbetade i två år i en fabrik nära Glasgow. Han var släkt med Edith M. Bratt som var gift med J.R.R. Tolkien. Mellan 1841 och 1845 arbetade han i Västindien och monterade fyrar i Jamaica och Bermuda. 1849 blev han sekreterare i Society of Arts och 1852 i Kristallpalatset. I dessa befattningar fick han utlopp för sitt intresse och entusiasm för musik och han lade all möda och inflytande på att marknadsföra den bästa musiken av alla slag vid de regelbundna konserterna i Sydenham dit Kristallpalatsets flyttats efter den stora världsutställningen i Hyde Park 1851. Konsertserierna var en väl inarbetad tradition under ledning av dirigenten August Manns.