Mens han jobbet med Britannia Bridge kom Grove i kontakt med Robert Stephenson, Isambard Kingdom Brunel, Sir Charles Barry og andre fremtredende personligheter som kom for å se på arbeidet. «Disse distingverte herrene la merke til meg og var så gode som gull mot meg. De rådet meg å reise til London og tvang meg til å bli sekretær ved Society of Arts, som på det tidspunktet var ledig efter at Scott Russell hadde pensjonert seg.» Dette var i 1849, da Verdensutstillingen i London ble forberedt. Grove var sekretær for Society of Arts under hele utstillingen. Den 23. desember 1851 giftet han seg med Harriet Bradley, søsteren til hans gamle skolekamerat George Bradley. Efter at utstillingen i 1852 var ferdig ble hovedbygningen, kjent som «Krystallpalasset», demontert og gjenoppført i den sydlige London-forstaden Sydenham som et senter for utdanning, kunst og fritidsaktiviteter. Grove ble utnevnt til sekretær for Krystallpalasset og satte sammen et janitsjarkorps med dirigent. Dirigenten var Heinrich Schallehn, som senere ble erstattet av August Manns. Manns utviklet korpset sammen med Grove til et symfoniorkester av full størrelse. Med programmer utvalgt av Grove og Manns ble konsertene ved Krystallpalasset et sentralt trekk ved Londons musikalske scene. Grove skrev programnotatene for konsertene. Groves biograf i "Oxford Dictionary of National Biography" skrev i 1901 følgende: