I 1880-årene var Londons musikkakademier i slett tilstand. Royal Academy of Music var døende, og National Training School for Music, med Sullivan som motvillig og ørkesløs leder, hadde finansielle og administrative vanskeligheter. Det ble foreslått å slå sammen disse to akademiene, for å danne ett velfungerende konservatorium, men Royal Academy insisterte på sin uavhengighet og revitaliserte seg senere gjennom Alexander Mackenzies lederskap. National Training gjenoppsto som Royal College of Music i 1882, med Grove som sin første leder. Gjennom hele 1882 ledet han en vellykket pengeinnsamlingskampanje som sikret den offisielle åpningen av det nye colleget den 7. mai 1883. Grove ble slått til ridder samme dag og kunne da føre tiltaleformen .