Groven vokste opp i en familie med stor musikkinteresse og rike kulturtradisjoner. Han er sønn av Sverre Groven og Gunhild (Golla) Groven og brorsønn av Eivind Groven.