Eivind var den yngste av fem brødre. Faren var lærer og gardbruker, Olav Aasmundsson Gøytil (1865–1947) og moren var Aslaug Rikardsdotter (født Berge, 1863–1946). Fra begge foreldrene tok Groven i arv en allsidig folkemusikalsk tradisjon som strakte seg mange generasjoner bakover. Morfaren, Rikard Aslaksson Berge (1815–1902) som hadde garden Berge på Rauland, var svært kulturbevisst. Han satt inne med en stor mengde verbalt og musikalsk tradisjonsstoff, blant annet folkeviser, religiøse folketoner og slåtter som gikk i arv til barna Aslak, Olav,Ingebjørg, Sigrid og Aslaug. På Berge var også Myllarguten (1801–1872), ofte innom, og viktig myllartradisjon kom til å gå videre til Eivind Groven, ikke minst gjennom morens brødre Olav og Aslak Berge som var spelemenn, men og gjennom farbroren som var i lag med Myllaren som ganske ung.