Grimstad vokste opp på Sørngarden på Grimstad i Hareidsdalen. Han var den eldste blant seks søsken, mellom andre Arnljot Grimstad. I Volda tok han lærerutdanning og begynte der å skrive musikk.