Rikard A. Berge og søsteren Anne A. Berge var de eneste som vokste opp av en søskenflokk på seks barn. De øvrige mistet livet i nødsårene 1808 til 1814. I tidens fylde overtok han farsgarden Berge, og giftet seg to ganger. Andre gang ektet han søskenbarnet Sigrid Olavsdotter Gjore, og sammen fikk de sju barn som vbokste opp: Torbjørg, Signe, Sigrid, Ingebjørg, Olav, Aslak og Aslaug. Barna var kjent som gode musikkformidlere: sønnene som felespillere, døtrene som kvedere. Torbjørg spilte dessuten sjøfløyte. Datteren Sigrid ble mor til folkekulturforskeren Rikard Berge, som for en stor del vokste opp hos bestefordeldrene. Datteren Aslaug ble mor til Olav Groven og Eivind Groven.