Hun er datter av Durita og Bergur P. Dam. Farfaren er den tidligere, sosialdemokratiske statsministeren Peter Mohr Dam, mens tidligere statsminister Atli Dam og tidligere minister Helena Dam á Neystabø, også sosialdemokrater, er hennes farbror og kusine. Rigmor Dam er gift med forfatter Arnbjørn Ó. Dalsgarð, som hun har tre barn med.