Rosamund var datteren til lord Walter de Clifford, en walisiske grenseherre (engelsk ; walisisk ), og hans hustru Margaret Isobel de Tosny. Walter var opprinnelig kjent under det normanniske navnet Walter Fitz Richard («sønn av Richard»), men hans navn ble gradvis endret til hans posisjon, først , deretter som . Dette var festningen Clifford Castle ved elven Wye. Rosamund hadde to søstre, Amice og Lucy. Amice giftet seg med Osbern fitz Hugh av Richard's Castle og Lucy til Hugh de Say av Stokesay. Hun hadde også tre brødre; Walter II de Clifford, Richard og Gilbert.