Il nonno paterno di Barbara era fratellastro di George Villiers, I duca di Buckingham. Il 20 settembre 1643, il padre di Barbara, morì nella guerra civile inglese per una ferita riportata nella battaglia di Newbury, mentre lottava per i realisti. Aveva investito la sua considerevole fortuna sui cavalli e munizioni per il suo reggimento di cavalieri lasciando la figlia piccola e la vedova in condizioni precarie. Poco dopo la morte di lord Grandison, la madre di Barbara, lady Mary si risposò con Charles Villiers, II conte di Anglesey, un cugino del defunto marito.