St Mary's Hospital, London
ولدت في مستشفى سانت ماري في لندن، تنحدر أوليفيا من نسل عالم اللاهوت ريتشارد غريفز، وهو ابن عم المؤلف روبرت جريفز، كما تعد حفيدةً لتوماس هيربرت روبرتسون. في تسلسلها العائلي تعد أوليفيا ثاني مولود من أصل أربعة أشقاء ولدوا من الزوجين نورا ومانينغ دوردين روبرتسون، وهو مهندس معماري ومخطط مدني. عاشت أسرتها في ريجيت في ساري قبل أن تعود إلى هنتنغتون في أيرلندا حيث ورثوا بيتًا في عام 1925 بعد وفاة جدتها.