Emilia Olivia foi a filha primogênita de St George St George, 1.° Barão St George, alto xerife do Condado de Roscommon, na atual República da Irlanda, e de Elizabeth Dominick. Os seus avós paternos eram John Ussher, um capitão do exército na Batalha de Blenheim, além de governador de Galway e vice-almirante de Connacht, e Mary St. George. O seu avô materno era Christopher Dominick de Dublin.