Hennes far var katolikk og hennes mor var protestantisk som konverterte til katolisismen for å kunne gifte seg med faren hennes. Fitzgerald var en grandtante av skuespillerinnen Tara Fitzgerald, og en fetter av den britiske forfatteren Nevil Shute. Fitzgerald studerte kunst og skuespill ved Dublin School of Art og hun begynte sin skuespiller-karriere i 1932 med teater i hjemlandet før hun flyttet til London der hun studerte maleri ved Polytechnic School of Art.