Fitzgerald var datter av den irske portrettfotografen Sarah Geraldine Fitzgerald og den italienske kunstneren Michael Callaby. Som barn flyttet familien til Freeport på Bahamas, hvor hennes bestefar, David Fitzgerald var bosatt. Da familien var tilbake i England, skilte hennes foreldrene seg da hun var tre år gammel. Fitzgerald og hennes mor bodde deretter i en kjellerleilighet utenfor Old Brompton Road i Kensington. Da Tara var seks år gammel giftet moren seg med skuespilleren Norman Rodway fra Irland, og familien brukte flere år på å reise over store deler av De britiske øyer.