Hennes far, major William Leo Hoban var en britisk bokser i fjærvekt-klassen og en tidligere soldat med irske røtter. Han var kroppsøvingsinstruktør i the British Army. Hennes mor, May Irene Free, var en forretningskvinne med delvis jødisk avstamming. I hennes familie var det mange militære. Familien flyttet mye, og Jeannes tidlige liv ble tilbrakt i en rekke militærleire. I 1936 ble hennes far utnevnt til instruktør ved Eton College, og familien bosatte seg derfor i Slough. Hoban ble utdannet ved Slough High School for jenter. Hun fikk opplæring i boksing og svømming og var dyktig i flere idrettsgrener.