Cogan var av russisk-rumensk jødisk avstamning. Farens slekt, opprinnelig med etternavnet Kogin, ankom Storbritannia fra Russland, men morens familie var flyktninger fra Romania. Foreldrene, Mark og Fay Cohen, hadde en annen datter, skuespillerinnen Sandra Caron, som skulle spille «Mumsey» i , og en sønn, Ivor Cogan. Marks arbeid medførte mye flytting. Et av Almas tidlige hjem var over hans undertøysforretning i Worthing i Sussex.