Ann Williamson var datter av Herbert Stansfield Williamson og hans hustru Winifred Lilian Williamson (født Kenyon). Faren hadde tidligere arbeidet i Indian Civil Service; moren hadde vært med på å organisere Storbritannias første familieplanleggingsklinikker.