Paludan var datter av Basil Murray, som var sønn av klassisisten Gilbert Murray og hans hustru Mary Howard. Ann besøkte gjerne sine besteforeldre i Yatscombe, på Boars Hill, særlig under sine år ved St Hugh's College i Oxford. Da syklet hun til Yatscombe hver søndag. Hennes foreldre hadde skilt lag da hun var liten, og faren døde i Spania da hun var åtte år, så besøkene til besteforeldrene gav henne en kontinuitet. På morssiden var hun barnebarn av maleren Algernon Newton, fra familien som stiftet , og niese av skuespilleren Robert Newton.