Ayres er gift med teaterprodusenten Dudley Russell, og de har to sønner, William og James, sammen. De er bosatt i Cotswolds, der de har noen sjeldne raser av storfe, samt noen sauer, griser, høner og perlehøns. Pam er i tillegg til å dikte, en ivrig gartner og birøkter. Hun er beskytter av organisasjonen Battery Hen Welfare Trust. I juni 2004 ble hun tildelt den britiske orden Order of the British Empire for hennes tjenester til britisk litteratur og underholdning.