Peter Mansfield var sønn av gassinstallatøren Sidney George Mansfield og hans hustru Rose Lillian. Han var yngstemann av tre brødre. Hans eldre søsken var Conrad William og Sidney Albert. Han vokste opp i Camberwell. Da han var seks år gammel, brøt andre verdenskrig ut, og han ble i barndommen evakuert fra London tre ganger. Første gang var det til Sevenoaks og så to ganger til Torquay. Etter krigen avsluttet han skolen i 1948 i Peckham.