Ti år gammel mistet Peggy Ashcroft sin far, William Worsley Ashcroft, som soldat i første verdenskrig, mens moren, Violetta Maud Ashcroft, døde da hun var bare 18. Etter dette ble hun og broren, Edward Ashcroft, overlatt fullstendig til seg selv.