Sa kagustuhang lumayo sa mundo ng pelikula, nagpakasal si Peggy kay Gordon Ayres noong 1938 at nagpalit siya ng pangalan bilang si Diana Ayres. Noong panahong siya ay may-akda para sa mga palabas sa radyo, madaming nakatuklas sa kanyang nakaraan kung saan ay mas interesado sila sa kanyang buhay bilang isang dating batang aktres kaysa sa kanyang mga akda. Muli siyang nagpalit ng pangalan bilang si Diana Serra Cary matapos siyang lumipat sa Katolisismo at ang kanyang pagpapakasal kay Bob Cary noong 1954.