Nachdem sich ihr Vater 1925 mit dem Filmproduzenten Sol Lesser zerstritten hatte, musste Baby Peggy auf Theaterarbeit ausweichen. Bis zur Pubertät trat Baby Peggy regelmäßig in Vaudeville-Shows oder Theaterstücken auf, was ihr weitere Erfolge einbrachte. Doch ihre Eltern verschwendeten unvorsichtigerweise einen großen Teil ihres verdienten Geldes; sie investierten unter anderem in eine 14-Zimmer-Villa und in ein Luxusauto. Im Börsencrash 1929 verlor Baby Peggys Familie den Rest ihres Vermögens. Sie kehrte daher als Jugendliche in den 1930er-Jahren ins Filmgeschäft zurück, war jedoch nicht mehr gefragt und bekam nur noch kleine Nebenrollen angeboten. 1938 beendete sie ihre Filmkarriere. Diana Serra Cary war zweimal verheiratet: Die erste Ehe mit Gordon Ayres wurde geschieden; dann war sie von 1954 bis zu seinem Tod 2001 mit Bob Cary verheiratet, mit dem sie einen Sohn hatte. Den Namen Serra nahm sie in Anlehnung an Fra Juníper Serra an, nachdem sie zum Katholizismus konvertiert war.