Etter deres mye omtalte og bitre skilsmisse i 1932, fikk Natalie lovlig endret barnas etternavn til hennes etternavn Talmadge og hun nektet dem noen form for kontakt med faren deres. Navneskiftet var spesielt vanskelig for den eldste sønnen James, som var ti år gammel og allerede vant til sitt tidligere etternavn. Natalie og hennes familie strengt instruerte guttene at de var Talmadges og ikke Keatons.