Hun var søster av skuespillerne Norma Talmadge og Natalie Talmadge og var av europeisk avstamning. Hennes faktiske fødselsår har vært omstridt, men Talmadge ble født 19. april 1898 i Brooklyn i New York ifølge folketellingene fra 1900, 1910 og 1920.