Seldes var gift med Julian Claman fra 1953 til de ble skilt i 1961. Ekteskapet med Claman var voldelig. Hun forlot ektemannen etter hennes far la merke til blåmerker i ansiktet hennes. Senere var hun gift med Garson Kanin fra 1990 til han døde i 1999. Hun datteren Katherine med Claman.