I 1905 giftet han seg med Eleanor Roosevelt, som var niesen til hans seksmenning, den tidligere presidenten Theodore Roosevelt. De fikk tilsammen seks barn. Fem av dem vokste opp. Barna var Anna Eleanor (1906–1975), James (1907–1991), Franklin Delano Jr. (mars 1909–september 1909), Elliott (1910–1990), Frank Delano Jr. (1914–1988) og John Aspinwall (1916–1981).