Wrede oli naimisissa 1799–1814 Fredrika Lovisa Tigerstedtin (1780–1814) kanssa ja vuodesta 1816 Catharina Elisabet Lamonin (1796–1831) kanssa. Hänellä oli ensimmäisestä avioliitosta 8 ja toisesta 7 lasta. Kuuluisia lapsia olivat kenraalimajuri Alexander August Peter Wrede af Elimä (1820–1897), hovineuvos Carl Gustaf Wrede af Elimä (1824–1868) ja majuri Vilhelm Otto Casper David Wrede (1827–1878). Hänen vanhin poikansa vapaaherra Rabbe Fabian Gustaf Wrede (1802–1837) käänsi ruotsiksi Paul van Suchtelenin ranskankielisen teoksen Suomen sodasta 1808–1809 nimellä "Kriget emellan Sverige och Ryssland åren 1808 och 1809". Vuotena 1835 ilmestynyt käännös otti huomioon ensimmäisenä suomalais-ruotsalaisen aspektin tähän sotaan kohdistuvassa tutkimuksessa.