Fredrik Vilhelm var gift to ganger. Første gang var det i 1765 med Elisabet Kristina av Braunschweig (født 1746, død 1840), som han imidlertid skilte seg fra allerede i 1769. Annen gang var fra 1769 til sin død med Fredrika Louise av Hessen-Darmstadt (født 1751, død 1805). Med sin første ektemake fikk han en datter, og med sin andre syv barn.