I hemmelighet hadde han giftet seg med en katolikk, Maria Fitzherbert, i 1785. I 1795 giftet han seg offisielt med Caroline av Braunschweig, som han forgjeves prøvde å skille seg fra etter å ha blitt konge i 1820. (Caroline døde i 1821.) Deres eneste barn, den 21-årige prinsesse Charlotte, døde etter selv å ha satt et dødfødt barn til verden i 1817.