En julio de 1768 comenzó una relación de concubinato con la aristócrata Charlotte Du Riez, pero al enterarse de que ésta le era infiel, Gustavo terminó la relación en septiembre de ese mismo año.