Enda verre var hans forhold til dronningen. Man kan se av datidens litteratur at hans intime forhold til Caroline Mathilde var allment kjent, og det forsterket i høyeste grad den alminnelige oppfatning at Struensee på en eller annen måte holdt kongen som gissel, ettersom han fant seg i et slikt åpenlyst sidesprang. Det var denne oppfatningen kuppmakerne forsto å utnytte da de den 11. januar spredte ryktet om at Struensee ville gjennomføre et virkelig statskupp. Struensee ville, sa ryktet, få kongen til å abdisere, og deretter innsette seg selv som hersker med Caroline Mathilde som sin dronning.