Men Rosenkrantz' forgjenger som sjef for flåten, grev Frederik Danneskiold-Samsøe, klaget til Christian VII over, at flåten ble passet dårlig. Den allerede sinnssvekkede kongen reagerte ved å avskjedige Rosenkrantz fra alle hans viktige stillinger. Men den kongelige nåde vendte dog hurtig tilbake. I 1767 ble han geheimeråd i konseillet, det vil si medlem av regjeringens innerste krets. Endelig mottok han elefantordenen i 1769. Denne stillingen beholdt han inntil desember 1770, hvor den nye diktator Struensee foranlediget geheimekonseillet opphevet. Frederik Christian Rosenkrantz ble som 46-årig pensjonert, men da han i 1771 trådte i forbindelse med folk som ville styrte Struensee, ble resultatet kun, at han ble fratatt sin ministerpensjon. Det var en katastrofe for ham, da han hadde opparbeidet en enorm gjeld på 140 000 riksdaler. Således måtte han melde oppbud i 1771.