Kun i 3 år forble Schmettau i sin høye stilling. I begynnelsen av 1767 hadde han et skarpt sammenstøt med det danske Kancelli angående gjenoppbygging av Fredrikstad etter en brann. Schmettau begikk her et formelt overgrep mot «Kongens Højhed», og holdningen i denne saken var den formelle anledningen til at han måtte gå av 14. april 1767. Den virkelige grunnen er antakelig at han var røket uklar med St.Germain, som igjen var hærsjef. Marskalken kunne ikke finne seg i den uforbeholdenhet og fasthet Schmettau utviste i sin forfektelse av sitt syn på organiseringen av hæren i Norge. St.Germain var bestemt på å gjennomføre sine planer om en grundig reduksjon av de utskrevne regimentene. Det må være dette Schmettau sikter til, når han senere i et brev til kongen skriver at han foretrakk å fratre generalkommandoen i Norge fremfor å handle mot sin overbevisning.