Selv om han nok var stolt og glad over å få de utenrikske saker i sin hånd så kom han til å merke, at det ikke var en udelt glede på denne tid å være utenriksminister. Selvfølgelig ville Struensee ikke gi slipp på å bestemme og han søkte å innskrenke von der Ostens virksomhet til å være en slags departementdirektørs. Blant annet kunne von der Osten ikke direkte kontakte kongen, han måtte gi sine fremstillinger skriftlig til kabinettet og fikk vedtakene sendt fra dette, således som kongen fastsatte dem etter Struensees diktat; men dette var alt annet end en forretningsgang etter hans hode. Fremdeles var han og Struensee aldeles ikke enige om den politikk, der skulle følges.