Bülow var kronprinsens rådgiver enda noen år, i 1784 ble han hoffmarskalk og i 1790 geheimeråd. Men han likte ikke metodene regjeringen brukte for å fremme sine framskrittsideer, og han lyttet gjerne til regjeringens kritikere. Dessuten mislikte han kronprinsens krigslyst, og advarte ham mot hans kommende svigerfar, prins Karl av Hessen. Som et resultat falt Bülows stjerne, og tilslutt fant kronprinsen noen passende påskudd til å avskjedige ham fra alle hans stillinger. Avgjørelsen ikke bare vilkårlig, men også og svært uforstandig, siden Bülow var dyktigere og med langt alvorligere åndelige interesser enn de menn Frederik VIs omga seg med etter Christian VIIs død i 1808.