Struensees og Brandts velmaktsdager varte imidlertid ikke lenge. Natten mellom 16. og 17. februar 1772 ble Struensee og Brandt arrestert og satt i Kastellet. Brandt ble anklaget for ved flere anledninger å ha prylet kongen. Begge ble kjent skyldige i majestetsfornærmelse, og Christian VII underskrev dødsdommen.