Vogt fant i 1858 grunn til å kritisere visekongen kronprins Carls beslutninger i militære utnevnelser. Han ble på dette grunnlaget bedt om å søke avskjed. Dette hadde også sammenheng med at kronprinsen ønsket amtmann Christian Birch-Reichenwald og hans tilhengere inn i regjeringen. Den 4. desember 1858 fratrådte Vogt, men fikk sympati også blant dem som hadde vært hans politiske motstandere.