Уволенный, по болезни, от военной службы, с чином полковника, Ферзен в 1836 году был определен чиновником по особым поручениям при Министерстве Императорского двора с причислением к Кабинету Его Величества, а в 1838 году прикомандирован к комиссии по возобновлению Зимнего дворца и пожалован придворным званием «в должности церемониймейстера».