Olfermann wurde Vertrauter des Herzogs. Nach der für die Deutschen siegreichen Völkerschlacht bei Leipzig im Oktober 1813 und der sich daraus ergebenden Auflösung des Königreichs Westphalen, zu dem auch das Département Oker mit Braunschweig gehörte, nahm Olfermann am 6. November 1813 als Statthalter des Herzogs Stadt und Herzogtum Braunschweig wieder in Besitz. Nur wenige Wochen später, am 22. Dezember 1813, zog auch der Herzog unter dem Jubel der Bevölkerung an der Spitze seines Schwarzen Korps in die Stadt ein.