Im Jahre 1814 war Olfermann aus der britischen Armee ausgeschieden und versah seinen Dienst seit dem 9. August 1814 für den braunschweigischen Herzog. Als höchster Stabsoffizier nahm er 1815 am Feldzug gegen Napoleon in Belgien teil, in dessen Verlauf Herzog Friedrich Wilhelm am 16. Juni 1815 in der Schlacht bei Quatre-Bras den Tod fand. Die letzten Worte des Herzogs gerichtet an Major von Wachholtz waren: