1806 brach dann der Vierte Koalitionskrieg aus. Nach der Niederlage Preußens in der Schlacht bei Jena und Auerstedt entkam er nach Königsberg in Preußen. Dort wurde er am 14. Dezember 1806 vom König zum Vizekommandanten der Festung Kolberg und gleichzeitig zum Hauptmann und Kommandeur eines neu gebildeten Grenadierbataillons ernannt. Der damalige Flügeladjutant Major Graf Götz hatte die Verteidigungsfähigkeit der Festung bereits als "gering" eingestuft. Während der Belagerung von Kolberg versuchte Waldenfels daher das Umfeld der Festung zu nutzen und machte auch einen Ausfall in die Stadt Wollin, um die Franzosen so von der Festung fernzuhalten. Der Angriff schlug mit hohen Verlusten fehl und der Kommandant der Festung Lucadou verlor das Vertrauen in Waldenfels. Am 29. April 1807 wurde Lucadou abberufen und durch Gneisenau. Waldenfels wurde zum Major befördert und erhielt den Pour le Mérite. Gneisenau machte nun die "Wolfsbergschanze" zum Zentralpunkt seiner Verteidigung. Ihre strategisch Wichtige Position wurde auch von den Franzosen erkannt und so entwickelte sich ein schwer Kampf um die Schanze. In der Nacht zum 9. Mai gelang es den Franzosen nun die Schanze zu besetzen, am 18. Mai gelang es den Belagerten sie zurückzuerobern, Da das Grenadier-Regiment Waldenfels hier die Hauptlast trug wurde die Schanze zu Ehren des Regiments in "Grenadierschanze" umbenannt. Am 12. Juni gelang es den Franzosen nochmal die Schanze zu nehmen.