Sein Urgroßvater war der preußische Generalmajor Johann Kaspar von Cosel, sein Großvater Johann Karl von Cosel (1707–1765), Kommandant von Draheim. Sein Vater war der vierte Sohn des Kommandanten Friedrich von Cosel (1750–1810) und dessen Ehefrau Karoline, geborene von Egidy (1767–1805). Sein Vater war preußischer Major im Husaren-Regiment „von Suter“. Der Generalmajor Dietrich Christoph Gotthold von Cosel war sein Onkel. Zwei weitere Onkel fielen im Ersten Koalitionskrieg. Karl Ludwig als Major im Infanterieregiment „von Knobelsdorff“ in der Schlacht bei Kaiserslautern und Friedrich Georg Leopold († 1793) als Premierleutnant der Artillerie bei der Belagerung von Mainz.