Ledebur wurde im Stift Schildesche erzogen, wo zwei seiner Tanten als Stiftsdamen tätig waren. Er war zuerst für eine zivile Laufbahn bestimmt, entschied sich dann aber für eine militärische Karriere. Er trat im Mai 1792 in das Kürassierregiment „von Ilow“ der Preußischen Armee in Salzwedel ein. Als Kornett gelang es ihm, in der Schlacht bei Pirmasens am 14. September 1793, in der sein Regiment 13 feindliche Geschütze eroberte, selbst zwei zu nehmen. Wegen der dabei erlittenen schweren Verwundungen nahm er nach dem Basler Frieden ein Jahr Urlaub, um während des Jahres 1800 in Göttingen zu studieren, woraufhin er in seine Garnison zurückkehrte. Während der Kriege gegen Napoleon Bonaparte wurde er 1806 bei Auerstedt gefangen, entkam aber glücklich und erwarb bei dem von ihm selbst geleiteten Überfall bei Bialokowo den Orden Pour le Mérite. 1811 zum Major befördert, fand er im Feldzug von 1813 keine Gelegenheit zu neuer Auszeichnung und wurde vor Paris am 20. Februar 1814 zum Kommandeur des neu zu errichtenden Elb-National-Husaren-Regiments ernannt, das er führte, bis er am 15. Mai 1830 als Generalmajor zum Kommandanten von Kolberg ernannt wurde. In dieser Stellung erwarb er sich große Verdienste um das Garnisonschulwesen.