Urodził się w rodzinie Emiliana, powstańca styczniowego i Józefiny Kuschée (Couschée). Był starszym bratem Juliusza, generała brygady Wojska Polskiego. Według tradycji rodzinnej Kleebergowie wywodzili się od szwedzkiego żołnierza, który przybył do Polski z wrogą armią w XVII wieku, dostał się do niewoli, spolszczył się i w końcu został założycielem rodu rycerskiego. Ojciec generała był długoletnim oficerem c. i k. 11 pułku dragonów w Stockerau, w którym po awansie na podpułkownika (1 maja 1901) objął komendę nad II dywizjonem. Później pełnił służbę w Komendzie Placu Wiedeń. W 1908 roku został spensjonowany.