Etter uteksaminering fra den militære yrkesskole i Hranice (Mährisch Weißkirchen) i Mähren fortsatte Kleeberg studier ved militærakademiet i Mödling i Niederösterreich. Som løytnant i artilleriet tjenestegjorde han i hovedstaden Wien, der han fullførte studier ved Generalstabsakademiet ().