Hijo de Eduard Kaunitz von Holmberg y Henrietta von Elzen, Holmberg había cursado sus estudios militares en Prusia entre 1794 y 1795.