Kittlitz was een nakomeling uit een adellijk geslacht. Zijn vader was een Pruisische hoofofficier uit Welkersdorf een dorp in het Poolse Neder-Silezië en zijn moeder was Henriette von Diebitsch (1771–1835). Heinrich nam deel van de Duitse bevrijdingsoorlog tegen Napoleon I en trok met zijn eenheid in 1815 Parijs binnen. Daarna bleef hij tot 1825 in het leger en diende in het garnizoen in Mainz. Via relaties van zijn moeder kwam hij in contact russen die zouden meedoen aan een ontdekkingsreis om de wereld onder leiding van de Russische marine-officier Friedrich Benjamin von Lütke (van Baltisch/Duitse afkomst). In 1826 startte deze expeditie en in 1828 ging Kittlitz op eigen houtje onderzoek doen op het schiereiland Kamtsjatka.