Kiseleff a fost înrolat cadet la arhivele din Moscova ale Ministerului Afacerilor Externe (1805) iar în 1806 a fost transferat la regimentul de cavalerie. Prima campanie la care a participat a fost Războiul celei de-a Patra Coaliții, care a început pentru el în Bătălia de la Heilsberg. După pacea de la Tilsit Kiseleff a revenit la Sankt Petersburg. A fost numit în calitate de ordonanță al reginei Louise în timpul șederii lor în Sankt Petersburg (1808-1809) și a familiei regale prusace.