Etter noen år i militæret begynte Rosenkrantz i 1782 som diplomat. Han ble i 1783 legasjonssekretær i Haag og i 1784 legasjonssekretær i St. Petersburg. I 1787 ble han utnevnt til ministerresident i Warszawa og ble i 1789 kammerherre og chargé d'affaires ved det russiske hoffet. 1795–1800 var han gesandt ved det prøyssiske hoffet i Berlin. I 1800 ble han utnevnt til gesandt ved det russiske hoffet, men mottok 1801 ordre fra tsaren om øyeblikkelig å forlate Russland. Han var likevel 1802–1804 igjen ved det russiske hoffet. I 1808 og 1810 var han sendebud til keiser Napoleon og 1809 dansk-norsk utsending ved fredsforhandlingene mellom Russland og Sverige. I 1810 ble han utnevnt til geheimestatsminister og sjef for utenlandske deputasjoner (utenriksminister) og ivaretok denne stillingen til sin død i 1824.