Etter å ha tatt juridisk embedseksamen gikk han inn i utenrikstjenesten. Hans første utenrikspost var ved visekonsulatet i Bordeaux. I 1897 ble han utnevnt til attaché og stasjonert i Paris, og i 1899 ble han førstesekretær i Utenriksdepartementet i Stockholm. I 1905 var han en av de to assistentene til statsminister Christian Mikkelsens sekretær Andreas Urbye ved forhandlingene i Karlstad. Umiddelbart etter unionsoppløsningen i 1905 var Karl Wedel-Jarlsberg en av de norske ansatte i utenrikstjenesten som ble sendt ut som chargé d'affaires, det vil si øverste stedlige representant for Norge på vedkommende utenriksstasjon. I statsråd den 3. november 1905 ble han utnevnt til chargé d'affaires i Paris. I statsråd 21. mars 1906 ble han utnevnt til legasjonssekretær i St. Petersburg. Den 7. november 1908 ble han konstituert ved kongelig resolusjon til legasjonssekretær i Madrid.