Han begynte sin karriere som tjenestemann i Karl XIs feltkanselli og i Kammarkollegiet. For sitt arbeid med Karl XIs reduksjoner ble han 1689 utnevnt til statssekretær og kanselliråd. Etter Karl XIIs kroning i 1697 ble Piper utnevnt til kongelig råd og statsråd, og forhøyede til friherre og greve. Under den store nordiske krig tjenestegjorde han som sjef i Karl XIIs feltkanselli og var ansvarlig for forhandlingene med Sveriges fiender Polen og Sachsen som førte til Warszawa- og Altransträdt-traktaten og til kong August IIs detronisering.