Carl Piper var sønn av häradshövdingen og kamrereren i Krigskollegium Carl Piper og hans hustru, rådmannsdatteren Ingrid Charlotta Ekenbom. Hans tre stebrødre, Mikael, Olof og Nils, ble senere borgermestere i Stockholm, og hans eldre fetter Hinrich var stattholder over Ingermanland og ble adlet i 1678 av kong Karl XI.