Han ble født i Charleston i 1731, der faren Gabriel Manigault var en rik plantasjeeier som eide nærmere 300 slaver. Faren var også koloniens finansminister og medlem av koloniforsamlingen. Farfaren Pierre Manigault var fransk hugenott som utvandret til Carolina og ble en rik plantasjeeier der. Peter Manigault studerte jus i England og ble britisk advokat (barrister) i 1752. I 1754 dro han tilbake til Carolina, og bestyrte familiens store plantasjer og hundrevis av slaver. Han var også medlem av koloniforsamlingen (House of Commons) og var forsamlingens president (Speaker) fra 1765 til 1772. Han ble assosiert med patriotene, innbyggere som avviste britisk styre av de tretten koloniene og ivret for uavhengighet.