Perronet ble født i Sundridge i Kent i England som sønn av en anglikansk prest. Han var etterkommer etter franske hugenotter som først hadde flyktet til Sveits og så til England for å unngå forfølgelse i Frankrike.