Carlos Andrés Pérez ble født på Hacienda La Argentina, på den venezuelanske-colombianske grensen, nær byen Rubio, Táchira-provinsen. Han var den ellevte av tolv barn fra en middelklassefamilie. Hans far, Antonio Pérez Lemus, var en colombiansk-født eier av kaffeplantasjer som opprinnelig var av spansk opphav og som emigrerte til Venezuela de siste årene av det 19. århundre. Hans mor, Julia Rodríguez, var datter av en prominent landeier fra byen Rubio som var barnebarn av flyktninger som hadde flyktet fra Venezuela til Andesfjellene og Colombia i kjølvannet av borgerkrigen som herjet Venezuela i 1860-årene.